JP3235522B2 - 走行レーン逸脱警報装置 - Google Patents

走行レーン逸脱警報装置

Info

Publication number
JP3235522B2
JP3235522B2 JP19592497A JP19592497A JP3235522B2 JP 3235522 B2 JP3235522 B2 JP 3235522B2 JP 19592497 A JP19592497 A JP 19592497A JP 19592497 A JP19592497 A JP 19592497A JP 3235522 B2 JP3235522 B2 JP 3235522B2
Authority
JP
Japan
Prior art keywords
warning
driver
vehicle
lane
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP19592497A
Other languages
English (en)
Other versions
JPH1134773A (ja
Inventor
和則 香川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP19592497A priority Critical patent/JP3235522B2/ja
Publication of JPH1134773A publication Critical patent/JPH1134773A/ja
Application granted granted Critical
Publication of JP3235522B2 publication Critical patent/JP3235522B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は走行レーン逸脱警報
装置に関し、車両が走行レーンを逸脱しそうになると警
報を行う装置に関する。
【0002】
【従来の技術】従来から、車両を安定に走行させること
を目的として、道路の白線等のガイドラインを認識して
自車の走行路を認識し、この走行路から逸脱しそうなと
きに警報を行う装置が提案されている。例えば、特開平
4−293109号公報には、車両に装着され車両前方
の道路を撮像するビデオカメラと、前記ビデオカメラか
ら取り込まれた道路画像に対して画像処理を行う画像処
理手段と、前記画像処理手段が処理を行う画像内の領域
を設定する処理領域設定手段と、前記画像処理手段の処
理結果を用いて走行レーンの認識を行う走行レーン認識
手段とを備えた走行レーン追跡装置から出力される走行
レーンの認識結果を用いて車両の走行レーン内での位置
を認識する車両位置認識手段と、前記車両位置認識手段
によって認識された車両のレーン内での位置から車両の
レーン逸脱の可能性を判断するレーン逸脱判断手段と、
前記レーン逸脱判断手段が車両が走行レーンから逸脱す
る可能性があると判断した場合にドライバーに対して警
報を与える警報手段とを備えた走行レーン逸脱警報装置
が記載されている。
【0003】
【発明が解決しようとする課題】従来装置では、車両が
予め設定された閾値を越えてガイドラインに接近し走行
レーンを逸脱しそうになったときには常に警報を行って
いるため、カーブやコーナーにおいて運転者の意志によ
りガイドラインに接近して走行する場合、走行レーンの
変更や回避操舵時等においても不要な警報が行われてし
まうという問題があった。
【0004】本発明は上記の点に鑑みなされたもので、
運転者の覚醒度や脇見状態に基づいて警報を禁止するこ
とにより、運転者の意志による走行レーン変更時等に不
要な警報を防止する走行レーン逸脱警報装置を提供する
ことを目的とする。
【0005】
【課題を解決するための手段】請求項1に記載の発明
は、道路の走行レーン及び前記走行レーン上の自車位置
を認識する走行レーン認識手段M1と、その認識結果に
基づいて走行レーンを逸脱しそうなとき警報を行う警報
手段M2とを有する走行レーン逸脱警報装置において、
運転者の脇見状態を検出する脇見状態検出手段M3と、
運転者の操作状態を検出する操作状態検出手段と、前記
脇見状態が検出されず、かつ、自車の走行レーン逸脱方
向と同一方向に操舵トルクが発生しているとき前記警報
を禁止し、そうでない場合には前記警報を禁止しない第
1の警報禁止手段M4とを有する。
【0006】このように、運転者が脇見をせず前方を注
視しており、かつ、逸脱方向と同一方向に操舵トルクが
発生していれば、運転者のハンドル操作によってレーン
逸脱が行われ、走行レーン変更や緊急回避の可能性が高
いため、その逸脱は走行レーン変更等の運転者の意志で
あるとして警報を禁止することで不要な警報を防止でき
る。請求項2に記載の発明は、道路の走行レーン及び前
記走行レーン上の自車位置を認識する走行レーン認識手
段と、その認識結果に基づいて走行レーンを逸脱しそう
なとき警報を行う警報手段とを有する走行レーン逸脱警
報装置において、運転者の脇見状態を検出する脇見状態
検出手段と、運転者の操作状態を検出する操作状態検出
手段と、運転者の覚醒度を検出する覚醒度検出手段と、
前記脇見状態が検出されず、かつ、自車の走行レーン逸
脱方向と同一方向に操舵トルクが発生しており、かつ、
検出された覚醒度が所定値を越えているとき前記警報を
禁止し、そうでない場合には前記警報を禁止しない第2
の警報禁止手段とを有する。
【0007】このように、運転者が脇見をせず前方を注
視しており、かつ、逸脱方向と同一方向に操舵トルクが
発生しており、かつ、検出された覚醒度が所定値を越え
ていれば、運転者のハンドル操作によってレーン逸脱が
行われ、走行レーン変更や緊急回避の可能性が更に高い
ため、その逸脱は走行レーン変更等の運転者の意志であ
るとして警報を禁止することで不要な警報を防止でき
る。
【0008】
【0009】
【0010】
【発明の実施の形態】図2は本発明装置のシステム概要
図を示す。同図中、イメージセンサ10は車両の進行方
向前方の道路を撮像し、この道路画像を画像処理認識装
置14に供給する。走行レーン認識手段M1としての画
像処理認識装置14は前方の道路画像の画像処理を行っ
て道路の中央、又は路側の白線や黄色の追越し禁止線等
のガイドラインをライン種類と共に認識し、このガイド
ラインに基づいて走行路(走行レーン)を認識し、自車
両の走行路中央線からの車両オフセット量や左右のガイ
ドラインからの距離であるレーン内位置、及びガイドラ
インに対する傾き角である対レーンヨー角、及び走行路
(旋回路)のカーブの曲率半径R等の道路線形、及び走
行車両の有無等を認識する。上記の認識結果は警報シス
テムECU(電子制御装置)16に供給される。
【0011】GPS(グローバル・ポジショニング・シ
ステム)装置18は、複数のGPS衛星から送信される
航法情報を受信して自車の走行位置を認識し、この走行
位置をナビゲーション装置20及び警報システムECU
16に供給する。ナビゲーション装置20はGPS装置
18からの走行位置を地図情報と重ね合わせ、かつ補正
して走行位置情報として警報システムECU16に供給
する。上記の地図情報は道路線形の情報としても使用さ
れる。
【0012】道路インフラシステム通信装置22は例え
ばVICS(ビークル・インフォメーション・アンド・
コミュニケーション・システム)等の渋滞、所要時間・
規制等の情報、事故・工事や障害物情報、及び気象情報
等の道路インフラ情報をFM多重放送、電波ビーコン、
光ビーコンから受信しナビゲーション装置20及び警報
システムECU16に供給する。
【0013】また、センサ群24には、車両の操舵ハン
ドルの操舵角を検出する操舵角センサ、操舵トルクを検
出する操舵トルクセンサ、方向指示器の操作を検出する
ターンシグナルスイッチのセンサ、運転者が操舵ハンド
ルを握っているかどうかを検出するタッチセンサ等の操
作状態を検出するものと、車速を検出する車速センサ、
車両のヨーレートを検出するヨーレートセンサ、車両の
前後加速度及び横加速度及び上下加速度を検出する加速
度センサ等の車両運動状態を検出するものとがある。こ
れらの各センサの検出信号は警報システムECU16に
供給される。
【0014】イメージセンサ26は運転者の頭部を正面
より撮像し、これによって得られた運転者の正面画像を
画像処理認識装置28に供給する。覚醒度検出手段M3
及び脇見状態検出手段としての画像処理認識装置28は
上記正面画像から運転者の顔領域を切り出し、更に顔領
域から目領域を切り出して、顔方向及び視線方向を認識
し、視線が所定時間以上正面方向を向いていないときに
脇見検出を行う。また、目の瞬き状態及び半眼状態を認
識して、所定時間内の瞬き回数や半眼状態から覚醒度を
検出する。この脇見検出及び覚醒度検出の検出結果は警
報システムECU16に供給される。
【0015】また、警報システムECU16には警報手
段M2としての警報装置30及び警報用駆動回路32が
接続されている。警報用駆動回路32はアクチュエータ
34を駆動して操舵ハンドル36に振動を加えたり、又
は反力トルクを加えて警報を行う。警報システムECU
16は図3に示す如く、マイクロコンピュータで構成さ
れ、中央処理ユニット(CPU)40と、リードオンリ
メモリ(ROM)42と、ランダムアクセスメモリ(R
AM)44と、入力ポート回路46と、出力ポート回路
48と、通信回路50とを有し、これらは双方向性のコ
モンバス52により互いに接続されている。
【0016】入力ポート回路46にはセンサ群24の各
センサの検出信号が供給される。また、通信回路50に
は画像処理認識装置14,28,及びGPS装置18,
ナビゲーション装置20,道路インフラシステム通信装
置22夫々の出力情報が供給される。ROM42には制
御プログラムが記憶されている。CPU40は制御プロ
グラムに基づき、後述する種々の演算を行い、その際に
RAM44が作業領域として使用される。CPU40が
制御プログラムを実行することにより発生した制御信号
は出力ポート回路48から警報装置30及び警報用駆動
回路32に供給され、この警報装置30は警報音を発音
し、警報用駆動回路32はアクチュエータ34を駆動し
て操舵ハンドルの振動等により運転者に警報を発する。
【0017】図4は警報システムECU16が実行する
レーン逸脱警報オン/オフ処理の一実施例のフローチャ
ートを示す。この処理は繰り返し実行される処理であ
る。同図中、ステップS12ではレーン逸脱検出システ
ムをオンとする。この後、ステップS14で通信回路5
0を介して画像処理認識装置14,28,夫々から供給
される情報を読み取り、また、センサ群24から供給さ
れる検出信号を読み取る。次に、ステップS16でセン
サ群24のタッチセンサの検出信号に基づいて運転者が
操舵ハンドル36から手を放した手放し状態か否かを判
別する。ここで、手放し状態であれば走行レーン逸脱警
報の必要性が高いためステップS26に進み、警報フラ
グに値1をセットしてレーン逸脱警報システムをオンと
する。手放し状態でなければステップS18に進む。
【0018】ステップS18では画像処理認識装置28
の情報である運転者の覚醒度が所定値以下か、つまり、
運転者が居眠り状態にあるか否かを判別し、上記覚醒度
が所定値以下で居眠り状態にあれば、走行レーン逸脱警
報の必要性が高いためステップS26に進み、警報フラ
グに値1をセットし、レーン逸脱警報システムをオンと
する。覚醒度が所定値を越えていればステップS20に
進む。
【0019】ステップS20では画像処理認識装置28
の情報から運転者が脇見状態か否かを判別し、脇見状態
の場合は走行レーン逸脱警報の必要性が高いためステッ
プS26に進み、警報フラグに値1をセットしてレーン
逸脱警報システムをオンとする。脇見状態でなければス
テップS22に進む。ステップS22では画像処理認識
装置14の情報からの自車の走行レーン逸脱方向とセン
サ群24の操舵トルクセンサの検出信号とから、自車の
走行レーン逸脱方向と同一方向に操舵トルクが発生して
いないか否かを判別する。このような操舵トルクが発生
していない場合には、運転者がハンドル操作をしていな
いにも拘らず自車が走行レーンを逸脱しつつあるという
ことで走行レーン逸脱警報の必要性が高いためステップ
S26に進み、警報フラグに値1をセットしてレーン逸
脱警報システムをオンとする。
【0020】一方、逸脱方向と同一方向に操舵トルクが
発生していれば運転者のハンドル操作によってレーン逸
脱が行われ、走行レーン変更や緊急回避の可能性が高い
ためステップS24に進み警報フラグを値0にリセット
してレーン逸脱警報システムをオフとする。上記のステ
ップS24又はS26を実行した後ステップS14に進
む。
【0021】上記のステップS20,S22,S24
第1の警報禁止手段M4に対応し、ステップS18,S
20,S22,S24が第2の警報禁止手段に対応
る。
【0022】図5は警報システムECU16が実行する
警報処理の一実施例のフローチャートを示す。この処理
は検出フラグが値1でレーン逸脱検出システムがオンの
場合に所定時間間隔で繰り返し実行される。図5におい
て、ステップS32では通信回路50を介して画像処理
認識装置14,28,GPS装置18,ナビゲーション
装置20,道路インフラシステム通信装置22夫々から
供給される情報を読み取り、また、入力ポート回路46
を介してセンサ群24から供給される検出信号を読み取
る。ステップS34では読み取った各種情報及び検出信
号に基づいて閾値を決定する。
【0023】次にステップS36では、警報フラグが値
1でレーン逸脱警報システムがオンの場合に、画像処理
認識装置14から得た自車の走行レーン内位置を閾値と
比較して警報領域内か否かの判定を行い、警報領域内に
ある場合にはステップS38に進んで警報出力を行う。
警報領域外の場合はそのまま処理を終了する。これによ
り、図1に示すようにガイドラインI,II夫々から走行
レーンの内側に距離L1の位置にガイドラインと平行に
閾値が設定されていれば、レーン逸脱警報システムのオ
ン時に、車両60がなし地で示す領域に入ったとき警報
が行われる。
【0024】
【発明の効果】上述の如く、請求項1に記載の発明は、
運転者が脇見をせず前方を注視しており、かつ、逸脱方
向と同一方向に操舵トルクが発生していれば、運転者の
ハンドル操作によってレーン逸脱が行われ、走行レーン
変更や緊急回避の可能性が高いため、その逸脱は走行レ
ーン変更等の運転者の意志であるとして警報を禁止する
ことで不要な警報を防止できる。また、請求項2に記載
の発明は、運転者が脇見をせず前方を注視しており、か
つ、逸脱方向と同一方向に操舵トルクが発生しており、
かつ、検出された覚醒度が所定値を越えていれば、運転
者のハンドル操作によってレーン逸脱が行われ、走行レ
ーン変更や緊急回避の可能性が更に高いため、その逸脱
は走行レーン変更等の運転者の意志であるとして警報を
禁止することで不要な警報を防止できる。
【0025】
【0026】
【0027】
【0028】
【図面の簡単な説明】
【図1】本発明の閾値を説明するための図である。
【図2】本発明装置のシステム概要図である。
【図3】警報システムECUのブロック図である。
【図4】レーン逸脱警報オン/オフ処理のフローチャー
トである。
【図5】警報処理のフローチャートである。
【符号の説明】
10,26 イメージセンサ 14,28 画像処理認識装置 16 警報システムECU 18 GPS装置 20 ナビゲーション装置 22 道路インフラシステム通信装置 24 センサ群 30 警報装置 32 警報用駆動回路 34 アクチュエータ 36 操舵ハンドル 40 CPU 42 ROM 44 RAM 46 入力ポート回路 48 出力ポート回路 50 通信回路 52 コモンバス
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI B60K 28/06 B60K 28/06 Z B62D 6/00 B62D 6/00 G08G 1/16 G08G 1/16 A F // B62D 119:00 B62D 119:00 (56)参考文献 特開 平6−156114(JP,A) 特開 平7−329598(JP,A) 特開 平8−203000(JP,A) 特開 平6−150199(JP,A) 特開 平3−273498(JP,A) 特開 平7−65296(JP,A) 特開 平6−274793(JP,A) 特開 平8−16998(JP,A) 特開 昭59−128693(JP,A) 実開 平2−38228(JP,U) (58)調査した分野(Int.Cl.7,DB名) B60R 21/00 B60K 28/00 - 28/16 G08G 1/16 B62D 6/00

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 道路の走行レーン及び前記走行レーン上
    の自車位置を認識する走行レーン認識手段と、その認識
    結果に基づいて走行レーンを逸脱しそうなとき警報を行
    う警報手段とを有する走行レーン逸脱警報装置におい
    て、運転者の脇見状態を検出する脇見状態検出手段と、 運転者の操作状態を検出する操作状態検出手段と、 前記脇見状態が検出されず、かつ、自車の走行レーン逸
    脱方向と同一方向に操舵トルクが発生しているとき 前記
    警報を禁止し、そうでない場合には前記警報を禁止しな
    い第1の警報禁止手段とを有することを特徴とする走行
    レーン逸脱警報装置。
  2. 【請求項2】 道路の走行レーン及び前記走行レーン上
    の自車位置を認識する走行レーン認識手段と、その認識
    結果に基づいて走行レーンを逸脱しそうなとき警報を行
    う警報手段とを有する走行レーン逸脱警報装置におい
    て、 運転者の脇見状態を検出する脇見状態検出手段と、運転者の操作状態を検出する操作状態検出手段と、 運転者の覚醒度を検出する覚醒度検出手段と、 前記脇見状態が検出されず、かつ、自車の走行レーン逸
    脱方向と同一方向に操舵トルクが発生しており、かつ、
    検出された覚醒度が所定値を越えているとき 前記警報を
    禁止し、そうでない場合には前記警報を禁止しない第2
    の警報禁止手段とを有することを特徴とする走行レーン
    逸脱警報装置。
JP19592497A 1997-07-22 1997-07-22 走行レーン逸脱警報装置 Expired - Fee Related JP3235522B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19592497A JP3235522B2 (ja) 1997-07-22 1997-07-22 走行レーン逸脱警報装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19592497A JP3235522B2 (ja) 1997-07-22 1997-07-22 走行レーン逸脱警報装置

Publications (2)

Publication Number Publication Date
JPH1134773A JPH1134773A (ja) 1999-02-09
JP3235522B2 true JP3235522B2 (ja) 2001-12-04

Family

ID=16349254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19592497A Expired - Fee Related JP3235522B2 (ja) 1997-07-22 1997-07-22 走行レーン逸脱警報装置

Country Status (1)

Country Link
JP (1) JP3235522B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1134774A (ja) * 1997-07-23 1999-02-09 Toyota Motor Corp 車両用状態報知装置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19916267A1 (de) * 1999-04-12 2000-10-19 Continental Teves Ag & Co Ohg Verfahren und Vorrichtung zum Überwachen oder zum Beeinflussen der Bewegung eines Fahrzeugs auf einem Weg
DE10156509B4 (de) * 2001-11-16 2007-12-06 Audi Ag Fahrerassistenzsystem
JP3915655B2 (ja) * 2002-10-25 2007-05-16 マツダ株式会社 車両用運転支援システム
JP4294401B2 (ja) * 2003-07-25 2009-07-15 富士重工業株式会社 車両用走行支援装置
JP4186749B2 (ja) * 2003-08-11 2008-11-26 トヨタ自動車株式会社 脇見判定装置
JP4265992B2 (ja) * 2004-04-30 2009-05-20 富士通テン株式会社 運転支援装置
DE102004026590A1 (de) 2004-06-01 2006-01-12 Siemens Ag Assistenzsystem für Kraftfahrzeuge
JP4543760B2 (ja) * 2004-06-03 2010-09-15 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備える車両
DE102004048013A1 (de) 2004-10-01 2006-04-06 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerunterstützung
JP4556608B2 (ja) * 2004-10-14 2010-10-06 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2006331323A (ja) * 2005-05-30 2006-12-07 Toyota Motor Corp 車両逸脱警報装置
JP4666631B2 (ja) * 2005-12-26 2011-04-06 本田技研工業株式会社 車両の操舵制御装置及び車両
JP4811025B2 (ja) * 2006-01-06 2011-11-09 トヨタ自動車株式会社 車両用制御装置
JP4730191B2 (ja) * 2006-04-27 2011-07-20 トヨタ自動車株式会社 車両用運転支援装置、及び、脇見状態検出装置
JP2007207274A (ja) * 2007-04-23 2007-08-16 Mitsubishi Electric Corp 発進報知装置
JP5280180B2 (ja) * 2008-12-18 2013-09-04 本田技研工業株式会社 車両用警報装置
JP2012003420A (ja) * 2010-06-15 2012-01-05 Daimler Ag 車線逸脱警報装置及び警報方法
JP5423724B2 (ja) 2011-04-28 2014-02-19 トヨタ自動車株式会社 ドライバ状態判定装置
EP2564765B1 (en) * 2011-09-02 2017-12-13 Volvo Car Corporation System and method for improving a performance estimation of an operator of a vehicle
KR101338582B1 (ko) * 2011-12-06 2013-12-06 현대자동차주식회사 운전 집중도 기반의 차선유지 제어 장치 및 그 방법
KR102063839B1 (ko) * 2014-06-26 2020-01-08 현대자동차주식회사 부주의 운전 검출 장치
JP6332170B2 (ja) * 2015-07-01 2018-05-30 トヨタ自動車株式会社 自動運転制御装置
CN113016016A (zh) * 2018-11-26 2021-06-22 三菱电机株式会社 信息提示控制装置、信息提示装置和信息提示控制方法、以及程序和记录介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1134774A (ja) * 1997-07-23 1999-02-09 Toyota Motor Corp 車両用状態報知装置
JP3468039B2 (ja) 1997-07-23 2003-11-17 トヨタ自動車株式会社 車両用状態報知装置

Also Published As

Publication number Publication date
JPH1134773A (ja) 1999-02-09

Similar Documents

Publication Publication Date Title
JP3235522B2 (ja) 走行レーン逸脱警報装置
JP3183966B2 (ja) 車両の走行制御装置
US7737832B2 (en) Assistance system for motor vehicles
US8583341B2 (en) Method for the open-loop and closed-loop control of traffic flow
JP4905829B2 (ja) 運転支援装置および運転支援方法
US11104348B2 (en) Vehicle alarm apparatus
US10565869B2 (en) Vehicle driving assistance apparatus and vehicle driving assistance method
JP2001093099A (ja) 車両用運転支援装置
JP4946005B2 (ja) 運転者心理状態判定装置及び運転者心理状態判定システム
CN112238843A (zh) 车辆行驶控制装置
KR102367952B1 (ko) 비전 시스템, 그를 가지는 차량 및 그 제어 방법
JPH1125397A (ja) 車両用走行状態判定装置
JP2008030617A (ja) 車線維持支援装置
JP4235090B2 (ja) 車両走行支援装置
JP3803156B2 (ja) 渋滞追従制御装置
JP2003025937A (ja) 車線逸脱警報装置
CN112849133A (zh) 驾驶支援装置
JP3470559B2 (ja) 走行レーン逸脱警報装置
JP3198562B2 (ja) 運転警報装置
JP3436083B2 (ja) 走行レーン逸脱警報装置
JPH06171392A (ja) 走行車線逸脱防止装置
JP6520691B2 (ja) 車線逸脱警報装置及び車線逸脱警報方法
WO2022122456A1 (en) Inattention state detection of a driver of a target vehicle in vicinity of an ego vehicle
JP2007133588A (ja) 運転者心理判定装置
JP2001101581A (ja) 走行支援用の車載装置およびその装置による走行支援方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070928

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080928

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080928

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090928

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100928

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100928

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110928

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110928

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120928

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120928

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130928

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees