JP3559083B2 - 運転支援装置 - Google Patents

運転支援装置 Download PDF

Info

Publication number
JP3559083B2
JP3559083B2 JP33731394A JP33731394A JP3559083B2 JP 3559083 B2 JP3559083 B2 JP 3559083B2 JP 33731394 A JP33731394 A JP 33731394A JP 33731394 A JP33731394 A JP 33731394A JP 3559083 B2 JP3559083 B2 JP 3559083B2
Authority
JP
Japan
Prior art keywords
image
contour
obstacle
divided
driving support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP33731394A
Other languages
English (en)
Other versions
JPH08175228A (ja
Inventor
淳 芦原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP33731394A priority Critical patent/JP3559083B2/ja
Publication of JPH08175228A publication Critical patent/JPH08175228A/ja
Application granted granted Critical
Publication of JP3559083B2 publication Critical patent/JP3559083B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Instrument Panels (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

【0001】
【産業上の利用分野】
本発明は車両の衝突警報装置などの運転支援装置に関するものであり、特に、ヘッドアップ型表示装置を利用する運転支援装置に関するものである。
【0002】
【従来技術】
最近、車両の安全運転や快適運転を支援するための各種の運転支援装置が種々開発されている。この種の運転支援装置は、車両の周辺の物体を検出する物体検出手段と、この検出された物体がこの車両の走行の障害になるか否かを監視し障害になる場合には警報を発する監視手段と、この警報を音や画像で運転者に伝達するスピーカや表示手段を備えている。
【0003】
上記運転支援装置の典型的な一例である「危険状況警報装置」が特開平 6ー215300号公報に開示されている。この危険状況警報装置は、物体検出手段としてレーダー装置やテレビジョンカメラなどを備えている。また、監視手段としては、上記レーダー装置などで検出した物体が車速など自車両の走行状況に照らして事故の原因となるような障害物に該当するか否かを判定し、該当する場合には警報を発生する手段を備えている。さらに、表示手段としては、運転者の視野内に存在する該当の障害物を囲む赤枠などを表示することによって運転者に警告するヘッドアップ型の表示装置を備えている。
【0004】
【発明が解決しようとする課題】
上述した先行技術の運転支援装置は、検出した障害物を囲むような赤枠などを表示するだけの構成であるため、運転者の目視による赤枠内の障害物の認識作業が必要になる。何故ならば、この種の運転支援システムの基本的な設計思想によれば、検出確度の向上よりも検出漏れの防止を優先させるのが一般的であり、疑わしい場合も含めて広めに警報が発生され、それらの中から目視によって無用な警報を振るい落としてゆくことになるからである。
【0005】
上記赤枠内の障害物の認識は、晴天時の昼間などには比較的迅速に行うことができるため、それほど大きな問題ではない。しかしながら、夜間など入射光量が不足気味の場合や、降雨時でフロントガラスが曇っている場合などには、赤枠内の障害物の認識作業にかなりの時間を費やしてしまう。この認識に要した時間だけブレーキやハンドル操作などの対応が遅れてしまい、危険の回避のための運転支援装置としては問題がある。
従って、本発明の目的は、運転者による障害物の認識を迅速化できる運転支援装置を提供することにある。
【0006】
【課題を解決するための手段】
本発明の運転支援装置は、車両前方の光景を撮影し映像信号を出力する撮影手段と、この撮影手段から出力される映像信号を処理することにより撮影された前方の光景内に含まれる画像の輪郭線を抽出しその画像を輪郭線に置換した輪郭線画像を作成する輪郭線画像作成手段と、車両前方の空間内に存在する物体を複数個に分割された分割領域内のそれぞれごとに検出する物体検出手段と、この物体検出手段によって検出された各分割領域内の物体が走行障害となるおそれがある障害物に該当するか否かを監視し障害物に該当すると判定した場合には警報を発する監視手段と、この監視手段から上記障害物の存在する分割領域に関する通知を受け、上記輪郭線画像作成手段で作成された輪郭線画像のうちこの分割領域内に含まれるものを抽出する輪郭線画像抽出手段と、この抽出された輪郭線画像を前方の光景内に含まれ障害物に該当すると判定された物体の輪郭に重ね合わせて虚像として表示するヘッドアップ型表示装置とを備えている。
【0007】
【作用】
警報発生に係わる分割領域内の物体(人体を含む)の輪郭線が抽出されてヘッドアップ型表示装置に表示されるため、運転者は障害物を迅速に認識できる。特に、夜間など入射光量が不足気味の場合や降雨のためガラスが曇っている場合でも輪郭線を高輝度などで強調して表示するようにすれば、運転者は障害物を迅速に認識できる。
以下、本発明を実施例と共に更に詳細に説明する。
【0008】
【実施例】
図1は、本発明の一実施例の運転支援装置の構成を示すブロック図であり、1はCPU、2はCPU1と共に物体検出手段を構成するマルチビーム走査型FMレーダーモジュール、3はテレビジョンカメラ3aとA/D変換回路3bとから構成される撮影手段、4は輪郭抽出回路4aとフレームメモリ4bとから構成される輪郭線画像作成手段である。
【0009】
5は画面メモリ、6は表示制御回路、7はプロジェクタ、8はスクリーン、9は入出力インタフェース回路、10はキーボード、11はスピーカである。スクリーン8は、特開昭64ー83424 号公報に記載された従来装置の場合と同様に、運転席とフロントガラスとの間に配置されており、運転者がスクリーン8上に投影された輪郭強調画像と車両の前方の景色とを重畳した状態で感得できるように構成されている。
【0010】
マルチビーム走査型FMレーダーモジュール2は、方向が少しずつずれた5本のFM信号のビームを車両の前方に放射してその反射信号を受信する5個の送受信チャネルと、各送受信チャネルについて受信反射信号と放射前のFM信号とを混合して差周波のビート信号を発生する混合回路と、各送受信チャネルについて混合回路で発生されたビート信号を高速フーリエ変換(FFT)することによりビート信号の周波数スペクトルを作成してCPU1に供給する高速フーリエ変換回路などから構成されている。
【0011】
撮影手段3は、車両の前方に向けて設置されたテレビジョンカメラ3aと、このテレビジョンカメラ3aから出力されるアナログ映像信号をディジタル映像信号に変換するA/D変換回路3bとから構成されている。テレビジョンカメラ3aの視野は、上記マルチビーム走査型FMレーダーモジュール2による物体検出空間とほぼ同程度となるように設定されているが、詳細については後述する。撮影手段3から出力されたディジタル映像信号は輪郭抽出回路4aに供給される。
【0012】
輪郭抽出回路4aは、微分回路などを含んで構成され、テレビジョン画面上に出現する画像の輪郭線を抽出し、この画像を輪郭線で置換した輪郭線画像を作成する。輪郭抽出回路4aで作成された1フレーム分の輪郭線画像は、フレームメモリ4b内の直前のフレームの輪郭線画像の上に上書きされる。
【0013】
CPU1内の監視制御部1aは、車速、加速度、舵角、ヨーレイトなど車両の走行状態を表す各種のセンサ信号を図示しない各種のセンサから入出力インタフェース部9を介して受け取ると共に、この受け取った各センサ信号を処理して各種の制御信号を作成し、作成した各制御信号を入出力インタフェース部9を介して図示しない対応の各種のアクチュエータに出力する。
【0014】
CPU1内の監視制御部1aは、上記監視制御処理と時分割多重的に、マルチビーム走査型FMレーダーモジュール2から受け取った各送受信チャネルのビート信号の周波数スペクトルを分析することにより、各送受信チャネルごとに反射信号を生じさせた物体までの距離を算定する。上記5個の送受信チャネルによって検出される車両の前方の空間は、図2に例示するように、AからJまでの10個の領域に分割されている。分割領域AとFは車両の前方の一番左寄りにFM信号のビームを放射する送受信チャネルによる物体の検出対象領域であり、検出される物体の距離が所定の閾値Rthよりも小さいか大きいかに応じてAとFとに分割されている。
【0015】
分割領域BとGは車両の前方の次に左寄りにFM信号のビームを放射する送受信チャネルによる物体の検出対象領域であり、検出される物体の距離が所定の閾値Rthよりも小さいか大きいかに応じてBとGとに分割されている。以下同様にして、残る6個の分割領域(C,H)、(D,I)、(E,J)とが定義されている。このようにして、全部で10個の分割領域が量子化された5種類の方向と2種類の距離との組合せに従って定義されている。
【0016】
上記10個の分割領域A〜Jのそれぞれは、図3(A)に例示するような運転者がフロントガラスを通して見る車両前方の光景内に設定された10個の分割領域a〜jのそれぞれに対応するように設定されている。この10個の分割領域a〜jのそれぞれから構成される車両前方の光景を視野とするように、テレビジョンカメラ3aの設置位置と向きとレンズの光学特性とが設定されている。
【0017】
CPU1内の監視制御部1aは、10個の分割領域A〜Jのいずれか内で検出された物体が、自車両の走行状況に照らして事故を発生させるおそれがある障害物であると判定すると、この障害物が検出された分割領域を画像処理部1bに通知したのち、入出力インタフェース回路9を介してスピーカ11に警報音を発生させる。図3の例では、分割領域g内にそのような障害物が検出されたものとする。
【0018】
監視制御部1aからその旨の通知を受けた画像処理部1bは、フレームメモリ4cに書込まれている最新の1フレーム分の輪郭線画像のうち障害物が検出された分割領域g内のものだけを選択的に読み出して、強調表示のために高輝度赤の表示色とフラッシング(明滅)表示とを指定して表示用のフレームメモリ5に書込む。図3の例では、図3(B)に示すような障害物(この場合は人物)の輪郭線画像がフレームメモリ5内の分割領域gに対応する領域内に書込まれる。表示制御部6は、フレームメモリ5から高輝度赤の表示色の輪郭画像を点滅表示のための一定周期で読出してプロジェクタ7に供給する。
【0019】
プロジェクタ7から投射された映像はスクリーン8で反射されて運転者の目に入射する。従って、運転者は図3(C)に示すように、フロントガラスを通して直接見る車両前方の光景と、これに重畳された高輝度赤の点滅によって表示される人物の輪郭とを見ることになる。このため、夜間や降雨時でフロントガラスの曇りがひどい場合でも人物の輪郭を輪郭線画像によって明瞭に認識できる。
【0020】
以上、常時、輪郭線画像を強調表示する構成を例示した。しかしながら、昼間においては従来装置の場合のように、障害物を囲む赤枠や、障害物が検出された分割領域a〜jの境界線を表示させる動作モードを選択すると共に、夜間あるいは降雨時でガラスの曇りが激しくて前方の光景が不明瞭な場合にだけ、キーボード10から指令を発することにより、上述したような輪郭線画像を強調表示する動作モードに切替える構成とすることもできる。
【0021】
また、輪郭線画像の表示用にプロジェクタ7が投射可能な1フレーム分のサイズを有するフレームメモリ5を用いる構成を例示したが、1個の分割領域に対応する小型の画面メモリを設置しておき、表示制御部6に1フレーム内の表示位置を指示する構成としてもよい。
【0022】
また、着色値、輝度、点滅などの強調表示の態様を画像処理部1bが制御する構成を例示した。しかしながら、予め定められた強調表示の態様に従って表示制御部6がこの強調表示を実行するように構成することもできる。
【0023】
さらに、車両前方の障害物をFMレーダーモジュールを利用して検出する構成を例示した。しかしながら、この障害物の検出は、パルスレーダー、AMレーダーを使用する手法、あるいは、複数台のテレビジョンカメラを用いた三角測量の原理に基づいて行う手法、レーザ光や超音波を放射して反射波を受信する手法など他の適宜な手法を採用できる。
【0024】
【発明の効果】
以上詳細に説明したように、本発明の運転支援装置は、警報発生に係わる分割領域内の物体の輪郭線が抽出されてヘッドアップ型表示装置に表示される構成であるから、運転者は障害物をその輪郭によって迅速に認識できる。特に、夜間など入射光量が不足気味の場合や降雨のためガラスが曇っている場合でも輪郭線を高輝度などで強調して表示するようにすれば、運転者は障害物を迅速に認識できる。
【図面の簡単な説明】
【図1】本発明の一実施例の運転支援装置の構成を示すブロック図である。
【図2】上記実施例の監視対象の空間を複数個の領域に分割した一例を説明するための概念図である。
【図3】上記実施例による前方の光景(A)、ある分割領域内の輪郭線画像(B)及びこの輪郭線画像と車両前方の光景とが重畳された様子の一例を示す図である。
【符号の説明】
1 CPU
2 物体検出手段
3 撮影手段
4 輪郭線画像作成手段
5 フレームメモリ
6 表示制御回路
7 プロジェクタ
8 スクリーン

Claims (4)

  1. 車両前方の光景を撮影し映像信号を出力する撮影手段と、
    この撮影手段から出力される映像信号を処理することにより撮影された前方の光景内に含まれる画像の輪郭線を抽出しその画像を輪郭線に置換した輪郭線画像を作成する輪郭線画像作成手段と、
    車両前方の空間内に存在する物体を複数個に分割された分割領域内のそれぞれごとに検出する物体検出手段と、
    この物体検出手段によって検出された各分割領域内の物体が走行障害となるおそれがある障害物に該当するか否かを監視し障害物に該当すると判定した場合には警報を発する監視手段と、
    この監視手段から前記障害物の存在する前記分割領域に関する通知を受け、前記輪郭線画像作成手段で作成された輪郭線画像のうちこの分割領域内に含まれるものを抽出する輪郭線画像抽出手段と、
    前記抽出された輪郭線画像を前記前方の光景内に含まれ前記障害物に該当すると判定された物体の輪郭に重ね合わせて虚像として表示するヘッドアップ型表示装置と
    を備えたことを特徴とする運転支援装置。
  2. 請求項1において、
    運転者が発する指令に従い、前記抽出された輪郭線画像の代りに前記障害物が検出された分割領域の境界線を表示することを特徴とする運転支援装置。
  3. 請求項1及び2のそれぞれにおいて、
    前方ヘッドアップ型表示手段は、前記抽出された輪郭線画像を高輝度でかつ所定周期の点滅によって強調して表示することを特徴とする運転支援装置。
  4. 請求項1乃至3のそれぞれにおいて、
    前記物体検出手段は、マルチビーム走査型FMレーダーモジュールを含むことを特徴とする運転支援装置。
JP33731394A 1994-12-26 1994-12-26 運転支援装置 Expired - Fee Related JP3559083B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP33731394A JP3559083B2 (ja) 1994-12-26 1994-12-26 運転支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33731394A JP3559083B2 (ja) 1994-12-26 1994-12-26 運転支援装置

Publications (2)

Publication Number Publication Date
JPH08175228A JPH08175228A (ja) 1996-07-09
JP3559083B2 true JP3559083B2 (ja) 2004-08-25

Family

ID=18307460

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33731394A Expired - Fee Related JP3559083B2 (ja) 1994-12-26 1994-12-26 運転支援装置

Country Status (1)

Country Link
JP (1) JP3559083B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3154041A1 (en) * 2015-10-07 2017-04-12 LG Electronics Inc. Vehicle surround monitoring device

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10129409A (ja) * 1996-10-25 1998-05-19 Kazuyoshi Ahara エアーバックを利用した自動車の衝突緩和装置
JP3774521B2 (ja) * 1996-12-13 2006-05-17 キヤノン株式会社 カメラ制御システム、カメラサーバ、カメラ操作装置、及びカメラ操作情報の表示制御方法
JP3884815B2 (ja) * 1997-03-03 2007-02-21 本田技研工業株式会社 車両用情報表示装置
JP3987620B2 (ja) * 1997-07-11 2007-10-10 有限会社ヴェルク・ジャパン 画像表示方法
JP4334686B2 (ja) * 1999-07-07 2009-09-30 本田技研工業株式会社 車両の画像表示装置
JP3855552B2 (ja) * 1999-08-26 2006-12-13 松下電工株式会社 車両周辺障害物監視装置
JP4354085B2 (ja) * 2000-05-09 2009-10-28 本田技研工業株式会社 車両用ヘッドアップディスプレイ装置
JP4042319B2 (ja) * 2000-09-28 2008-02-06 日産自動車株式会社 警報制御装置
JP2005170323A (ja) * 2003-12-15 2005-06-30 Denso Corp 走路形状表示装置
JP4740689B2 (ja) 2005-08-19 2011-08-03 エイディシーテクノロジー株式会社 車載用画像表示装置及び車載用装置
JP4887980B2 (ja) * 2005-11-09 2012-02-29 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP4876938B2 (ja) * 2007-01-29 2012-02-15 パナソニック株式会社 運転支援装置、方法およびプログラム
DE102009004432B4 (de) * 2008-01-25 2016-12-08 Denso Corporation Kraftfahrzeuganzeigevorrichtung zum Anzeigen eines ein vorderes Hindernis umkreisenden Bildflecks
JP5553444B2 (ja) * 2010-09-21 2014-07-16 株式会社デンソー 車両用表示装置
EP2477156A1 (en) * 2010-12-23 2012-07-18 Alcatel Lucent An integrated method for camera planning and positioning
JP2014194503A (ja) * 2013-03-29 2014-10-09 Funai Electric Co Ltd ヘッドアップディスプレイ装置
CN105163972B (zh) * 2013-09-13 2017-12-05 日立麦克赛尔株式会社 信息显示系统以及信息显示装置
CN104656079B (zh) * 2013-11-21 2017-02-08 中国科学院沈阳自动化研究所 一种远距离雷达防撞探测装置及方法
JP6590538B2 (ja) * 2015-06-09 2019-10-16 株式会社デンソーテン 画像処理装置および画像処理方法
JP2017021546A (ja) * 2015-07-10 2017-01-26 田山 修一 車輌用画像表示システム及び方法
JP6512449B2 (ja) * 2016-01-20 2019-05-15 パナソニックIpマネジメント株式会社 表示装置
JP2018028625A (ja) * 2016-08-19 2018-02-22 日本電信電話株式会社 虚像表示システム
JP6787092B2 (ja) * 2016-12-05 2020-11-18 株式会社Jvcケンウッド 映像表示装置、及び映像表示方法
JP2019202680A (ja) * 2018-05-24 2019-11-28 株式会社日立ハイテクファインシステムズ 線路の周囲物の異常検出装置及び異常検出方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3154041A1 (en) * 2015-10-07 2017-04-12 LG Electronics Inc. Vehicle surround monitoring device
US10479274B2 (en) 2015-10-07 2019-11-19 Lg Electronics Inc. Vehicle and control method for the same

Also Published As

Publication number Publication date
JPH08175228A (ja) 1996-07-09

Similar Documents

Publication Publication Date Title
JP3559083B2 (ja) 運転支援装置
US10272780B2 (en) Information display system and information display device
JP5099451B2 (ja) 車両周辺確認装置
KR100936558B1 (ko) 차량용 주변 감시 장치 및 영상 표시 방법
JP4935571B2 (ja) 運転支援装置
JP2005126068A (ja) 適応画像化暗視装置
JP6557843B1 (ja) 車両の制御装置、制御システム、及び制御プログラム
JP2008193339A (ja) 後方監視装置
JP2010130647A (ja) 車両周辺確認装置
US10836311B2 (en) Information-presenting device
JP4731177B2 (ja) 車両の赤外線撮影表示装置及び赤外線撮影表示方法
JPH08115491A (ja) 車両用運転支援システム
JP2009073250A (ja) 車両後方表示装置
US20040212676A1 (en) Optical detection system for vehicles
JPH08253059A (ja) 車両用運転支援システム
JPH1148828A (ja) 車両周辺監視装置
JP7278829B2 (ja) 情報処理装置及び情報処理方法
JP4701961B2 (ja) 歩行者検知装置
JPH0843082A (ja) 車輌間隔検出装置
KR20180094717A (ko) Avm을 이용한 운전 지원 장치 및 시스템
JP3033390B2 (ja) 車両用画像表示装置
KR100882689B1 (ko) 차량의 측후방 모니터링 시스템 및 그 제어방법
JPH0858470A (ja) 後方確認装置
KR20150113600A (ko) 안전운전용 영상표시장치 및 그 구동방법
KR20220097656A (ko) 운전자 보조 장치, 차량 및 그 제어 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20031211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040518

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040520

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080528

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090528

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090528

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100528

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110528

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110528

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130528

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees