JP3550888B2 - 車両用音声案内装置 - Google Patents

車両用音声案内装置 Download PDF

Info

Publication number
JP3550888B2
JP3550888B2 JP17268796A JP17268796A JP3550888B2 JP 3550888 B2 JP3550888 B2 JP 3550888B2 JP 17268796 A JP17268796 A JP 17268796A JP 17268796 A JP17268796 A JP 17268796A JP 3550888 B2 JP3550888 B2 JP 3550888B2
Authority
JP
Japan
Prior art keywords
vehicle
voice
guidance
warning
curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP17268796A
Other languages
English (en)
Other versions
JPH1019594A (ja
Inventor
晃 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP17268796A priority Critical patent/JP3550888B2/ja
Publication of JPH1019594A publication Critical patent/JPH1019594A/ja
Application granted granted Critical
Publication of JP3550888B2 publication Critical patent/JP3550888B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、カーブにおける警告と、経路案内の両方を音声で行う車両用音声案内装置に関する。
【0002】
【従来の技術】
従来より、目的地の設定に応じて、この目的地までの最適経路を探索設定すると共に、走行時には設定した経路に基づいて経路案内を行うナビゲーション装置が知られている。このナビゲーション装置では、地図上に現在地を表示すると共に、右左折する交差点ではこれを指示して、経路案内を行う。特に、交差点では、運転者がディスプレイを注視することは難しい。そこで、特開平6−52491号公報等では、交差点での右左折の指示を音声で行うようにしている。このような音声による案内によって、運転者に対する効果的な案内を行うことができる。
【0003】
また、このナビゲーション装置では、経路案内のために道路形状データを有している。このため、この道路形状データを利用すれば、これから進入するカーブの形状も分かり、そのカーブに進入するときの適正な車速についても予め知ることができる。そこで、カーブ進入前の車速が大きすぎる時などに、減速すべきであるとの警告を発することが好適と考えられ、このようなカーブ警告装置についての提案もある。
【0004】
例えば、特開平6−80046号公報には、自車の走行路における前方の道路形状と、自車状況とから、前方道路における走行時の車両の挙動を予想し、不安定な状況の発生が予想された場合にドライバーに対し警告する装置が示されている。この装置によれば、カーブに進入しようとする際のスピードの出しすぎ等に対し、警告を発することができる。
【0005】
さらに、米国特許5,177,685号公報には、音声による経路案内を行うナビゲーション装置であって、道路についての情報に基づいて、危険の警告を発生するものが示されている。この装置によれば、音声案内にさらに音声の警告を組み合わせることができる。
【0006】
【発明が解決しようとする課題】
ここで、交差点における音声案内と、カーブにおける警告の両方を音声で出力すると、両方の出力が重なる場合も発生する。このような場合、両方の出力を発生順に続けて出力することになるが、各出力ともその出力にはある程度の時間がかかり、適切なタイミングでの警告や右左折の案内が行えなくなってしまうことも考えられる。
【0007】
本発明は、上記課題に鑑みなされたものであり、カーブにおける警告と、交差点の案内の両方を効果的に行える車両用音声案内装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
本発明は、走行する道路についての道路形状データを取得する形状データ取得手段と、自車の走行路における前方の道路形状と、自車の走行状況から、前方道路を道路形状通りに走行した場合における車両横加速度を予測して、不安定な状況の発生が予想された場合に警告音声を出力する警告手段と、特定交差点における自車の進行すべき方向を認識し、自車が前記特定交差点に接近したときに案内音声を出力する音声案内手段と、前記警告音声出力時期と前記案内音声の出力時期が接近すると予想される場合には、両音声案内信号を混合した混合案内文音声案内を行う混合案内手段と、を有することを特徴とする。
【0009】
このように、警告手段からの警告と、交差点における案内が重なりそうな場合には、両案内を混合した案内文を基に音声案内を行う。例えば、カーブの直後に特定(案内)交差点(例えば左折)がある場合であって、カーブにおける警告が必要な場合、「この先カーブ後直ぐ左方向です。」等という案内文による音声案内を行う。これによって、ドライバーに分かりやすく、また所定の案内タイミングを逃さず、好適な音声案内が行える。
【0010】
また、本発明は、前記混合案内手段は、前方のカーブにおいて不安定な状況が発生すると予測された場合に、自車位置の前記カーブの進入口からの距離に応じてレベルを設定し、設定されたレベルに応じて、異なる前記混合案内文を読み出し音声案内を行うこと特徴とする。
【0011】
このように設定されたレベルに応じて異なる前記混合案内文を読み出し音声案内を行うことで、緊急度が高いときに、警告音声を優先することができる。そこで、ドライバーにとって必要な情報を効果的に与えることができる。
【0012】
また、本発明は、両音声信号を混合した音声を出力した後、警告が不要になったときには、前記案内音声のみを再出力することを特徴とする。
【0013】
警告音声は、緊急度が高いため、ドライバーは、案内音声について注意していないことが予想される。一方、緊急状態を回避し、警告不要の状態になった後であれば、ドライバーは自身の進行方向を理解する余裕があり、その時に再度案内音声出力することで有効な進路案内が行える。
【0017】
【発明の実施の形態】
以下、本発明に好適な実施の形態(以下、実施形態という)について、図面に基づいて説明する。図1は、本実施形態に係る車両用音声案内装置の全体構成を示すブロック図である。自車位置検出装置12は、DGPS装置、自律航法センサ、電波及び光ビーコン通信機、FM多重受信機等からなっている。DGPS(ディファレンシャル・グローバル・ポジショニング・システム)装置は、人工衛星からの電波を基に自車位置を検出するGPS(グローバル・ポジショニング・システム)と、FM多重放送などから供給される誤差情報を合わせ、GPS装置より正確な位置情報を検出する。自律航法センサは、車速メータと方位センサなどから得られるどの方向にどれだけ移動したかという情報から移動距離を計測する。電波及び光ビーコン受信機は、道路脇に設置されている電波ビーコンや、光ビーコンと通信を行い、絶対位置情報などを受信する。FM多重受信機は、上述のように、GPS装置で得られる位置情報についての誤差情報を受信する。
【0018】
自車位置検出装置12は、各種の検出手段からの情報を合わせ、常に現在位置を正確に検出する。また、道路に設けられている磁気マーカなどから道路内の横方向位置を検出することも好適である。なお、電波、光ビーコン通信機やFM多重放送では、渋滞情報なども受信する。
【0019】
車両状況検出装置14は、車速センサ、加速度センサ、温度計、時計、雨滴センサ等を有している。車速センサは、車輪軸の回転速度などから車速を検出する。加速度センサは、車体の縦方向及び横方向の加速度を検出する。なお、縦方向の加速度は、車速センサの検出値の微分で算出してもよい。温度センサは外気温、時計は時刻、雨滴センサは雨が降っているか検出する。車両状況検出装置14は、各種検出手段の検出値に応じて、車両が現在おかれている状況を検出し、将来の車両の走行状況を予測するためのデータを出力する。
【0020】
道路データベース16は、全国の地図データを有すると共に、カーブ曲率、見通しの良さ、道路勾配(走行方向の傾き)、カント(道路の横方向の傾き)、路面の摩擦係数μ、舗装状態を含む路面の凸凹状態、カーブミラーの有無、車線数、道路幅、道路種別、夜間街灯の有無、ガードレールの有無、過去の事故データ等を各道路について、記憶している。
【0021】
音声記憶部18は、案内音声や、警告音声等出力音声の各種パターンを記憶している。また、ディスプレイ20は必要な情報を表示し、スピーカ22は必要な音声を出力する。さらに、入力手段24は、ユーザの操作により、必要なデータを入力するためのものである。
【0022】
そして、演算処理装置10は、自車位置検出装置12、車両状況検出装置14、入力手段24から得られるデータと、道路データベース16、音声記憶部18に記憶されているデータに基づいて各種の演算処理を行い、その結果に基づいて、ディスプレイ20の各種の表示を行うと共に、スピーカ22から必要な音声を出力する。
【0023】
まず、ユーザの操作に基づく目的地の設定に応じて、目的地までの最適経路を探索し、経路を設定する。そして、車両の走行時には、道路データベース16からの地図データに基づいた地図をディスプレイ20に表示すると共に、ここに自車位置検出装置12により検出した自車位置マークを表示する。また、予め決定された経路上の走行において、右左折などが必要な交差点(案内交差点)の手前に至った場合には、ディスプレイ20に進行方向を示す交差点の拡大図を表示すると共に、次の交差点に進む方向をスピーカ22から出力する。例えば、「この先300m○○交差点を左方向です。」等という案内音声を出力する。この案内音声は、音声記憶部18に記憶されている各種パターンを読み出して行う。
【0024】
また、演算処理装置10は、自車の走行における不安定を検出したときには、警告を発生する。例えば、自車位置検出装置12の出力から、カーブ進入前であることを検出した場合には、その時に車両状況検出装置14の検出値及び道路データベース16におけるそのカーブの路面摩擦係数μ等に基づいて、警告を発すべきか否かを判断する。例えば、演算処理装置10は、道路形状通りに走行した場合における車両横加速度を予測して、不安定になるかを判定し、ディスプレイ20及びスピーカ22から警告を発する。ここで、警告を発生すべきか否かは、カーブミラーの有無、時刻などによっても変化する。そこで、演算処理装置10は、得られたデータ全てから警告を発生すべきか否かを総合的に判断する。なお、警告文も音声記憶部18に記憶されてるパターンに基づいて行う。
【0025】
ここで、警告発生の具体的動作について、図2に基づいて説明する。まず、自車位置検出装置12からのデータによって、自車位置を検出する(S11)。次に、自車位置に応じて、自車がこれからさしかかる道路データを読み込む(S12)。なお、道路データは、通常所定のエリア毎に、読み出す。また、経路が設定されていれば、かなり先のデータまで道路データベース16から予め読み出しておくことができる。次に、車両状況検出装置14から現在の車両データを取り込む(S13)。そして、これらデータに基づいて、不安定な状況に至るか否かを判定する(S14)。例えば、路形状通りに走行した場合における車両横加速度を予測して、不安定になるかを判定するよい。
【0026】
このような判定によって、安定と判定されれば、問題はないため、処理を終了する。一方、不安定と判定された場合には、自車位置が、レベル1の警告を行う地点にまで到達したかを判定する(S15)。到達していなかった場合には、処理を終了する。
【0027】
一方、S15において、レベル1の警告地点まで到達していた場合には、レベル2の警告地点まで到達したかを判定し(S16)、到達していなかった場合には、レベル1に警告を行う(S17)。S16において、レベル2の警告地点まで到達していた場合には、レベル3の警告地点まで到達したかを判定し(S18)、到達していなかった場合にレベル2に警告を行う(S19)。そして、到達していた場合には、レベル3の警告を行う(S20)。このようにして、不安定な状況の発生が予想される場合に、そのレベルに応じて警告を変更する。
【0028】
「警告音声」
ここで、具体的な警告音声の内容について説明する。例えば、図3のような形状のカーブに進入する際には、そのカーブ進入口からの距離に応じて、レベル1、2、3の警告地点を設定する。各警告地点は、道路形状データ、車両性能、天候、時間、交通量、過去の運転履歴から予測されるドライバーの運転技量などから、適正な位置を推定決定する。
【0029】
そして、警告音声を
(i)レベル1
「この先カーブです。ご注意下さい。」
(ii)レベル2
「カーブです。スピード注意。」
(iii)レベル3
「スピードオーバー、ブレーキ、ブレーキ」
のように変更する。
【0030】
このように、表現の仕方を変更することで、ドライバーに緊張感を与えることができる。また、声色、体言止め、命令調、話速を速める等の変更によってもドライバーにより効果的な警告が行える。
【0031】
さらに、警告音声の発生中に、レベルが上がった場合には、即座に緊急度の高い警告に切り換えてドライバーに注意を即すことが効果的である。
【0032】
なお、このレベルは、車両の走行状況が変更されない場合についてのものである。従って、ブレーキ操作などによって、車両の走行状況が改善された場合には、レベルは上がらなかったり、不要になる
【0033】
また、上述のような警告に合わせて実際の道路形状などを音声で知らせることも好適である。例えば、「この先200Rのカーブです。」というカーブ曲率の読み上げや、「この先カント○○です。」というカントの読み上げや、「時速25km以下でカーブに進入して下さい。」「時速20kmオーバーです。減速して下さい。」等の安全進入速度の読み上げなどを行うことが好適である。
【0034】
「警告表示」
また、ディスプレイ20の表示により、ドライバーへの警告を行うことも好適である。
【0035】
例えば、ディスプレイ20に表示された地図において注意が必要となる場所がどこであるのかを明らかにする。例えば、図4〜6のような表示を行うことが好適である。図4の例では、注意すべきカーブを他と区別できる色で表示したり、ハイライト点滅を行ったりして明らかに示している。また、図5では、地図上に矢印などを上書きし、ドライバーに注意すべきカーブを知らせている。図6では、カーブに近づいた場合に、案内交差点での拡大表示と同様に、カーブ形状を拡大表示し、ドライバーにカーブ形状を知らしめている。
【0036】
さらに、図5に示すように、カーブの曲率を表示してもよく、さらにカントや、安全進入速度などを表示することも好適である。
【0037】
「案内重複時の処理」
カーブが終わらない内に右左折道路があり、そちらに誘導させたい場合、従来の音声案内と、カーブ警告音声が重複する場合がある。例えば、図7に示すような道路があり、設定経路がカーブを曲がった後直ぐに左折であった場合において、車速が速すぎるためにカーブ警告も発生される場合には、案内音声と警告音声が重なってしまう。本実施形態では、音声記憶部18において、両者が重なった場合の音声が記憶されており、これを読み出し、音声出力することで、ドライバーに分かりやすく、かつ適切なタイミングでの音声案内が行える。
【0038】
この動作について、図8に基づいて説明する。まず、自車位置の検出する(S31)。そして、検出した自車位置に基づいて、案内を取り込む(S32)。この取り込みは、ナビゲーションの交差点案内とカーブ警告をそれぞれの処理フローチャートの中で行う。そして、取り込んだ案内の内容から、音声のカーブ警告が必要かを判定する(S33)。このS33において、カーブ警告が必要と判定された場合には、次に音声の交差点案内が必要かを判定する(S34)。
【0039】
そして、S34においてもYES、すなわちカーブ警告および交差点案内が必要であると判定された場合には、音声が重なると考えられ、両者をミックスした案内を行う(S35)。ここで、このミックスした音声は、図7に示すカーブ進入口からの距離に応じたレベルにより変更する。すなわち、自車位置が、レベル1であれば、「この先カーブの後、直ぐ左方向です。ご注意下さい。」、レベル2であれば、「カーブの後直ぐ左方向。スピード注意。」、レベル3であれば、「スピードオーバー。ブレーキ、ブレーキ。」のように、レベルが上がるにつれ、緊急度の高いカーブ警告の割合を増加させる。れによって、必要な情報を的確にドライバーに伝えることができる。
【0040】
S34において、交差点案内が不要であった場合には、カーブ警告のみ必要であるため、上述したようなレベルに応じたカーブ警告を発生する(S36)。
【0041】
また、S33において、カーブ警告が不要であった場合には、交差点案内が必要かを判定し(S37)、必要であれば、交差点案内のみを行う(S38)。一方、交差点案内も不要であった場合には、S35のミックスした案内を行った直後であるかを判定する(S39)。そして、ミックス案内の直後であった場合には、S38の交差点案内を行う。これは、ミックスした案内では、より緊急度の高いカーブ警告に気をとられ、交差点案内を確実に聞き取ることができない場合も多いと考えられるからである。このように、カーブ警告が不要な状態、すなわち安定した走行が行えるような状態になったときに、交差点案内を行うことで、交差点案内をドライバーに確実に伝えることができる。
【0042】
なお、このフローチャートにおいて、S32の案内の取り込みは、少なくとも警告、案内などの出力時間も考え、車両前方の所定範囲での必要性を判定する。また、カーブ警告の正確な必要性を判定するには、かなり先のカーブについても考慮しなければならない場合も多く、上述のようなミックスした警告が必要となる可能性があることを十分前に推定しておき、ミックスした警告の必要性の判定を独立して行ってもよい。すなわち、通常のカーブ警告のレベル1〜3の距離とミックスした案内のレベル1〜3の距離は変えてもよい。
【0045】
このように、本実施形態によれば、カーブと案内交差点が近接し、両案内が重複する場合に、両案内を合わせた案内を行うことができ、ドライバーに分かりやすい案内が行える。また、カーブに近づくに従って、より緊急度の高いカーブ警告を中心とした案内に切り換えることによって、適切な警告が行える。
【図面の簡単な説明】
【図1】全体構成を示すブロック図である。
【図2】レベルに応じたカーブ警告の処理を示すフローチャートである。
【図3】警告のレベルとカーブからの距離を示す説明図である。
【図4】警告の表示の一例を示す説明図である。
【図5】警告の表示の一例を示す説明図である。
【図6】警告の表示の一例を示す説明図である。
【図7】カーブ直後の案内交差点の一例を示す説明図である。
【図8】カーブ直後の案内交差点の案内の処理を示すフローチャートである。
【符号の説明】
10 演算処理装置、12 自車位置検出装置、14 車両状況検出装置、16 道路データベース、18 音声記憶部、20 ディスプレイ、22 スピーカ、24 入力手段。

Claims (3)

  1. 走行する道路についての道路形状データを取得する形状データ取得手段と、
    自車の走行路における前方の道路形状と、自車の走行状況から、前方道路を道路形状通りに走行した場合における車両横加速度を予測して、不安定な状況の発生が予想された場合に警告音声を出力する警告手段と、
    特定交差点における自車の進行すべき方向を認識し、自車が前記特定交差点に接近したときに案内音声を出力する音声案内手段と、
    前記警告音声出力時期と前記案内音声の出力時期が接近すると予想される場合には、両音声案内信号を混合した混合案内文音声案内を行う混合案内手段と、
    を有することを特徴とする車両用音声案内装置。
  2. 請求項1に記載の装置において、
    前記混合案内手段は、前方のカーブにおいて不安定な状況が発生すると予測された場合に、自車位置の前記カーブの進入口からの距離に応じてレベルを設定し、設定されたレベルに応じて、異なる前記混合案内文を読み出し音声案内を行うことを特徴とする車両用音声案内装置。
  3. 請求項1〜3のいずれか1つに記載の装置において、
    両音声信号を混合した音声を出力した後、警告が不要になったときには、前記案内音声のみを再出力することを特徴とする車両用音声案内装置。
JP17268796A 1996-07-02 1996-07-02 車両用音声案内装置 Expired - Lifetime JP3550888B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17268796A JP3550888B2 (ja) 1996-07-02 1996-07-02 車両用音声案内装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17268796A JP3550888B2 (ja) 1996-07-02 1996-07-02 車両用音声案内装置

Publications (2)

Publication Number Publication Date
JPH1019594A JPH1019594A (ja) 1998-01-23
JP3550888B2 true JP3550888B2 (ja) 2004-08-04

Family

ID=15946505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17268796A Expired - Lifetime JP3550888B2 (ja) 1996-07-02 1996-07-02 車両用音声案内装置

Country Status (1)

Country Link
JP (1) JP3550888B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000310537A (ja) * 1999-04-28 2000-11-07 Honda Motor Co Ltd 車載経路案内装置
JP2002156233A (ja) * 2000-11-16 2002-05-31 Fuji Heavy Ind Ltd 車載用情報表示装置
JP4617481B2 (ja) * 2000-11-22 2011-01-26 マツダ株式会社 車両の制御装置
JP2003063459A (ja) * 2001-08-29 2003-03-05 Matsushita Electric Ind Co Ltd 車両用ドライブレコーダ装置
JP3953843B2 (ja) * 2002-03-05 2007-08-08 本田技研工業株式会社 車両の危険情報提供装置及び方法並びにプログラム
ATE505710T1 (de) * 2003-10-20 2011-04-15 Yamaha Motor Co Ltd Verfahren und system zum abspeichern von fahrinformationen für motorräder
JP4429691B2 (ja) * 2003-11-07 2010-03-10 クラリオン株式会社 車載用音響装置、車載用音響装置の制御方法、車載用音響装置の制御プログラム、及び記録媒体
JP4543814B2 (ja) * 2004-08-05 2010-09-15 日産自動車株式会社 運転支援装置
JP4367370B2 (ja) 2005-04-13 2009-11-18 株式会社デンソー 車両用ナビゲーション装置
JP4899429B2 (ja) * 2005-11-10 2012-03-21 トヨタ自動車株式会社 走行支援装置
US20090171665A1 (en) * 2007-12-28 2009-07-02 Garmin Ltd. Method and apparatus for creating and modifying navigation voice syntax
JP5383240B2 (ja) * 2009-02-16 2014-01-08 アルパイン株式会社 交差点音声案内方法及び車載ナビゲーション装置
JP5355778B2 (ja) * 2010-03-19 2013-11-27 三菱電機株式会社 情報提供装置
JP5574800B2 (ja) * 2010-04-26 2014-08-20 アルパイン株式会社 ナビゲーション装置、音声案内方法および音声案内プログラム

Also Published As

Publication number Publication date
JPH1019594A (ja) 1998-01-23

Similar Documents

Publication Publication Date Title
JP3402203B2 (ja) ナビゲーション装置
EP1985972B1 (en) Route guide system and method with intersection counting unit
US6253150B1 (en) Mobile navigation system
JP3550888B2 (ja) 車両用音声案内装置
JP3161280B2 (ja) 車載用ナビゲーション装置
JP2000500878A (ja) 車両内交通関連情報供給装置及び方法
JP2008298547A (ja) ナビゲーション装置
WO2008068949A1 (ja) ナビゲーション装置
JP4561722B2 (ja) 運転支援装置
JPH08287394A (ja) 車載用ナビゲーションシステム
JPH11337359A (ja) ナビゲーション装置
JP3437629B2 (ja) ナビゲーションシステム
JP2002157684A (ja) 車載用表示装置
JP5055006B2 (ja) 車載地図表示装置
JP2004069691A (ja) ドライバ情報装置
JP2002156239A (ja) 車載用カーナビゲーション装置
JP3396724B2 (ja) 車両用渋滞情報案内方法
JP2005201763A (ja) ナビゲーション装置
JP2004325255A (ja) 車両用ナビゲーション装置
JP4193742B2 (ja) カーナビゲーション装置
JP3696727B2 (ja) 車載用ナビゲーション装置
JPH10260054A (ja) 車載用ナビゲーション装置の車両案内方法
JP3307333B2 (ja) 車載用ナビゲーション装置
JP4702221B2 (ja) ナビゲーション装置
JPH09123795A (ja) 追従走行制御装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040412

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080514

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090514

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100514

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110514

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110514

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120514

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120514

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140514

Year of fee payment: 10

EXPY Cancellation because of completion of term