JPH0666591A - 車載用ナビゲート装置 - Google Patents

車載用ナビゲート装置

Info

Publication number
JPH0666591A
JPH0666591A JP4245871A JP24587192A JPH0666591A JP H0666591 A JPH0666591 A JP H0666591A JP 4245871 A JP4245871 A JP 4245871A JP 24587192 A JP24587192 A JP 24587192A JP H0666591 A JPH0666591 A JP H0666591A
Authority
JP
Japan
Prior art keywords
voice recognition
voice
unit
recognition target
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4245871A
Other languages
English (en)
Other versions
JP3337083B2 (ja
Inventor
Shuji Kubota
修司 久保田
Shoji Kuriki
章次 栗木
Masaru Kuroda
勝 黒田
Izumi Kinoshita
泉 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP24587192A priority Critical patent/JP3337083B2/ja
Publication of JPH0666591A publication Critical patent/JPH0666591A/ja
Application granted granted Critical
Publication of JP3337083B2 publication Critical patent/JP3337083B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)
  • Navigation (AREA)

Abstract

(57)【要約】 【目的】 装置各部の制御を音声によって行うことがで
きる音声認識手段を備えた車載用ナビゲート装置を提供
する。 【構成】 装置各部を制御する手段として音声認識装置
部6を備え、装置各部の制御を音声指令によって行うこ
とにより、運転手はナビゲート装置の操作に注意を奪わ
れることなく、自動車の運転に集中できる。認識対象と
なる音声の標準特徴量パターンは音声認識装置部6の音
声認識辞書21と外部記憶装置部31の双方に記憶し、
音声認識部側にはナビゲートシステム自身を制御するコ
マンドや制御文等を、また外部記憶装置部側には地図情
報に関連した情報を示す単語または文等をそれぞれ記憶
させる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は車載用ナビゲート装置に
関し、より詳細には、装置各部の制御を音声によって行
う音声認識手段を有する車載用ナビゲート装置に関す
る。
【0002】
【従来の技術】自動車に搭載されるナビゲート装置とし
ては、外部記憶装置(例えば、CD−ROM)に地図情
報を備えるとともに、衛星等からの外部情報に基づき現
在の走行位置を検知して、ディスプレイ等の画像情報表
示手段またはスピーカー等の音響情報出力手段を通じ
て、自動車の現在の走行位置や、走行の軌跡、更には目
的地までの距離や走行コースの等の各種の情報を運転者
に提供するものが開発されている。
【0003】
【発明が解決しようとする課題】しかしながら、従来の
ナビゲート装置においては、その制御がタッチパネル等
の入力手段を介して行われていることから、その操作を
目視にて手動で行わなければならない。このため、運転
中の操作は、運転手の注意が散漫になって運転に集中で
きず危険であり、またこの危険を避けようとすれば、自
動車を一旦停止して操作を行う必要があって面倒であ
り、ナビゲート装置の長所を充分に生かすことができな
いという問題点があった。
【0004】本発明は、かかる従来の問題点に鑑みてな
されたものであって、その目的とするところは、装置各
部の制御を音声によって行うことができる音声認識手段
を備えた車載用ナビゲート装置を提供することにある。
【0005】
【発明が解決するための手段】上記目的を達成するた
め、本発明の車載用ナビゲート装置は、画像や音響によ
り情報を出力する情報出力手段、衛星等からの外部情報
に基づき車位置を検知する車位置検知手段、および外部
記憶装置部から地図情報を得る手段を備えてなるもので
あって、音声入力部と、この音声入力部に入力された音
声の特徴量を得る特徴抽出部と、この特徴抽出部で得ら
れた音声特徴量パターンとあらかじめ登録されている標
準特徴量パターンとの比較演算を行う音声認識部とを有
してなる音声認識手段を備えることを特徴とする。
【0006】
【作用】本発明の車載用ナビゲート装置は、装置各部を
制御する手段として音声認識手段を備えており、この音
声認識手段を介して装置各部の制御を音声指令によって
行う。これにより、運転手はナビゲート装置の操作に注
意を奪われることなく、自動車の運転に集中できる。
【0007】音声認識手段をナビゲート装置に導入する
に際しては、その認識対象となる音声の標準特徴量パタ
ーンが音声認識手段の音声認識部と外部記憶装置部の双
方に記憶される。そして、音声認識部側にはナビゲート
装置自身を制御するコマンドや制御文等を、また外部記
憶装置部側には地図情報に関連した情報を示す単語また
は文等をそれぞれ記憶させることにより、大量の地図情
報に関する認識対象を記憶させることができる。
【0008】
【実施例】以下、本発明に係る実施例を図面に基づいて
説明する。
【0009】本発明に係る車載用ナビゲート装置の構成
を図1に示し、この車載用ナビゲート装置は音声によっ
て制御される構成を備え、具体的には、車位置検知部
1、外部記憶装置部2、画像情報表示部3、音響情報出
力部4、CPU5および音声認識装置部6を主要部とし
て備えてなる。
【0010】車位置検知部1は、衛星等から送られる外
部情報を受信して、自動車が現在走行中の位置を検知す
るものである。
【0011】外部記憶装置部2は、例えばCD−ROM
により構成されており、地図情報や本ナビゲート装置を
通じて運転者に伝えられる各種の情報(名所,旧跡の情
報等)が記憶されている。
【0012】画像情報表示部3は液晶パネル等のディス
プレイからなり、画像を通じて運転者に必要な情報を提
供し、また、音響情報出力部4はスピーカー等からな
り、音声を通じて運転者に必要な情報を提供する。
【0013】CPU5は、外部記憶装置部2に記憶され
ている地図情報等をデータバス12を介して画像情報表
示部3に送り、画像情報表示部3に表示させるように制
御する。また、CPU5は、車位置検知部1からの外部
情報をデータバス12を介して取り込み、この情報に基
づいて自動車の現在位置を演算するとともに、演算した
自動車の現在位置を上記地図情報等と共にデータバス1
2を介して画像情報表示部3に送り、画像情報表示部3
に表示させる。さらに、CPU5は、前記地図情報等を
順次データバス12を介して取り込み、上述のごとく画
像情報表示部3に表示させると同時に、音声合成回路
(図示せず)を介して音響情報出力部4から音声として
アナウンスさせる。
【0014】音声認識装置部6は、マイクロフォン7、
前処理部8、特徴抽出部9、パターン照合部10、音声
認識辞書11から構成される。マイクロフォン7に入力
された音声指令は電気信号に変換され、前処理部8でA
/D変換、区間検出等の前処理がなされる。そして、特
徴抽出部9で音声信号の特徴量パターンが抽出され、パ
ターン照合部10で、図1に示す装置ではこの音声特徴
量パターンと音声認識辞書11に記憶された標準特徴量
パターンとが照合され、その照合結果が結果出力として
データバス12を介してCPU5に送出される。
【0015】本発明の車載用ナビゲート装置は、上述の
ように、音声認識装置部6に音声認識辞書11を備えて
いるが、この音声認識装置部6を実際にナビゲートシス
テムに導入するに際しては、図2に示す実施例のよう
に、その認識対象となる音声の標準特徴量パターンが音
声認識装置部6と外部記憶装置部2の双方に記憶されて
いることがより好ましい。
【0016】すなわち、大量の地図情報を扱う車載用ナ
ビゲート装置に音声認識装置部6を適用する場合、ナビ
ゲート装置本体の操作を音声で操作しようとすると、認
識対象となる単語や文が限られるため、さほど認識対象
は多くならない。しかし、外部記憶装置部2から大量の
地図情報を読み込む操作を音声で行おうとすると、地図
情報に関連した大量の認識対象(例えば地図に記載され
ている各地の地名等)が必要となる。
【0017】このため、本実施例においては、音声認識
装置部6と外部記憶装置部2の両方に、それぞれ音声認
識辞書21,31を有する。この場合、ナビゲート装置
本体の記憶部である音声認識装置部6側の音声認識辞書
(第1の音声認識対象辞書)21には、ナビゲート装置
自身を制御するコマンドや制御文等が認識対象として記
憶されている。一方、外部記憶装置部2側の音声認識辞
書(第2の音声認識対象辞書)31には、地図情報と共
に地図情報に関連する情報を示すものが認識対象として
記憶されている。
【0018】これら二つの音声認識辞書21,31は、
CPU5により、ナビゲートシステムのコマンド操作を
行う場合と地図情報に関する情報操作を行う場合とによ
って自動的に切り替え制御される。以下、この切換え制
御の手順の一例を図3ないし図5のフローチャートに従
い説明する。
【0019】ナビゲート装置の動作が開始すると、まず
ナビゲート装置は初期状態となり、音声認識装置部6側
の音声認識辞書21が認識対象となり(ステップS
1)、この状態で、装置(システム)自身の操作に関す
る音声入力(例えば、”拡大”、”目的地指定”、”現
在位置表示”、”エリア切り替え”等の音声指令)が待
たれている(ステップS2)。
【0020】この状態で運転者により装置の操作に関す
る音声指令(例えば、”拡大”)がなされると、音声認
識装置部6で、その音声指令の特徴量パターンと音声認
識辞書11の標準特徴量パターンとのパターン照合が行
われ、その音声指令に従って画像情報表示部3の画面が
次の段階に進む。つまり、”拡大”と発声されると画像
情報表示部3に表示された現在走行中の場所を示す地図
が拡大される(ステップS3)。
【0021】そして、地図が拡大されると、再び装置
(システム)の操作に関する音声入力が待たれる(ステ
ップS4)。
【0022】続いて、”目的地指定”との音声指令がな
されると、継続して目的地に関する地図情報等、例え
ば、”港区”、”青山”、”本社”等の地図(地域)情
報を認識対象とするために、音声認識辞書が、音声認識
装置部6の音声認識辞書21から外部記憶装置部2の音
声認識辞書31に切替えられる(ステップS5)。
【0023】音声認識辞書が切替えられると、音響情報
出力部4から、例えば”目的地はどこですか?”との装
置(システム)ガイダンスがアナウンスされる(ステッ
プS6)。
【0024】装置(システム)ガイダンスがなされる
と、目的地に関する音声指令が待たれる(ステップS
7)。
【0025】このアナウンスに従って、目的地(例え
ば、”青山一丁目)を発声すると、外部記憶装置部2内
の音声認識辞書31に記憶された標準パターンと”青山
1丁目”の特徴パターンとが照合され、目的地に関する
地図情報等が画像情報表示部3または音響情報出力部4
を介して運転者に伝えられる(ステップS8)。
【0026】続いて、次の動作のための音声指令を待
つ。例えば、より詳細な情報を提供すべくさらなる音声
入力が待たれる(ステップS9)。ここで、”目的地を
中心に”と発声すると、目的地を中心とした詳細な情報
を提供する動作にはいる(ステップS10)。そして、
全ての動作が終了するまで、前述の動作を繰り返す。
【0027】さらに、外部記憶装置部2内に記憶される
地図情報は膨大な数であり、これを音声認識装置部6に
よって制御しようとすると、それに伴って認識対象も多
くなり、結果的に認識率の低下が予想されることから、
この認識率の低下を防止する対策が望まれる。
【0028】そこで、外部記憶装置部2に記憶される地
図情報が地域毎に複数に分割されるとともに、これら分
割された地域毎に地図情報に関連する認識対象を記憶し
た音声認識辞書31が複数設けられ、これら複数の音声
認識辞書31が地図情報の地域の切替えに応じて切り替
えられる構成とすることが好ましい。
【0029】この切換え制御はCPU5により自動的に
行われ、具体的には、図4に示すフローチャートに従い
行われる。車位置検知部1より走行による地域変更を検
知した場合(ステップS15)や運転者により地域指定
が行われる(ステップS16)と、複数の音声認識辞書
31が地図情報の地域の切替えに応じて切り替えられる
(ステップS17)。例えば、AエリアからBエリアへ
の変更または指定がされると、指定された地域の地図情
報が外部記憶装置部2から呼び出され、これに伴って、
Aエリアの音声認識辞書31がBエリアの音声認識辞書
31に切り替えられる。
【0030】また、上記のように分割された地域毎に音
声認識辞書31を複数設ける代わりに、単一の音声認識
辞書31の中に、地域毎の音声認識対象のグループを複
数設けてもよい。すなわち、外部記憶装置部2の音声認
識辞書31に記憶される地図情報が地域毎に複数に分割
されるとともに、1つの音声認識辞書31内で、その分
割された地域毎に地図情報に関連する音声認識対象のグ
ループ分けが行われ、これら複数の音声認識対象グルー
プが地図情報の地域の切替えに応じて切り替えられる構
成とする。
【0031】この切換え制御はCPU5により自動的に
行われ、図5に示すフローチャートに従い行われる。車
位置検知部1より走行による地域変更を検知した場合
(ステップS21)や運転者により地域指定が行われる
(ステップS22)、と複数の音声認識対象グループが
地図情報の地域の切替えに応じて切り替えられる(ステ
ップS23)。例えば、AエリアからBエリアへの変更
または指定されると、指定された地域の地図情報が外部
記憶装置部2から呼び出され、これに伴って、音声認識
辞書31内でAエリアの音声認識対象グループからBエ
リアの音声認識対象グループに切り替えられる。
【0032】さらに、音声認識対象を絞り込む方法とし
て、音声認識対象辞書31内の音声認識対象を、画像情
報表示部3等によって一時的に出力可能な部分的地図情
報に関連した情報に絞り込むように構成することもでき
る。
【0033】すなわち、ナビゲーション装置は、膨大な
地図情報を使用しているが、運転者が一時的に得る情報
量は画像情報表示部3等から出力される情報に限られる
ことから、音声認識対象を画像情報表示部3等に出力さ
れている情報に関連したものに限定することにより、音
声認識辞書31内の絞り込みを行ってもよい。
【0034】
【発明の効果】以上詳述したように、本発明によれば、
膨大な地図情報を使用する車載用ナビゲート装置に音声
認識手段を組み込むことが可能となり、これまでは運転
中に操作できなかったナビゲートコントロールの操作を
音声指令により行うことができるようになる。そのた
め、運転手は注意が散漫とならずに運転に集中できる。
【0035】また、ナビゲート装置自身を制御するため
の音声認識辞書をナビゲートシステム本体内に、地図情
報に関連した情報を収めた音声認識辞書を外部記憶装置
部にそれぞれ記憶していることにより、外部記憶装置部
における地図情報を切り替えることで、それに関連する
認識辞書も切り替えることができる。このことは外部記
憶装置部に大量のメモリを必要とする音声認識辞書を配
置できることからも、その効果が大きい。
【0036】さらに、音声認識辞書の辞書切替え機能や
認識対象のグループ分け機能により、地図情報に関連す
る大量の認識対象に絞り込みをかけることが可能とな
る。
【図面の簡単な説明】
【図1】本実施例の車載用ナビゲート装置の構成を示す
ブロック図である。
【図2】同ナビゲート装置のより具体化した構成を示す
ブロック図である。
【図3】同ナビゲート装置の音声認識部側と外部記憶装
置部側の辞書切替え動作を示すフローチャートである。
【図4】同ナビゲート装置の外部記憶装置部側の複数の
音声認識辞書の切替え動作を示すフローチャートであ
る。
【図5】同ナビゲート装置の外部記憶装置部側の音声認
識辞書における複数の音声認識対象グループの切替え動
作を示すフローチャートである。
【符号の説明】 1 車位置検知部(車位置検知手段) 2 外部記憶装置部 3 画像情報表示部(情報出力手段) 4 音響情報出力部(情報出力手段) 5 CPU 6 音声認識装置部(音声認識手段) 7,8 音声入力部 7 マイクロフォン 8 前処理部 9 特徴抽出部 10,11 音声認識部 10 パターン照合部 11 音声認識辞書 21 第1の音声認識辞書 31 第2の音声認識辞書
───────────────────────────────────────────────────── フロントページの続き (72)発明者 木下 泉 東京都大田区中馬込1丁目3番6号 株式 会社リコー内

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 画像や音響により情報を出力する情報出
    力手段、衛星等からの外部情報に基づき車位置を検知す
    る車位置検知手段、および外部記憶装置部から地図情報
    を得る手段を備えてなる車載用ナビゲート装置におい
    て、 音声入力部と、この音声入力部に入力された音声の特徴
    量を得る特徴抽出部と、この特徴抽出部で得られた音声
    特徴量パターンとあらかじめ登録されている標準特徴量
    パターンとの比較演算を行う音声認識部とを有してなる
    音声認識手段を備えることを特徴とする車載用ナビゲー
    ト装置。
  2. 【請求項2】 ナビゲート装置本体の記憶部に、ナビゲ
    ート装置自身を制御するコマンドや制御文などで構成さ
    れた第1の音声認識対象辞書が記憶され、前記外部記憶
    装置部に、地図情報と共に地図情報に関連した情報を示
    す単語または文などで構成された第2の音声認識対象辞
    書が記憶されていることを特徴とする請求項1に記載の
    車載用ナビゲート装置。
  3. 【請求項3】 ナビゲート装置のコマンド操作を行う場
    合と地図情報に関する情報操作を行う場合とによって、
    前記第1および第2の音声認識対象辞書を切り替える辞
    書切替え手段を備えることを特徴とする請求項2に記載
    の車載用ナビゲート装置。
  4. 【請求項4】 前記外部記憶装置部の地図情報が地域毎
    に分割され、この分割された地域毎に、前記第2の音声
    認識対象辞書を備えるとともに、これら複数の第2の音
    声認識対象辞書を前記地域毎に切り替える辞書切替え手
    段を備えることを特徴とする請求項2に記載の車載用ナ
    ビゲート装置。
  5. 【請求項5】 前記第2の音声認識対象辞書において、
    前記外部記憶装置部の地図情報が地域毎に分割され、こ
    の分割された地域毎の音声認識対象が前記第2の音声認
    識対象辞書においてグループ分けされるとともに、これ
    ら複数の音声認識対象グループを前記地域毎に切り替え
    る認識対象切替え手段を備えることを特徴とする請求項
    2に記載の車載用ナビゲート装置。
  6. 【請求項6】 前記第2の音声認識対象辞書内の音声認
    識対象を、前記情報出力手段によって一時的に出力可能
    な部分的地図情報に関連した情報に絞り込む認識対象絞
    込み手段を備えることを特徴とする請求項2に記載の車
    載用ナビゲート装置。
JP24587192A 1992-08-20 1992-08-20 車載用ナビゲート装置 Expired - Fee Related JP3337083B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP24587192A JP3337083B2 (ja) 1992-08-20 1992-08-20 車載用ナビゲート装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24587192A JP3337083B2 (ja) 1992-08-20 1992-08-20 車載用ナビゲート装置

Publications (2)

Publication Number Publication Date
JPH0666591A true JPH0666591A (ja) 1994-03-08
JP3337083B2 JP3337083B2 (ja) 2002-10-21

Family

ID=17140053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24587192A Expired - Fee Related JP3337083B2 (ja) 1992-08-20 1992-08-20 車載用ナビゲート装置

Country Status (1)

Country Link
JP (1) JP3337083B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09113299A (ja) * 1995-10-16 1997-05-02 Sony Corp ナビゲーション装置,ナビゲート方法及び自動車
WO1998012685A1 (en) * 1996-09-19 1998-03-26 Cml Technologies Inc. System for activation and control of remote navigational guidance equipment by radio transmitted voice commands
JPH1138994A (ja) * 1997-07-17 1999-02-12 Denso Corp 音声認識装置及びナビゲーションシステム
JPH11288296A (ja) * 1998-04-06 1999-10-19 Denso Corp 情報処理装置
US6230132B1 (en) * 1997-03-10 2001-05-08 Daimlerchrysler Ag Process and apparatus for real-time verbal input of a target address of a target address system
JP2002372986A (ja) * 2002-05-09 2002-12-26 Denso Corp 音声認識装置及びナビゲーションシステム
JP2004020883A (ja) * 2002-06-17 2004-01-22 Fujitsu Ten Ltd 音声認識装置及びナビゲーション装置
JP2015509618A (ja) * 2012-03-06 2015-03-30 アップル インコーポレイテッド 位置ベース言語モデリングを使用した自動入力信号認識

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09113299A (ja) * 1995-10-16 1997-05-02 Sony Corp ナビゲーション装置,ナビゲート方法及び自動車
WO1998012685A1 (en) * 1996-09-19 1998-03-26 Cml Technologies Inc. System for activation and control of remote navigational guidance equipment by radio transmitted voice commands
US6230132B1 (en) * 1997-03-10 2001-05-08 Daimlerchrysler Ag Process and apparatus for real-time verbal input of a target address of a target address system
JPH1138994A (ja) * 1997-07-17 1999-02-12 Denso Corp 音声認識装置及びナビゲーションシステム
JPH11288296A (ja) * 1998-04-06 1999-10-19 Denso Corp 情報処理装置
JP2002372986A (ja) * 2002-05-09 2002-12-26 Denso Corp 音声認識装置及びナビゲーションシステム
JP2004020883A (ja) * 2002-06-17 2004-01-22 Fujitsu Ten Ltd 音声認識装置及びナビゲーション装置
JP2015509618A (ja) * 2012-03-06 2015-03-30 アップル インコーポレイテッド 位置ベース言語モデリングを使用した自動入力信号認識

Also Published As

Publication number Publication date
JP3337083B2 (ja) 2002-10-21

Similar Documents

Publication Publication Date Title
JP2907079B2 (ja) ナビゲーション装置,ナビゲート方法及び自動車
US7027565B2 (en) Voice control system notifying execution result including uttered speech content
JPH09292255A (ja) ナビゲーション方法及び装置
JP3842497B2 (ja) 音声処理装置
JP3337083B2 (ja) 車載用ナビゲート装置
JP2000338993A (ja) 音声認識装置、その装置を用いたナビゲーションシステム
JP2947143B2 (ja) 音声認識装置及びナビゲーション装置
JPH08202386A (ja) 音声認識方法、音声認識装置、およびナビゲーション装置
JP3677833B2 (ja) ナビゲーション装置,ナビゲート方法及び自動車
JP3818352B2 (ja) ナビゲーション装置及び記憶媒体
JP3830124B2 (ja) 音声認識装置
JPH07319383A (ja) 地図表示装置
JP2000276187A (ja) 音声認識方法及び音声認識装置
JP2000122685A (ja) ナビゲーションシステム
JP4813144B2 (ja) ナビゲーション装置
JP3500948B2 (ja) 音声認識装置
JP3759313B2 (ja) 車載用ナビゲーション装置
JP3202122B2 (ja) ナビゲーション装置
JP2877045B2 (ja) 音声認識装置,音声認識方法,ナビゲーション装置,ナビゲート方法及び自動車
JP4652504B2 (ja) 音声認識装置および音声認識ナビゲーション装置
JPH1062198A (ja) ナビゲーション装置
JPH11305793A (ja) 音声認識装置
JP2000250592A (ja) 音声認識操作システム
JP2000029490A (ja) 音声認識装置用の単語辞書データ構築方法、音声認識装置及びナビゲーションシステム
JP2000250588A (ja) 車両用音声認識装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080809

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080809

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090809

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090809

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100809

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100809

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110809

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees