JP3605682B2 - 音声入力制御装置 - Google Patents
音声入力制御装置 Download PDFInfo
- Publication number
- JP3605682B2 JP3605682B2 JP15876696A JP15876696A JP3605682B2 JP 3605682 B2 JP3605682 B2 JP 3605682B2 JP 15876696 A JP15876696 A JP 15876696A JP 15876696 A JP15876696 A JP 15876696A JP 3605682 B2 JP3605682 B2 JP 3605682B2
- Authority
- JP
- Japan
- Prior art keywords
- input
- word
- voice
- last registered
- registered word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000004044 response Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000009118 appropriate response Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- LFYJSSARVMHQJB-QIXNEVBVSA-N bakuchiol Chemical compound CC(C)=CCC[C@@](C)(C=C)\C=C\C1=CC=C(O)C=C1 LFYJSSARVMHQJB-QIXNEVBVSA-N 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Control By Computers (AREA)
- Navigation (AREA)
Description
【産業上の利用分野】
本発明は、入力された音声を認識して、対象の機器に所定の制御命令を与える音声入力制御装置に関する。
【0002】
【従来の技術】
最近、車載のナビゲーション装置や空調装置、AV装置などの機器にあって、ヒューマンインターフェイスとして、音声によって入力された語を認識することにより相当の制御の内容を判断して、その制御の内容を音声で報知したうえで、所定の制御命令を対象の機器に与えるようにした対話型の音声入力制御装置が開発されている。
【0003】
このような音声入力制御装置にあって、従来では、音声認識をなすに際して、入力された音声の音韻などの特徴量を抽出して、音声辞書に予め登録されている各語の基本となる音韻などの特徴量と比較し、類似度が最も高く、かつ特徴量の差が一定値以下となるようにマッチングがとられた語をもって入力された音声を認識するようにしている。そして、音声辞書に登録されていない認識できないような音声が入力されたときには、その都度認識できない旨の報知および再入力要求のメッセージを一様に出すようにしている。
【0004】
【発明が解決しようとする課題】
解決しようとする問題点は、人間は言葉を口に出す前に、無意識に、「えー」、「えーと」、「うーん」などの音声を発する傾向があり、また、口癖により、音声辞書に登録されていない無意味な語を発する場合が多々あり、このような音声認識することのできない語が入力されるたびに、その都度認識できない旨の報知および再入力要求のメッセージが出されるなどの対応が一様にとられることである。
【0005】
ユーザが音声入力制御装置と対話するに際して発する無意味な音声や口癖は個人によって多種多様で、また頻度も異なり、このような認識できないような音声が入力されるたびにその旨の報知および再入力要求のメッセージを出すなどの対応を一様にとるのでは、その都度一連の処理が中断されて操作性が損われてしまい、また、ユーザのかんにさわって、音声入力制御装置と対話する場合に極度の緊張を強いられてしまう。
【0006】
【課題を解決するための手段】
本発明は、音声入力制御装置にあって、ユーザが発する無意味な音声や口癖などが入力されるたびに音声認識できない旨の報知および再入力要求のメッセージを出すなどの対応を一様にとることなく、その入力傾向に応じて適切な対応を可変的にとることができるようにするべく、音声による入力語が音声辞書に登録されていない未登録語であることを検出する手段と、その検出された音声入力による各未登録語をその特徴量とともにそれぞれ記憶する手段と、入力された各末登録語ごとにその入力頻度をそれぞれカウントして更新的に記憶する手段と、末登録語の入力頻度に応じて、その末登録語が入力されたときの対応を変化させる手段とをとるようにしている。
【0007】
【実施例】
本発明による音声入力制御装置は、図1に示すように、基本的に、マイクロホン1を通してユーザが発する音声によって入力された語の特徴量を抽出して、音声辞書3に予め登録されている各語の特徴量と比較して、類似度が最も高く、かつ特徴量の差が一定値以下となるようにマッチングがとられた語をもって入力された音声を認識する音声認識処理部2と、その認識された語に対応する所定の制御命令を生成する制御命令生成部4と、その生成された制御命令を対象の機器6に与える制御命令出力部5と、その制御命令の内容をユーザに知らせたり、その制御命令を実行するに際しての処理手順を決定したりなどするための応答メッセージを生成する応答メッセージ生成部7と、その生成された応答メッセージを音声によってスピーカ9から出力させる音声合成出力部8と、全体の制御を行う制御部10とからなっている。
【0008】
制御対象の機器6としては、例えば、車載のナビゲーション装置、空調装置またはAV装置などである。
【0009】
また、音声辞書3には、例えば、制御対象の機器6を動作させるのに必要な、「はい、いいえ、拡大、縮小、目的地設定、メニュー、上、下、左、右、取り消し、戻り、自宅、誘導開始、テレビ、エアコン、オン、オフ、選曲、いち、にい、さん、…」などの単語や、地図の選択や目的地の設定などに必要な、「東京、神奈川、埼玉、千葉、品川、練馬、足立、横浜、川崎、鎌倉、浦和、大宮、所沢、ディズニーランド、皇居、豊島園、明治神宮、帝国ホテル、羽田空港、…」などの地名や目標物の名称などの各語に対応する音韻の特徴量のデータが登録されている。
【0010】
いま、例えば、ユーザが「拡大」と音声を発すると、制御部10の制御下において、その音声がマイクロホン1を通して音声認識処理部2にとり込まれ、そこで、入力された音声の音列「k.a.k.u.d.a.i」の特徴量が抽出されて、音声辞書3の内容と比較され、予め登録されている音列「k.a.k.u.d.a.i」の特徴量とのマッチングがとられて、その入力された音声が「拡大」であると認識される。
【0011】
そして、その認識結果が制御命令生成部4に与えられて、そこで制御対象の機器6としてのナビゲーション装置の画面に表示されている地図を拡大させる旨の制御命令のデータが生成され、制御命令出力部5を通して、その制御対象となるナビゲーション装置に対して地図拡大の命令が選択的に出力される。
【0012】
同時に、その生成された制御命令が応答メッセージ生成部7に与えられて、そこで地図を拡大する旨の所定の応答メッセージのデータが生成され、音声合成出力部8からスピーカ9を通して、「地図を拡大します」の応答メッセージが音声によって出される。
【0013】
以上は、従来からある音声入力制御装置の構成と全じである。
【0014】
このような音声入力制御装置にあって、特に本発明では、図1に示すように、制御部10の制御下において、音声によって入力された語が音声辞書3に登録されていない未登録語であることを検出する末登録詔検出部11と、その検出された各未登録語をその特徴量とともにそれぞれ記憶する末登録語記憶部12と、入力された各末登録語ごとにその入力頻度をそれぞれカウントして更新的に記憶する入力頻度計数部13と、末登録語の入力頻度に応じて、その末登録語が入力されたときの対応を変化させる末登録語対応管理部14とを設けるようにしている。
【0015】
このように構成された本発明による音声入力制御装置における制御動作について、図3に示すフローとともに、以下説明する。
【0016】
音声が入力されると(ステップS1)、前述のようにして、音声認識をなすベく、その音声による入力語の特徴量と音声辞書3に予め登録されている各語の特徴量との比較が行われる(ステップS2)。
【0017】
そして、末登録語検出部11において、音声による入力語が認識されたか否かの判定が行われ(ステップS3)、入力語が認識されなければ、そのときの入力語が末登録語であるとして検出される(ステップS7)。
【0018】
なお、その際、音声による入力語が認識されたときには、前述したように、その認識された入力語に応じた所定の制御命令が生成され(ステップS4)、その制御命令が対象の機器に出力されるとともに(ステップS5)、その制御命令に応じた所定の応答メッセージが報知される(ステップS6)。
【0019】
次いで、末登録語であると検出された入力語がはじめて入力されたもので、末登録語記憶部12に既に記憶されていないか否かの判定がなされたうえで(ステップS8)、はじめてであれば、そのときの入力語がその特徴量とともに末登録語記憶部12に記憶される(ステップS9)。そして、入力頻度計数部13において、そのときの入力語の入力頻度が1であるとして記憶される(ステップS10)。
【0020】
また、その際、末登録語であると検出された入力語が既に末登録語記憶部12に記憶されている場合には、入力頻度計数部13において、対応する入力語の入力頻度に+1が加えられて、その入力頻度の記憶内容が更新される(ステップS10)。
【0021】
しかして、末登録語が入力されるたびに、その対応する入力頻度がカウントアップされていき、ある程度の期間にわたる使用の結果、入力頻度計数部13に記憶保持されている各末登録語の入力頻度は、例えば、「えーと」=12回、「うーん」=8回、「もう一回」=6回、「だめだー」=4回などとなり、ユーザが無意味に発する音声や口癖などの発声傾向を学習的に知ることができるようになる。
【0022】
末登録語が検出されると、末登録語対応管理部14において、その末登録語の入力頻度が参酌されて、その入力頻度が高めに設定されたしきい値NH(例えば10回)以上であるか否かの判定が行われる(ステップS11)。
【0023】
そのときの末登録語の入力頻度が高めに設定されたしきい値NH以上であれば、末登録語対応管理部14はそのときの末登録語の入力を無視して、何ら警告を出さない(ステップS12)。
【0024】
また、そのときの末登録語の入力頻度が高めに設定されたしきい値NH末満であれば、末登録語対応管理部14において、さらに、そのときの末登録語の入力頻度が低めに設定されたしきい値NL(例えば5回)以上であるか否かの判定が行われる(ステップS13)。
【0025】
そのときの末登録語の入力頻度が低めに設定されたしきい値NL以上であれば、末登録語対応管理部14において、そのときの末登録語の入力に対して簡易警告の指示が応答メッセージ生成部7に与えられる(ステップS14)。
【0026】
そして、応答メッセージ生成部7において、末登録語対応管理部14から与えられる簡易警告の指示に応じて、「言い直して下さい」のような短いメッセージが生成され、音声合成出力部8からスピーカ9を通して、そのメッセージが報知される。
【0027】
また、そのときの末登録語の入力頻度が低めに設定されたしきい値NL末満であれば、末登録語対応管理部14において、そのときの末登録語の入力に対して完全警告の指示が応答メッセージ生成部7に与えられる(ステップS15)。
【0028】
そして、応答メッセージ生成部7において、末登録語対応管理部14から与えられる完全警告の指示に応じて、「登録されていない言葉が入力されました。もう一度言い直して下さい」のような比較的長いメッセージが生成され、音声合成出力部8からスピーカ9を通して、そのメッセージが報知される。
【0029】
いま、例えば、ユーザが「えーと」と無意味な語を発声した場合、音声認識処理部2において、その音列「e.e.t.o」の特徴量が抽出されて音声辞書3に予め登録されている各語の特徴量との比較がなされるが、そのときマッチングがとられることなく音声認識に失敗して、末登録語検出部11において、そのときの入力語が末登録語であるとして検出されることになる。
【0030】
「えーと」の入力がはじめてのとき、その末登録語がその音列「e.e.t.o」の特徴量とともに記憶されて、その入力頻度が1にされたうえで、完全警告のメッセージが報知される。以後、ユーザが「えーと」を発するたびに、その入力頻度が低めに設定されたしきい値NLに達するまでのあいだ、完全警告のメッセージが報知される。さらに、その発声回数が進むと、その入力頻度が高めに設定されたしきい値NHに達するまでのあいだ、その都度簡易警報のメッセージが報知される。そして、その入力頻度が高めに設定されたしきい値NH以上になると、いくら警告を与えても無駄であるとして、「えーと」の入力が無視され、何らの応答もなされないようになる。
【0031】
このように、本発明によれば、音声入力制御装置にユーザが音声による入力指示を与えるに際して、無意味な音声や口癖などが発せられる傾向を学習しながら、その傾向に応じて、無意味な音声や口癖などが発せられたときの対応を適切にとることができるようになる。したがって、ユーザが発する無意味な音声や口癖などによって必要以上に制御処理が中断されたり、緊張を強いるような警告のメッセージが出されたりすることがなくなり、操作性が向上する。
【0032】
【効果】
以上、本発明による音声入力制御装置にあっては、音声認識することのできない未登録語の入力頻度に応じて、その末登録語が入力されたときの対応を適宜変化させるようにしているので、ユーザが発する無意味な音声や口癖などが入力されるたびに制御処理を中断したり、緊張を強いるような音声認識できない旨の報知および再入力要求のメッセージを出すなどの対応を一様にとることなく、その入力傾向に応じて適切な対応を可変的にとることができるという利点を有している。
【図面の簡単な説明】
【図1】本発明による音声入力制御装置の一実施例を示すブロック構成図である。
【図2】同実施例における制御処理のフローの一例を示す図である。
【符号の説明】
1 マイクロホン
2 音声認識処理部
3 音声辞書
4 制御命令生成部
5 制御命令出力部
6 制御対象機器
7 応答メッセージ生成部
8 音声合成出力部
9 スピーカ
10 制御部
11 末登録語検出部
12 末登録語記憶部
13 入力頻度計数部
14 末登録語対応管理部
Claims (2)
- 音声によって入力された語の特徴量を抽出して、音声辞書に予め登録されている各語の特徴量との類似度をみることによってその入力語を認識し、その認識結果から対象の機器に所定の制御命令を与える音声入力制御装置において、音声による入力語が音声辞書に登録されていない未登録語であることを検出する手段と、その検出された音声入力による各未登録語をその特徴量とともにそれぞれ記憶する手段と、入力された各末登録語ごとにその入力頻度をそれぞれカウントして更新的に記憶する手段と、末登録語の入力頻度に応じて、その末登録語が入力されたときの対応を変化させる手段とをとるようにしたことを特徴とする音声入力制御装置。
- 末登録語が入力されたときの対応の変化として、末登録語の入力頻度が低目に設定されたしきい値未満のときには完全警告を発し、末登録語の入力頻度が高めに設定されたしきい値以上のときにはその末登録語の入力を無視し、末登録語の入力頻度が低目に設定されたしきい値以上で高めに設定されたしきい値未満のときには簡易警告を発するようにしたことを特徴とする前記第1項の記載による音声入力制御装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15876696A JP3605682B2 (ja) | 1996-05-16 | 1996-05-16 | 音声入力制御装置 |
US08/857,042 US5826233A (en) | 1996-05-16 | 1997-05-15 | Speech-input control device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15876696A JP3605682B2 (ja) | 1996-05-16 | 1996-05-16 | 音声入力制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09311692A JPH09311692A (ja) | 1997-12-02 |
JP3605682B2 true JP3605682B2 (ja) | 2004-12-22 |
Family
ID=15678879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP15876696A Expired - Fee Related JP3605682B2 (ja) | 1996-05-16 | 1996-05-16 | 音声入力制御装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5826233A (ja) |
JP (1) | JP3605682B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109887507A (zh) * | 2019-04-22 | 2019-06-14 | 成都启英泰伦科技有限公司 | 一种降低相似语音命令词误识别率的方法 |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6076054A (en) * | 1996-02-29 | 2000-06-13 | Nynex Science & Technology, Inc. | Methods and apparatus for generating and using out of vocabulary word models for speaker dependent speech recognition |
DE59803137D1 (de) * | 1997-06-06 | 2002-03-28 | Bsh Bosch Siemens Hausgeraete | Haushaltsgerät, insbesondere elektrisch betriebenes haushaltsgerät |
JP3884160B2 (ja) * | 1997-11-17 | 2007-02-21 | 富士通株式会社 | 用語付きデータを扱うデータ処理方法,データ処理装置およびプログラム記憶媒体 |
JP4642953B2 (ja) * | 1999-09-09 | 2011-03-02 | クラリオン株式会社 | 音声検索装置、および、音声認識ナビゲーション装置 |
US7295982B1 (en) | 2001-11-19 | 2007-11-13 | At&T Corp. | System and method for automatic verification of the understandability of speech |
US7818179B2 (en) * | 2004-11-12 | 2010-10-19 | International Business Machines Corporation | Devices and methods providing automated assistance for verbal communication |
AU2006319747B2 (en) * | 2005-11-30 | 2011-11-10 | Orica Explosives Technology Pty Ltd | A voice controlled blasting system |
US7949536B2 (en) * | 2006-08-31 | 2011-05-24 | Microsoft Corporation | Intelligent speech recognition of incomplete phrases |
WO2008069139A1 (ja) * | 2006-11-30 | 2008-06-12 | National Institute Of Advanced Industrial Science And Technology | 音声認識システム及び音声認識システム用プログラム |
US9106957B2 (en) * | 2012-08-16 | 2015-08-11 | Nuance Communications, Inc. | Method and apparatus for searching data sources for entertainment systems |
US8799959B2 (en) | 2012-08-16 | 2014-08-05 | Hoi L. Young | User interface for entertainment systems |
US9026448B2 (en) | 2012-08-16 | 2015-05-05 | Nuance Communications, Inc. | User interface for entertainment systems |
US9031848B2 (en) | 2012-08-16 | 2015-05-12 | Nuance Communications, Inc. | User interface for searching a bundled service content data source |
US9497515B2 (en) | 2012-08-16 | 2016-11-15 | Nuance Communications, Inc. | User interface for entertainment systems |
KR102091003B1 (ko) * | 2012-12-10 | 2020-03-19 | 삼성전자 주식회사 | 음성인식 기술을 이용한 상황 인식 서비스 제공 방법 및 장치 |
KR101643560B1 (ko) | 2014-12-17 | 2016-08-10 | 현대자동차주식회사 | 음성 인식 장치, 그를 가지는 차량 및 그 방법 |
JP6744025B2 (ja) * | 2016-06-21 | 2020-08-19 | 日本電気株式会社 | 作業支援システム、管理サーバ、携帯端末、作業支援方法およびプログラム |
CN108962245A (zh) * | 2018-07-06 | 2018-12-07 | 奇瑞汽车股份有限公司 | 车载系统的控制方法、装置及计算机可读存储介质 |
US11094327B2 (en) * | 2018-09-28 | 2021-08-17 | Lenovo (Singapore) Pte. Ltd. | Audible input transcription |
JP7334420B2 (ja) * | 2019-02-21 | 2023-08-29 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4701851A (en) * | 1984-10-24 | 1987-10-20 | International Business Machines Corporation | Compound word spelling verification |
US4777617A (en) * | 1987-03-12 | 1988-10-11 | International Business Machines Corporation | Method for verifying spelling of compound words |
US5651678A (en) * | 1993-12-23 | 1997-07-29 | Phillips Associates, Inc. | Educational reading aid and method for using same |
US5682539A (en) * | 1994-09-29 | 1997-10-28 | Conrad; Donovan | Anticipated meaning natural language interface |
US5680511A (en) * | 1995-06-07 | 1997-10-21 | Dragon Systems, Inc. | Systems and methods for word recognition |
-
1996
- 1996-05-16 JP JP15876696A patent/JP3605682B2/ja not_active Expired - Fee Related
-
1997
- 1997-05-15 US US08/857,042 patent/US5826233A/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109887507A (zh) * | 2019-04-22 | 2019-06-14 | 成都启英泰伦科技有限公司 | 一种降低相似语音命令词误识别率的方法 |
Also Published As
Publication number | Publication date |
---|---|
US5826233A (en) | 1998-10-20 |
JPH09311692A (ja) | 1997-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3605682B2 (ja) | 音声入力制御装置 | |
US11887590B2 (en) | Voice enablement and disablement of speech processing functionality | |
US20220156039A1 (en) | Voice Control of Computing Devices | |
US10884701B2 (en) | Voice enabling applications | |
US11237793B1 (en) | Latency reduction for content playback | |
US10453117B1 (en) | Determining domains for natural language understanding | |
US11669300B1 (en) | Wake word detection configuration | |
US10365887B1 (en) | Generating commands based on location and wakeword | |
US9484030B1 (en) | Audio triggered commands | |
US7447635B1 (en) | Natural language interface control system | |
US11763808B2 (en) | Temporary account association with voice-enabled devices | |
US7228275B1 (en) | Speech recognition system having multiple speech recognizers | |
JP2002511154A (ja) | ユーザにオーディオ・フィードバックを与える拡張可能音声認識システム | |
JP2000035795A (ja) | 音声認識におけるノンインタラクティブ方式のエンロ―ルメント | |
US11195522B1 (en) | False invocation rejection for speech processing systems | |
US6591236B2 (en) | Method and system for determining available and alternative speech commands | |
JP3468572B2 (ja) | 対話処理装置 | |
JP4930014B2 (ja) | 音声認識装置、および音声認識方法 | |
CN111712790A (zh) | 计算设备的语音控制 | |
JP2006162782A (ja) | 音声認識装置 | |
JPH08146989A (ja) | 情報処理装置及びその制御方法 | |
KR940009929A (ko) | 음성 정보 인식 장치 및 그 작동 방법 | |
JPH01173000A (ja) | 促音化音声の登録方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040914 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040917 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071015 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081015 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081015 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091015 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091015 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101015 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101015 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111015 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111015 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121015 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131015 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |