JP3605682B2 - 音声入力制御装置 - Google Patents

音声入力制御装置 Download PDF

Info

Publication number
JP3605682B2
JP3605682B2 JP15876696A JP15876696A JP3605682B2 JP 3605682 B2 JP3605682 B2 JP 3605682B2 JP 15876696 A JP15876696 A JP 15876696A JP 15876696 A JP15876696 A JP 15876696A JP 3605682 B2 JP3605682 B2 JP 3605682B2
Authority
JP
Japan
Prior art keywords
input
word
voice
last registered
registered word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP15876696A
Other languages
English (en)
Other versions
JPH09311692A (ja
Inventor
善行 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP15876696A priority Critical patent/JP3605682B2/ja
Priority to US08/857,042 priority patent/US5826233A/en
Publication of JPH09311692A publication Critical patent/JPH09311692A/ja
Application granted granted Critical
Publication of JP3605682B2 publication Critical patent/JP3605682B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Control By Computers (AREA)
  • Navigation (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、入力された音声を認識して、対象の機器に所定の制御命令を与える音声入力制御装置に関する。
【0002】
【従来の技術】
最近、車載のナビゲーション装置や空調装置、AV装置などの機器にあって、ヒューマンインターフェイスとして、音声によって入力された語を認識することにより相当の制御の内容を判断して、その制御の内容を音声で報知したうえで、所定の制御命令を対象の機器に与えるようにした対話型の音声入力制御装置が開発されている。
【0003】
このような音声入力制御装置にあって、従来では、音声認識をなすに際して、入力された音声の音韻などの特徴量を抽出して、音声辞書に予め登録されている各語の基本となる音韻などの特徴量と比較し、類似度が最も高く、かつ特徴量の差が一定値以下となるようにマッチングがとられた語をもって入力された音声を認識するようにしている。そして、音声辞書に登録されていない認識できないような音声が入力されたときには、その都度認識できない旨の報知および再入力要求のメッセージを一様に出すようにしている。
【0004】
【発明が解決しようとする課題】
解決しようとする問題点は、人間は言葉を口に出す前に、無意識に、「えー」、「えーと」、「うーん」などの音声を発する傾向があり、また、口癖により、音声辞書に登録されていない無意味な語を発する場合が多々あり、このような音声認識することのできない語が入力されるたびに、その都度認識できない旨の報知および再入力要求のメッセージが出されるなどの対応が一様にとられることである。
【0005】
ユーザが音声入力制御装置と対話するに際して発する無意味な音声や口癖は個人によって多種多様で、また頻度も異なり、このような認識できないような音声が入力されるたびにその旨の報知および再入力要求のメッセージを出すなどの対応を一様にとるのでは、その都度一連の処理が中断されて操作性が損われてしまい、また、ユーザのかんにさわって、音声入力制御装置と対話する場合に極度の緊張を強いられてしまう。
【0006】
【課題を解決するための手段】
本発明は、音声入力制御装置にあって、ユーザが発する無意味な音声や口癖などが入力されるたびに音声認識できない旨の報知および再入力要求のメッセージを出すなどの対応を一様にとることなく、その入力傾向に応じて適切な対応を可変的にとることができるようにするべく、音声による入力語が音声辞書に登録されていない未登録語であることを検出する手段と、その検出された音声入力による各未登録語をその特徴量とともにそれぞれ記憶する手段と、入力された各末登録語ごとにその入力頻度をそれぞれカウントして更新的に記憶する手段と、末登録語の入力頻度に応じて、その末登録語が入力されたときの対応を変化させる手段とをとるようにしている。
【0007】
【実施例】
本発明による音声入力制御装置は、図1に示すように、基本的に、マイクロホン1を通してユーザが発する音声によって入力された語の特徴量を抽出して、音声辞書3に予め登録されている各語の特徴量と比較して、類似度が最も高く、かつ特徴量の差が一定値以下となるようにマッチングがとられた語をもって入力された音声を認識する音声認識処理部2と、その認識された語に対応する所定の制御命令を生成する制御命令生成部4と、その生成された制御命令を対象の機器6に与える制御命令出力部5と、その制御命令の内容をユーザに知らせたり、その制御命令を実行するに際しての処理手順を決定したりなどするための応答メッセージを生成する応答メッセージ生成部7と、その生成された応答メッセージを音声によってスピーカ9から出力させる音声合成出力部8と、全体の制御を行う制御部10とからなっている。
【0008】
制御対象の機器6としては、例えば、車載のナビゲーション装置、空調装置またはAV装置などである。
【0009】
また、音声辞書3には、例えば、制御対象の機器6を動作させるのに必要な、「はい、いいえ、拡大、縮小、目的地設定、メニュー、上、下、左、右、取り消し、戻り、自宅、誘導開始、テレビ、エアコン、オン、オフ、選曲、いち、にい、さん、…」などの単語や、地図の選択や目的地の設定などに必要な、「東京、神奈川、埼玉、千葉、品川、練馬、足立、横浜、川崎、鎌倉、浦和、大宮、所沢、ディズニーランド、皇居、豊島園、明治神宮、帝国ホテル、羽田空港、…」などの地名や目標物の名称などの各語に対応する音韻の特徴量のデータが登録されている。
【0010】
いま、例えば、ユーザが「拡大」と音声を発すると、制御部10の制御下において、その音声がマイクロホン1を通して音声認識処理部2にとり込まれ、そこで、入力された音声の音列「k.a.k.u.d.a.i」の特徴量が抽出されて、音声辞書3の内容と比較され、予め登録されている音列「k.a.k.u.d.a.i」の特徴量とのマッチングがとられて、その入力された音声が「拡大」であると認識される。
【0011】
そして、その認識結果が制御命令生成部4に与えられて、そこで制御対象の機器6としてのナビゲーション装置の画面に表示されている地図を拡大させる旨の制御命令のデータが生成され、制御命令出力部5を通して、その制御対象となるナビゲーション装置に対して地図拡大の命令が選択的に出力される。
【0012】
同時に、その生成された制御命令が応答メッセージ生成部7に与えられて、そこで地図を拡大する旨の所定の応答メッセージのデータが生成され、音声合成出力部8からスピーカ9を通して、「地図を拡大します」の応答メッセージが音声によって出される。
【0013】
以上は、従来からある音声入力制御装置の構成と全じである。
【0014】
このような音声入力制御装置にあって、特に本発明では、図1に示すように、制御部10の制御下において、音声によって入力された語が音声辞書3に登録されていない未登録語であることを検出する末登録詔検出部11と、その検出された各未登録語をその特徴量とともにそれぞれ記憶する末登録語記憶部12と、入力された各末登録語ごとにその入力頻度をそれぞれカウントして更新的に記憶する入力頻度計数部13と、末登録語の入力頻度に応じて、その末登録語が入力されたときの対応を変化させる末登録語対応管理部14とを設けるようにしている。
【0015】
このように構成された本発明による音声入力制御装置における制御動作について、図3に示すフローとともに、以下説明する。
【0016】
音声が入力されると(ステップS1)、前述のようにして、音声認識をなすベく、その音声による入力語の特徴量と音声辞書3に予め登録されている各語の特徴量との比較が行われる(ステップS2)。
【0017】
そして、末登録語検出部11において、音声による入力語が認識されたか否かの判定が行われ(ステップS3)、入力語が認識されなければ、そのときの入力語が末登録語であるとして検出される(ステップS7)。
【0018】
なお、その際、音声による入力語が認識されたときには、前述したように、その認識された入力語に応じた所定の制御命令が生成され(ステップS4)、その制御命令が対象の機器に出力されるとともに(ステップS5)、その制御命令に応じた所定の応答メッセージが報知される(ステップS6)。
【0019】
次いで、末登録語であると検出された入力語がはじめて入力されたもので、末登録語記憶部12に既に記憶されていないか否かの判定がなされたうえで(ステップS8)、はじめてであれば、そのときの入力語がその特徴量とともに末登録語記憶部12に記憶される(ステップS9)。そして、入力頻度計数部13において、そのときの入力語の入力頻度が1であるとして記憶される(ステップS10)。
【0020】
また、その際、末登録語であると検出された入力語が既に末登録語記憶部12に記憶されている場合には、入力頻度計数部13において、対応する入力語の入力頻度に+1が加えられて、その入力頻度の記憶内容が更新される(ステップS10)。
【0021】
しかして、末登録語が入力されるたびに、その対応する入力頻度がカウントアップされていき、ある程度の期間にわたる使用の結果、入力頻度計数部13に記憶保持されている各末登録語の入力頻度は、例えば、「えーと」=12回、「うーん」=8回、「もう一回」=6回、「だめだー」=4回などとなり、ユーザが無意味に発する音声や口癖などの発声傾向を学習的に知ることができるようになる。
【0022】
末登録語が検出されると、末登録語対応管理部14において、その末登録語の入力頻度が参酌されて、その入力頻度が高めに設定されたしきい値N(例えば10回)以上であるか否かの判定が行われる(ステップS11)。
【0023】
そのときの末登録語の入力頻度が高めに設定されたしきい値N以上であれば、末登録語対応管理部14はそのときの末登録語の入力を無視して、何ら警告を出さない(ステップS12)。
【0024】
また、そのときの末登録語の入力頻度が高めに設定されたしきい値N末満であれば、末登録語対応管理部14において、さらに、そのときの末登録語の入力頻度が低めに設定されたしきい値N(例えば5回)以上であるか否かの判定が行われる(ステップS13)。
【0025】
そのときの末登録語の入力頻度が低めに設定されたしきい値N以上であれば、末登録語対応管理部14において、そのときの末登録語の入力に対して簡易警告の指示が応答メッセージ生成部7に与えられる(ステップS14)。
【0026】
そして、応答メッセージ生成部7において、末登録語対応管理部14から与えられる簡易警告の指示に応じて、「言い直して下さい」のような短いメッセージが生成され、音声合成出力部8からスピーカ9を通して、そのメッセージが報知される。
【0027】
また、そのときの末登録語の入力頻度が低めに設定されたしきい値N末満であれば、末登録語対応管理部14において、そのときの末登録語の入力に対して完全警告の指示が応答メッセージ生成部7に与えられる(ステップS15)。
【0028】
そして、応答メッセージ生成部7において、末登録語対応管理部14から与えられる完全警告の指示に応じて、「登録されていない言葉が入力されました。もう一度言い直して下さい」のような比較的長いメッセージが生成され、音声合成出力部8からスピーカ9を通して、そのメッセージが報知される。
【0029】
いま、例えば、ユーザが「えーと」と無意味な語を発声した場合、音声認識処理部2において、その音列「e.e.t.o」の特徴量が抽出されて音声辞書3に予め登録されている各語の特徴量との比較がなされるが、そのときマッチングがとられることなく音声認識に失敗して、末登録語検出部11において、そのときの入力語が末登録語であるとして検出されることになる。
【0030】
「えーと」の入力がはじめてのとき、その末登録語がその音列「e.e.t.o」の特徴量とともに記憶されて、その入力頻度が1にされたうえで、完全警告のメッセージが報知される。以後、ユーザが「えーと」を発するたびに、その入力頻度が低めに設定されたしきい値Nに達するまでのあいだ、完全警告のメッセージが報知される。さらに、その発声回数が進むと、その入力頻度が高めに設定されたしきい値Nに達するまでのあいだ、その都度簡易警報のメッセージが報知される。そして、その入力頻度が高めに設定されたしきい値N以上になると、いくら警告を与えても無駄であるとして、「えーと」の入力が無視され、何らの応答もなされないようになる。
【0031】
このように、本発明によれば、音声入力制御装置にユーザが音声による入力指示を与えるに際して、無意味な音声や口癖などが発せられる傾向を学習しながら、その傾向に応じて、無意味な音声や口癖などが発せられたときの対応を適切にとることができるようになる。したがって、ユーザが発する無意味な音声や口癖などによって必要以上に制御処理が中断されたり、緊張を強いるような警告のメッセージが出されたりすることがなくなり、操作性が向上する。
【0032】
【効果】
以上、本発明による音声入力制御装置にあっては、音声認識することのできない未登録語の入力頻度に応じて、その末登録語が入力されたときの対応を適宜変化させるようにしているので、ユーザが発する無意味な音声や口癖などが入力されるたびに制御処理を中断したり、緊張を強いるような音声認識できない旨の報知および再入力要求のメッセージを出すなどの対応を一様にとることなく、その入力傾向に応じて適切な対応を可変的にとることができるという利点を有している。
【図面の簡単な説明】
【図1】本発明による音声入力制御装置の一実施例を示すブロック構成図である。
【図2】同実施例における制御処理のフローの一例を示す図である。
【符号の説明】
1 マイクロホン
2 音声認識処理部
3 音声辞書
4 制御命令生成部
5 制御命令出力部
6 制御対象機器
7 応答メッセージ生成部
8 音声合成出力部
9 スピーカ
10 制御部
11 末登録語検出部
12 末登録語記憶部
13 入力頻度計数部
14 末登録語対応管理部

Claims (2)

  1. 音声によって入力された語の特徴量を抽出して、音声辞書に予め登録されている各語の特徴量との類似度をみることによってその入力語を認識し、その認識結果から対象の機器に所定の制御命令を与える音声入力制御装置において、音声による入力語が音声辞書に登録されていない未登録語であることを検出する手段と、その検出された音声入力による各未登録語をその特徴量とともにそれぞれ記憶する手段と、入力された各末登録語ごとにその入力頻度をそれぞれカウントして更新的に記憶する手段と、末登録語の入力頻度に応じて、その末登録語が入力されたときの対応を変化させる手段とをとるようにしたことを特徴とする音声入力制御装置。
  2. 末登録語が入力されたときの対応の変化として、末登録語の入力頻度が低目に設定されたしきい値未満のときには完全警告を発し、末登録語の入力頻度が高めに設定されたしきい値以上のときにはその末登録語の入力を無視し、末登録語の入力頻度が低目に設定されたしきい値以上で高めに設定されたしきい値未満のときには簡易警告を発するようにしたことを特徴とする前記第1項の記載による音声入力制御装置。
JP15876696A 1996-05-16 1996-05-16 音声入力制御装置 Expired - Fee Related JP3605682B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP15876696A JP3605682B2 (ja) 1996-05-16 1996-05-16 音声入力制御装置
US08/857,042 US5826233A (en) 1996-05-16 1997-05-15 Speech-input control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15876696A JP3605682B2 (ja) 1996-05-16 1996-05-16 音声入力制御装置

Publications (2)

Publication Number Publication Date
JPH09311692A JPH09311692A (ja) 1997-12-02
JP3605682B2 true JP3605682B2 (ja) 2004-12-22

Family

ID=15678879

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15876696A Expired - Fee Related JP3605682B2 (ja) 1996-05-16 1996-05-16 音声入力制御装置

Country Status (2)

Country Link
US (1) US5826233A (ja)
JP (1) JP3605682B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887507A (zh) * 2019-04-22 2019-06-14 成都启英泰伦科技有限公司 一种降低相似语音命令词误识别率的方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6076054A (en) * 1996-02-29 2000-06-13 Nynex Science & Technology, Inc. Methods and apparatus for generating and using out of vocabulary word models for speaker dependent speech recognition
DE59803137D1 (de) * 1997-06-06 2002-03-28 Bsh Bosch Siemens Hausgeraete Haushaltsgerät, insbesondere elektrisch betriebenes haushaltsgerät
JP3884160B2 (ja) * 1997-11-17 2007-02-21 富士通株式会社 用語付きデータを扱うデータ処理方法,データ処理装置およびプログラム記憶媒体
JP4642953B2 (ja) * 1999-09-09 2011-03-02 クラリオン株式会社 音声検索装置、および、音声認識ナビゲーション装置
US7295982B1 (en) 2001-11-19 2007-11-13 At&T Corp. System and method for automatic verification of the understandability of speech
US7818179B2 (en) * 2004-11-12 2010-10-19 International Business Machines Corporation Devices and methods providing automated assistance for verbal communication
AU2006319747B2 (en) * 2005-11-30 2011-11-10 Orica Explosives Technology Pty Ltd A voice controlled blasting system
US7949536B2 (en) * 2006-08-31 2011-05-24 Microsoft Corporation Intelligent speech recognition of incomplete phrases
WO2008069139A1 (ja) * 2006-11-30 2008-06-12 National Institute Of Advanced Industrial Science And Technology 音声認識システム及び音声認識システム用プログラム
US9106957B2 (en) * 2012-08-16 2015-08-11 Nuance Communications, Inc. Method and apparatus for searching data sources for entertainment systems
US8799959B2 (en) 2012-08-16 2014-08-05 Hoi L. Young User interface for entertainment systems
US9026448B2 (en) 2012-08-16 2015-05-05 Nuance Communications, Inc. User interface for entertainment systems
US9031848B2 (en) 2012-08-16 2015-05-12 Nuance Communications, Inc. User interface for searching a bundled service content data source
US9497515B2 (en) 2012-08-16 2016-11-15 Nuance Communications, Inc. User interface for entertainment systems
KR102091003B1 (ko) * 2012-12-10 2020-03-19 삼성전자 주식회사 음성인식 기술을 이용한 상황 인식 서비스 제공 방법 및 장치
KR101643560B1 (ko) 2014-12-17 2016-08-10 현대자동차주식회사 음성 인식 장치, 그를 가지는 차량 및 그 방법
JP6744025B2 (ja) * 2016-06-21 2020-08-19 日本電気株式会社 作業支援システム、管理サーバ、携帯端末、作業支援方法およびプログラム
CN108962245A (zh) * 2018-07-06 2018-12-07 奇瑞汽车股份有限公司 车载系统的控制方法、装置及计算机可读存储介质
US11094327B2 (en) * 2018-09-28 2021-08-17 Lenovo (Singapore) Pte. Ltd. Audible input transcription
JP7334420B2 (ja) * 2019-02-21 2023-08-29 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4701851A (en) * 1984-10-24 1987-10-20 International Business Machines Corporation Compound word spelling verification
US4777617A (en) * 1987-03-12 1988-10-11 International Business Machines Corporation Method for verifying spelling of compound words
US5651678A (en) * 1993-12-23 1997-07-29 Phillips Associates, Inc. Educational reading aid and method for using same
US5682539A (en) * 1994-09-29 1997-10-28 Conrad; Donovan Anticipated meaning natural language interface
US5680511A (en) * 1995-06-07 1997-10-21 Dragon Systems, Inc. Systems and methods for word recognition

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887507A (zh) * 2019-04-22 2019-06-14 成都启英泰伦科技有限公司 一种降低相似语音命令词误识别率的方法

Also Published As

Publication number Publication date
US5826233A (en) 1998-10-20
JPH09311692A (ja) 1997-12-02

Similar Documents

Publication Publication Date Title
JP3605682B2 (ja) 音声入力制御装置
US11887590B2 (en) Voice enablement and disablement of speech processing functionality
US20220156039A1 (en) Voice Control of Computing Devices
US10884701B2 (en) Voice enabling applications
US11237793B1 (en) Latency reduction for content playback
US10453117B1 (en) Determining domains for natural language understanding
US11669300B1 (en) Wake word detection configuration
US10365887B1 (en) Generating commands based on location and wakeword
US9484030B1 (en) Audio triggered commands
US7447635B1 (en) Natural language interface control system
US11763808B2 (en) Temporary account association with voice-enabled devices
US7228275B1 (en) Speech recognition system having multiple speech recognizers
JP2002511154A (ja) ユーザにオーディオ・フィードバックを与える拡張可能音声認識システム
JP2000035795A (ja) 音声認識におけるノンインタラクティブ方式のエンロ―ルメント
US11195522B1 (en) False invocation rejection for speech processing systems
US6591236B2 (en) Method and system for determining available and alternative speech commands
JP3468572B2 (ja) 対話処理装置
JP4930014B2 (ja) 音声認識装置、および音声認識方法
CN111712790A (zh) 计算设备的语音控制
JP2006162782A (ja) 音声認識装置
JPH08146989A (ja) 情報処理装置及びその制御方法
KR940009929A (ko) 음성 정보 인식 장치 및 그 작동 방법
JPH01173000A (ja) 促音化音声の登録方式

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040914

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040917

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071015

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081015

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081015

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091015

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091015

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101015

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101015

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111015

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111015

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121015

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131015

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees