JPH0535294A - Speech recognition device - Google Patents

Speech recognition device

Info

Publication number
JPH0535294A
JPH0535294A JP3187944A JP18794491A JPH0535294A JP H0535294 A JPH0535294 A JP H0535294A JP 3187944 A JP3187944 A JP 3187944A JP 18794491 A JP18794491 A JP 18794491A JP H0535294 A JPH0535294 A JP H0535294A
Authority
JP
Japan
Prior art keywords
voice
level
similarity
minimum
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP3187944A
Other languages
Japanese (ja)
Other versions
JP2754960B2 (en
Inventor
Fumio Nakano
文男 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP3187944A priority Critical patent/JP2754960B2/en
Publication of JPH0535294A publication Critical patent/JPH0535294A/en
Application granted granted Critical
Publication of JP2754960B2 publication Critical patent/JP2754960B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PURPOSE:To prevent an erroneous control by an external device caused by an erroneous recognition even though it is operated in a noisy place. CONSTITUTION:A voice detecting section 13 sets the minimum voice level in accordance with the noise signal level just prior to the start of a voice detection and the level is stored in a level storage circuit 32. And when a voice is detected, a level comparator circuit 33 compares whether the maximum level of that voice is larger than the minimum voice level or not and only if it is large, a degree of similarity decision section 23 decides the degree of similarity with a voice standard pattern. By this arrangement, an erroneous control by an external device caused by an erroneous recognition is prevented even though the noise is large.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、音声を用いて外部装置
の制御を行うことができるようにした音声認識装置に係
わり、特に雑音や騒音が大きな状況下のように音声を誤
認識しやすい状況で、外部装置の制御の誤りを防止でき
るようにした音声認識装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a voice recognition device capable of controlling an external device by using a voice, and is liable to erroneously recognize a voice particularly under a situation where noise or noise is large. The present invention relates to a voice recognition device capable of preventing an error in control of an external device in a situation.

【0002】[0002]

【従来の技術】音声の認識を行って外部装置の制御を行
う音声認識装置が各種実用化されている。このような装
置では、すべての音あるいは音声を認識の対象とすると
雑音等に影響されやすいという問題がある。そこで、従
来からある種の音声認識装置では、音声を検出する閾値
を高く設定し、大きな音声が入力した場合のみ音声認識
を行って外部装置の制御を行うという方法を採用してい
た。また、他の音声認識装置では、音声検出のための閾
値を通常レベルに設定する一方、予め定めた命令語等の
言葉が認識されるまでは音声認識の際の類似度の判定を
厳しくして誤認識の減少を図り、外部装置の制御を行う
といった方法を採用していた。
2. Description of the Related Art Various voice recognition devices for recognizing voice and controlling external devices have been put into practical use. In such a device, if all sounds or voices are to be recognized, there is a problem that they are easily affected by noise or the like. Therefore, a certain type of voice recognition device has heretofore adopted a method in which a threshold for detecting voice is set high and voice recognition is performed only when a large voice is input to control an external device. Further, in other voice recognition devices, while setting the threshold for voice detection to a normal level, the degree of similarity in voice recognition is severely determined until words such as predetermined command words are recognized. The method of controlling the external device was adopted to reduce the false recognition.

【0003】[0003]

【発明が解決しようとする課題】しかしながら、従来の
このような音声認識装置のうち前者の装置では、音声検
出のための閾値を越える大きな雑音が入力されると、外
部装置が動作してしまうことがあった。また後者の装置
では、音声のレベルを問題としていないので、騒音や装
置の周囲で生じた会話等が命令語と誤認識さる場合があ
り、このような場合には使用者が外部装置の制御を望ま
ないときであっても外部装置が誤動作してしまうことが
あるといった不都合があった。
However, in the former one of the conventional voice recognition devices, the external device operates when a large noise exceeding the threshold for voice detection is input. was there. Also, in the latter device, since the voice level is not a problem, noise and conversations that occur around the device may be mistakenly recognized as command words.In such a case, the user may not control the external device. There is a disadvantage that the external device may malfunction even when it is not desired.

【0004】そこで本発明の目的は、誤認識による外部
装置の誤った制御を防止することのできる音声認識装置
を提供することにある。
Therefore, an object of the present invention is to provide a voice recognition device which can prevent erroneous control of an external device due to erroneous recognition.

【0005】[0005]

【課題を解決するための手段】本発明では、音声の検出
を行う音声検出部と、この音声検出部が音声の検出を開
始する直前の雑音信号レベルに連動させて最小音声レベ
ルを設定する最小音声レベル設定手段と、音声検出部が
音声の検出を終了させた時点でこの音声の最大レベルが
前記最小音声レベルよりも大きいか否かを比較するレベ
ル比較手段と、音声の最大レベルが最小音声レベルより
も大きいと判定されたときその音声と予め登録された音
声標準パタンとの類似度を判定する類似度判定手段と、
類似度の判定結果を音声の認識結果として出力する認識
結果出力手段とを音声認識装置に具備させる。
SUMMARY OF THE INVENTION According to the present invention, a voice detection unit for detecting voice and a minimum voice level set in conjunction with a noise signal level immediately before the voice detection unit starts voice detection are set. A voice level setting means, a level comparing means for comparing whether or not the maximum level of the voice is higher than the minimum voice level when the voice detecting section finishes detecting the voice, and a maximum level of the voice is the minimum voice level. Similarity determination means for determining the similarity between the voice and a pre-registered voice standard pattern when it is determined to be greater than the level,
A voice recognition device is provided with a recognition result output unit that outputs a determination result of similarity as a voice recognition result.

【0006】すなわち請求項1記載の発明では、音声検
出部が音声の検出を開始する直前の雑音信号レベルに連
動させて最小音声レベルを設定し、音声が検出されたら
その音声における最大レベルが最小音声レベルよりも大
きい場合のみ、音声標準パタンとの類似度を判定するよ
うにし、誤認識による外部装置の誤った制御を防止でき
るようにした。
That is, according to the first aspect of the invention, the voice detection unit sets the minimum voice level in association with the noise signal level immediately before the voice detection is started, and when the voice is detected, the maximum level in the voice is set to the minimum. Only when the voice level is higher than the voice level, the similarity with the voice standard pattern is determined so that erroneous control of an external device due to erroneous recognition can be prevented.

【0007】[0007]

【実施例】以下実施例につき本発明を詳細に説明する。EXAMPLES The present invention will be described in detail below with reference to examples.

【0008】図1は本発明の一実施例における音声認識
装置の構成の概要を表わしたものである。話者の音声を
とらえるマイクロホン11から出力された音声信号12
は音声検出部13に入力される。レベル監視部14は、
この音声信号12の入力信号レベルを常時監視してい
る。検出された音声信号15は音声分析部16に入力さ
れて符号化され音声パタン17が抽出される。抽出され
た音声パタン17は類似度算出部18に入力される。類
似度算出部18は記憶部19に記憶された標準パタン2
1を用いて音声パタン17との類似度を算出する。ここ
で、標準パタン21とは命令音声の他に、数字等を符号
化したものである。
FIG. 1 shows an outline of the configuration of a voice recognition device according to an embodiment of the present invention. A voice signal 12 output from a microphone 11 for capturing the voice of the speaker
Is input to the voice detection unit 13. The level monitoring unit 14
The input signal level of the audio signal 12 is constantly monitored. The detected voice signal 15 is input to the voice analysis unit 16 and encoded to extract a voice pattern 17. The extracted voice pattern 17 is input to the similarity calculation unit 18. The similarity calculation unit 18 uses the standard pattern 2 stored in the storage unit 19.
1 is used to calculate the similarity with the voice pattern 17. Here, the standard pattern 21 is a coded number or the like in addition to the command voice.

【0009】類似度算出部18で算出された類似度につ
いての結果22は、類似度判定部23に送られる。類似
度判定部23では予め設定した値よりも音声パタン17
の類似度が高い場合に、話者の音声が標準パタン21と
一致したものと判定する。この場合には認識結果24を
認識結果送出部25に送る。認識結果送出部25ではこ
れを基にして図示しない外部装置の制御のための制御信
号26を出力する。以上説明したレベル監視部14、音
声分析部16、類似度算出部18、記憶部19、類似度
判定部23および認識結果送出部25はそれぞれ制御部
27に接続されており、これによって制御が行われるよ
うになっている。
The result 22 regarding the similarity calculated by the similarity calculating unit 18 is sent to the similarity determining unit 23. In the similarity determination unit 23, the voice pattern 17
If the degree of similarity is high, it is determined that the voice of the speaker matches the standard pattern 21. In this case, the recognition result 24 is sent to the recognition result sending unit 25. The recognition result sending unit 25 outputs a control signal 26 for controlling an external device (not shown) based on this. The level monitoring unit 14, the voice analysis unit 16, the similarity calculation unit 18, the storage unit 19, the similarity determination unit 23, and the recognition result transmission unit 25 described above are each connected to the control unit 27, and control is performed by this. It is supposed to be.

【0010】図2は、図1に示したレベル監視部を具体
的に表わしたものである。レベル監視部14は、音声検
出部13と接続されたレベル監視回路31と、レベル記
憶回路32およびレベル比較回路33によって構成され
ている。レベル監視回路31は、音声検出部13の入力
信号レベルを常時監視している。このレベル監視回路3
1に接続されたレベル記憶回路32では、音声の検出が
開始されるとこの音声検出の雑音信号のレベルに連動し
た最小音声レベルを設定し、これを記憶する。レベル比
較回路33は、音声検出中にレベル監視回路31が検出
した音声信号レベルとレベル記憶回路32の記憶した最
小音声レベルとを比較する。そして、音声検出の終了時
に、音声検出中の音声信号の最大レベルが最小音声レベ
ルを越えた場合に、制御部27に対して類似度判定を行
わせるための信号を送出するようになっている。なお、
このレベル監視部14は、図1に示した音声認識装置に
おける他の回路部分と共に、図示しないCPU(中央処
理装置)によって制御されている。この制御のためのプ
ログラムは、同じく図示しないROM(リード・オンリ
・メモリ)に格納されている。
FIG. 2 specifically shows the level monitoring unit shown in FIG. The level monitoring unit 14 includes a level monitoring circuit 31 connected to the voice detection unit 13, a level storage circuit 32, and a level comparison circuit 33. The level monitoring circuit 31 constantly monitors the input signal level of the voice detection unit 13. This level monitoring circuit 3
When the voice detection is started, the level storage circuit 32 connected to 1 sets the minimum voice level linked to the level of the noise signal of this voice detection and stores it. The level comparison circuit 33 compares the audio signal level detected by the level monitoring circuit 31 during audio detection with the minimum audio level stored in the level storage circuit 32. Then, at the end of voice detection, when the maximum level of the voice signal during voice detection exceeds the minimum voice level, a signal for causing the control unit 27 to perform similarity determination is transmitted. . In addition,
The level monitoring unit 14 is controlled by a CPU (central processing unit) (not shown) together with other circuit parts of the voice recognition device shown in FIG. A program for this control is also stored in a ROM (read only memory) not shown.

【0011】以上のように構成された音声認識装置の動
作を図3と共に具体的に説明する。図1に示した音声認
識装置の記憶部19に記憶された制御音声の標準パタン
が「キドウ」であるとする。音声認識の制御動作が開始
されると、図3に示したように音声検出待ちの状態にな
る(ステップS101)。この状態で音声検出部13は
マイクロホン11からの信号を常に監視する。音声の検
出が開始されると(Y)、図2に示したレベル監視回路
31は音声分析部16の信号レベルを監視し、音声検出
開始直前の雑音信号のレベルに連動した最小音声レベル
を設定する(ステップS102)。すなわち、話者が
「○○○」と発声して、その音声の時間的に先端の部分
が検出されると、それと同時に最小音声レベルの設定が
行われる。この最小音声レベルは図2のレベル記憶回路
32に記憶される。
The operation of the speech recognition apparatus configured as described above will be specifically described with reference to FIG. It is assumed that the standard pattern of the control voice stored in the storage unit 19 of the voice recognition device shown in FIG. 1 is "Kido". When the control operation of the voice recognition is started, as shown in FIG. 3, the voice detection waiting state is entered (step S101). In this state, the voice detection unit 13 constantly monitors the signal from the microphone 11. When voice detection is started (Y), the level monitoring circuit 31 shown in FIG. 2 monitors the signal level of the voice analysis unit 16 and sets the minimum voice level linked to the level of the noise signal immediately before the start of voice detection. (Step S102). That is, when the speaker utters "○○○" and the temporally leading end portion of the voice is detected, the minimum voice level is set at the same time. This minimum voice level is stored in the level storage circuit 32 of FIG.

【0012】最小音声レベルが設定されると、レベル監
視回路31は音声レベルの監視を行い、レベル比較回路
33は、音声検出中にレベル監視回路31が検出した音
声信号レベルとレベル記憶回路32の記憶した最小音声
レベルとを比較する。これと同時に、記憶部19に記憶
された標準パタンと入力された音声パタンとの類似度の
算出が類似度算出部18で行われる(ステップS10
3)。
When the minimum voice level is set, the level monitor circuit 31 monitors the voice level, and the level comparison circuit 33 stores the voice signal level detected by the level monitor circuit 31 during voice detection and the level storage circuit 32. Compare with the stored minimum voice level. At the same time, the similarity calculation unit 18 calculates the similarity between the standard pattern stored in the storage unit 19 and the input voice pattern (step S10).
3).

【0013】音声のレベル監視と音声パタンとの類似度
の算出は、音声の検出が終了するまで行われる(ステッ
プS104)。音声の検出が終了したら(Y)、レベル
比較回路33は、話者の発声した「○○○」における音
声の最大レベルが前記した最小音声レベルよりも高いか
どうかを判定する(ステップS105)。この結果とし
て、最小音声レベルと等しいかこれよりも低いと判定さ
れた場合には(N)、類似度判定部23で類似度の判定
を行うことなく、再びステップS101に戻って次の音
声の入力待ちの状態になる。
The monitoring of the voice level and the calculation of the similarity between the voice patterns are performed until the voice detection is completed (step S104). When the voice detection is completed (Y), the level comparison circuit 33 determines whether or not the maximum voice level of "○○○" uttered by the speaker is higher than the minimum voice level described above (step S105). As a result, when it is determined that the level is equal to or lower than the minimum voice level (N), the similarity determination unit 23 does not perform the similarity determination, and the process returns to step S101 and the next voice is reproduced. Waiting for input.

【0014】これに対して、話者の発声した「○○○」
における音声の最大レベルが最小音声レベルよりも高か
った場合には(ステップS105;Y)、類似度判定部
23で類似度の判定が行われる。そして、話者が登録し
た標準パタンと類似していない音声を発したと判定され
た場合には(ステップS106;N)、ステップS10
1に戻って次の音声の入力待ちの状態になる。
On the other hand, "○○○" uttered by the speaker
When the maximum level of the voice in is higher than the minimum voice level (step S105; Y), the similarity determination unit 23 determines the similarity. Then, if it is determined that the speaker uttered a voice that is not similar to the registered standard pattern (step S106; N), step S10.
The process returns to 1 and waits for the next voice input.

【0015】一方、話者が「キドウ」という音声を発し
た場合のように、予め設定した類似度判定値よりも高い
類似度が得られたような場合には標準パタンと類似であ
ると判定される(ステップS106;Y)。この場合、
認識結果24を受け取った認識結果送出部25は認識結
果に応じた制御信号26を外部装置に出力する(ステッ
プS107)。これにより、一連の動作が終了する(エ
ンド)。
On the other hand, if a similarity higher than a preset similarity determination value is obtained, such as when the speaker utters "Kido", it is determined that the similarity is similar to the standard pattern. (Step S106; Y). in this case,
Upon receiving the recognition result 24, the recognition result sending unit 25 outputs the control signal 26 corresponding to the recognition result to the external device (step S107). This completes a series of operations (end).

【0016】[0016]

【発明の効果】以上説明したように本発明によれば、音
声の検出を開始直前における雑音レベルに連動させて最
小音声レベルを設定し、これを越える音声信号が入力し
た場合のみ音声標準パタンとの類似度を判定することに
したので、雑音の多い環境下や、周囲の会話による雑音
が発声した場合であっても、音声の誤検出による誤認識
を防止することができ、外部装置の誤制御を確実に防止
することができるという効果がある。
As described above, according to the present invention, the minimum voice level is set in association with the noise level immediately before the start of voice detection, and the voice standard pattern is set only when the voice signal exceeding the minimum voice level is input. Since it was decided to determine the similarity of the, it is possible to prevent erroneous recognition due to erroneous detection of voice even in a noisy environment or when noise is generated due to conversation in the surroundings. There is an effect that the control can be surely prevented.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の一実施例における音声認識装置の構成
の概要を表わしたブロック図である。
FIG. 1 is a block diagram showing an outline of a configuration of a voice recognition device according to an embodiment of the present invention.

【図2】図1に示したレベル監視部を具体的に表わした
ブロック図である。
FIG. 2 is a block diagram specifically showing a level monitoring unit shown in FIG.

【図3】本実施例の音声認識装置の制御の様子を表わし
た流れ図である。
FIG. 3 is a flowchart showing how control is performed by the voice recognition device according to the present embodiment.

【符号の説明】[Explanation of symbols]

11 マイクロホン 13 音声検出部 14 レベル監視部 16 音声分析部 18 類似度算出部 19 記憶部 23 類似度判定部 25 認識結果送出部 27 制御部 31 レベル監視回路 32 レベル記憶回路 33 レベル比較回路 11 microphones 13 Voice detector 14 Level monitoring unit 16 Speech analysis section 18 Similarity calculation section 19 memory 23 Similarity Determining Section 25 Recognition result sending unit 27 Control unit 31 Level monitoring circuit 32 level memory circuit 33 level comparison circuit

Claims (2)

【特許請求の範囲】[Claims] 【請求項1】 音声の検出を行う音声検出部と、 この音声検出部が音声の検出を開始する直前の雑音信号
レベルに連動させて最小音声レベルを設定する最小音声
レベル設定手段と、 前記音声検出部が音声の検出を終了させた時点でこの音
声の最大レベルが前記最小音声レベルよりも大きいか否
かを比較するレベル比較手段と、 音声の最大レベルが最小音声レベルよりも大きいと判定
されたときその音声と予め登録された音声標準パタンと
の類似度を判定する類似度判定手段と、 類似度の判定結果を音声の認識結果として出力する認識
結果出力手段とを具備することを特徴とする音声認識装
置。
1. A voice detecting section for detecting voice, a minimum voice level setting means for setting a minimum voice level in association with a noise signal level immediately before the voice detecting section starts detecting voice, and the voice When the detection unit finishes detecting the voice, level comparison means for comparing whether or not the maximum level of the voice is higher than the minimum voice level, and it is determined that the maximum level of the voice is higher than the minimum voice level. And a recognition result output unit for outputting a similarity determination result as a voice recognition result. The similarity determination unit determines a similarity between the voice and a standard voice pattern registered in advance. Voice recognition device.
【請求項2】 音声を分析し符号化する音声分析部と、 装置が認識対象とする音声を符号化して音声標準パタン
として記憶する記憶部とを備え、 前記類似度判定手段はこの記憶部に記憶されている音声
標準パタンと前記音声分析部で符号化された音声とを比
較して類似度を判定することを特徴とする請求項1記載
の音声認識装置。
2. A voice analysis unit that analyzes and encodes a voice, and a storage unit that encodes a voice to be recognized by a device and stores the voice as a standard voice pattern, and the similarity determination unit stores in this storage unit. 2. The voice recognition device according to claim 1, wherein the stored voice standard pattern is compared with the voice encoded by the voice analysis unit to determine the degree of similarity.
JP3187944A 1991-07-26 1991-07-26 Voice recognition device Expired - Fee Related JP2754960B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3187944A JP2754960B2 (en) 1991-07-26 1991-07-26 Voice recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3187944A JP2754960B2 (en) 1991-07-26 1991-07-26 Voice recognition device

Publications (2)

Publication Number Publication Date
JPH0535294A true JPH0535294A (en) 1993-02-12
JP2754960B2 JP2754960B2 (en) 1998-05-20

Family

ID=16214908

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3187944A Expired - Fee Related JP2754960B2 (en) 1991-07-26 1991-07-26 Voice recognition device

Country Status (1)

Country Link
JP (1) JP2754960B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08115096A (en) * 1994-10-14 1996-05-07 Sanyo Electric Co Ltd Voice processor
US5762581A (en) * 1995-05-24 1998-06-09 Nippondenso Co., Ltd. Automatic transmission control system for improving shift quality during shifting
US5911647A (en) * 1995-12-11 1999-06-15 Denso Corporation Control apparatus for automatic transmission
JPH11352987A (en) * 1998-06-04 1999-12-24 Toyota Motor Corp Voice recognition device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6329754A (en) * 1986-07-14 1988-02-08 イ−ストマン コダツク カンパニ− Composition for positive type image formation
JPH0247698A (en) * 1988-08-09 1990-02-16 Oki Electric Ind Co Ltd Speech section detection system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6329754A (en) * 1986-07-14 1988-02-08 イ−ストマン コダツク カンパニ− Composition for positive type image formation
JPH0247698A (en) * 1988-08-09 1990-02-16 Oki Electric Ind Co Ltd Speech section detection system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08115096A (en) * 1994-10-14 1996-05-07 Sanyo Electric Co Ltd Voice processor
US5762581A (en) * 1995-05-24 1998-06-09 Nippondenso Co., Ltd. Automatic transmission control system for improving shift quality during shifting
US5911647A (en) * 1995-12-11 1999-06-15 Denso Corporation Control apparatus for automatic transmission
JPH11352987A (en) * 1998-06-04 1999-12-24 Toyota Motor Corp Voice recognition device

Also Published As

Publication number Publication date
JP2754960B2 (en) 1998-05-20

Similar Documents

Publication Publication Date Title
EP0757342B1 (en) User selectable multiple threshold criteria for voice recognition
US5842161A (en) Telecommunications instrument employing variable criteria speech recognition
EP1085500B1 (en) Voice recognition for controlling a device
JP2005534958A (en) Voice control system and method
JP2754960B2 (en) Voice recognition device
WO2016067644A1 (en) Speech adjustment device
JP2001154694A (en) Voice recognition device and method
KR100587260B1 (en) speech recognizing system of sound apparatus
JPH0627986A (en) Equipment control system utilizing speech recognizing device
JPH08263092A (en) Response voice generating method and voice interactive system
JP3114757B2 (en) Voice recognition device
JPH03160499A (en) Speech recognizing device
JPH0754434B2 (en) Voice recognizer
JPH01321499A (en) Speech recognizing device
JP2000039900A (en) Speech interaction device with self-diagnosis function
KR102052634B1 (en) Apparatus for recognizing call sign and method for the same
JPH03294900A (en) Voice recognition device
JPH03200298A (en) Voice controller
JP2737109B2 (en) Voice section detection method
JPH02103599A (en) Voice recognizing device
JP2000075896A (en) Voice recognition control device
JPH02272495A (en) Voice recognizing device
JPS60205600A (en) Voice recognition equipment
JP2003044075A (en) Electronic equipment with speech recognizing function
JPH04199197A (en) Speech recognition device

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080306

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090306

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090306

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100306

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100306

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110306

Year of fee payment: 13

LAPS Cancellation because of no payment of annual fees