JPH0954598A - Speech recognizing device - Google Patents

Speech recognizing device

Info

Publication number
JPH0954598A
JPH0954598A JP7206268A JP20626895A JPH0954598A JP H0954598 A JPH0954598 A JP H0954598A JP 7206268 A JP7206268 A JP 7206268A JP 20626895 A JP20626895 A JP 20626895A JP H0954598 A JPH0954598 A JP H0954598A
Authority
JP
Japan
Prior art keywords
ambient noise
noise level
voice
level
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7206268A
Other languages
Japanese (ja)
Other versions
JP3644086B2 (en
Inventor
Kimiharu Shimizu
公治 清水
Hiroshige Asada
博重 浅田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP20626895A priority Critical patent/JP3644086B2/en
Publication of JPH0954598A publication Critical patent/JPH0954598A/en
Application granted granted Critical
Publication of JP3644086B2 publication Critical patent/JP3644086B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To suppress the useless consumption of electric power and the generation of noises by calculating the level of ambient noises only when needed. SOLUTION: This speech recognizing device has a background noise sampling section 11 which detects an ambient noise level by sampling inputted speech signals and a level setting section 12 which sets the speech detection level of the speech signals inputted in accordance with the ambient noise level detected by this background noise sampling section 11. The background noise sampling section 11 starts detecting the ambient noise level by the recognition start signal delivered from a timing control section 14. The level setting section 12 sets the speech detection level at a preset initial value by the recognition end signal delivered from this timing control section 14.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、音声認識装置に係
わり、特に、非定常騒音の多い環境下においても使用で
きる音声認識装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a voice recognition device, and more particularly to a voice recognition device that can be used even in an environment with a lot of unsteady noise.

【0002】[0002]

【従来の技術】音声認識装置において音声区間を正しく
検出することは、音声認識性能を向上させる上で極めて
重要である。従来、音声認識装置において音声区間の検
出を行う場合、入力信号のレベルを使う方法が一般的で
ある。すなわち、音声区間を検出するためにあるしきい
値を設定し、入力信号のレベルがそのしきい値を越えた
部分を音声区間とみなすという方法である。しかしなが
ら、この方法では周囲騒音レベルが極端に変化した場
合、音声区間を正しく検出できないという問題を生じ
た。
2. Description of the Related Art Correct detection of a voice section in a voice recognition device is extremely important for improving voice recognition performance. Conventionally, when detecting a voice section in a voice recognition device, a method of using the level of an input signal is generally used. That is, it is a method of setting a certain threshold value for detecting a voice section and regarding a portion where the level of the input signal exceeds the threshold value as a voice section. However, this method has a problem that the voice section cannot be detected correctly when the ambient noise level changes extremely.

【0003】そこで、周囲騒音を常にサンプリングし、
ある一定時間毎の移動平均により周囲騒音レベルを求め
る方法が、例えば、特公昭63−29754号公報にお
いて提案された。
Therefore, ambient noise is constantly sampled,
For example, Japanese Patent Publication No. 63-29754 proposes a method for obtaining the ambient noise level by a moving average at certain intervals.

【0004】[0004]

【発明が解決しようとする課題】しかしながら、この特
公昭63−29754号公報において提案された方法に
おいては、周囲騒音レベルが極端に変化した場合でも正
しく音声区間の検出ができるが、周囲騒音レベルを演算
するCPUが常に動作しているため、無駄な電力を消費
して、電力損失を引き起こすという問題を生じる。ま
た、CPUが高速動作しているため、ノイズの発生の原
因にもなるという問題も生じる。
However, according to the method proposed in Japanese Patent Publication No. 63-29754, the voice section can be correctly detected even when the ambient noise level is extremely changed, but the ambient noise level is reduced. Since the CPU for calculation is constantly operating, there is a problem that power is wasted and power is lost. Further, since the CPU operates at high speed, there is a problem that it may cause noise.

【0005】[0005]

【課題を解決するための手段】そこで、本発明は上記問
題点に鑑みてなされたものであり、周囲騒音のレベルを
必要時だけ算出し、無駄な電力の消費およびノイズの発
生を抑制するものであって、本発明の構成上の第1の特
徴は、入力された音声信号をサンプリングして周囲騒音
レベルを検出する背景ノイズサンプリング手段と、背景
ノイズサンプリング手段により検出された周囲騒音レベ
ルに基づいて入力された音声信号の音声検出レベルを設
定するレベル設定手段とを備え、背景ノイズサンプリン
グ手段は認識開始信号により周囲騒音レベルの検出を開
始し、レベル設定手段は認識終了信号により音声検出レ
ベルを予め設定した初期値に設定するようにしたことに
ある。
SUMMARY OF THE INVENTION Therefore, the present invention has been made in view of the above problems, and calculates the level of ambient noise only when necessary and suppresses unnecessary power consumption and noise generation. The first feature of the configuration of the present invention is based on the background noise sampling means for sampling the input audio signal to detect the ambient noise level, and the ambient noise level detected by the background noise sampling means. And a level setting means for setting the voice detection level of the input voice signal, the background noise sampling means starts detecting the ambient noise level by the recognition start signal, and the level setting means sets the voice detection level by the recognition end signal. This is because the initial value set in advance is set.

【0006】また、本発明の構成上の第2の特徴は、上
述の背景ノイズサンプリング手段は、認識開始信号の受
信以後の経過時間を計測するタイマ手段と、このタイマ
手段による経過時間の計測開始時に予め設定した周囲騒
音レベルの最大値を周囲騒音レベルの移動平均として設
定する最大値設定手段と、入力された音声信号をサンプ
リングするサンプリング手段と、このサンプリング手段
によりサンプリングされた音声信号の各サンプリング値
に基づき周囲騒音レベルを算出する周囲騒音レベル算出
手段と、予め設定した所定の時間内に周囲騒音レベル算
出手段により算出された各周囲騒音レベルと最大値設定
手段により設定された周囲騒音レベルの最大値に基づき
周囲騒音レベルの移動平均を算出する移動平均算出手段
とを備え、移動平均算出手段により算出された移動平均
を周囲騒音レベルとして設定するものである。
A second feature of the present invention is that the background noise sampling means described above has a timer means for measuring the elapsed time after the reception of the recognition start signal, and the timer means starts the measurement of the elapsed time. Sometimes a maximum value setting means for setting a maximum value of the ambient noise level set in advance as a moving average of the ambient noise level, a sampling means for sampling the input audio signal, and each sampling of the audio signal sampled by the sampling means. The ambient noise level calculating means for calculating the ambient noise level based on the value, the ambient noise level calculated by the ambient noise level calculating means within a preset predetermined time, and the ambient noise level set by the maximum value setting means. And a moving average calculating means for calculating a moving average of the ambient noise level based on the maximum value. The moving average calculated by the calculation unit is set as the ambient noise level.

【0007】さらに、本発明の構成上の第3の特徴は、
上述の移動平均算出手段はタイマ手段により計測された
時間が予め設定した所定の時間内においては、予め設定
した所定の時間の半分の時間内に周囲騒音レベル算出手
段により算出された各周囲騒音レベルと最大値設定手段
により設定された周囲騒音レベルの最大値に基づき周囲
騒音レベルの移動平均を算出するようにしたことにあ
る。
Further, the third structural feature of the present invention is as follows.
The moving average calculation means described above, when the time measured by the timer means is within a predetermined time set in advance, each ambient noise level calculated by the ambient noise level calculation means within half the preset predetermined time. And the moving average of the ambient noise level is calculated based on the maximum value of the ambient noise level set by the maximum value setting means.

【0008】[0008]

【発明の作用・効果】上記のように構成した本発明にお
いては、認識開始信号により背景ノイズサンプリング手
段は周囲騒音レベルの検出を開始し、認識終了信号によ
りレベル設定手段は音声検出レベルを予め設定した初期
値に設定するようにしているので、必要時だけにプロセ
ッサが作動して周囲騒音レベルを算出することになるの
で、無駄な電力の損失を防止できるようになるととも
に、プロセッサの高速動作に伴うノイズの発生も防止で
きるようになる。
In the present invention configured as described above, the background noise sampling means starts detection of the ambient noise level by the recognition start signal, and the level setting means presets the voice detection level by the recognition end signal. Since it is set to the initial value that is set, the processor operates only when necessary to calculate the ambient noise level, so that it is possible to prevent unnecessary power loss and to improve the high-speed operation of the processor. It also becomes possible to prevent the accompanying noise.

【0009】また、認識開始に伴い動作するタイマの計
測開始時には最大値設定手段により予め設定した周囲騒
音レベルの最大値を周囲騒音レベルの移動平均として設
定するので、認識開始時に突然大きな背景騒音が入力さ
れても、この大きな背景騒音を音声として誤認識するこ
とが防止でき、認識率が向上する。また、移動平均算出
手段により、予め設定した所定の時間内に周囲騒音レベ
ル算出手段により算出された各周囲騒音レベルに基づき
周囲騒音レベルの移動平均を算出するので、正確に音声
認識することが可能になるとともに、静かな環境である
のに使用者に大声を出させるような負担を軽減できるよ
うになる。
Further, since the maximum value of the ambient noise level set in advance by the maximum value setting means is set as the moving average of the ambient noise level at the time of the start of the measurement of the timer operating with the recognition start, a sudden large background noise is generated at the start of the recognition. Even if input, this large background noise can be prevented from being erroneously recognized as voice, and the recognition rate is improved. Further, since the moving average calculating means calculates the moving average of the ambient noise level based on each ambient noise level calculated by the ambient noise level calculating means within a preset predetermined time, it is possible to accurately recognize the voice. In addition, it is possible to reduce the burden of calling out to the user in a quiet environment.

【0010】さらに、タイマ手段により計測された時間
が予め設定した所定の時間内においては、予め設定した
所定の時間の半分の時間内に周囲騒音レベル算出手段に
より算出された各周囲騒音レベルと最大値設定手段によ
り設定された周囲騒音レベルの最大値に基づき周囲騒音
レベルの移動平均を算出するようにしているので、短時
間の内に移動平均を算出することが可能となり、音声認
識開始時に音声の語頭も確実に切り出せるようになり、
認識率が格段に向上する。
Further, within the predetermined time set in advance by the timer means, the ambient noise level calculated by the ambient noise level calculation means and the maximum value within each half of the preset predetermined time. Since the moving average of the ambient noise level is calculated based on the maximum value of the ambient noise level set by the value setting means, it becomes possible to calculate the moving average within a short time, and the voice is recognized at the start of voice recognition. It became possible to cut out the beginning of
The recognition rate is dramatically improved.

【0011】[0011]

【発明の実施の形態】図に基づいて本発明の音声認識装
置の一実施の形態を説明する。図1は本発明の音声認識
装置の一実施の形態の回路ブロック図である。図1にお
いて、音声認識装置は、後述する音声認識処理を行う音
声認識部10と、音声と周囲騒音を取り込み音声レベル
を出力するマイクロフォン20と、音声認識を開始させ
るときに押下して認識開始信号を出力する認識開始スイ
ッチ30とから構成している。
BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of a voice recognition device of the present invention will be described with reference to the drawings. FIG. 1 is a circuit block diagram of an embodiment of a voice recognition device of the present invention. In FIG. 1, the voice recognition device includes a voice recognition unit 10 that performs a voice recognition process described later, a microphone 20 that captures voice and ambient noise and outputs a voice level, and a recognition start signal that is pressed when voice recognition is started. And a recognition start switch 30 for outputting

【0012】音声認識部10は、マイクロフォン20よ
り取り込まれた周囲騒音レベルの平均パワーを、例え
ば、所定の時間毎の移動平均により求める背景ノイズサ
ンプリング部11と、背景ノイズサンプリング部11よ
り送られてきた周囲騒音レベルに所定のオフセット量を
加算して、この加算された値を音声区間の音声検出レベ
ルとして設定するレベル設定部12と、予め登録した音
声の特徴量データが格納されている標準パターン15と
を備えている。
The voice recognition section 10 is sent from the background noise sampling section 11 and the background noise sampling section 11 which obtain the average power of the ambient noise level taken in by the microphone 20 by, for example, a moving average at predetermined time intervals. A level setting unit 12 that adds a predetermined offset amount to the ambient noise level and sets the added value as a voice detection level in a voice section, and a standard pattern in which feature amount data of voices registered in advance is stored. And 15.

【0013】また、音声認識部10は、レベル設定部1
2にて設定した音声検出レベルとマイクロフォン20よ
り出力された音声レベルとを比較して、所定の時間内に
音声レベルが音声検出レベル以上となったとき音声の始
端としこの始端から所定の時間内に音声検出レベル以下
となったとき音声の終端として音声区間のデータを検出
する音声区間検出部13と、認識開始スイッチ30から
の認識開始信号を受信して背景ノイズサンプリング部1
1、レベル設定部12、音声区間検出部13を制御する
タイミング制御部14と、音声区間検出部13より送出
された音声区間のデータより音声の特徴量を算出して標
準パターン15に格納されている音声の特徴量データと
比較して最も類似している音声の番号を認識結果として
出力する照合部16とを備えている。
Further, the voice recognition section 10 includes a level setting section 1
The voice detection level set in 2 and the voice level output from the microphone 20 are compared, and when the voice level becomes equal to or higher than the voice detection level within a predetermined time, it is regarded as the start end of the voice within a predetermined time from this start end. And a background noise sampling unit 1 that receives a recognition start signal from the recognition start switch 30 and detects a voice section data as the end of the voice when the voice detection level is lower than the voice detection level.
1, a level setting unit 12, a timing control unit 14 for controlling the voice section detection unit 13, and a voice feature amount calculated from the voice section data transmitted from the voice section detection unit 13 and stored in the standard pattern 15. The collation unit 16 outputs the number of the most similar voice as a recognition result in comparison with the feature amount data of the voice.

【0014】上記のように構成した本実施の形態による
音声認識装置の動作を説明する。 (1)音声認識の動作 図2は上述のタイミング制御部14の動作を示すフロー
チャートである。なお、タイミング制御部14はCP
U、ROM、RAM等から構成されており、この処理の
プログラムは予めROMに格納されている。図2におい
て、ステップ100にて処理動作を開始すると、認識開
始スイッチ30の押下に伴い発生する認識開始信号の受
信を待ち受ける。タイミング制御部14が認識開始信号
を受信すると、ステップ102にて「YES」と判定し
てステップ104に進む。
The operation of the speech recognition apparatus according to the present embodiment configured as described above will be described. (1) Voice Recognition Operation FIG. 2 is a flowchart showing the operation of the timing control unit 14 described above. The timing control unit 14
It is composed of U, ROM, RAM and the like, and a program for this processing is stored in the ROM in advance. In FIG. 2, when the processing operation is started in step 100, it waits for reception of a recognition start signal generated by pressing the recognition start switch 30. When the timing control unit 14 receives the recognition start signal, it determines “YES” in step 102 and proceeds to step 104.

【0015】ステップ104にて、タイミング制御部1
4は背景ノイズサンプリング部11にサンプリング開始
信号を送出する。すると、レベル設定部12は、後述す
る背景ノイズサンプリング部11の周囲騒音レベル算出
の動作に基づいて算出された周囲騒音レベルLavrに
所定のオフセット量ΔLを加算して音声区間検出レベル
(Lavr+ΔL)を設定する。ついで、レベル設定部
12は音声区間検出レベルの設定が完了した旨の設定完
了信号をタイミング制御部14に送出する。
At step 104, the timing controller 1
4 sends a sampling start signal to the background noise sampling section 11. Then, the level setting unit 12 adds the predetermined offset amount ΔL to the ambient noise level Lavr calculated based on the ambient noise level calculation operation of the background noise sampling unit 11 described later to obtain the voice section detection level (Lavr + ΔL). Set. Next, the level setting unit 12 sends a setting completion signal indicating that the setting of the voice section detection level is completed to the timing control unit 14.

【0016】ついで、タイミング制御部14はレベル設
定部12からの設定完了信号を受信すると、ステップ1
06にて「YES」と判定して、次のステップ108に
進む。ステップ108に進むと、タイミング制御部14
は音声区間検出部13に音声区間検出開始信号を送出す
る。すると、音声区間検出部13はレベル設定部12に
て設定された音声区間検出レベル(Lavr+ΔL)
と、マイクロフォン20より入力された音声のパワーと
を比較して、マイクロフォン20より入力された音声の
パワーが所定の時間の間、音声区間検出レベル(Lav
r+ΔL)以上となる音声区間を検出する。
Next, when the timing control section 14 receives the setting completion signal from the level setting section 12, step 1
When it is determined to be “YES” in 06, the process proceeds to the next step 108. When the process proceeds to step 108, the timing control unit 14
Sends a voice section detection start signal to the voice section detection unit 13. Then, the voice section detection unit 13 detects the voice section detection level (Lavr + ΔL) set by the level setting unit 12.
And the power of the voice input from the microphone 20 are compared, and the power of the voice input from the microphone 20 is kept at the voice section detection level (Lav for a predetermined time).
The voice section that is equal to or greater than r + ΔL) is detected.

【0017】ここで、音声区間検出部13が音声区間を
検出すると、この検出した音声区間のデータを照合部1
6に送出する。すると、照合部16は音声区間検出部1
3より送られてきた音声区間のデータより特徴量を算出
し、この算出した特徴量データと標準パターン15に予
め格納されている音声の特徴量データとを比較して、最
も類似している音声の番号を認識結果として出力する。
認識結果を出力すると同時に、照合部16は認識を終了
した旨の認識終了信号をタイミング制御部14に送出す
る。
When the voice section detection unit 13 detects a voice section, the data of the detected voice section is collated by the collation unit 1.
Send to 6. Then, the matching unit 16 causes the voice section detection unit 1
3. A feature amount is calculated from the data of the voice section sent from No. 3, and the calculated feature amount data is compared with the feature amount data of the voice stored in the standard pattern 15 in advance, and the most similar voice is obtained. The number of is output as the recognition result.
At the same time as outputting the recognition result, the collating unit 16 sends a recognition end signal indicating that the recognition is completed to the timing control unit 14.

【0018】タイミング制御部14は照合部16より送
出された認識終了信号を受信すると、ステップ110に
て「YES」と判定し、次のステップ112にて背景ノ
イズサンプリング部11および音声区間検出部13に停
止信号を送出する。ついで、ステップ114に進み、タ
イミング制御部14はレベル設定部12にリセット信号
を送出して、音声区間検出レベルを所定の初期値に設定
するとともに、ステップ102に戻り、認識開始信号を
待ち受け状態にする。
When the timing control section 14 receives the recognition end signal sent from the collating section 16, it determines "YES" in step 110, and in the next step 112, the background noise sampling section 11 and the voice section detecting section 13 Send a stop signal to. Next, in step 114, the timing control unit 14 sends a reset signal to the level setting unit 12 to set the voice section detection level to a predetermined initial value, and returns to step 102 to put the recognition start signal in a standby state. To do.

【0019】(2)周囲騒音レベル算出の動作 図3は上述の背景ノイズサンプリング部11の動作を示
すフローチャートである。なお、背景ノイズサンプリン
グ部11は、例えば、ディジタル信号処理プロセッサ
(DSP)より構成されており、この処理のプログラム
は予めこのプロセッサに格納されている。図3におい
て、背景ノイズサンプリング部11はタイミング制御部
14から送出されたサンプリング開始信号を受信する
と、ステップ200にて処理動作を開始する。
(2) Ambient Noise Level Calculation Operation FIG. 3 is a flowchart showing the operation of the background noise sampling section 11 described above. The background noise sampling unit 11 is composed of, for example, a digital signal processor (DSP), and a program for this processing is stored in this processor in advance. In FIG. 3, when the background noise sampling section 11 receives the sampling start signal sent from the timing control section 14, it starts the processing operation in step 200.

【0020】ステップ200にて処理動作を開始する
と、ステップ202にてタイマ動作を開始(Tc=0と
セットする)させるとともに、周囲騒音レベルの移動平
均値Lavrを予め設定した最大値Lmaxにセット
(Lavr0=Lmax)(図4参照)し、マイクロフ
ォン20より入力された信号のサンプリングを開始す
る。なお、サンプリング周期は、例えば100μsに設
定されている。ここで、周囲騒音レベルの最大値Lma
xは、例えば、1番地〜n番地までのレジスタにそれぞ
れ書き込まれている。
When the processing operation is started in step 200, the timer operation is started (set to Tc = 0) in step 202, and the moving average value Lavr of the ambient noise level is set to a preset maximum value Lmax ( Lavr 0 = Lmax) (see FIG. 4), and sampling of the signal input from the microphone 20 is started. The sampling cycle is set to 100 μs, for example. Here, the maximum value Lma of the ambient noise level
For example, x is written in the registers from address 1 to address n.

【0021】ついで、ステップ204にて、所定の時間
(例えば20ms)内に入力された音声の各サンプリン
グ値の2剰和を求め、この求めた2剰和を周囲環境騒音
レベルLn1として算出するとともに、Lmaxが書き
込まれた1番地と((n/2)+1)番地のレジスタの
データを算出した周囲環境騒音レベルLn1に書き換え
る。ついで、ステップ206に進み、ステップ202に
て動作させたタイマ時間(Tc)が予め設定した時間
(Tavr(例えば200ms))(図4参照)に達し
たか否かの判定を行う。ここで、タイマ時間(Tc)が
予め設定した時間(Tavr)以内(Tc≦Tavr)
の場合、ステップ208に進む。
Next, at step 204, the two sums of the sampling values of the voices input within a predetermined time (for example, 20 ms) are calculated, and the calculated two sums are calculated as the ambient noise level Ln 1 . At the same time, the data of the registers at addresses 1 and ((n / 2) +1) where Lmax is written is rewritten to the calculated ambient environmental noise level Ln 1 . Next, in step 206, it is determined whether or not the timer time (Tc) operated in step 202 has reached a preset time (Tavr (for example, 200 ms)) (see FIG. 4). Here, the timer time (Tc) is within a preset time (Tavr) (Tc ≦ Tavr)
If yes, go to step 208.

【0022】ステップ208に進むと、予め設定した時
間の1/2(Tavr/2)時間以内に算出してレジス
タに書き込まれた周囲環境騒音LmaxとLn1との移
動平均値Lavr1(図4参照)を算出する。
In step 208, a moving average value Lavr 1 of ambient environmental noises Lmax and Ln 1 calculated within 1/2 (Tavr / 2) hours of a preset time and written in the register (see FIG. 4). Calculate).

【0023】ついで、ステップ212において、ステッ
プ208にて算出した周囲騒音レベルの移動平均値La
vr1をレベル設定部12に送出し、タイミング制御部
14より停止信号を受信しない場合は、ステップ214
にて「NO」と判定して、ステップ204に戻り、ステ
ップ204にて、上述と同様にして入力された音声の各
サンプリング値の2剰和を求め、この求めた2剰和を周
囲環境騒音レベルLn2として算出するとともに、この
求めた2剰和を周囲環境騒音レベルLn2として算出す
るとともに、Lmaxが書き込まれた2番地と((n/
2)+2)番地のレジスタのデータを算出した周囲環境
騒音レベルLn2に書き換える。ついで、ステップ20
8にて上述と同様にして、予め設定した時間の1/2
(Tavr/2)時間以内に算出してレジスタに書き込
まれた周囲環境騒音レベルLmax、Ln1、Ln2の移
動平均値Lavr2を算出する。
Next, at step 212, the moving average value La of the ambient noise levels calculated at step 208.
If vr 1 is sent to the level setting unit 12 and the stop signal is not received from the timing control unit 14, step 214
Is determined as "NO" in step 204, the process returns to step 204, and in step 204, the two sums of the respective sampling values of the voices input in the same manner as described above are obtained, and the obtained two sums are used as the ambient noise. and calculates as a level Ln 2, and calculates the obtained 2 Amawa as ambient noise level Ln 2, and address 2 of Lmax is written ((n /
2) Rewrite the data in the register at address +2) to the calculated ambient noise level Ln 2 . Then step 20
8 same as the above, 1/2 of the preset time
The moving average value Lavr 2 of the ambient noise levels Lmax, Ln 1 and Ln 2 calculated within (Tavr / 2) hours and written in the register is calculated.

【0024】同様にして、ステップ204に戻り、ステ
ップ204にて、入力された音声の各サンプリング値の
2剰和を求め、この求めた2剰和を周囲環境騒音レベル
Ln3として算出するとともに、Lmaxが書き込まれ
た3番地と((n/2)+3)番地のレジスタのデータ
を算出した周囲環境騒音レベルLn3に書き換える。ス
テップ208にて上述と同様にして、予め設定した時間
の1/2(Tavr/2)時間以内に算出してレジスタ
に書き込まれた周囲環境騒音レベルLmax、Ln1
Ln2、Ln3の移動平均値Lavr3を算出する。
Similarly, returning to step 204, in step 204, the two sums of the sampling values of the input voice are calculated, and the calculated two sums are calculated as the ambient noise level Ln 3 . The data in the registers at the addresses 3 and ((n / 2) +3) where Lmax is written is rewritten to the calculated ambient environmental noise level Ln 3 . In step 208, in the same manner as described above, the ambient noise levels Lmax, Ln 1 , calculated within 1/2 (Tavr / 2) hours of the preset time and written in the register,
It calculates a moving average value Lavr 3 of Ln 2, Ln 3.

【0025】同様の処理を繰り返してステップ204に
てi回目のLniを算出するとともに、Lmaxが書き
込まれた(n/2)番地とn番地のレジスタのデータを
算出した周囲環境騒音レベルLniにそれぞれ1個づつ
書き換える。ステップ208にて上述と同様にして、予
め設定した時間の1/2(Tavr/2)時間以内に算
出してレジスタに書き込まれた周囲環境騒音レベルLn
1、Ln2、Ln3・・・Lniの移動平均値Lavri
算出する。
The same processing is repeated to calculate the i-th Ln i in step 204, and the ambient noise level Ln i is calculated by calculating the data of the (n / 2) address and the register of the n address where Lmax is written. Rewrite each one by one. In step 208, in the same manner as described above, the ambient noise level Ln calculated and written in the register within 1/2 (Tavr / 2) hours of the preset time.
1, Ln 2, Ln 3 calculates a moving average value Lavr i of · · · Ln i.

【0026】このようにして、ステップ204からステ
ップ214までの処理を繰り返しているうちに、タイマ
時間(Tc)が予め設定した時間(Tavr(例えば2
00ms))の1/2に達すると、ステップ204にて
j回目のLnjを算出しするとともに、Lniが書き込ま
れた1〜(n/2)番地と((n/2)+1)〜n番地
のレジスタのデータを算出した周囲環境騒音レベルLn
jにそれぞれ1個づつ逐次書き換える。ステップ208
にて上述と同様にして、予め設定した時間の1/2(T
avr/2)時間以内に算出してレジスタに書き込まれ
た周囲環境騒音レベルLniとLnjとの移動平均値La
vrjを算出する。
In this manner, while the processing from step 204 to step 214 is being repeated, the timer time (Tc) is set to the preset time (Tavr (for example, 2
(00 ms)), the j-th Ln j is calculated in step 204, and Ln i is written at addresses 1- (n / 2) and ((n / 2) +1)-. Ambient noise level Ln calculated from register data at address n
Sequentially rewrite each one in j . Step 208
In the same manner as above, 1/2 of the preset time (T
avr / 2) Moving average value La of ambient environmental noise levels Ln i and Ln j calculated and written in the register within a time period
Calculate vr j .

【0027】このようにして、ステップ204からステ
ップ214までの処理を繰り返しているうちに、タイマ
時間(Tc)が予め設定した時間(Tavr(例えば2
00ms))に達すると、ステップ204にてk回目の
Lnkを算出しするとともに、Lnjが書き込まれた
((n/2)+1)〜n番地のデータを、算出した周囲
環境騒音レベルLnkに1個づつ逐次書き換え、ステッ
プ206にて「YES」と判定して、予め設定した時間
(Tavr)内に算出された周囲環境騒音レベルLnj
とLnkとの移動平均値Lavrkをステップ210にて
算出する。
In this manner, while the processing from step 204 to step 214 is being repeated, the timer time (Tc) is set to the preset time (Tavr (for example, 2
Upon reaching the 00ms)), as well as to calculate the k th Ln k in step 204, Ln j is written ((n / 2) +1) data ~n address, the calculated ambient noise level Ln Sequentially rewriting one by one in k , determining "YES" in step 206, and calculating ambient environment noise level Ln j within a preset time (Tavr)
And a moving average value Lavr k of Ln k is calculated in step 210.

【0028】同様な処理を繰り返して、ステップ204
にてl回目のLnlを算出するとともに、Lnjが書き込
まれた1〜(n/2)番地のレジスタのデータおよびL
kが書き込まれた((n/2)+1)〜n番地のデー
タを、算出した周囲環境騒音レベルLnlに1個づつ逐
次書き換え、ステップ206にて「YES」と判定し
て、予め設定した時間(Tavr)内に算出された周囲
環境騒音レベルLnkとLnlとの移動平均値Lavrl
をステップ210にて算出する。
The same processing is repeated, and step 204
In addition to calculating the 1st time Ln 1 at, the data of the register at addresses 1 to (n / 2) where Ln j was written and L
The data of the addresses ((n / 2) +1) to n in which n k is written are sequentially rewritten one by one in the calculated ambient environmental noise level Ln l , and it is determined as “YES” in step 206 and preset. moving average Lavr l between the time (TAVR) ambient environment noise level is calculated in the Ln k and Ln l
Is calculated in step 210.

【0029】ついで、ステップ212において、ステッ
プ210にて算出した周囲騒音レベルの移動平均値La
vrlをレベル設定部12に送出し、タイミング制御部
14より停止信号を受信すると、ステップ214にて
「YES」と判定して、ステップ216にて周囲騒音レ
ベル算出の処理を終了する。
Next, at step 212, the moving average value La of the ambient noise level calculated at step 210.
When vr l is sent to the level setting unit 12 and the stop signal is received from the timing control unit 14, it is determined to be “YES” in step 214, and the processing of ambient noise level calculation is ended in step 216.

【0030】上述のように構成した本実施の形態におい
ては、認識開始スイッチ30の押下に伴い発生する認識
開始信号により、タイミング制御部14は背景ノイズサ
ンプリング部11を動作させ、背景ノイズサンプリング
部11は周囲騒音レベルの検出を開始する。また、タイ
ミング制御部14から送出された認識終了信号によりレ
ベル設定部12は音声検出レベルを予め設定した初期値
に設定するようにしているので、必要時だけにプロセッ
サが作動して周囲騒音レベルを算出することになるの
で、無駄な電力の損失を防止できるようになるととも
に、プロセッサの高速動作に伴うノイズの発生も防止で
きるようになる。
In the present embodiment configured as described above, the timing control unit 14 operates the background noise sampling unit 11 by the recognition start signal generated by pressing the recognition start switch 30, and causes the background noise sampling unit 11 to operate. Starts detecting ambient noise level. Further, since the level setting unit 12 sets the voice detection level to the preset initial value by the recognition end signal sent from the timing control unit 14, the processor operates only when necessary to set the ambient noise level. Since the calculation is performed, it is possible to prevent wasteful power loss and also prevent generation of noise due to high-speed operation of the processor.

【0031】また、認識開始に伴い動作するタイマの計
測開始時には、ステップ202にて予め設定した周囲騒
音レベルの最大値Lmaxを周囲騒音レベルの移動平均
Lavrとして設定するので、認識開始時に突然大きな
背景騒音が入力されても、この大きな背景騒音を音声と
して誤認識することが防止でき、認識率が向上する。ま
た、ステップ210にて、予め設定した所定の時間Ta
vr内にステップ204にて算出された各周囲騒音レベ
ルLnに基づき周囲騒音レベルの移動平均Lavr1j
を算出するので、正確に音声認識することが可能になる
とともに、静かな環境であるのに使用者に大声を出させ
るような負担を軽減できるようになる。
Further, at the time of starting the measurement of the timer which operates in association with the start of recognition, the maximum value Lmax of the ambient noise level set in advance in step 202 is set as the moving average Lavr of the ambient noise level, so that a suddenly large background is generated at the start of recognition. Even if noise is input, this large background noise can be prevented from being erroneously recognized as voice, and the recognition rate is improved. Further, in step 210, the preset predetermined time Ta
The moving averages Lavr 1 to j of the ambient noise levels based on the ambient noise levels Ln calculated in step 204 in vr.
Since it is possible to accurately recognize the voice, it is possible to reduce the burden of making a loud voice to the user even in a quiet environment.

【0032】さらに、タイマにより計測された時間が予
め設定した所定の時間Tavr内においては、ステップ
208にて、予め設定した所定の時間の半分の時間Ta
vr/2内に算出された各周囲騒音レベルLnと周囲騒
音レベルの最大値Lmaxに基づき周囲騒音レベルの移
動平均Lavrklを算出するようにしているので、短
時間の内に移動平均を算出することが可能となり、音声
認識開始時に音声の語頭も確実に切り出せるようにな
り、認識率が格段に向上する。
Further, if the time measured by the timer is within the preset time Tavr set in advance, in step 208, the time Ta which is half the preset time Ta is set.
Since the moving average Lavr k to l of the ambient noise level is calculated based on each ambient noise level Ln calculated within vr / 2 and the maximum value Lmax of the ambient noise level, the moving average is calculated within a short time. It becomes possible to calculate, and it becomes possible to reliably cut out the beginning of a voice at the start of voice recognition, and the recognition rate is remarkably improved.

【0033】[0033]

【実施例】上述の実施の形態にて説明した音声認識装置
を携帯電話に適用した場合の一実施例を説明する。図5
は本実施例の音声認識機能付き携帯電話の概略を示す図
である。図5において、音声認識機能付き携帯電話は上
述の図1の音声認識部10と同様な構成の音声認識部4
0と、音声と周囲騒音を取り込み音声レベルを出力する
マイクロフォン50と、音声認識を開始させるときに押
下して認識開始信号を出力する認識開始スイッチを有す
るスイッチ操作部60と、音声認識部40により認識さ
れた認識結果に対応する使用者が予め登録した登録音声
を出力する合成音出力部70と、合成音出力部70から
出力された登録音声を音声として出力するスピーカ80
と、音声処理回路、送受信回路、アンテナ、アンテナ共
用器、モデム等からなる通信部90とから構成してい
る。
EXAMPLE An example in which the voice recognition device described in the above embodiment is applied to a mobile phone will be described. FIG.
FIG. 3 is a diagram showing an outline of a mobile phone with a voice recognition function of this embodiment. 5, a mobile phone with a voice recognition function has a voice recognition unit 4 having the same configuration as the voice recognition unit 10 of FIG. 1 described above.
0, a microphone 50 that captures voice and ambient noise and outputs a voice level, a switch operation unit 60 that has a recognition start switch that outputs a recognition start signal when pressed to start voice recognition, and a voice recognition unit 40. A synthesized sound output unit 70 that outputs a registered voice registered in advance by the user corresponding to the recognized recognition result, and a speaker 80 that outputs the registered voice output from the synthesized sound output unit 70 as a voice.
And a communication unit 90 including a voice processing circuit, a transmission / reception circuit, an antenna, an antenna duplexer, a modem, and the like.

【0034】本実施例の音声認識機能付き携帯電話の動
作を説明する。なお、音声認識部40の動作は上述の図
1の音声認識部10の動作と同様であるので、図1のブ
ロック図および図2、図3のフローチャートに基づいて
説明する。まず、この携帯電話の使用者が音声認識を使
って電話をかける場合、予め自分の声で音声を登録して
おく。音声が登録されると登録音声の特徴量が標準パタ
ーン15(図1参照)に格納される。ここで、スイッチ
操作部60の認識開始スイッチ30(図1参照)を押下
すると、認識開始信号が音声認識部40を介して合成音
出力部70に送出され、音声認識を促す音声、例えば
「どうぞ」がスピーカ80より発せられる。
The operation of the mobile phone with the voice recognition function of this embodiment will be described. The operation of the voice recognition unit 40 is the same as the operation of the voice recognition unit 10 of FIG. 1 described above, and therefore the operation will be described based on the block diagram of FIG. 1 and the flowcharts of FIGS. First, when the user of this mobile phone makes a call using voice recognition, the voice is registered in advance by his / her own voice. When the voice is registered, the feature amount of the registered voice is stored in the standard pattern 15 (see FIG. 1). Here, when the recognition start switch 30 (see FIG. 1) of the switch operation unit 60 is pressed, a recognition start signal is sent to the synthetic sound output unit 70 via the voice recognition unit 40, and a voice prompting voice recognition, for example, "Please! Is emitted from the speaker 80.

【0035】同時に、認識開始スイッチ30が押下され
ると、認識開始信号がタイミング制御部14にも送出さ
れ、音声認識部40は上述した周囲騒音レベル算出と音
声認識動作を開始し、音声区間の検出が行われると特徴
量を算出して、標準パターン15に登録された標準パタ
ーンの番号を認識結果として合成音出力部70に送出す
る。合成音出力部70はこの認識結果に対応する登録音
声をスピーカ80より発する。ここで、使用者がスピー
カ80より発せられた登録音声が正しければ、スイッチ
操作部60の発信キーを押下することにより、登録音声
に対応する電話番号の所に電話が発信されることとな
る。
At the same time, when the recognition start switch 30 is pressed, a recognition start signal is also sent to the timing control section 14, and the voice recognition section 40 starts the ambient noise level calculation and voice recognition operation described above, and the voice section When the detection is performed, the characteristic amount is calculated, and the number of the standard pattern registered in the standard pattern 15 is sent to the synthetic sound output unit 70 as the recognition result. The synthesized sound output unit 70 outputs a registered voice corresponding to the recognition result from the speaker 80. Here, if the registered voice emitted from the speaker 80 is correct by the user, the call key of the switch operation unit 60 is pressed to make a call to the telephone number corresponding to the registered voice.

【0036】なお、使用者がスイッチ操作部60の発信
キーを押下することにより、タイミング制御部14は背
景ノイズサンプリング部11および音声区間検出部13
に停止信号を送出し、これに伴い、背景ノイズサンプリ
ング部11および音声区間検出部13は背景ノイズサン
プリング動作および音声区間検出動作をそれぞれ停止さ
せる。また、タイミング制御部14はレベル設定部12
にリセット信号を送出して、音声区間検出レベルを所定
の初期値にリセットする。
When the user depresses the call key of the switch operating unit 60, the timing control unit 14 causes the background noise sampling unit 11 and the voice section detecting unit 13 to operate.
To the background noise sampling section 11 and the voice section detecting section 13 to stop the background noise sampling operation and the voice section detecting operation, respectively. Further, the timing control unit 14 includes the level setting unit 12
A reset signal is sent to reset the voice section detection level to a predetermined initial value.

【0037】なお、本発明においては、反響の大きな部
屋または車室内にて使用する音声認識装置においても有
効である。例えば、音声認識装置が認識開始を促す合成
音を出力する上述の実施例のような音声認識機能付き携
帯電話においは、音声認識開始時の周囲騒音レベルの追
従時間(上述のTavr)を反響時間より長く設定すれ
ば、反響音がマイクロフォンに回り込んでも誤認識する
ことが防止できる。また、追従時間も、最初は所定の初
期値に設定していても、2回目以降の音声認識時には、
1回目の反響時間を計測することにより、最適な追従時
間に変更することが可能となる。さらに、本発明は、音
声認識時のみでなく、登録型音声認識装置の音声登録時
においても、音声認識時と同様な効果がある。
The present invention is also effective in a voice recognition device used in a room with a large reverberation or in a passenger compartment. For example, in a mobile phone with a voice recognition function as in the above-mentioned embodiment in which the voice recognition device outputs a synthetic sound for prompting the recognition start, the following time (Tavr) of the ambient noise level at the start of the voice recognition is used as the echo time. If it is set longer, it is possible to prevent erroneous recognition even if the echo sound enters the microphone. Also, even if the follow-up time is set to a predetermined initial value at the beginning, at the time of the second and subsequent voice recognition,
By measuring the reverberation time of the first time, it is possible to change to the optimum tracking time. Further, the present invention has the same effect as at the time of voice recognition not only at the time of voice recognition but also at the time of voice registration of the registration type voice recognition device.

【図面の簡単な説明】[Brief description of drawings]

【図1】 本発明の音声認識装置の一実施の形態の回路
ブロック図である。
FIG. 1 is a circuit block diagram of an embodiment of a voice recognition device of the present invention.

【図2】 図1の音声認識動作を示すフローチャートで
ある。
FIG. 2 is a flowchart showing the voice recognition operation of FIG.

【図3】 図1の周囲騒音レベル算出の動作を示すフロ
ーチャートである。
FIG. 3 is a flowchart showing an operation of ambient noise level calculation of FIG.

【図4】 周囲騒音レベルと算出した移動平均を示す図
である。
FIG. 4 is a diagram showing an ambient noise level and a calculated moving average.

【図5】 本発明の音声認識装置を携帯電話に適用した
実施例を示す図である。
FIG. 5 is a diagram showing an embodiment in which the voice recognition device of the present invention is applied to a mobile phone.

【符号の説明】[Explanation of symbols]

10…音声認識部、20…マイクロフォン、30…認識
開始スイッチ、11…背景ノイズサンプリング部、12
…レベル設定部、13…音声区間検出部、14…タイミ
ング制御部、15…標準パターン、16…照合部
10 ... Voice recognition unit, 20 ... Microphone, 30 ... Recognition start switch, 11 ... Background noise sampling unit, 12
... Level setting section, 13 ... Voice section detecting section, 14 ... Timing control section, 15 ... Standard pattern, 16 ... Collating section

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】 入力された音声信号をサンプリングして
周囲騒音レベルを検出する背景ノイズサンプリング手段
と、 前記背景ノイズサンプリング手段により検出された周囲
騒音レベルに基づいて入力された音声信号の音声検出レ
ベルを設定するレベル設定手段とを備え、 前記背景ノイズサンプリング手段は認識開始信号により
周囲騒音レベルの検出を開始し、前記レベル設定手段は
認識終了信号により音声検出レベルを予め設定した初期
値に設定することを特徴とする音声認識装置。
1. Background noise sampling means for sampling an input audio signal to detect an ambient noise level, and audio detection level of an audio signal input based on the ambient noise level detected by the background noise sampling means. The background noise sampling means starts detecting the ambient noise level by the recognition start signal, and the level setting means sets the voice detection level to a preset initial value by the recognition end signal. A voice recognition device characterized by the above.
【請求項2】 前記背景ノイズサンプリング手段は、 認識開始信号の受信以後の経過時間を計測するタイマ手
段と、 前記タイマ手段による経過時間の計測開始時に予め設定
した周囲騒音レベルの最大値を周囲騒音レベルの移動平
均として設定する最大値設定手段と、 入力された音声信号をサンプリングするサンプリング手
段と、 前記サンプリング手段によりサンプリングされた音声信
号の各サンプリング値に基づき周囲騒音レベルを算出す
る周囲騒音レベル算出手段と、 予め設定した所定の時間内に前記周囲騒音レベル算出手
段により算出された各周囲騒音レベルと前記最大値設定
手段により設定された周囲騒音レベルの最大値に基づき
周囲騒音レベルの移動平均を算出する移動平均算出手段
とを備え、 前記移動平均算出手段により算出された移動平均を周囲
騒音レベルとして設定することを特徴とする請求項1に
記載の音声認識装置。
2. The background noise sampling means measures the elapsed time after the reception of the recognition start signal, and a maximum ambient noise level preset at the start of the elapsed time measurement by the timer means. Maximum value setting means for setting as a moving average of levels, sampling means for sampling the input voice signal, ambient noise level calculation for calculating the ambient noise level based on each sampling value of the voice signal sampled by the sampling means Means, and a moving average of the ambient noise level based on each ambient noise level calculated by the ambient noise level calculating means and the maximum value of the ambient noise level set by the maximum value setting means within a preset predetermined time. And a moving average calculating means for calculating the moving average. The voice recognition device according to claim 1, wherein the moving average is set as an ambient noise level.
【請求項3】 前記移動平均算出手段は前記タイマ手段
により計測された時間が前記予め設定した所定の時間内
においては、前記予め設定した所定の時間の半分の時間
内に前記周囲騒音レベル算出手段により算出された各周
囲騒音レベルと前記最大値設定手段により設定された周
囲騒音レベルの最大値に基づき周囲騒音レベルの移動平
均を算出するようにしたことを特徴とする請求項2に記
載の音声認識装置。
3. The ambient noise level calculating means is configured such that the moving average calculating means has the ambient noise level calculating means within a half of the preset predetermined time within the preset predetermined time measured by the timer means. 3. The voice according to claim 2, wherein the moving average of the ambient noise level is calculated based on each ambient noise level calculated by the above and the maximum value of the ambient noise level set by the maximum value setting means. Recognition device.
JP20626895A 1995-08-11 1995-08-11 Voice recognition device Expired - Lifetime JP3644086B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP20626895A JP3644086B2 (en) 1995-08-11 1995-08-11 Voice recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20626895A JP3644086B2 (en) 1995-08-11 1995-08-11 Voice recognition device

Publications (2)

Publication Number Publication Date
JPH0954598A true JPH0954598A (en) 1997-02-25
JP3644086B2 JP3644086B2 (en) 2005-04-27

Family

ID=16520522

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20626895A Expired - Lifetime JP3644086B2 (en) 1995-08-11 1995-08-11 Voice recognition device

Country Status (1)

Country Link
JP (1) JP3644086B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015070645A1 (en) * 2013-11-14 2015-05-21 华为技术有限公司 Voice recognition method, voice recognition device, and electronic device
CN111445901A (en) * 2020-03-26 2020-07-24 北京达佳互联信息技术有限公司 Audio data acquisition method and device, electronic equipment and storage medium

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015070645A1 (en) * 2013-11-14 2015-05-21 华为技术有限公司 Voice recognition method, voice recognition device, and electronic device
US9870771B2 (en) 2013-11-14 2018-01-16 Huawei Technologies Co., Ltd. Environment adaptive speech recognition method and device
CN111445901A (en) * 2020-03-26 2020-07-24 北京达佳互联信息技术有限公司 Audio data acquisition method and device, electronic equipment and storage medium
CN111445901B (en) * 2020-03-26 2023-10-03 北京达佳互联信息技术有限公司 Audio data acquisition method and device, electronic equipment and storage medium

Also Published As

Publication number Publication date
JP3644086B2 (en) 2005-04-27

Similar Documents

Publication Publication Date Title
US5058153A (en) Noise mitigation and mode switching in communications terminals such as telephones
US20050221862A1 (en) Wireless communication terminals
US5896450A (en) Automatically variable circuit of sound level of received voice signal in telephone
CN111837179A (en) System and method for capturing noise for pattern recognition processing
JP3524370B2 (en) Voice activation system
EP1942637B1 (en) Phone terminal and signal processing method
JPH0954598A (en) Speech recognizing device
US5963639A (en) Telephone having an audio response function
US6603985B1 (en) Ringing tone control method and device for mobile communication apparatus
JP2003241788A (en) Device and system for speech recognition
JPH11239093A (en) Mobile radio communication device
JP4299768B2 (en) Voice recognition device, method, and portable information terminal device using voice recognition method
CN113228167A (en) Voice control method and device
KR101581950B1 (en) Apparatus and method for processing a received voice signal in mobile terminal
US11776538B1 (en) Signal processing
JP2004165865A (en) Telephone set and received tone volume adjustment method
JP3244252B2 (en) Background noise average level prediction method and apparatus
JP3517306B2 (en) Telephone with automatic voice response function
JP3154914B2 (en) Communication device
JP3580175B2 (en) Voice detector
JPH0618681A (en) Transmitter-receiver system, transmitter and receiver
JP2711361B2 (en) Answering machine
JP2853166B2 (en) Voice data conversion circuit in digital radio telephone equipment.
US7095846B2 (en) Half duplex device and signal processing method thereof
JP3627305B2 (en) Hands-free phone

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050124

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080210

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110210

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120210

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130210

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term