JPS6053998A - Voice recognition equipment - Google Patents
Voice recognition equipmentInfo
- Publication number
- JPS6053998A JPS6053998A JP58163537A JP16353783A JPS6053998A JP S6053998 A JPS6053998 A JP S6053998A JP 58163537 A JP58163537 A JP 58163537A JP 16353783 A JP16353783 A JP 16353783A JP S6053998 A JPS6053998 A JP S6053998A
- Authority
- JP
- Japan
- Prior art keywords
- phoneme
- similarity
- speech
- standard pattern
- speech recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。(57) [Summary] This bulletin contains application data before electronic filing, so abstract data is not recorded.
Description
【発明の詳細な説明】
産業上の利用分野
本発明は人間の声によって発声された音声信号を自動的
に認識するための、音声認識装置に関するものである。DETAILED DESCRIPTION OF THE INVENTION Field of the Invention The present invention relates to a speech recognition device for automatically recognizing speech signals uttered by a human voice.
従来例の構成とその問題点
音声を自動的に認識する音声認識装置は人間から電子計
算機や各種機械へデータや命令を与える手段として非常
に有効と考えられる。Conventional configurations and their problems A speech recognition device that automatically recognizes speech is considered to be very effective as a means for providing data and commands from humans to computers and various machines.
従来研究あるいは発表されている音声認識装置の動作原
理としてはバタンマツチング法が多く採用されている。The slam matching method is often adopted as the operating principle of speech recognition devices that have been researched or published in the past.
この方法は認識される必要がある全種類の単語に対して
標準パターンをあらかじめ記憶しておき、入力される未
知の入力バタンと比較することによって一致の度合(以
下類似度と呼ぶ)を計算し、最大一致が得られる標準バ
タンと同一の単語であると判定するものでおる・このバ
タンマツチング法では認識されるべき全ての単語に対し
て標準バタンを用意しなければならないため、発声者が
変った場合には新しく標準バタンを入力して記憶させる
必要がある。したがって数百種類以上の単語を認識対象
とするような場合、全種類の単語を発声して登録するに
は時間と労力を必要とし、また登録に要するメモリー容
量も膨大になることが予想される。さらに入力バタンと
標準バタンのバタンマツチングに要する時間も単語数が
多くなると長くなってしまう欠点がある。In this method, standard patterns are memorized in advance for all types of words that need to be recognized, and the degree of matching (hereinafter referred to as similarity) is calculated by comparing them with the unknown input button. , it is determined that the word is the same as the standard baton that yields the maximum match.In this batan matching method, a standard baton must be prepared for every word to be recognized, so the speaker If the button changes, it is necessary to input a new standard button and memorize it. Therefore, if more than several hundred types of words are to be recognized, it will take time and effort to pronounce and register all types of words, and it is expected that the memory capacity required for registration will be enormous. . Furthermore, there is a drawback that the time required for matching the input button and the standard button increases as the number of words increases.
これに対して、入力音声を音素単位に分けて音素の組合
せとして認識しく以下音素認識と呼ぶ)音素単位で表記
された単語辞書との類似度をめる方法は単語辞書に要す
るメモリー容量が大幅に少なくて済み、バタンマツチン
グに要する時間が短く、辞書の内容変更も容易であると
いう特長を持っている、例えば「赤い」という発声は/
a/。On the other hand, the method of dividing input speech into phoneme units and recognizing them as combinations of phonemes (hereinafter referred to as phoneme recognition) and measuring the similarity with a word dictionary written in phoneme units requires a large amount of memory capacity for the word dictionary. For example, the utterance of ``red'' is /
a/.
/に/ 、 /i/という三つの音素を組合せてAKA
Iという極めて簡単な形式で表現することができるため
、不特定話者で多数語の音声に対処することが容易であ
る。AKA by combining the three phonemes /ni/ and /i/
Since it can be expressed in the extremely simple format I, it is easy for unspecified speakers to handle speech with many words.
第1図に音素認識を行うことを特徴とする音声認識方式
のブロック図を示す。マイク等で入力された音声は音響
分析部1によって分析を行なう。FIG. 1 shows a block diagram of a speech recognition system characterized by performing phoneme recognition. Audio input through a microphone or the like is analyzed by an acoustic analysis section 1.
分析方法としては帯域フィルタ群や線形予測分析を用い
、フレーム周期(1oms程度)毎にスペクトル情報を
得る。音素判別部2では、音響分析部1で得たスペクト
ル情報を用い、標準パターン格納部3のデータによって
フレーム毎の音素判別を行なう。標準パターン格納部3
に格納された標準パターンは、あらかじめ多数話者の音
声よシ音素毎にめておく。セグメンテーション部4では
音響分析部1の分析出力をもとに音声区間の検出と音素
毎の境界決定(以下セグメンテーションと呼ぶ)を行う
。音素認識部5ではセグメンテーション部4と音素判別
部2の結果をもとに1つの音素区間毎に何という音素で
あるかを決定する作業を行なう。この結果として音素の
系列が完成する。As the analysis method, a group of bandpass filters and linear predictive analysis are used to obtain spectrum information for each frame period (about 1 ms). The phoneme discrimination unit 2 uses the spectrum information obtained by the acoustic analysis unit 1 to discriminate phonemes for each frame based on the data in the standard pattern storage unit 3. Standard pattern storage section 3
The standard patterns stored in are prepared in advance for each phoneme of the voices of many speakers. The segmentation unit 4 detects speech sections and determines boundaries for each phoneme (hereinafter referred to as segmentation) based on the analysis output of the acoustic analysis unit 1. The phoneme recognition section 5 performs a task of determining what phoneme is for each phoneme section based on the results of the segmentation section 4 and the phoneme discrimination section 2. As a result, a series of phonemes is completed.
単語認識部6では、この音素系列を同様に音素系列で表
記された単語辞書7と照合し、最も類似度の高い単語を
認識結果として出力する。The word recognition unit 6 compares this phoneme sequence with a word dictionary 7 similarly written in phoneme sequences, and outputs the word with the highest degree of similarity as a recognition result.
前記方法で不特定話者を対象とする場合に最も重要な点
は、高い音声認識精度を、どういう話者環境に対しても
安定して得ることである。また、そのために話者に負担
をかけすぎたり音声認識装置にした場合に高価な部分を
要するようであってはならない。The most important point when using the above method to target unspecified speakers is to stably obtain high speech recognition accuracy for any speaker environment. Furthermore, this should not place too much burden on the speaker or require expensive components in the speech recognition device.
しかし従来発表または試作されている音声認識装置は前
記条件が不十分であるという欠点があった・
従来例として、予測残差を対象とする方式(鹿野、好用
[会話音声中の母音認識を目的としたLPG距離尺度の
評価]電子通信学会誌80/6゜V OL J −63
fl 、 A 5参照)テは、あらかじめ多数話者の音
声よ多線形予測分析によって音素iの最大パラメータム
1j(j=’ + 2 +・・・・・・+ p )(p
は分析次数)をめておき、予測残差を次式ここでSjは
未知な入力音声からめた自己相関係数である。この予測
残差Niを、対象とする音素毎にめこれを距離尺度とし
て、Niが最少となる音素を判別結果とする。However, the speech recognition devices that have been announced or prototyped so far have had the drawback of not meeting the above conditions. As a conventional example, a method that targets prediction residuals (Kano, 2003, preferred [used for vowel recognition in conversational speech) Evaluation of targeted LPG distance scale] Journal of the Institute of Electronics and Communication Engineers 80/6°V OL J-63
fl, A5) Te calculates the maximum parameter 1j (j=' + 2 +...+ p ) (p
is the analysis order), and the prediction residual is expressed as follows: where Sj is an autocorrelation coefficient calculated from unknown input speech. This prediction residual Ni is used as a distance measure for each target phoneme, and the phoneme with the minimum Ni is taken as the discrimination result.
しかしこの方法は音素の標準バタンに相当する最大パラ
メータムijが単なる平均値であるため、たとえ使用者
にあわせてムijを作シ直すという学習機能を設けたと
しても、調音結合による発声の変動に対処することがで
きず、認識率が低いという欠点があった・
発明の目的
本発明は前記欠点を解消し、不特定話者に対処できると
ともに話者、環境、言葉のちがいに影響されることなく
安定に高い音声認識精度を得ることのできる音声認識装
置を提供することを目的とする。However, in this method, the maximum parameter ``mu'', which corresponds to the standard slam of a phoneme, is simply an average value, so even if a learning function is provided to re-create the ``mu'' to suit the user, variations in pronunciation due to articulatory combination may occur. The present invention solves the above-mentioned drawbacks and is capable of dealing with unspecified speakers, as well as being able to deal with differences in speakers, environments, and language. An object of the present invention is to provide a speech recognition device that can stably obtain high speech recognition accuracy without any problems.
発明の構成
本発明は上記目的番達成するためになされたもので、音
素毎に区切られた音声信号からスペクトルまたはそれに
類似する情報(以下スペクトル情報と記す)を算出する
音響分析部と、多数話者からなる標準音声信号から得ら
れた標準パターンを予め格納する係数記憶部と、前記ス
ペクトル情報と標準パターンとを用いて音素毎のフィル
タ出力をめる判別フィルタ部と、類似度または音素系列
で表記された単語辞書を格納する単語辞書記憶部と、前
記判別フィルタ部を経て作成された類似度または音素系
列を単語辞書と照合し最も類似度の高い単語を認識結果
として出力する出力部と、前記出力部の結果と前記音響
分析部のスペクトル情報とから新しい標準パターンを作
成しその結果に基づき前記係数記憶部の内容を書き替え
る学習部とを具備するものである。Structure of the Invention The present invention has been made to achieve the above-mentioned objective number, and includes an acoustic analysis section that calculates a spectrum or information similar to it (hereinafter referred to as spectral information) from an audio signal divided into each phoneme, and a coefficient storage unit that stores in advance a standard pattern obtained from a standard speech signal consisting of a person; a discrimination filter unit that uses the spectral information and the standard pattern to obtain a filter output for each phoneme; a word dictionary storage unit that stores a written word dictionary; an output unit that compares the degree of similarity or phoneme sequence created through the discrimination filter unit with the word dictionary and outputs the word with the highest degree of similarity as a recognition result; The apparatus includes a learning section that creates a new standard pattern from the result of the output section and the spectrum information of the acoustic analysis section, and rewrites the contents of the coefficient storage section based on the result.
実施例の説明
第2図に本発明の音声認識装置の構成の一実施例を示す
。マイク31から入った音声信号はAD変換器21で、
12 KHzサンプリングで12ビツトに変換する。こ
れを信号処理回路でブリエンファシスおよび20 ms
のハミング窓をかけ、10m5毎に線形予測分析プロセ
ッサ23にてLPCケプヌトラム係数を算出する。この
LPGケプヌトラム係数を判別フィルタ24に通し、各
音素に対するフィルタ出力をフレーム毎に算出し、メイ
ンメモリ27に転送する。係数メモリ25は各音素毎の
フィルタ係数を格納している。DESCRIPTION OF EMBODIMENTS FIG. 2 shows an embodiment of the configuration of a speech recognition apparatus according to the present invention. The audio signal received from the microphone 31 is sent to the AD converter 21.
Convert to 12 bits with 12 KHz sampling. This is then processed using a signal processing circuit to perform pre-emphasis and 20 ms
A Hamming window is applied, and the linear predictive analysis processor 23 calculates the LPC cepnutrum coefficient every 10 m5. This LPG kepnutrum coefficient is passed through a discrimination filter 24, and the filter output for each phoneme is calculated for each frame and transferred to the main memory 27. The coefficient memory 25 stores filter coefficients for each phoneme.
一方、帯域フィルタ26では3チャネル程度の帯域パワ
ーおよび全パワーを算出し、音素のセグメンテーション
用のデータとしてメインメモリ27に転送する。メイン
プロセッサ28では判別、フィルタ24および帯域フィ
ルタ26の結果を用いて音声区間の検出と音素毎のセグ
メンテーションを行った後、判別フィルタ24の音素毎
の判別フィルタ出力から類似度の最も高い音素を区間毎
に決定し、音素系列を作成する。この音素系列を同様に
音素系列で表記された単語辞書メモリ29と照合するこ
とによって最も類似度の大きい単語名を認識結果として
出力部3oに出力する。On the other hand, the bandpass filter 26 calculates band powers and total powers of about three channels, and transfers them to the main memory 27 as data for phoneme segmentation. The main processor 28 uses the results of the discrimination, the filter 24 and the bandpass filter 26 to detect speech intervals and perform segmentation for each phoneme, and then selects the phoneme with the highest degree of similarity from the output of the discrimination filter for each phoneme of the discrimination filter 24. each time, and create a phoneme sequence. By comparing this phoneme sequence with the word dictionary memory 29 which is also written in a phoneme sequence, the word name with the highest degree of similarity is outputted to the output unit 3o as a recognition result.
しかし、これだけでは不特定話者に対して使用は可能で
あるが、標準パターンに相当する係数メモリ25が固定
されるため、話者による認識性能のバラツキが大きく、
認識率がかなり低くなってしまう場合が生ずる。そこで
、新しく学習機能をもたせるために学習部32を設ける
。この学習部32は線形予測分析プロセッサ23で得た
LPGケプストラム係数を受け、出力部30から得た結
果を参照に学習データを作成し、あらかじめめておいた
分散、共分散行列をもとにその話者に最もふされしい音
素毎の判別係数を計算し直し、係数メモリ25に転送す
るための動作を行う。However, although this alone can be used for unspecified speakers, since the coefficient memory 25 corresponding to the standard pattern is fixed, the recognition performance varies greatly depending on the speaker.
There are cases where the recognition rate becomes considerably low. Therefore, a learning section 32 is provided to provide a new learning function. This learning section 32 receives the LPG cepstral coefficients obtained by the linear predictive analysis processor 23, creates learning data with reference to the results obtained from the output section 30, and creates learning data based on the variance and covariance matrix prepared in advance. An operation is performed to recalculate the discrimination coefficient for each phoneme that is most suitable for the speaker and transfer it to the coefficient memory 25.
次に本発明に係る音素認識装置の動作について第2図を
参照にしながら詳しく説明する。Next, the operation of the phoneme recognition device according to the present invention will be explained in detail with reference to FIG.
あらかじめマイク31から入力された多数話者の発声し
た多数の単語音声から五り変換器21を介して母音/a
/ +10/ 、/u/ 、/i/ 、/e/と鼻音(
/N/で表わす)の切出しを行っておく。The vowel /a is converted from a large number of word sounds uttered by multiple speakers inputted in advance from the microphone 31 through the five-word converter 21.
/ +10/ , /u/ , /i/ , /e/ and nasal sounds (
/N/) is cut out.
この音声データを用いて信号処理回路22および線形予
測分析プロセッサ23により10 msの分析区間毎に
線形予測分析を行い、p次元のLPGケプストラム係数
を算出する。このLPCケプヌトラム係数を用いて全音
素を対象とした共分散行列Wと、各音素毎の平均値mi
(Lは音素の種類を表わす)をめる。この結果よシ、音
素iに対する判別係数aij (1−112、・・・・
・・、p)は共分散行列Wの逆行列1゛の(jsj’)
要素をδjj′とすると、
で表わすことができる。Using this audio data, the signal processing circuit 22 and linear predictive analysis processor 23 perform linear predictive analysis for each 10 ms analysis interval to calculate p-dimensional LPG cepstral coefficients. Using this LPC kepnutrum coefficient, we can calculate the covariance matrix W for all phonemes and the average value mi for each phoneme.
(L represents the type of phoneme). As a result, the discrimination coefficient aij (1-112,...
..., p) is the inverse matrix 1゛ of the covariance matrix W (jsj')
Letting the element be δjj′, it can be expressed as follows.
各音素毎にalj、 mi1’ 、alj 、 mi’
W ’ mi (Vt。alj, mi1', alj, mi' for each phoneme
W' mi (Vt.
述)をめ標準パターンとして係数メモリ26に格納して
おく。) is stored in the coefficient memory 26 as a standard pattern.
次に使用者に内容のあらかじめわかっている音声(たと
えば/ a 、’ + / 1 / + / u /
1 / e / H/ o / )を発声させ、音声区
間中の分析区間毎のLPOケプヌトラム係数を線形予測
分析プロセッサ23でめ、学習部32に転送する。一方
予め格納されている係数メモリ26の標準パターンを用
いて、判別フィルタ24で類似度をめる。判別フィルタ
24では入力信号のLPCケプストラム係数係数対する
マ・・ラノビス距離D?は
(先は転置行列を示す)
で表わすことができるが、第1項は音素iに対して不変
であるため、類似度Liを簡易的にで表わし、(4)式
を用いて類似度を計算する。その結果をメインメモリ2
7に転送し、メインプロセッサ28を通して音素系列を
作成する。次に、学習すべき音素の時間軸上の位置を示
す値を出力部30より学習部32にもどし、学習すべき
音素のLPGケプストラム係数の平均値をめる。以上を
音声の種類を変えながら必要な回数くシ返す。Next, a voice whose content is known in advance to the user (for example / a , ' + / 1 / + / u /
1/e/H/o/) is uttered, and the LPO cepnutrum coefficients for each analysis section in the speech section are calculated by the linear prediction analysis processor 23 and transferred to the learning section 32. On the other hand, the degree of similarity is determined by the discrimination filter 24 using the standard pattern stored in the coefficient memory 26 that is stored in advance. The discrimination filter 24 determines the ma...lanobis distance D? with respect to the LPC cepstral coefficients of the input signal. can be expressed as (the first term indicates the transposed matrix), but since the first term is invariant for the phoneme i, the similarity Li can be expressed simply as , and the similarity can be expressed using equation (4). calculate. The result is stored in main memory 2.
7 and creates a phoneme sequence through the main processor 28. Next, a value indicating the position of the phoneme to be learned on the time axis is returned from the output unit 30 to the learning unit 32, and the average value of the LPG cepstral coefficients of the phoneme to be learned is calculated. Repeat the above as many times as necessary while changing the type of voice.
各音素毎の平均値に適度な重み付けをしたものを学習し
ない場合のもとの平均値(mi j’ )に加え、新し
い音素毎の平均値を作成し係数メモリ25の平均値mi
1’を置き換える。さらにこの平均値を使用して判別
係数aijおよび(4)式の定数項(第2項)を音素ご
とに修正し、これらを新しい標準パターンとして係数メ
モリ26に転送し、標準パターンの書替えを行う。In addition to the original average value (mi j' ) without learning, which is obtained by appropriately weighting the average value for each phoneme, create a new average value for each phoneme and use the average value mi in the coefficient memory 25.
Replace 1'. Furthermore, using this average value, the discriminant coefficient aij and the constant term (second term) of equation (4) are corrected for each phoneme, and these are transferred to the coefficient memory 26 as a new standard pattern, and the standard pattern is rewritten. .
次に実際に音声認識を行う場合について説明する。マイ
ク10から入力された未知な音声信号について、信号処
理回路22および線形予測分析プロセッサ23を使用し
てLPGケプヌトラム係数”(”+y”2+・・・・・
・+ Xp )をめ、判別フィルタ24に転送し、予め
めて係数メ″モリ25に収納しである標準パターンを用
いて(4)式よシ音素iの類似度Liをめる。Next, a case in which speech recognition is actually performed will be explained. Regarding the unknown audio signal input from the microphone 10, the signal processing circuit 22 and the linear predictive analysis processor 23 are used to calculate the LPG cepnutrum coefficient "("+y"2+...
・+
これを音素毎(1= I H2+・・・・・・、n)(
nは音素数)にめ、メインメモリ27に転送する。This is done for each phoneme (1 = I H2+..., n) (
n is the number of phonemes) and transferred to the main memory 27.
メインプロセッサ28ではこの類似度と帯域フィルタ2
6の出力をもとにセグメンテーションを行った結果とを
組合わせることにより音素認識を行い音素系列を作成す
る。The main processor 28 uses this similarity and the band filter 2
By combining the results of segmentation based on the output of step 6, phoneme recognition is performed and a phoneme sequence is created.
最後に音素系列を単語辞書メモリ29と照合し、最も類
似度の高い単語を認識結果として出力部30に転送する
。Finally, the phoneme sequence is compared with the word dictionary memory 29, and the word with the highest degree of similarity is transferred to the output unit 30 as a recognition result.
上記実施例は音声認識を行う前に、内容の予めわかって
いる音声を入力し、その結果に基づいて係数メモリ26
内の標準パターンの修正を行う場合について述べたが、
音声認識の途中に未知音声の認識結果に基づいて係数メ
モリ26内の標準パターンの修正を行っても良いことは
もちろんである。In the above embodiment, before performing voice recognition, a voice whose content is known in advance is input, and based on the result, the coefficient memory 26
I mentioned the case of modifying the standard pattern in
Of course, the standard pattern in the coefficient memory 26 may be modified based on the recognition result of unknown speech during speech recognition.
この場合には内容のわかっている音声を予め学習しなく
ても良く、環境の変化、入力者の音声の変化等に対して
自動的に追随することができる。In this case, there is no need to learn speech whose contents are known in advance, and it is possible to automatically follow changes in the environment, changes in the input person's voice, etc.
このように、本実施例は音素認識を基本とする音声認識
装置において、各音素の標準パタンをあらかじめ簡単な
学習によって使用者に合うように作成する学習機能を持
つことを特徴とし、高い音声認識性能を持たせることが
できる。また、学習のための計算は極めて簡単であり、
特別な高い演算精度を持つ計算回路を要することなく、
すぐに新しい標準パタンを作成することができる。As described above, this embodiment is a speech recognition device based on phoneme recognition, and is characterized by having a learning function that creates a standard pattern for each phoneme to suit the user through simple learning in advance, and is capable of achieving high speech recognition. performance can be achieved. Also, the calculations for learning are extremely simple,
without requiring a calculation circuit with special high calculation accuracy.
New standard patterns can be created immediately.
第3図は成人男子10人を対象として、学習のない場合
と行った場合の音素認識率の比較を行ったものである。Figure 3 shows a comparison of phoneme recognition rates between 10 adult males with and without learning.
学習は評価用の全単語で行った場合34と、20語程度
の少数語で行った場合36を示した。いずれも、学習の
ない場合33に比して音素認識率は向上し、特に従来極
端に認識率の低かった話者(NS、KS、SMなど)に
対して大きな効果のあることを示している。The results were 34 when learning was performed using all words for evaluation and 36 when learning was performed using a small number of words of about 20 words. In both cases, the phoneme recognition rate improved compared to the case without learning33, indicating that it was particularly effective for speakers (NS, KS, SM, etc.) who had traditionally had extremely low recognition rates. .
第4図は音素毎の認識率の標準偏差を示したもので、学
習のない場合41に比して学習を全単語で行った場合4
2、少数語で行った場合43ともにバラツキが減少し、
後段の単語マツチングに好ましい効果を与えることを示
している。Figure 4 shows the standard deviation of the recognition rate for each phoneme, and shows the standard deviation of the recognition rate for each phoneme, which is 41 when learning is performed on all words compared to 41 without learning.
2. When performing with minority words, the variation in both 43 is reduced,
This shows that it has a favorable effect on word matching in the later stage.
本実施例は以下に示すような効果を有する。This embodiment has the following effects.
■ 音声認識装置に学習機能を持たせることによシ、使
用者に適合した標準パタンを自動作成し、環境の変化や
話者の個人差によるバラツキの少ない良好な音声認識精
度を持たせることができる。■ By equipping a speech recognition device with a learning function, it is possible to automatically create a standard pattern suitable for the user and achieve good speech recognition accuracy with less variation due to changes in the environment or individual differences between speakers. can.
■ 学習は使用前あるいは使用途中に、少数の音声を発
声することによって自動的に行うことができ、標準パタ
ンの作成も特別な装置を要することなく極めて簡単、高
速に行うことができる。■Learning can be performed automatically by uttering a small number of sounds before or during use, and standard patterns can be created extremely easily and quickly without the need for special equipment.
発明の効果
以上要するに本発明は音素毎に区切られた音声信号から
スペクトルまたはそれに類似する情報(以下スペクトル
情報と記す)を算出する音響分析部と、多数話者からな
る標準音声信号から得られた標準パターンを予め格納す
る係数記憶部と、前記スペクトル情報と標準パターンと
を用いて音素毎のフィルタ出力をめる判別フィルタ部と
、類似度または音素系列で表記された単語辞書を格納す
る単語辞書記憶部と、前記判別フィルタ部を経て作成さ
れた類似度または音素系列を単語辞書と照合し最も類似
度の高い単語を認識結果として出力する出力部と、前記
出力部の結果と前記音響分析部のスペクトル情報とから
新しい標準パターンを作成しその結果に基づき前記係数
記憶部の内容を書き替える学習部とを具備することを特
徴とする音声認識装置を提供するもので、話者による音
声認識精度のバラツキを大幅に改善し、不特定話者に対
して安定して使うことができる利点を有する。Effects of the Invention In short, the present invention includes an acoustic analysis section that calculates a spectrum or information similar to it (hereinafter referred to as spectral information) from an audio signal divided into each phoneme, and an acoustic analysis unit that calculates a spectrum or information similar to it (hereinafter referred to as spectral information) from an audio signal divided into each phoneme, and an acoustic analysis unit that calculates a spectrum or information similar to it (hereinafter referred to as spectral information). a coefficient storage unit that stores a standard pattern in advance; a discrimination filter unit that uses the spectrum information and the standard pattern to obtain a filter output for each phoneme; and a word dictionary that stores a word dictionary expressed in terms of similarity or phoneme sequence. a storage unit, an output unit that compares the degree of similarity or phoneme sequence created through the discrimination filter unit with a word dictionary and outputs a word with the highest degree of similarity as a recognition result, and a result of the output unit and the acoustic analysis unit. and a learning section that creates a new standard pattern from spectral information and rewrites the contents of the coefficient storage section based on the result, the speech recognition device improves speech recognition accuracy by a speaker. This method has the advantage that it can be used stably for unspecified speakers.
第1図は音素認識を基本とする従来の音声認識装置のブ
ロック図、第2図は本発明の一実施例における音声認識
装置のブロック図、第3図は本発明の音声認識装置の効
果を話者毎に示した図、第4図は本発明の音声認識装置
の効果を音素毎の標準偏差として表わした図である。
21・・・・・・AD変換器、22・・・・・・信号処
理回路、23・・・・・・線形予測分析プロセッサ、2
4・旧・・4’lJ別フイルタ、25・・・・・・係数
メモリ、27・・・・・メインメモリ、28・・・・・
・メインプロセッサ、29・・・・・単語辞書メモリ、
30・・・・・・出力部、32・旧・・学習部。
代理人の氏名 弁理士 中 尾 敏 男 ほか1名第4
図
手続補正書
特許庁長官殿
■事件の表示
昭和58年特許願第163537号
3補正をする者
事件との関係 特 許 出 願 人
任 所 大阪府門真市大字門真1006番地名 称 (
582)松下電器産業株式会社代表者 山 下 俊 彦
4代理人 〒571
住 所 大阪府門真市大字門真1006番地松下電器産
業株式会社内
明 細 書
1、発明の名称
音声認識装置
2、特許請求の範囲
(1)音声信号からスペクトルまたはそれに類似する情
報(以下スペクトル情報と記す)を算出する音響分析部
と、多数話者からなる標準音声信号から得られた標準パ
ターンを予め格納する係数記憶部と、前記スペクトル情
報と標準パターンとを用いて音素毎の類似度をめる類似
度計算部と、類似度または音素系列で表記された単語辞
書を格納する単語辞書記憶部と、前記類似度計算部を経
て作成された類似度または音素系列を単語辞書と照合し
最も類似度の高い単語を認識結果として出方する出力部
と、前記出力部の結果と前記音響分析部のスペクトル情
報とから新しい標準パターンを作成しその結果に基づき
前記係数記憶部の内容を書き替える学習部とを具備する
ことを特徴とする音声認識装置。
(功 標準パターンとしてスペクトル情報の分散共分散
行列および平均値を少なくとも含むことを特徴とする特
許請求の範囲第1項記載の音声認識装置。
(′4 人力音声の認識結果に基づいて係数記憶部の内
容を修正するようにしたことを特徴とする特許請求の範
囲第1項記載の音声認識装置。
3、発明の詳細な説明
産業上の利用分野
本発明は人間の声によって発声された音声信号を自動的
に認識するだめの、音声認識装置に関するものである。
従来例の構成とその問題点
音声を自動的に認識する音声認識装置は人間から電子計
算機や各種機械へデータや命令を与える手段として非常
に有効と考えられる。
従来研究あるいは発表されている音声認識装置の動作原
理としてはバタンマツチング法が多く採用されている。
この方法は認識される必要がある全種類の単語に対して
標準パターンをあらかじめ記憶しておき、入力される未
知の入力バタンと比較することによって一致の度合(以
下類似度と呼ぶ)を計算し、最大一致が得られる標準バ
タンと同一の単語であると判定するものである。このバ
タンマツチング法では認識されるべき全ての単語に対し
て標準バタンを用意しなければならないため、発声者が
変った場合には新しく標準バタンを人力して記憶させる
必要がある。したがって数百種類以上の単語を認識対象
とするような場合、全種類の単語を発声して登録するに
は時間と労力を必要とし、また登録に要するメモリー容
量も膨大になる仁とが予想される。さらに入力バタンと
標準パタンのバタンマツチングに要する時間も単語数が
多くなると長くなってしまう欠点がある。
これに対して、入力音声を音素単位に分けて音素の組合
せとして認識しく以下音素認識と呼ぶ)音素単位で表記
された単語辞書との類似度をめる方法は単語辞書に要す
るメモリー容量が大幅に少なくて済み、バタンマツチン
グに要する時間が短く、辞書の内容変更も容易であると
いう特長を持っている。例えば「赤い」という発声は/
a/。
/に/+/li という三つの音素を組合せてAKAI
という極めて簡単な形式で表現することができるため、
不特定話者で多数語の音声に対処することが容易である
。
第1図に音素認識を行うことを特徴とする音声認識方式
のブロック図を示す。マイク等で入力された音声は音響
分析部1によって分析を行なう。
分析方法としては帯域フィルタ群や線形予測分析を用い
、フレーム周期(10mS程度)毎にスペクトル情報を
得る。音素判別部2では、音響分析部1で得たスペクト
ル情報を用い、標準パターン格納部3のデータによって
フレーム毎の音素判別を行なう。標準パターン格納部3
に格納された標準パターンは、あらかじめ多数話者の音
声より音素毎にめておく。セグメンテーション部4では
音響分析部1の分析出力をもとに音声区間の検出と音素
毎の境界決定(以下セグメンテーションと呼ぶ)を行う
。音素認識部6ではセグメンテーション部4と音素判別
部2の結果をもとに1つの音素区間毎に何という音素で
あるかを決定する作業を行なう。この結果として音素の
系列が完成する。
単語認識部6では、この音素系列を面様に音素系列で表
記された単語辞書7と照合し、最も類似度の高い単語を
認識結果として出力する。
前記方法で不特定話者を対象とする場合に最も重要な点
は、高い音声認識精度を、どういう話者環境に対しても
安定して得ることである。また、そのために話者に負担
をかけすぎたり音声認識装置にした場合に高価な部分を
要するようであってはならない。
しかし従来発表または試作されている音声認識装置は前
記条件が不十分であるという欠点があった。
従来例として、予測残差を対象とする方式(鹿野、好用
「会話音声中の母音認識を目的としたLPG距離尺度の
評価」電子通信学会誌80 / 5 。
VOL T−63D 、爲6参照)では、あらかじめ多
数話者の音声より線形予測分析によって音素iの最大パ
ラメータAm r ()−1t 2 t・・・・・・、
P)(Pは分析次数)をめておき、予測残差を次式ここ
でSj は未知な入力音声からめた自己相関係数である
。この予測残差Ni を、対象とする音素毎にめこれを
距離尺度として、Ni が最少となる音素を判別結果と
する。
しかしこの方法は音素の標準パタンに相当する最大パラ
メータAi5が単なる平均値であるため、たとえ使用者
にあわせてA、を作り直すという学習機能を設けたとし
ても、調音結合による発声の変動に対処することができ
ず、認識率が低いという欠点があった。
発明の目的
本発明は前記欠点を解消し、不特定話者に対処できると
ともに話者、環境、言葉のちがいに影響されることなく
安定に高い音声認識精度を得ることのできる音声認識装
置を提供することを目的とする。
発明の構成
本発明は上記目的を達成するためになされたもので、音
声信号からスペクトルまたはそれに類似する情報(以下
スペクトル情報と記す)を算出する音響分析部と、多数
話者からなる標準音声信号から得られた標準パターンを
予め格納する係数記憶部と、前記スペクトル情報と標準
パターンとを用いて音素毎の類似度をめる類似度計算部
と、類似度または音素系列で表記された単語辞書を格納
する単語辞書記憶部と、前記類似度計算部を経て作成さ
れた類似度または音素系列を単語辞書と照合し最も類似
度の高い単語を認識結果として出力する出力部と、前記
出力部の結果と前記音響分析部のスペクトル情報とから
新しい標準パターンを作成しその結果に基づき前記係数
記憶部の内容を書き替える学習部とを具備するものであ
る。
実施例の説明
第2図に本発明の音声認識装置の構成の一実施例を示す
。マイク31から入った音声信号はAD変換器21で、
12曲サンプリングで12ビツトに変換する。これを信
号処理回路でプリエンファシスおよび2Qm3のハミン
グ窓をかけ、10mS毎に線形予測分析プロセッサ23
にてLPCケプストラム係数を算出する。このLPCケ
プストラム係数を類似度計算部24に通し、各音素に対
する類似度をフレーム毎に算出し、メインメモリ27に
転送する。係数メモリ26は各音素毎のフィルタ係数を
格納している。
一方、帯域フィルタ26では3チャネル程度の帯域パワ
ーおよび全パワーを算出し、音素のセグメンテーション
用のデータとしてメインメモリ27に転送する。メイン
プロセッサ28では類似度計算部24および帯域フィル
タ26の結果を用いて音声区間の検出と音素毎のセグメ
ンテーションを行った後、類似度計算部24の音素毎の
類似度から類似度の最も高い音素を区間毎に決定し、音
素系列を作成する。この音素系列を同様に音素系列で表
記された単語辞書メモリ29と照合することによって最
も類似度の大きい単語名を認識結果として出力部3oに
出力する。
しかし、これだけでは不特定話者に対して使用は可能で
あるが、標準パターンに相幽する係数メモリ26が固定
されるため、話者による認識性能のバラツキが大きく、
認識率がかなり低くなってしまう場合が生ずる。そこで
、新しく学習機能をもたせるために学習部32を設ける
。この学習部32は線形予測分析プロセッサ23で得た
LPCケプストラム係数を受け、出力部3oから得た結
果を参照に学習データを作成し、あらかじめめておいた
分散、共分散行列をもとにその話者に最もふされしい音
素毎の判別係数を計算し直し、係数メモ!725に転送
するための動作を行う。
次に本発明に係る音素認識装置の動作について第2図を
参照にしながら詳しく説明する。
あらかじめマイク31から入力された多数話者の発声し
た多数の単語音声からAD変換器21を介して母音/a
/、10/、/u/、/V、/e/と鼻音の切出しを行
っておく。この音声データを用いて信号処理回路22お
よび線形予測分析プロセッサ23により10m5の分析
区間毎に線形予測分析を行い、p次元のLPCケブヌト
ラム係数を算出する。仁のLPGケプストラム係数を用
いて全音素を対象とした共分散行列Wと、各音素毎の平
均値tnt (iは音素の種類を表わす)をめる。この
結果より、音素1に対する判別係数aij(j=1.2
.・・・・・・tp)は共分散行列Wの逆行列W−1の
(i 、 j’)要素を6月とすると、で表わすことが
できる。
各音素毎にai 5 、m、 、’、δ目、m1tW−
’m、(抜道)をめ標準パターンとして係数メモリ25
に格納しておく。
次に使用者に内容のあらがじめわがっている音声(たと
えば/a/、/V、/u/、/@/、10/ )を発声
させ、音声区間中の分析区間毎のLPCケプストラム係
数を線形予測分析プロセッサ23でめ、学習部32に転
送する。一方予め格納されている係数メモリ26の標準
パターンを用いて、判別フィルタ24で類似度をめる。
類似度計算部24では入力信号のLPCケプストラム係
数Xに対するマハラノビス距離り、 ハ
(tは転置行列を示す)
で表わすことができるが、第1項は音素の種類に依存し
5ないため、類似度Li を簡易的にで表わし、(4式
を用いて類似度を計算する0その結果をメインメモリ2
7に転送し、メインプロセッサ28を通して音素系列を
作成する。次に、学習すべき音素の時間軸上の位置を示
す値を出力部3oより学習部32にもどし、学習すべき
音素のLPCケプストラム係数の平均値をめる。以上を
音声の種類を変えながら必要な回数くり返す。
各音素毎の平均値に適度な重み付けをしたものを学習し
ない場合のもとの平均値(m、′)に加え、新しい音素
毎の平均値を作成し係数メモリ26の平均値m157番
置き換える。さらにこの平均値を使用して判別係数ai
lおよび(4式の定数項(第2項)を音素ごとに修正し
、仁れらを新しい標準パターンとして係数メモリ25に
転送し、標準パターンの書替えを行う。
次に実際に音声認識を行う場合について説明する。マイ
ク10から入力された未知な音声信号について、信号処
理回路22および線形予測分析プロセッサ23を使用し
てLPCケプストラム係数x(xl、x2.・・・・・
・t Xp )をめ、類似度計算部24に転送し、予め
めて係数メモリ25に収納しである標準パターンを用い
て(4式より音素lの類似度り、をめる。
これを音素毎(l=1,2.・・・・・・、n)(nは
音素数)にめ、メインメモリ27に転送する。
メインプロセッサ28ではこの類似度と帯域フィルタ2
6の出力をもとにセグメンテーションを行った結果とを
組合わせることに占り音素認識を行い音素系列を作成す
る。
最後に音素系列を単語辞書メモリ29と照合し、最も類
似度の高い単語を認識結果として出力部30に転送する
。
上記実施例は音声認識を行う前に、内容の予めわかって
いる音声を入力し、その結果に基づいて係数メモリ25
内の標準パターンの修正を行う場合について述べたが、
音声認識の途中に音声の認識結果に基づいて係数メモリ
25内の標準パターンの修正を行っても良いことはもち
ろんである。
この場合には内容のわがっている音声を予め学習しなく
ても良く、環境の変化、入力者の音声の変化等に対して
自動的に追随することができる。
このように、本実施例は音素認識を基本とする音声認識
装置において、各音素の標準パタンをあらかじめ簡単な
学習によって使用者に合うように作成する学習機能を持
つことを特徴とし、高い音声認識性能を持たせることが
できる。また、学習のための計算は極めて簡単であり、
特別な高い演算精度を持つ計算回路を要することなく、
すぐに新しい標準バタンを作成することができる。
第3図は成人男子10人を対象として、学習のない場合
と行った場合の音素認識率の比較を行ったものである。
学習は評価用の全単語で行った場合34と、20語程度
の少数語で行った場合36を示した。いずれも、学習の
ない場合33に比して音素認識率は向上し、特に従来極
端に認識率の低かった話者(NS 、KS 、 SMな
ど)に対して大きな効果のあることを示している。
第4図は音素毎の認識率の標準偏差を示したもので、学
習のない場合41に比して学習を全単語で行った場合4
2、少数語で行った場合43ともにバラツキが減少し、
後段の単語マツチングの性能を向上させる効果を与える
ことを示している。
本実施例は以下に示すような効果を有する。
■ 音声認識装置に学習機能を持たせることにより、使
用者に適合した標準バタンを自動作成し、環境の変化や
話者の個人差によるバラツキの少ない良好な音声認識精
度を持たせることができる。
■ 学習は使用前あるいは使用途中に、少数の音声を発
声することによって自動的に行うことができ、標準パタ
ンの作成も特別な装置を要することなく極めて簡単、高
速に行うことができる。
発明の効果
以上要するに本発明は音声信号からスペクトルる標準音
声信号から得られた標準パターンを予め格納する係数記
憶部と、前記スペクトル情報と標準パターンとを用いて
音素毎の類似度をめる類似度計算部と、類似度または音
素系列で表記された単語辞書を格納する単語辞書記憶部
と、前記類似度計算部を経て作成された類似度または音
素系列を単語辞書と照合し最も類似度の高い単語を認識
結果として出力する出力部と、前記出力部の結果と前記
音響分析部のスペクトル情報とから新しい標準パターン
を作成しその結果に基づき前記係数記憶部の内容を書き
替える学習部とを具備することを特徴とする音声認識装
置を提供するもので、話者による音声認識精度のバラツ
キを大幅に改善し、不特定話者に対して安定して使うこ
とができる利点を有する。
4、図面の簡単な説明
第1図は音素認識を基本とする従来の音声認識装置のブ
ロック図、第2図は本発明の一実施例における音声認識
装置のブロック図、第3図は本発明の音声認識装置の効
果を話者毎に示した図、第4図は本発明の音声認識装置
の効果を音素毎の標準偏差として表わした図である。
21・・・・・・AD変換器、22・・・・・・信号処
理回路、23・・・・・・線形予測分析プロセッサ、2
4・・・・・・類似度計算部、26・・・・・・係数メ
モリ、27・・・・・メインメモリ、28・パ・・・メ
インプロセッサ、29・・・・・・単語辞書メモリ、3
0曲・・出方部、32・・・・・・学習部。
代理人の氏名 弁理士 中 尾 敏 男 はが1名第2
図
第乎図Fig. 1 is a block diagram of a conventional speech recognition device based on phoneme recognition, Fig. 2 is a block diagram of a speech recognition device according to an embodiment of the present invention, and Fig. 3 shows the effects of the speech recognition device of the present invention. FIG. 4 is a diagram showing the effect of the speech recognition device of the present invention as a standard deviation for each phoneme. 21...AD converter, 22...signal processing circuit, 23...linear predictive analysis processor, 2
4. Old... 4'lJ separate filter, 25... Coefficient memory, 27... Main memory, 28...
・Main processor, 29...Word dictionary memory,
30... Output section, 32. Old... Learning section. Name of agent: Patent attorney Toshio Nakao and 1 other person No. 4
Letter of amendment to figure procedure Dear Commissioner of the Japan Patent Office ■ Display of the case 1982 Patent Application No. 163537 3 Person making the amendment Relationship with the case Patent application Person Address 1006 Kadoma, Kadoma City, Osaka Name Name (
582) Matsushita Electric Industrial Co., Ltd. Representative Toshihiko Yamashita 4 Agent 571 Address 1006 Oaza Kadoma, Kadoma City, Osaka Prefecture Matsushita Electric Industrial Co., Ltd. Specification 1, Name of the invention Voice recognition device 2, Patent claim Scope (1) An acoustic analysis unit that calculates a spectrum or information similar to it (hereinafter referred to as spectral information) from an audio signal, and a coefficient storage unit that stores in advance a standard pattern obtained from a standard audio signal composed of multiple speakers. , a similarity calculation unit that calculates the similarity of each phoneme using the spectral information and the standard pattern; a word dictionary storage unit that stores a word dictionary expressed in similarities or phoneme sequences; and the similarity calculation unit. an output unit that compares the similarity or phoneme sequence created through the process with a word dictionary and outputs the word with the highest degree of similarity as a recognition result; and a new standard from the results of the output unit and the spectrum information of the acoustic analysis unit. A speech recognition device comprising: a learning section that creates a pattern and rewrites the contents of the coefficient storage section based on the result. ('4) The speech recognition device according to claim 1, characterized in that the standard pattern includes at least a variance-covariance matrix and an average value of spectral information. The speech recognition device according to claim 1, characterized in that the content of the speech recognition device is modified. 3. Detailed Description of the Invention Industrial Field of Application The present invention is directed to a speech signal uttered by a human voice This article relates to a speech recognition device that automatically recognizes speech.The structure of conventional examples and their problemsSpeech recognition devices that automatically recognize speech are a means of giving data and commands from humans to electronic computers and various machines. It is considered to be very effective as a method of speech recognition.The operating principle of many speech recognition devices that have been researched or published in the past is the slam matching method.This method can be used for all types of words that need to be recognized. The standard pattern is memorized in advance, and the degree of matching (hereinafter referred to as similarity) is calculated by comparing it with the unknown input button, and it is determined that the word is the same as the standard button that provides the maximum match. In this method of matching, a standard button must be prepared for every word to be recognized, so if the speaker changes, it is necessary to manually memorize a new standard button. Therefore, when there are hundreds of types of words to be recognized, it takes time and effort to pronounce and register all types of words, and the memory capacity required for registration is enormous. Furthermore, the time required to match the input sound with the standard pattern increases as the number of words increases.On the other hand, it is difficult to divide the input speech into phoneme units and recognize them as combinations of phonemes. This method (hereinafter referred to as phoneme recognition) that measures the similarity with a word dictionary written in phoneme units requires significantly less memory capacity for the word dictionary, shortens the time required for bang matching, and allows the contents of the dictionary to be changed easily. It has the feature of being easy.For example, the utterance of "red" is /
a/. AKAI is created by combining the three phonemes /ni/+/li.
Since it can be expressed in an extremely simple form,
It is easy to handle speech with multiple words by any speaker. FIG. 1 shows a block diagram of a speech recognition system characterized by performing phoneme recognition. Audio input through a microphone or the like is analyzed by an acoustic analysis section 1. As an analysis method, a group of bandpass filters and linear predictive analysis are used to obtain spectrum information at every frame period (about 10 mS). The phoneme discrimination unit 2 uses the spectrum information obtained by the acoustic analysis unit 1 to discriminate phonemes for each frame based on the data in the standard pattern storage unit 3. Standard pattern storage section 3
The standard patterns stored in are prepared in advance for each phoneme from the voices of many speakers. The segmentation unit 4 detects speech sections and determines boundaries for each phoneme (hereinafter referred to as segmentation) based on the analysis output of the acoustic analysis unit 1. The phoneme recognition section 6 performs the work of determining what phoneme is for each phoneme section based on the results of the segmentation section 4 and the phoneme discrimination section 2. As a result, a series of phonemes is completed. The word recognition unit 6 compares this phoneme sequence with a word dictionary 7 written in phoneme sequences in a regular manner, and outputs the word with the highest degree of similarity as a recognition result. The most important point when using the above method to target unspecified speakers is to stably obtain high speech recognition accuracy for any speaker environment. Furthermore, this should not place too much burden on the speaker or require expensive components in the speech recognition device. However, speech recognition devices that have been announced or prototyped so far have had the drawback of not meeting the above conditions. As a conventional example, a method that targets prediction residuals (see Kano, ``Evaluation of LPG distance scale for vowel recognition in conversational speech'', Journal of the Institute of Electronics and Communication Engineers 80/5. VOL T-63D, 爲6) ), the maximum parameter of phoneme i is determined in advance by linear predictive analysis from the voices of multiple speakers Am r ()-1t 2 t...
P) (P is the analysis order), and the prediction residual is calculated using the following equation, where Sj is an autocorrelation coefficient calculated from unknown input speech. This prediction residual Ni is used as a distance measure for each target phoneme, and the phoneme with the minimum Ni is determined as the discrimination result. However, in this method, the maximum parameter Ai5, which corresponds to the standard pattern of phonemes, is just an average value, so even if a learning function is provided to recreate A to suit the user, it will not be possible to deal with variations in pronunciation due to articulatory combination. However, the problem was that the recognition rate was low. OBJECTS OF THE INVENTION The present invention solves the above-mentioned drawbacks, and provides a speech recognition device that can deal with unspecified speakers and stably obtain high speech recognition accuracy without being affected by differences in speakers, environments, and language. The purpose is to Structure of the Invention The present invention has been made to achieve the above object, and includes an acoustic analysis section that calculates a spectrum or information similar to it (hereinafter referred to as spectrum information) from an audio signal, and a standard audio signal composed of multiple speakers. a coefficient storage unit that stores in advance the standard pattern obtained from the above, a similarity calculation unit that calculates the similarity of each phoneme using the spectral information and the standard pattern, and a word dictionary in which the similarity or phoneme sequence is expressed. an output unit that compares the similarity or phoneme sequence created through the similarity calculation unit with a word dictionary and outputs the word with the highest degree of similarity as a recognition result; The apparatus includes a learning section that creates a new standard pattern from the result and spectrum information from the acoustic analysis section and rewrites the contents of the coefficient storage section based on the result. DESCRIPTION OF EMBODIMENTS FIG. 2 shows an embodiment of the configuration of a speech recognition apparatus according to the present invention. The audio signal received from the microphone 31 is sent to the AD converter 21.
12 songs are sampled and converted to 12 bit. A signal processing circuit applies pre-emphasis and a Hamming window of 2Qm3 to this signal, and a linear predictive analysis processor 23 processes it every 10 mS.
Calculate the LPC cepstral coefficients. The LPC cepstral coefficients are passed through the similarity calculation unit 24 to calculate the similarity for each phoneme for each frame and transferred to the main memory 27. Coefficient memory 26 stores filter coefficients for each phoneme. On the other hand, the bandpass filter 26 calculates band powers and total powers of about three channels, and transfers them to the main memory 27 as data for phoneme segmentation. The main processor 28 uses the results of the similarity calculation unit 24 and the bandpass filter 26 to detect speech intervals and perform segmentation for each phoneme, and then selects the phoneme with the highest degree of similarity from the similarity of each phoneme in the similarity calculation unit 24. is determined for each section and a phoneme sequence is created. By comparing this phoneme sequence with the word dictionary memory 29 which is also written in a phoneme sequence, the word name with the highest degree of similarity is outputted to the output unit 3o as a recognition result. However, although this alone can be used for unspecified speakers, since the coefficient memory 26 that corresponds to the standard pattern is fixed, the recognition performance varies greatly depending on the speaker.
There are cases where the recognition rate becomes considerably low. Therefore, a learning section 32 is provided to provide a new learning function. This learning section 32 receives the LPC cepstral coefficients obtained by the linear predictive analysis processor 23, creates learning data with reference to the results obtained from the output section 3o, and creates learning data based on the variance and covariance matrix prepared in advance. Recalculate the discriminant coefficient for each phoneme that is most suitable for the speaker and memo the coefficient! 725. Next, the operation of the phoneme recognition device according to the present invention will be explained in detail with reference to FIG. The vowel /a is converted from the many word sounds uttered by many speakers inputted in advance from the microphone 31 through the AD converter 21.
The nasal sounds /, 10/, /u/, /V, /e/ are cut out in advance. Using this audio data, the signal processing circuit 22 and the linear predictive analysis processor 23 perform linear predictive analysis for each analysis section of 10 m5 to calculate p-dimensional LPC Keb Nutram coefficients. A covariance matrix W for all phonemes and an average value tnt (i represents the type of phoneme) for each phoneme are calculated using Jin's LPG cepstral coefficients. From this result, the discrimination coefficient aij (j=1.2
.. . . . tp) can be expressed as follows, assuming that the (i, j') element of the inverse matrix W-1 of the covariance matrix W is June. For each phoneme, ai 5, m, ,', δth, m1tW-
'm, (Nukimichi) as standard pattern coefficient memory 25
Store it in Next, have the user utter a voice whose content is somewhat distorted (e.g. /a/, /V, /u/, /@/, 10/), and create an LPC cepstrum for each analysis interval in the voice interval. The coefficients are calculated by the linear prediction analysis processor 23 and transferred to the learning section 32. On the other hand, the degree of similarity is determined by the discrimination filter 24 using the standard pattern stored in the coefficient memory 26 that is stored in advance. The similarity calculation unit 24 can express the Mahalanobis distance with respect to the LPC cepstral coefficient Li is simply expressed as 0, and the similarity is calculated using equation 4.0, and the result is stored in the main memory 2.
7 and creates a phoneme sequence through the main processor 28. Next, a value indicating the position of the phoneme to be learned on the time axis is returned from the output unit 3o to the learning unit 32, and the average value of the LPC cepstral coefficients of the phoneme to be learned is calculated. Repeat the above as many times as necessary while changing the type of voice. In addition to the original average value (m,') in the case of not learning, which is obtained by appropriately weighting the average value for each phoneme, a new average value for each phoneme is created and the average value m157 is replaced in the coefficient memory 26. Furthermore, using this average value, the discrimination coefficient ai
The constant term (second term) of equations l and (4) is corrected for each phoneme, and Nire et al. is transferred to the coefficient memory 25 as a new standard pattern, and the standard pattern is rewritten.Next, speech recognition is actually performed. A case will be described. For an unknown audio signal input from the microphone 10, the signal processing circuit 22 and the linear predictive analysis processor 23 are used to calculate the LPC cepstral coefficients x(xl, x2...
・t every (l = 1, 2..., n) (n is the number of phonemes) and transfers it to the main memory 27.The main processor 28 uses this similarity and the band filter 2.
By combining the results of segmentation based on the output of step 6, fortune-telling phoneme recognition is performed and a phoneme sequence is created. Finally, the phoneme sequence is compared with the word dictionary memory 29, and the word with the highest degree of similarity is transferred to the output unit 30 as a recognition result. In the above embodiment, before performing voice recognition, a voice whose content is known in advance is input, and based on the result, the coefficient memory 25
I mentioned the case of modifying the standard pattern in
Of course, the standard pattern in the coefficient memory 25 may be modified based on the speech recognition result during speech recognition. In this case, there is no need to previously learn speech with strange content, and it is possible to automatically follow changes in the environment, changes in the input person's speech, etc. As described above, this embodiment is a speech recognition device based on phoneme recognition, and is characterized by having a learning function that creates a standard pattern for each phoneme to suit the user through simple learning in advance, and is capable of achieving high speech recognition. performance can be achieved. Also, the calculations for learning are extremely simple,
without requiring a calculation circuit with special high calculation accuracy.
You can quickly create new standard batons. Figure 3 shows a comparison of phoneme recognition rates between 10 adult males with and without learning. The results were 34 when learning was performed using all words for evaluation and 36 when learning was performed using a small number of words of about 20 words. In both cases, the phoneme recognition rate improved compared to the case without learning33, indicating that it is particularly effective for speakers who previously had extremely low recognition rates (NS, KS, SM, etc.). . Figure 4 shows the standard deviation of the recognition rate for each phoneme, and shows the standard deviation of the recognition rate for each phoneme, which is 41 when learning is performed on all words compared to 41 without learning.
2. When performing with minority words, the variation in both 43 is reduced,
This shows that it has the effect of improving the performance of word matching in the subsequent stage. This embodiment has the following effects. - By equipping the speech recognition device with a learning function, it is possible to automatically create standard batons suited to the user and achieve good speech recognition accuracy with little variation due to changes in the environment or individual differences among speakers. ■Learning can be performed automatically by uttering a small number of sounds before or during use, and standard patterns can be created extremely easily and quickly without the need for special equipment. Effects of the Invention In short, the present invention includes a coefficient storage section that stores in advance a standard pattern obtained from a standard speech signal that is a spectrum of a speech signal, and a coefficient storage section that stores in advance a standard pattern obtained from a standard speech signal that is a spectrum of a speech signal, and a coefficient storage section that measures the similarity of each phoneme using the spectral information and the standard pattern. a word dictionary storage unit that stores a word dictionary expressed in similarities or phoneme sequences; and a word dictionary storage unit that stores a word dictionary expressed in similarities or phoneme sequences, and compares the similarity or phoneme sequence created through the similarity calculation unit with the word dictionary to find the most an output unit that outputs high-value words as recognition results; and a learning unit that creates a new standard pattern from the results of the output unit and the spectrum information of the acoustic analysis unit and rewrites the contents of the coefficient storage unit based on the results. The present invention provides a speech recognition device having the following features, which has the advantage of greatly reducing variations in speech recognition accuracy between speakers and being able to be used stably for unspecified speakers. 4. Brief description of the drawings Fig. 1 is a block diagram of a conventional speech recognition device based on phoneme recognition, Fig. 2 is a block diagram of a speech recognition device according to an embodiment of the present invention, and Fig. 3 is a block diagram of a speech recognition device according to an embodiment of the present invention. FIG. 4 is a diagram showing the effectiveness of the speech recognition device of the present invention for each speaker, and FIG. 4 is a diagram showing the effectiveness of the speech recognition device of the present invention as a standard deviation for each phoneme. 21...AD converter, 22...signal processing circuit, 23...linear predictive analysis processor, 2
4...Similarity calculating unit, 26...Coefficient memory, 27...Main memory, 28...Main processor, 29...Word dictionary memory ,3
0 songs...How to play part, 32...Learning part. Name of agent: Patent attorney Toshio Nakao, 1st person, 2nd person
Diagram No.
Claims (1)
はそれに類似する情報(以下スペクトル情報と記す)を
算出する音響分析部と、多数話者からなる標準音声信号
から得られた標準パターンを予め格納する係数記憶部と
、前記スペクトル情報と標準パターンとを用いて音素毎
のフィルタ出力をめる判別フィルタ部と、類似度または
音素系列で表記された単語辞書を格納する単語辞書記憶
部と、前記判別フィルタ部を経て作成された類似度また
は音素系列を単語辞書と照合し最も類似度の高い単語を
認識結果として出力する出力部と、前記出力部の結果と
前記音響分析部のスペクトル情報とから新しい標準パタ
ーンを作成しその結果に基づき前記係数記憶部の内容を
書き替える学習部とを具備することを特徴とする音声認
識装置。 (噂 標準パターンとしてスペクトル情報の分散共分散
行列および平均値を少なくとも含むことを特徴とする特
許請求の範囲第1項記載の音声認識装置。 (3)未知入力音声の認識結果に基づいて係数記憶部の
内容を修正するようにしたことを特徴とする特許請求の
範囲第1項記載の音声認識装置。[Scope of Claims] (1) An acoustic analysis unit that calculates a spectrum or information similar to it (hereinafter referred to as spectrum information) from a speech signal divided into phonemes, and a coefficient storage section that stores in advance a standard pattern based on the spectral information; a discrimination filter section that uses the spectral information and the standard pattern to obtain a filter output for each phoneme; and a word dictionary that stores a word dictionary expressed in terms of similarity or phoneme sequence. a dictionary storage unit, an output unit that compares the degree of similarity or phoneme sequence created through the discrimination filter unit with a word dictionary and outputs a word with the highest degree of similarity as a recognition result, and a result of the output unit and the acoustic analysis. 1. A speech recognition device comprising: a learning section that creates a new standard pattern from spectrum information of the coefficient storage section and rewrites the contents of the coefficient storage section based on the result. (Rumor) The speech recognition device according to claim 1, characterized in that the standard pattern includes at least a variance-covariance matrix and an average value of spectral information. (3) Coefficient storage based on the recognition result of unknown input speech. 2. The speech recognition device according to claim 1, wherein the content of the part is modified.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP58163537A JPS6053998A (en) | 1983-09-05 | 1983-09-05 | Voice recognition equipment |
US07/441,225 US5131043A (en) | 1983-09-05 | 1989-11-20 | Method of and apparatus for speech recognition wherein decisions are made based on phonemes |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP58163537A JPS6053998A (en) | 1983-09-05 | 1983-09-05 | Voice recognition equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JPS6053998A true JPS6053998A (en) | 1985-03-28 |
JPH042197B2 JPH042197B2 (en) | 1992-01-16 |
Family
ID=15775762
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP58163537A Granted JPS6053998A (en) | 1983-09-05 | 1983-09-05 | Voice recognition equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPS6053998A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6067996A (en) * | 1983-09-22 | 1985-04-18 | 松下電器産業株式会社 | Voice recognition |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS53114601A (en) * | 1977-03-17 | 1978-10-06 | Fujitsu Ltd | Voice recognition system |
JPS5681899A (en) * | 1979-12-07 | 1981-07-04 | Sanyo Electric Co | Voice indentifier |
JPS58123598A (en) * | 1982-01-19 | 1983-07-22 | 松下電器産業株式会社 | Voice recognition equipment |
-
1983
- 1983-09-05 JP JP58163537A patent/JPS6053998A/en active Granted
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS53114601A (en) * | 1977-03-17 | 1978-10-06 | Fujitsu Ltd | Voice recognition system |
JPS5681899A (en) * | 1979-12-07 | 1981-07-04 | Sanyo Electric Co | Voice indentifier |
JPS58123598A (en) * | 1982-01-19 | 1983-07-22 | 松下電器産業株式会社 | Voice recognition equipment |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6067996A (en) * | 1983-09-22 | 1985-04-18 | 松下電器産業株式会社 | Voice recognition |
JPH0344320B2 (en) * | 1983-09-22 | 1991-07-05 | Matsushita Electric Ind Co Ltd |
Also Published As
Publication number | Publication date |
---|---|
JPH042197B2 (en) | 1992-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Muhammad et al. | E-hafiz: Intelligent system to help muslims in recitation and memorization of Quran | |
JP6437581B2 (en) | Speaker-adaptive speech recognition | |
JPH02195400A (en) | Speech recognition device | |
Muhammad et al. | Voice content matching system for quran readers | |
JP2001166789A (en) | Method and device for voice recognition of chinese using phoneme similarity vector at beginning or end | |
Shariah et al. | Human computer interaction using isolated-words speech recognition technology | |
Nivetha | A survey on speech feature extraction and classification techniques | |
Devi et al. | Automatic speech emotion and speaker recognition based on hybrid gmm and ffbnn | |
Syfullah et al. | Efficient vector code-book generation using K-means and Linde-Buzo-Gray (LBG) algorithm for Bengali voice recognition | |
Dharun et al. | Voice and speech recognition for tamil words and numerals | |
Omar et al. | Feature fusion techniques based training MLP for speaker identification system | |
JP5315976B2 (en) | Speech recognition apparatus, speech recognition method, and program | |
JPS6053998A (en) | Voice recognition equipment | |
Sharma et al. | Speech recognition of Punjabi numerals using synergic HMM and DTW approach | |
Lingam | Speaker based language independent isolated speech recognition system | |
JP4236502B2 (en) | Voice recognition device | |
Kanke et al. | Enhanced Marathi Speech Recognition Using Double Delta MFCC and DTW | |
Nair et al. | A Study on Automatic Speech Recognition | |
Yogapriya et al. | Speech Based Access for Agricultural Commodity Prices in Tamil | |
Kokkinidis et al. | Finding the optimum training solution for Byzantine music recognition—A Max/Msp approach | |
Ozaydin | An isolated word speaker recognition system | |
Huque et al. | Analysis of a small vocabulary Bangla speech database for recognition | |
JPH07210197A (en) | Method of identifying speaker | |
JP2862306B2 (en) | Voice recognition device | |
Tolba et al. | Comparative experiments to evaluate the use of auditory-based acoustic distinctive features and formant cues for automatic speech recognition using a multi-stream paradigm |