JPH045398B2

JPH045398B2 -

Info

Publication number: JPH045398B2
Application number: JP59021056A
Authority: JP
Priority date: 1984-02-07
Filing date: 1984-02-07
Publication date: 1992-01-31
Also published as: JPS60164799A

Description

【発明の詳細な説明】産業上の利用分野本発明は、音節を予め登録しておき、連続発声
して入力された単語または文節を、単語辞書を用
いて認識する音声認識装置に関する。

従来例の構成とその問題点人間にとつて最も自然な情報発生手段である音
声が、人間−機械系の入力手段として使用できれ
ば、その効果は非常に大きい。

従来、音声認識装置としては特定話者登録方式
によるものが実用化されている。即ち、認識装置
を使用しようとする話者が、予め、認識すべきす
べての単語を自分の声で特徴ベクトルの系列に変
換し単語辞書に標準パターンとして登録してお
き、認識時に発声された音声を、同様に特徴ベク
トルの系列に変換し、前記単語辞書中のどの単語
に最も近いかを予め定められた規則によつて計算
し、最も類似している単語を認識結果とするもの
である。

ところが、この方法によると、認識単語数が少
いときは良いが、数百、数千単語といつたように
増加してくると、主として次の三つの問題が無視
し得なくなる。

(1) 登録時における話者の負担が著しく増大す
る。

(2) 認識時に発声された音声と標準パターンとの
類似度あるいは距離を計算するのに要する時間
が著しく増大し、認識装置の応答速度が遅くな
る。

(3) 前記単語辞書のために要するメモリが非常に
大きくなる。

以上の欠点を回避するための方法として認識の
単位を子音＋母音および母音の単音節（以後それ
ぞれCV、Ｖで表す。Ｃは子音、Ｖは母音を意味
する。）とする方法がある。即ち、標準パターン
として単音節を特徴ベクトルの系列として登録し
ておき、認識時に特徴ベクトルの系列に変換され
た入力音声を、前記単音節の標準パターンとマツ
チングすることにより、単音節の系列に変換する
ものである。日本語の場合、単音節はたかだか
101種類であり、単音節は仮名文字に対応してい
るから、この方法によれば、日本語の任意の単語
あるいは文章を単音節列に変換する（認識する）
ことができ、前記(1)〜(3)の問題はすべて解決され
ることになる。しかし、この場合の問題として調
音結合とセグメンテーシヨンがある。調音結合
は、音節を連続して発声すると各音節は前後の音
節の影響を受け、スペクトル構造が前後に接続さ
れる音節によつて変化する現象である。セグメン
テーシヨンは、連続して発声された音声を単音節
単位に区切ることであるが、これを確実に行う決
定的な方法は未だ見出されていない。この２つの
問題を解決するために、現在のところ各単音節を
区切つて、発声することが行われており、実用化
されている装置もある。

しかし、単音節を離散的に発声するのは不自然
であり、話者に緊張を強いるものである。

発明の目的本発明は、認識されるべき単語または文節に対
し、それらの数が多い場合でも小形低価格かつ標
準パターンの登録操作が簡単であつて、認識精度
および処理速度の向上が可能な音声認識装置を実
現することを目的とする。

発明の構成本発明はＶ、CV、VV、VCV等の音節を予め
登録しておき、これらを連続発声して入力された
単語または文節を、単語辞書を用いて、これら音
節列として認識するものであつて、その構成は、
入力音声信号を特徴ベクトルの系列に変換する特
徴抽出手段と、特徴ベクトルの系列中のスペクト
ルの変化の少ない定常部分の母音認識を行い母音
定常点を抽出する母音定常点検出手段と、これら
母音定常点の種々の組合せに関して選ばれた入力
パターンの部分パターンと、先行母音、後続母音
が前記選ばれた入力パターンの部分パターンの開
始、終了フレームにそれぞれ等しい母音である
VCV（Ｖは母音、Ｃは子音）、後続母音が前記選
ばれた入力パターンの部分パターンの終了フレー
ムに等しい母音であるCV、Ｖ等のそれぞれの音
節に対応する標準パターンとのマツチングを行つ
て距離（または類似度）を計算するための音節マ
ツチング手段と、認識されるべき各単語または文
節がそれぞれ音節記号列で記憶されている単語辞
書と、この単語辞書によつて指定される音節名の
系列に対応するように前記入力パターンの部分パ
ターンを重複区間がなく連続するように最適に定
めることにより、その各部分パターンとその部分
パターンの前記音節名に対し、前記音節マツチン
グ手段により得られている距離（または類似度）
の総和を最小（または最大）となし、得られる最
小値（または最大値）を各単語または文節に対す
る入力パターンの距離（または類似度）として出
力する単語マツチング手段と、この単語マツチン
グ手段によつて各単語または文節に対して計算さ
れる距離（または類似度）が最小（または最大）
となる単語または文節を判定して認識結果として
出力する判定手段とから構成される。

実施例の説明以後、「単語」という言葉は「文節」という言
葉も代表するものとする。また、「類似度」は
「距離」で代表して説明する。即ち、距離が小さ
いとは類似度が大きいということである。

第１図は本発明の実施例である。１は音声信号
入力端子、２は特徴抽出手段としての特徴抽出部
であつて、例えば20チヤネルのフイルタバンクを
用い、１フレームを10ｍsecとすれば、その出力
には10ｍsec毎に20個の数値（特徴ベクトル）が
得られる。即ち入力音声信号は特徴ベクトルの系
列Ａ＝a₁a₂…a_Iに変換される。a_iは第ｉフレーム
で得られる特徴ベクトル、Ｉは入力音声のフレー
ム数である。３は電力計算部であつて、第ｉフレ
ームの電力をP_iとすれば、フレーム毎にP_i√_i1 ²
＋a_i2 ²＋…＋a_i〓²が計算される。ここに、a_i＝（a_i1、
a_i2、…、a_i〓）である。４は音声区間検出部であ
つて、このP_iの変化パターンから入力音声信号の
始終端を検出する。即ち、無音、有音を判別する
閾値を定め、この閾値以上の区間が予め定めた一
定期間以上続いたとき、この閾値を越えた時点を
音声の開始時点とし、この閾値以下の期間が予め
定めたある一定期間以上続いたとき、この閾値以
下となつた時点を無音の終端とする等の方法が可
能である。５は母音標準パターン記憶部であつ
て、各母音の定常部のスペクトルを予め記憶して
おくものである。６はバツフアメモリで、入力音
声信号を音声区間検出部４によつて検出される始
端から終端まで一時的に記憶するものである。７
は定常点検出部で、バツフアメモリ６の内容を読
み出し、定常点を検出するものである。定常点の
検出は、例えば、各フレームに対して前後数フレ
ームのスペクトルの分散を計算し、これが最小と
なるフレームとして検出できる。即ち、第１フレ
ームにおけるこの分散をσ_i ²とすると入力パター
ンＡ＝a₁a₂…a_i…a_I、a_i＝（a_i1、a_i2、…、a_i〓）に
対し、 σ_i ²＝〓〓ⁱ⁼¹ _i+N 〓^k=i=N （a_ik−_i）² _i＝１／2N＋１_i+N 〓^k=i=N a_ik として与えられる。８は母音パターン比較部であ
つて、定常点検出部７で前記の如く検出された定
常点（フレーム）を母音中心フレームと見做して
母音認識を行う。即ち、前記定常点の特徴ベクト
ルと前記母音標準パターン記憶部５の各母音に対
応する特徴ベクトルとの距離を計算するものであ
る。９は母音判定部であつて、前記母音パターン
比較部８の出力のうち、最小値を与える前記母音
を前記定常フレームの母音認識結果とするもので
ある。以上で母音認識を行い母音定常点を求める
母音定常点検出手段を構成している。１０は母
音・促音判定結果記憶部であつて、母音判定部９
で得られた母音系列、音声区間検出部４で検出さ
れた無音区間から促音と判定される部分を記憶す
るものである。促音の検出は、前記定義に基づく
無音期間の時間長によつて判定される。例えば、
この期間が100ｍsec〜250ｍsecを促音とする等で
ある。１１は音節標準パターン記憶部であつて、
Ｖ、CV、VV、VCV等の音節に対する特徴ベク
トルの系列を、CVについては語頭から母音定常
部までＶについては語頭から定常部までのものＶ
と、定常部から語尾までのものV′、VV、VCV
については先行母音の定常部から後続母音の定常
部まで標準パターンとして予め話者が発声し登録
しておく。音節標準パターン記憶部１１とともに
音節マツチング手段を構成し、定常点検出部７で
検出された第ｍ定常点と第ｐ定常点（ｐ＞ｍ）の
ｍ、ｐに関する種々の組合せに対し、第ｍ定常点
からＰ定常点までの対応する入力パターンをバツ
フアメモリ６から読み出した入力パターンの部分
パターンＡ（ｍ、ｐ）と、定常点ｍ、ｐのそれぞ
れの母音認識結果を母音・促音判定結果記憶部１
０から読み出し、定常点ｍに対して認識された母
音を先行母音、定常点ｐに対して認識された母音
を後続母音とする前記音節標準パターン記憶部１
１に記憶されている各音節標準パターンとのマツ
チングを行うものである。マツチングは周知の
DPマツチングで行うことが可能である。即ち、
入力パターンの第ｍ定常点の母音をｖ（ｍ）、先行
母音がｘ、後続母音がｙ、子音がｃの標準パター
ンをＢ（ｘ、ｃ、ｙ）（ｘ＝０、ｃ≠０はCV音節
に、ｘ＝ｃ＝０は無音直後のＶ音節に、ｃ＝ｙ＝
０は無音直前のＶ音節に（V′で表す）、ｃ＝０は
VV音節に対応するものとする）で表わすとき、
前記部分パターンＡ（ｍ、ｐ）と標準パターンBⁿ
＝Ｂ（ｖ（ｍ）、ｃ、ｖ（ｐ））との距離gⁿ（Ｒ、Sⁿ）
は次の漸化式を解くことによつて求まる。ｎは先
行母音ｖ（ｍ）、後続母音ｖ（ｐ）、子音ｃの標準パ
ターンの音節番号である。

gⁿ（ｒ、ｓ）＝mingⁿ（ｒ−２、ｓ−１）＋dⁿ（
ｒ−１、ｓ）＋dⁿ（ｒ、ｓ） gⁿ（ｒ−１、ｓ−１）＋dⁿ（ｒ、ｓ） gⁿ（ｒ−１、ｓ−２）＋dⁿ（ｒ、ｓ）初期値gⁿ（１、１）＝dⁿ（１、１）ここで、ｒは部分パターンＡ（ｍ、ｐ）の開始
フレームを１として数えた部分パターンＡ（ｍ、
ｐ）のフレーム番号、ｓは標準パターンBⁿの開
始フレームから数えたフレーム番号、Ｒは部分パ
ターンＡ（ｍ、ｐ）のフレーム数、Sⁿは標準パタ
ーンBⁿのフレーム数、dⁿ（ｒ、ｓ）は部分パター
ンＡ（ｍ、ｐ）の第ｒフレームと標準パターンBⁿ
の第ｓフレームとの距離であつて、ユークリツド
距離、市街地距離等周知のものが用いられる。部
分パターンＡ（ｍ、ｐ）と標準パターンBⁿの距離
は従つてgⁿ（Ｒ、Sⁿ）となる。これをDⁿ（ｍ：ｐ）
と置く。即ち、Dⁿ（ｍ：ｐ）は、入力パターンの
第ｍ番の定常点から第ｐ番の定常点までの部分パ
ターンＡ（ｍ、ｐ）と、先行母音が入力パターン
の第ｍ番の定常点の母音認識結果ｖ（ｍ）で、後
続母音が入力パターンの第ｐ番の定常点の母音認
識結果ｖ（ｐ）で、両者に挾まれる子音がｃであ
るVCV音節標準パターンとの距離である。１３
は距離記憶部であつて、音節パターン比較部１２
で、ｍ、ｐ、ｃの種々の組合せに対して得られた
距離Dⁿ（ｍ：ｐ）のそれぞれを記憶する。１４は
単語辞書であつて、認識すべき単語がそれぞれ音
節記号列の形で記憶されている。１５は単語間距
離計算部であつて、距離記憶部１３、単語辞書１
４とともに単語マツチング手段を構成し、単語辞
書１４の各単語に対し、前記距離記憶部１３を参
照して、その単語によつて指定される音節列に対
応するように前記入力パターンの部分パターンを
重複区間がなく連続するように最適に定めること
により、その各部分パターンとその部分パターン
の前記音節名に対し、前記距離記憶部１３に記憶
されている距離の総和を最小となし、得られる最
小値を各単語に対する入力パターンの距離として
算出する。すなわち、単語辞書１４内の単語と最
終的なマツチングを行う段階で入力パターンの最
適性を求めている。この計算は動的計画法により
容易に実行することができる。以下にその詳細を
述べる。

第ｌ番の単語をW^lとし、単語W^lを構成する音
節数がX_lであるとする。また、促音も一つの音節
とする。例えば「オオサカ」という単語は｜ｏ｜
｜oo｜｜osa｜｜aka｜のように４つの音節から
成るからX_l＝４であり、「サツポロ」という単語
は｜sa｜｜・｜｜po｜｜oro｜のようになるから
X_l＝４である（｜・｜は促音を意味する）。いま、
入力パターンを単語W^lとマツチングする場合を
考える。単語W^lによつて指定される音節名の第
ｘ番までの系列に対応するように部分パターンＡ
（ｍ、ｐ）を入力パターンの第ｋ定常点まで重複
区間がなく連続するように最適に定めることによ
り、その各部分パターンとその部分パターンの前
記音節名に対し、前記距離記憶部１３に記憶され
ている距離の総和を最小となしたときの最小値を
D^l _x(k)とすれば、動的計画法の原理により次式が
成立する。

D^l _x(k)＝min ｍ〔D^l _x-1（ｍ）＋Dⁿ（ｍ：ｋ）〕 ……(1) ただし、１ｘｋ、ｘ＝１のときｍ＝Ｏ、ｘ
≠１のときｘ−１ｍｋ−１、D^l _p（ｏ）＝Ｏで
ある。また、ｎは単語W^lの第ｘ音節を表す番号
であつて、単語W^lの第ｘ番の音節の先行母音をv_f
（ｌ、ｘ）、後続母音をv_r（ｌ、ｘ）とするとき、
ｖ（ｍ）≠v_f（ｌ、ｘ）、ｖ(k)≠v_r（ｌ、ｘ）、前記
第ｘ番の音節が促音であつて、入力音声の第ｍ、
第ｋ定常点の間に促音がない、前記第ｘ番の音節
が促音でなく、入力音声の第ｍ、第ｋ定常の間に
促音がある、の何れかが成立するときはDⁿ（ｍ：
ｋ）＝∽であるとする。また、前記第ｘ番の音節
が促音であつて、入力音声の第ｍ、第ｋ定常点の
間にも促音が検出されるときは、Dⁿ（ｍ：ｋ）は
この促音の直後から第ｋ定常点までの入力パター
ンと、第ｎ音節標準パターンとの距離と、第ｍ定
常点から促音までの入力パターンと母音Ｖ
（ｍ）′との距離の和であり、第ｎ音節がVCVま
たはVVまたはV′のときはDⁿ（ｍ：ｋ）＝∽であ
る。また、入力パターンの母音定常部として検出
された箇所の総数をＫとするとき、入力パターン
の最終フレームを第Ｋ＋１の定常点とみなして
Dⁿ（ｍ：Ｋ＋１）＝D^u(m)′（ｍ：ｋ＋１）とする。第
２図は単語間距離計算部１５の詳細を示す図であ
る。破線内部が単語間距離計算部１５であつて、
第１図と番号を同じくするブロツクは第１図のも
のと同じである。１５０はｌカウンタであつて、
ｌ＝１、２、…、Ｌを出力し、単語辞書１４に対
し、単語W^lを指定するもので、認識動作を始め
る前にリセツトされる。１５２はｘカウンタであ
つて、ｘ＝１、２、…、X_lを出力し、単語W^lを
構成する音節系列の音節を指定する。１５１はｋ
カウンタであつて、ｋ＝１、２、…、Ｋ＋１を出
力し、入力パターンの第ｋ定常点を指示するもの
である。１５３はｍカウンタであつて、ｍ＝ｘ−
１、…、ｋ−１を出力し、入力パターンの第ｍ定
常点を指示するものである。１５０〜１５３のカ
ウンタは認識動作を始める前にリセツトされ、ｌ
＝１、ｋ＝１、ｘ＝１、ｍ＝０から計数を開始す
る。ｍカウンタ１５３はｋ−１まで計数するとキ
ヤリー信号を出力し、ｘカウンタ１５２は１つカ
ウントアツプする。ｘ＞ｋのときはｍ＝ｋ−１を
保つたままキヤリー信号を出力する。ｘカウンタ
１５２は、X_lまで計数するとキヤリー信号を出
し、ｋカウンタ１５１は１つカウントアツプす
る。Ｋは入力パターンの定常点の総数であつて、
定常点検出部７から読み出され、ｋカウンタ１５
１はＫ＋１までカウントアツプするとキヤリー信
号を出し、ｌカウンタ１５０は１つカウントアツ
プする。

ｌカウンタ１５０の出力ｌによつて指定された
単語W^lのｘカウンタ１５２の出力ｘによつて指
定された音節ｎが単語辞書１４から出力される。
母音促音判定結果記憶部１０からは、ｋカウンタ
１５１の出力ｋと、ｍカウンタ１５３の出力ｍに
よつて指定される定常点に対応する母音ｖ（ｍ）、
ｖ(k)が読み出される。距離記憶部１３ではv_f（ｌ、
ｘ）＝ｖ（ｍ）、v_r（ｌ、ｘ）＝ｖ(k)の何れもが成立
するかどうかを確かめこれが成立するときは、音
節ｎの標準パターンと入力パターンの部分パター
ンＡ（ｍ、ｋ）との距離Dⁿ（ｍ：ｋ）が既に計算
され記憶されているはずであるから、距離記憶部
１３からこのDⁿ（ｍ：ｋ）が読み出される。v_f
（ｌ、ｘ）＝ｖ（ｍ）、v_r（ｌ、ｘ）＝ｖ(k)の何れか
一
方が成立しないときは、Dⁿ（ｍ：ｋ）＝∽が距離
記憶部１３から出力される。１５４は累積距離記
憶部であつて、漸化式(1)において既に計算済の累
算距離D^l _x′（m′）を記憶している。１５６は漸化
式計算部であつて、累積距離記憶部１５４から読
み出したD^l _x-1（ｍ）と距離記憶部１３から読み出
したDⁿ（ｍ：ｋ）からD_lx-1（ｍ）＋Dⁿ（ｍ：ｋ）を
計算し、ｍについての最小値D^l _x(k)を算出するも
のである。各ｋ、ｌについて計算されたD^l _x(k)は
再び累積距離記憶部１５４に記憶される。以上の
動作がｋ＝Ｋ＋１、ｘ＝X_lまで行われると、単語
W^lと入力パターンとの距離はD^l _Xl（Ｋ＋１）で与
えられることになる。即ち、D^l _Xl（Ｋ＋１）は単語
W^lによつて指定される音節列に対応するように、
入力パターンの部分パターンを重複区間がなく連
続するように、その各部分パターンとその部分パ
ターンの前記音節名に対し前記距離記憶部１３に
記憶されている距離の総和を最小となすという意
味で最適化した結果得られた前記距離の総和の最
小値である。１６は単語判定部であつて、ｌ＝
１、２、…、Ｌについて以上の処理を行つた結果
得られ、累積距離記憶部１５４に記憶されている
D^l _Xl（Ｋ＋１）を読み出し、D^l _Xl（Ｋ＋１）を最小に
するｌを求め、これを1^とするとき単語W^lを入力
パターンに対する認識結果とするものである。

第３図は単語判定部１６の詳細を説明する図で
ある。ｌカウンタ１５０がカウントアツプし、単
語辞書１４の全ての単語との照合が完了すると、
端子１６４を通じてｌカウンタ１６３はリセツト
され、計数を始め、累積距離記憶部１５４から
D^l _Xl(k)を読み出す。１６０は比較部であつて、累
積距離記憶部１５４から読み出された入力音声の
単語W^lに対する累積距離D^l _Xl（Ｋ＋１）と比較し、
小さい方の値をバツフアメモリ１６１に記憶す
る。もし、D^l _Xl（Ｋ＋１）＜D^l′_Xl′（Ｋ＋１）であれ
ば、そのときのｌカウンタ１６３の計数値が単語
番号記憶部１６２に記憶される。このようにし
て、単語番号記憶部１６２には、ｌカウンタ１６
３の計数値をｌとするとき、ｌ＝１〜ｌにおい
て、D^l _Xl（Ｋ＋１）を最小にするｌの値が記憶され
ることになる。ｌ＝Ｌとなると、ｌカウンタ１６
３はキヤリーを出力し、単語番号記憶部１６２の
内容を読み出し、出力端子１７には認識された単
語に対応する単語の番号が出力される。

発明の効果本発明によれば、単音節を連続して発声した場
合でも、定常点を抽出し、母音と見做して母音認
識を行い、入力部分パターンとＶ、CV、VCV、
VV等の音節標準パターンとマツチングするとと
もに、単語辞書内の単語とマツチングするように
したので、比較照合すべき単語と音節標準パター
ンを限定することができ、認識率、照合速度にお
いて大幅な改善が得られる。

【図面の簡単な説明】

第１図は本発明の一実施例の構成を示すブロツ
ク図、第２図、第３図は前記実施例の要部の構成
の詳細を説明するブロツク図である。１……音声信号入力端子、２……特徴抽出部、
３……電力計算部、４……音声区間検出部、５…
…母音標準パターン記憶部、６……バツフアメモ
リ、７……定常点検出部、８……母音パターン比
較部、９……母音判定部、１０……母音・促音判
定結果記憶部、１１……音節標準パターン記憶
部、１２……音節パターン比較部、１３……距離
記憶部、１４……単語辞書、１５……単語間距離
計算部、１６……単語判定部、１７……認識結果
出力端子。

Claims

【特許請求の範囲】

１入力音声信号を特徴ベクトルの系列に変換す
る特徴抽出手段と、前記特徴ベクトルの系列中の
スペクトルの変化の少ない定常部分の母音認識を
行ない母音定常点を抽出する母音定常点検出手段
と、これら母音定常点の種々の組合せに関して選
ばれた入力パターンの部分パターンと、先行母
音、後続母音が前記選ばれた入力パターンの部分
パターンの開始、終了フレームにそれぞれ等しい
母音であるVCV（Ｖは母音、Ｃは子音）、後続母
音が前記選ばれた入力パターンの部分パターンの
終了フレームに等しい母音であるCV、Ｖ等のそ
れぞれの音節に対応する標準パターンとのマツチ
ングを行つて距離（または類似度）を計算するた
めの音節マツチング手段と、認識すべき単語また
は文節がそれぞれ音節記号列で記憶されている単
語辞書と、前記単語辞書によつて指定される音節
名の系列に対応するように前記入力パターンの部
分パターンを重複区間がなく連続するように最適
に定めることにより、その各部分パターンの前記
音節名に対し、前記音節マツチング手段により得
られている距離（または類似度）の緩和を最小
（または最大）となし、得られる最小値（または
最大値）を各単語または文節に対する入力パター
ンの距離（または類似度）として出力する単語マ
ツチング手段と、この単語マツチング手段によつ
て各単語または文節に対して計算される距離（ま
たは類似度）が最小（または最大）となる単語ま
たは文節を判定しで認識結果として出力する判定
手段とを備えたことを特徴とする音声認識装置。