JPS61200596A - 連続音声認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は母音、子音および母音からなる系列を単位と
して構成された標準パターンを利用したパターン・マツ
チングに基づいて連続音声の識別を行う連続音声認識装
置に関し、とくに子音部に関連する領域に強い重みを付
して認識率を向上させようとするものである。

［開示の概要］ この発明の連続音声認識装置は母音、子音および母音か
らなる系列を単位として音声認識を行うに際し、子音区
間を入力特徴パターンから直接に求めておき、この子音
区間を強調する態様でパターン・マツチングを行ってい
る。この発明では前後の母音のゆらぎにうもれがちな子
音情報をより正しくに識別結果に反映させることができ
る。

［従来技術］ 日本語の連続音声は子音および母音の繰り返しで構成さ
れている。たとえば「浦和」を例に挙げるとのように母
音Ｕ−子音ｒ−母音ａ−子音ｗ　−母音ａの構成になっ
ている。したがって、このような音声を認識するに際し
、（１）子音または母音、すなわち音素を単位として扱
う、（２）子音および母音の組み合わせ、すなわち音節
を単位として扱う、（３）母音、子音、および母音の組
み合わせを単位として扱うという３つの手法が考えられ
る。この中で（３）の方式（以後ｖＣｖ方式と呼ぶ）は
、とくに連続音声において起きる調音結合の問題に対処
しやすいと考えられ、このため広く研究されている。こ
こで、調音結合とは子音の発声が連続音声中で、前後の
母音の影響をうけて変化することを指している。しかし
、このｖＣｖ方式では、その組み合わせが、拗音を含ま
ない場合でも、６通り（／ａ／、／ｉ／、／ｕ／、／ｅ
／。

／　ｏ　／　、　／　Ｎ　／　）　Ｘ　６８単音節ｚ４
００通りにもなるため、テンプレート登録時の話者の負
担が増大するという問題やマツチングの計算時間が増え
るという問題等が起きる。そのため、従前ではＶＣｖテ
ンプレート全部を用いるかわりに、ｖＣｖの一部とＣＶ
（子音および母音）との組合せを用いる方法が工夫され
てきている。すなわち、従前ではテンプレート数の削減
に注意が注がれ、認識率の向上を意図するものが少なか
った。

なおりＣｖ方式の詳細についてはたとえば田嶋等の「標
準パターンの重ね合わせ引き離しによる連続単語音声認
識Ｊ　　（ＰＲＬ８３−７４、ｐｐ’７ｌ−７８）を参
照されたい。

［発明が解決しようとする問題点］ 本発明者等はｖＣｖ方式の連続音声認識の研究を進める
につれ、上述のようなテンプレート数が多いことに起因
する問題は今後のハードウェアの進歩により克服しうろ
ことであり、むしろ認識精度を向上させることが先決で
あるという認識をもつにいたった。この発明の目的は認
識率の向上したｖＣｖ方式の連続音声認識装置を提供す
ることにある。

［問題点を解決するための手段］ この発明では以上の目的を達成するために、入力連続音
声中から子音部を検出し、この子音部に関連する領域を
強調して音声の認識を行うようにしている。

すなわち、ｖＣｖ方式ではパターン・マツチングの単位
として母音、子音および母音の系列を用い、その単位に
おいて母音定常部が半分以上を占めてしまう。このため
パターンマツチングの類似度に含まれる子音の情報は少
なく、この結果、誤認識を招来するおそれがある。とく
に、　／　ｐ　／　＊／ｌ／、／に／等、発声時間の短
かい子音ではこの傾向が顕著となる。この発明では、ｖ
Ｃｖ方式特有の調音結合部分の情報を損うことなく、子
音部の情報を強調することにより、このような誤認識に
対処できる。

［実施例］ 以下この発明の一実施例について図面を参照しながら説
明しよう。なお、この実施例では、入力連続音声から得
た入力特徴パターンを、事前知識に基づいて、複数の実
現可能な態様でｖＣｖ単位に分割しておき、そののち最
もゆう度の高い分割態様をダイナミック・プログラミン
グにより選定するようにしている。ここでは以下の説明
の理解を容易にするためにこの最適単位分割に簡単に触
れておくことにする。この単位分割の手順は以下のとお
りである。

（１）入力特徴パターンに含まれる母音の候補を判別し
、それらの中心点を求める。

（２）入力特徴パターンからｖＣｖ単位の切り出しを行
う。この際隣接する母音候補の中心点の間にｖＣｖが存
在すると考えるのは合理的である。

ただし半母音や子音定常部を誤って母音定常部と判別す
ることがあるので、このようなことを考慮に入れて複数
の実現可能な態様でｖＣｖ単位の切り出しを行う。

（３）切り出した■Ｃｖ単位と標準パターンとの間のＤ
Ｐマツチング（ダイナミック・プログラミングに基礎を
置くパターン・マツチング）を行う。この際、上述（１
）の母音候補に基づいて標準パターンを絞り込むことが
できる。

（４）上述（２）の分割の態様のうち最もゆう度の高い
ものをダイナミック・プログラミングで求める。

（５）上述（４）の最適分割で切り出されたＶＣｖ単位
に最適にマツチングした標準パターンの結果を連結して
識別結果とする。

さて第１図は実施例の概略を示しており、この第１図に
おいて、話者が発声した音声はマイクロフォン１により
電気信号に変換され、この信号が音響分析部２に供給さ
れる。この音声分析部２は音声信号に基づいてＮ次元の
特徴ベクトルの時系列ａｌ（ｉ＝１．２、・・・・Ｌ）
を生成する。この特徴ベクトル時系列ａｌは母音候補判
定部３に供給され、ここで特徴ベクトル時系列子ｌが母
音定常部の特徴パターンと照合され、入力音声中の母音
候補が決定される。母音定常部の特徴パターンは標準母
音パターンストア部４にストアされている。

たとえば母音／ａ／、／ｉ／、／ｕ／、／ｅ／。

１０／、／Ｎ／の定常部からとりだした特徴ベクトルを
それら母音の各々に対し、１フレームずつストアしてお
く。この場合定常部の最も母音らしさを表わしたフレー
ムをとる必要がある。そして入力特徴パターンｉいｉ２
、・・・・ＴＬに対し各母音フレーム■１、ｖ２、・・
・・、ｖｓ（それぞれ／ａ／。

／ｉ／、／ｕ／、／ｅ／、１０／、／Ｎ／に対応する）
との距離ｄ　　（ａｉ、ｖｊ）（ｉ＝１．２・・・・Ｌ
及びＪ＝１＊２＋・・・・６）を求める。つぎにｉフレ
ーム（ｉ＝１．２・・・・、Ｌ）の各々に対しｄ（ａｔ
ｓｖｊ）が最小となるｊ　（即ちそれに対応する母音）
を求めておく。ただし、ｄ　（ａｉ、ｖｊ）がどれもあ
らかじめ定めた閾値を越える時は、ｒ該当母音なし」と
いうことにする。つまり、このときは、母音定常フレー
ムではないと思われる。

閾値をうまく決めることによって入力音声中の母音定常
部の候補が検出できる。

このようにして母音候補を決定したのち、これら母音候
補の間に狭まれた入力音声ベクトル列の部分列をｖ１Ｃ
ｖ２１Ｃｖ２特徴ベクトル取り出し、これをｖＣｖＣ億
単位マツチングに供給する。ここでＶｌ、　Ｖ、はそれ
ぞれ先行する母音、後続の母音を示し、／ａ／、／ｉ／
、／ｉ／、／ｅ／、１０／および／Ｎ／のいずれかであ
る。なお上述したとおり、この実施例では部分列の切り
出しに柔軟性を付与しており、部分列を継続させてでき
る系列には複数個の態様があることに留意されたい。マ
ツチング部５では、とり出されたｖ１Ｃｖ２特徴ベクト
ルと、予め標準ｖＣｖパターンストア部６に登録されて
いるＶ□Ｃｖユ標準テンプレートのベクトル列との間の
ＤＰマツチングを行い、その結果得られた累積距離を類
似度と考える。類似度のすなわち累積距離の最も小さい
標準テンプレートが入力特徴ベクトル列の部分列を表わ
す。このような操作を各部分列について行う。

各部分列についてのＤＰマツチングの結果は最適ｖＣｖ
列決定部７に順次供給されていく。ここでは各部分列を
代表する標準テンプ−レートおよびこれに関連する類似
度に基づいて最適７０７列を決定する、すなわち上述し
た複数の態様がある部分列の系列ごとに類似度の総和を
求め、この総和すなわち累積距離の総和が最小となるよ
うなＶＣｖ系列を認識結果とするのである。この場合に
もダイナミック・プログラミングを利用する。この認識
結果はモニタ８等に表示される。

−列として「浦和」が入力音声として発声された場合を
考えよう。これを第２図に示す、まず、母音の候補とし
て／　ｕ　／　、　／ａ／　、　／　ｏ　／　、　／ａ
／が検出される。ここでは子音／Ｗ／が／　ｏ　／とじ
て検出されたことにしている。母音候補に応じてＶ、　
ＣＶ、の部分列、すなわちパスに対し各標準Ｖ、ＣＶ、
テンプレートのＤＰマツチングが行なわれる。ここでは
、バスの長さに、あらかじめ制限を設けているために、
最初の／Ｕ／と最後の／ａ／に関するマツチングなどは
除外される。次に、Ｖ工Ｃｖ２の部分列の継続した系列
として（パス■＋パス■）、（パス■＋パス■）、（パ
ス■＋パス■＋パス■）が候補として上げられその各々
に対し総累積距離を求め、最小となる（パス■＋バス■
）が最適ｖＣｖ系列として出力される。

さて、次に本発明の中心課題となる子音区間決定方法お
よび重み関数について説明する。第３図は第１図のｖＣ
ｖＣ億単位マツチングの構成を示す。第３図において、
入力音声中の７１０７２部分列はａｌ、ａｉ＋ｔ、−ａ
ｊ　（１＜ｉ＜ｊ＜Ｌ）なるＮ次元特徴ベクトル列で表
わされている。そして、τｉは母音Ｖいａｊは母音ｖ２
を表わす特徴ベクトル列になっていることから、ａｌ、
ａｊを母音テンプレートとみなして、入力音声中のＶ、
ＣＶ２部分列との距離をとる。つまり、ｄ　（・、・）
を特徴ベクトルの距離として、 ｄ工（ａｒ、　ａｋ） ｄｚ　（ａｊ−ａｋ） をに＝１．２・・・・、Ｌについてすべて計算する。

特徴ベクトル列ａｉ、ａ工や０、・・・・ａｊは母音Ｖ
□から子音Ｃへそして、さらに母音ｖ２へと変化する特
徴ベクトルを表わしていることから、上で求めた距離ｄ
工、ｄ２は、まさにその変化量となっている。この２つ
の量を第４図に示す。母音から子音へ変化するところで
距離ｄ１、ｄ２は急に変化するため、この図に示される
特性を利用することで子音区間を検出することができる
。

すなわち、７１０７２部分列を模式的に示すと第５図の
ようになる。ここで斜線領域は母音定常部、散点領域は
子音部、白抜きの領域は母音および子音の間の過渡部を
示す。母音定常部では特徴パラメータが安定しており、
このためｖｌの母音定常部の特徴パラメータ７にと母音
特徴パラメータ丁ｌとの間の距離は一定して小さく、他
方Ｖ□の母音定常部を外れて過渡部にいたるほどその特
徴パラメータａｋと母音特徴パラメータａ１との間の距
離が大きくなる。このことはｖ２に対しても言える。

このような見地に立つと、所定のしきい値を設けて得た
点Ｐ１、Ｐ２（第４図）を子音の始点および終点と考え
る事ができる。そして、これら点Ｐ工、Ｐ２の中点Ｐを
子音中心とする。

つぎに重み関数について説明する。第６図はこの重み関
数を示す。この図から明らかなように。

子音に関連する領域において重みが１であり、他の領域
で０になっている。この例ではｖｌＣｖ２部分列の全長
を１としたとき、ＡＰを０．２、ＰＢを０．３とするよ
うにしている。ＰＢの方がＡＰより長いのは後続母音の
方が子音との調音結合が強いことを考慮したものである
。重みが１となる区間ＡＰ、ＰＢの長さを絶対的にする
のでなく、Ｖ、ＣＶ、部分列の長さに応するようにして
いるので、重みの正規化を行う必要がない。たとえば重
み１の区間の長さを固定のものにするとＶｌＣＶ。

部分列の数に応じて全系列にわたる重み１の区間が変化
してしまう。これに対し、この例のように重み１の区間
ＡＰ、ＰＢを７００７２部分列の長さの０゜２倍、０．
３倍というように相対的なものとすれば、全系列にわた
る重み１の区間もたとえば全系列の０．５倍というよう
に一定のものとなり、これは部分列の個数によって変化
しない。たとえば第２図において部分列の系列として（
パスの＋パス■）、（パス■＋パス■）および（パス■
＋パス■＋パス■）が考えられるがどの系列に対しても
重みが１となる区間長は等しくなる。

この実施例にしたがって９７都市名の音声認識率を求め
たところ９３％となり、子音強調をしばい場合に比して
１０％の向上がみられた。

なお、上述の実施例では子音区間を判別するのに、母音
特徴パターンＴ□、ａｊと瞬時の特徴パターンａｋとの
距離を利用したけれども、他の手法で子音区間を判別す
るようにしてもよい。

たとえば差分ベクトルを用いることもできる。

すなわち、入力音声中からとりだしたＶ工Ｃｖ２パター
ン（特徴ベクトルで表わすと１１、Ｔ１゜い・・・・、
ａｊ）において、隣りあうベクトル間の距離ａ　（ａｍ
、ａｋｔ１）Ｎｃ＝ｉ＊　ｉ＋１．　・、−）は第７図
に示すような形になることが知られている（山が２つに
なるか１つになるかは子音の種類による）、つまり、母
音の定常部が終り、子音へと移っていくところで距離ｄ
　（ａｋｔ　ａｋ＋ｚ）は大きくなる。時間的に長い子
音／ｓ／、／ｚ／などでは、子音の中央部あたりで、変
化が少ないために上図のようにくぼみができる。ともか
く、このような情報を利用して子音部をみつけることが
可能である。

またｖＣｖマツチングにおけるダイナミック・プログラ
ミングの最適パス上の局所距離の分布を利用することも
できる。すなわち、入力音声中から切り出したＶ、ＣＶ
、パターンとあらかじめ登録しておいたｖｉＣｖ２標準
パターンとのＤＰマツチングを行なった時、その最適パ
ス上の局所距離は第８Ａ図、第８Ｂ図に示すようになる
。入力Ｖ１Ｃｖ２パターンの子音が／ｐ／たった時を例
に説明すると、／　ｐ　／は無声破裂音であるため／ｐ
／。

／ｌ／、／に／など（７）　Ｖ、　ＣＶ、テンプレート
とマツチングを行なうと第８Ｂ図のように子音部がくぼ
む。それに反し／　ｓ　／　、　／　ｚ　／など種類の
異なるＶ１ＣＶ２テンプレートとマツチングを行なうと
第８Ａ図のように子音部が凸部となる。このような情報
を用いて子音部を検出することができる。

また、上述実施例では矩形の重み関数を用いたけれども
、三角形や台形等積々の重み関数を用いてよいことはも
ちろんである。

［発明の効果］ 以上説明したようにこの発明によればｖＣｖ方式の連続
音声認識において入力音声から得た入力特徴パターンか
ら子音区間を直接に検出し、この検出結果に基づいて子
音に関連のある領域に他の領域より重い重み付けを付し
てパターン・マツチングを行うようにしているので、従
前前後の母音のゆらぎにうもれがちな子音情報を良好に
用いることができ、この結果、認識率を向上させること
ができる。

【図面の簡単な説明】

第１図はこの発明の一実施例を示すブロック図。 第２図は第１図実施例における入力特徴パターンの７０
７部分列への分割を説明するための図、第３図は第１図
実施例の要部を示すブロック図、第４図および第５図は
ともに第３図の子音区間検出部５１を説明するための図
、第６図は第３図の重み付きＤＰマツチング計算部５２
を説明するための図、第７図は第１図実施例の変形例を
説明するための図、第８Ａ図および第８Ｂ図は第１図実
施例の他の変形例を説明するための図である。 １・・・・マイクロフォン、２・・・・音響分析部、３
・・・・母音侯補判定部、４・・・・標準母音パターン
・ストア部、５・・・・ｖＣｖ単位マツチング部、６・
・・・標準ｖＣ■パターン・ストア部、７・・・・最適
ＶＣｖ列決定部、８・・・・モニタ、５１・・・・子音
区間検出部、５２・・・・重み付きＤＰマツチング計算
部。 略同□ ＵＲＡＷＡ（浦和） 第３図 １８向 第４図 第５図 第６図 ｖＩ　　　　　　　ＣＶ２ Ｖ！向　（フレーム番号） 第７図 １ｂ直パス上のイ立１【 最電パス上の位置

Claims (1)

【特許請求の範囲】
1. 母音、子音および母音からなる系列を単位として標準パ
   ターンを構成し、連続して発声した未知入力音声から得
   られる入力特徴パターンに上記標準パターンを所望の個
   数だけ継続してマッチングさせ、継続してマッチングさ
   せられる上記標準パターンの系列と上記入力特徴パター
   ンとの間の類似度に基づいて上記未知入力音声の識別を
   行う連続音声認識装置において、上記入力特徴パターン
   の中から予め子音部を検出し、この子音部に関連の強い
   部分に対し他の部分より大きな重み付けを行いながら、
   上記マッチングを行うことを特徴とする連続音声認識装
   置。