JPH0387900A - 音声認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、音声信号から抽出された特徴ベクトルに基づ
いて音声マッチングパタンを生成し、この音声マッチン
グパタンと比較マッチングパタンとの類似度を算出する
ことにより音声を認識する音声認識装置に関するもので
ある。

〔従来の技術〕

第２図は従来の音声認識装置の構成を示すブロック図で
ある。

この音声認識装置においては、入力端子ＴＩＮから入力
された音声信号が音声分析部１１によりアナログ／デジ
タル変換され、音声分析部１１に備えられた中心周波数
の異なる９個のバンドパスフィルタ群によって抽出され
た帯域内周波数成分をフレーム周期毎に取り出されて特
徴ベクトルが算出され、この特徴ベクトルの要素５−（
ｉはフレ−ム番号、ｊ＝１．２．・・・、ｐ＞から対数
音声パワーＰ、が算出される。

音声区間検出部１２では対数音声パワーＰ、に基づいて
音声区間、即ち、音声の始端フレーム及び音声の終端フ
レームが決定される。

線形伸縮部１３では音声区間における特徴ベクトル系列
で表される音声パタンを所定のフレーム数に線形伸縮し
て音声マッチングパタンを生成する。この線形伸縮は、
線形伸縮前のフレーム番号をｉ、線形伸縮前の始端フレ
ームの番号をＩ８、線形伸縮前の終端フレームの番号を
ＩＥ、線形伸縮後のフレーム番号を１とした場合に、次
の式（１〉により行われる。

＝（Ｉ　　（３２−ｕ）＋■Ｅ（Ｊ−１））／（３２−
１）・・・式（１） この結果、音声パタン Ｓ　　、Ｓ　　　・・・、Ｓ９．・・・’　”ＩＥ−１
’　”ＩＥＩｓ　　　　ＩＳ＋Ｉ＋＋ は、線形伸縮されて Ｓｌ・Ｓ２・°°°・Ｓ、ｌ！・°°°・Ｓ３１・”３
２なる音声マッチングパタンとなる。尚、ここで、Ｓ・
＝（Ｓｉ１．Ｓｉ２．・・・、　ｓ、ｐ）である。

く 線形伸縮部１５では、音声標準パタンとして比較パタン
メモリ部１４に予め格納されている比較マッチングパタ
ンと音声マッチングパタンとの間の類似度を算出する。

判定部１６では、算出された類似度の中で最大値を与え
る比較マツチングパタンに付与されている単語名（以下
、カテゴリと称する）を出力する。

〔発明が解決しようとする課題〕

しかしながら、上記した従来の音声認識装置においては
、時間軸の伸縮操作を単なる線形伸縮により行っていた
ので、この伸縮操作に際してフレーム数を減少させた場
合、音声の特徴点を有するフレームが欠落することがあ
り認識性能が悪いという問題があった。特に、長母音剣
發音の無音部分等のような音響的性質が変化しない音節
を多く含む単語の認識性能が悪かった。

そこで、本発明は上記したような従来技術の課題を解決
するためになされたものであり、その目的とするところ
は、認識性能の良好な音声認識装置を提供することにあ
る。

〔課題を解決するための手段〕

本発明に係る音声認識装置は、音声信号を周波数分析し
、一定の時間間隔であるフレーム毎に上記音声信号の特
徴を表わす特徴ベクトルを算出し、この特徴ベクトルか
らフレーム毎に対数音声パワーを算出する音声分析部と
、上記対数音声パワーより上記音声信号の始端と終端と
を検出する音声区間検出部と、上記対数音声パワーより
対数音声パワーの短時間変化量を算出する特徴変化量算
出部と、上記音声信号の始端がら終＠までの区間内にお
ける上記短時間変化量の累積値を算出し、この累積値に
基づいて上記音声信号の始端から終端までの特徴ベクト
ル系列を伸縮して一定長の音声マッチングパタンを生成
する非線形伸縮部と、学習用の音声信号に基づく標準パ
タンである比較マッチングパタンを予め格納しておく比
較パタンメモリ部と、上記非線形伸縮部より出力された
音声マッチングパタンと上記比較パタンメモリ部に格納
された比較マッチングパタンとの間の類似度を算出する
類似度算出部と、上記算出された類似度の中で最大値を
与える比較マッチングパタンに付与されているカテゴリ
名を出力する判定部とを有することを特徴としている。

また、他の発明に係る音声認識装置は、音声信号を周波
数分析し、一定の時間間隔であるフレーム毎に上記音声
信号の特徴を表わす特徴ベクトルを算出し、この特徴ベ
クトルからフレーム毎に対数音声パワーを算出する音声
分析部と、上記対数音声パワーより上記音声信号の始端
と終端とを検出する音声区間検出部と、上記対数音声パ
ワーより対数音声パワーの短時間変化量を算出し、上記
特徴ベクトルより特徴ベクトルの要素の短時間変化量を
算出し、上記対数音声パワーの短時間変化量と上記特徴
ベクトルの周波数スペクトル毎の要素の短時間変化量と
の線形和である特徴変化量を算出する特徴変化量算出部
と、上記音声信号の始端から終＃Ａまでの区間内におけ
る上記特徴変化量の累積値を算出し、この累積値に基づ
いて上記音声信号の始端から終端までの特徴ベクトル系
列を伸縮して一定長の音声マッチングパタンを生成する
非線形伸縮部と、学習用の音声信号に基づく標準パタン
である比較マッチングパタンを予め格納しておく比較パ
タンメモリ部と、上記非線形伸縮部より出力された音声
マッチングパタンと上記比較パタンメモリ部に格納され
た比較マッチングパタンとの間の類似度を算出する類似
度算出部と、上記算出された類似度の中で最大値を与え
る比較マッチングパタンに付与されているカテゴリ名を
出力する判定部とを有することを特徴としている。

〔作　用〕

本発明においては、音声信号の特徴を表わす特徴ベクト
ルより算出された対数音声パワーから、対数音声パワー
の短時間変化量を算出し、この対数音声パワーの短時間
変化量の累積値を算出し、この累積値に基づいて音声信
号の始端から終＠までの特徴ベクトル系列を伸縮して一
定長の音声マッチングパタンを生成している。即ち、特
徴ベクトル系列の伸縮を対数音声パワーの短時間変化量
の累積値に基づいて非線形に行っている。このような音
声の特徴に基づく非線形の伸縮により、音声パタンの伸
縮に際してフレーム数が削減されても音声の特徴点を有
するフレームを欠落させないようにしている。

また、他の発明においては、対数音声パワーの短時間変
化量と特徴ベクトルの周波数スペクトル毎の要素の短時
間変化量の線形和で得られる特徴変化量の累積値に基づ
いて音声信号の始端から終端までの特徴ベクトル系列を
伸縮して一定長の音声マッチングパタンを生成している
。即ち、対数音声パワーの短時間変化量だけではなく、
特徴ベクトルの周波数スペクトル毎の要素の短時間変化
量をも考慮した非線形の伸縮がなされる。

対数音声パワーの短時間変化量だけを考慮した場合には
長母音剣發音のような音響的性質が変化しない音節を多
く含む単語が認識されにくいことがあるが、特徴ベクト
ルの周波数スペクトル毎の要素の短時間変化量には長母
音や設置に固有の特徴が現れるので、対数音声パワーの
短時間変化量と特徴ベクトルの周波数スペクトル毎の要
素の短時間変化量の両方を考慮した非線形の伸縮により
、特徴点を有するフレームを欠落させないようにできる
。

〔実施例〕

以下に本発明を図示の実施例に基づいて説明する。

第１図は本発明に係る音声認識装置の一実施例を示すブ
ロック図である。

同図において、１は音声分析部であり、この音声分析部
１は中心周波数が少しずつ異なる複数のバンドパスフィ
ルタ群を有し、入力端子ＴＩＮから入力された音声信号
を特徴ベクトルの時系列に変換する。尚、この音声分析
部１としては高速フーリエ変換により特徴ベクトルの時
系列を生成するものもある。

音声分析部１による処理を詳細に説明すると、この音声
分析部１は入力された音声信号をアナログ／デジタル変
換し、その後、バンドパスフィルタ群によって各フィル
タ固有の周波数成分のみを抽出し、抽出された各フィル
タの出力の絶対値の平均値をフレーム周期毎に算出する
。この算出値は、そのフレームにおける各バンドパスフ
ィルタの特徴ベクトルの大きさになる。バンドパスフィ
ルタがｐチャネルある場合には、ｉ番目のフレームにお
ける特徴ベクトルの大きさＡ、（Ｊ＝１゜２、・・・、
ｐ）は、次のようになる。

Ａ・・−（Ａｉｌ　Ａｉ：ｌ”・・・＋　Ａｉ　ｐ　）
Ｊ また、音声分析部１においては、この特徴ベクトルの大
きさＡｉｊから、次の式（２）に基づいて対数音声パワ
ーＰ、を、式（３）に基づいて特徴ベクトル（特徴ベク
トルの要素をＳ、、で表す）をＪ 算出する。

・・・式（３） ２は音声区間検出部であり、この音声区間検出部２は音
声分析部１から送出される対数音声パワーＰ、に基づい
て音声区間、即ち、音声の始端フレーム（ｉ＝ａ）及び
音声の終端フレーム（ｉ＝ｂ）を決定する（例えば、特
開昭６０−２５４１００号公報に開示されている）。

３は特徴変化量算出部であり、この特徴変化量算出部３
は以下の処理を行う。先ず、音声分析部１により得られ
た対数音声パワーＰ、から、フレーム毎に、次の式（４
）により短時間パワー変化量Ｒ４を算出する。

・・・式（４） ４は非線形伸縮部であり、この非線形伸縮部４は、先ず
、短時間パワー変化ｉＲから次の式（５）により累積値
（累積変化量）Ｙを算出する。

Ｙ＝Ｘ　（ｉ　） ここで、ｂ＜ｉのときにＹをｎとし、ｉ＜ａのときにＹ
を０としたのは、式（５）の演算を統一的に行うためで
ある。

さらに、非線形伸縮部４は、式（６）により累積値Ｙ（
第１項）と音声始端からの時間経過を考慮するための時
間経過環（第２項）とを重み付けし加算して得られた総
合変化ｆｆ１Ｑ・を算出する。

＝μＸ（ｉ）　　　　　　　　　　　　　・・・第１項
＋（１−ｕ）（ｎ−１）（ｂ　−ａ）−１（ｉ　−ａ）
−・・第２項・・・式（６） ここで、μは各々の変化量の重み係数（０〜１）であり
、通常、０．６程度に設定される。

式（６）において第１項に第２項を加えた理由は、短時
間パワー変化量Ｒ１の累積値に基づく第１項のみでは長
母音剖發音等のような音響変化率の少ない音節を多く含
む単語の認識率の向上が不十分な場合があるので（例え
ば、母音「あ」は音響パワーの変化は小さくＯに近いの
で短時間パワー変化量Ｒ・では識別しにくい）、時間経
過項である第２項を加えることにより音響変化率の少な
い音節を多く含む単語の認識率を向上させる（例えば、
短く「あ」と発音したときの音響パワーの変化は小さい
が、これを連続して「あああ」と発音するとその音響パ
ワーは一定ではなく時間の経過とともに変化するように
なるので（人間の口からは一定パワーの音声を連続して
発声できず、多少のぶれがある〉、時間経過項はこれを
音響パワーの変化として抽出できる〉ためである、換言
すれば、式（６）は第２項を加えるという簡単な処理に
より長母音や撥音等の認識率を向上させるものである。

尚、この総合変化量Ｑ（ｉ）は音声始端（ｉ＝ａ）では
Ｏ１音声終Ｖｌ、　（ｉ　＝　ｂ　）ではｎ−１となる
増加関数となる。

そして、次に、式（６）の逆関数である式（７）を求め
る。

１＝Ｘ−’（Ｙ） （Ｘ（ｉ）≦Ｙ＜Ｘ（ｉ＋１）のとき〉・・・式〈７） ここで、伸縮後のフレーム番号をＪｌ（ｊ＝１゜２、・
・・、ｎ）とすると、フレーム番号」に対応する伸縮前
のフレーム番号ｉは次の式（８）により表される。

ｉ　＝Ｘ−’　（Ｊ−１ン　　　　　　　　　　　　　
　・・・式（８ン従って、伸縮前の音声パタン ”ａ　、”ａ＋１　、’・＋、Ｓ、、−・’、”ｂ−１
、’ｂは、伸縮されて ８Ｇ　　　　・・・　　Ｓ　　　・・・　　８　　　　
　　Ｓｉ　　　ｌ　　　Ｉ　　、Ｉ　　　Ｉ　　ｎ−１
’　　　ｎなる特徴ベクトル系列からなる音声マッチン
グパタンとなる。

５は比較パタンメモリ部であり、この比較パタンメモリ
部５には予め学習用の音声信号に基づく標準パタンであ
る比較マッチングパタンが格納されている。この比較マ
ッチングパタンは、例えば、話者を限定する特定話者音
声認識では、認識対象となる単語（以下、カテゴリと称
する）を予め発声し、既に説明した音声分析部１、音声
区間検出部２、情報変化量算出部３及び非線形伸縮部４
による処理と同一の処理を特定話者の音声信号に施して
求める。

６は類似度算出部であり、この類似度算出部６では音声
マッチングパタンと比較マッチングパタンとの類似度を
、例えば、ＤＰ（ダイナミックプログラミング）マツチ
ング法や線形マツチング法（例えば、特開昭６２−７３
２９９号に開示されたものがあるンにより計算する。

７は判定部であり、この判定部７は類似度算出部６にお
いて比較マッチングパタン毎に計算された類似度を用い
て、最大類似度を与える比較パタンに与えられたカテゴ
リ名を認識結果として出力端子Ｔ。、１から出力する。

以上説明したように、本実罷例においては、音声信号の
特徴を表わす特徴ベクトルより算出された対数音声パワ
ーから、対数音声パワーの短時間変化量を算出し、この
対数音声パワーの短時間変化量の累積値を算出し、この
累積値に基づいて音声信号の始端から終端までの特徴ベ
クトル系列を伸縮して一定長の音声マッチングパタンを
１戒している。このように、音声の特徴に基づく非線形
の伸縮により所定のフレーム数の音声マッチングパタン
を１戒しているので、音声の特徴点を有するフレームを
欠落させない伸縮が可能になり、よって、認識率の向上
を図ることができる。また、認識率が向上することによ
って、従来は３２フレームであった伸縮後のフレーム数
を１６フレ一ム程度にまで削減できるので、認識に要す
る類似度算出処理が少なくなり、認識処理を迅速にする
ことが可能になる。

次に、他の発明に係る音声認識装置の実施例（以下、第
二実施例という）について説明する。

第二実施例は、先に説明された第１図の実施例（以下、
第一実施例という）と特徴変化量算出部３及び非線形伸
縮部４の機能のみが相違する。従って、以下に特徴変化
量算出部３及び非線形伸縮部４の機能を中心に説明する
。尚、この実施例は第一実施例と同様の構成を有してい
るので、以下の説明においては第１図を参照する。

第二実施例の特徴変化量算出部３は、音声分析部１で算
出された対数音声パワーＰ、の短時間変化量と、次の式
（９） Ｇ、、＝Ｓ、、−Ｐ、　　　　　　　　　　　・・・式
（９）Ｊ　　　　ＩＪ で表される正規化特徴ベクトル（正規化特徴ベクトルの
要素をＧ１．で表す）から、次の式（１０〉によりフレ
ーム毎に特徴変化量Ｒ１を算出する。

（ｉ≠０のとき） ・・・式（１０） ここで、Ｃ，、Ｃｇは音声区間内の各々の変化量を正規
化する係数であり、それぞれ式（１１）、式（１２）で
表される。

＝ａ ・・・式（１１） ・・・式（１２） 尚、μは各々の変化量の重み係数く０〜１）であり、通
例０．５程度に設定される。

非線形伸縮部４は、先ず、短時間パワー変化量Ｒｉから
次の式（１３）により累積値（累積変化量）Ｙを算出す
る。

Ｙ＝Ｘ　（ｉ　） ここで、ｂ＜ｉのときにＹをｎとし、ｉ＜ａのときにＹ
をＯとしたのは、式（１３）の演算を統一的に行うため
である。

そして、次に、式（１３）の逆関数である式（１４）を
求める。

ｉ　　＝Ｘ−’（Ｙ） ＜Ｘ（ｉ）≦Ｙ＜Ｘ（ｉ＋１）のとき）ｉ　＋１　＝Ｘ
”　（Ｙ） （Ｙ＝Ｘ　（ｉ　）　＝Ｘ　（ｉ＋１　＞のとき）・・
・式（１４〉 ここで、伸縮後のフレーム番号を、Ｉ！　＜ｐ−ｉ。

２、・・・、ｎ）とすると、フレーム番号」に対応する
伸縮前のフレーム番号ｉは次の式く１５）により表され
る。

１＝Ｘ−’　＜ｊ　−１） ・・・式（１５） 従って、伸縮前の音声パタン Ｓ、Ｇ、・・・、Ｓｌ、・・・、５ｂ−ｉ　’　”ｂａ
　　　ａ＋１ は、伸縮されて Ｓｉ　、　Ｓ２　、・・−、Ｓ、　、・・・’　”ｎ−
１、Ｓｎなる特徴ベクトル系列からなる音声マッチング
パタンとなる。

以上説明したように、第二実施例においても、第一実施
例と同様に音声の特徴に基づく非線形の伸縮により所定
のフレーム数の音声マッチングパタンを生成しているの
で、音声の特徴点を有するフレームを欠落させない伸縮
が可能になり、認識率の向上を図ることができる。また
、認識率が向上することによって、フレーム数を削減で
きるので、認識に要する類似度算出処理が少なくなり、
認識処理を迅速にすることが可能になる。

さらに、第二実施例においては、対数音声パワーの短時
間変化量のみならず音声信号の特徴を表わす特徴ベクト
ルの周波数スペクトルの要素の短時間変化量をも考慮し
た特徴変化量に基づいて非線形の伸縮を行っているので
、上記第−実態例よりは処理が複雑になるが、対数音声
パワーの短時間変化量だけを考慮した場合に認識されに
くい傾向がある長母音や撥音のような音響的性質が変化
しない音節の認識性能を一層良好にできる。

これは、音響的性質が変化しない音節であっても〈例え
ば、母音「あ」）、特徴ベクトルの周波数スペクトル毎
の要素の短時間変化量で見れば長母音や撥音に固有の特
徴が現れる（母音「あ」は周波数毎に固有のパワーの分
布を持っている）からである。換言すれば、第二実施例
は処理内容は複雑になるが、長母音や撥音等の認識率を
第一実施例より一層向上させるものである。このため、
第二実施例においては、第一実施例の式（６）に示され
るような時間経過項を設ける必要性が少ないということ
ができるが、式（６）に示されるように時間経過項を考
慮した処理を行うことも可能である。

〔発明の効果〕

以上詳細に説明したように、本発明によれば、音声の特
徴に基づく非線形の伸縮により所定のフレーム数の音声
マツチングパタンを生成しているので、音声の特徴点を
有するフレームを欠落させない伸縮が可能になり、認識
率の向上を図ることができるという効果がある。

また、認識率が向上することによって、フレーム数を少
なくすることができるので、認識処理を迅速にできると
いう効果がある。

一方、他の発明によれば、上記効果に加えて、長母音清
音のような音響的性質が変化しない音節の認識性能を一
層良好にできるという効果がある。

【図面の簡単な説明】

第１図は本発明に係る音声認識装置の一実施例を示すブ
ロック図、 第２図は従来の音声認識装置のブロック図である。 １・・・音声分析部、 ２・・・音声区間検出部、 ３・・・特徴変化量算出部、 ４・・・非線形伸縮部、 ５・・・比較パタンメモリ部、 ６・・・類似度算出部、 ７・・・判定部、 ＴＩＮ　　・・・入力端子、 ＴｏＵ□・・・出力端子。

Claims (2)

【特許請求の範囲】
1. （１）音声信号を周波数分析し、一定の時間間隔である
   フレーム毎に上記音声信号の特徴を表わす特徴ベクトル
   を算出し、この特徴ベクトルからフレーム毎に対数音声
   パワーを算出する音声分析部と、 上記対数音声パワーより上記音声信号の始端と終端とを
   検出する音声区間検出部と、 上記対数音声パワーより対数音声パワーの短時間変化量
   を算出する特徴変化量算出部と、上記音声信号の始端か
   ら終端までの区間内における上記短時間変化量の累積値
   を算出し、この累積値に基づいて上記音声信号の始端か
   ら終端までの特徴ベクトル系列を伸縮して一定長の音声
   マッチングパタンを生成する非線形伸縮部と、 学習用の音声信号に基づく標準パタンである比較マッチ
   ングパタンを予め格納しておく比較パタンメモリ部と、 上記非線形伸縮部より出力された音声マッチングパタン
   と上記比較パタンメモリ部に格納された比較マッチング
   パタンとの間の類似度を算出する類似度算出部と、 上記算出された類似度の中で最大値を与える比較マッチ
   ングパタンに付与されているカテゴリ名を出力する判定
   部とを有することを特徴とする音声認識装置。
2. （２）音声信号を周波数分析し、一定の時間間隔である
   フレーム毎に上記音声信号の特徴を表わす特徴ベクトル
   を算出し、この特徴ベクトルからフレーム毎に対数音声
   パワーを算出する音声分析部と、 上記対数音声パワーより上記音声信号の始端と終端とを
   検出する音声区間検出部と、 上記対数音声パワーより対数音声パワーの短時間変化量
   を算出し、上記特徴ベクトルより特徴ベクトルの周波数
   スペクトル毎の要素の短時間変化量を算出し、上記対数
   音声パワーの短時間変化量と上記特徴ベクトルの要素の
   短時間変化量との線形和である特徴変化量を算出する特
   徴変化量算出部と、 上記音声信号の始端から終端までの区間内における上記
   特徴変化量の累積値を算出し、この累積値に基づいて上
   記音声信号の始端から終端までの特徴ベクトル系列を伸
   縮して一定長の音声マッチングパタンを生成する非線形
   伸縮部と、 学習用の音声信号に基づく標準パタンである比較マッチ
   ングパタンを予め格納しておく比較パタンメモリ部と、 上記非線形伸縮部より出力された音声マッチングパタン
   と上記比較パタンメモリ部に格納された比較マッチング
   パタンとの間の類似度を算出する類似度算出部と、 上記算出された類似度の中で最大値を与える比較マッチ
   ングパタンに付与されているカテゴリ名を出力する判定
   部とを有することを特徴とする音声認識装置。