JP4393648B2

JP4393648B2 - 音声認識装置

Info

Publication number: JP4393648B2
Application number: JP2000002096A
Authority: JP
Inventors: 千晴河合; 浩片山; 丈裕中井
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2000-01-11
Filing date: 2000-01-11
Publication date: 2010-01-06
Anticipated expiration: 2020-01-11
Also published as: JP2001195082A; US6701292B1

Description

【０００１】
【発明の属する技術分野】
本発明は、音声認識装置に関する。特に、雑音環境下での認識率の改善及び音声認識における演算量の削減に関する。
【０００２】
【従来の技術】
近年、音声認識を用いた製品の提供が盛んになりつつある。現状の音声認識技術では、静かな環境で使うなどの様々な制約が課せられないと、良い性能が得られないという問題がある。これらの制約は、音声認識の普及を妨げる大きな要因になっており、雑音下の音声認識率の向上が求められている。
【０００３】
従来、雑音環境下での認識率を改善する音声認識方法の１つとして、特開平５−２１０３９６号公報に記載された方法（従来例１）がある。この従来例１は、ベクトル間類似度を同じフレームにおける最大類似度で補正する方法である。以下、この方法について説明をする。入力された音声信号の特徴分析を行い、特徴ベクトルの時系列に変換する。特徴ベクトル時系列の１フレームの特徴ベクトルと予め登録しておいた標準パターンを構成する特徴ベクトルとのベクトル間の距離から確率分布に従って、ベクトル間類似度を求める。各フレームについてのベクトル間類似度の最大値を求める。
【０００４】
各フレームについて、ベクトル間類似度の最大値から、補正値を求めて、該補正値で補正して、フレーム補正類似度を求める。フレーム補正類似度を累積した累積補正類似度を算出する。累積補正類似度と閾値とを比較して、累積類似度が閾値よりも大きい時に、累積類似度に該当する音声が入力されたものと診断する。このように、各フレームについてベクトル間類似度を最大類似度に従って補正するため、雑音の影響が相殺されて認識率が向上する。
【０００５】
また、ワードスポッティングにおける認識率を改善する音声認識方法の１つとして、特開昭６３−２５４４９８公報に記載された方法（従来例２）がある。この従来例２は、類似度の１位と２位との差もしくは１位と２位の比を用いる方法である。以下、この方法の説明をする。入力音声から特徴パラメータを抽出する。特徴パラメータと各標準パターンを構成する特徴パラメータとの類似度を求める。類似度を累積した標準パターン毎の累積類似度を算出する。
【０００６】
このとき、累積区間の開始時点と終了時点を少しずつずらすワードスポッティングにより累積類似度を求める。累積類似度を大きい順にソートし、第１位、第２位を決定する。第１位と第２位との差もしくは第１位と第２位の比（第１位／第２位）と、閾値との比較を行い、類似度間の計算結果が閾値を越える場合に、入力音声が第１位の累積類似度に対応する単語であると判断する。このように、類似度間の計算結果と閾値とを比較することにより、確からしい認識結果のみを単語として認識するので、認識率が向上する。
【０００７】
【発明が解決しようとする課題】
従来例１では、入力音声と標準パターンの比較に、確率分布により求められるフレーム間類似度を用いており、この場合は最大類似度により雑音をある程度推定することができる。しかし、フレーム間類似度の代わりに、ベクトル間距離を使用した場合、ベクトル間距離の最小値は音素の種類等により異なるので、ベクトル間距離の最小値により雑音による影響を推定することが難しい。そのため、入力音声と標準パターンとの比較に、フレーム間距離を用いた場合に従来例１を適用できないという問題点がある。
【０００８】
従来例２では、雑音を音声と誤って判断しないように閾値が厳しく設定されるため、雑音などの影響で入力音声と標準パターンの類似度が低くなる場合、音声を検出できないことが多い。
【０００９】
図１４は、ワードスポティングの問題点を示す図である。図１４に示すように、ワードスポティングでは、音声が存在する可能性のある様々な始端及び終端からなるＡ１，Ａ２，Ａ３，Ａ４やＢ１，Ｂ２，Ｂ３，Ｂ４やＣ１，Ｃ２，Ｃ３，Ｃ４等の全ての音声区間について、フレーム間累積類似度やフレーム間距離の累積演算を、ＤＰ(Dynamic Programming)マッチング法やＨＭＭ法等を用いて行う。例えば、図１４では、入力音声と一致する音声区間Ｃ２の類似度が最大となる。しかし、音声が存在する可能性のある全ての音声区間に対して、累積演算を行うため、ワードスポティングでは、演算量が多いという問題点がある。この問題点を回避するために終端フリーの方法がある。しかし、終端フリーでは、以下の問題点がある。
【００１０】
図１５は、終端フリーの問題点を示す図である。図１５に示すように、終端フリーの場合は、始端を特定して、始端から一定時間長までの区間に対して、始端から該区間に含まれる区間までを各音声区間として、累積演算が行われる。例えば、ワードスポティングでは、音声区間Ａ１…Ａ４，Ｂ１…Ｂ４，Ｃ１…Ｃ４に対して、終端フリーでは、音声区間Ａ，Ｂ，Ｃとなり演算量を削減することできる。しかし、始端から一定時間長の音声が入力されるまでは、音声区間が確定しないために遅延が生じるという問題点がある。例えば、音声区間Ｃでは、遅延τが生じる。
【００１１】
本発明の目的は、入力音声と標準パターンの比較にフレーム間距離を用いた場合に雑音の影響を抑制して認識率を向上させる音声認識装置を提供することである。
【００１２】
本発明の他の目的は、雑音などの影響で入力音声と標準パターンのフレーム間類似度が低く又はフレーム間距離が大きくなった場合にも音声を検出できる音声認識装置を提供することである。
【００１３】
更に、本発明の他の目的は、ワードスポティング時の演算量を減らすと共に終端フリー時の遅延量を少なくすることのできる音声認識装置を提供することである。
【００１４】
【課題を解決するための手段】
本発明の側面によれば、入力された音声を認識する音声認識装置であって、複数の音素標準パターンの音素特徴ベクトルを予め記憶する音素標準特徴パターン記憶部と、入力音声のフレーム毎に特徴ベクトルを算出する分析部と、前記フレームの前記特徴ベクトルと前記各音素特徴ベクトルとのベクトル間距離を音素毎に計算するベクトル間距離計算部と、前記全ての音素についての前記ベクトル間距離の平均値を前記フレーム毎に算出する平均値計算部と、前記音素毎に計算されたベクトル距離から前記フレーム毎に算出された前記平均値を減算し、その減算したベクトル距離を補正する補正部と、前記音素の並び情報を定義する単語標準パターンを記憶する単語標準パターン記憶部と、前記補正されたベクトル間距離を累積して、累積ベクトル間距離と前記単語標準パターンとを比較して、音声認識する識別部と、を具備したことを特徴とする音声認識装置が提供される。
【００１５】
本発明の他の側面によれば、入力された音声を認識する音声認識装置であって、入力音声の特徴ベクトルを算出する分析部と、単語標準パターンの特徴ベクトルを予め記憶する単語標準パターン記憶部と、前記入力音声の各区間の前記特徴ベクトルと前記単語標準パターンとを比較して、前記各区間の入力音声について、前記各単語標準パターンとの各第１類似度を計算する類似度算出部と、前記各第１類似度又は第１類似度間の計算結果と第１閾値とを比較して、該第１類似度に該当する単語標準パターンの単語が入力音声に該当する単語であるか否かを判定する第１判定部と、第２類似度又は第２類似度間の計算結果を記憶する候補記憶部と、前記第１判定部により該当する単語であると判定されなかった前記第１類似度又は第１類似度間の計算結果が前記第１閾値よりも小さな値である第２閾値よりも大きく且つ前記第２類似度又は第２類似度間の計算結果よりも大きいとき、第１類似度又は第１類似度間の計算結果を前記第２類似度又は第２類似度間の計算結果として、前記候補記憶部に記憶する候補判定部と、前記第１判定部により所定時間内に該当する単語であると判定されなかった場合、前記候補記憶部に記憶された第２類似度又は第２類似度間の計算結果に基いて、第２類似度に該当する単語標準パターンの単語が入力音声に該当する単語であると判定する第２判定部とを具備したことを特徴とする音声認識装置が提供される。
【００１６】
本発明の更に他の側面によれば、入力された音声を認識する音声認識装置であって、複数の音素の音素標準特徴ベクトルを予め記憶する音素標準パターン記憶部と、入力音声のフレーム毎に特徴ベクトルを計算する分析部と、各フレームについて、各音素とのベクトル間距離を記憶する距離記憶部と、前記フレームの前記特徴ベクトルと前記各音素標準特徴ベクトルとの間のベクトル間距離を各音素毎に算出して、前記距離記憶部に記憶するベクトル間距離計算部と、各単語について前記音素の並び情報を定義する単語標準パターンを記憶する単語標準パターン記憶部と、最新ベクトル間距離から旧ベクトル間距離へと後ろ向きに前記距離記憶部から前記ベクトル間距離を読み出して、前記各単語について、後ろ向きに累積距離を計算する累積距離計算部と、前記累積距離計算部が計算した累積距離に基いて、該累積距離に該当する単語が入力された音声であるかを判定する判定部とを具備したことを特徴とする音声認識装置が提供される。
【００１７】
【発明の実施の形態】
本発明の実施形態の説明をする前に本発明の原理を説明する。図１は、本発明の原理図である。図１に示すように、音声認識装置は、分析部２、音素標準特徴パターン記憶部４、ベクトル間距離計算部６、平均値計算部８、補正値記憶部１０、補正部１２、単語標準パターン記憶部１４及び識別部１６を具備する。
【００１８】
環境雑音下で音声が入力される。分析部２は入力された音声の各フレームの特徴ベクトルを算出して、ベクトル間距離計算部６に出力する。音素標準特徴パターン記憶部４には、各音素の音素標準特徴ベクトルが記憶されている。ベクトル間距離計算部６は、特徴ベクトルと音素標準特徴ベクトルとの間のベクトル間距離を計算する。平均値計算部８は、各音声フレームについて、各音素のベクトル間距離の平均値を算出する。この平均値は、環境雑音がない状態で音声が入力された場合の平均値と環境雑音による平均値とが加算されたものである。
【００１９】
例えば、環境雑音がない状態でのベクトル間距離の平均値が補正距離として補正部記憶部１０に記憶されている。補正部１２は、（各音素のベクトル間距離−平均値計算部８が計算した平均値＋補正距離）を計算する。（平均値計算部８が計算した平均値−補正距離）は、環境雑音による平均値の推定値である。よって、（各音素のベクトル間距離−平均値計算部８が計算した平均値＋補正距離）は、雑音による影響がある程度除去されたものとなる。識別部１６は、補正部１２により補正されたベクトル間距離を累積して、累積距離と単語標準パターン記憶部１４に記憶された各単語標準パターンとを比較して、音声認識する。このとき、補正部１２により補正されたベクトル間距離は雑音による影響がある程度除去されたものなので、音声認識率が向上する。
【００２０】
第１実施形態
図２は、本発明の第１実施形態による音声認識装置の構成図である。図２に示すように、音声認識装置は、マイク２０、音声入力部２２、分析部２４、音素標準パターンファイル２６、ベクトル間距離計算部２８、補正値計算部３０、補正値記憶部３２、平均距離計算部３４、距離補正部３６、単語標準パターンファイル３８、距離累積部４０、識別部４２及び音声検出部４４を具備する。
【００２１】
マイク２０は、音声を入力する入力部である。音声入力部２２は、マイク２０より入力された音声信号の増幅とＡ／Ｄ変換を行なう。分析部２４は、一定時間、例えば、１０〜２０ｍｓの音声フレーム毎に、入力音声信号に対して、ケプストラム分析等の信号処理を施して、所定次元、例えば、３４次元の特徴ベクトルを算出する。音素標準パターンファイル２６は、母音などの音素に対して、分析部２４と同様の信号処理を施して得られた音素特徴ベクトルが音素標準パターンとして予め登録されたファイルである。ベクトル間距離計算部２８は、分析部２４により算出された各音声フレームの特徴ベクトルと各音素標準パターンとのユークリッド距離を計算する。
【００２２】
図３は、環境雑音による影響を示す図である。この図は、環境雑音無し場合と環境雑音有りの場合に、「ア」が入力されたときの、入力音声「ア」と各音素標準パターン「ア」…とのベクトル間距離を縦軸に、時間を横軸にそれぞれ示している。尚、音素標準パターンは環境雑音無しの状態で入力された音声に基いて算出されたものである。
【００２３】
例えば、環境雑音無しの場合では、入力音声「ア」と音素標準パターン「ア」とのベクトル間距離の最小は、例えば、０．１である。ここで、ベクトル間距離の最小が０でないのは、同一音でも話者等により相違するため、音素標準パターンと入力音声の特徴ベクトルが一致するとは限らないことを考慮したものである。また、例えば、入力音声「ア」と音素標準パターン「ア」とのベクトル間距離が最小のときの、入力音声「ア」と音素標準パターン「イ」，「ウ」…との音素ベクトル間距離は、０．５，０．８…である。
【００２４】
一方、環境雑音有りの場合は、入力音声「ア」と音素標準パターン「ア」とのベクトル間距離の最小は、例えば、０．５である。環境雑音無しの場合の対応するベクトル間距離は、上述のしたように、０．１であるので、雑音による影響が０．４である。また、例えば、入力音声「ア」と音素標準パターン「ア」とのベクトル間距離が最小のときの、入力音声「ア」と音素標準パターン「イ」，「ウ」…との音素ベクトル間距離は、０．７，１．１…なので、雑音による影響が０．２，０．３…である。
【００２５】
このように、雑音による影響は、音素標準パターン及び入力音声により異なる。しかし、入力音声のベクトルと音素標準パターンとのベクトル間距離の雑音による影響を全音素標準パターンについて平均を取ると、入力音声の違いによらず略一定の値を取ることが推測される。この雑音による影響の平均値は、（入力音声のベクトルと各音素標準パターンとのベクトル間距離の平均値−環境雑音無しで入力された入力音声のベクトルと各音素標準パターンとのベクトル間距離の平均値（補正距離））であると推定される。
【００２６】
そこで、補正値計算部２８は、環境雑音下で入力された音声の雑音による影響を推定するための上記補正距離を予め計算して、補正値記憶部３２に格納する。補正値記憶部３２は、補正距離を記憶するメモリである。平均距離計算部３４は、ベクトル間距離計算部２８により計算された入力音声フレームと各音素標準パターンとのベクトル間距離の全音素標準パターンについての平均値を計算し、距離補正部３６に出力する。距離補正部３６は、ベクトル間距離計算部２８により計算された入力音声フレームと各音素標準パターンとのベクトル間距離と平均値計算部３４より出力された平均値と補正値記憶部３２に記憶された補正距離より（各ベクトル間距離−平均値＋補正距離）を計算して、補正ベクトル間距離を距離累積部４０に出力する。
【００２７】
単語標準パターンファイル３８は、各単語を構成する音素の並び情報が格納されたファイルである。距離累積部４０は、ワードスポティング等により入力音声の始点と終点とより単語区間を設定して、単語標準パターンファイル３８に格納された各単語の音素の並び情報に従って、距離補正部３６により出力される該単語区間に含まれる補正ベクトル間距離をＤＰマッチング法やＨＭＭ法を用いて累積加算して、各単語標準パターンの累積距離を算出する。識別部４２は、各単語標準パターンの累積距離と閾値とを比較して、単語標準パターンの累積距離＜閾値ならば、入力音声が該単語標準パターンの単語に該当するものと判断する。音声検出部４４は、識別部４２が音声認識した単語を図示しないスピーカなどの出力装置に出力する。
【００２８】
以下、図２の音声認識装置の動作説明をする。
【００２９】
（ａ）補正距離の計算
図４は、図２中の補正値計算部３０のフローチャートである。ステップＳ２において、環境雑音無しの状態で音素に該当する音声をマイク２０より入力する。音声入力部２２は、入力された音声を増幅してＡ／Ｄ変換する。分析部２４は、Ａ／Ｄ変換された音声からケプストラム等の特徴ベクトルを算出する。ステップＳ４において、ベクトル間距離計算部２８は、入力された音声のフレームの特徴ベクトルと音素標準パターンファイル２６に格納されている各音素標準パターンとのベクトル間距離を計算する。ステップＳ６において、補正値計算部３０は、その音素標準パターンについて、ベクトル間距離の最小値を算出すると共に該最小値となるフレームを求める。ステップＳ８において、補正値計算部３０は、次の音素標準パターンが有るか否かを判定する。次の音素標準パターンが有れば、ステップＳ４に戻る。次の音素標準パターンが無ければ、ステップＳ１０に進む。
【００３０】
ステップＳ１０において、補正値計算部３０は次の音素が有るか否かを判定する。次の音素が有れば、ステップＳ２に戻る。次の音素が無ければ、ステップＳ１２に進む。ステップＳ１２において、補正値計算部３０は、入力された各音素に該当する入力音声に対して、全て音素標準パターンについてのベクトル間距離の最小値となるフレームにおける全音素標準パターンとのベクトル間距離を求める。このベクトル間距離を全ての音素に該当する入力音声について、求める。そして、これら全てのベクトル間距離の平均値を求めて、これを補正距離とする。ステップＳ１４において、補正値計算部３０は、補正距離を補正値記憶部３２に格納する。
【００３１】
（ｂ）音声認識
空調音等の機械音や人間等の背景雑音などの環境雑音下で、音声がマイク２０より入力されたとする。例えば、「ＫＡＷＡＩ」と入力されたとする。マイク２０は、入力された音声を電気信号に変換する。音声入力部２２は、マイク２０より入力された音声信号を増幅してＡ／Ｄ変換する。分析部２４は、一定時間、例えば、１０〜２０ｍｓの音声フレーム毎に、入力音声信号に対して、ケプストラム分析等の信号処理を施して、所定次元、例えば、３４次元の特徴ベクトルを算出する。
【００３２】
図５は、図２中のベクトル間距離計算部２８、平均距離計算部３４及び距離補正部３６及び距離累積部の処理結果を示す図である。ベクトル間距離計算部２８は、分析部２４により算出された各音声フレームの特徴ベクトルと各音素標準パターンとのベクトル間距離（ユークリッド距離）を計算する。例えば、「ＫＡ」，「ＷＡ」,「Ｉ」の音声入力に対して、「ＫＡ」，「ＷＡ」,「Ｉ」に該当する音素標準パターンとのベクトル間距離は、図５中の補正前ベクトル間距離（ａ）に示すようになる。このとき、各音素標準パターンとのベクトル間距離は、環境雑音による影響を受けている。
【００３３】
平均距離計算部３４は、各音声フレームについて、ベクトル間距離計算部２８により計算された入力音声フレームと各音素標準パターンとのベクトル間距離の全音素標準パターンについての平均ベクトル間距離を計算して、距離補正部３６に出力する。距離補正部３６は、ベクトル間距離計算部２８により計算された入力音声フレームと各音素標準パターンとのベクトル間距離と、平均値計算部３４より出力された平均値と補正値記憶部３２に記憶された補正距離より（ベクトル間距離−平均値＋補正距離）を計算して、補正後ベクトル間距離を距離累積部４０に出力する。
【００３４】
この計算結果は、例えば、「ＫＡ」，「ＷＡ」,「Ｉ」に該当する音素標準パターンについては、図５中の補正後ベクトル間距離（ｂ）に示すようになる。これにより、環境雑音下で入力された音声については、雑音の影響が除去されたベクトル間距離となっている。また、環境雑音が無い状態で音声が入力される場合があるが、この場合は、平均ベクトル間距離と補正距離とが略等しくなるので、補正後ベクトル間距離と補正前ベクトル間距離が略等しくなり、音声認識率が低下することがない。
【００３５】
距離累積部４０は、ワードスポティング等により入力音声単語の始端と終端とより単語区間を設定して、単語標準パターンファイル３８に格納された各単語の音素の並び情報に従って、距離補正部３６により出力される該単語区間に含まれる補正ベクトル間距離をＤＰマッチング法やＨＭＭ法を用いて累積加算して、各単語標準パターンの累積距離を算出する。
【００３６】
例えば、単語「ＫＡＷＡＩ」に該当する累積ベクトル間距離については、図５中の累積ベクトル間距離に示すようになる。識別部４２は、各単語標準パターンの累積距離と閾値とを比較して、単語標準パターンの累積距離＜閾値ならば、入力音声が単語標準パターンの単語に該当するものと判断する。
【００３７】
例えば、環境雑音下で入力された「ＫＡＷＡＩ」の入力音声は、補正前ベクトル間距離の累積距離では環境雑音によりベクトル間距離が大きくなり、閾値を越えてしまうことがある。しかし、この場合でも、補正後ベクトル距離の累積距離では環境雑音による影響がある程度除去されているので、閾値以下となることがあり、環境雑音下での音声認識率が向上する。しかも、環境雑音が無しの状態で音声入力された場合であっても、音声認識率が低下することがない。音声検出部４４は、識別部４２が音声認識した単語を図示しないスピーカなどの出力装置に出力する。
【００３８】
以上説明した第１実施形態によれば、距離ベクトルを使用した場合でも、環境雑音下での音声認識率が向上する。
【００３９】
第２実施形態
図６は、本発明の第２実施形態による音声認識装置の構成図であり、図２中の構成要素と実質的に同一の構成要素には同一の符号を付している。図６に示すように、音声認識装置は、マイク２０、音声入力部２２、分析部２４、ベクトル間類似度計算部５０、音素標準パターンファイル５２、累積類似度計算部５４、単語標準パターンファイル５６、判定部５８、閾値レジスタ６０、候補閾値レジスタ６２、候補判定部６４、候補バッファ６６、制御部６８、音声応答部７０、タイマ７２及びスピーカ７４を具備する。
【００４０】
ベクトル間類似度計算部５０は、音素標準パターンファイル５２に登録されている各音素標準パターンに対して定義された確率密度関数を音声フレームの特徴ベクトルに適用して、各音素標準パターンのベクトル間類似度を計算する。例えば、ベクトル間類似度は、０〜１までの実数であり、１に近い程、音声フレームが音素標準パターンに類似していることを示す。尚、本実施形態では、ベクトル間類似度を計算しているが、第１実施形態と同様にベクトル間距離を計算しても勿論良い。
【００４１】
音素標準パターンファイル５２は、各音素標準パターンの特徴ベクトル空間における確率密度関数が予め登録されたファイルである。累積類似度計算部５４は、単語標準パターンファイル５６に登録された各単語標準パターンを参照して、各単語を構成する音素情報から累積類似度を計算する。単語標準パターンファイル５６は、各単語標準パターンの音素の並び情報が予め格納されたファイルである。
【００４２】
判定部５８は、閾値レジスタ６０に予め格納された第１閾値と、α＝（単語標準パターンの第１位累積類似度又は第１位累積類似度と第２位累積類似度との差や比等の累積類似度間の計算結果）とを比較する。そして、第１閾値＜αならば、制御部６８に音声認識できた旨及び音声認識した単語を通知する。また、判定部５８は第１閾値≧αならば、候補判定部６４にαを出力する。尚、累積類似度の代わりに累積距離を使用する場合は、累積距離又は累積距離間の計算結果＜閾値ならば、制御部６８に音声認識できた旨及び音声認識した単語を通知する。
【００４３】
候補閾値レジスタ６２は、候補閾値を格納するレジスタである。候補閾値は、第１閾値よりも小さく且つ環境雑音の影響により累積類似度が小さくなって音声認識率が低下することを防止することを考慮して予め設定された値である。候補判定部６４は、（判定部５８より入力されたα）＞候補閾値且つ（α＞β＝（候補バッファ６６に格納されている第１位累積類似度又は第１位累積類似度と第２位累積類似度との差や比等の累積類似度間の計算結果）のとき、候補バッファ６６に格納されているβを削除して、判定部５８より入力されたαを候補バッファ６６にβとして格納する。これは、環境雑音の影響により、判定部５８が音声認識できなかった場合でも、候補閾値を越える第１位累積類似度の単語を音声認識して、音声認識率を向上させるためである。
【００４４】
制御部６８は、ユーザ等の話者に対する音声入力要求をするよう音声応答部７０に行うこと、音声入力要求を行ったときタイマ７２を起動すると共に候補バッファ６６をクリアすること、判定部５８から音声認識の通知を受けると、判定部５８により音声認識された単語を出力するよう音声応答部７０に要求すること、タイマ７２がタイムアウトすると候補バッファ６６にβが格納されていれば、該βを有する第１位累積類似度に該当する単語を出力するよう要求することを実行する。音声応答部７０は、制御部６８により指示された音声をスピーカ７４に出力する。タイマ７２は、制御部６８の指示に従って、計時を開始して、一定時間経過（例えば、話者が単語の入力を完了するまでの時間）するとタイムアウトする。
【００４５】
図７は、図６中の判定部５８及び候補判定部６４のフローチャートである。図８は、図６中の制御部６８のフローチャートである。以下、これらの図面を参照して、図６の音声認識装置の動作説明をする。本例では、自動販売機等に搭載される音声認識装置に適用した場合を例に説明する。
【００４６】
（ａ）音声入力
図８中のステップＳ４０において、制御部６８は、音声応答部７０に音声入力の要求をするよう指示する。音声応答部７０は、制御部６８の指示に従って、話者に対して、例えば、「ご希望のものを入力して下さい」等の音声入力要求をスピーカ７４を通して出力する。ステップＳ４２において、制御部６８は、タイマ７２をセットする。タイマ７２は計時を開始する。ステップＳ４４において、制御部６８は、候補バッファ６６をクリアする。話者は、音声入力要求に応じて、音声、例えば、「コーヒー」とマイク２０より入力する。このとき、話者の環境により、環境雑音が入力した音声に混入することがある。マイク２０は、入力された音声を電気信号に変換する。音声入力部２２は、マイク２０より入力された音声信号を増幅してＡ／Ｄ変換する。
【００４７】
（ｂ）音声認識
分析部２４は、一定時間、例えば、１０〜２０ｍｓの音声フレーム毎に、入力音声信号に対して、ケプストラム分析等の信号処理を施して、所定次元、例えば、３４次元の特徴ベクトルを算出する。ベクトル間類似度計算部５０は、音声フレームの特徴ベクトルに音素標準パターンファイル５２に登録されている各音素標準パターンの確率密度関数を適用して、各音素標準パターンのベクトル間類似度を計算する。このベクトル間類似度は、例えば、０〜１までの実数であって、１に近い程、音声フレームが音素標準パターンに類似する。累積類似度計算部５４は、単語標準パターンファイル５６に登録された各単語標準パターンを参照して、各単語を構成する音素情報から累積類似度を計算する。
【００４８】
図７中のステップＳ２０において、判定部５８は、累積類似度を累積類似度計算部５４より入力して、累積類似度を大きい順にソートして、第１位累積類似度，第２位累積類似度を決定する。ステップＳ２２において、判定部５８は、α＝（第１位累積類似度、第１位累積類似度と第２位累積類似度との差、あるいは第１位累積類似度と第２位累積類似度との比）と、閾値レジスタ６０に格納されている閾値との比較を行う。α≧閾値の場合、ステップＳ２４に進む。α＜閾値の場合、αを候補判定部６４に出力して、ステップＳ２６に進む。ステップＳ２４において、判定部５８は、制御部６８に音声認識できた旨及び音声認識した単語を通知する。
【００４９】
ステップＳ２６において、候補判定部６４は、αと候補閾値レジスタ６２に格納されている候補閾値との比較を行う。α≧候補閾値ならば、ステップＳ２８に進む。α＜候補閾値ならば、ステップＳ２０に戻る。ステップＳ２８において、候補判定部６４は、候補バッファ６６にβ＝（第１位累積類似度、第１位累積類似度と第２位累積類似度との差、あるいは第１位累積類似度と第２位累積類似度との比）が格納されているか否かを判定する。
【００５０】
βが格納されていれば、ステップＳ３０に進む。βが格納されていなければ、ステップＳ３２に進む。ステップＳ３０において、候補判定部６４は、α，βを比較する。α＞βならば、ステップＳ３２に進む。α≦βならば、ステップＳ２０に戻る。ステップＳ３２において、候補判定部６４は、判定部５８より入力されたαをβとして、候補バッファ６６に格納して、ステップＳ２０に戻る。これにより、候補バッファ６６には時間の経過と共に第１位累積類似度に関するβが格納される。
【００５１】
図８中のステップＳ４６において、制御部６８は、判定部５８が音声認識できたか否かを判別する。判定部５８が音声認識できたならば、ステップＳ５４に進む。判定部５８は音声認識できていない場合は、ステップＳ４６に戻る。ステップＳ４８において、制御部６８は、タイマ７２がタイムアウトしたか否かを判別する。タイマ７２がタイムアウトしたならば、ステップＳ５０に進む。タイマ７２がタイムウウトしていなければ、ステップＳ４６に戻る。
【００５２】
ステップＳ５０において、制御部６８は、候補バッファ６６にβが格納されているか否かを判別する。累積類似度が格納されていれば、ステップＳ５２に進む。βが格納されていなければ、音声が認識できなかったものとして終了する。ステップＳ５２において、制御部６８は、候補バッファ６６に格納されているβに該当する第１位累積類似度の単語を出力するよう音声応答部７０に指示する。音声応答部７０は、制御部６８の指示に従って、該当する単語をスピーカ７４より出力する。
【００５３】
これにより、環境雑音の影響等に起因して、タイマ７２がセットされてからタイムアウトするまでの一定時間内に判定部５８が音声認識できなかった場合は、候補閾値を越える最大の累積類似度に該当する単語がスピーカ７４より出力される。一方、判定部５８が音声認識できたならば、ステップＳ５４において、制御部６８は、タイマ７２を停止する。ステップＳ５６において、αに該当する第１位累積類似度の単語を出力するよう音声応答部７０に指示する。音声応答部７０は、制御部６８の指示に従って、該当する単語をスピーカ７４より出力する。
【００５４】
図９は、環境雑音下で話者が「コーヒー」と入力したとき、累積類似度と閾値とを比較して音声認識する場合の音声認識結果を示す図である。この図の場合、入力された音声「コーヒー」が環境雑音の影響により、累積類似度＜第１閾値＝０．８５よりも小さく判定部５８により音声認識することはできない。環境雑音の影響により、最初は、「コーラ」の累積類似度の方が「コーヒー」の累積類似度よりも大きく且つ候補閾値０．５を越えるので、「コーラ」の累積類似度が候補バッファ６６に格納される。しかし、最終的には、「コーヒー」の累積類似度の最大値が「コーラ」の累積類似度の最大値を越えるので、「コーヒー」の累積類似度が候補バッファ６６に格納される。そして、候補バッファ６６に格納された累積類似度に該当する「コーヒー」が認識結果となる。
【００５５】
以上説明した第２実施形態によれば、環境雑音等により判定部が音声認識をできない場合であっても、一定時間内で一定の閾値を越える最大類似度の単語を音声認識するので、環境雑音下での音声認識率が向上する。
【００５６】
第３実施形態
図１０は、本発明の第３実施形態による音声認識装置の構成図であり、図２中の構成要素と実質的に同一の構成要素には同一の符号を付している。図１０に示すように、音声認識装置は、マイク２０、音声入力部２２、分析部２４、音素標準パターンファイル２６、ベクトル間距離計算部８０、距離バッファ８１、累積距離計算部８２、単語標準パターンファイル８４及び判定部８６を具備する。
【００５７】
ベクトル間距離計算部８０は、各音声フレームの特徴ベクトルと音素標準パターンファイル２６に登録されている各音素標準パターンとの各ベクトル間距離を計算して、距離バッファ８１に書き込む。本実施形態では、ベクトル間距離を計算する構成としているが、勿論、ベクトル間類似度を計算してもよい。
【００５８】
図１１は、図１０中の距離バッファ８１の説明図である。図１１に示すように、Ｎ個の音声フレームについて、各音素標準パターンのベクトル間距離を格納する領域が確保されている。Ｎは単語の認識に必要とされる最大音声フレーム数である。例えば、音素標準パターンがＭ個であるとすると、距離バッファ８１には、Ｎ×Ｍ個のベクトル間距離を格納する領域９０＃ｉｊ（ｉ＝１〜Ｎ，ｊ＝１〜Ｍ）が距離バッファ８２に確保される。例えば、添え字ｉが１からＮまで、時間の新しい順に距離ベクトルが対応するとすると、距離バッファ８１には、領域９０＃ｉｊ（（ｉ＝Ｎ，ｊ＝１〜Ｍ），（ｉ＝Ｎ−１，ｊ＝１〜Ｍ），…，（ｉ＝１，ｊ＝１〜Ｍ））の順に距離ベクトルが書き込まれて、最新の領域９０＃１ｊから９０＃Ｎｊの順にベクトル間距離が読み出される。
【００５９】
図１２は、単語標準パターンファイル８４の説明図である。各単語標準パターン８４は、各単語標準パターンの音素情報が音声の発生の順とは逆の順に格納されている。例えば、単語標準パターン「ＫＡＷＡＩ」について、単語標準パターンファイル８４には、「Ｉ」の音素情報、「ＷＡ」の音素情報、「ＫＡ」の音素情報といった具合に、音声の発生の順とは逆の並びの順になっている。
【００６０】
累積距離計算部８２は、各フレーム周期毎に、最新フレームをマッチングの始端フレーム、始端フレームから最大フレーム数までの区間に含まれる区間を各音声区間とする。各音声区間について、単語標準パターンファイル８４に登録されている単語標準パターンの各音素の並び情報に対応する各音素標準パターンのベクトル間距離を最新フレームから順に読み出す。つまり、距離バッファ８１の領域９０＃ｉｋ(ｊ)（ｊ＝１…，１≦ｋ（ｊ）≦Ｍ）より時間的に後ろ向きに順次読み出す。そして、各音声区間に応じて、ＤＰマッチング法やＨＭＭ法を用いて、読み出したベクトル間距離及び単語標準パターンに対して、累積距離を計算する。
【００６１】
このとき、単語標準パターンファイル８４には、単語標準パターンの発生の順とは逆に音声情報が並べられているので、累積距離計算部８２は、最新フレームから順に距離ベクトルを読み出して累積計算を行っても、正しい累積距離が計算される。判定部８６は、累積距離計算部８２から出力される累積距離と閾値とを比較して、累積距離が閾値よりも小さい場合に、該累積距離に該当する単語が入力された音声であると認識する。
【００６２】
次に、図１０の音声認識装置の動作説明をする。
【００６３】
マイク２０は、入力された音声を電気信号に変換する。音声入力部２２は、マイク２０より入力された音声信号を増幅してＡ／Ｄ変換する。分析部２４は、一定時間、例えば、１０〜２０ｍｓの音声フレーム毎に、入力音声信号に対して、ケプストラム分析等の信号処理を施して、所定次元、例えば、３４次元の特徴ベクトルを算出する。ベクトル間距離計算部８０は、分析部２４により算出された各音声フレームの特徴ベクトルと各音素標準パターンとのベクトル間距離（ユークリッド距離）を計算する。そして、最新フレームのベクトル間距離を距離バッファ８１に書き込む。
【００６４】
累積距離計算部８２は、各フレーム周期毎に、最新フレームをマッチングの始端フレーム、始端フレームから最大フレーム数までの区間に含まれる区間を各音声区間とする。各音声区間について、単語標準パターンファイル８４に登録されている各単語標準パターンに対して定義された音素の並びに対応する音素標準パターンのベクトル間距離を最新フレームから順に読み出す。つまり、距離バッファ８１の領域９０＃ｉｋ(ｊ)（ｊ＝１…，１≦ｋ（ｊ）≦Ｍ）より時間的に後ろ向きに順次読み出す。そして、各音声区間に応じて、ＤＰマッチング法やＨＭＭ法を用いて、読み出したベクトル間距離及び単語標準パターンに対して、累積距離を計算する。
【００６５】
このとき、図１３に示すように、最新フレームを始端として始端を固定して、終端フリーで逆時間方向に累積距離を計算するので、音声が存在する可能な区間を音声区間とする図１４に示した普通のワードスポットティングに比べて、演算量を削減できる。また、図１５に示す最大フレーム数の音声が入力されないと音声区間が確定されない終端フリーのように遅延τが発生することがない。判定部８６は、各単語標準パターンの累積距離と閾値とを比較して、単語標準パターンの累積距離＜閾値ならば、入力音声が単語標準パターンの単語に該当するものと判断する。
【００６６】
以上説明した第３実施形態によれば、ワードスポティングに比べて演算量を削減できる。しかも、終端フリーの場合のように遅延が生じることがない。
【００６７】
【発明の効果】
以上説明したように本発明によれば、入力音声と標準パターンの比較にフレーム間距離を用いた場合に雑音の影響を抑制して認識率を向上させることができる。また、雑音などの影響で入力音声と標準パターンのフレーム間類似度が低く又はフレーム間距離が大きくなった場合にも音声を検出できる。更に、ワードスポティング時の演算量を減らすと共に終端フリーでの遅延量を少なくすることができる。
【図面の簡単な説明】
【図１】本発明の原理図である。
【図２】本発明の第１実施形態による音声認識装置の構成図である。
【図３】環境雑音による影響を示す図である。
【図４】補正値計算部のフローチャートである。
【図５】図２中のベクトル間距離計算部、距離補正部及び距離累積部の処理結果を示す図である。
【図６】本発明の第２実施形態による音声認識装置の構成図である。
【図７】図６中の判定部及び候補判定部のフローチャートである。
【図８】図６中の制御部のフローチャートである。
【図９】図６の音声認識結果を示す図である。
【図１０】本発明の第３実施形態による音声認識装置の構成図である。
【図１１】図１０中の距離バッファの説明図である。
【図１２】図１０中の単語標準パターンの説明図である。
【図１３】図１０中の累積距離計算部の動作説明図である。
【図１４】普通のワードスポッティングの問題点を説明する図である。
【図１５】終端フリーの問題点を説明する図である。
【符号の説明】
２分析部
４音素標準特徴パターン記憶部
６ベクトル間距離計算部
８平均値計算部
１０補正値記憶部
１２補正部
１４単語標準パターン記憶部
１６識別部

Claims

入力された音声を認識する音声認識装置であって、
複数の音素標準パターンの音素特徴ベクトルを予め記憶する音素標準特徴パターン記憶部と、
入力音声のフレーム毎に特徴ベクトルを算出する分析部と、
前記フレームの前記特徴ベクトルと前記各音素特徴ベクトルとのベクトル間距離を音素毎に計算するベクトル間距離計算部と、
前記全ての音素についての前記ベクトル間距離の平均値を前記フレーム毎に算出する平均値計算部と、
前記音素毎に計算されたベクトル間距離から前記フレーム毎に算出された前記平均値を減算し、その減算したベクトル間距離を補正する補正部と、
前記音素の並び情報を定義する単語標準パターンを記憶する単語標準パターン記憶部と、
前記補正されたベクトル間距離を累積して、累積ベクトル間距離と前記単語標準パターンとを比較して、音声認識する識別部と、
を具備したことを特徴とする音声認識装置。
入力された音声を認識する音声認識装置であって、
入力音声の特徴ベクトルを算出する分析部と、
単語標準パターンの特徴ベクトルを予め記憶する単語標準パターン記憶部と、
前記入力音声の各区間の前記特徴ベクトルと前記単語標準パターンとを比較して、前記各区間の入力音声について、前記各単語標準パターンとの各第１類似度を計算する類似度算出部と、
前記各第１類似度又は第１類似度間の計算結果と第１閾値とを比較して、該第１類似度に該当する単語標準パターンの単語が入力音声に該当する単語であるか否かを判定する第１判定部と、
第２類似度又は第２類似度間の計算結果を記憶する候補記憶部と、
前記第１判定部により該当する単語であると判定されなかった前記第１類似度又は第１類似度間の計算結果が前記第１閾値よりも小さな値である第２閾値よりも大きく且つ前記第２類似度又は第２類似度間の計算結果よりも大きいとき、第１類似度又は第１類似度間の計算結果を前記第２類似度又は第２類似度間の計算結果として、前記候補記憶部に記憶する候補判定部と、
前記第１判定部により所定時間内に該当する単語であると判定されなかった場合、前記候補記憶部に記憶された第２類似度又は第２類似度間の計算結果に基づいて、第２類似度に該当する単語標準パターンの単語が入力音声に該当する単語であると判定する第２判定部と、
を具備したことを特徴とする音声認識装置。
入力された音声を認識する音声認識装置であって、
入力音声の特徴ベクトルを算出する分析部と、
単語標準パターンの特徴ベクトルを予め記憶する単語標準パターン記憶部と、
前記入力音声の各区間の前記特徴ベクトルと前記単語標準パターンの特徴ベクトルとを比較して、前記各区間の入力音声について、前記各単語標準パターンとの間の各第１距離を計算する距離算出部と、
前記各第１距離又は第１距離間の計算結果と第１閾値とを比較して、該第１距離に該当する単語標準パターンの単語が入力音声に該当する単語であるか否かを判定する第１判定部と、
第２距離又は第２距離間の計算結果を記憶する候補記憶部と、
前記第１判定部により該当する単語であると判定されなかった前記第１距離又は第１距離間の計算結果が前記第１閾値よりも大きな値である第２閾値よりも小さく且つ前記第２距離又は第２距離間の計算結果よりも小さいとき、第１距離又は第１距離間の計算結果を前記第２距離又は第２距離間の計算結果として、前記候補記憶部に記憶する候補判定部と、
前記第１判定部により所定時間内に該当する単語であると判定されなかった場合、前記候補記憶部に記憶された第２距離又は第２距離間の計算結果に基づいて、第２距離に該当する単語標準パターンの単語が入力音声に該当する単語であると判定する第２判定部と、
を具備したことを特徴とする音声認識装置。
前記補正部は、環境雑音無しの状態で入力された入力音声の特徴ベクトルと前記音素標準パターンの音素特徴ベクトルとのベクトル間距離の全音素についての平均値を補正値として記憶する補正値記憶部を具備し、前記音素毎に計算されたベクトル間距離から前記平均値を減算し、その減算したベクトル間距離に前記補正値記憶部に記憶された前記補正値を加算する請求項１記載の音声認識装置。
前記第２閾値は環境雑音により音声認識率が低下することを防止することを考慮して予め設定された値であり、音声入力要求を行う音声応答部と、前記音声入力要求に基づいて前記所定時間までを計時するタイマによる計時が開始されるように制御する制御部とを更に具備し、前記第２判定部は、前記タイマが前記所定時間計時してタイムアウトしたとき、前記第１判定部により入力された音声が該当する単語であると判定されなかった場合には、前記候補記憶部に記憶されている前記第２類似度又は前記第２距離に該当する単語標準パターンの単語が入力音声に該当する単語であると判定して前記タイマがタイムアウトする前後で入力音声が単語標準パターンに該当する単語であると音声認識をするための閾値を前記第１閾値から前記第２閾値に変更する請求項２又は３記載の音声認識装置。