JPH0588694A

JPH0588694A - 音声認識方法

Info

Publication number: JPH0588694A
Application number: JP3249026A
Authority: JP
Inventors: Kazuya Nomura; 和也野村; Taisuke Watanabe; 泰助渡辺
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1991-09-27
Filing date: 1991-09-27
Publication date: 1993-04-09

Abstract

(57)【要約】【目的】本発明は、少ない記憶容量で、１単語または
２単語以上連続的に発声されたの認識を行うことを目的
とする。【構成】本発明は、１単語または連続発声された２単
語以上の音声に対して、入力信号を分析し、全単語の標
準パターンとの照合を行ない、その結果を類似度の列と
して出力する一次照合部と、一次照合部が出力する類似
度の列を認識のためのパラメータとして扱い、予め作成
しておいた二次照合用の標準パターンとの照合を行なう
二次照合部を設け、一次照合部の結果として出力される
類似度列を二次照合部において予め作成しておいた二次
照合用の全認識対象の標準パターンとの照合を行ない、
この照合の結果により１単語または連続的に発声された
２単語以上の音声認識を行うように構成されている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、機械に人間の声を認識
させる音声認識方法に関するものである。

【０００２】

【従来の技術】以下に、２単語の連続発声された音声を
ワードスポッティングすることを特徴とした従来の認識
法について述べる。

【０００３】図８は、２単語の連続発声された音声の認
識を行なう従来の方法を示したブロック図である。従来
の方法では１単語または２単語以上の連続発声された音
声の認識を行なう場合、認識すべき音声の前後に環境騒
音を含んだ十分長い区間を入力とし、この入力をＡＤ変
換部４１でディジタル信号に変換した後、音響分析部４
２で音響分析を行って音響パラメータ時系列を求める。
次にワードスポッティング部４３で入力パラメータ時系
列のあらゆる部分区間を設定し、全単語の標準パターン
４４とのマッチングによりワードスポッティングを行
う。単語ラティス作成部４５においてワードスポッティ
ングの結果得られた単語の始終端の位置情報と、入力の
標準パターンに対する類似度を用いて単語ラティスを作
成し、単語ラティス探索部４６で時間的なつながりや類
似度が高いということなどを制約条件として探索するこ
とによって２単語の候補を多数作り、類似度比較部４７
において各候補の類似度を比較し、最適な２単語を選択
するという方法で認識結果を得るということを行なって
いた。

【０００４】

【発明が解決しようとする課題】しかし、以上のような
構成では、認識結果を得るために、スポッティングされ
た単語の始終端の位置情報と入力の標準パターンに対す
る類似度を用いて単語ラティスを作成し、これを記憶し
た上で探索するという、大きな記憶容量と複雑な探索処
理が必要であるという課題があった。

【０００５】本発明の目的は、以上のような従来の課題
を解決するものであり、従来の方法に比べて記憶容量が
少なくて済み、単純な処理で連続的に発声された２単語
以上の音声を認識することができるようにした音声認識
方法を提供することを目的とするものである。

【０００６】

【課題を解決するための手段】この目的を達成するため
に、本発明は、１単語または連続発声された２単語以上
の音声に対して、入力信号を分析し、全単語の標準パタ
ーンとの照合を行ない、その結果を類似度の列として出
力する一次照合部と、一次照合部が出力する類似度の列
を認識のためのパラメータとして扱い、予め作成してお
いた二次照合用の標準パターンとの照合を行なう二次照
合部を設け、一次照合部の結果として出力される類似度
列を二次照合部において予め作成しておいた二次照合用
の全認識対象の標準パターンとの照合を行ない、この照
合の結果により１単語または連続的に発声された２単語
以上の音声認識を行うように構成されている。

【０００７】

【作用】本発明は、上記構成により、一次処理用の標準
パターンと照合を行って得られる認識対象の標準パター
ンに対する類似度の列に認識対象単語ごとに異なった傾
向が現れるという性質を用いて、１単語または２単語以
上の連続的に発声された音声の認識を行うように作用す
る。

【０００８】

【実施例】以下に本発明の実施例を図面を参照しながら
詳細に説明するが、その前に本発明の概略を、（表１）
に示した１桁から２桁の１２個の数字の認識を行う場合
について説明する。

【０００９】

【表１】

【００１０】（表２）に示した辞書を用いて

【００１１】

【表２】

【００１２】（表１）に示した１桁から２桁の数字を認
識することは連続的に発声された２単語を認識すること
に等しい。すなわち、（表２）に示した単語が一次照合
の照合対象単語となる。

【００１３】例えば、図２（ａ）に示すように「にじゅ
う」が入力されると入力音声区間に合致する「にじゅ
う」と、音声区間の後半の「じゅう」はそれぞれの標準
パターンと似ているので、高い類似度でワードスポッテ
ィングされるという傾向が観察される。また、図２
（ｂ）に示すように「にじゅうご」が入力されたとき
は、音声区間の最初の「にじゅう」、音声区間中の「じ
ゅう」最後の「ご」がそれぞれの標準パターンに似てい
るのでそれぞれ高い類似度でワードスポッティングされ
るという傾向を観察することができる。このような傾向
を全ての数字について表したものを（表３）に示す。

【００１４】

【表３】

【００１５】（表３）に示したように、ある入力に対し
て（表２）に示した標準パターンと照合を行って得られ
る各認識対象の、各標準パターンに対する類似度には、
認識対象単語ごとに異なった傾向が現れる。したがっ
て、一次照合を行って得られる類似度を特徴パラメータ
として扱い、その類似度の傾向を標準パターンとしてパ
ターンマッチングによる音声の認識に利用することがで
きる。すなわち、一次照合によって、多くの人が発声し
た全認識対象音声を、照合すべき全単語の標準パターン
との照合を行い、その結果得られる類似度の統計的な傾
向を求め、これを二次照合のための標準パターンとし、
この類似度傾向を表現する標準パターンを用いて二次照
合を行なって音声を認識する手段により、前記課題を解
決しつつ１単語または連続的に発声された２単語以上の
単語を認識することができる。

【００１６】図１は、本発明の一実施例における音声認
識方法を具現化する機能ブロック図である。

【００１７】本発明は、図１に示したように、一次照合
部１と二次照合部２とに大別される。

【００１８】一次照合部１では、認識すべき音声とその
前後の騒音を含む十分長い区間を入力とし、一定の基準
に基づいたあらゆる音声区間候補に対して一次照合用の
標準パターンとの照合を行ない、一次照合の各照合対象
単語ごとの類似度の最大値を求め、入力中から各照合対
象単語を切り出し、一次照合の照合対象の全単語の標準
パターンに対する最大類似度を要素とした類似度列を結
果として出力するという処理を行なっている。

【００１９】二次照合部２では上記概略で述べた、一次
照合用の標準パターンに対する類似度に認識対象単語ご
とに異なった傾向が現れるという性質を利用し、一次照
合で得られた結果の類似度列（入力中から一次照合部１
の各照合対象単語を切り出したときの類似度を要素とす
る）を入力とし、この入力の類似度列を特徴パラメータ
として扱い、パターンマッチングによる音声の認識を行
ない、１単語または連続的に発声された２単語以上の単
語を認識する。

【００２０】まず、一次照合部１についての考え方につ
いて、図３〜図７を用いて説明する。同じ言葉を発声し
ても、発声の時間的な長さ（音声長）は発声方法によっ
ても異なるし、人の違いによっても異なる。パターンマ
ッチングによる音声認識方法では入力音声の長さを標準
的な音声長に正規化した上で類似度計算を行なって音声
の認識を行なう。図３は音声長の正規化の様子を示した
ものである。入力音声の長さの最小長をＮ₁、最大長を
Ｎ₂とし、音声の標準的な長さ（標準パターン長）をＩ
とすると、図３に示すように、長さＮ（Ｎ₁≦Ｎ≦Ｎ₂）
の音声長を伸縮して長さＩに正規化することになる。図
３では音声の終端を一致させて伸縮するようになってい
る。伸縮には（数１）に示す線形伸縮式を用いる。

【００２１】

【数１】

【００２２】未知入力と標準パターンの類似度を計算す
る場合、未知入力の音声長Ｎを（数１）によって標準パ
ターン長に伸縮することになるが、この様子を図示した
のが図４である。横軸に入力長、縦軸に標準パターン長
をとり、終端を一致させると、入力音声長はＮ₁〜Ｎ₂の
範囲であるから、入力と標準パターンとのマッチングル
ートは、入力軸のＮ₁≦Ｎ≦Ｎ₂内の１点を始点とし、Ｐ
を終端とする直線となる。したがって、類似度計算はす
べて三角形の内側で行なわれることになる。

【００２３】いま、時間長Ｎuの未知入力があり、その
内容が音声ｋであったとする。ただし、未知入力の終端
は既知であるが、始端は未知である（したがって、Ｎu
も未知である）とする。この未知入力と単語ｋの標準パ
ターンＳ_kの照合を行なう場合、ＮをＮ₁からＮ₂まで、
１フレームずつずらせながら、各フレームに対して（数
１）を用いて時間長をＩに伸縮し、未知入力パラメータ
と標準パターンとの類似度を求める。このとき標準パタ
ーンはＳ_kであるので、発声が正確であるならば、Ｎ＝
Ｎuにおいて類似度は最大となるはずである。

【００２４】図４においては終端が既知として説明を行
なったが、両端が未知の場合、すなわち、音声区間が不
明である場合にも、この方法を拡張することができる。
図５はその説明図である。同図において、終端点の横軸
（入力の時間軸）座標をｊとする。ここで、もしｊの位
置が入力音声の終端に一致していれば図４の場合と同じ
であるが、今度は両端点が未知という仮定であるので、
必ずしもｊが音声の終端点と一致するとは限らない。し
かしながら、ｊを音声区間が十分に入る広い範囲ｊ₁≦
ｊ≦ｊ₂でスキャンすれば、ｊが音声の終端と一致する
時点ｊ＝ｊ₀ が必ず存在する。その場合、始端点はｊ₀
−Ｎ₂〜ｊ₀−Ｎ₁の範囲内の点ｊ₀−Ｎuに存在するはず
である。そして、このようなスキャンした場合において
も、発声した言葉と標準パターンが一致していれば、始
端がｊ₀−Ｎu、終端がｊ₀のときの類似度が、他のどの
ようなｊおよびＮの組合せよりも大きくなる。しかも、
この類似度は他標準パターンに対する類似度よりも大き
い。

【００２５】このように図５に示した方法は、騒音と音
声が混在した信号から、標準パターンに最も類似した部
分を切り出すことができる。したがって、一般に用いら
れているような複雑な音声区間検出の手続きを必要とし
ない。

【００２６】類似度の計算は以下に述べるように、特徴
パラメータの時系列パターンを用い、統計的距離尺度
（事後確率に基づく距離）によって計算する。

【００２７】１フレームあたりの特徴パラメータの個数
をＤとすると、Ｉフレームの時系列パターンはＤ×Ｉ次
元のベクトルとなる。いま、未知入力の第ｉフレームの
パラメータを

【００２８】

【数２】

【００２９】とし、単語ｋの標準パターンの第ｉフレー
ムの成分を

【００３０】

【数３】

【００３１】とすると、それぞれ（数４）および（数
５）で求められる。

【００３２】

【数４】

【００３３】

【数５】

【００３４】時系列パターンをそれぞれ

【００３５】

【数６】

【００３６】とすると、（数７）および（数８）で求め
られる。

【００３７】

【数７】

【００３８】

【数８】

【００３９】単語ｋに対する類似度をＬ_kとすると、次
式で求められる。

【００４０】

【数９】

【００４１】ここで、

【００４２】

【数１０】

【００４３】は単語ｋの標準パターンであり、

【００４４】

【数１１】

【００４５】および

【００４６】

【数１２】

【００４７】で示される。ただし、

【００４８】

【数１３】

【００４９】は、単語ｋの平均値ベクトル、

【００５０】

【数１４】

【００５１】は、全ての単語の周囲情報の平均値ベクト
ルである。また

【００５２】

【数１５】

【００５３】は、共分散行列であり、各単語の共分散行
列

【００５４】

【数１６】

【００５５】と周囲情報の共分散行列

【００５６】

【数１７】

【００５７】を用いて（数１８）で作成できる。

【００５８】

【数１８】

【００５９】

【数１９】

【００６０】は、各単語に属する多くのサンプルを用い
て次のように作成する。図６に示すように、音声とその
周囲の区間に対して、１フレームずつずらしながら複数
の区間（区間長は１フレーム）を設定する。このような
操作を各単語の多くのサンプルに対して行ない、それら
の区間のパラメータの平均値ベクトル（数１４）と共分
散行列（数１７）を作成する。

【００６１】図１において、１０は入力信号をディジタ
ル信号に変換するＡＤ変換部、１１は音声分析区間（フ
レーム）ごとに分析する音響分析部、１２は特徴パラメ
ータ抽出部であり、低次のＬＰＣケプストラム係数をフ
レームごとに出力する。特徴パラメータはＬＰＣケプス
トラム係数の他に、自己相関係数、ＰＡＲＣＯＲ係数、
帯域通過フィルタの出力などがある。

【００６２】以下、各ブロックの機能を図７のフローチ
ャートを参照しながら説明する。フレーム同期信号発生
部１３は、１フレームごとに同期信号を発生する。フレ
ーム番号をｊとし、入力音声を含む十分広い区間ｊ₁≦
ｊ≦ｊ₂で類似度の計算を行なうものとする。１フレー
ムの期間で次の操作を行なう。

【００６３】標準パターン選択部１８は、照合対象とす
る単語の１つ１つを選択する（単語数をＫとする）。選
択された標準パターンに対して、区間候補設定部１５で
は、各単語の最小音声区間長Ｎ₁（ｋ）と最大音声区間
長Ｎ₂（ｋ）を設定する。そして、区間長Ｎ（Ｎ₁(k)≦
Ｎ＜Ｎ₂(k)）に対して、特徴パラメータ抽出部１２で得
られた未知入力パラメータをｊ−Ｎ〜ｊフレームの時間
分だけ並べて、入力パラメータの時系列を作り、時間軸
正規化部１４において、時系列パラメータの時間を（数
１）を用いてＩフレームに伸縮し、（数７）に相当する
パラメータ系列を得る。類似度計算部１６はこのパラメ
ータ系列と、標準パターン選択部１８で選ばれた標準パ
ターン格納部１７中の標準パターン（数１０）との間で
（数９）を用いて類似度Ｌ_k（Ｎ）を計算する。類似度
比較部２０では、Ｌ_k（Ｎ）と１次記憶１９に蓄積され
ているこの時点までの単語ｋに対する最大類似度値max
Ｌ_kを比較し、Ｌ_k（Ｎ）＞maxＬ_kならばmaxＬ_kをＬ
_k（Ｎ）に置きかえて１次記憶１９を更新し、Ｌ_k（Ｎ）
≦maxＬ_kならば１次記憶１９の内容は変更しない。

【００６４】このような一連の操作を、１つの標準パタ
ーンに対してＮ₂(k)−Ｎ₁(k)＋１回ずつ、１フレームの
間にＫ個の標準パターンに対して行なう。そして区間長
Ｎ₁(k)と最大音声区間長Ｎ₂(k)を設定する。

【００６５】対象とする入力の全区間（ｊ＝ｊ₁〜ｊ₂）
に対してこのような操作を行うと、ｊ＝ｊ₂フレームを
終了した時点では、

【００６６】

【数２０】

【００６７】に示す全区間ｊ₁〜ｊ₂における各標準パタ
ーンに対する類似度の最大値の列

【００６８】

【数２１】

【００６９】、（数１１）、（数１２）が求められる。

【００７０】ここで単語ｋの標準パターンに対する最大
類似度maxＬ_kを改めてＭ_kとすると（数２０）に示した
一次処理部１から出力される結果の類似度の列は（数２
２）のようになる。

【００７１】

【数２２】

【００７２】次に、二次照合部２の考え方を説明する。
一次照合部１は騒音環境下で発声された１単語または２
単語以上の連続的に発声された音声の中から一次照合の
ための標準パターンと照合を行って各単語をスポッティ
ングして各単語ごとの最大類似度を求め、これを（数２
２）のかたちで出力する。一次照合部１の結果として求
められた（数２２）を入力として、前記（表３）を用い
て説明した、一次照合の結果得られる類似度の列に認識
対象ごとに異なる傾向が現れるという性質を用いて認識
を行う。

【００７３】同じ言葉を発声しても人によって声の質が
違ったり発声速度が異なる。また、同じ人が発声しても
毎回同じ発声ができるとは限らない。このため、二次照
合部２の入力（数２１）にはバラツキがある。よって二
次照合２ではこのバラツキを吸収するため入力を正規化
してから音声の認識を行う。正規化は入力の類似度列
（数２２）に含まれる要素の最大値を基準に行なう。正
規化された値をＭ'_kとすると、正規化に用いる式は（数
２３）に示すとおりである。

【００７４】

【数２３】

【００７５】（数２３）を用いて（数２２）を正規化し
た類似度列は、（数２４）に示すとおりになる。

【００７６】

【数２４】

【００７７】ここで、Ｋは一次照合部の標準パターンの
個数である。

【００７８】前記（表３）を用いて説明した一次照合の
結果得られる類似度の列に認識対象ごとに異なる傾向が
現れるという性質を用いて認識を行う。この類似傾向を
利用してパターンマッチングにより二次照合を行い音声
の認識を行う。このような処理を行うことにより、１単
語または連続的に発声された２単語以上の音声の認識を
行うことができる。

【００７９】上述したとおり、一次照合によって得られ
る結果の類似度を正規化したものの分布は、認識対象ご
とに異った傾向がある。この分布が多次元正規分布に従
うものと仮定し、類似度の傾向を統計的な量として二次
照合用の標準パターンに反映させ、統計的距離尺度を用
いて類似度計算することで、統計的な許容範囲にある入
力と標準パターンのずれを吸収しながら二次照合を行な
うことができる。

【００８０】二次照合部２で用いる統計的距離尺度はベ
イズ判定に基づいた距離尺度を用いており二次照合部２
における単語rに対する距離をＰrとすると、（数２５）
のようになる。

【００８１】

【数２５】

【００８２】ここで、Ｒは二次照合部の認識対象数、

【００８３】

【数２６】

【００８４】は単語ｒの標準パターン、

【００８５】

【数２７】

【００８６】は単語ｒの正規化された類似度の平均値ベ
クトル、

【００８７】

【数２８】

【００８８】は単語ｒの共分散行列である。実際に計算
に用いる式は、（数２５）の両辺の対数をとって定数を
除いて簡略化した式

【００８９】

【数２９】

【００９０】を用いる。

【００９１】二次照合部２用の標準パターンの作成は標
準パターン作成用の音声データ（概ね３００〜１０００
人分）すべてに対し、前記一次照合部１の処理を行ない
認識対象ごとに正規化された類似度の平均値ベクトル
（数２７）、共分散行列（数２８）を求めることにより
行なわれる。

【００９２】以上述べた考え方に基づき、図１を用いて
二次照合部の機能ブロックの説明を行なう。入力バッフ
ァ３１は一次照合部１から一次照合の過程で出力される
類似度を蓄え、入力正規化部３２の要求に応じて（数２
２）に示した類似度列を出力する。入力正規化部３２は
（数２３）の正規化の式を用いて（数２２）を正規化
し、（数２４）で示した正規化された類似度列を求め
る。類似度計算部３３はこの正規化された類似度列（数
２４）を用いて、標準パターン格納部３４に格納された
標準パターン全てとのマッチングを行ない、類似度Ｑr
を計算する。類似度比較部３５においてＱrを最大にす
る単語ｒを認識結果として選択し出力する。

【００９３】本実施例の方法を用いて、成人の男女計３
００人が発声した上記（表１）の１２数字の認識実験を
行い評価した結果、平均認識率で９５．０％を得た。

【００９４】なお、本実施例で述べた一次照合部は、標
準パターンと入力のマッチングを行なう際のマッチング
ルートを線形に伸縮する方法を採っているが、例えば特
開昭６３−１２５９９９号公報に示されているように、
マッチングルートが逐次計算により算出される方法を用
いて標準パターンと入力のマッチングを行ない、音声の
前後に騒音を含んだ入力中から音声を切り出すという認
識方法を用いても良い。この場合、一次照合部におい
て、（数２０）に示した入力と全単語の標準パターンと
の類似度の最大値の列を求めるようにし、二次照合を行
なうことによって同様の効果を得ることができる。

【００９５】以上で説明した本発明の実施例によれば、
（数２２）に示したように二次照合部２における入力は
一次処理用の標準パターン数の次元しかないため、一次
照合部１の結果を蓄えておくためのメモリおよび、二次
照合部２の計算に必要なメモリも少なくて済む。例え
ば、一次処理で２０個の標準パターンを使い０から９９
までの１００個の数字を認識する場合、従来の方法では
入力系列のうち１００フレームにわたって一次処理の結
果が有効なときサーチの幅を５まで絞っても一次処理の
結果を蓄えるためには１０００ワードのメモリが必要で
ある。ところが、本実施例によれば２０ワードのメモリ
で済む。

【００９６】

【発明の効果】以上説明したように、本発明は、一次処
理用の標準パターンと照合を行って得られる認識対象の
標準パターンに対する類似度の列に認識対象単語ごとに
異なった傾向が現れるという性質を用いて１単語または
２単語以上の連続的に発声された音声の認識を行うよう
にしたので、記憶容量が少なくて済み、単純な処理で連
続的に発声された２単語以上の音声を認識することが可
能となる。

【図面の簡単な説明】

【図１】本発明の一実施例における音声認識方法を具現
化する機能ブロック図

【図２】本発明の一実施例における音声認識方法の基本
的な考え方を説明するための概念図

【図３】同実施例における音声区間長の伸縮を説明する
概念図

【図４】同実施例における音声区間長の伸縮を説明する
概念図

【図５】同実施例における音声区間長の伸縮を説明する
概念図

【図６】同実施例の標準パターン作成時の周囲情報の標
準パターン作成法を説明する概念図

【図７】同実施例の処理手順を説明するフローチャート

【図８】従来の音声認識方法を具現化する機能ブロック
図

【符号の説明】

１一次照合部２二次照合部１０ＡＤ変換部１１音響分析部１２特徴パラメータ抽出部１３フレーム同期信号発生部１４時間軸正規化部１５区間候補設定部１６類似度計算部１７標準パターン格納部１８標準パターン選択部１９一次記憶２０類似度比較部３１入力バッファ３２入力正規化部３３類似度計算部３４標準パターン３５類似度比較部

Claims

【特許請求の範囲】

【請求項１】１単語または連続発声された２単語以上の
音声に対して、入力信号を分析し、全単語の標準パター
ンとの照合を行ない、その結果を類似度の列として出力
する一次照合部と、前記一次照合部が出力する類似度の
列を認識のためのパラメータとして扱い、予め作成して
おいた二次照合用の標準パターンとの照合を行なう二次
照合部を具備し、前記一次照合部の結果として出力され
る類似度列を前記二次照合部において予め作成しておい
た二次照合用の全認識対象の標準パターンとの照合を行
ない、この照合の結果により１単語または連続的に発声
された２単語以上の音声認識を行うことを特徴とする音
声認識方法。