JPH05165489A

JPH05165489A - 音声認識方法

Info

Publication number: JPH05165489A
Application number: JP3330274A
Authority: JP
Inventors: Tatsuya Kimura; 達也木村
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1991-12-13
Filing date: 1991-12-13
Publication date: 1993-07-02

Abstract

(57)【要約】【目的】本発明は、不特定話者を対象とする認識性能
の優れた音声認識方法を提供することを目的とする。【構成】本発明は、同一単語の複数個の音声サンプル
を、音響イベントに分割し、同一音響イベント内の部分
区間毎の平均値と共分散を求める事により第１の標準パ
ターンを作る。この標準パターンを学習用の標準パター
ンとして、学習用の各サンプルと標準パターンとの間の
フレーム対応をとり部分ベクトルを再度切出す。切出さ
れた同一クラスに属する部分ベクトルの統計情報を再度
算出する事により第２の標準パターンを作成し、認識用
とする。この認識用の標準パターンを作成する際には、
不特定話者のデータを取扱うのに適した統計的距離尺度
を利用する事が出来るため、多くの学習サンプルについ
て精度の高い音響イベントへの分割が可能となるため質
の良い標準パターンができる。従って、質の良い標準パ
ターンを得る事ができ、認識率の向上を図る事ができ
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は人間の声を機械に認識さ
せる音声認識方法に関するものである。

【０００２】

【従来の技術】近年、使用者の声を登録することなし
に、誰の声でも認識できる不特定話者用の認識装置が実
用として使われるようになった。不特定話者用の実用的
な認識方法を、特開昭61-188599号公報を第１の従来
例、特開昭62-111293号公報を第２の従来例として説明
する。

【０００３】第１の従来例の方法は入力音声の始端、終
端を求めて音声区間を決定し、音声区間を一定時間長
（Ｉフレーム）に線形伸縮し、これと単語標準パターン
との類似度を統計的距離尺度を用いてパターンマッチン
グをすることによって求め、単語を認識する方法であ
る。

【０００４】単語標準パターンは、認識対象単語を多く
の人に発声させて音声サンプルを収集し、すべての音声
サンプルを一定時間長Ｉフレーム（実施例ではＩ＝１
６）に伸縮し、その後、単語ごとに音声サンプル間の統
計量（平均値ベクトルと共分散行列）を求め、これを加
工することによって作成している。すなわち、すべての
単語標準パターンの時間長は一定（Ｉフレーム）であ
り、原則として１単語に対し１標準パターンを用意して
いる。

【０００５】第１の従来例では、パターンマッチングの
前に音声区間を検出する必要があるが、第２の従来例は
音声区間検出を必要としない部分が異なっている。パタ
ーンマッチングによって、ノイズを含む信号の中から音
声の部分を抽出して認識する方法（ワードスポッティン
グ法）を可能とする方法である。すなわち、音声を含む
十分長い入力区間内において、入力区間内に部分領域を
設定し、部分領域を伸縮しながら標準パターンとのマッ
チングを行なう。そして、部分領域を入力区間内で単位
時間ずつシフトして、また同様に標準パターンとのマッ
チングを行なうという操作を設定した入力区間内全域で
行ない、すべてのマッチング計算において距離が最小と
なった単語標準パターン名を認識結果とする。ワードス
ポッティング法を可能にするために、パターンマッチン
グの距離尺度として事後確率に基づく統計的距離尺度を
用いている。

【０００６】

【発明が解決しようとする課題】従来例の方法は、小型
化が可能な実用的な方法であり、特に第２の従来例は、
騒音にも強いことから実用として使われ始めている。し
かし、従来例の問題点は十分な単語認識率が得られない
ことである。このため、語彙の数が少ない用途にならば
使うことが出来るが、語彙の数を増やすと認識率が低下
して実用にならなくなってしまう。従って、従来例の方
法では認識装置の用途が限定されてしまうという課題が
あった。

【０００７】即ち、従来例において認識率が十分でない
要因は次の２点である。（１）認識対象とする全ての単語長（標準パターンの時
間長）を一定の長さＩフレームにしている。これは、単
語固有の時間長の情報を欠落させていることになる。

【０００８】（２）入力長をＩフレームに伸縮するので
欠落したり重複するフレームが生じる。前者は情報の欠
落になり、後者は冗長な計算を行なうことになる。そし
てどちらの場合も認識に重要な「近隣フレーム間の時間
的な動き」の情報が欠落してしまう。

【０００９】本発明は上記従来の課題を解決するもの
で、「処理が単純で装置の小型化が可能である」、「方
法が簡単なわりには認識率が高い」、「騒音に対して頑
強である」という従来の長所を生かしながら、従来例よ
りも格段に認識率を向上させる音声認識方法を提供する
ことを目的とするものである。

【００１０】

【課題を解決するための手段】本発明は上記目的を達成
するもので、以下の手段によって上記課題を解決した。

【００１１】まず課題（１）に対しては、単語ごとに標
準時間長Ｉ_k（k＝1,2,…K；Kは認識対象単語の種類）を
設定し、単語長情報の欠落がないようにした。Ｉ_kは単
語ごとに多くの発声サンプルを集め、その平均値とし
た。

【００１２】課題（２）に対しては、情報の欠落がない
ように、常に近隣の複数フレームをひとまとめにしたも
のをパラメータとしてパターンマッチングを行なう。ま
た、近隣フレーム間の時間的な動きが欠落しないように
するために、パターンマッチングに用いる距離尺度には
フレーム間の相関を含む統計的な距離尺度を用いる。

【００１３】また、予め多数の人が発声した音声データ
を用いて音声データの一部を表現する部分パターンを音
声全体をカバーできるように複数種類作成し、複数種類
の部分パターンを連接して第１の単語標準パターンを構
成する。その第１の単語標準パターンの一部である部分
パターンと特徴パラメータベクトルの部分パターンとの
部分距離を統計的距離尺度で計算し、入力音声区間の各
フレームと上記第１の単語標準パターンの各フレームの
フレーム対毎に上記部分距離を逐次算出し、この部分距
離を時間の順序関係を保ちながら最適に累積する事によ
り、入力音声と上記第１の単語標準パターンとの距離を
求め、最小距離を得た場合の最適フレーム対の履歴を保
存しておく。この履歴にしたがい、第１の単語標準パタ
ーンのフレームを基準として、入力音声を学習用に用意
されている同一単語の複数サンプルについて分割し、同
一分割位置に対応する特徴パラメータの統計量を求める
事により第２の単語標準パターンを作成する。入力音声
の特徴パラメータベクトルと上記第２の単語標準パター
ンの一部である部分パターンとの部分距離を統計的距離
尺度で計算し、入力音声区間の各フレームと上記第２の
単語標準パターンの各フレームのフレーム対毎に上記部
分距離を逐次算出し、この部分距離を時間の順序関係を
保ちながら最適に累積する事により、入力音声と上記第
２の単語標準パターンとの最小距離を求め、入力音声の
終了時点で全認識対象単語の第２の標準パターンに対す
る距離を相互に比較し、上記距離が最小となる第２の単
語標準パターンに対応する音声名を認識結果とする。

【００１４】

【作用】本発明は上記構成によって、不特定話者用の音
声認識に対して高い認識率が得られ、また処理が単純な
ので、信号処理プロセッサ（ＤＳＰ）を用いて、小型で
リアルタイム動作が可能な認識装置であり、ワードスポ
ッティング機能を導入することによって、騒音に対して
頑強な、実用性の高いものとなっている。

【００１５】さらに、上記手段により、第１の単語標準
パターンを用いて、学習用の各サンプルと標準パターン
との間のフレーム対応をとり部分ベクトルを切出し、切
出された同一クラスに属する部分ベクトルの統計情報を
算出して第２の単語標準パターンを作成する。実際の認
識の際にはこの第２の単語標準パターンを利用する。こ
の第２の単語標準パターンを作成する際には、不特定話
者のデータを取扱うのに適した統計的距離尺度を利用す
る事が出来る。従って、多くの学習サンプルについて精
度の高いフレーム対応を取りながら標準パターン作成を
する事が可能となる。そのため、従来法に比して質の良
い標準パターンを得る事ができ、認識率の向上を図る事
ができる。

【００１６】

【実施例】図１は本発明の実施例の構成を示したもので
ある。図１において、音響分析部11は入力信号をＡＤ変
換してを一定時間長（フレームと呼ぶ。この例では１フ
レーム＝10ms）ごとに分析する。例では線形予測分析
（ＬＰＣ分析）を用いている。特徴パラメータ抽出部12
では音響分析部11の出力結果に基づき、特徴パラメータ
を抽出する。本実施例では、ＬＰＣケプストラム係数
（C₀〜C₁₀）および差分パワー値V₀の１２個のパラメー
タを用いている。入力の１フレームあたりの特徴パラメ
ータを

【００１７】

【外１】

【００１８】と表すことにすると（数１）のようにな
る。

【００１９】

【数１】

【００２０】ただし、iは入力のフレーム番号、pはケプ
ストラム係数である（p＝10）。

【００２１】音声区間検出部13は入力信号音声の始端、
終端を検出する部分である。音声区間の検出法は音声の
パワーを用いる方法が簡単で一般的であるが、どのよう
な方法でもよい。ここでは音声の始端が検出された時点
で、認識が始まりi＝1になるとする。複数フレームバッ
ファ14は第iフレームの近隣のフレームの特徴パラメー
タを統合してパターンマッチング（部分マッチング）に
用いる入力ベクトルを形成する部分である。第iフレー
ムにおける入力ベクトル

【００２２】

【外２】

【００２３】は、（数２）のようになる。

【００２４】

【数２】

【００２５】（数２）はmフレームおきにi−l₁〜i＋l₂
フレームの特徴パラメータを統合したベクトルであり、
l₁=l₂=3，m=1 とするとこの次元数は（p+2）＊（l₁+l₂
+1）＝12×7＝84となる。なお、（数２）ではフレーム
間隔mは一定になっているが、必ずしも一定である必要
はない。mが一定でない場合は非線形にフレームを間引
くことに相当する。本発明では２種類の単語標準パター
ンを用いる。１つは学習用として用いる標準パターンで
あり、学習用標準パターン格納部15に格納されている。
もう１つは認識に用いる標準パターンであり、認識用標
準パターン格納部16に格納されている。「学習」「認
識」の切替えは図１中の切替スイッチＳＷを用いて行
う。

【００２６】［標準パターン作成法］まず学習用標準パ
ターンの作成方法を説明する。話をわかり易くするため
に、今、認識対象単語を日本語の数字「イチ」「ニ」
「サン」「シ」「ゴ」「ロク」「ナナ」「ハチ」「キュ
ウ」「ゼロ」の１０種とする。このような例を用いても
説明の一般性にはなんら影響はない。たとえば、「サ
ン」の標準パターンは次のような手段で作成する。

【００２７】（１）多数の人（１００名とする）がサン
と発声したデータを用意する。このデータを「学習用サ
ンプル」と記す。

【００２８】（２）１００名のサンの持続時間分布を調
べ、１００名の平均時間長JSを求める。

【００２９】（３）JSの時間長のサンプルを１００名の
中から探し出す。複数のサンプルがあった場合はフレー
ムごとに複数サンプルの平均値を計算する。このように
求められた代表サンプル

【００３０】

【外３】

【００３１】を（数３）とする。

【００３２】

【数３】

【００３３】ここで

【００３４】

【外４】

【００３５】は１フレームあたりのパラメータベクトル
であり、（数１）と同様に１１個のＬＰＣケプストラム
係数と差分パワーで構成される。

【００３６】（４）１００名分の各サンプル

【００３７】

【外５】

【００３８】と代表サンプル

【００３９】

【外６】

【００４０】との間でパターンマッチングを行ない、代
表サンプルのフレームと１００名分の各サンプルのフレ
ーム間の対応関係を求める（最も類似したフレーム同志
を対応づける）。なお、フレーム間の対応関係は例えば
ダイナミックプログラミングの手法を用いれば効率よく
求めることができる。

【００４１】（５）代表サンプルの各フレーム（j＝1〜
J³）に対応して、１００名分のサンプルそれぞれから
（数２）の形の部分ベクトルを切り出す。簡単のため l
₁＝l₂＝3、m＝1 とする。

【００４２】代表サンプルの第jフレームに相当する、
１００名分のデータのうち第n番目のサンプルの部分ベ
クトルを（数４）とする。

【００４３】

【数４】

【００４４】ここで（j）は同一単語「サン」の第n番目
のサンプル中、代表ベクトルの第jフレームに対応する
フレームであることを示す。本実施例では８４次元のベ
クトルである（n＝1〜100）。

【００４５】（６）１００名分の

【００４６】

【外７】

【００４７】の平均値

【００４８】

【外８】

【００４９】（８４次元）と共分散行列

【００５０】

【外９】

【００５１】（８４×８４次元）を求める（ｊ＝1〜
J³）。平均値と共分散行列は標準フレーム長の数J³だけ
存在することになる。ただし、これらは必ずしも全フレ
ームに対して作成する必要はなく、間引いて作成しても
よい。

【００５２】上記（１）〜（６）同様の手続きで「サ
ン」以外の単語に対しても

【００５３】

【外１０】

【００５４】を求める。全ての単語に対する１００名分
すべてのサンプルデータに対し、移動平均

【００５５】

【外１１】

【００５６】（８４次元）と移動共分散行列

【００５７】

【外１２】

【００５８】（８４×８４次元）を求める。これらを周
囲パターンと呼ぶ。

【００５９】次に平均値と共分散を用いて学習用標準パ
ターンを作成する。ａ．共分散行列を共通化する

【００６０】

【数５】

【００６１】ここで、Kは認識対象単語の種類（K＝1
0）、J^kは単語ｋ（ｋ＝1,2,…,K）の平均時間長を表わ
す。また、gは周囲パターンを混入する割合であり通常g
＝1 とする。

【００６２】ｂ．各単語の部分パターン

【００６３】

【外１３】

【００６４】を作成する。

【００６５】

【数６】

【００６６】

【数７】

【００６７】これらの式の導出は後述する。

【００６８】標準パターン作成の概念図は学習用、認識
用とも図２に示す通りである。音声サンプルの始端と終
端の間において、代表サンプルとのフレーム対応を求め
て、それによって音声サンプルをJ³に分割する。図で
は、代表サンプルとの対応フレームを求めて（j）で示
してある。そして、（j）＝１〜（j）＝J³の各々につい
て、（j）−l₁〜（j）＋l₂の区間の１００名分のデータ
を用いて平均値と共分散を計算し、部分パターン

【００６９】

【外１４】

【００７０】を求める。従って、単語ｋの標準パターン
は互にオーバーラップする区間を含むJ^k個の部分パター
ンを接続したものになる。周囲パターンは図のようにl₁
+l₂+1フレームの部分区間を１フレームずつシフトさせ
ながら平均値と共分散を求める。周囲パターン作成の範
囲は音声区間のみならず前後のノイズ区間も対象として
もよい。

【００７１】各単語について得られた学習用標準パター
ンは学習用標準パターン格納部15にあらかじめ格納して
おく。

【００７２】［部分距離の計算］上記のようにしてあら
かじめ作成されている部分パターンと複数フレームバッ
ファとの間の距離（部分距離）を部分距離計算部17にお
いて計算する。部分距離の計算は（数２）で示す複数フ
レームの情報を含む入力ベクトルと各単語の部分パター
ンとの間で、統計的な距離尺度を用いて計算する。単語
全体としての距離は部分パターンとの部分距離を累積し
て求めることになるので、入力の位置や部分パターンの
違いにかかわらず距離値が相互に比較できる方法で部分
距離を計算する必要がある。このためには、事後確率に
基づく距離尺度を用いる必要がある。（数２）の形の入
力ベクトルを

【００７３】

【外１５】

【００７４】とする（簡単のため当分の間i,jを除いて
記述する）。単語ｋの部分パターン

【００７５】

【外１６】

【００７６】に対する事後確率

【００７７】

【外１７】

【００７８】はBayesの定理を用いて次のようになる。

【００７９】

【数８】

【００８０】右辺第１項は、各単語の出現確率を同じと
考え、定数として取扱う。右辺第２項の事前確率は、パ
ラメータの分布を正規分布と考え、（数９）となる。

【００８１】

【数９】

【００８２】

【外１８】

【００８３】は単語とその周辺情報も含めて、生起し得
る全ての入力条件に対する確率の和であり、パラメータ
がＬＰＣケプストラム係数やバンドパスフィルタ出力の
場合は、正規分布に近い分布形状になると考えることが
できる。これが正規分布に従うと仮定し、平均値と共分
散行列

【００８４】

【外１９】

【００８５】を用いると、次のようになる。

【００８６】

【数１０】

【００８７】（数９）、（数１０）を（数８）に代入
し、対数をとって、定数項を省略し、さらに−２倍する
と、次式を得る。

【００８８】

【数１１】

【００８９】この式は、Bayes距離を事後確率した式で
あり、識別能力は高いが計算量が多いという欠点があ
る。この式を次のようにして線形判別式に展開する。全
ての単語に対する全ての部分パターンそして周囲パター
ンも含めて共分散行列が等しいものと仮定する。このよ
うな仮定のもとに共分散行列を（数５）によって共通化
し、（数１１）に代入すると、（数１１）の第１項、第
２項は次のように展開できる。

【００９０】

【数１２】

【００９１】（数１１）第１式の第３項は０になる。従
って、（数１１）は次のように簡単な一次判別式にな
る。

【００９２】

【数１３】

【００９３】ここで、改めて単語ｋの第j部分パターン
と入力の第iフレーム近隣ベクトルの部分パターンの類
似度として（数１３）を書き直すと、

【００９４】

【数１４】

【００９５】ここで、

【００９６】

【外２０】

【００９７】はそれぞれ式（数６）、（数７）で与えら
れる。

【００９８】

【外２１】

【００９９】は単語ｋの第j部分パターンと入力のiフレ
ーム近隣ベクトルの部分類似度として添え字i,jを用い
て（数１３）のＬ^kを改めて書きなおしたものである。

【０１００】図１において距離累積部18は、各単語に対
する部分距離j＝1〜J^kの区間に対して累積し、単語全体
に対する類似度を求める部分である。その場合入力部分
（Ｉフレーム）を各単語の標準時間長J^kに伸縮しながら
累積する必要がある。この計算はダイナミックプログラ
ミングの手法（ＤＰ法）を用いて効率よく計算できる。

【０１０１】いま、例えば「サン」の累積距離を求める
ことにすると、常にｋ＝３なのでｋを省略して計算式を
説明する。

【０１０２】入力の第ｉフレーム部分と第ｊ番目の部分
パターンとの部分距離Ｌ_(i,j)と表現し、(i,j)フレーム
までの累積距離をg(i,j)と表現することにする。経路判
定部19は

【０１０３】

【数１５】

【０１０４】の演算を行い、式で示した３つの経路のう
ち累積距離が最小になる経路を選択する。この時に経路
判定部で選択された経路の履歴は経路格納部110に格納
される。

【０１０５】この経路の履歴を同一単語の全ての学習用
音声サンプル毎に求める。この経路の履歴は学習用音声
データ間について共通の音響イベントに分割している。
認識用標準パターン作成部111は経路の履歴と複数フレ
ームバッファ14に格納されている特徴パラメータ系列を
入力し、学習用の全サンプルについての統計情報即ち、
平均値ベクトルと共分散行列を求める。以下、上述の学
習用標準パターン作成の手続き（４）以降の手続を繰返
す事により、認識用の標準パターンが作成される。出来
上がった認識用標準パターンは認識用標準パターン格納
部16に格納される。

【０１０６】［認識処理］認識処理は、切替スイッチＳ
Ｗを「認識」に切換えて、標準パターン作成と同じ部分
距離の算出を１入力当り、全ての単語標準パターンにつ
いて行う。（数１５）に従って逐次部分距離を累積して
ゆき、j＝J^k，i＝Iとなる時点での累積距離g(i,J^k)を単
語ｋの類似度とする。判定部112は、累積距離g(i,J^k)の
最小値を与える単語ｋを求め出力する。

【０１０７】

【発明の効果】本発明は複数のフレームで形成される入
力ベクトルと、単語音声の部分パターンとの部分距離を
事後確率に基づく統計的距離尺度で求め、フレームをシ
フトしながら入力ベクトルを更新して各部分ベクトルと
の間の距離を累積してゆき、累積距離を最小とする単語
を認識結果とする方法に関するものである。

【０１０８】本発明は先ず、高い認識率が得られること
が特長である。そして、計算の方法が単純であるので信
号処理プロセッサ（ＤＳＰ）を用いた小型装置として容
易に実現できる。また、ワードスポッティングを行なう
ことができるので、環境騒音や話者自身が発する「え
〜」，「あ〜」などの不要語が混入した場合でも良好な
認識率が確保できる。

【０１０９】さらに、実際の認識の際には、第１の単語
標準パターンを用いて精度の高いフレーム対応を取りな
がら作成した第２の単語標準パターンを利用する。この
第２の単語標準パターンの作成の際には、不特定話者の
データを取り扱うのに適した統計的距離尺度を利用する
ことができるので、従来法に比して質の良い標準パター
ンを得ることができ、認識率の向上を図ることができ
る。

【０１１０】このように本発明は実用上有効であり、そ
の効果は大きい。

【図面の簡単な説明】

【図１】本発明の一実施例における音声認識装置の構成
図

【図２】同実施例における単語標準パターン作成の概念
図

【符号の説明】

１１音響分析部１２特徴パラメータ抽出部１４複数フレームバッファ１５学習用標準パターン格納部１６認識用標準パターン格納部１７部分距離計算部１８距離累積部１１０経路格納部１１１認識用標準パターン作成部１１２判定部

Claims

【特許請求の範囲】

【請求項１】入力音声信号を分析の基本単位であるフ
レーム毎に分析し分析パラメータを抽出し、分析フレー
ムの前後の複数フレームにわたる上記分析パラメータ列
を統合したベクトルを当該フレームにおける特徴パラメ
ータベクトルとして得、予め多数の人が発声した音声デ
ータを用いて音声データの一部を表現する部分パターン
を音声全体をカバーできるように複数種類作成し、複数
種類の部分パターンを連接して単語の標準パターンを構
成するという方法で第１の単語標準パターンを作成し、
その第１の単語標準パターンの一部である部分パターン
と上記特徴パラメータベクトルの部分パターンとの部分
距離を統計的距離尺度で計算し、入力音声区間の各フレ
ームと上記第１の単語標準パターンの各フレームのフレ
ーム対毎に上記部分距離を逐次算出し、この部分距離を
時間の順序関係を保ちながら最適に累積する事により、
入力音声と上記第１の単語標準パターンとの距離を求
め、最小距離を得た場合の最適フレーム対の履歴を保存
しておき、上記履歴にしたがって、第１の単語標準パタ
ーンのフレームを基準として入力音声を分割し、上記分
割を、学習用に用意されている同一単語の複数サンプル
について行い、同一分割位置に対応する特徴パラメータ
の統計量を求める事により第２の単語標準パターンを作
成し、入力音声の特徴パラメータベクトルと上記第２の
単語標準パターンの一部である部分パターンとの部分距
離を統計的距離尺度で計算し、入力音声区間の各フレー
ムと上記第２の単語標準パターンの各フレームのフレー
ム対毎に上記部分距離を逐次算出し、この部分距離を時
間の順序関係を保ちながら最適に累積する事により、入
力音声と上記第２の単語標準パターンとの最小距離を求
め、入力音声の終了時点で全認識対象単語の第２の標準
パターンに対する距離を相互に比較し、上記距離が最小
となる第２の単語標準パターンに対応する音声名を認識
結果とすることを特徴とする音声認識方法。
【請求項２】入力ベクトルと部分パターンとの距離を
計算する統計的距離尺度が、事後確率に基づく距離尺度
であることを特徴とする請求項１記載の音声認識方法。
【請求項３】統計的距離尺度が事後確率に基づく一次
判別式であることを特徴とする請求項１記載の音声認識
方法。