JPH05150796A

JPH05150796A - 音声認識装置

Info

Publication number: JPH05150796A
Application number: JP3314247A
Authority: JP
Inventors: Tatsuya Kimura; 達也木村
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1991-11-28
Filing date: 1991-11-28
Publication date: 1993-06-18

Abstract

(57)【要約】【目的】不特定話者を対象とした音声認識装置に関
し、認識率の向上と計算量削減の方法を提供することを
目的とする。【構成】入力音声信号をフレーム毎に分析する音響分
析手段と、分析フレームの前後の複数フレームにわたる
分析パラメータ列を統合したベクトルを当該フレームに
おける特徴パラメータベクトルとして得る特徴パラメー
タ抽出手段と、単語標準パターンを部分パターンの結合
として格納する部分パターン格納手段と、上記特徴パラ
メータベクトルと単語標準パターンの一部である部分パ
ターンとの部分距離計算手段と、計算された部分距離を
累積する距離累積手段と、上記累積演算の途中結果の記
憶手段と、上記途中結果を参照して上記部分距離および
部分距離の累積計算またはそのいずれか一方を選択的に
行い、認識結果を得るのに不必要な演算を省略するため
の制御手段と、入力音声の終了時点で累積距離が最小と
なる音声名を認識結果とする判定手段とから構成され
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は人間の声を機械に認識さ
せる音声認識装置に関するものである。

【０００２】

【従来の技術】近年、使用者の声を登録することなし
に、誰の声でも認識できる不特定話者用の認識装置が実
用として使われるようになった。不特定話者用の実用的
な方法として、特開昭61-188599号公報を第１の従来
例、特開昭62-111293号公報を第２の従来例として説明
する。

【０００３】第１の従来例の方法は入力音声の始端、終
端を求めて音声区間を決定し、音声区間を一定時間長
（Ｉフレーム）に線形伸縮し、これと単語標準パターン
との類似度を統計的距離尺度を用いてパターンマッチン
グをすることによって求め、単語を認識する方法であ
る。

【０００４】単語標準パターンは、認識対象単語を多く
の人に発声させて音声サンプルを収集し、すべての音声
サンプルを一定時間長Ｉフレーム（実施例ではＩ＝１
６）に伸縮し、その後、単語ごとに音声サンプル間の統
計量（平均値ベクトルと共分散行列）を求め、これを加
工することによって作成している。すなわち、すべての
単語標準パターンの時間長は一定（Iフレーム）であ
り、原則として１単語に対し１標準パターンを用意して
いる。

【０００５】第１の従来例では、パターンマッチングの
前に音声区間を検出する必要があるが、第２の従来例は
音声区間検出を必要としない部分が異なっている。パタ
ーンマッチングによって、ノイズを含む信号の中から音
声の部分を抽出して認識する方法（ワードスポッティン
グ法）を可能とする方法である。すなわち、音声を含む
十分長い入力区間内において、入力区間内に部分領域を
設定し、部分領域を伸縮しながら標準パターンとのマッ
チングを行なう。そして、部分領域を入力区間内で単位
時間ずつシフトして、また同様に標準パターンとのマッ
チングを行なうという操作を設定した入力区間内全域で
行ない、すべてのマッチング計算において距離が最小と
なった単語標準パターン名を認識結果とする。ワードス
ポッティング法を可能にするために、パターンマッチン
グの距離尺度として事後確率に基づく統計的距離尺度を
用いている。

【０００６】

【発明が解決しようとする課題】従来例の方法は、小型
化が可能な実用的な方法であり、特に第２の従来例は、
騒音にも強いことから実用として使われ始めている。し
かし、従来例の問題点は、十分な単語認識率が得られな
いことである。このため、語彙の数が少ない用途になら
ば使うことが出来るが、語彙の数を増やすと認識率が低
下して実用にならなくなってしまう。従って、従来例の
方法では認識装置の用途が限定されてしまうという課題
があった。

【０００７】即ち、従来例において認識率が十分でない
要因は次の２点である。（１）認識対象とする全ての単語長（標準パターンの時
間長）を一定の長さＩフレームにしている。これは、単
語固有の時間長の情報を欠落させていることになる。

【０００８】（２）入力長をＩフレームに伸縮するので
欠落したり重複するフレームが生じる。前者は情報の欠
落になり、後者は冗長な計算を行なうことになる。そし
てどちらの場合も認識に重要な「近隣フレーム間の時間
的な動き」の情報が欠落してしまう。

【０００９】本発明は上記従来の課題を解決するもの
で、「処理が単純で装置の小型化が可能である」、「方
法が簡単なわりには認識率が高い」、「騒音に対して頑
強である」という従来の長所を生かしながら、従来例よ
りも格段に認識率を向上させ、しかも単語類似度算出の
ための計算量は削減された認識方法による音声認識装置
を提供することを目的とするものである。

【００１０】

【課題を解決するための手段】本発明は上記目的を達成
するもので、以下の手段によって上記課題を解決した。

【００１１】まず課題（１）に対しては、単語ごとに標
準時間長Ｉ_k（k＝1,2,…K；Kは認識対象単語の種類）を
設定し、単語長情報の欠落がないようにした。Ｉ_kは単
語ごとに多くの発声サンプルを集め、その平均値とし
た。

【００１２】課題（２）に対しては、情報の欠落がない
ように、常に近隣の複数フレームをひとまとめにしたも
のをパラメータとしてパターンマッチングを行なう。ま
た、近隣フレーム間の時間的な動きが欠落しないように
するために、パターンマッチングに用いる距離尺度には
フレーム間の相関を含む統計的な距離尺度を用いる。

【００１３】その際、あるフレームの近隣フレームを含
めた幅のある区間（複数フレーム）を特徴パラメータと
して用いると特徴パラメータの次元数が大きい事に加
え、部分類似度を全ての入力区間及び、単語標準パター
ンの全区間について求めるために、膨大な計算量を必要
としてしまう。

【００１４】そこで本発明は、単語類似度算出時の部分
距離の累積演算の途中結果を記憶する累積演算記憶手段
と、上記累積演算の途中結果を参照してその時点以降の
部分距離の算出及び部分距離の累積演算またはそのいず
れか一方の計算を継続するか否かを判断し上記計算を選
択的に行い、認識結果の判定に影響を及ぼさない演算処
理を省略するための制御手段とを設ける。

【００１５】

【作用】本発明は上記構成によって、不特定話者用の音
声認識に対して高い認識率が得られ、また処理が単純な
ので、信号処理プロセッサ（ＤＳＰ）を用いて、小型で
リアルタイム動作が可能な認識装置であり、ワードスポ
ッティング機能を導入することによって、騒音に対して
頑強な、実用性の高いものとなっている。

【００１６】さらに、上記制御手段によって、部分距離
の算出及び部分距離の累積演算またはそのいずれか一方
の計算を選択的に行い、認識結果の判定処理に影響を及
ぼさない演算処理の省略を図る事により、単語類似度算
出に必要な計算量を削減している。

【００１７】

【実施例】図１は本発明の一実施例の構成を示したもの
である。図１において、音響分析部11は入力信号をＡＤ
変換して一定時間長（フレームと呼ぶ。この例では１フ
レーム＝10ms）ごとに分析する。本実施例では線形予測
分析（ＬＰＣ分析）を用いている。特徴パラメータ抽出
部12では音響分析部11の出力結果に基づき、特徴パラメ
ータを抽出する。本実施例では、ＬＰＣケプストラム係
数（C₀〜C₁₀）および差分パワー値V₀の１２個のパラメ
ータを用いている。入力の１フレームあたりの特徴パラ
メータを

【００１８】

【外１】

【００１９】と表すことにすると（数１）のようにな
る。

【００２０】

【数１】

【００２１】ただし、iは入力のフレーム番号、pはケプ
ストラム係数である（p＝10）。音声区間検出部13は入
力信号音声の始端、終端を検出する部分である。音声区
間の検出法は音声のパワーを用いる方法が簡単で一般的
であるが、どのような方法でもよい。ここでは音声の始
端が検出された時点で、認識が始まりi＝1になるとす
る。複数フレームバッファ14は第iフレームの近隣のフ
レームの特徴パラメータを統合してパターンマッチング
（部分マッチング）に用いる入力ベクトルを形成する部
分である。第iフレームにおける入力ベクトル

【００２２】

【外２】

【００２３】は（数２）のようになる。

【００２４】

【数２】

【００２５】（数２）はmフレームおきにi−l₁〜i＋l₂
フレームの特徴パラメータを統合したベクトルである。
l₁=l₂=3，m=1とするとこの次元数は（p+2）＊（l₁+l₂+
1）＝12×7＝84となる。なお、（数２）ではフレーム間
隔mは一定になっているが、必ずしも一定である必要は
ない。mが一定でない場合は非線形にフレームを間引く
ことに相当する。部分パターン格納部15は認識対象とす
る各単語の標準パターンを部分パターンの結合として格
納してある部分である。ここで標準パターン作成法をや
や詳細に説明する。

【００２６】［標準パターン作成法］話をわかり易くす
るために、今、認識対象単語を日本語の数字「イチ」
「ニ」「サン」「シ」「ゴ」「ロク」「ナナ」「ハチ」
「キュウ」「ゼロ」の１０種とする。このような例を用
いても説明の一般性にはなんら影響はない。たとえば、
「サン」の標準パターンは次のような手段で作成する。

【００２７】（１）多数の人（１００名とする）がサン
と発声したデータを用意する。このデータを「学習用サ
ンプル」と記す。

【００２８】（２）１００名のサンの持続時間分布を調
べ、１００名の平均時間長JSを求める。

【００２９】（３）JSの時間長のサンプルを１００名の
中から探し出す。複数のサンプルがあった場合はフレー
ムごとに複数サンプルの平均値を計算する。このように
求められた代表サンプルを

【００３０】

【外３】

【００３１】と表すことにすると、（数３）のようにな
る。

【００３２】

【数３】

【００３３】ここで

【００３４】

【外４】

【００３５】は１フレームあたりのパラメータベクトル
であり、（数１）と同様に１１個のＬＰＣケプストラム
係数と差分パワーで構成される。

【００３６】（４）１００名分の各サンプル（数２）と
代表サンプル（数３）との間でパターンマッチングを行
ない、代表サンプルのフレームと１００名分の各サンプ
ルのフレーム間の対応関係を求める（最も類似したフレ
ーム同志を対応づける）。なお、フレーム間の対応関係
は例えばダイナミックプログラミングの手法を用いれば
効率よく求めることができる。

【００３７】（５）代表サンプルの各フレーム（j＝1〜
J³）に対応して、１００名分のサンプルそれぞれから
（数２）の形の部分ベクトルを切り出す。簡単のため l
₁＝l₂＝3、m＝1 とする。

【００３８】代表サンプルの第jフレームに相当する、
１００名分のデータのうち第n番目のサンプルの部分ベ
クトルを（数４）で表わす。

【００３９】

【数４】

【００４０】ここで（j）は同一単語「サン」の第n番目
のサンプル中、代表ベクトルの第jフレームに対応する
フレームであることを示す。本実施例では８４次元のベ
クトルである（n＝1〜100）。

【００４１】（６）１００名分の

【００４２】

【外５】

【００４３】の平均値

【００４４】

【外６】

【００４５】（８４次元）と共分散行列

【００４６】

【外７】

【００４７】（８４×８４次元）を求める（j＝1〜
J³）。平均値と共分散行列は標準フレーム長の数J³だけ
存在することになる。ただし、これらは必ずしも全フレ
ームに対して作成する必要はなく、間引いて作成しても
よい。

【００４８】上記（１）〜（６）同様の手続きで「サ
ン」以外の単語に対しても

【００４９】

【外８】

【００５０】を求める。全ての単語に対する１００名分
すべてのサンプルデータに対し、移動平均

【００５１】

【外９】

【００５２】（８４次元）と移動共分散行列

【００５３】

【外１０】

【００５４】（８４×８４次元）を求める。これらを周
囲パターンと呼ぶ。次に平均値と共分散を用いて学習用
標準パターンを作成する。

【００５５】ａ．共分散行列を共通化すると（数５）の
ようになる。

【００５６】

【数５】

【００５７】ここでKは認識対象単語の種類（K＝10）、
J^kは単語ｋ（k＝1,2,…,K）の平均時間長を表わす。ま
た、gは周囲パターンを混入する割合であり通常g＝1 と
する。ｂ．各単語の部分パターン

【００５８】

【外１１】

【００５９】を作成すると（数６）、（数７）のように
なる。

【００６０】

【数６】

【００６１】

【数７】

【００６２】これらの式の導出は後述する。標準パター
ン作成の概念図は図２に示す通りである。音声サンプル
の始端と終端の間において、代表サンプルとのフレーム
対応を求めて、それによって音声サンプルをJ³に分割す
る。図では、代表サンプルとの対応フレームを求めて
（j）で示してある。そして、（j）＝１〜（j）＝J³の
各々について、（j）−l₁〜（j）＋l₂の区間の１００名
分のデータを用いて平均値と共分散を計算し、部分パタ
ーン

【００６３】

【外１２】

【００６４】を求める。従って、単語ｋの標準パターン
は互にオーバーラップする区間を含むJ^k個の部分パター
ンを接続してたものになる。周囲パターンは図のように
l₁+l₂+1フレームの部分区間を１フレームずつシフトさ
せながら平均値と共分散を求める。周囲パターン作成の
範囲は音声区間のみならず前後のノイズ区間も対象とし
てもよい。

【００６５】各単語について得られた単語標準パターン
は認識に先立ち部分パターン格納部15にあらかじめ格納
しておく。

【００６６】［部分距離の計算］上記のようにしてあら
かじめ作成されている部分パターンと複数フレームバッ
ファとの間の距離（部分距離）を部分距離計算部16にお
いて計算する。

【００６７】部分距離の計算は（数２）で示す複数フレ
ームの情報を含む入力ベクトルと各単語の部分パターン
との間で、統計的な距離尺度を用いて計算する。単語全
体としての距離は部分パターンとの距離を累積して求め
ることになるので、入力の位置や部分パターンの違いに
かかわらず距離値が相互に比較できる方法で部分距離を
計算する必要がある。このためには、事後確率に基づく
距離尺度を用いる必要がある。（数２）の形の入力ベク
トルを

【００６８】

【外１３】

【００６９】とする（簡単のため当分の間i,jを除いて
記述する）。単語ｋの部分パターン

【００７０】

【外１４】

【００７１】に対する事後確率

【００７２】

【外１５】

【００７３】はBayesの定理を用いて次のようになる。

【００７４】

【数８】

【００７５】右辺第１項は、各単語の出現確率を同じと
考え、定数として取扱う。右辺第２項の事前確率は、パ
ラメータの分布を正規分布と考え、（数９）と表わす。

【００７６】

【数９】

【００７７】

【外１６】

【００７８】は単語とその周辺情報も含めて、生起し得
る全ての入力条件に対する確率の和であり、パラメータ
がＬＰＣケプストラム係数やバンドパスフィルタ出力の
場合は、正規分布に近い分布形状になると考えることが
できる。

【００７９】

【外１７】

【００８０】が正規分布に従うと仮定し、平均値と共分
散行列

【００８１】

【外１８】

【００８２】を用いると、次のようになる。

【００８３】

【数１０】

【００８４】（数９）、（数１０）を（数８）に代入
し、対数をとって、定数項を省略し、さらに−２倍する
と、次式を得る。

【００８５】

【数１１】

【００８６】この式は、Bayes距離を事後確率化した式
であり、識別能力は高いが計算量が多いという欠点があ
る。この式を次のようにして線形判別式に展開する。全
ての単語に対する全ての部分パターンそして周囲パター
ンも含めて共分散行列が等しいものと仮定する。このよ
うな仮定のもとに共分散行列を（数５）によって共通化
し、（数１１）に代入すると、（数１１）の第１項、第
２項は次のように展開できる。

【００８７】

【数１２】

【００８８】（数１１）第１式の第３項は０になる。従
って、（数１１）は次のように簡単な一次判別式にな
る。

【００８９】

【数１３】

【００９０】ここで、改めて、単語ｋの第j部分パター
ンと入力の第iフレーム近隣ベクトルの部分パターンの
類似度として（数１３）を書き直すと、

【００９１】

【数１４】

【００９２】ここで、

【００９３】

【外１９】

【００９４】はそれぞれ（数６）、（数７）で与えられ
る。Ｌ_(i,j) ^kは単語ｋの第j部分パターンと入力のiフレ
ーム近隣ベクトルの部分類似度として添え字i,jを用い
て（数１３）のＬ^kを改めて書きなおしたものである。

【００９５】図１において距離累積部17は、各単語に対
する部分距離j＝1〜J^kの区間に対して累積し、単語全体
に対する類似度を求める部分である。その場合入力部分
（Ｉフレーム）を各単語の標準時間長J^kに伸縮しながら
累積する必要がある。この計算はダイナミックプログラ
ミングの手法（ＤＰ法）を用いて効率よく計算できる。

【００９６】いま、例えば「サン」の累積距離を求める
ことにすると、常にｋ＝３なのでｋを省略して計算式を
説明する。

【００９７】入力の第ｉフレーム部分と第ｊ番目の部分
パターンとの部分距離Ｌ_(i,j)と表現し、（ｉ，ｊ）フ
レームまでの累積距離をg(i,j)と表現することにする。
経路判定部18は

【００９８】

【数１５】

【００９９】の演算を行い、式で示した３つの経路のう
ち累積距離が最小になる経路を選択する。（数１５）に
従って逐次部分距離距離を累積してゆき、j＝J^k，i＝I
となる時点での累積距離g(i,J^k)を単語ｋの類似度とす
る。累積距離g(i,J^k)の最小値を与える単語ｋを認識結
果として求める。

【０１００】次に、本発明における計算量の削減方法に
ついて述べる。（数１４）で計算される部分距離及び、
（数１５）で累積距離は、式より明らかな通り、あたり
ｉおよびｊで規定される２次元の量であり、ｉを横軸、
ｊを縦軸とする２次元平面上の格子点毎に（数１４）及
び（数１５）を求める必要がある。この演算を全ての単
語について行うから、入力のフレーム数をＩ，標準パタ
ーンの平均長をＪ、単語数をＫとすると、全体でＮ＝Ｉ
＊Ｊ＊Ｋ個の格子点について（数１４）及び（数１５）
の演算を行う事になる。従来例ではＮ個の格子点全てに
ついて（数１４）及び（数１５）の計算を行っていた。
ところが実際上は、ｉ，ｊを固定して単語ｋを変えなが
ら（数１４）の累積距離の演算を進めていく手順をとっ
た場合、ｉ及びｊの値がある程度まで進むと、累積距離
g(i,j)の相対値が小さい単語についてのみこの演算を継
続するだけで認識結果は正しく求まることが分る。そこ
で、累積演算の途中の過程を累積演算記憶部19により記
憶しておき、その記憶内容を制御部110を参照すること
により、（数１４）および（数１５）の演算を継続する
か否かを決定する。具体的にはたとえば標準パターン軸
ｊのみに着目した場合には次の手順で累積演算を進め
る。ここで演算継続を判断するｊをJbとする。

【０１０１】(1)j≦Jbの時全単語について（数１４）
及び（数１５）を実行する。 (2)j＝Jbの時 Jbにおける累積類似度を上位Ｂ個残す。

【０１０２】(3)j≧Jbの時累積類似度の残された格子
点から到達可能な格子点についてのみ（数１４）及び
（数１５）を実行する。

【０１０３】上記JbおよびＢは認識対象単語の種類、数
により実験的に決められる。このようにしてj=J^kまで演
算が進んだ単語ｋについて累積距離g(i,J^k)を単語類似
度として求め、g(i,J^k)の最小値を与える単語ｋを判定
部111により認識結果として求めて出力する。

【０１０４】

【発明の効果】本発明は複数のフレームで形成される入
力ベクトルと、単語音声の部分パターンとの部分距離を
事後確率に基づく統計的距離尺度で求め、フレームをシ
フトしながら入力ベクトルを更新して各部分ベクトルと
の間の距離を累積してゆき、累積距離を最小とする単語
を認識結果とする方法に関するものである。

【０１０５】本発明は先ず、高い認識率が得られること
が特長である。そして、計算の方法が単純であるので信
号処理プロセッサ（ＤＳＰ）を用いた小型装置として容
易に実現できる。また、ワードスポッティングを行なう
ことができるので、環境騒音や話者自身が発する「え
〜」，「あ〜」などの不要語が混入した場合でも良好な
認識率が確保できる。

【０１０６】しかも、単語類似度の計算過程で部分距離
の算出及び部分距離の累積演算を選択的に行って認識結
果の判定処理に影響を及ぼさない演算処理の省略を図る
事により、単語類似度算出に必要な計算量を削減するこ
とができる。

【０１０７】このように本発明は実用上有効であり、そ
の効果は大きい。

【図面の簡単な説明】

【図１】本発明の一実施例における音声認識装置の構成
図

【図２】同実施例における単語標準パターン作成の概念
図

【符号の説明】

１１音響分析部１２特徴パラメータ抽出部１４複数フレームバッファ１５部分パターン格納部１６部分距離計算部１７距離累積部１９累積演算記憶部１１０制御部１１１判定部

Claims

【特許請求の範囲】

【請求項１】入力音声信号を分析の基本単位であるフ
レーム毎に分析し分析パラメータを抽出する音響分析手
段と、分析フレームの前後の複数フレームにわたる上記
分析パラメータ列を統合したベクトルを当該フレームに
おける特徴パラメータベクトルとして得る特徴パラメー
タ抽出手段と、予め多数の人が発声した音声データを用
いて音声データの一部を表現する部分パターンを音声全
体をカバーできるように複数種類作成し、複数種類の部
分パターンを連接して構成するという方法で作成された
単語標準パターンを部分パターンの結合として格納する
部分パターン格納手段と、上記特徴パラメータベクトル
と単語標準パターンの一部である部分パターンとの部分
距離を計算する部分距離計算手段と、計算された部分距
離を累積することによって入力音声と単語標準パターン
との距離を単語類似度として求める距離累積手段と、上
記累積演算の途中結果を記憶する累積演算記憶手段と、
上記累積演算の途中で、上記途中結果を参照してその時
点以降の部分距離の算出及び部分距離の累積演算または
そのいずれか一方の計算を継続するか否かを判断し上記
計算を選択的に行うための制御手段と、入力音声の終了
時点で全認識対象単語の単語標準パターンに対する距離
を相互に比較し、単語類似度が最小となる単語標準パタ
ーンに対応する単語名を認識結果とする判定手段とを具
備することを特徴とする音声認識装置。
【請求項２】入力ベクトルと部分パターンとの距離を
計算する統計的距離尺度が、事後確率に基づく距離尺度
であることを特徴とする請求項１記載の音声認識装置。
【請求項３】統計的距離尺度が事後確率に基づく一次
判別式であることを特徴とする請求項１記載の音声認識
装置。