JPS60203993A - 音声認識方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （技術分野） 本発明は音声認識方法に関し、具体的には単語入力音声
の終端の確認を待たないで、入力音声の始端検出から認
識動作を開始するようにしだ音声認識方法に関する。

（背景技術） 音声認識方法の一形式として、各標準音声に対応して周
波数成分のフレーム時系列として標準・やターンを記憶
しておき、入力音声から同じく周波数成分のフレーム時
系列として入力／−，６ターンを抽出し、入カバターン
と各標準・ぐターンとの非類似度を計算し、その非類似
度に基づいて入力音声を識別する方法が知られている。

一例として、沖研究開発第１１８号第５３頁、昭和５７
年１２月、に開示されている。このような方法における
標準又は入力の音声・やターンは、通常、規則的にフレ
ームを設定して周波数分析し、対数変換と最小自乗近似
直線を用いた声道長等の正規化とを経て、周波数成分の
フレーム時系列として表現したものを用いる。

才だ、入カバターンと各標準パターンとの非類似度を計
算するだめにマツチングパスを設定する方法としては、
動的計画法を用いたＤＰマツチング法と前記文献に見ら
れるような本質的に線形なマツチング法とが知られてい
る。構成の簡易化の観点からは、線形マツチング法が有
利であるが、第１図に例示した如く、単語の発声速度は
変動がきわめて大きく、個人差があると共に心理状態や
状況によっても変動し、標準という感覚のもとてすら２
０係〜４０％の発声長のばらつきが見られ、何等かの工
夫が必要である。線形マツチング法には種々の形式が提
案されているが、前記文献に限らず、そこでは入力音声
の終端を検出したのち、マツチング・ぞスを設定してい
て、認識応答の面では問題があり、入カッｅターンも始
端から終端を確認するまで記憶しておく必要がある。

（発明の目的） 本発明の目的は、入力音声の始端を検出して直ちにマツ
チング動作を開始させることによって認識速度を高め、
且つ発声速度変動を予想してマツチングパスを設定する
ことによって発声速度の変動を吸収することにある。

（発明の概要） 本発明の第１の特徴は、入カッやターンの各フレーム毎
にマツチング処理を行ない、各フレーム毎に各標準パタ
ーンの各マツチングパスに対応した非類似度を更新記憶
するようにしたととにある。

まず、音声の有音状態の検出は音声パワーを用いる方法
を用いることができる。この場合音声の始端検出はフレ
ーム電力Ｐ　（ｊ）　（但しＪは入カバターンのフレー
ム番号）があらかじめ定められた閾値を越えた時点を始
端と考える。但し外部からの雑音などにより音声入力が
行なわれていなくとも電力Ｐ　（ｊ）が閾値を越えてし
寸い、誤った始端とする場合がある。子のため、ともか
くフレーム電力Ｐ　（ｊ）が閾値を越えたフレームを始
端と考え認識処理を開始するものの連続して３フレ一ム
以上電力が閾値を越えなければその入力フレームを音声
の始端とは考えず認識処理を中断し始端検出のだめの処
理へともどる。但し、フレーム長を１６　ｍ５ｅｃとし
ている。ここで音声の始端からフレーム電力が閾値を越
えたフレームの番号付けを定義しｈ番目の音声フレーム
と称し、単なる入力フレーム番号とは区別する。すなわ
ち、音声フレーム番号りの音声フレームは、有音区間で
ｈ番目の入力フレームに対応する。

発声速度の正規化を行なうマツチング処理を音声の始端
から開始し、音声分析部用力が得られる周期（フレーム
周期）ごとに行なえれば音声分析部のデータを始端から
すべて格納しておく必要もなく、また、応答時間も速く
なる。

本発明の第２の特徴は発声がおそく行なわれた場合、標
準的に行なわれだ場合、はやく行なわれだ場合を想定し
だマツチングパスを設定しそれぞれのマツチング・ぐス
上でのマツチング処理を行なうことにある。音声の始端
検出時点では今から入力される単語の発声速度は不明で
ある。そこで発声がおそく行なわれた場合、標準的に行
なわれた場合、はやく行なわれだ場合を想定したマツチ
ング・やスを設定し、それぞれのマツチング・ぐス上で
マツチング処理を行なえば終端検出前からでもマッチン
グ処理が開始可能となる。もちろん、この場合、入力の
終端と標準・ぐターンの終端が一致する／Ｆスが存在す
る可能性は少ないが、入力の終端と標準・ぐターンの終
端が最も一致しているパス上での非類似度が最小となる
ことが予想される。

一方、単語には「イチ」の「イ」と「チ」の間のように
単語内にフレーム電力が閾値に満たない部分を持つ単語
がある。のような部分を「パワーディｙ　７’　Ｊと称
する。との／ｅワーディッフ０の長さは単語によって異
なるが通常３０フレーム長を越えることはほとんどない
。音声の始端を検出後、あるフレーム時間点においてそ
のフレーム電力が閾値未満となった場合、そのフレーム
時間点は・ぐワーディッゾの始まりなのか、音声の終端
なのかは判断がつかない。この判定は通常、フレーム電
力が閾値未満の区間が３０フレ一ム以上あるかないかに
よって行なうため最大３０フレーム後でなければ判断が
下されない。従って、フレーム電力が閾値未満となった
場合のマツチング結果は何らかの形で保留さ′れなけれ
ばならない。本発明では、音声フレーム番号の更新を停
止して、フレーム電力が閾値未満となったフレームに対
してはマツチング処理を停止することによりこの問題を
解決する。

第２図（、）は本発明による音声認識方法における入カ
バターンと標準・ぞターンとのマツチングを行なう複数
のマツチングパス例を示した図、第２図（ｂ）は入カバ
ターンのフレーム電力例を示した図、第２図（ｃ）は入
力・ぐターンと標準パターンとの各マツチング・モスに
おける非類似度Ｄｎ（ｊ）　、　Ｄｈ（ｊ）　、ＩＹＭ
ｊ）の例を示した図である。

第２図（、）においては発声速度の範囲を例えば±２０
チと考え、マツチング・ぐスを３本設定した場合を示し
ている。第２図（、）において、横軸は入カバターンの
フレーム番号を表わす。また、縦軸は標準パターンのフ
レーム番号を表わし、ｎ番目の標準パターンＳｎを例と
して考え、そのフレーム長を５Ｌ（ｎ）とする。１０１
は発声を２０チ遅く発声した場合を想定したノｅス、１
０２は標準的な発声を想定した・ぐス、１０３は発声を
２０チ速く想定した場合のノクスを示す。ｊ番目の入力
フレ・−ムの電力が閾値以上の場合、３本のパス上での
標準パターンＳｎとの距離を次式によって与える。但し
、ｈはｊ番目の入力フレーム番号に対応した音声フレー
ム番号であり、Ｗ（ｉ、ｊ）は入力フレーム番、号がｊ
でチャンネル番号がう（但し、１＝＝１〜８）の入カバ
ターンであり、５ｎ（ｉ、ｋ）はフレーム番号がｋでチ
ャンネル番号がｉの標準パターンである。

ノぐスフ０ノに対する距離 ａ　ｎ（ｊ）−ΣＩＷ（ｉ、３）　Ｓｎ（＋＋ｋ）　ｌ
　・・・第１式パス１０２に対する距離 ｄ’ｎ（ｊ）−ΣＩＷ（ｉ、ｊ）−８ｎ　（ｉ、に’）
　ｌ　−第２式パス１０３に対する距離 ｄ″ｎ（ｊ）＝ΣＩＷ（ｉ、ｊ）−８ｎ（ｉ、に″）　
Ｉ　−第３式尚、〔〕はガウス記号を示す。

前記の式によれば・ぐス１０１においては入カバターン
のｊ番目の入力音声フレームと標準ノ４ターンのに番目
のフレームの間の距離計算を行なう。

・ぐス１０２においては入カバターンｊ番目の入力フレ
ームと標準）ｌターンのに′番目のフレームの間の距離
計算を行ない、ノクス１０３においては入カバターンの
ｊ番目の入力フレームと標準・ぐターンの２番目のフレ
ームの間の距離計算が行なわれる。

但し、標準ツクターンのフレーム番号を示すｋ　、　ｋ
’、　ｋ“はその標準・やターンの長さ５Ｌ（ｎ）より
大きくなる場合には５Ｌ（ｎ）に制限される。

一方、ｊ番目の入力フレームの電力が閾値未満の場合、
それぞれのパス上での距離ｄ　ｎ（ｊ）　、　ｄ’ｎ（
ｊ）　。

ｄ″ｎ（ｊ）を強制的に ｄｎ（ｊ）　＝　Ｏ・・・第４式 ｄ’ｎ（ｊ）　−〇　・・・第５式 ｄ″ｎ（ｊ）　＝　ｏ　・・・第６式 とすることによりフレーム電力が閾値以下の場合の非類
似度計算を事実上加算しない処理を行なう。

またこのため゛に、標準ノぞターンも・ぐワーディッグ
対応のフレームを除いた形で蓄積する。

このように、・ぐワーディッノや標準パターンの終端以
後でのマツチングのように、非類似度として重要でない
フレームでは距離を０としているけれども、本発明では
本質的に線形なマツチングである。

次に入カバターンのｊ番目の入力フレームまでの非類似
度Ｄｎ（ｊ）　＋　Ｄ’ｎ（ｊ）　＋　Ｄ”ｎ（ｊ）が
計算される。

パス１０１の非類似度 Ｄｎ（Ｊ）　＝　ｄｎ（ｊ）　＋　Ｄｎ　（Ｊ−１）　
・・・第７式パス１０２の非類似度 Ｄ’ｎ（ｊ）−ｄ’ｎ（ｊ）　＋　Ｄ’ｎ　（ｊ−１）
　−第８式％式％ Ｄ”ｎ（ｊ）　＝　ｄ″ｎ（ｊ）　＋　Ｄ”ｎ　（ｊ−
１）　−・・第９式すなわち、それぞれのパス上でのｊ
番目のフレームの非類似度の算出は各チャンネルごとの
距離（例えばＩＷ（ｉ、ｊ）−８ｎ（ｉ、ｋ）ｌ）をチ
ャンネル分、ｊ−１番目のフレームに対する非類似度値
（たとえばＤｎ（ｊ−１））に加えることによって得ら
れる。これらの演算はｊ番目のフレームの入力がなされ
た時点で行なわれる。ｊ番目のフレームに対する非類似
度の算出にあたっては３番目のフレームの入力ｉｅター
ンデータとそれぞれのパスに相当する標準パターンのデ
ータおよびｊフレーム前のｊ−１番目のフレームの非類
似度データのみが必要であって２フレ一ム以上前の入カ
バターンデータは不必要である。そのため、終端を検出
するまでの入カバターンを格納しておかなければならな
い線形伸縮マツチング法に比較しても記憶領域が小さく
なる効果が生じる。

第２図（ｃ）は入力ｔＲターンと標準／？ターンとの各
マツチングパターンでの非類似度Ｄｎ（ｊ）　＋　Ｄ’
ｎ（ｊ）　、Ｉ）雨）を示したものであるが、第２図（
ｃ）に見られるようにフレーム電力が閾値以下となった
とき距離値を強制的に０にすることによシ非類似度Ｄｎ
（Ｊ）　＋Ｄ’ｎ（Ｊ）＋Ｄ”ｎ（ｊ）は保持される。

従って、終端における非類似度と終端から３０フレーム
へだてだ入力フレーム（この時点で初めて終端が検出さ
れる）における非類似度は等しい。

次に、音声の終端を検出した時点（音声の終端から３０
フレーム後）から各標準パターンごとに得られた非類似
度によってカテゴリーの判定が行なわれる。終端検出時
点の入力フレーム番号を５１音声フレ一ム番号をＨとす
るとｎ番目の標準ノやターンに対する各ノやスの非類似
度はＤｎ（Ｊ）　、　Ｄ’口（Ｊ）、Ｄ″ｎ（、ｊ）で
与えられる。これらの非類似度の可が標準パターンの数
（Ｎとする）だけ存在する。これらの非類似度を用いて
カテコ゛り一判定を行なう。すなわち、各標準ノやター
ンごとにめられた各非類似度Ｄｎ（Ｊ）　、　Ｄ’ｎ（
Ｊ）　ｒ　Ｄ″ｎ（Ｊ）全てに対して最小値をめる。

この最小値を与える標準・ぐターンに付加されだカテゴ
リが認識結果となる。

（実施例） 第３図は本発明におけるマツチング処理と判定処理を行
なう回路構成を示した一実施例である。

以下、その動作について詳細に説明する。

第３図において、５２は始端からの音声フレーム数をカ
ウントする音声フレームカウンタで始端検出時はリセッ
トＡルス５０によってその内容は０となり以後入力フレ
ームの電力が閾値を越えたときに入力されるカウントパ
ルス５ノによっテカウントアップ動作を行なう。入力フ
レームの電力が閾値未満の場合にはカウントパルス５ノ
は伺加されず、音声フレームカウンタ５２の出力は保持
される。音声フレームカウンタ５２の出力である音声フ
レーム番号をｈとする。５３はマツチングの際の数本の
／ｆスの種類を表わす信号でパスの数は３本なので０〜
２の値をとる。５４はｈ番目の音声フレームにおいて各
・やス上で対応する標準・ぐターンのフレーム番号を与
えるＲＯＭである。ＲＯＭ納されている。ＲＯＭ　５４
の出力をｌとする。５５は標準パターンの番号を与える
標準パターン番号信号であってｎとする。標準・母ター
ンの総数がＮのとき０〜Ｎ−１の値をとる。５６はｎ番
目の標準・ぐターンに対してその標準パターンの長さＳ
　Ｉｎｎ）を格納するＲＯＭである。５７は標準パター
ンフレーム番号１を出力するＲＯＭ　５４の出力と標準
パターンの長さ５Ｌ（ｎ）を出力するＲＯＭ　５６の内
容を比較して１≦５Ｌ（ｎ）ならば°゛１″を、ｌ：）
　５Ｌ（ｎ）ならば′０″′を出力するコンノやレーク
である。５８はコン・やレータ５７の出力が°′１″の
ときはＲＯＭ　５４の出力を、コンパレータ５７の出力
が′０″のときはＲＯＭ　５６の出力を選択するセレク
タである。コン／−、Ｏレータ５７とセレクタ５８によ
ってｌ≦５Ｌ（ｎ）ならば１が、］　）　５Ｌ（ｎ）な
らば５Ｌ（ｎ）がセレクタ５８より出力される動作が行
なわれる。セレクタ５８の出力をｋとする。５９はチャ
ンネル番号ｌを与える信号である。６０はチャンネル番
号１とセレクタ５８の出力例えばｋと標準パターン番号
信号ｎによってアドレッシングされ標準・ぐターン５ｎ
（ｉ、に’、）を出力する標準・ぐターンのメモリであ
る。６１はスペクトル正規化を行なった１フレ一ム分の
入カバターンｗ（ｉ、ｊ）を格納しておくメモリでチャ
ンネル番号信号５９によってアドレスが与えられる。６
２はメモリ６ノの入力端子であり、図示しないスにクト
ル正規化部でスペクトル正規化された入力データｗ　（
ｉｌ　ｊ）が入力される。６３はメモリ６１の出力ｗ（
ｉｒｊ）と標準／４’ターンＲＯＭ　６０の出力５ｎ（
ｉ、ｋ）の間でコントロール信号Ｃ０ＮＴに”よって以
下の値を出力する演算器である。

・・・第１３式 Ｃ０ＮＴ信号はフレーム電力が閾値以上のときは′１″
を、閾値未満のときは°゛０″となる信号である。６４
は加算器、６５はパス信号５３と標準・ぐターン番号信
号５５の値をアドレスとするＲＡＭであり非類似度［）
ｒｌ（ｊ）　、　Ｄ’ｎ（ｊ）　、　Ｄ”ｎ（ｊ）が格
納されている。７０はＲＡＭ　６５の出力である非類似
度と後で述べるレノスタフ１の出力を比較して２つの信
号を出力するコンバータである。１つは比較した結果の
うち小さい方の値を与える信号であり、この信号はレノ
スタ７ノに格納される。もう一方の信号は比較の結果Ｒ
ＡＭ　６５の出力の方が小さければ発するクロックであ
シレノスタ７２の入力クロックとなる。

レノスタフ１は非類似度の最小値を与えるレノスタであ
り、フレーム周期の始めに非類似度の最大値がセットさ
れる。レノスタフ２は、コンバータ７０の出力パルスに
よって標準パターン番号信号を格納するレノスタで、非
類似度最小値を与える標準パターンの番号が格納されて
いる。７３は出力端子である。

第３図は以上のごとく構成されており、以下動作につい
て説明する。

各処理はフレーム電力ｐ　（ｊ）が閾値以上となった時
点から開始されるが、３フレ一ム以上連続してフレーム
電力ｐ　（ｊ）が閾値以上でなければ処理はリセットさ
れる。音声の始端フレーム前はカウンタ５２はリセット
パルス５０によってリセット状態にある。寸だ、メモリ
６５の値はすべてリセットされている。以後、始端検出
後の１フレ一ム周期内の処理を順次説明する。但し、説
明のため入力フレーム番号はｊとする。ｊ番目の入力フ
レームのフレーム電力が閾値を越えた場合、カウント・
ぞルス５１がカウンタ５２に印加され、カウンタ５２は
カウントアツプし音声フレーム番号りを出力する。音声
フレーム番号りに対応する標準パターンのフレーム番号
はＲＯＭ　５４とコンパレータ５７とセレクタ５８によ
って出力される。ｎ番目の標準ノｅターンのに番目のフ
レームのｉチャンネルのデータＳｎ（＋、ｋ）はＲＯＭ
　６０によって出力される。

一方、メモリ６１には前段のスペクトル正規化部（図示
せず）よシ出力される３番目の入力フレームのスペクト
ル正規化後の入力データＷ（ｉ、ｊ）が入力端子６２よ
り入力され格納されている。ＲＯＭ６０の出力５ｎ（ｔ
、ｋ）　とメモリ６１の出力Ｗ（ｉ、ｊ）はチャンネル
番号信号５９に同期して出力され演算器６３において第
１３式に力えられる演算を行なう。演算器６３の出力と
メモリ６５０間で第１式〜第９式に相当する演算が実行
される。実際は第１式〜第９式の演算は統合された次の
形式で行なわれる。

次にコンバータ７０によってレジスタ７ノに格納されて
いる非類似度とＲＡＭ　６５より出力される非類似度の
うち小さい方がレジスタ７ノに格納される。と同時にＲ
ＡＭ　６５の出力の方が小さければ・ぐルスがレノスタ
フ２に加えられそのときの標準パターン番号がレノスタ
フ２に格納される。この処理をすべての標準パターンに
ついて行なえばそのときの最小非類似度を与える標準・
ぐターン番号がレジスタ７２に格納されることになる。

以上の処理は１フレ一ム周期ごとに行なわれ終端が検出
された時点におけるレノスタフ２の結果が最終的な認識
結果となり、出力端子７３を通して出力される。

なお標準・ぐターン番号が同じ時でも・ぐス信号が違え
ば、パスの各々に対応する非類似度が異なるので、前と
同一の標準・やターン番号がレノスタフ２にセットされ
ることは起り得る。

（発明の効果） 本発明は以上説明したように、入力フレームごとに距離
計算、非類似度計算を行なうため終端検出後、１フレ一
ム以内に認識結果が出る利点がある。また、非類似度計
算のためには前の入力フレームに対する非類似度値と現
入力フレームに対する距離値との累算を行々うだけでよ
く、始端から終端までの入力データを格納する必要がな
い。

さらに、回路構成の簡易化を目的とした方式であるため
Ｉ、ＳＩ化が容易であり、ケ゛−ト数の少ない安価な音
声認識用ＬＳＩチップを供給すると同時に汎用マイクロ
プロセッサのソフト処理によっても実現され得るもので
ある□

【図面の簡単な説明】

第１図は発声長変動を説明するだめの図、第２図は本発
明のマツチング・やスの概要を説明するために示しだ図
、第３図は本発明の一実施例を示すブロック図、 ５２・・・音声フレーム番号りのカウンタ、５４・標準
・ぐターンのフレーム番号相当のものを発生させるだめ
のＲＯＭ、５６・・・標準、９ターンの長さを記憶シテ
いるＲＯＭ、５７・・・コンパレータ、５８　セレクタ
、６０・・・標準パターンのメモリ、６ノ・・・入カッ
やターンのメモリ、６３・・・距離の演算器、６４・・
・加算器、６５・・・非類似度格納用ＲＡＭ、７０・・
・コンバータ、７１・・・最小非類似度のメモリ、７２
・・・　ノ認識結果としての標準パターン番号のメモリ
。 特許出願人　沖電気工業株式会社 第１図 １収 管戸ｌ藺長ζフレーム） １　事件の表示 昭和５９年　特　許　願第０５８４３７号２　発明の名
称 音声認識方法 ３　補正をする者 事件との関係　特　許出　願　人 ６　補正の内容　別紙の通シ 補正の内容 （１）明細書第５頁第１６行目に「以上電力が」とる−
るのを「以上フレーム電力が１と補正する。 （２）　同書第７頁第１５行目から第１７行目に「この
判定は通常、・・あるかないかによって」とあるのを「
この判定は通常、その時点から３０フレームの間に音声
の始端条件（３フレ一ム以上連続してフレーム電力が閾
値以上）を満足するフレームが存在するかしないかによ
って」と補正する。 るのを「〔上ｈ）Ｊと補正する。 １．２ （４）同書第１２頁第６行目と第１０行目に「番目のフ
レーム」とあるのを「番目の入力フレーム」と補正する
。 （５）　同書第１４頁第１７行目と第１５貞第３行目、
第１０行目、第１１行目に「１」とあるのを「ｔ」と補
正する。 （６）同書第１５頁第５行目に１１≦」と「ｌ〉」とあ
るのを「ｔ≦」と「ｔ〉」に補正する。 （７）　同書第１７頁第１３行目にｒｐ（ｊ）Ｊとある
のを［Ｐ　（ｊ）　ｊと補正する。 （８）　同省第１８貞第４行目に「ＲＯＭ　５４とジン
ノやレータ」とあるのをｌ−ＲＯＭ　５４とＲＯＭ　５
６とコンノミレータ」と補正スル。 する。

Claims (1)

1. 【特許請求の範囲】 各標準音声に対応して周波数成分のフレーム時系列とし
   て表現された標準・モターンを記憶しておき、 ａ）入力音声から周波数成分のフレーム時系列として入
   カバターンを抽出し、 ｂ）入力音声の始端を検出して入カバターンのフレーム
   の計数を開始して音声フレーム番号を更新し、無音状態
   を検出している間は音声フレーム番号の更新を停止し、
   入力音声の終端を確認する以前に有音状態を検出すると
   当該音声フレーム番号の更新を再開し、 Ｃ）音声フレーム番号の更新毎に、そのフレーム番号に
   本質的に線形な関係で標準パターンの複数のフレーム番
   号を発生させることによって各標準・やターンとの間に
   複数のマツチング・ぐスを設定Ｉ７、 ｄ）音声フレーム番号の更新毎に、前記各マツチングツ
   ヤスで対応づけられたフレーム間で入力Ａターンと各標
   準パターンとの距離を計算し、ｅ）入力音声の始端から
   任意の音声フレーム番号までの前記マツチングツヤスに
   沿った前記距離の累算値を非類似度として、音声フレー
   ム番号の更新毎に、直前の非類似度と当該フレーム番号
   での距離とを加算して一旦記憶することによって、各標
   準パターン毎の各マツチング・やスに対応して非類似度
   を更新記憶し、 ｆ）全ての前記非類似度のうちで最小値を与える標準パ
   ターンのコードを前記音声フレーム番号の更新毎に更新
   記憶し、 ｇ）入力音声の終端を確認した時点で、入力音声の終端
   の音声フレーム番号に対応して記憶されている最小値を
   与える前記標準パターンのコードを入力音声のカテゴリ
   として認識するととを特徴とした音声認識方法。