JPS58139199A - 音声自動認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 本発明は人間によって発声された音声信号を自動的に認
識するための、音声自動認識システムに関する。

人間によって発声された音声を自動的に認識する音声自
動認識装置は人間から電子式算機や各種機械へデータや
命令を与える手段として将来的に非常に有効と考えられ
る。たとえば数字音声を認識する装置を電子計算機に接
続して用いると伝票などの数字データを入力する事が可
能になり、特に音声信号は電話回線を経由して遠隔地に
伝送できるため伝票の発行や在庫の問い合せ等を即座に
行う事が出来る。また手や足を他の目的に対して使用し
ながら音声信号を入力出来ることなどを考えると、音声
自動認識装置によってもたらされる効果はきわめて大き
いと考えられる。

従来研究あるいは発表されている音声自動認識システム
の動作原理としてはバタンマツチング法が多く採用され
ている。この方法は認識される必要がある全種類の単語
に対して標準バタンをあらかじめ記憶しておき、入力さ
れる未知の入力バタンと比較する事によって一致の度合
（以下類似度と呼ぶ）を計算し、最大一致が得られる標
準バタンと同一の単語であると判定するものである。こ
のパターンマツチング法では認識されるべき全ての単語
に対して標準パタンか用意されるため、発声者が変った
場合には新しく標準パタンを入力して記憶させる必要が
ある。従って日本全国の都市名などに数百種類以上の単
語を認識対象とするような場合、全種類の単語を発声し
て登録するには膨大な時間と労力を必要とし、又登録に
要するメモリーの容量も膨大になる事が予想される。さ
らに人力バタンを標準パタンのパタンマツチングに要す
る処理量も単語数が多くなると膨大なものになってしま
うという欠点を有している。

これに対して、入力音声を音素単位に分けて音１の組合
せとして２識しく以下音素膠識と呼ぶ）、音素単位で表
記された単語辞書との類似度を求める方法は単語辞書に
要するメモリ容量が大幅に少なくて済み、辞書の内容変
更も容易であるという特長を持っている。この方法の例
は「音声スペクトルの概略形とその動特性を利用した単
語音声認識システム」三輪他１日本音響学会誌３４（１
９７８）に述べである。第１図にこの方法の音声認識シ
ステムのブロック構成を示す。入力音声６ｏはフィルタ
群４０に入って周波数スペクトルに変換された後、音蓼
処理部４１で音素認識に必要なパラメータＰ　ｅ　１ｒ
　Ｐ　ｅ　２　、　Ｐ　ｅ　３　ｅ　Ｇ　、　Ｈ、Ｖ　
、　Ｗを算出する。

音素認識部４２はこれらのパラメータを用いて音素の区
切り作業（以下セグメンテーションと呼ぶ）と音素の標
準パターン４６に基づいて個々の音素が何であるかを決
定する音素認識を行なう。しかしこの段階での音素の並
びは不完全であるため、誤り訂正部４３で主に日本語の
音形規則４６を用いて音素並びの訂正を行い音素系列の
作成を完了する。単語マツチング部４４では、あらかじ
め統計的に求めておいた各音素の他の音素への置換およ
び脱落、他の音素の挿入の確率を表わす配列表４７（以
下　Ｃｏｎｆｕｓｉｏｎ　Ｍａｔｒｉｘ　　と呼ぶ）と
音素名で構成された単語辞書４８を用いて全単語辞書と
の類似度を計算し、類似度最大の辞書項目を認識結果と
して出力する。

この方法はスペクトルのピークの位置に着目して音素認
識を行うものであり、アルゴリズムが簡単で、またピー
クの位置とその相対的な大きさのみに着目するため話者
や環境の違いに起因するスペクトルパターンの全体の概
形の変動に対して影響を受けにくい利点があり、また不
特定話者に対して適した手法であると考えられる。しか
しこの方法はフィルタ群によって得た周波数スペクトル
を用いている事により、次の欠点を有している。

音声には声道長に基くピッチ成分があり、男声のピッチ
周波数は一般に２００Ｈ−以下で母音の第１ホルマント
に重ることは少ないが女声のピッチ周波数は一般に２ｏ
Ｏ〜３ｏｏＨｚにあることによって母音の第１ホルマン
トと重なりを生じ女声の周波数スペクトルには低周波数
域にピッチ周波数の影響による大きなピークが現われ、
またピッチ周波数の高調波の影響により不必要なピーク
が発生するためホルマントに対応した適確なピーク位置
を検出する事が出来なくなってしまう欠点があった。例
えば第２図は２６０〜６３００　Ｈ区間を２９チヤネル
で４　オクターブ毎にＱ＝ａのフィルタで構成されたフ
ィルタ群による、女声の母音／　ｅ　／の周波数スペク
トルの例である。図において縦軸はと　オクターブ間隔
で区切られたチャネル番号、横軸は１０ｍ５毎に区切ら
れたフレーム番号であり、あらかじめ視察により正解音
素が名前付けされている。これによると縦軸の２チヤネ
ルと１２チヤネルにピッチの影響による母音／ｅ／のホ
ルマントに対応しないピークＢが現われ、本当のホルマ
ントに対応するピークＡとの区別がわからなくなってい
る。

この方法による音素認識例を第３図に示す。

第３図は成人女性の発声した安物」という言葉で、横軸
はフレーム毎に区切っである。図でａは手作業によって
名前づけしだ音素で、バーは音素の始端を、枠で囲った
部分は中心を示すＯｂは母音の一Σ識結果、Ｃは半母音
の認識結果、ｄは無音及び子音区間を示し、Ｑは無音区
間、Ｃは子音区間にあたるＯｅは子音の認識結果を示す
。ｆはセグメンテーション用の各種パラメータであり、
ｑはスペクトルのピークの周波数軸上の位置をパワーの
大きい順に１．爺、３と表示したものである。この図か
ら、／＆／の部分ではピッチの影響により２５０Ｈｚ付
近にピークがあられれる（図で領域イで示す）事により
／ａ／が／ｉ／と誤っていること（図で領域二で示す）
がわかる。また１０／のところにもピッチの影響により
２５０Ｈｚ付近にピークが現われ（図で領域口、）・）
、／ｎ／と誤っている（図で領域ホ、へ）０このように
、従来の方法では女、声において音声のピンチ成分の影
響が強く現われ、女声に対して眉応出来ないことがわか
る。

本発明は男性にも女性にも共通に、ホルマントのみに対
応する第２図のピークＡの位置を精度良く求めるために
従来のフィルタ群に代って線形子１ｊｌｌ１分析によっ
て音声のピッチ成分を軽減した周波数スペクトルを得る
事によって上記問題点を解決し、男女に関係なく不特定
話者に対応する事の出来る音素認識法および音声認識シ
ステムを提供するものである０線形予測分析は周波数ス
ペクトルを全極型モデルで近似し周波数スペクトル包絡
特性と声帯波特性を分離する方法であり、ピッチ周波数
やその高調波の影響は軽減されるはずである。

また周波数スペクトルには設定したモデル以外の成分は
含まれないので滑らかなスペクトルパターンが得られる
利点がある。第４図は第２図の場合と同じ女声の母音／
　ｅ　／を本発明による方法によって周波数スペクトル
を求めた例であるが、ピッチの影響による不必要なピー
クが取除かれホルマントに対応したピークＡのみが描か
れている事がわかる。

第６図は、本発明の方法により第３図と同じ単語を音素
認識した例である。ｑを見ると、／ａ／の位置での、２
６０Ｈｚ付近にはピークが現われず（図で領域トで示す
）、ピッチ成分が除去されている事がわかる。これによ
ってｂを見ると／ａ／が／＆／と正しく認識されている
事がわかる。又、１０／の位置でも従来例の第３図で現
われていた２６０Ｈｚ　付近のピッチ成分が除去される
（図で領域チで示す）事によって１０／　　が母音とし
てセグメンテーションされている事がわかる。こうして
、母音と子音、半田音が正しくセグメンテーションされ
れば単語認識を正しく行う事が可能となる。

このよう−に、本発明は線形予測分析によってホルマン
トに対応するピークを適確に抽出する事によって男声に
も女声にも共通して適用する事が出来る、不特定話者向
きの音声自動認識を可能とするものである。

本システムの構成の概要を第６図に示す。音声入力は音
響処理部１に入り、線形予測分析を行って周波数スペク
トルとパワー等の音素認識に必要なパラメータを算出す
る。音素認識部２では音響処理部１で求めたパラメータ
Ｗ、Ａ、Ｇ、Ｈ（詳しくは後述）と、周波数スペクトル
より求めた周波数スペクトルパターンＰ　ｅ　１．　Ｐ
　ｅ　２　、　Ｐ　ｅ　ｓ　（以下ローカルピークと呼
ぶ）を用いて、１０ｍ５の分析区間（以下フレームと呼
ぶ）毎に音素認識を行なう０音素系列作成部３ではあら
かじめ作られた一般的な日本語の音素が相互に結合する
規則（以下音素結合規則と呼ぶ）を用いて音素の並びを
修正しく以下この作業を誤り訂正と呼ぶ）単語ごとの音
素の運び（以下音素系列と呼ぶ）を作成する。

単語マツチング部４では、あらかじめ統計的に作成され
た、各音素の他の音素への置換、他の音素の付加や脱落
誤りの確率を表わすＣｏｎｆｕｓｉｏｎＭａｔｒｉ！　
　を用いて、あらかじめ登録しである音素系列で作成さ
れな単語辞書と認識された音素系列との類似度を計算し
、類似度最大の単語を認識出力とするものである。

音響処理部１の構成を第７図に示す。音声入力をＡ／Ｄ
変換し、プリエンファシス部１０でスペクトルの傾きを
補正するためにｅｄＢ／オクターブの高域強調を行った
後、窓部１１ではフレーム毎に切出した音声入力に（１
）式で表わされるＴ＝２０ｍｓ毎のハミング窓をかける
。

但し　１ｔ１〉工ではｙ　１ｔｌ＝　０線形予測分析部
１２ではｒｓｐｅｅｃｈ　Ａｎａｌｙｓｉｓａｎｄ　　
５ｙｎｔｈｅｓｉｓ　　ｂｙ　Ｌｉｎｅａｒ　Ｐｒｅｄ
ｉｃｔｉｏｎｏｆ　　ｔｈｅ　　５ｐｅｅｃｈ　Ｗａｖ
ｅＪＢ、Ｓ、Ａｔａｆｆｉ　ｅｔａ。

１．Ａｃｏｕｓｔ、Ｓｏｃ　、Ａｍｅｒ、５０（１９７
１）に記載されているように窓をかけた分析区間の音声
信号をＳ４．Ｓ２．・・・ｊＳｌｌｊ・・・ＳＮとする
と分析次数ｐでの予測誤差Ｓｎは（２）式で表わされる
。

ここで、ｋｆｐｌ　（ｋ＝　１．２．・・・ｔｐ）は線
形予測係数である。一方分析区間の自己相関係数をｒｋ
（ｋ＝１．２．・・・、ｐ）とするとｔｋは（（２）式
で求まる。

（２）式の予測誤差Ｓｎの最小平均２誤差を得るためと
はＮ＞＞ｐとして（３１のｒｋを用いて（４）式のｐ元
連立−次方程式中の線形予測係数ａｋｌｐｌを決める事
になる 従って（４）式を解く事によって線形予測係数、（ｐｌ
（ｋ＝１．２．・・・ｓ　ｐ　）を求めるが、これはレ
ビンソンの方法によってきれいに計算する事が出来る事
が一般に知られている。

周波数スペクトル計算部１３では前段で求めた線形予測
係数ａ　ｋｌｐ’よりスペクトル包絡ｆｔｎ＋をで求め
る。ここでσ２パは残差パワーであり、ｏｎ−２πｆ（
ｎ）　Ｔで、周波数ｆ（１ｍ）は等オクターブ間隔にな
るように設定すると共に、（５）式の残差パワーをσ２
＝２πとしてｆゝ（ロ）を求める。

ピーク抽出、パラメータ計算部１４では（６）式で求め
たスペクトル包絡の極大点および変曲点よりローカルビ
ークの周波数軸上の位置および大きさを求め、ピークの
大きさの大きい順に周波数軸上でＰｅ１．Ｐｅ２．Ｐｅ
３とし、周波数の低い順に周波数軸−トでＰ４．Ｐ２．
Ｐ３とすると同時に、音素認識に必要なパラメータとし
てＧ、Ｈ，Ａを次のようにして求める。まずスペクトル
包絡ｆ”（ｎ）を対数変換したスペクトルＸ（ｎ）の最
小二乗近似直線Ｙ（ｎ）を次式で求める。

Ｙ（ｎ）＝Ａ　−ｎ＋Ｂ　　　　　・・・・・・・・・
０・・・６ｏ・・・・・（７）ここで係数Ａはスペクト
ルの全体的な傾きを示すものであり、Ｂはスペクトルの
全体的なレベルを表わす値である。スペクトルＸ（ｎ）
をスペクトルの傾きを除去するために最小二乗近似直線
Ｙ（ｎ）で正却化したスペクトルをＺ（ｎ）　（正規化
スペクトルと呼ぶ）とすると、 Ｚ（ｎ）＝　Ｘ（ロ）−Ｙ（ｎ）　　　　・・・・・・
・・・・・・・・・・・・・・（８）コ（７）　Ｚ（ｎ
）を周波数軸上で低域（１７７〜４００Ｈｚ）。

中域（４００−１，１００Ｈｚ）、高域（１，１００−
２，８００Ｈｚ）の三つに分け、正規化スペクトルの平
均パワーと低域の平均ご（ワーの比をＧ、高域の平均パ
ワーと中域の電力の比をＨとして求める。

さらに音声信号の２乗和によって１０ｍｇ長のフレーム
毎のパワーを求め、対数変換したものをパラメータＷと
する。

上記パラメータを計算しながら同時にＷの値とＰ　ｅ　
１　＊　Ｐ　ｅ　２の値を用いてフレーム毎に無音であ
るか有音であるかを決定してお七。

音素認識部２では、まず音響処理部１で求めた無音／有
音情報から有音叉は無音の連続性と持続時間を用いて発
声の始端、終端を決定する。次に音響処理部１で求めた
ローカルピークＰ　ｅ　１　＋　Ｐ　ｅ　２Ｐ　ｅ　ａ
とＰ４．Ｐ２．Ｐ３およびパラメータＷ、Ｇ。

Ｈ，Ａを平滑化処理したＷｓ、Ｇ、、Ｈ，、Ａ、によっ
て音素のセグメンテーションと音素の決定を行う。

第６図を例に説明するとまず子音のセグメンテーション
をＷｓとＡｓの極小変化をとらえて行った後、あらかじ
め子音毎のローカルビークＰ　＠　１　＊　Ｐ　＠　２
　＊Ｐ　ｅ　３の分布に基づき構成されたＰ　ｅ　１　
、　Ｐ　ｅ　２　＊　Ｐ　ｅ　３の標準パターンにフレ
ーム毎のＰ　ｅ　４．　Ｐ　ｅ　２１　Ｐ　ｅ　ａをあ
てはめてフレーム毎の子音候補を決定し子音候補の数に
よる規則を適用する拳によってその区間の子音を決定す
るｄ＠がその結果である。次に半母音をＧＢとＨ８の極
大極小変化を用いてセグメンテーションし、ｐｌ、ｐ２
の分布に基き構成されたＰ４．Ｐ２の２次元配置図（第
８図点線）に各々のフレ一ムのｐ４．ｐ２１あてはめて
その区間の半母音を決定する。Ｃ′欄がその結果である
。最後に母音の認識をＰｌ、Ｐ２の分布に基き構成され
た、第８図実線に示すような６母音／ｉ／、／＠／。

／ａ／、１０／、／ｕ／と中間母音／ｉｅ／、／ｅａ％
、／−０／、１０　ｕ／、／ｕｉ／　　のＰｌ、Ｐ２に
よる２次元配置図に各フレームのＰｌ、Ｐ２をあてはめ
た後、６フレーム毎のメジアン平滑化を施す。最後に前
後のフレームとの距離が１以内の母音毎に切り分け、そ
れらの持続時間が４フレーム（４０ｍｓ）以−１−のも
のを１うの母音として決定していく。

音素系列作成部３では、あらかじめ用意されている日本
語の音素結合規則に基づく音素並びの誤り訂正と、母音
の持続時間によって長母音と単母音のふりわけ、無声化
した母音／ｉ／、／ｕ／の挿入を行い、音素系列を作成
する。

簡単な単語辞書と、あらかじめ多量の認識音素系列から
作られたＣｏｎｆｕｓｉｏｎ　Ｍａｔｒｉｘ　を用いて
、認識された音素系列と全単語辞書との間の類似度を算
出し、類似度の最も大きい単語を認識結果として出力す
る。

第９図に本発明による音声自動認識システムの構成を示
す。マイク２０から入力する音声信号はアンプ２１で適
当なレベルに増巾し、Ａ／Ｄ変換部２２により１２曲サ
イ、ブリングで、１２ビツトにＡ／Ｄ変換する。これを
信号処理回路２９でｓｄＢ／オクターブのプリエンファ
シスおよびハミング窓をかけた後、線形予測分析プロセ
ッサ２３にて線形予測係数から周波数スペクトルの算出
と音素２識に必要なパラメータの算出を行う。メインプ
ロセッサ２４ではメインメモリ２６を使用してセグメン
テーシヨンと音素認識および音素系列の作成を行い、得
られた音素系列の結果を単語マツチ　　　　　　１ング
プロセツサ２７に転送する。単語マッチングプＯセッサ
２７は単語辞書、Ｃｏｎｉｕｍｉｏｎ　Ｍａｔｒｉｘ用
メモリ２６のデータを参照して単語毎の類似度計算を行
い、結果をメインプロセッサ２４に転送する。メインプ
ロセッサ２４は類似度最大の単語を認識結果としてｌ１
０２８に出力するか、又はリジェクトを行う。ｌ１０２
Ｂは受けた結果を他の計算機に送ったり、他のＩ１０機
器に対して作業を行わせる。こうしてメインプロセッサ
以外に専用プロセッサを設けて計算を分担する事によっ
て高速化する事が出来る。

成人男子２０名が防音室で発声した日本全国の主要都市
名１６６を用い、総計３３２０個のデータによる単語認
識実験を、本システムを用いて行？た結果、平均認識率
８４％であった。これは、従来のフィルタバンクによる
方法とほぼ同じである。

−１一方、成人女性２０名が発声したデータによると、
従来のフィルタバンクによる方法では約３０％しか認識
出来ない事によって、女声に対応する事が全く出来なか
ったものが、本システムによると男声と同じ８４％まで
認識する事が可能となり、男女に関係なく適応出来る道
が開ける事によって本ダ哨の有効性を確認した。

以上述べたように、本発明は不特定な話者を対象とした
音素単位での認識を基本とするものであり、スペクトル
のローカルピークの位置とそれらの相対的な大きさに着
目して音素認識を行う事によって話者や環境による変動
の影響を受けにくく、又、スペクトルの分析を従来のフ
ィルタ群に変えて線形予測分析を用いる事によって音声
のピッチ成分の影響を受けない安定なホルマントに対応
するピークを抽出する事を可能とし、男女いずれの不特
定話者にも対応できる事を特長とする音声自動認識シス
テムを可能とするものである。

【図面の簡単な説明】

第１図は従来の音声自動Ｖ識システムのブロック図、第
２図は従来例である、フィルタバンクによる女声母音／
ｅ／の周波数スペクトル図、第３図は従来のフィルタ分
析による音素認識例を示す図、第４図は本発明の線形予
測分析による女声母音／ｅ／の周波数スペクトル図、第
６図は本発明の線形予測分析による音素認識例を示す図
、第６図は本発明に係る音声自動認識システム全体のブ
ロック構成を示す図、第７図は本発明の音響処理部のブ
ロック図、第８図は本発明のローカルピークＰ１．Ｐ２
による母音判別図、第９図は本発明の音声自動認識装置
の詳細を示すブロック図である。 １・・・・・・音響処理部、２・・・・・・音素認識部
、３・・・・・・音素系列作成部、４・・・・・・単語
マツチング部、１０・・・・・・プリエンファシス部、
１１・・・・・・窓部、１２・・・・・・線形予測分析
部、１３・・・・・・周波数スペクトル計算部、１４・
・・・・・ピーク抽出パラメータ部、２２・・・・・・
Ａ／Ｄ変換回路、２３・・・・・・線形予測分析ブロモ
、・す、２４・・・・・・メインブロモ、す、２６−−
−−、−単語辞書、コンフェーションマトリクス用メモ
リ、２７・・・・・・単語マツチングプロセッサ。 代理人の氏名　弁理士　中　尾　敏　男　ほか１名□ １１図 ５θ

Claims (1)

【特許請求の範囲】
1. 音声入力を処理して音素認識に必要なパラメータを算出
   する音響処理部と、前記パラメータを用いて区切り作業
   （セグメンテーシヨン）と音素の認識とを行う音素認識
   部と、前記音素認識部からの音素列の音素並びを訂正し
   て音素系列を作成する音素系列作成部と、前記音素系列
   と単語辞書とのマツチングを行う単語マツチング部とを
   具備し前記音響処理部のパラメータの算出にあたっては
   線形予測分析により得られた周波数スペクトルのピーク
   位置とピークの相対的な大きさに基づき行われるごとく
   構成されたことを特徴とする音声自動認識システム。