JPS60181798A - 音声認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〈発明の技術分野〉 本発明は入力音声の波形情報に基づき、短時間ごとに音
韻分類を行って記号化し、この記号化列の情報から音声
区間あるいはマツチング区間の検出等を行う音声認識装
置の改良に関し、更に詳細には入力音声の短時間ごとの
音韻分類の方法に改良を加えたものである。

〈発明の技術的背景とその問題点〉 一般に音声認識装置における入力音声から音声区間等を
抽出する場合、パワーの情報によって行なわれている。

しかし実用的な環境では種々の雑音のため音声区間の正
確な抽出が困難となる。また直前に発声した音声による
調音的な影響によって音声区間の抽出が困難となる。

本出願人は上記従来の問題点を除去するため−例えば音
声区間の検出を単にパワーの情報によってのみ行なうこ
となく、音声の短区間フレームごとの簡素な音韻分類を
比較的簡単な手順で行なって記号列を作成し、この記号
列にもとづいて音声区間の検出等を行い得るようにした
音声認識方式％式％ 式」として提案している。

本出願人が先に提案した音声認識方式においては、音韻
性を決定するのに、原波形のパワー、差分波形パワー、
２次線形予測の残差パワー、平均レベル、相関係数、零
交差数及び差分零交差数等の各パラメータを用いて、一
つの固定された閾値セットによって分類していた。

〈発明の目的〉 本発明は上記従来の問題点を除去すると共に本出願人が
先に提案した音声認識方式を更に改良した音声認識方式
を提供することを目的として成されたものであり、この
目的を達成するため、本発明の音声認識方式は入力音声
の波形情報に基づき、短時間ごとに音韻分類を行なって
記号化する音響処理部を備えた音声認識装置において、
Ａ−Ｄ変換された音声データから、相関関数、零交差数
。

差分された波形の零交差数及び波形の平均レベル等の各
パラメータをそれぞれ抽出し、予め設定記憶された複数
の閾値セントより入力音量レベルにもとづいて所定の閾
値セントを選択し、この選択された閾値セットと上記の
抽出された各パラメータとを比較判定して音韻分類を行
なうように構成されており、この上う々構成によって、
本発明は文章入力中の話者の入力音量レベルを検出し、
この検出した情報を各パラメータと比較される閾値にフ
ィードバックさせて、予め用意された複数の閾値セット
を自動的に選択しながら音韻分類を行なうことが可能と
なり、更に本発明の実施例によれば、上記の検出された
入力音声レベルを話者へ報知するように成されている。

〈発明の実施例〉 以下、本発明を図面を参照して詳細に説明するＯ第１図
は本発明を実施した音声認識装置の一構成例を示すブロ
ック図である。

第１図において、発声された入力音声はマイクロホン等
の検出器１により電気信号に変換される。

この検出器１は、人の可聴周波数である２０数Ｈｚ〜１
５ｋＨｚ程度の周波数を検出することが出来、特に人の
会話音声領域の周波数を歪なく検出し得るものが好捷し
い。この検出器１の出力側には増幅器２が接続される。

この増幅器２は前記の音声周波数を歪なく増幅し得るも
のが好ましい。この増幅器２の出力側に音響処理部１０
を構成している音韻分類部３が接続されると共に特徴パ
ラメータ抽出部４が接続される０ 特徴パラメータ抽出部４は例えば互に＼通過帯域を異々
らせた複数個の帯域フィルタと各帯域フィルタの出力を
ホールドするサンプルホールド回路ト、このサンプルホ
ールド回路の出力を順次１０ミリ程度の間隔でサンプリ
ングするアナログスイッチと、このアナログスイッチの
出力を例えば１２ビツトのデジタル信号に変換して特徴
パラメータを出力するＡ／Ｄ変換器と、とのＡ／Ｄ変換
器の出力を対数変換する対数化部より構成されている。

また上記特徴パラメータ抽出部４により抽出された対数
変換された特徴パラメータが次段の時間軸正規化部５を
通って正規化され、この正規化された特徴パラメータと
標準パターンメモリ６に記憶された標準特徴パラメータ
とがマツチング部７により比較されて入力音声が認識さ
れ、その結果が判定出力部８に出力されるように構成さ
れているＯ 上記音韻分類部３は後述する第２図に示す如く、入力音
声波形からめられた各パラメータを用いて、音韻分類ア
ルゴリズムに従って音韻分類記号系列を出力する。上記
音韻分類部３から出力される音韻分類記号系列は音声区
間抽出部９に与えられ、該音声区間抽出部９において、
音韻分類記号系列から音声区間が検出さｉ−その出力が
時間軸正規化部５に与えられるように構成されている。

また１１は音韻分類部３において検出される話者の入力
音量レベルを外部報知するだめのレベル表示部であり、
該レベル表示部１１は音韻分類部３に接続されている。

第２図は音韻分類部３の一構成列を示すブロック図であ
る。

第２図において音韻分類部３はアンプ２から出力される
入力音声波形をＡ−Ｄ変換するＡ／Ｄ変換器３１と該Ａ
／Ｄ変換器３１から出力される音声ディジタル信号から
各パラメータを算出するだめの相関試３２へ各種パワー
演算部３３、零交差数検吊器３４、差分零交差数検出器
３５、平均レベル検出器３６及び算出された各パラメー
タにもとづいて短時間フレームごとに波形の特徴によっ
て分類して記号系列を出力する論理判定部３７、原波形
のパワー情報ＰＷにもとづいてトータルパワー情報ＴＰ
Ｗを算出するＴＰＷ算出部３８、母音ｔｔ　ｙ　ｎの出
現状況を計数するＶｃカウンタ３９、Ｔｉ値（ｉ−０〜
３）を記憶しているＴｉ記憶部４０、ＴＰＷ値とＴ１値
を比較してセント値５ｉ（ｉ＝０〜４）を出力する判定
部４１及び複数個の閾値セットを記憶している閾値テー
ブルメモリ記憶部４２とから構成されている。

上記Ａ／Ｄ変換器３１は入力音声を例えば８〜２４ｋＨ
ｚ　でサンプリングして６〜１２ビツトのデジタル信号
Ｘ１　に変換する。

相関器３２は例えばサンプル数Ｎ（−２５６）の区間の
１分析フレームごとの０次ないし２次までの相関関数を
算出するように構成されている。

１次の自己相関関数ψｌは ψ１−　Σ　Ｘｉ　１１Ｘｉ＋１ １　＝　１ として演算し、捷た同様に２次の自己相関関数９２は ψ２：、Σ　Ｘｉ　”　Ｘｉ＋ｚ １　＝　１ として演算する。

また０次の自己相関関数９０は ψ０：、Σ　Ｘｌ−Ｘｉ −１ として演算し、これは原波形のパワーＰＷを表わすこと
になる。

また、これらの値から１次及び２次の相関係数Ｃ１及び
Ｃ２が ψ１ ＣＩ＝ ＰＷ（＝ψ。） ＰＷ（＝ψ。） として演算される。

パワー演算部３３は原波形のパワーＰＷ以外の差分波形
のパワーＰＷＤ及び２次線形予測の残差パワーＰＷＦを
算出するように構成されている。

差分波形のパワーＰＷＤは ＰＷＤ＝２ｘ　（１−ＣＩ　）ｘＰＷ によって算出され、また２次線形予測の残差パワ零交差
数検出器３４は原波形（Ｘｉ）の分析フレームごとの零
交差数ＺＲＣを算出するように構成されており、零交差
数ＺＲＣは次式 （ただしＳ　Ｉ　ＧＮ　（Ｘｉ　）は波形Ｘｉの符号を
表わしている。） によってめるように構成されている。

差分零交差数検出器３５１１−１：差分処理した差分波
形（Ｘｌ−Ｘｌ−、）の零交差数ＺＲＣＤを算出するよ
うに構成されてお９、差分零交差数ＺＲＣＤけ次式２式
％ （ただし５ＩＧＮ（ＸｉＸｉ−１）は差分波形（Ｘｉ　
−Ｘｉ−ｉ）の符号を表わしている。） によってめるように構成されている。

平均レベル検出器３６゛は波形の絶対値（ＩＸｉｌ）の
平均レベルＰＷＡを算出するように構成されてによって
算出するように構成されている。

論理判定部３７は上記各要素３２〜３６より作成された
情報ＰＷ、ＰＷＤ、ＰＷＦ　、ＰＷＡ、Ｃ１、Ｃ２ＺＲ
Ｃ、ＺＲＣＤ及び閾値テーブル記憶部４２に記憶された
閾値に基づいて、分析フレーム毎に音韻分類を行うよう
に構成されている。

音韻分類は各分析フレーム毎に（・、Ｂ、Ｎ。

Ｖ、Ｆ、Ｃ１の各記号を与えるものであり、゛・″は無
音　＋ｔ　Ｂ　ｎはバズ・バ一部、”Ｎ’１ｌ−１：鼻
音性の音、ｙ　ｎは母音、Ｆ″は摩擦性の子音部。

”ｃ’Ｖｉ弱い摩擦性の子音に該当するものである。

」二記論理判定部３７における音韻分類の詳細動作の説
明を行なう前に、本発明の特徴である入力音量レベルに
よって、予め閾値テーブル記憶部４２に複数個設定記憶
している閾値セラ）Ｓｉ（ｉ＝０〜４）を自動的に選択
する動作について第３図に示される動作フロー図に従っ
て説明する。

上記閾値テーブル記憶部４２には、例えば第１表に示す
ように原波形のパワーＰ”、ｌＶに対する閾値ＰＷｏ　
〜ＰＷ３、差分波形のパワーＰＷＤに対する閾値Ｐ　Ｗ
　Ｄ　ｏ　＝Ｐ　Ｗ　Ｄ　３．２次線形予測の残差パワ
ーＰＷＦに対する閾値Ｐ　Ｗ　Ｆ　ｏ　＝　Ｐ　Ｗ　Ｆ
　２、平均レベルＰＷＡに対する閾値ＰＷＡｏ’＝ＰＷ
Ａ３．１次の相関係数Ｃ１に対する閾値Ｃ１０−ｃ　Ｉ
ｓ　、２次の相関係数０２に対する閾値Ｃ２ｏ　＝Ｃ２
２、及び零交差数ＺＲＣ及びＺＲＣＤに対する閾値ＺＲ
ＣＯ〜Ｚ　ＲＣ７がそれぞれセット番号Ｓ。−８４に対
応して４個ずつ記憶されている。なお第１表においては
セット番号Ｓ２に対する具体的な閾値のみが記入されて
いる。

表１　閾値セットの例 寸たＴｉ記憶部４０には例えばＴｏ　、＝　５０００　
。

Ｔ＋　＝８０００　、Ｔ２　＝１００００　、Ｔ３＝１
２０００の値が予め設定記憶されている。

本発明においては、上記のように複数個の閾値セット５
ｉ（ｉ−０〜４）が予め記憶部４２に設定記憶されてお
り、これらの閾値セットＳｉを選択して論理判定部３７
に所望の閾値を与える条件にトータルｐｗ（ＴＰＷ）及
び母音カウンタ（Ｖｃ）の値が用いられる。

以下に、第３図に示す動作フロー図に従って、この閾値
セットを自動的に選択する動作を説明するＱ 今、初期状態では母音カウンタ（Ｖｃ）３９及びＴＰＷ
算出部３８の内容は共に０″にクリアされ、また閾値セ
ットはＳｏが選択されている（第３図、ステソゲｎｌ）
。

次にステップｎ２に移行して、閾値セットＳ。

の各パラメータに対する各閾値によって論理判定部３７
で音韻分類が行なわれて、音韻性が判定される（なお−
この音韻性の判定動作については後述する。） ステップｎ２における音韻分類の結果が母音、即ち１■
“と判断されたとき（ステップｎ３）、母音カウンタ（
Ｖｃ）３９はカウントアツプ（Ｖ　ｃ　＝Ｖｃ＋１）さ
れ、同時にその時の原波形のパワーＰＷの値がＴＰＷ算
出部３８においてトータルＰＷ（ＴＰＷ）に加えられる
演算（ＴＰＷ＝ＴＰＷ＋ＰＷ）が実行される（ステップ
ｎ４）。一方、音韻分類の結果が母音（′ｖ″）以外の
ときは何も処理もなされない。音韻分類が何回か行なわ
れて行くと、母音（”Ｖ’　）と判断されたときのパワ
ーＰＷだけがＴＰＷ算出部３８において鍬婢される。

なお、音韻分類が母音（’Ｖ’　）と判断されたときの
み、パワーＰＷを累算しているのは、母音部分のパワー
ＰＷが安定しており、入力音量レベルを知るには都合が
良いためである。

ステップｎ４からステップｎ５に移行し、該ステップｎ
５においてＶｃの値がＶｃｃ（例えば６４）になったと
き、ステップｎ６に移行してＴＰＷ算出部３８において
累算されたトータルパワーＴＰＷの値が判定部４１に入
力されてＴｉ記憶部４０に予め記憶されているＴｉ（ｉ
＝０〜３）の値と＼比較されてＳｌのうちのどのセント
を選ぶかが判定される。

即ち、ステップｎ６に示すように ＴＰＷ／２５６＜Ｔｏ（５０００）であればＳ。

が選択され、 ’ｒｏ≦ＴＰＷ／２５６＜Ｔ＋（８０００）であればＳ
ｌが選択され、 Ｔ１　≦ＴＰＷ／２５６＜Ｔ２（１００００）であれば
Ｓ２が選択され、 Ｔ２　≦ＴＰＷ／２５６＜Ｔ３（１２０００）であれば
Ｓ３が選択され、 Ｔ３≦ＴＰＷ／２５６であればＳ４が選択される０ 今、例えばＴｏ　≦Ｔ　ＰＷ／　２５６　＜　Ｔ＋であ
ったとすると、閾値セントが８１に選択され、閾値セッ
トがＳｏからＳ＋に切換えられることになる。

この後論理判定部３７における音韻分類に８１が閾値セ
ントとして用いられる。

また、上記のようにして算出されたトータルパワーＴＰ
Ｗの値はステップｎ７においてＴｉ値と比較されて過大
、適量、過小のいずれかが、例えば発光ダイオード（Ｌ
ＥＤ）を用いたレベル表示部１１において表示され、話
者に知らせるように成されている。このレベル表示部１
１は話者へ「もう少し大きい声で」、「もう少し小さく
」の如く、装置かこの応答の意味を持ったものとなる。

なお、このレベル表示部１１の表示に際しては過大、適
量、過小を例えばＣＰＵの出力ビットに対応させること
で簡単に制御でき、表示のタイミングは閾値の選択のと
きとなしている。

その後、ステップｎ８に移行してカウンタ（Ｖｃ）３９
がリセットされると共にトータルパワーＴＰＷの値がａ
倍（例えば３／４倍）され、再びステップｎ２に戻って
、以下同様の動作が行なわれ、再びＶ　ｃ　＝Ｖ　ｃ　
ｃ　となったときに、トータルパワーＴＰＷの値によっ
て現在の閾値セットＳｌを継続するか〜あるいは他のセ
ットに換えるかが決定がなされる。

このようにして、閾値セットが入力音量レベルに応じて
動的に入れ換わることになり、より柔軟な音韻分類が行
なわれる。

次に論理判定部３７において行なわれる音韻分類の動作
について、第４図に示される動作フロー図にしたがって
説明する。

１ず、ステップ１１１１において鼻音性の音１１　Ｎ　
Ｊ′の判定が、表２に示す判定条件の下に行なわれる。

即ち、原波形のパワーＰＷがある閾値以上、差分波形の
パワーＰＷＤ及び２次線形予測の残差パワーＰＷＦがそ
れぞれある閾値以下、１次の相関係数０１がある閾値以
上で、差分零交差敬ＺＲＣＤがある閾値以下であるか否
かによって鼻音性の音ｔｔ　Ｎ　ｎの判定が行なわれる
。

表　２ ステップｎｉｌにおいて、鼻音性の音１１Ｎ”と判定さ
れ在いものに対してはステップｎ１２に移行してバズ・
バー″Ｂ”の判定が表３に示す判定条件の下に行々われ
る。

表　３ 次にステップｎ１２においてバズ・バー１１　Ｂ　Ｉ＋
と判定されないものに対してはステップｎ１３に移行し
て無音゛・″の判定が表４に示す判定条件の下に行なわ
れる。

表　４ 次にステップｎ１３において無音“・“と判定されない
ものに対してはステップｎ１４に移行して弱い摩擦性の
子音１１　、Ｃ１１の判定が表５に示す判定条件の下に
行なわれる。

表　５ 次にステップｎ１４において弱い摩擦性の子音１１　Ｃ
＃と一応判定されたものに対してはステップｎ１５に移
行して摩擦性の子音゛Ｆ〃であるか否かの判定が表６に
示す判定条件の下に行なわれて、摩擦性の子音ｔｔＦ″
と弱い摩擦性の子音１１　ＣＩＩの区別判定が行なわれ
る。

表　６ 捷た、上記ステップｎ１４において弱い摩擦性の子音１
１　Ｃｎと判定されないものに対してはステップｎ１６
に移行して母音１１　Ｖ　Ｒであるが否かの判定が表７
に示す判定条件の下に行なわれる。

表　７ 次にステップｎ１６において母音″ｖｎと判定されない
ものに対してはステップｎ１７に移行して摩擦性の子音
１１Ｆ”であるか否かの判定が表８に示す判定条件の下
に行なわれる。

表８ 以上の判定は上位から行なわれ、判定条件が成立した時
点で一つの音韻分類の動作を終了する。

寸たステップｎ１１〜ｎ１４．ｎ１６及びｎ１７におい
ていずれも１１　Ｎ　Ｏｎと判定されたものについては
母音１１　Ｖ　１１とされる。

上記判定においては表１に示した各閾値ＰＷ。

〜ＰＷ３　、ＰＷＤｏ　−ＰＷｓ　、ＰＷＦＯ−ＰＷＦ
２゜ＰＷＡｏ　”ＰＷＡ３　、Ｃ１ｏ　−Ｃ１ｓ　、Ｃ
２ｏ　〜Ｃ２２及びＺＲＣＯ−ＺＲＣ７との比較によっ
て行なわれるが、この閾値のセットは上記したように入
力音量レベルに応じて動的に入れ換わり、より柔軟な音
韻分類が行なわれる。

例えば音節／Ｎ　Ｉ　／を発声して音韻分類した場合の
一例を第５図に示している。

第５図において（ａ）は従来の方式によって音節／Ｎ　
Ｉ　／を音韻分類したものであり、（ｂ）は本発明方式
によって音韻分類したものを示しているが、両者の比較
から明らかなように本発明方式による（ｂ）の方が、音
韻分類の性能が向上していることがわかる。

なお、上記した第１図及び第２図に示したブロック構成
は、例えば第６図に示すようにマイクロコンピュータに
よって実現しても良いことは言うまでもない。

第６図において、第１図と同一部分は同一符号で示され
ており、１はマイクロホン等の検出器、１２は特徴抽出
回路、１３はＣＰＵ、１４１１Ｊ：メモリ一部、６は標
準パターンメモリ、７はマツチング部、１１はレベル表
示部である。

〈発明の効果〉 以上の如く、本発明によれば、Ａ−Ｄ変換された音声デ
ータから、相関関数、零交差数、差分された波形の零交
差数及び波形の平均レベル等の各パラメータをそれぞれ
抽出し、予め設定記憶された複数の閾値セットより入力
音量レベルにもとづいて所定の閾値セットを選択し、こ
の選択された閾値セットと上記の抽出された各パラメー
タとを比較判定して音韻分類を行なうように成している
ため、閾値セントが入力音量レベルに応じて動的に選択
され、より柔軟な音韻分類が行なわれて、例えば音声区
間の検出を確実に行なうことが出来る。

【図面の簡単な説明】 第１図は本発明を実施した音声認識装置の一実施例の構
成を示すブロック図、第２図は音韻分類部の構成例を示
すブロック図、第３図は本発明に係る閾値セットの動作
フローを示す図、第４図は音韻分類の動作フロー図、第
５図は音韻分類の一例を説明するだめの図、第６図は本
発明を実施した音声認識装置の他の構成例を示すブロッ
ク図である。 ３・・・音韻分類部、１０・・音響処理部、差分零交差
器、　３６・・・平均レベル検出器、３７・・・論理判
定部、　３８・・・ＴＰＷ算出部、３９・・・Ｖ、ｃ（
母音〕カウンタ　、４０・・・Ｔｉ記憶部、４１・・・
判定部、　４２・・・閾値テーブル記憶部、Ｓ　ｏ　＝
　Ｓ　４　・・閾値セット。

Claims (1)

1. 【特許請求の範囲】 １、入力音声の波形情報に基づき、短時間ごとに音韻分
   類を行って記号化する音響処理部を備えた音声認識装置
   において、 Ａ−Ｄ変換された音声データから、相関関数。 零交差数、差分された波形の零交差数及び波形の平均レ
   ベル等の各パラメータをそれぞれ抽出し、 予め設定記憶された複数の閾値上ン）より入力音量レベ
   ルにもとづいて所定の閾値セントを選択し、 該選択された閾値セットと上記抽出された各パラメータ
   とを比較判定して音韻分類を行なうように成したことを
   特徴とする音声認識方式。