JPH02232698A - 音声認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野］ この発明は、音声認識装置、特に不特定話者の音韻認識
に好適な音声！！識装置に関する．〔発明の概要〕 この発明は、音声認識装置において、スベクトル上の複
数のピークの周波数の時間的変化を取出し、時間的変化
を定常部と過渡部とに分離し、定常部における複数のピ
ークの周波数の分布から母音を認識し、母音の認識に基
づいてピークの周波数が第何番目のホルマントかを特定
し、過渡部におけるホルマントの時間的変化に基づいて
過渡部の音韻を認識できるようにしたことにより、ピッ
チとホルマントを区別でき、正しいホルマント遷移情報
を得ることができ、正確な音声認識を行えるようにした
ものである． 〔従来の技術〕 従来から音韻認識、音声認識ではホルマントは有用なパ
ラメータであることが知られており、このホルマントを
得るために、例えばバンドバスフィルタバンクが用いら
れている． バンドバスフィルタバンクを通して得られる入力音声の
周波数スペクトルには、通常、複数のピークがあり、こ
のピークの時間的変化をトラッキングすることにより、
定常部と、過渡部とが判定される．定常部からはピーク
周波数の分布に基づいて母音の識別情報が得られ、過渡
部からは半母音、子音等の識別情報が得られる．そして
、定常部に於けるピーク周波数は、第６図に示されるよ
うに、低域側から夫々ビッチＰ、ホルマントＦ１、Ｆ２
、Ｆ３とされる． 〔発明が解決しようとする課題〕 ところで、第６図に示されているように、ホルマントＦ
１より低域側には、ビッチＰと称される周波数スペクト
ルのピークの見られることがある．このピフチＰの位置
は変化するため、ビッチＰが、第６図実線で示されるよ
うにホルマントＦ１より低域側に離れて存在することが
ある．この場合には、第６図一点鎖線に示されるバンド
バスフィルタバンクの通過帯域の下限から外れているた
め周波数スペクトルとして出力されることはない．しか
しながら、第６図破線にて示されるようにビッチＰがホ
ルマントＦ１に接近して存在する場合は、バンドバスフ
ィルタバンクの通過帯域の下限を上回るため、周波数ス
ペクトルのピークとして出力される． このような場合に、定常部を参照せずに過渡部のみで周
波数スペクトルのピークをトラッキングし、半母音、子
音等の識別を行うと、トラッキングしている周波数スペ
クトルのピークの内、特に低域におけるピークがホルマ
ントなのか或いはピッチなのか区別できなくなってしま
うという問題点があった．このため、正しいホルマント
遷移情報を得ることができず、音頷認識を正確に行うこ
とができないという問題点があった． 従ってこの発明の目的は、定常部の母音識別情報と、そ
れに基づきピッチとホルマントを区別して得られる過渡
部のホルマント遷移情報とにより、正確な音韻認識を行
える音声認識装置を提供することにある． 〔課題を解決するための手段〕 この発明は、スペクトル上の複数のピークの周波数の時
間的変化を取出し、時間的変化を定常部と過渡部とに分
離し、定常部における複数のピークの周波数の分布から
母音を認識し、母音の認識に基づいて上記ピークの周波
数が第何番目のホルマントかを特定し、過渡部における
ホルマントの時間的変化に基づいて過渡部の音頷を認識
できるようにした構成としている； 〔作用〕 周波数スペクトルに於ける複数のピーク周波数の時間的
変化をトラッキングし、変化点を検出することにより、
定常部と過渡部とに分離する．定常部に於けるピーク周
波数の分布から母音を識別し、この母音識別情報に基づ
いてピークをピッチとホルマントに区別する．ピッチを
除外して残ったピークをホルマントとして判定する．こ
のようにして求められたホルマントが第何番目のホルマ
ントであるかを示す番号を、上述の母音識別情報に基づ
いて各ホルマントに付与すると共に、過渡部に於けるホ
ルマント遷移情報を得る．これによって、ピッチとホル
マントの区別が行え、定常部の母音の識別に基づいて正
しいホルマント遷移情報が得られ、このホルマント遷移
情報から子音、或いは半母音が識別でき、過渡部の音餞
認識が行える． 〔実施例〕 以下、この発明の一実施例について第１図乃至第５図を
参照して説明する． 第１図は、この発明に係る音声認識装置の例を示す． マイクロホン１からの音声信号が、アンブ２及びローパ
スフィルタ３を介して、Ａ／Ｄ変換回路４に供給される
．上述の音声信号は、Ａ／Ｄ変換回路４にて、例えば、
Ｌ２．５　ＫＨｚのサンプリング周波数で１２ビットの
デジタル音声信号に変換される．このデジタル音声信号
は、音響分析手段５に供給される． 音響分析手段５は、バンドバスフィルタバンクを有する
過渡検出パラメータ生成手段５１と、音声パワーを検出
する対数パワー検出千段５２と、ゼロクロスレート演算
手段５３と、隣接サンプルの相関関係をみるための１次
のバーコール係数の演算手段５４と、パワースペクトル
の傾きの演算手段５５と、ホルマント検出手段５６と、
音声の基本履期の検出手段５７を備える． 過渡検出パラメータは、入力音声の過渡性及び定常性を
検出するためのもので、この過渡検出パラメータは、音
声スペクトルの変化量を各チャンネル（周波数）の時間
方向のブロック内の分散の和として定義される．即ち、
音声スペクトルＳｉ（ｎ）を周波数方向の以下に示す平
均値Ｓａｖｇ（ｎ）でゲインを正規化する． ここで、ｉはチャンネル番号、ｑはチャンネル数（バン
ドバスフィルタ数）を示す．また、ｑチャンネルの各チ
ャンネルの情報は時間方向にサンプリングされるが、同
一時点のｑチャンネルの情報のブロックをフレームとい
い、ｎは’ｓ，ｍに使用されるフレームの番号を示して
いる． ゲイン正規化の行われた音声スペクトルＳｔ（ｎ）は、 Ｓ　ｉ　（ｎ）　＝　Ｓ　ｉ　（ｎ）　−　Ｓ　ａｖｇ
　（ｎ）−＝＝−（２）となり、過渡検出パラメータＴ
　（ｎ）は、そのフレームの前後のｈフレームの合計（
２Ｍ＋１）である（ｎ−Ｍ＋ｎ＋Ｍ　）ブロック内の各
チャンネルの時間方向の分散の和として定義される． Ｔ　（ｎ）　　＝　：’Ｅ．，　　，Ｅ’−Ｎｌ　　ｇ
ｉ　（ｎ＋Ｊ）　−Ａ　ｉｎｎ）ｌ　　’−（３）ここ
で、 であり、各チャンネルのブロック内の時間方向の平均値
である． 実際的には、（ｎ−Ｍ，ｎ＋Ｍ　）ブロック中心付近の
変化は、音の揺らぎ或いはノイズを拾い易いので、過渡
検出パラメータＴ　（ｎ）の計算から取り除くこととし
、第（３）式は次のように変形される．そして、第（５
》式において、ａ＝ＩＳ　Ｍ−２８、履−３、ｑ−３２
として過渡検出パラメータＴ（ｎ）が求められる．例え
ば、「あさ（ａｓａ）　Ｊという入力音声の場合、第２
図Ａのような過渡検出パラメータＴ　（ｎ）が得られる
． 他のパラメータ、例えば、第２図Ｂに示される対数パワ
ー、第２図Ｃに示されるゼロクロスレート、第２図Ｄに
示される１次のバーコール係数、第２［ｆｆｌＥに示さ
れるパワースペクトルの傾き、第２図Ｆに示される基本
周期等のパラメータの演算も過渡検出パラメータＴ　（
ｎ）　と同様に、或る時点（フレーム）を中心としてそ
の前後にＨフレーム分の時間幅を有するウィンドーを考
え、ウインドーを順次、１サンプル点ずつ時間方向に移
動させ、各ウインドー内で夫々演算を行うことにより得
られる．尚、第２図Ｇには、入力音声「あさ（ａｓａ）
」の音声波形と、音餌境界候補の例を示す．音響分析手
段５から得られた各パラメータは認識処理用パラメータ
として、音韻認識手段８に供給される．また、手段５１
〜５５から出力される各パラメータはセグメンテーシタ
ン用パラメータとして第１セグメンテーシ町ン手段６の
特徴点抽出手段６１に供給される．そして、手段５１か
らの出力が母音識別回路１ｌに供給され、千段５６から
出力されるホルマント周波数の時間的変化がトラッキン
グ回路１２に供給される． 第１セグメンテーシゴン手段６では、セグメンテーシ町
ン用パラメータから音韻境界候補を求めるために、一般
的な特徴点を抽出する．この例では、特徴点として次の
７種を用いる． ■立上がり点一平坦な部分から増加方向に変化する点 ■立下がり点一減少方向に変化した後、平坦になる部分
の点 ■増加変化点一増加率が変化する点 ■減少変化点一減少率が変化する点 ■ピーク点一ピークの位置 ■正のゼロクロス点一増加方向で零レベルと交差する点 ■負のゼロクロス点一減少方向で零レベルと交差する点 特徴点抽出手段６１では、特徴点情報記憶手段６２から
の特徴点情報を参照して各パラメータ毎に特徴点を抽出
する．第２図Ａ−Ｅの各パラメータ中、時間軸方向に縦
線で示す位置が各特徴点の位置である．第１セグメンテ
ーシジン手段６から得られ、特徴点の付された各パラメ
ータは、第２セグメンテーシゴン手段７の特徴点統合処
理手段７１に供給される． 第２セグメンテーション手段７は、特徴点統合処理手段
７１と、音韻境界特徴検出手段７２と、特徴点統合情報
記憶手段７３と、音韻境界特徴情報記憶手段７４とから
なる． 第１セグメンテーシッン手段６で求めた特徴点はパラメ
ータ毎に位置ズレ、未検出等があるので、特徴点統合処
理手段７１にて特徴点統合情報記憶手段７３からの特徴
点統合情報を参照し各バラメ一夕の特徴点をまとめ音韻
境界候補を決定する．特徴点統合情報は、どのパラメー
タの特徴点を優先するかについての情報である． 音韻境界特徴検出手段７２では、各音頷境界候補の音韻
境界特徴を求める．この例では８種類の音韻境界特徴が
用いられている． ■無音からの立上がり（Ｓ−Ｒ） ■子音性→母音性（Ｃ−Ｖ） ■子音性→子音性（Ｃ−Ｃ） ■母音性→母音性（Ｖ−Ｖ） ■母音性への立下がり（Ｖ−Ｆ） ■母音性→子音性（Ｖ−Ｃ） ■無音への立下がり（Ｆ−Ｓ） ■有音→無音（Ｓ−Ｓ） 音韻境界特徴情報記憶手段７４には、これら８種類の音
韻境界特徴情報が記憶されており、音韻境界特徴検出手
段７２では、音韻境界特徴情報記憶手段７４からの情報
を参照して各音韻境界候補の音鎖境界特徴を検出する．
この結果、第２図Ｇに示されるように音韻境界特徴が音
韻境界候補の縦線の近傍に示されている． 第２セグメンテーシ町ン手段７からは、音韻区間情報と
して、音頷境界候補情報と、その音韻境界特徴情報が得
られ、この音韻区間情報が第３セグメンテーシ町冫手段
ｌ３と、ホルマント遷移処理回路１４に供給される． 一方、母音識別回路１１では、定常部Ｃｏにおける周波
数スペクトルのピークの分布を抽出し、このピークの分
布と、母音を特定するホルマントＦの分布とのマッチン
グをとることによって、定常部Ｇｏにおける母音が識別
され、母音識別情報とされる．この母音識別情報がホル
マント遷移処理回路１４に供給される． トラッキング回路ｌ２では、周波数スペクトルから抽出
されたピークの周波数の時間的変化をトラッキングし、
第３図に示されるような各ピークの周波数の時間的変化
を得る．そしてこれらの情報は第３セグメンテーシゴン
手段１３とホルマント遷移処理回路１４に供給される． ホルマント遷移処理回路ｌ４では、周波数スベクトルの
ピークの時間的変化の情報と、母音識別情報と、音饋区
間情報を参考にしてホルマント遷移情報を検出すると共
に、定常部ｃｏ、過渡部Ｔｒに於けるホルマントＦに対
し、その順番を規定する番号をつける． このホルマント遷移処理回路１４では、まず、母音識別
情報に基づいてピークがビフチＰとホルマントＦに区別
され、ビッチＰを除外して残ったピークがホルマントＦ
として判定される．求められたホルマントＦには、第３
図に示されるように、ホルマントの順番を特定する番号
が付される．そして、ホルマントＦの遷移は変化点ＰＦ
によって、定常部Ｃｏと、過渡部Ｔｒに分離される．こ
こで、ホルマントＦの変化点ＰＦの抽出について、第３
図を参照して説明する． 第３図に於いて、時点ｔＯ〜ｔ１の間ではホルマントＦ
ｌ，Ｆ２の周波数には殆ど変化がなく前半の定常部Ｃｏ
ｌと判断される． 時点ｔｉを経遇すると、ホルマントＦ２の周波数は変化
せず、ホルマントＦｌの周波数が下降する．従って、時
点ｔ１に於けるホルマントＦ２、Ｆ１の周波数が変化点
ＰＦＩＯ、ＰＦ２０と判断される．この状態は時点ｔｌ
　−　ｔ２の間継続する．従って、時点ｔｌ〜ｔ２の期
間は、過渡部Ｔｒと判断される．時点ｔ２を経過すると
、新たなホルマントＦ２が検出されることで、上述のホ
ルマントＦ２は、第３番目のホルマントＦ３とされる．
図から明らかなように、ホルマントＦ１の周波数が安定
し、また、新たなホルマントＦ２が安定状態で検出され
、そして、ホルマントＦ３の周波数ｌよ変化しない．従
って、時点ｔ２に於けるホルマン｝Ｆｌ、Ｆ２、Ｆ３の
周波数が変化点ＰＦＩＩ、ＰＦ２１、ＰＦ３１と判断さ
れる．この状態は時点ｔ２以後、継続する．従って、時
点ｔ２以後は後半の定常部Ｃｏ２と判断される．尚、後
述するように、ホルマン｝Ｆが交差するような場合には
、交差する点を上下に分け、交差しないようにトラッキ
ングを行い、そして、交差に関する情報も、この時に得
る．また、後半の定常部Ｃｏ２のみにビッチＰが検出さ
れたような場合には、トレース方向を逆にたどることで
前半の定常部に於けるビッチＰを検出できる． 変化点ＰＦの検出によって、セグメンテーシ町ンが施さ
れた後、ホルマント遷移情報が求められる．上述のホル
マント遷移情報とは、過渡部Ｔｒに於いて各変化点ＰＦ
を基点とするホルマント周波数の変化の組み合わせを意
味する．即ち、第３図中の太線部分■で示すように、ホ
ルマントＦ２、Ｆ３の変化点ＰＦ２０、ＰＦ３１では周
波数の変化が無く、ホルマン｝Ｆｌは変化点ＰＦＩＯで
周波数が低下し始め変化点ＰＦＩＩで安定し、ホルマン
｝Ｆ２は変化点ＰＦ２１にて初めて現れるといったよう
な内容の情報である．このように過渡部Ｔｒと、その前
後の定常部Ｃｏとの間における各ホルマント周波数の変
化の組み合わせが、過渡部Ｔｒに於ける子音、半母音の
音韻を規定するホルマント遷移情報とされる．このホル
マント遷移情報は、音頷認識手段８に供給される． 第３セグメンテーシゴン手段１３には、前述の音韻区間
情報と、定常部Ｃｏと過渡部Ｔｒ及びこれらを規定する
変化点ＰＦに間する情報が供給されている．第３セグメ
ンテーシッン手段ｌ３では、変化点ＰＦが他のパラメー
タで得られた音韻境界候補と略同じ位置に検出された時
には、他のパラメータで得られた音頷境界候補を採用す
る．一方、変化点ＰＦが、他のパラメータからは検出さ
れていない音韻境界候補となった時は、変化点ＰＦを新
たな音韻境界候補として採用し、セグメンテーシゴンを
行う．上述の音韻区間情報が音韻認識手段８に供給され
る． このように、ホルマントを音韻区間用パラメータとして
も利用できるので、より精度の高い名グメンテーション
が可能となる． 音龍！！！識手段８では、音響分析手段５から供給され
る各パラメータを認識処理用パラメータとし、ホルマン
ト遷移情報及びホルマントの番号、そして、音韻区間情
報等を参照しながら音韻認識を実行する．この結果、定
常部Ｃｏでは母音が認識され、過渡部Ｔｒでは子音・半
母音が認識される．音韻認識手段８からは、認識された
音韻記号が得られ、これが後段の連続音声、大語霊音声
！！識手段に供給される． このように、定常部Ｃｏに於ける母音識別情報に基づい
てビッチＰとホルマントＦを区別し、ホルマントＦの順
序を定めているので、ビッチＰとホルマントＦを区別で
き、正しいホルマント遷移情報を得ることができる．ま
た、ホルマント遷移情報から子音、半母音等の音韻が確
定でき、定常部Ｃｏから識別される母音と相俟って音声
認議の認識率を向上させることができる． 第４図及び第５図には、ホルマントの順序を示す番号を
付するに際し、ホルマントが交差する場合の処理を示す
． 第４図の例では、交差前と交差後のホルマントＦ１、Ｆ
２の順序が点Ｘを境に逆転する．一方、第６図のように
、ホルマントＦが交差しないように交差する点Ｘを上下
に分けてトラッキングし、ホルマントＦの番号を付して
もよい．このようにすれば、交差前と交差後のホルマン
｝Ｆｌ、Ｆ２の順序は逆転しない． この実施例では、ハードウエアで構成する例について説
明しているが、第工〜第３セグメンテーシ剪ン手段６、
７、１３、音響分析手段５の演算部分、母音識別回路１
１、トラッキング回路ｌ２、ホルマント遷移処理回路ｌ
４、音ｎ認識手段８等はコンピュータにより実現しても
よい．（発明の効果） この発明によれば、スペクトル上の複数のピークの周波
数の時間的変化を定常部と過渡部とに分離し、定常部に
おけるピークの周波数の分布から母音を認識し、母音の
認識に基づいてピークの周波数が第何番目のホルマント
かを特定し、過渡部の音韻を認識しているので、ピッチ
とホルマントを区別できるという効果がある．このため
、正しいホルマント遷移情報を得ることができるという
効果がある． 上述の効果により、過渡部における子音、半母音等の音
鎖が確定でき、定常部から母音が識別されることと相俟
ワて、音声認識の認識率を向上させることができるとい
う効果がある． そして、ピッチとホルマントが区別され正しいホルマン
ト遷移情報を得ることかできるので、不特定話者を対象
とする音韻認識に通用できるという効果がある． 実施例によれば、ホルマントが交差するような場合であ
ってもホルマントの順序を正しく確定することができる
という効果がある．

【図面の簡単な説明】

第１図はこの発明の一実施例を示すブロック図、第２図
は夫々実施例を説明するための波形図、第３図はホルマ
ント遷移を示す説明図、第４図及び第５図は夫々ホルマ
ントが交差する場合を示す説明図、第６図は周波数スペ
クトルを示す周波数特性図である． 図面における主要な符号の説明 ５：音響分析手段、５６：ホルマント検出手段、６：第
１セグメンテーシゴン手段、７；第２セグメンテーショ
ン手段、８：音ｆｌ認識手段、１１：母音識別回路、１
２：トラッキング回路、１４：ホルマント遷移処理回路
．

Claims (1)

1. 【特許請求の範囲】 スペクトル上の複数のピークの周波数の時間的変化を取
   出し、上記時間的変化を定常部と過渡部とに分離し、上
   記定常部における上記複数のピークの周波数の分布から
   母音を認識し、 上記母音の認識に基づいて上記ピークの周波数が第何番
   目のホルマントかを特定し、 上記過渡部における上記ホルマントの時間的変化に基づ
   いて上記過渡部の音韻を認識できるようにした音声認識
   装置。