JPH067357B2

JPH067357B2 - 音声認識装置

Info

Publication number: JPH067357B2
Application number: JP57184233A
Authority: JP
Inventors: 厚夫田中; 徹上田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1982-10-19
Filing date: 1982-10-19
Publication date: 1994-01-26
Anticipated expiration: 2009-01-26
Also published as: JPS5972500A; DE3378384D1; EP0109140A1; EP0109140B1

Description

【発明の詳細な説明】＜技術分野＞本発明は連続的に発声された音声から音節部を抽出して
識別を行う音声認識装置の改良に関するものである。

＜従来技術＞従来より知られている音節音声認識装置は主として、パ
ワーレベル等の単純な情報のみで音節部を抽出してパタ
ーンマッチングを行うものである。

しかしながら、認識の性能は音節部の抽出の正確さによ
って大きく影響を受けるため、簡単な音節部抽出法では
高い認識性能は期待できない。また外部の雑音の重畳に
対して、音節部の抽出が不正確になる。

一方、ある程度以上速く（例えば３音節／１秒以上の速
さ）音節を発生した場合には、音節間が区切れず、つな
がってしまうことが多くなる。

＜目的＞本発明は上記諸点に鑑みて成されたものであり音声の音
韻的特徴（例えば有声性，無声性、鼻音性等の特徴）で
音声の一定時間長（時間長は数ミリ秒から数十ミリ秒程
度）のセグメント（以下、このセグメントをフレームと
呼ぶ）を分類し、この分類結果を用いて音節部を抽出す
るようにして上記従来の問題点を除去し得る音声認識装
置を提供することを目的としたものである。

＜実施例＞以下、本発明を一実施例を示す図面を参照しつつ詳細に
説明するが、この一実施例の詳細説明に先立って、その
基本認識原理を説明する。

以下に示す本発明の実施例によれば、音声の音韻的特徴
（例えば有声性，無声性，鼻音性等の特徴）で音声の一
定時間長（時間長はミリ秒から数十ミリ秒程度）のセグ
メント（フレーム）を分類し、その分類結果を用いて音
節部が抽出される。

即ち、音声の各フレームはまず音韻的特徴で分類（以下
音韻分類と呼ぶ）して記号（・，Ｂ，Ｎ，Ｍ等）にして
表わされる。

この各記号が表わすべき音韻的性質を第１表に示す。

第１図は／hanaga／と発声した音声を音韻分類記号系列
にして表わした例である。

第１図において／ｈａ／の前に４フレームの無声部があ
るが、この無声部の後に４フレームの無音区間があるの
で、この無声部は雑音として取り扱われ、音声部の抽出
から除外される。

一方／ｈａ／の前半の子音部は摩擦性のフレームから成
っているが、母音部への遷移部分に１フレームの無音区
間がある。このような場合には、前半の摩擦性の部分か
ら、この１フレームの無音区間を含めて、後半の母音部
までを音節部とする。

一般に、無声破裂部の破裂部の後に数フレームの無音部
が現われることが多いが、ンの場合にも無音部を含めた
破裂部と母音部を音節部として抽出しなければならな
い。又、／ｎａ／の音節部は鼻音性の記号Ｎの最初から
母音部を含めて抽出する。有声破裂音の破裂部の前には
バスバー部と呼ばれる低周波成分のみから成る音声音が
しばしば検出されるが、この部分は音韻分類記号Ｂが続
くことによって分る。音節分類記号Ｂのフレームは音声
区間として扱わず、第１図で／ｇａ／の先行フレームの
Ｂの部分を除外して音節部を抽出する。

このように音韻分類記号系列から音節部を抽出するため
に、無音区間の処理、雑音部の処理、音節境界部での母
音部と子音部の分類等の処理が行なわれる。

一方、音韻分類に用いた特徴パラメータの種類や数、分
類の方法によっては音韻分類記号の出現の仕方が不安定
になる場合があるので、上記の処理の他に記号レベルで
のスムージングが必要となることもある。更に発声速度
が速くなれば、音韻分類記号系列のみでは音節部の抽出
の一意に行なえない場合が生じる。このような場合に
は、スペクトルの時間変化量やパワーの時間変化パター
ン内に現われる凹部の存在（以下、パワーディップと呼
ぶ）の情報等を付加情報として用いる必要が生じる。

第２図は本発明を実施した音声認識装置の構成を示すブ
ロック図であり、以下、本発明を一実施例を挙げて詳細
に説明する。

第２図において、マイク（図示せず）から入力された音
声はアンプ，プリエンファシス回路（図示せず）を通っ
た後、サンプリングされＡＤ変換される。量子化された
ディジタル音声信号は端子１を通じて音声分析部２に入
力される。

音声分析部２では一定時間毎（数ｍ〜数１０ｍ秒）に音
声の大略的特徴を得るためのパラメータと音節パターン
を構成するパラメータ（例えば、線形予測分析で得られ
るパラメータやスペクトルを表わすパラメータ等）を求
める。音節パターンを構成するパラメータはパターンメ
モリ３に記憶される。

一方、音韻分類部５では上記のパラメータに基いて、各
一定時間間隔毎に音韻的分類を行い、上記の音韻分類記
号系列を出力する。音節部抽出部６では、この記号系列
に基いて上記第１図の説明で述べたように、音節部の始
端及び終端を検出してパターンメモリ３上のアドレスを
パターン作成部４に送る。

パターン作成部４はパターンメモリ３上で選ばれた音節
部のパターンを時間的に伸縮したり、時間的に平滑化す
る処理等を施してパターンを作成する。標準音声の入力
による音声登録時にはこのパターンは図中破線で示す標
準パターンメモリ７に記憶される。

一方、認識すべき音声の入力時にはパターン作成部４で
作成されたパターンはマッチング部８に送られる。マッ
チング部８は、パターン作成部４から送られてきたパタ
ーンと標準パターンメモリ７の各標準パターンとの距離
や尤度を計算して判定部９へ送る。例えば、距離として
ユークリッド距離、等がある。ただし、パターンは１フレームＩ個のデータ
から成り、Ｊフレーム分で構成されるＩＪ次元ベクトル
である。また｛Ｘｉｊ｝は入力された未知パターンであ
り、｛Ｙｉｊ｝は標準パターンの一つである。この場
合、｛Ｘｉｊ｝，｛Ｙｉｊ｝はＪフレームに時間正規化
がなされている。

距離としては、この他にＤＰマッチングを用いた場合
等、各種の処理を施した場合での距離を用いることが可
能である。

力された未知パターンがどの標準パターンと最も類似し
ているかを判定し、判定結果を出力部１０に出力する。

通常、標準パターンはある音節に対して複数個ある場合
が多いので、ある音節に対する類似度の尺度として、そ
の複数個の標準パターンとの平均類似度の大きかった標準パターンに対する距離やスペクトル変化を表わす量やパワーディップを付加情報
として使う場合、これらの量はフレーム間の情報である
ので、音声分析部２か音節部抽出部６である着目するフ
レームの前部か前後のフレームのパラメータを記憶しな
がらこれらの量を計算する。

スペクトル変化を表わす量として例えば、ケプストラム
係数、線形予測分析で得られるパラメータやフィルタバ
ンク出力値の時間変化量を用いることが出来る。又、パ
ワーディップとしては例えば、ある周波数帯域のパワ
ー，差分等の処理波形のパワーの時間変化にみられる極
小値の有無が考えられる。スペクトル変化やパワーディ
ップの情報の利用の仕方として、例えば、有声音（音韻
分類記号がＮ，Ｍ，Ｖ）のフレームがある数以上続いて
いたが、それ迄の間に音節部の始端の検出がなされなか
った場合にこれらの情報を用いても始端検出を行うこと
等がある。

各フレームの音声信号から音韻分類記号を求める方法に
ついては、例えば、音声研究会資料Ｓ８１−７６（連続
音声認識の検討：田中厚夫，金原真司，山下一美：Ｓ５
７．１．２７発表）の方法等を用いて実現することがで
きる。

次に、本発明に係る音節部抽出の方法について説明す
る。

第３図の音節部抽出の一方法をフロー図にして示してい
る。

なお、ここでは説明を簡単にするため第１表でで示した
音韻分類記号を・，Ｃ，Ｎ，Ｖの４記号にまとめてい
る。ただし、・は・とＢをまとめて無音部を、ＣはＣと
Ｆをまとめて摩擦部等を、Ｎはそのままで、ＶはＭとＶ
をまとめて母音部をそれぞれ表わすものとする。

以下に示す第２表はこれらの音韻分類記号系列の例を示
しており、この例に基いて音節部抽出の方法を説明す
る。

第３図のステップｎ_２において無音区間検出は今着目し
ているフレーム（第２表中矩形枠で囲んだフレーム）と
それ以前のフレームが・であるかを検出する。もし第２
表(a)のように無音区間であれば、以下の処理は行わ
ず、ステップｎ_１に移行して着目しているフレームを更
新して次のフレームに移る。ステップｎ_３の過渡的無音
部検出は、今着目しているフレームが破裂部（第２表
(b)参照破裂部が検出された場合を記号上で一で示して
いる）や摩擦部（第２表(c)参照）の後の無音部（数フ
レーム）であるかを検出する。もし、過渡的無音部であ
れば、以下の処理は行わず、ステップｎ_１に戻り着目し
ているフレームを更新して、次のフレームに移る。この
場合には後で述べるカウンタ更新を行わないので、過渡
的無音部の特徴ベクトルは音節部のパターンに含まれな
いことになる。即ち、過渡的無音部を無視してパターン
を作成している。

ステップｎ_４の記号遷移検出は、音韻分類記号が時間的
に変化したかどうかを検出する。例えば第２表(d)で
は、今着目しているフレームの前後で無音区間から有音
区間へ変化しており（音節始端部と考えられる）、記号
変化を検出したとして処理はステップｎ_８の音節端点部
検出へ移る。第２表(e)，(f)，(g)においても同様に記
号変化有りとみなしてステップｎ_８の音節端点部検出へ
移る。

次のステップｎ_５のパワーディップ検出は前後のフレー
ムに対して、今着目しているフレームでパワーの極小が
起ったかを検出する。パワーディップには、時間的にゆ
るやかなディップと急峻なディップがあり、又、どのよ
うなパワーを用いるかによって種々のものを用いること
が出来る。用いるパワーとしては、特定の周波数帯域の
パワー，プリエンファシス（例えば、高域強調や低域強
調）を行った波形のパワー等種々のものが考えられ、
又、それらを組み合わせて判定することも可能である。
このディップは深いものもあれば浅いものもある。従っ
て、あるパワーのディップがある閾値以上になったと
き、ディップの深さや時間的急峻さとどのパワーによる
ものかの情報を音節端点検出では用いて端部点検出を行
う。

次のステップｎ_６のスペクトル変化検出でも上記と同様
にスペクトルの時間変化の急峻さ，強さ，及びスペクト
ル変化を表わすための物理量の定義により種々のものを
用いることが可能であり、組み合わせることができる。
スペクトル変化を表わす物理量としては、自己相関係
数，ケプストラム係数，線形予測分析で得られるパラメ
ータ（例えば、αパラメータ，ｋパラメータ等）等の時
間変化量やフィルタバンク出力の時間変化量等を用いる
ことが出来る。変化量としては、例えば、次式のよう
に、時間的に数ｍ秒〜数十ｍ秒離れた部分のフレーム間
の距離で与えることもできる。ただしパラメータｃｉｊ
はケプストラム係数で、ｉは次数，ｊはフレーム番号を
表わしている。又、Ｉはケプストラム係数の最大次数，
Ｊは変化を計算するフレーム数，ｋは変化を求める時間
間隔である。即ち、ｋフレーム離れたＪフレーム間のパ
ターンのユークリッド距離である。

ステップｎ_８の音節端点部検出は上記の音韻分類記号系
列、パワーディップ情報，スペクトル変化情報に基い
て、次の５状態に分類する。(1)始端部（第２表(d)参
照）、(2)過渡部（第２表(e)参照）、(3)音節境界（第
２表(f)参照）、(4)始端部（第２表(g)参照）、(5)音節
境界で過渡部を除去（第２表(h)参照）の各場合であ
る。ただし、第２表の例は音韻分類記号の変化のみを用
いた場合である。(5)の場合では、下線部は既に音節部
として抽出されパターンマッチングを終っていて太い下
線部が過渡部として現われている。この状態でカウンタ
（後述）をリセットすると、この太い下線部のフレーム
は除外されることになる（第２表(h)参照）。

カウンタは・，Ｃ，Ｎ，Ｖの各記号の数と音節始端部か
らのフレーム数を計数する。(2)の場合（第２表(e)参
照）、無音区間から有音区間へ変化した明らかな、音節
始端部の後数フレームで有声音間での記号変化が検出さ
れている。この場合、今着目しているフレームを音節始
端部とは考えられないので、そのまま先のフレームに移
動する。このとき、ステップｎ_７において有声音Ｎ，Ｖ
のカウンタが参照される。又、第２表(c)の場合では記
号Ｃのカウンタとフレーム数のカウンタのみが値をもっ
ているので、この場合には、今着目している無音のフレ
ームは音節内の過渡的無音部とみなすことができる。こ
のように、第３図に示すフロー図の中の各検出では、カ
ウンタの内容を参照して判定を行うことができる。

なお、音韻分類記号系列の並びが不規則であったり、同
じ記号の列の中に音節境界が有るような場合がある。こ
のような場合、音節端点部検出ではカウンタの内容を参
照しながら、パワーディップやスペクトル変化の情報を
用いて音節境界がどうかを判定する。一方、記号変化も
パワーディップもスペクトル変化も検出されずにフレー
ム数がある閾値を越えた場合にはカウンタの内容を参照
して、ステップｎ_８の音節端部検出へ移ることができ
る。

第２図に示した音韻分類部５としては、単に音声スペク
トルの概形的な特徴のみでフレームを分類するだけでな
く、更に詳細な情報を用いて分類することも可能であ
る。例えば、各フレームの特徴パラメータとして音節パ
ターンの構成に用いているパラメータから成る特徴ベク
トルのパターンマッチングを行うものを用いても良い。
２４次迄のケプストラム係数をパラメータとして用いて
いる場合には、特徴ベクトルは２４次元ベクトルとなり
このベクトルでフレームの特徴を表わすことができる。

予め登録用の音声で得られた音節パターンの中の母音部
に相当する特徴ベクトルを集めて、各母音／ａ／，／ｉ
／，／ｕ／，／ｅ／，／ｏ／の標準的な特徴ベクトルを
作成する。この標準的な特徴ベクトルを以下では音素標
準パターンと呼ぶ。音素標準パターンの作成方法として
は、後続母音が／ａ／の音節パターンの母音部の特徴ベ
クトルを集めて平均化することによって／ａ／の音素標
準パターンとすることもできるし、クラスタリング手法
によって／ａ／の音素標準パターンを小数個にしぼって
もつこともできる。このように、予め作成された音素標
準パターンと入力音声の各フレームの特徴ベクトルのマ
ッチングにより、各フレームの特徴ベクトルがどの音素
標準パターンと最も類似しているかを判定することによ
っても音素記号系列を得ることができる。従って、この
音素記号系列や、音素標準パターンとのマッチング距離
等を利用することによって更に詳細な情報を得ることが
できる。

ただし、音素標準パターンとして、５母音のみならず他
の音素に対応する音素標準パターンをもつこともでき
る。例えば、鼻音や摩擦音等の音素標準パターンを音韻
分類記号が鼻音性Ｎや摩擦性Ｆ（第１表参照）と記号付
けされた鼻子音や摩擦音の子音部の特徴ベクトルを集め
てきて母音と同様に各子音音素標準パターンを作成する
ことができる。

一方多数の話者の音素標準パターンを収集してクラスタ
リング手法により各音素毎に小数個の音素標準パターン
を持つことも可能である。これらの音素標準パターンを
用いることにより、不特定話者向けの記号付けが可能と
なる。音韻分類記号（第１表参照）は話者に依らない記
号として扱っているので、不特定話者用の音素標準パタ
ーンとのマッチングを組み合わせて、不特定話者にも適
用できる記号付けも可能である。又、不特定話者としな
くとも、例えば、男性，女性，子供，老人等といった範
ちゅうでの音素標準パターン作成も同様に行うことが出
来る。

このように音韻分類部は、音韻分類記号のみならず更に
他の情報を用いることによって詳細な音韻的特徴を抽出
して記号付けすることができる。

音韻分類部は、フレーム毎に記号化の処理を行っている
が、更に前後のフレームの情報を用いることによって改
良することができる。これによりスムージングを行うだ
けでなく時間的な変化特徴を利用することができる。

例えば、／ａｉａ／をゆっくり発声した場合には音素記
号系列は AAAAAAAAEEEIIIIIIEEEEAAAAAAAAAAAAという出現の仕方
をするが、更に速く発声していくとAAAAAAAAAAAEEEEEEE
EEAAAAAAAAAAAという出力をするようになる。この場
合、EEEE…の位置で／ｉ／の音韻標準パターンとの距離
は極小値をもつことがあり、これを利用して記号ＥをＩ
に書き換えることによって、聴こえに相当した記号付け
に修正することができる。

又、第３図のステップｎ_４の記号遷移検出としては、単
に記号の変化を検出したときだけ音節端点部検出に移る
よりも音節部の始端部として適した位置になったとき記
号遷移検出ができたとして音節端点部検出に移った方が
よいことがある。例えば／ｉｙａ／と発声した場合、母
音音素記号系列はという出力をすることが多い。このとき、ＩからＥの変
化点を音節始端部とするよりも、で示したフレームを始端部とした方が識別性能が高くな
ることがある。従って、このフレームでも記号遷移を検
出したとして音節端点部検出に移るようにできる。

従って、詳細な記号系列を用いた場合には、記号遷移検
出は単なる記号変化点検出というより音節境界検出も含
めた機能をもたせることによってより性能を上げること
ができる。

上記の実施例では音節部の始端及び終端は一意的に定ま
る場合を規定しているが、実際の連続音声ではある時間
間隔内に始端及び終端の候補時点を一意に定められない
場合がよく起こる。第４図に「電訳機」と発声（図はそ
の一部）した場合の記号系列の例を示す。これを、スペ
クトル変化やパワーディップの情報を用いないで音節部
の候補区間を求めた場合の例を記号系列の下に矩形で示
す。ＮからＡの間で矩形中の番号で示すような候補区間
が得られたとすれば、音節区間の系列の候補として
（２，３，４），（２，３，８），（２，６），（２，
７），（２，８），（５，４），（５，６）等が得られ
る。１から９の各区間候補のパターンのパターンマッチ
ングによる結果（第１候補）がそれぞれデ(1)，ン(2)，
イ(3)，ア(4)，ニ(5)，ヤ(6)，ヤ(7)，ヤ(8)，ク(9)で
あったとする（カッコ内の数字は図の音節区間候補の番
号）。ただし、図に示されていないが、キ(10)が得られ
たとすると、第１候補から成る音節例として、デンイア
クキ、デンイヤクキ、デンヤクキ、デニアクキ、デニヤ
クキが得られる。単語認識に本方式が用いられ、単語辞
書に登録されている単語の内上記の音節列としてデンヤ
クキしかなければ（他の音節列は一般的でない）、この
場合の認識結果は「デンヤクキ」となる。

＜効果＞以上の如く、本発明によれば、音声の波形から特徴パラ
メータを抽出し、このパラメータを用いて音声の音韻的
特徴を求めて音声波形のセグメントを符号化し、この符
号の時系列から音節部の始端及び終端を判定することに
よって音節部を抽出するように成しているため、音節部
の抽出を正確に行なうことが出来、結果として連続的に
発声された音声の認識性能を向上させることが出来る。

【図面の簡単な説明】

第１図は音声を音韻分類記号系列にして表わした一例を
示す図、第２図は本発明の音声認識方式を実施した音声
認識装置の構成を示すブロック図、第３図は本発明に係
る音節部抽出処理を示したフロー図、第４図は「電訳
機」と発声した場合の記号系列の一例を示す図である。２…音声分析部、３…パターンメモリ、４…パターン作成部、５…音韻分類部、６…音節部抽出部、７…標準パターンメモリ、８…マッチング部、９…判定部。

フロントページの続き (56)参考文献特開昭51−41903（ＪＰ，Ａ) 特開昭53−26505（ＪＰ，Ａ) 日本音響学会講演論文集３−２−22 （昭47−５）Ｐ．401〜402 日本音響学会講演論文集３−２−19 （昭47−５）Ｐ．395〜396 日本音響学会講演論文集２−４−８（昭51−10）Ｐ．333〜334

Claims

【特許請求の範囲】

【請求項１】音声の波形から特徴パラメータを抽出する
手段と、このパラメータを用いて音声の音韻的特徴を求
めて音声波形のセグメントを符号化する手段と、この符
号の時系列から音節部の始端と終端を判定することによ
って音節部を抽出する手段と、抽出した音節部のパター
ンを作成し、パターンマッチングにより音節単位の識別
で入力音声の認識を行う手段とを備えたことを特徴とす
る音声認識装置。