JPH0424700A - 子音セグメンテーション法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、音素認識を行う音声認識法における子音セグ
メンテーション法に関するものである。

従来の技術 従来よシ、子音のセグメンテーションを行うために、低
域・高域パワー情報の他に、母音とのパワー差が小さい
有声子音などに対しては、鼻音性標準パターンに対する
類似度情報を併用し、無声子音などに対しては、無声性
標準パターンに対する類似度情報を併用してきた。

これは、例えば、［帯域パワーとＬＰＣケプストラム係
数の時系列を用いた不特定話者用子音認識法」著者：二
矢田勝行、星見昌克（電子通信学会論文誌　８６／６　
Ｖｏｌ、　Ｊ６９−Ｄ　Ｎｏ、　６　）の方法が知られ
ている。

以下に、その構成を説明する。

第５図に、入力音声を音素単位に分けて音素の組合せと
して認識しく音素認識と言う）、音素単位で表記された
単語辞書との類似度を求めて認識結果を出力する従来の
単語認識システムのブロック図を示す。

第５図において、２２は音響分析部、２３は特徴抽出部
、２４は標準パターン登録部、２５は鼻音性・無声性判
定部、２６はセグメンテーション部、２７は音素判別部
、２８は単語認識部、２９は単語辞書である。

まず、あらかじめ多数の話者の音声（入力音声）を１フ
レーム（１フレームは１０　ｍ５ｅｃとする。）ごとに
音響分析部２２によって分析し、得られたスペクトル情
報をもとに特徴抽出部２３によって特徴パラメータを求
める。この特徴パラメータから鼻音性や無声性、各音素
などの標準パターンを作成して標準パターン登録部２４
に登録しておく。

鼻音性・無声性判定部２５では、標準パターン登録部２
４に登録しである母音と鼻音の標準パターンを用いて母
音・鼻音判定を行い、有声音と無声音の標準パターンを
用いて有音・無声判定を行う。

次に、特徴抽出部２３によって求められた特徴パラメー
タと、鼻音性・無声性判定部２５で得られた鼻音性情報
および無声性情報を用いてセグメンテーション部２６に
おいてセグメンテーションを行う。この結果をもとに、
音素判別部２７において、標準パターン登録部２４の標
準パターンと照合することによって、音素を決定する。

最後にこの結果作成した音素の時系列を、単語認識部２
８に送シ、同様にして音素の時系列で表現された単語辞
書２９と最も類似度の大きい項目に該幽する単語を認識
し、認識結果として出力する。

ここで、セグメンテーション部２６について第６図を参
照して説明する。

同一の発声内においては、母音部分の方が子音部分より
も相対的にパワーが大きいことは良く知られている。第
６図においで、高域パワーの時間的変化速度３１（第６
図（ｂ））が負および正の極値をとるフレームをそれぞ
れｎｌおよびｎ２とし、低域パワーの時間的変化速度３
３（第６図（ｄ））が負および正の極値をとるフレーム
をそれぞれｎ３およびｎ４とする。　フレームｎにおけ
る変化速度の大きさをＷＤ（ｎ）と書く。低域パワーデ
ィップの大きさＰＬと高域パワーディップの大きさＰＨ
を、 ＰＨ＝ＷＤ　（ｎ２）　−ＷＤ　（ｎｌ）ＰＬ＝ＷＤ（
ｎ４）−ＷＤ（ｎ３） のように定義し、この値がある閾値以上になったときに
、そこに子音が存在するものとする。このとき、パワー
ディップ区間をｍｉｎ　（ｎｌ、　ｎ３　）からｍａｘ
　（ｎ２．　ｎ４　）までとする。

鼻音性は、母音と鼻音の標準パターンを作成し、統計的
距離尺度を使用してフレームごとに母音。

鼻音判定を行う。これにより鼻音と判定されたフレーム
がｎフレーム以上（ｎは閾値）連続した場合、その区間
を子音区間としてセグメンテーションを行う。

また無声性は、有声音および無声音の標準パターンを作
成し、同様にして有声・無声判定を行い、無声性フレー
ムが連続した場合にその区間を子音としてセグメンテー
ションする。

最終的な子音区間は、パワーディップ区間、鼻音性区間
および無声性区間の論理和の区間とする。

発明が解決しようとする課題 しかしながら、以上のような構成では、母音とのパワー
差が小さく、しかも鼻音性が検出されにくい／ｒ／など
の子音が脱落し、正しくセグメンテーションされないと
いう問題を有していた。

本発明は、上記問題に鑑み、子音セグメンテーション精
度を向上させることを目的とする。

課題を解決するだめの手段 この目的を達成するために、本発明の子音セグメンテー
ション法は、音素認識を行うことを特徴とする音声認識
方式において、あらかじめ多数の話者の音声を分析の最
小単位であるフレームごとに分析して特徴パラメータを
求め、鼻音性の音素と母音の各音素から鼻音性と各母音
の標準パタンを作成しておく過程と、全音素に対して学
習ベクトル量子化（Ｌｅａｒｎｉｎｇ　Ｖｅｃｔｏｒ　
Ｑｕａｎｔｉｚａｔｉｏｎ　）を行うことによって、各
音素のパターンを代表する複数個の参照ベクトルの学習
を音声の始端から終端捷で全フレームに渡って行ってお
く過程と、未知の音声の始端から終端まで、各フレーム
を中心とした時間パターンである入力ベクトルに対し最
も距離が近い参照ベクトルが属する音素を求め、その音
素をそのフレームの認識結果と過程と、入力音声スペク
トルのパワーの時間的変化によって生じる凹状の部分を
パワーディップとして検出する過程と、鼻音性標準パタ
ーンと母音の標準パターンとのマツチングによってフレ
ームごとに母音・鼻音判定を行う過程と、学習ベクトル
量子化によるフレームごとの認識結果で第１位に子音と
認識されたフレーム区間を子音区間とする過程と、パワ
ーディップの大きさから、学習ベクトル量子化による認
識結果から検出できなかった子音区間を補足する過程と
、得られた子音区間とパワーディップ区間の相互の位置
関係から子音区間の修正を行う過程と、学習ベクトル量
子化による認識結果、パワーディップの大きさ、および
鼻音性情報を併用して、持続時間なども参照しながら子
音区間の補足、修正、削除を行う過程を設けるように構
成されている。

また、本発明の第２の発明は、子音区間の修正に関して
、一つのパワーディップに２つ以上の学習ベクトル量子
化による認識結果から検出される子音区間が重なってい
たり、一つの学習ベクトル量子化による認識結果から検
出される子音区間に２つ以上のパワーディップが重なっ
ていた場合には、持続時間情報を用いて２つ以上の子音
区間を一つにしたり、一つの子音区間を２つに分ける過
程と、不適切な子音区間の補足、修正、および削除に関
して、パワーディップや鼻音性が存在しない区間にある
短い子音区間などを削除する過程を設けるように構成さ
れている。

作　　　　用 本発明は、上記構成により、学習ベクトル量子化による
認識結果から子音区間を検出し、ノ・ワーディノブ情報
を用いて子音区間の補足を行い、（％られた子音区間と
パワーディップ区間の相互の位置関係から子音区間の修
正を行う。さらに学習ベクトル量子化による認識結果、
パワーディップの大きさ、鼻音性情報を併用して、持続
時間なども参照し々から子音区間の補足、修正、削除を
行うことによって、子音のセグメンテーションノの精度
を向上させることができる。

実施例 以下、本発明の一実施例について図面を参照しながら説
明する。第１図は、本発明の子音セグメンテーション法
の一実施例においてセグメンテションを行うアルゴリズ
ムを簡単に表すブロック図である。

第１図において、１はＬＶＱ　Ｋよる認識結果、２はパ
ワーディップ、３は鼻音性情報、４はＩ、ＶＱによる子
音区間検出、５は子音区間の補足、６は子音区間の修正
、７は不適当な子音区間の補足・修正・削除である。パ
ワーディップ２の検出方法は、上述した従来例と同じで
ある。鼻音性情報３は、上述した従来例の母音・鼻音判
定と同じである。

次に、ＬＶＱによる認識結果１を得る方法について、第
２図および第３図を参照して説明する。

学習ベクトル量子化（ＬＶＱ　）は、各カテゴリーがそ
のカテゴリーのパターンを代表する複数個の参照ベクト
ルを持ち、入力ベクトルとの距離が最も小さい参照ベク
トルのカテゴリーを認識結果とするもので、参照ベクト
ルの学習は、認識誤りが少なくなるように逐次的に参照
ベクトルの位置をずらしていくことにより行われる。

第２図は、学習ベクトル量子化（ＬＶＱ　）の学習方法
を示すブロック図である。

第２図において、８は初期化部、９は探索部、１０は判
定部、１１は更新部である。

初期化部８における５ＴＥＰ　１では、まず各クラスに
複数の参照ベクトルを割ｇ当て、Ｋ　−ｍｅａｎＳなど
の適当な方法で参照ベクトルに初期値を与える。

探索部９における５ＴＥＰ　２では、入力ベクトルＸに
最も近い参照ベクトルｍｃをクラスごとに見付ける。

判定部１０における５ＴＥＰ　３では、最も近い参照ベ
クトルｍ１の属するクラスが入力ベクトルのクラスと異
なっていて、２番目に近い参照ベクトルｍ２の属するク
ラスが入力ベクトルのクラスと等しかった場合に、参照
ベクトルｍ１と参照ベクトルｍ２の間の境界に、ある幅
をもった窓を定義し、入力ベクトルＸがその窓に入って
いたら５ＴＥＰ４へ移シ、それ以外は探索部９の５ＴＥ
Ｐ　２へ戻る。

更新部１１における５ＴＥＰ　４では、次式に従って参
照ベクトルの位置をずらす。すなわち、間違って認識し
た参照ベクトルｍ１を入力ベクトルχから遠ざけ、正し
く認識する参照ベクトルｍ２を入力ベクトルＸの方へ近
付ける。

ｍｌ（ｔ＋１）−ｍｌ（ｔ）　−ａ（ｔＸＸ（ｔ）　−
ｍｘ（ｔ））ｍ２（ｔ＋１）＝ｍ２（ｔ）−＋−ａ（ｔ
ＸＸ（ｔ）−ｍ２（ｔ））たたし、ｍｔ（ｔ）は変更的
の参照ベクトル、ｍｌ（ｔ＋＋）は変更後の参照ベクト
ルを意味する。

またαは収束させるだめの係数で、学習回数とともに減
少していく値である。

５ＴＥＰ　２へ戻ったときは、次の入力ベクトルに対し
て同様の作業を繰返す。入力ベクトルは、多くの音声デ
ータの音声区間の始端から終端まで全フレームに渡って
、１フレームずつシフトされていく。

本実施例では、入力ベクトルとして、１５次で分析した
ＬＰＣケプヌトラム係数８個（ｃｍ〜Ｃ７）　　と、そ
の回帰係数８個の７フレ一ム分からなる１６×７次元の
ベクトルを用い、全音素に対して１５個の参照ベクトル
を割り当てて学習させた。

第３図は、学習ベクトル量子化による認識方法を示す概
念図である。

第３図において、１２は入力ベクトル、１３は各音素に
対する尤度を表すフレームごとのアクティベーション、
１４１ｒｉ最終的なアクティベーショ１５は認識結果で
ある。

認識は、各フレームのｍ（パラメータ）ｘｎ（フレーム
）次の入力ベクトルＩ２に対し、クラスごとに最も近い
参照ベクトルｍｉを見付け、ｍｌ　と入力ベクトルＸと
の距離をｄｌ　とする。このとき、クラスＣに対するア
クティベーションＡｃは、クラスＣの参照ベクトルのう
ち最も入力ベクトルＸに近い参照ベクトルｍｃと入力ベ
クトルＸとの距離ｄｃから、次式に従って計算される。

このアクティベーゾヨン１３は、フレームごとに各音素
に対して求まり、値が大きいほどそのクラスとの類似度
が大きいことを表す。

ｃ ＡＣ＝１〜 Σｄ＋ このフレームごとのアクティベーション１３ににフレー
ムの時間窓を１フレームずつシフトしながらかけ、この
窓内のにフレームのアクティベーションにガウヌ曲線状
の重み（和が１）をかけてに個の和をとり、これを最終
的なアクティベーション１４　とする。アクティベーシ
ョン１４はクラスごとに求まり、尤度を表す。このアク
テイベション１４　が最大であるクラスを認識結果１５
とする。

次に、第１図において、学習ベクトル量子化による認識
結果とパワーディップの大きさおよび鼻音性情報を統合
してセグメンテーションを行う方法について説明する。

まず、学習ベクトル量子化による子音区間の検出４で、
学習ベクトル量子化で第１位に子音と認識されたフレー
ム区間を子音区間として検出する。

まだ、子音区間の補足５では、学習ベクトル量子化によ
る認識結果から検出された子音区間はそのままとし、そ
れ以外の区間でパワーディップが検出されていれば、そ
の区間も子音区間としてセグメンテーションする。

そして、子音区間の修正６で、学習ベクトル量子化によ
る認識結果から検出された子音区間とパワーディップ区
間の相互の位置関係から、定められたルールに従って子
音区間の修正を行う。このルールの例を以下に示す。

〔ルール１〕 一つのパワーディップ区間に、２つ以上の学習ベクトル
量子化による認識結果から検出される子音区間が重なっ
ていた場合は、その区間があるフレーム数以下の長さで
あれば、その２つ以上の子音区間を一つにくっつける。

〔ルール２〕 一つの学習ベクトル量子化による認識結果から検出され
る子音区間に、２つ以上のパワーディップが重なってい
た場合は、２つの子音と考えて２つに分けてセグメンテ
ーションする。

次に、不適切な子音区間の補足・修正・削除７では、短
い子音区間について、学習ベクトル量子化による認識結
果から検出された子音区間、パワーディップの大きさ、
鼻音性情報を統合して子音区間の補足、修正、削除を行
う。このとき用いるルールの例を以下に示す。

〔ルール１〕 学習ベクトル量子化による認識結果から検出された子音
区間が０１フレーム以下で、その周辺にパワーディップ
が存在しなければ、その子音区間は削除する（　ｎｌは
閾値）。

〔ルール２〕 学習ベクトル量子化による認識結果から検出された子音
区間に大きさが小さいパワーディップしか存在しておら
ず、かつ鼻音性が全く出ていないｎ２フレーム以下の子
音区間は削除する（ｎ２は閾値）。

〔ルール３〕 撥音の区間の終端附近に短いパワーディップが存在すれ
ば、撥音＋他の子音としてセグメンテションを行う。

以上のようなアルゴリズムで最終的な子音区間が決定さ
れる。

第４図は、／ＨＵＲＵＳＡＴＯ／と発声された単語のセ
グメンテーションを行った例である。

第４図において、１６は従来例による認識結果、１７は
目視によりラベル付けされた音素、１８は本実施例によ
るセグメンテーション結果、１９はパワーディップ、２
０は学習ベクトル量子化による認識結果、２１は母音・
鼻音判定結果である。

第４図を見ると、従来例では、／ｒ／がパワデイツプも
、鼻音性・無声性も検出されなかったために正しくセグ
メンテーションが行われず、脱落していたが（第４図の
従来例による認識結果１６参照）、本実施例では、学習
ベクトル量子化によって／ｒ／が認識されただめ（第４
図のＬＶＱによる認識結果２０参照）、正しくセグメン
テーションされている（第４図の本実施例によるセグメ
ンテーション結果１８参照）。

本実施例を用いて、２１２単語七ノドを発声した男女計
５名のデータについて子音の脱落率を評価した。その結
果を第１表に示す。

第１表 以上のように本発明によって脱落率が約４５％減少し、
精度よく子音のセグメンテーシヨンを行うことができる
ようになった。

これは、学習ベクトル量子化による認識結果から子音区
間を検出し、パワーディップ情報を用いて子音区間の補
足を行い、得られた子音区間とノくワーディノプ区間の
相互の位置関係から子音区間の修正を行い、さらに学習
ベクトル量子化による認識の結果、パワーディップの大
きさ、鼻音性情報を併用して、持続時間なども参照しな
がら子音区間の補足、修正、削除を行うことによって、
ノζワーディノプも、鼻音性も出ないような子音に対し
て、正しく子音を検出することができるようになったた
めである。

以下は、本発明の実施の態様に関する。

音素認識を行うことを特徴とする音声認識方式において
、あらかじめ多数の話者の音声を分析の最小単位である
フレーム（１０ｍ５ｅ（程度）ごとに分析し特徴パラメ
ータを求め、鼻音性の音素と母音の各音素から鼻音性と
各母音の標準パターンを作成しておく。また、全音素に
対して学習ベクトル量子化（Ｌｅａｒｎｉｎｇ　Ｖｅｃ
ｔｏｒ　Ｑｕａｎｔｉｚａｔ＋ｏｎ　）を行うことによ
って、各音素のパターンを代表する複数個の参照ベクト
ルの学習を、音声の始端から終端壕で全フレーム（で渡
って行っておく。（ただし参照ベクトルは、あるフレー
ムを中上・とじた前後数フレーム分の特徴パラメータか
らなるベクトルである。） そして未知の音声の始端から終端１で、各フレームを中
心とした時間パターンである入力ベクトルに対し最も距
離が近い参照ベクトルが属する音素を求め、その音素を
そのフレームの認識結果とする。また、入力音声スペク
トルのパワーの時間的変化によって生じる凹状の部分を
パワーディップとして検出する。また、鼻音性標準パタ
ーンと母音の標準パターンとのマツチングによってフレ
ームごとに母音・鼻音判定を行う。

そこで、壕ず学習ベクトル量子化によるフレームごとの
認識結果で第１位に子音と認識されたフレーム区間を子
音区間とする。次にパワーディップの大きさから、学習
ベクトル量子化による認識結果から検出できなかった子
音区間を補足する。

こうして得られた子音区間とパワーディップ区間の相互
の位置関係から子音区間の修正を行う。さらに学習ベク
トル量子化による認識結果、ノ（ワーディノブの大きさ
、鼻音性情報を併用して、持続時間なども参照しながら
子音区間の補足、修正、削除を行い、精度よく子音のセ
グメンテーションを行う。

ただし、上述したセグメンテーション法で用いるルール
は、例えば次のようなものである。

子音区間の修正に関して、一つのパワーディップに２つ
以上の学習ベクトル量子化による認識結果から検出され
る子音区間が重なっていたり、つの学習ベクトル量子化
による認識結果から検出される子音区間に２つ以上のパ
ワーディップが重なっていた場合、持続時間情報を用い
て２つ以上の子音区間を一つにしたり、一つの子音区間
を２つに分ける。

不適切な子音区間の補足、修正、削除に関して、パワー
ディップや鼻音性が存在しない区間にある短い子音区間
々どを削除する。

このようにして、学習ベクトル量子化による認識結果か
ら子音区間を検出し、パワーディップ情報を用いて子音
区間の補足を行い、得られた子音区間とパワーディップ
区間の相互の位置関係から子音区間の修正を行う。さら
に学習ベクトル量子化による認識結果、パワーディップ
の大きさ、鼻音性情報を併用して、持続時間なども参照
しながら子音区間の補足、修正、削除を行うことによっ
て、子音のセグメンテーションの精度を向上させること
ができる。

発明の効果 以上のように本発明は、学習ベクトル量子化による認識
結果から子音区間を検出し、パワーディップ情報を用い
て子音区間の補足を行い、得られた子音区間とパワーデ
ィップ区間の相互の位置関係から子音区間の修正を行う
と共に、さらに学習ベクトル量子化による認識結果、パ
ワーディップの大きさ、鼻音性情報を併用して、持続時
間なども参照しながら子音区間の補足、修正、削除を行
うことによって、子音のセグメンテーションの精度を向
上させることが可能となる。

【図面の簡単な説明】

第１図は、本発明の一実施例におけるセグメンテーショ
ンを行うアルゴリズムを簡単に表すブロック図、第２図
は、本発明の一実施例における学習ベクトル量子化の学
習方法を示すブロック図、第３図は、本発明の一実施例
における学習ベクトル量子化による認識方法を示す概念
図、第４図は、／ＨＵＲＵＳＡＴＯ／と発声された単語
のセグメンテーションを行った場合を例として本発明の
一実施例の動作を説明する概念図、第５図は、従来の単
語認識システムのブロック図、第６図は、従来の単語認
識システムのパワーディップの求め方を表す概念図であ
る。 １・・・ＬＶＱによる認識結果、２′パワーディップ、
３　鼻音性情報、４・　ＬＶＱによる音声検出、５・−
子音区間の補足、６−・子音区間の修正、７不必要な子
音区間の除去、８　・初期化部、９・・・探索部、１０
　　判定部、工１・　更新部、１２−　　人力ベクトル
、１３−・各音素に対する尤度を表すフレムごとのアク
イベーゾヨン、１４　　最終的なアクティペーション、
１５　　認識結果、１６　　従来例による認識結果、１
７　　　目視によりラベル付けされた音素、１８　　　
でグメンテーション結果、１９　　　パワーディップ、
２０−　ＬＶＱによる認識結果、２１　　母音・鼻音判
定結果、２２・−音響分析部、２３　　特徴抽出部、２
４　　標準パターン登録部、２５　　鼻音声・無声性判
定部、２６　　　セグメンテーション部、２７・・音素
判別部、２８　　単語認識部、２９　−単語辞書、３ｏ
・・高域パワーの時間的変化、３１　　　高域パワーの
時間的変化速度、３２　　低域パワーの時間的変化、３
３　　低域パワーの時間的変化速度。 代理人の氏名　弁理士　粟　野　重　孝　ほか１名第 図 第 図 第 図 フレーム 寸 第５図 入力音声 認識結果 第 図 （ａ） ６０高域パワーの時間的変化 （Ｃ） ３３低域パワ の時１ｉｉ１ＦＪ込笈

Claims (2)

【特許請求の範囲】
1. （１）あらかじめ多数の話者の音声を分析の最小単位で
   あるフレームごとに分析して特徴パラメータを求め、鼻
   音性の音素と母音の各音素から鼻音性と各母音の標準パ
   ターンを作成しておく過程と、全音素に対して学習ベク
   トル量子化 （ＬｅａｒｎｉｎｇＶｅｃｔｏｒＱｕａｎｔｉｚａｔｉ
   ｏｎ）を行うことによって、各音素のパターンを代表す
   る複数個の参照ベクトルの学習を音声の始端から終端ま
   で全フレームに渡って行っておく過程と、未知の音声の
   始端から終端まで、各フレームを中心とした時間パター
   ンである入力ベクトルに対し最も距離が近い参照ベクト
   ルが属する音素を求め、その音素をそのフレームの認識
   結果とする過程と、入力音声スペクトルのパワーの時間
   的変化によって生じる凹状の部分をパワーディップとし
   て検出する過程と、鼻音性標準パターンと母音の標準パ
   ターンとのマッチングによってフレームごとに母音・鼻
   音判定を行う過程と、学習ベクトル量子化によるフレー
   ムごとの認識結果で第１位に子音と認識されたフレーム
   区間を子音区間とする過程と、パワーディップの大きさ
   から、学習ベクトル量子化による認識結果から検出でき
   なかった子音区間を補足する過程と、得られた子音区間
   とパワーディップ区間の相互の位置関係から子音区間の
   修正を行う過程と、学習ベクトル量子化による認識結果
   、パワーディップの大きさ、および鼻音性情報を併用し
   て、持続時間なども参照しながら子音区間の補足、修正
   、削除を行う過程を有する子音セグメンテーション法。
2. （２）子音区間の修正に関して、一つのパワーディップ
   に２つ以上の学習ベクトル量子化による認識結果から検
   出される子音区間が重なっていたり、一つの学習ベクト
   ル量子化による認識結果から検出される子音区間に２つ
   以上のパワーディップが重なっていた場合には、持続時
   間情報を用いて２つ以上の子音区間を一つにしたり、一
   つの子音区間を２つに分ける過程と、不適切な子音区間
   の補足、修正、および削除に関して、パワーディップや
   鼻音性が存在しない区間にある短い子音区間などを削除
   する過程を有することを特徴とする請求項１記載の子音
   セグメンテーション法。