JP3525082B2 - 統計モデル作成方法 - Google Patents
統計モデル作成方法Info
- Publication number
- JP3525082B2 JP3525082B2 JP26193599A JP26193599A JP3525082B2 JP 3525082 B2 JP3525082 B2 JP 3525082B2 JP 26193599 A JP26193599 A JP 26193599A JP 26193599 A JP26193599 A JP 26193599A JP 3525082 B2 JP3525082 B2 JP 3525082B2
- Authority
- JP
- Japan
- Prior art keywords
- learning data
- likelihood
- data
- learning
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
【０００１】
【発明の属する技術分野】本発明は、例えば音声、文
字、図形などのような認識すべき対象を、統計モデル、
例えば隠れマルコフモデル（Hidden Markov Model,以下
ＨＭＭと記す）（例えば中川他“確率モデルにおける音
声認識”，電子情報通信学会，１９９７）、を用いて表
現するパターン認識において、モデル作成時に尤度を用
いてモデル作成時の学習データを選択することによっ
て、頑健で高性能なモデルを作成し、この統計モデルを
用いて認識実行時の認識率の向上を目指し、かつＨＭＭ
作成時間を短縮できる統計モデル作成方法に関する。
字、図形などのような認識すべき対象を、統計モデル、
例えば隠れマルコフモデル（Hidden Markov Model,以下
ＨＭＭと記す）（例えば中川他“確率モデルにおける音
声認識”，電子情報通信学会，１９９７）、を用いて表
現するパターン認識において、モデル作成時に尤度を用
いてモデル作成時の学習データを選択することによっ
て、頑健で高性能なモデルを作成し、この統計モデルを
用いて認識実行時の認識率の向上を目指し、かつＨＭＭ
作成時間を短縮できる統計モデル作成方法に関する。
【０００２】
【従来の技術】本発明は、音声を例に説明しているが、
入力音声データが如何なるカテゴリに属するかを認識す
るに当たって、当該入力音声データの特徴を統計モデル
で表して、当該統計モデル（以下では、説明をより具体
的にするためにＨＭＭと記すが、他のいかなる統計（確
率）モデル、例えばニューラルネット等であってもよ
い）を用いた様々なパターン認識をする場合に作成する
モデルにおいて適用可能である。
入力音声データが如何なるカテゴリに属するかを認識す
るに当たって、当該入力音声データの特徴を統計モデル
で表して、当該統計モデル（以下では、説明をより具体
的にするためにＨＭＭと記すが、他のいかなる統計（確
率）モデル、例えばニューラルネット等であってもよ
い）を用いた様々なパターン認識をする場合に作成する
モデルにおいて適用可能である。
【０００３】音声認識では、学習用音声データから求め
たＨＭＭ（音素モデル、音節モデル、単語モデルなど）
と入力音声データとを照合して両者の整合の程度を尤度
として求め、認識結果を得る。ＨＭＭのパラメータは学
習用音声データを収録した条件（背景雑音、回線歪み、
話者など）に大きく依存する。したがって、この音声収
録条件と実際の認識時が異なる場合、入力音声パターン
とＨＭＭとの不整合が生じ、結果として認識率が低下す
る。
たＨＭＭ（音素モデル、音節モデル、単語モデルなど）
と入力音声データとを照合して両者の整合の程度を尤度
として求め、認識結果を得る。ＨＭＭのパラメータは学
習用音声データを収録した条件（背景雑音、回線歪み、
話者など）に大きく依存する。したがって、この音声収
録条件と実際の認識時が異なる場合、入力音声パターン
とＨＭＭとの不整合が生じ、結果として認識率が低下す
る。
【０００４】
【発明が解決しようとする課題】入力音声データとＨＭ
Ｍとの不整合による認識率の低下を防ぐには、認識を実
行する際の条件と同じ条件で収録した音声データを用い
て、モデルを作成すれば良い。しかし、ＨＭＭのような
統計的手法に基づくモデルは、作成処理に時間がかかる
（約４００時間以上）。またこれら音声データの中に
は、評価の対象となる音声データ（以下、評価データと
記す）と大きく特性が異なるものが含まれている。この
ような音声を学習に用いた場合、ＨＭＭの精度が悪化す
る恐れがある。
Ｍとの不整合による認識率の低下を防ぐには、認識を実
行する際の条件と同じ条件で収録した音声データを用い
て、モデルを作成すれば良い。しかし、ＨＭＭのような
統計的手法に基づくモデルは、作成処理に時間がかかる
（約４００時間以上）。またこれら音声データの中に
は、評価の対象となる音声データ（以下、評価データと
記す）と大きく特性が異なるものが含まれている。この
ような音声を学習に用いた場合、ＨＭＭの精度が悪化す
る恐れがある。
【０００５】本発明は、上記に鑑みてなされたもので、
その目的とするところは、ＨＭＭを学習する際にその学
習データの尤度を計算し、その尤度を基準として学習デ
ータを選択する方法を提供することによって認識率を向
上させ、かつＨＭＭ作成時間を短縮する事にある。
その目的とするところは、ＨＭＭを学習する際にその学
習データの尤度を計算し、その尤度を基準として学習デ
ータを選択する方法を提供することによって認識率を向
上させ、かつＨＭＭ作成時間を短縮する事にある。
【０００６】
【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の発明では、入力データに対応する入
力ベクトル時系列に対し、各認識カテゴリの特徴を表現
した統計モデルを用いて、各認識カテゴリに対する尤度
を計算し、最も尤度の高い統計モデルが表現するカテゴ
リを認識結果として出力するパターン認識において、第
１の学習データセットを用いて予備統計モデルを作成
し、この予備統計モデルを用いて、第２の学習データセ
ットの各学習データに各学習データと同じカテゴリを与
えた場合での各学習データの尤度を求めて、当該学習デ
ータの尤度を判断基準として第２の学習データセットか
ら一部の学習データを選択し、当該選択した学習データ
のみを用いて統計モデルを学習するようにする。
め、請求項１記載の発明では、入力データに対応する入
力ベクトル時系列に対し、各認識カテゴリの特徴を表現
した統計モデルを用いて、各認識カテゴリに対する尤度
を計算し、最も尤度の高い統計モデルが表現するカテゴ
リを認識結果として出力するパターン認識において、第
１の学習データセットを用いて予備統計モデルを作成
し、この予備統計モデルを用いて、第２の学習データセ
ットの各学習データに各学習データと同じカテゴリを与
えた場合での各学習データの尤度を求めて、当該学習デ
ータの尤度を判断基準として第２の学習データセットか
ら一部の学習データを選択し、当該選択した学習データ
のみを用いて統計モデルを学習するようにする。
【０００７】
【０００８】請求項２記載の発明では、請求項１におい
て、前記判断基準として、前記学習データの尤度があら
かじめ設定した閾値以上の学習データを選択する基準を
用いるようにする。
て、前記判断基準として、前記学習データの尤度があら
かじめ設定した閾値以上の学習データを選択する基準を
用いるようにする。
【０００９】また請求項３記載の発明では、請求項１に
おいて、前記判断基準として、前記学習データの尤度が
高いものから順に、あらかじめ設定した割合の学習デー
タを選択する基準を用いるようにする。
おいて、前記判断基準として、前記学習データの尤度が
高いものから順に、あらかじめ設定した割合の学習デー
タを選択する基準を用いるようにする。
【００１０】
【発明の実施の形態】図１Ａは、３状態のＨＭＭの例を
示す。この様なモデルを音声単位（カテゴリ）ごとに作
成する。各状態Ｓ１からＳ３には、音声特徴パラメータ
の統計的な分布Ｄ１からＤ３がそれぞれ付与される。例
えば、これが音素モデルであるとすると、第１状態は音
素の始端付近、第２状態は中心付近、第３状態は終端付
近の特徴量の統計的な分布を表現する。
示す。この様なモデルを音声単位（カテゴリ）ごとに作
成する。各状態Ｓ１からＳ３には、音声特徴パラメータ
の統計的な分布Ｄ１からＤ３がそれぞれ付与される。例
えば、これが音素モデルであるとすると、第１状態は音
素の始端付近、第２状態は中心付近、第３状態は終端付
近の特徴量の統計的な分布を表現する。
【００１１】ＨＭＭの各状態の特徴量分布は、複雑な分
布形状を表現するために、複数の連続確率分布（以下、
混合連続分布と記す）の合成されたものとして表現され
る場合が多い。連続確率分布には、様々な分布が考えら
れるが、正規分布が用いられる場合が多い。また、それ
ぞれの正規分布は、特徴量と同じ次元数の多次元無相関
正規分布で表現されることが多い。
布形状を表現するために、複数の連続確率分布（以下、
混合連続分布と記す）の合成されたものとして表現され
る場合が多い。連続確率分布には、様々な分布が考えら
れるが、正規分布が用いられる場合が多い。また、それ
ぞれの正規分布は、特徴量と同じ次元数の多次元無相関
正規分布で表現されることが多い。
【００１２】図１Ｂは混合連続分布の例を示す。この図
では平均値ベクトルがμ1 、分散値がσ1 である正規分
布Ｎ（μ1 ，σ1 ）と同様なＮ（μ2 ，σ2 ）と同様な
Ｎ（μ3 ，σ3 ）との３つの正規分で表現された場合と
して示されている。例えば分布Ｄ１の如き分布が図１Ｂ
に示す如き３つの正規分で表現されたものとして与えら
れる。
では平均値ベクトルがμ1 、分散値がσ1 である正規分
布Ｎ（μ1 ，σ1 ）と同様なＮ（μ2 ，σ2 ）と同様な
Ｎ（μ3 ，σ3 ）との３つの正規分で表現された場合と
して示されている。例えば分布Ｄ１の如き分布が図１Ｂ
に示す如き３つの正規分で表現されたものとして与えら
れる。
【００１３】時刻ｔの入力特徴ベクトル
Ｘt ＝（Ｘt,1, Ｘt,2, … Ｘt,p ）T （Ｐは総次元
数） に対する混合連続分布ＨＭＭの状態での出力確率ｂ（Ｘ
t ）は、
数） に対する混合連続分布ＨＭＭの状態での出力確率ｂ（Ｘ
t ）は、
【００１４】
【数１】
【００１５】のように計算される。ここでＷk は状態に
含まれるｋ番目の多次元正規分布ｋに対する重み係数を
表す。多次元正規分布ｋに対する確率密度Ｐk （Ｘt ）
は
含まれるｋ番目の多次元正規分布ｋに対する重み係数を
表す。多次元正規分布ｋに対する確率密度Ｐk （Ｘt ）
は
【００１６】
【数２】
【００１７】のように計算される。ここでμk は状態の
ｋ番目の多次元正規分布ｋに対する平均値ベクトル、Σ
k は同じく共分散行列を表す。共分散行列が対角成分の
み、つまり対角共分散行列であるとすると、Ｐ
k （Ｘt ）の対数値は、
ｋ番目の多次元正規分布ｋに対する平均値ベクトル、Σ
k は同じく共分散行列を表す。共分散行列が対角成分の
み、つまり対角共分散行列であるとすると、Ｐ
k （Ｘt ）の対数値は、
【００１８】
【数３】
【００１９】と表せる。
【００２０】ここでμk,i は状態の第ｋ番目の多次元正
規分布の平均値ベクトルの第ｉ番目の成分を，σk,i は
状態の第ｋ番目の多次元正規分布の共分散行列の第ｉ番
目の対角成分（分散値）を表す。このように尤度はＨＭ
Ｍと音声データの類似度とを表す。
規分布の平均値ベクトルの第ｉ番目の成分を，σk,i は
状態の第ｋ番目の多次元正規分布の共分散行列の第ｉ番
目の対角成分（分散値）を表す。このように尤度はＨＭ
Ｍと音声データの類似度とを表す。
【００２１】図２は音響モデル作成のフローチャートを
示す。音声データを音響分析部で分析し、その音声に対
応する正解ラベルを用いて、ＨＭＭは上記のＷ、μ、σ
を推定するように初期音響モデルから作成される。
示す。音声データを音響分析部で分析し、その音声に対
応する正解ラベルを用いて、ＨＭＭは上記のＷ、μ、σ
を推定するように初期音響モデルから作成される。
【００２２】音声データとして例えば「あらゆる現実・
・・」や「テレビゲームや・・・」の如きデータが与え
られるとき、正解ラベル（音韻列）として上記夫々の音
声データに対応する「ａｒａｙｕｒｕ・・・」や「ｔｅ
ｌｅｂｉ・・・」が用意される。そして、例えば「ａ」
や「ｒ」や・・・の夫々に対応して、学習の結果で得ら
れるべき音響モデルのいわば見本として、初期音響モデ
ルが用意される。
・・」や「テレビゲームや・・・」の如きデータが与え
られるとき、正解ラベル（音韻列）として上記夫々の音
声データに対応する「ａｒａｙｕｒｕ・・・」や「ｔｅ
ｌｅｂｉ・・・」が用意される。そして、例えば「ａ」
や「ｒ」や・・・の夫々に対応して、学習の結果で得ら
れるべき音響モデルのいわば見本として、初期音響モデ
ルが用意される。
【００２３】図示の初期音響モデルは、例えば「ａ」に
対応して、２６次元でかつ４混合で３状態のものとし
て、合計３１２個の正規分布 Ｎ（μ1 ，σ1 ），Ｎ（μ2 ，σ2 ）・・・・・Ｎ（μ312 ，σ312 ） を指定すべく μ1 （平均） ０．０；σ1 （分散） １．０ μ2 （平均） ０．０；σ2 （分散） １．０ ・・・ が指示される。図示の学習部は、（ｉ）夫々の音声デー
タについて音響分析部にて分析して得た線形予測分析
（ＬＰＣ）ケプストラムや他のＭＦＣＣ（メルケプスト
ラム）等と、（ii）正解ラベルと、（iii)初期音響モデ
ルとを与えられて、学習の結果で、例えば「ａ」が μ1 （平均） ０．０１；σ1 （分散） ０．２ μ2 （平均）−０．０３；σ2 （分散） ０．０４ ・・・ の如き複数個の正規分布の合成されたもので代表される
ものであることを得る。
対応して、２６次元でかつ４混合で３状態のものとし
て、合計３１２個の正規分布 Ｎ（μ1 ，σ1 ），Ｎ（μ2 ，σ2 ）・・・・・Ｎ（μ312 ，σ312 ） を指定すべく μ1 （平均） ０．０；σ1 （分散） １．０ μ2 （平均） ０．０；σ2 （分散） １．０ ・・・ が指示される。図示の学習部は、（ｉ）夫々の音声デー
タについて音響分析部にて分析して得た線形予測分析
（ＬＰＣ）ケプストラムや他のＭＦＣＣ（メルケプスト
ラム）等と、（ii）正解ラベルと、（iii)初期音響モデ
ルとを与えられて、学習の結果で、例えば「ａ」が μ1 （平均） ０．０１；σ1 （分散） ０．２ μ2 （平均）−０．０３；σ2 （分散） ０．０４ ・・・ の如き複数個の正規分布の合成されたもので代表される
ものであることを得る。
【００２４】なお、以後の認識処理に当たっては、認識
対象となる入力データ中の例えば「ａ」について、上記
と同様な音響モデルを得た上で、正解となる「ａ」につ
いての音響モデルとの距離を計算して、当該入力データ
中の上記「ａ」が正解「ａ」に対応するものであると認
識するようにする。
対象となる入力データ中の例えば「ａ」について、上記
と同様な音響モデルを得た上で、正解となる「ａ」につ
いての音響モデルとの距離を計算して、当該入力データ
中の上記「ａ」が正解「ａ」に対応するものであると認
識するようにする。
【００２５】図示学習部における学習処理は、従来公知
の （ｉ）学習アルゴリズム（離散ＨＭＭ） （ii）学習アルゴリズム（多次元正規分布） （iii)学習アルゴリズム（混合正規分布） （iv）学習アルゴリズム（半連続ＨＭＭ） などを用いることができる。当該夫々のアルゴリズムに
ついては、鹿野清宏、中村哲、伊勢史郎著、発行者 阿
井國昭、発行所 株式会社昭晃堂 １９９７年１１月１
０日初版１刷発行「音声・音情報のディジタル信号処理
（ディジタル信号処理シリーズ５）」の第７４頁ないし
第７９頁に解説されており、本発明者は実験に当たっ
て、上記の「学習アルゴリズム（混合正規分布）」を用
いた。
の （ｉ）学習アルゴリズム（離散ＨＭＭ） （ii）学習アルゴリズム（多次元正規分布） （iii)学習アルゴリズム（混合正規分布） （iv）学習アルゴリズム（半連続ＨＭＭ） などを用いることができる。当該夫々のアルゴリズムに
ついては、鹿野清宏、中村哲、伊勢史郎著、発行者 阿
井國昭、発行所 株式会社昭晃堂 １９９７年１１月１
０日初版１刷発行「音声・音情報のディジタル信号処理
（ディジタル信号処理シリーズ５）」の第７４頁ないし
第７９頁に解説されており、本発明者は実験に当たっ
て、上記の「学習アルゴリズム（混合正規分布）」を用
いた。
【００２６】図３は認識のフローチャートを示す。認識
では、図３のように、認識候補のモデルについて、尤度
計算を入力音声の各フレームの特徴量ベクトルに対して
行い、得られる全音声の累積をフレーム数で割った尤度
の対数値と認識候補とが記述されている単語辞書を用
い、認識結果を出力する。
では、図３のように、認識候補のモデルについて、尤度
計算を入力音声の各フレームの特徴量ベクトルに対して
行い、得られる全音声の累積をフレーム数で割った尤度
の対数値と認識候補とが記述されている単語辞書を用
い、認識結果を出力する。
【００２７】即ち、図３に示す「音響モデル」として図
２において得られている「音響モデル」が使用され、評
価データ（即ち、認識対象となる入力データ）例えば
「でもやる事について男女の差はありません」や「日米
関係は重要であろう」・・・などが与えられて、音響分
析部で上述のＬＰＣケプストラムが得られた上で、認識
部に供給される。
２において得られている「音響モデル」が使用され、評
価データ（即ち、認識対象となる入力データ）例えば
「でもやる事について男女の差はありません」や「日米
関係は重要であろう」・・・などが与えられて、音響分
析部で上述のＬＰＣケプストラムが得られた上で、認識
部に供給される。
【００２８】
【００２９】認識部においては、音響分析部からのＬＰ
Ｃケプストラムを用いて得た音響モデルと上述の図２に
示す如き「音響モデル」との距離を計算して、例えば
「ｄ」「ｅ」「ｍ」「ｏ」「ｙ」「ａ」・・・について
の認識を得て、「単語辞書」を利用して、「認識結果」
を得る。
Ｃケプストラムを用いて得た音響モデルと上述の図２に
示す如き「音響モデル」との距離を計算して、例えば
「ｄ」「ｅ」「ｍ」「ｏ」「ｙ」「ａ」・・・について
の認識を得て、「単語辞書」を利用して、「認識結果」
を得る。
【００３０】上述した如く、音響モデルを用意した上で
「単語辞書」と対応づけて認識処理が行われるが、本発
明では、より好ましい「音響モデル」を得られる。
「単語辞書」と対応づけて認識処理が行われるが、本発
明では、より好ましい「音響モデル」を得られる。
【００３１】即ち本発明では認識時の判断基準である尤
度を用い、学習データの正解に対する尤度を求め、閾値
を設けて学習データの取捨選択を行う。このように尤度
を判断基準とすることで、正解ラベルが間違っているデ
ータや、雑音を含むデータや、音声が途中で切れている
データなどを除外する事ができる。
度を用い、学習データの正解に対する尤度を求め、閾値
を設けて学習データの取捨選択を行う。このように尤度
を判断基準とすることで、正解ラベルが間違っているデ
ータや、雑音を含むデータや、音声が途中で切れている
データなどを除外する事ができる。
【００３２】図４は尤度を基準とした学習データ選択の
フローチャートを示す。尤度を求めるために用いる「音
響モデル１（ＨＭＭ１）」を学習するための「学習デー
タ１」（第１の学習データセット）と、認識用の「音響
モデル２（ＨＭＭ２）」を学習するためのデータで選択
対象である「学習データ２」（第２の学習データセッ
ト）とを用意する。このとき学習データ２は学習データ
１を含んでも含まなくても良い。
フローチャートを示す。尤度を求めるために用いる「音
響モデル１（ＨＭＭ１）」を学習するための「学習デー
タ１」（第１の学習データセット）と、認識用の「音響
モデル２（ＨＭＭ２）」を学習するためのデータで選択
対象である「学習データ２」（第２の学習データセッ
ト）とを用意する。このとき学習データ２は学習データ
１を含んでも含まなくても良い。
【００３３】まずは学習データ１を用いて予備ＨＭＭ１
（音響モデル１（予備統計モデル））を作成する。ここ
で作成した予備ＨＭＭ１を用いて、学習データ２の各デ
ータに対して正解（例えば正解音素列）を与えた時の尤
度を求める。次にこの尤度に閾値を設け、閾値以上の尤
度がある学習データ２’を選び出して、認識処理のため
の音響モデル２（統計モデル）を生成する。
（音響モデル１（予備統計モデル））を作成する。ここ
で作成した予備ＨＭＭ１を用いて、学習データ２の各デ
ータに対して正解（例えば正解音素列）を与えた時の尤
度を求める。次にこの尤度に閾値を設け、閾値以上の尤
度がある学習データ２’を選び出して、認識処理のため
の音響モデル２（統計モデル）を生成する。
【００３４】図５は学習データを尤度の閾値により選択
するフローチャートを示す。図５においては「学習デー
タ２」として、「予防や健康管理リハビリテーション・
・・」や「出口のない・・・」の如きものが任意に与え
られる。そして、「音響分析部」によりＬＰＣケプスト
ラムを得て、「音響モデル１（図２の「音響モデル」；
図４の「音響モデル１」）」を用い、「正解ラベル」
（図２の如き正解ラベル）を用いて、「尤度計算部」に
て尤度を計算する。
するフローチャートを示す。図５においては「学習デー
タ２」として、「予防や健康管理リハビリテーション・
・・」や「出口のない・・・」の如きものが任意に与え
られる。そして、「音響分析部」によりＬＰＣケプスト
ラムを得て、「音響モデル１（図２の「音響モデル」；
図４の「音響モデル１」）」を用い、「正解ラベル」
（図２の如き正解ラベル）を用いて、「尤度計算部」に
て尤度を計算する。
【００３５】その結果で学習データ選択部が、「学習デ
ータ２」として入力した各学習データについて、尤度の
高いものから順に並べる。図示の場合No.3の「わずかな
収入をやりくりして」が尤度「７９．６」を得、No.5の
ものが尤度「７７．７」を得、No.2の「出口のない・・
・」が尤度「７４．８」を得・・・ていることが判った
とき、「学習データ２’」（図４の「学習データ
２’」）としてNo.3のもの、No.5のもの、No.2のもの、
No.6のもの、No.1のもの、No.7のものが夫々尤度として
「７０」以上であったとして選択される。
ータ２」として入力した各学習データについて、尤度の
高いものから順に並べる。図示の場合No.3の「わずかな
収入をやりくりして」が尤度「７９．６」を得、No.5の
ものが尤度「７７．７」を得、No.2の「出口のない・・
・」が尤度「７４．８」を得・・・ていることが判った
とき、「学習データ２’」（図４の「学習データ
２’」）としてNo.3のもの、No.5のもの、No.2のもの、
No.6のもの、No.1のもの、No.7のものが夫々尤度として
「７０」以上であったとして選択される。
【００３６】図６は学習データを尤度の上位ｘ％により
選択するフローチャートを示す。上位数％から数十％の
学習データを選択し、学習データ２’を作成する。即
ち、図６の場合には、尤度の高いものから、全体の上位
ｘ％の学習データを選択する。図示の場合には、No.3の
もの、No.5のもの、No.2のもの、No.6のもの、No.1のも
のが上位ｘ％に入るものとして選択されている。即ち
「学習データ２’」として選択されている。
選択するフローチャートを示す。上位数％から数十％の
学習データを選択し、学習データ２’を作成する。即
ち、図６の場合には、尤度の高いものから、全体の上位
ｘ％の学習データを選択する。図示の場合には、No.3の
もの、No.5のもの、No.2のもの、No.6のもの、No.1のも
のが上位ｘ％に入るものとして選択されている。即ち
「学習データ２’」として選択されている。
【００３７】上記の手法いずれかにより「学習データ
２’」を選択し、この学習データ２’を用いて再び図４
に示す如く、「音響モデル２（ＨＭＭ２）」を作成す
る。
２’」を選択し、この学習データ２’を用いて再び図４
に示す如く、「音響モデル２（ＨＭＭ２）」を作成す
る。
【００３８】この学習の際、閾値の設定により学習デー
タ２’の量を調節する事が出来、ＨＭＭ２の作成に必要
な時間を調節する事が可能になる。
タ２’の量を調節する事が出来、ＨＭＭ２の作成に必要
な時間を調節する事が可能になる。
【００３９】学習データ選択の効果を見る為に音声認識
実験を行った。ＨＭＭを作成する際に用いているマシン
はSun Ultra Enterprise ４５０MHz である。学習デー
タはニュース放送音声を用いており、評価にはニュース
音声５０文を認識させている。語彙サイズは２００００
語である。実験結果を
実験を行った。ＨＭＭを作成する際に用いているマシン
はSun Ultra Enterprise ４５０MHz である。学習デー
タはニュース放送音声を用いており、評価にはニュース
音声５０文を認識させている。語彙サイズは２００００
語である。実験結果を
【００４０】
【表１】
【００４１】に表す。学習データ１については選択を行
っていない、６６６６文を用いて３００時間かけて学習
したモデルの認識率は９３．２３％で、本発明の学習デ
ータ選択により３８９４文を用いて２４０時間かけて学
習したモデルの認識率は９３．７９％となった。上記の
ように本発明による学習データ選択を行うことでＨＭＭ
の作成時間は６０時間短縮され、また認識率も０．５６
％の改善が見られた。
っていない、６６６６文を用いて３００時間かけて学習
したモデルの認識率は９３．２３％で、本発明の学習デ
ータ選択により３８９４文を用いて２４０時間かけて学
習したモデルの認識率は９３．７９％となった。上記の
ように本発明による学習データ選択を行うことでＨＭＭ
の作成時間は６０時間短縮され、また認識率も０．５６
％の改善が見られた。
【００４２】
【発明の効果】以上説明した如く、本発明によれば、Ｈ
ＭＭを作成する場合においては学習データを特に尤度を
用いて選択する事によって、認識率が向上し、かつＨＭ
Ｍを作成する際の時間を短縮することが出来る。また学
習データとして一般に特定の話者ならびに発声状態の音
声が用いられうる。かかる音声によって作成された音響
モデルを使用して音声認識を行うと学習時とは特性の異
なる音声に対して認識率が著しく低下する。しかし、本
発明では予め学習されたモデルとの尤度を計算し、尤度
が異常な値をとる音声を学習データとして使用すること
が避けられる。そのため、作成された音響モデルを用い
た認識率の低下を抑制することが可能になる。
ＭＭを作成する場合においては学習データを特に尤度を
用いて選択する事によって、認識率が向上し、かつＨＭ
Ｍを作成する際の時間を短縮することが出来る。また学
習データとして一般に特定の話者ならびに発声状態の音
声が用いられうる。かかる音声によって作成された音響
モデルを使用して音声認識を行うと学習時とは特性の異
なる音声に対して認識率が著しく低下する。しかし、本
発明では予め学習されたモデルとの尤度を計算し、尤度
が異常な値をとる音声を学習データとして使用すること
が避けられる。そのため、作成された音響モデルを用い
た認識率の低下を抑制することが可能になる。
【図１】ＨＭＭについて説明する図である。
【図２】音響モデルを作成するフローを示す。
【図３】認識処理のフローを示す。
【図４】本発明による学習データの選択を行うフローを
示す。
示す。
【図５】学習データの選択に当たって尤度の閾値を用い
る例を示す。
る例を示す。
【図６】学習データの選択に当たって尤度の上位ｘ％を
採用するようにした例を示す。
採用するようにした例を示す。
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開2000−259169（ＪＰ，Ａ)
特開 平６−250686（ＪＰ，Ａ)
佐藤， 今井， 安藤，音響モデル精
度向上のための学習サンプル自動選択,
電子情報通信学会技術研究報告［音声
］，日本，1999年 ６月18日，Ｖｏｌ.
99， Ｎｏ．121， ＳＰ99−30，Ｐａ
ｇｅｓ 27−32
山口， 中川， 大附， 野田， 小
川， 松永，音声認識エンジンＶｏｉｃ
ｅＲｅｘによるニュース放送音声認識,
日本音響学会平成11年度秋季研究発表会
講演論文集 Ｉ，日本，1999年 ９月29
日，２−１−20，Ｐａｇｅｓ 93−94
(58)調査した分野(Int.Cl.7，ＤＢ名)
G10L 15/00 - 15/28
ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (3)
- 【請求項１】 入力データに対応する入力ベクトル時系
列に対し、各認識カテゴリの特徴を表現した統計モデル
を用いて、各認識カテゴリに対する尤度を計算し、最も
尤度の高い統計モデルが表現するカテゴリを認識結果と
して出力するパターン認識において、第１の 学習データセットを用いて予備統計モデルを作成
し、 この予備統計モデルを用いて、第２の学習データセット
の各学習データに各学習データと同じカテゴリを与えた
場合での各学習データの尤度を求めて、当該 学習データの尤度を判断基準として第２の学習デー
タセットから一部の学習データを選択し、当該 選択した学習データのみを用いて統計モデルを学習
することを特徴とする統計モデル作成方法。 - 【請求項２】 請求項１において、前記判断基準として、 前記学習データの 尤度があらかじめ設定した閾値以上の
学習データを選択する基準を用いることを特徴とする統
計モデル作成方法。 - 【請求項３】 請求項１において、前記判断基準として、 前記学習データの尤度が高いものから順に、あらかじめ
設定した割合の学習データを選択する基準を用いること
を特徴とする統計モデル作成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26193599A JP3525082B2 (ja) | 1999-09-16 | 1999-09-16 | 統計モデル作成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26193599A JP3525082B2 (ja) | 1999-09-16 | 1999-09-16 | 統計モデル作成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001083986A JP2001083986A (ja) | 2001-03-30 |
| JP3525082B2 true JP3525082B2 (ja) | 2004-05-10 |
Family
ID=17368742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26193599A Expired - Lifetime JP3525082B2 (ja) | 1999-09-16 | 1999-09-16 | 統計モデル作成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3525082B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4654452B2 (ja) * | 2005-09-02 | 2011-03-23 | 株式会社国際電気通信基礎技術研究所 | 音響モデル生成装置、およびプログラム |
| JP2008241970A (ja) * | 2007-03-27 | 2008-10-09 | Kddi Corp | 話者適応装置、話者適応方法及び話者適応プログラム |
| JP4829871B2 (ja) * | 2007-11-21 | 2011-12-07 | 日本電信電話株式会社 | 学習データ選択装置、学習データ選択方法、プログラムおよび記録媒体、音響モデル作成装置、音響モデル作成方法、プログラムおよび記録媒体 |
| JP4949310B2 (ja) * | 2008-04-10 | 2012-06-06 | 日本放送協会 | 音響処理装置およびプログラム |
| JP6000094B2 (ja) * | 2012-12-03 | 2016-09-28 | 日本電信電話株式会社 | 話者適応化装置、話者適応化方法、プログラム |
| JP6267667B2 (ja) * | 2015-03-02 | 2018-01-24 | 日本電信電話株式会社 | 学習データ生成装置、方法及びプログラム |
| JP6280997B1 (ja) * | 2016-10-31 | 2018-02-14 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | 疾患の罹患判定装置、疾患の罹患判定方法、疾患の特徴抽出装置及び疾患の特徴抽出方法 |
| JP7342369B2 (ja) * | 2019-01-31 | 2023-09-12 | 中国電力株式会社 | 予測システム、予測方法 |
| JP7406885B2 (ja) * | 2019-08-01 | 2023-12-28 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
| CN111324727B (zh) | 2020-02-19 | 2023-08-01 | 百度在线网络技术（北京）有限公司 | 用户意图识别方法、装置、设备和可读存储介质 |
-
1999
- 1999-09-16 JP JP26193599A patent/JP3525082B2/ja not_active Expired - Lifetime
Non-Patent Citations (2)
| Title |
|---|
| 佐藤， 今井， 安藤，音響モデル精度向上のための学習サンプル自動選択，電子情報通信学会技術研究報告［音声］，日本，１９９９年 ６月１８日，Ｖｏｌ．９９， Ｎｏ．１２１， ＳＰ９９−３０，Ｐａｇｅｓ ２７−３２ |
| 山口， 中川， 大附， 野田， 小川， 松永，音声認識エンジンＶｏｉｃｅＲｅｘによるニュース放送音声認識，日本音響学会平成１１年度秋季研究発表会講演論文集 Ｉ，日本，１９９９年 ９月２９日，２−１−２０，Ｐａｇｅｓ ９３−９４ |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001083986A (ja) | 2001-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Reynolds et al. | Robust text-independent speaker identification using Gaussian mixture speaker models | |
| US7054810B2 (en) | Feature vector-based apparatus and method for robust pattern recognition | |
| JP3434838B2 (ja) | ワードスポッティング法 | |
| US6493667B1 (en) | Enhanced likelihood computation using regression in a speech recognition system | |
| US5805771A (en) | Automatic language identification method and system | |
| EP0831456B1 (en) | Speech recognition method and apparatus therefor | |
| EP1647970A1 (en) | Hidden conditional random field models for phonetic classification and speech recognition | |
| US20090055182A1 (en) | Discriminative Training of Hidden Markov Models for Continuous Speech Recognition | |
| JPH10512686A (ja) | 個別話者に適応した音声認識のための方法及び装置 | |
| JP2002014692A (ja) | 音響モデル作成装置及びその方法 | |
| Koo et al. | Speech recognition and utterance verification based on a generalized confidence score | |
| JPH09160584A (ja) | 音声適応化装置および音声認識装置 | |
| JP3130524B2 (ja) | 音声信号認識方法およびその方法を実施する装置 | |
| JP3525082B2 (ja) | 統計モデル作成方法 | |
| Martinčić-Ipšić et al. | Croatian large vocabulary automatic speech recognition | |
| JP2011033879A (ja) | サンプルを用いずあらゆる言語を識別可能な識別方法 | |
| Wester | Pronunciation variation modeling for Dutch automatic speech recognition | |
| Furui | Generalization problem in ASR acoustic model training and adaptation | |
| JPH1195795A (ja) | 音声品質評価方法および記録媒体 | |
| JP2852210B2 (ja) | 不特定話者モデル作成装置及び音声認識装置 | |
| Hsu et al. | Speaker-dependent model interpolation for statistical emotional speech synthesis | |
| JP2996925B2 (ja) | 音素境界検出装置及び音声認識装置 | |
| Takahashi et al. | Tied-structure HMM based on parameter correlation for efficient model training | |
| JPWO2020049687A1 (ja) | 音声処理装置、音声処理方法、およびプログラム | |
| JP2923243B2 (ja) | 音声認識のための単語モデル生成装置及び音声認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040210 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040216 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3525082 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080220 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090220 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090220 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100220 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110220 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110220 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 9 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |