JP3397568B2 - 音声認識方法及び装置 - Google Patents
音声認識方法及び装置Info
- Publication number
- JP3397568B2 JP3397568B2 JP06804696A JP6804696A JP3397568B2 JP 3397568 B2 JP3397568 B2 JP 3397568B2 JP 06804696 A JP06804696 A JP 06804696A JP 6804696 A JP6804696 A JP 6804696A JP 3397568 B2 JP3397568 B2 JP 3397568B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- cepstrum
- hmm
- average
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 36
- 238000001228 spectrum Methods 0.000 claims description 22
- 230000007774 longterm Effects 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000009795 derivation Methods 0.000 claims description 2
- 230000006978 adaptation Effects 0.000 description 8
- 239000000654 additive Substances 0.000 description 8
- 230000000996 additive effect Effects 0.000 description 8
- 230000003595 spectral effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 241000282979 Alces alces Species 0.000 description 1
- 241000511976 Hoya Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Telephonic Communication Services (AREA)
- Machine Translation (AREA)
- Monitoring And Testing Of Transmission In General (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、隠れマルコフモデ
ル（ＨＭＭ）を用いて音声認識をおこなう、音声認識方
法及び装置に関するものである。
ル（ＨＭＭ）を用いて音声認識をおこなう、音声認識方
法及び装置に関するものである。
【０００２】
【従来の技術】実環境において音声認識を行う場合、特
に問題となるのはマイクや電話回線特性などの影響によ
る回線特性の歪みと、内部雑音などの加算性雑音であ
る。これらに対処する方法として、これまでＣｅｐｓｔ
ｒｕｍ Ｍｅａｎ Ｓｕｂｔｒａｃｔｉｏｎ（ＣＭＳ）
法やＰａｒａｌｌｅｌ Ｍｏｄｅｌ Ｃｏｍｂｉｎａｔ
ｉｏｎ（ＰＭＣ）法が提案されている。ＣＭＳ法は「Ｒ
ａｈｉｍ，ｅｔ ａｌ．：Ｓｉｇｎａｌ Ｂｉａｓ Ｒ
ｅｍｏｖａｌ ｆｏｒ Ｒｏｂｕｓｔ Ｔｅｌｅｐｈｏ
ｎｅ Ｂａｓｅｄ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉ
ｏｎ ｉｎ Ａｄｖｅｒｓｅ Ｅｎｖｉｒｏｎｍｅｎｔ
ｓ，Ｐｒｏｃ．ｏｆ ＩＣＡＳＳＰ ’９４，（１９９
４）．」などに詳しく、ＰＭＣ法については「Ｍ．Ｊ．
Ｇａｌｅｓ，Ｓ．Ｙｏｕｎｇ：Ａｎ Ｉｍｐｒｏｖｅｄ
Ａｐｐｒｏａｃｈ ｔｏ ｔｈｅＨｉｄｄｅｎ Ｍａ
ｒｋｏｖ Ｍｏｄｅｌ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ
ｏｆＳｐｅｅｃｈ ａｎｄ Ｎｏｉｓｅ，Ｐｒｏｃ．ｏ
ｆ ＩＣＡＳＳＰ’９２，Ｉ−２３３−２３６，（１９
９２）．」に詳しく述べられている。
に問題となるのはマイクや電話回線特性などの影響によ
る回線特性の歪みと、内部雑音などの加算性雑音であ
る。これらに対処する方法として、これまでＣｅｐｓｔ
ｒｕｍ Ｍｅａｎ Ｓｕｂｔｒａｃｔｉｏｎ（ＣＭＳ）
法やＰａｒａｌｌｅｌ Ｍｏｄｅｌ Ｃｏｍｂｉｎａｔ
ｉｏｎ（ＰＭＣ）法が提案されている。ＣＭＳ法は「Ｒ
ａｈｉｍ，ｅｔ ａｌ．：Ｓｉｇｎａｌ Ｂｉａｓ Ｒ
ｅｍｏｖａｌ ｆｏｒ Ｒｏｂｕｓｔ Ｔｅｌｅｐｈｏ
ｎｅ Ｂａｓｅｄ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉ
ｏｎ ｉｎ Ａｄｖｅｒｓｅ Ｅｎｖｉｒｏｎｍｅｎｔ
ｓ，Ｐｒｏｃ．ｏｆ ＩＣＡＳＳＰ ’９４，（１９９
４）．」などに詳しく、ＰＭＣ法については「Ｍ．Ｊ．
Ｇａｌｅｓ，Ｓ．Ｙｏｕｎｇ：Ａｎ Ｉｍｐｒｏｖｅｄ
Ａｐｐｒｏａｃｈ ｔｏ ｔｈｅＨｉｄｄｅｎ Ｍａ
ｒｋｏｖ Ｍｏｄｅｌ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ
ｏｆＳｐｅｅｃｈ ａｎｄ Ｎｏｉｓｅ，Ｐｒｏｃ．ｏ
ｆ ＩＣＡＳＳＰ’９２，Ｉ−２３３−２３６，（１９
９２）．」に詳しく述べられている。
【０００３】ＣＭＳ法は回線特性の歪みを補償するため
の一手法である。これに対しＰＭＣ法は加算性雑音に対
処するための方法である。いずれも入力音声から雑音部
と音声部を検出し、その情報をもとに回線歪みや雑音の
ない環境で作成されたＨｉｄｄｅｎ Ｍａｒｋｏｖ Ｍ
ｏｄｅｌ（ＨＭＭ）を修正し、入力環境に適応させる。
これによって回線特性や雑音が変動した場合でも、柔軟
に対処できる。
の一手法である。これに対しＰＭＣ法は加算性雑音に対
処するための方法である。いずれも入力音声から雑音部
と音声部を検出し、その情報をもとに回線歪みや雑音の
ない環境で作成されたＨｉｄｄｅｎ Ｍａｒｋｏｖ Ｍ
ｏｄｅｌ（ＨＭＭ）を修正し、入力環境に適応させる。
これによって回線特性や雑音が変動した場合でも、柔軟
に対処できる。
【０００４】ＣＭＳ法はインパルス応答の畳み込みで作
用する乗算性雑音（回線歪み）を補償する方法である。
入力音声の長時間スペクトルを入力音声から差し引き、
またモデル作成に用いた音声の長時間スペクトルをモデ
ルから差し引くことにより回線特性の差を正規化する。
正規化処理は対数スペクトル領域やケプストラム領域で
行うのが一般的である。乗算性雑音はこの二者の領域で
は加算性歪みとしてあらわれるので、引き算により雑音
補償が可能となる。このうちケプストラム領域で行う方
法がＣＭＳと呼ばれている。
用する乗算性雑音（回線歪み）を補償する方法である。
入力音声の長時間スペクトルを入力音声から差し引き、
またモデル作成に用いた音声の長時間スペクトルをモデ
ルから差し引くことにより回線特性の差を正規化する。
正規化処理は対数スペクトル領域やケプストラム領域で
行うのが一般的である。乗算性雑音はこの二者の領域で
は加算性歪みとしてあらわれるので、引き算により雑音
補償が可能となる。このうちケプストラム領域で行う方
法がＣＭＳと呼ばれている。
【０００５】ＰＭＣ法は無雑音環境で収録した音声で学
習したＨＭＭ（音声ＨＭＭ）と雑音で学習したＨＭＭ
（雑音ＨＭＭ）と加算合成して、モデルをより雑音重畳
環境に近づける方法である。ＰＭＣにおける雑音処理で
は、線形スペクトル領域で雑音と音声の加算性が成立す
ることを仮定している。一方、ＨＭＭは音声の特徴量と
して、ケプストラムなど対数スペクトル系のパラメータ
を用いることが多い。ＰＭＣ法では、これらのパラメー
タを線形スペクトル領域に変換し、音声ＨＭＭおよび雑
音ＨＭＭから得られる特徴量の線形スペクトル領域での
加算合成を行っている。音声と雑音との合成後、逆変換
を行って線形スペクトル領域からケプストラム領域に戻
すことによって、雑音重畳音声ＨＭＭを得ている。
習したＨＭＭ（音声ＨＭＭ）と雑音で学習したＨＭＭ
（雑音ＨＭＭ）と加算合成して、モデルをより雑音重畳
環境に近づける方法である。ＰＭＣにおける雑音処理で
は、線形スペクトル領域で雑音と音声の加算性が成立す
ることを仮定している。一方、ＨＭＭは音声の特徴量と
して、ケプストラムなど対数スペクトル系のパラメータ
を用いることが多い。ＰＭＣ法では、これらのパラメー
タを線形スペクトル領域に変換し、音声ＨＭＭおよび雑
音ＨＭＭから得られる特徴量の線形スペクトル領域での
加算合成を行っている。音声と雑音との合成後、逆変換
を行って線形スペクトル領域からケプストラム領域に戻
すことによって、雑音重畳音声ＨＭＭを得ている。
【０００６】
【発明が解決しようとする課題】以上述べたようにＣＭ
Ｓ法を用いることにより、マイクや電話回線特性などの
影響による回線特性の歪みに対処することができる。ま
たＰＭＣ法を用いることにより、内部雑音などの加算性
雑音に対処することができる。よってＣＭＳとＰＭＣを
組み合わせることにより、回線歪みと加算性雑音の影響
がある場合でも同時に適応できる。しかし、単に両者を
組み合わせた場合、ＳＮＲ（信号対量子化雑音比）が低
い場合回線特性の推定がうまく行かない恐れがある。
Ｓ法を用いることにより、マイクや電話回線特性などの
影響による回線特性の歪みに対処することができる。ま
たＰＭＣ法を用いることにより、内部雑音などの加算性
雑音に対処することができる。よってＣＭＳとＰＭＣを
組み合わせることにより、回線歪みと加算性雑音の影響
がある場合でも同時に適応できる。しかし、単に両者を
組み合わせた場合、ＳＮＲ（信号対量子化雑音比）が低
い場合回線特性の推定がうまく行かない恐れがある。
【０００７】これは回線特性推定の際に加算性雑音が悪
影響を及ぼし、回線特性の推定がうまく行かないことに
起因する。特に加算性雑音の特性が白色雑音でない場合
問題が大きい。
影響を及ぼし、回線特性の推定がうまく行かないことに
起因する。特に加算性雑音の特性が白色雑音でない場合
問題が大きい。
【０００８】
【課題を解決するための手段】上記課題を解決するため
に、本発明は、音声部と非音声部とを含む音声を入力
し、前記音声をケプストラム時系列に変換し、前記入力
音声に含まれる音声部のケプストラム時系列から音声部
のケプストラム長時間平均を求め、前記入力音声に含ま
れる非音声部のケプストラム時系列から雑音ＨＭＭを求
め、前記音声部のケプストラム長時間平均から前記雑音
ＨＭＭの平均パラメータの定数倍の値を線形スペクトル
次元上で差し引き、前記差し引きで求められた値を線形
スペクトル領域からケプストラム領域へ変換することに
より補正された入力音声のケプストラム平均を求め、学
習用音声ケプストラムデータの音声部から求められたケ
プストラム長時間平均を、前記学習用音声ケプストラム
データから求められた音声ＨＭＭの平均値パラメータか
ら差し引き、さらに前記補正された入力音声のケプスト
ラム平均を加えることにより音声ＨＭＭの平均値パラメ
ータを変更し、前記雑音ＨＭＭおよび前記パラメータが
更新された音声ＨＭＭをケプストラム領域から線形領域
へ変換を行い、両者をパラレル・モデル・コンビネーシ
ョン法（ＰＭＣ法）で混合し、混合結果を線形領域から
ケプストラム領域へ変換することにより雑音に適応した
ＨＭＭを求め音声認識に使うことを特徴とする音声認識
方法を提供する。
に、本発明は、音声部と非音声部とを含む音声を入力
し、前記音声をケプストラム時系列に変換し、前記入力
音声に含まれる音声部のケプストラム時系列から音声部
のケプストラム長時間平均を求め、前記入力音声に含ま
れる非音声部のケプストラム時系列から雑音ＨＭＭを求
め、前記音声部のケプストラム長時間平均から前記雑音
ＨＭＭの平均パラメータの定数倍の値を線形スペクトル
次元上で差し引き、前記差し引きで求められた値を線形
スペクトル領域からケプストラム領域へ変換することに
より補正された入力音声のケプストラム平均を求め、学
習用音声ケプストラムデータの音声部から求められたケ
プストラム長時間平均を、前記学習用音声ケプストラム
データから求められた音声ＨＭＭの平均値パラメータか
ら差し引き、さらに前記補正された入力音声のケプスト
ラム平均を加えることにより音声ＨＭＭの平均値パラメ
ータを変更し、前記雑音ＨＭＭおよび前記パラメータが
更新された音声ＨＭＭをケプストラム領域から線形領域
へ変換を行い、両者をパラレル・モデル・コンビネーシ
ョン法（ＰＭＣ法）で混合し、混合結果を線形領域から
ケプストラム領域へ変換することにより雑音に適応した
ＨＭＭを求め音声認識に使うことを特徴とする音声認識
方法を提供する。
【０００９】上記課題を解決するために、本発明は、音
声部と非音声部とを含む音声を入力する入力手段と、前
記音声をケプストラム時系列に変換する変換手段と、前
記入力音声に含まれる音声部のケプストラム時系列から
音声部のケプストラム長時間平均を求めるケプストラム
長時間平均導出手段と、前記入力音声に含まれる非音声
部のケプストラム時系列から雑音ＨＭＭを求める雑音Ｈ
ＭＭ導出手段と、前記音声部のケプストラム長時間平均
から前記雑音ＨＭＭの平均パラメータの定数倍の値を線
形スペクトル次元上で差し引く差し引き手段と、前記差
し引きで求められた値を線形スペクトル領域からケプス
トラム領域へ変換することにより補正された入力音声の
ケプストラム平均を求めるケプストラム平均導出手段
と、学習用音声ケプストラムデータの音声部から求めら
れたケプストラム長時間平均を、前記学習用音声ケプス
トラムデータから求められた音声ＨＭＭの平均値パラメ
ータから差し引き、さらに前記補正された入力音声のケ
プストラム平均を加えることにより音声ＨＭＭの平均値
パラメータを変更する変更手段と、前記雑音ＨＭＭおよ
び前記パラメータが更新された音声ＨＭＭをケプストラ
ム領域から線形領域へ変換を行い、両者をパラレル・モ
デル・コンビネーション法（ＰＭＣ法）で混合し、混合
結果を線形領域からケプストラム領域へ変換するケプス
トラム領域変換手段とを有することを特徴とする音声認
識装置を提供する。
声部と非音声部とを含む音声を入力する入力手段と、前
記音声をケプストラム時系列に変換する変換手段と、前
記入力音声に含まれる音声部のケプストラム時系列から
音声部のケプストラム長時間平均を求めるケプストラム
長時間平均導出手段と、前記入力音声に含まれる非音声
部のケプストラム時系列から雑音ＨＭＭを求める雑音Ｈ
ＭＭ導出手段と、前記音声部のケプストラム長時間平均
から前記雑音ＨＭＭの平均パラメータの定数倍の値を線
形スペクトル次元上で差し引く差し引き手段と、前記差
し引きで求められた値を線形スペクトル領域からケプス
トラム領域へ変換することにより補正された入力音声の
ケプストラム平均を求めるケプストラム平均導出手段
と、学習用音声ケプストラムデータの音声部から求めら
れたケプストラム長時間平均を、前記学習用音声ケプス
トラムデータから求められた音声ＨＭＭの平均値パラメ
ータから差し引き、さらに前記補正された入力音声のケ
プストラム平均を加えることにより音声ＨＭＭの平均値
パラメータを変更する変更手段と、前記雑音ＨＭＭおよ
び前記パラメータが更新された音声ＨＭＭをケプストラ
ム領域から線形領域へ変換を行い、両者をパラレル・モ
デル・コンビネーション法（ＰＭＣ法）で混合し、混合
結果を線形領域からケプストラム領域へ変換するケプス
トラム領域変換手段とを有することを特徴とする音声認
識装置を提供する。
【００１０】
【００１１】
【００１２】
【００１３】
【００１４】
【００１５】
【００１６】
【００１７】
【発明の実施の形態】図３は本発明の音声認識装置の構
成を表わすブロック図である。１０１はＣＲＴや液晶表
示器等の表示部であり、本発明の音声認識の結果得られ
る文字列を表示する。１０２はＬＢＰやインクジェット
プリンタ等の印字部であり、本発明の音声認識の結果得
られる文字列を印字する。１０３はマイクロフォン等の
音声入力部であり、公衆回線等を介して入力するもので
あっても良い。１０４はＣＰＵであり、記憶部１０５や
ＣＤＲＯＭ等の着脱可能な記憶媒体１０７に記憶されて
いる制御プログラムに従って以下説明する各種処理を実
行するよう制御する。１０５は装置内に備える記憶部で
あって、ＣＰＵ１０４が実行する後述の各種処理の為の
制御プログラムやその為に必要な各種パラメータ（例え
ば音声認識に用いる辞書に相当するデータ等）、認識す
る音声データ等を記憶する。１０６は通信Ｉ／Ｆであっ
て、公衆回線やＬＡＮ等の通信手段を介してデータの受
授を行うべく通信の制御を行う。この通信Ｉ／Ｆによ
り、他の装置で入力された音声や、他の装置が記憶して
いる制御プログラムや各種パラメータを本装置にとり込
み、記憶部１０５に記憶させた後、以下説明する各処理
を開始するようにしても良い。１０７は例えばＣＤＲＯ
Ｍ、ＦＤ等の本体に着脱可能な記憶媒体であって、記憶
部１０５に記憶されているとして先に説明した制御プロ
グラム、各種パラメータ、音声データを記憶することの
可能な本体に着脱可能な記憶媒体であって、以下説明す
る各処理を開始する前にこの記憶媒体１０７から記憶部
１０５にデータをダウンロードしても良いし、或いはＣ
ＰＵ１０４が直接記憶媒体１０７にアクセスしても良
い。図３は記憶部１０５或いは記憶媒体１０７に記憶さ
れているデータのメモリマップであり、４０１?４０３
に示すような各処理の制御プログラムが格納されてい
る。また、図３には図示していないが、この他にパラメ
ータ格納部、音声データ格納部、ワーキングエリア等も
備える。
成を表わすブロック図である。１０１はＣＲＴや液晶表
示器等の表示部であり、本発明の音声認識の結果得られ
る文字列を表示する。１０２はＬＢＰやインクジェット
プリンタ等の印字部であり、本発明の音声認識の結果得
られる文字列を印字する。１０３はマイクロフォン等の
音声入力部であり、公衆回線等を介して入力するもので
あっても良い。１０４はＣＰＵであり、記憶部１０５や
ＣＤＲＯＭ等の着脱可能な記憶媒体１０７に記憶されて
いる制御プログラムに従って以下説明する各種処理を実
行するよう制御する。１０５は装置内に備える記憶部で
あって、ＣＰＵ１０４が実行する後述の各種処理の為の
制御プログラムやその為に必要な各種パラメータ（例え
ば音声認識に用いる辞書に相当するデータ等）、認識す
る音声データ等を記憶する。１０６は通信Ｉ／Ｆであっ
て、公衆回線やＬＡＮ等の通信手段を介してデータの受
授を行うべく通信の制御を行う。この通信Ｉ／Ｆによ
り、他の装置で入力された音声や、他の装置が記憶して
いる制御プログラムや各種パラメータを本装置にとり込
み、記憶部１０５に記憶させた後、以下説明する各処理
を開始するようにしても良い。１０７は例えばＣＤＲＯ
Ｍ、ＦＤ等の本体に着脱可能な記憶媒体であって、記憶
部１０５に記憶されているとして先に説明した制御プロ
グラム、各種パラメータ、音声データを記憶することの
可能な本体に着脱可能な記憶媒体であって、以下説明す
る各処理を開始する前にこの記憶媒体１０７から記憶部
１０５にデータをダウンロードしても良いし、或いはＣ
ＰＵ１０４が直接記憶媒体１０７にアクセスしても良
い。図３は記憶部１０５或いは記憶媒体１０７に記憶さ
れているデータのメモリマップであり、４０１?４０３
に示すような各処理の制御プログラムが格納されてい
る。また、図３には図示していないが、この他にパラメ
ータ格納部、音声データ格納部、ワーキングエリア等も
備える。
【００１８】以下、図１に従って本発明の実施の形態を
詳細に説明する。図１は本発明音声認識処理の機能的な
ブロック構成図であり、データの流れがわかるようにし
てある。図１において、１は学習用音声データベース上
のデータからＣＭ（CepstrumMean： ケプストラム長時
間平均）を計算するＣＭ計算部であり、ＣＭ導出プログ
ラム４０１-ａに従ってＣＭを計算する。２はその結果
得て記憶部１０５に記憶されたＣＭ（以後ＣＭ（２）と
称する）、３は学習用音声データベース上のデータから
ＨＭＭを求めるためのＨＭＭ学習部、４はその結果得て
記憶部１０５に記憶されたＨＭＭ（以後ＨＭＭ（４）と
称する）、５は入力音声に含まれる音声部からＣＭを求
めるためのＣＭ計算部であり、ＣＭ導出プログラム４０
１-ａに従ってＣＭを求める。６はその結果得て記憶部
１０５に記憶されたＣＭ（以後ＣＭ（６）と称する）、
７は入力音声に含まれる非音声部から雑音ＨＭＭを学習
するための雑音ＨＭＭ学習部、８はその結果得て記憶部
１０５に記憶された雑音ＨＭＭ（以後ＨＭＭ（８）と称
する）、９は入力音声の音声部から得られたＣＭ（６）
をケプストラム領域から線形スペクトル領域へ変換する
ための変換部であり、線形スペクトル領域変換プログラ
ム４０１-ｂに従って実行される。１０は雑音ＨＭＭ
（８）をケプストラム領域から線形スペクトル領域へ変
換するための変換部であり、線形スペクトル領域変換プ
ログラム４０１-ｃに従って実行される。１１は線形ス
ペクトル領域からケプストラム領域への変換部、１２は
ケプストラム領域から線形ケプストラム領域への変換
部、１３はＰＭＣ実行部であり、ＰＭＣ法データ処理プ
ログラムに従って実行される。１４はＰＭＣで得られた
モデルの線形スペクトル領域表現をケプストラム領域へ
変換するための変換部、１５は変換して最終的に得られ
たＨＭＭ（以後ＨＭＭ（１５）と称する）、１６は１５
のＨＭＭ（１５）を用いて音声認識を行う音声認識部で
ある。
詳細に説明する。図１は本発明音声認識処理の機能的な
ブロック構成図であり、データの流れがわかるようにし
てある。図１において、１は学習用音声データベース上
のデータからＣＭ（CepstrumMean： ケプストラム長時
間平均）を計算するＣＭ計算部であり、ＣＭ導出プログ
ラム４０１-ａに従ってＣＭを計算する。２はその結果
得て記憶部１０５に記憶されたＣＭ（以後ＣＭ（２）と
称する）、３は学習用音声データベース上のデータから
ＨＭＭを求めるためのＨＭＭ学習部、４はその結果得て
記憶部１０５に記憶されたＨＭＭ（以後ＨＭＭ（４）と
称する）、５は入力音声に含まれる音声部からＣＭを求
めるためのＣＭ計算部であり、ＣＭ導出プログラム４０
１-ａに従ってＣＭを求める。６はその結果得て記憶部
１０５に記憶されたＣＭ（以後ＣＭ（６）と称する）、
７は入力音声に含まれる非音声部から雑音ＨＭＭを学習
するための雑音ＨＭＭ学習部、８はその結果得て記憶部
１０５に記憶された雑音ＨＭＭ（以後ＨＭＭ（８）と称
する）、９は入力音声の音声部から得られたＣＭ（６）
をケプストラム領域から線形スペクトル領域へ変換する
ための変換部であり、線形スペクトル領域変換プログラ
ム４０１-ｂに従って実行される。１０は雑音ＨＭＭ
（８）をケプストラム領域から線形スペクトル領域へ変
換するための変換部であり、線形スペクトル領域変換プ
ログラム４０１-ｃに従って実行される。１１は線形ス
ペクトル領域からケプストラム領域への変換部、１２は
ケプストラム領域から線形ケプストラム領域への変換
部、１３はＰＭＣ実行部であり、ＰＭＣ法データ処理プ
ログラムに従って実行される。１４はＰＭＣで得られた
モデルの線形スペクトル領域表現をケプストラム領域へ
変換するための変換部、１５は変換して最終的に得られ
たＨＭＭ（以後ＨＭＭ（１５）と称する）、１６は１５
のＨＭＭ（１５）を用いて音声認識を行う音声認識部で
ある。
【００１９】本認識装置は入力音声の一部を取り込み、
そのデータでモデルの適応をおこなう、環境適応型とし
て動作する。まず環境適応モードにおける動作の説明を
行う。最初に音声入力部１０３より入力した入力音声は
音声部と音声が入っていない非音声部に分けられる。入
力音声はケプストラムなどのパラメータに変換されてい
るものとする。まず雑音ＨＭＭ学習部７により非音声部
のデータを用いて雑音用のＨＭＭを通常のＢａｕｍ-Ｗ
ｅｌｃｈアルゴリズムで学習する。これにより雑音ＨＭ
Ｍ（８）ができる。また入力音声の音声部のケプストラ
ムの長時間平均を５で計算する。それぞれをケプストラ
ム領域から線形スペクトル領域へ変換する。変換法は前
述のＭ．Ｊ．Ｇａｌｅｓ，ｅｔ．ａｌ．の文献に詳し
い。この場合変換は音声部のＣＭ（６）では平均値のみ
を用い、雑音ＨＭＭ（８）について平均値および分散の
値を用いる。入力データの音声部から計算したＣＭ
（６）の線形スペクトル領域ＣＭ（６）′での表現を以
下のように表わす。
そのデータでモデルの適応をおこなう、環境適応型とし
て動作する。まず環境適応モードにおける動作の説明を
行う。最初に音声入力部１０３より入力した入力音声は
音声部と音声が入っていない非音声部に分けられる。入
力音声はケプストラムなどのパラメータに変換されてい
るものとする。まず雑音ＨＭＭ学習部７により非音声部
のデータを用いて雑音用のＨＭＭを通常のＢａｕｍ-Ｗ
ｅｌｃｈアルゴリズムで学習する。これにより雑音ＨＭ
Ｍ（８）ができる。また入力音声の音声部のケプストラ
ムの長時間平均を５で計算する。それぞれをケプストラ
ム領域から線形スペクトル領域へ変換する。変換法は前
述のＭ．Ｊ．Ｇａｌｅｓ，ｅｔ．ａｌ．の文献に詳し
い。この場合変換は音声部のＣＭ（６）では平均値のみ
を用い、雑音ＨＭＭ（８）について平均値および分散の
値を用いる。入力データの音声部から計算したＣＭ
（６）の線形スペクトル領域ＣＭ（６）′での表現を以
下のように表わす。
【００２０】
【外１】
【００２１】非音声部から計算したＨＭＭ（８）のパラ
メータのうち平均値の線形スペクトル領域表現を以下の
ように表わす。
メータのうち平均値の線形スペクトル領域表現を以下の
ように表わす。
【００２２】
【外２】
【００２３】ここで添字ｌｉｎは線形スペクトル表現を
示す。次に
示す。次に
【００２４】
【外３】
【００２５】式（１）に示す計算を行い、この結果を１
１の変換部で線形スペクトル表現からケプストラム表現
への変換を行う。これを
１の変換部で線形スペクトル表現からケプストラム表現
への変換を行う。これを
【００２６】
【外４】
以下のように表わす。
【００２７】この式（１）に示す引き算により入力音声
のＣＭ（６）の推定誤りを低減できる。ここでＫ1は定
数である。また引数ｃｅｐはケプストラム表現を表わ
す。
のＣＭ（６）の推定誤りを低減できる。ここでＫ1は定
数である。また引数ｃｅｐはケプストラム表現を表わ
す。
【００２８】次に学習用音声データベースの一部のデー
タを用いてＣＭ学習部１でＣＭ（２）を計算する。
タを用いてＣＭ学習部１でＣＭ（２）を計算する。
【００２９】
【外５】
【００３０】また同じく学習用音声データベースの一部
のデータを用いて音声認識用の音素や単語などを単位と
したＨＭＭ（４）をＨＭＭ学習部３で学習する。このＨ
ＭＭのパラメータのうち平均値ＨＭＭ（４）′を以下の
ように表わす。
のデータを用いて音声認識用の音素や単語などを単位と
したＨＭＭ（４）をＨＭＭ学習部３で学習する。このＨ
ＭＭのパラメータのうち平均値ＨＭＭ（４）′を以下の
ように表わす。
【００３１】ＨＭＭ（４）′＝ｙ（ｔ）cep
【００３２】これが適応前の雑音や回線変動に対応しな
いＨＭＭの平均値パラメータとなる。このＨＭＭ
（４）′を用いても音声認識は可能であるが、雑音や回
線変動の影響を受けた場合認識率が低下する。次に式
（２）に示す計算を行う。
いＨＭＭの平均値パラメータとなる。このＨＭＭ
（４）′を用いても音声認識は可能であるが、雑音や回
線変動の影響を受けた場合認識率が低下する。次に式
（２）に示す計算を行う。
【００３３】
【外６】
【００３４】これによりＨＭＭ学習部３で求められたＨ
ＭＭ（４）のうち平均値が変換されてＨＭＭ（４）″が
求められたことになる。ここで出来たＨＭＭ（４）″は
雑音と回線変動のうち回線変動のみに対処したものとな
る。
ＭＭ（４）のうち平均値が変換されてＨＭＭ（４）″が
求められたことになる。ここで出来たＨＭＭ（４）″は
雑音と回線変動のうち回線変動のみに対処したものとな
る。
【００３５】次に１２でこのＨＭＭ（４）″をケプスト
ラム表現から線形スペクトル表現に変換する。またＰＭ
Ｃ１３において１０から得られた雑音ＨＭＭ（８）′に
定数Ｋ2をかけ、この雑音ＨＭＭ（８）′と回線変動の
みに対応したＨＭＭ（４）″をＰＭＣ法により混合し、
ＨＭＭ（１３）を求める。得られたＨＭＭ（１３）を１
４でケプストラム表現に変換することにより、雑音およ
び回線変動に適応したＨＭＭ（１４）が得られる。この
得られたＨＭＭ（１４）を用いて音声認識部１６におい
て一般的なＨＭＭを用いた音声認識法により音声認識を
おこなう。
ラム表現から線形スペクトル表現に変換する。またＰＭ
Ｃ１３において１０から得られた雑音ＨＭＭ（８）′に
定数Ｋ2をかけ、この雑音ＨＭＭ（８）′と回線変動の
みに対応したＨＭＭ（４）″をＰＭＣ法により混合し、
ＨＭＭ（１３）を求める。得られたＨＭＭ（１３）を１
４でケプストラム表現に変換することにより、雑音およ
び回線変動に適応したＨＭＭ（１４）が得られる。この
得られたＨＭＭ（１４）を用いて音声認識部１６におい
て一般的なＨＭＭを用いた音声認識法により音声認識を
おこなう。
【００３６】上述の実施の形態とは異なる実施の形態と
して、以下に適応モードと認識モードを別個に行わない
方法について説明する。図１の構成では、適応のための
音声入力と認識のための音声入力には別個に切替えてす
るようになっている。これに対し適応モードを設けない
構成も可能である。図２にこの構成を示す。認識対象語
彙が音声入力部１０３より入力されるとそのデータが音
声部と非音声部に分けられ１８の環境適応部に渡させ
る。この環境適応部は図１で説明した構成５〜構成１４
と同じものである。この環境適応部（８）により１７に
記憶されている適応前のＨＭＭ（ＨＭＭ（４）に相当）
が適応されて１９の適応後のＨＭＭが得られる（ＨＭＭ
（１４）に相当）。このＨＭＭを用い２０の音声認識部
で認識対象語彙が認識される。つまり先の例とは異な
り、１つの入力音声が適応と認識の両方で用いられるこ
とになる。
して、以下に適応モードと認識モードを別個に行わない
方法について説明する。図１の構成では、適応のための
音声入力と認識のための音声入力には別個に切替えてす
るようになっている。これに対し適応モードを設けない
構成も可能である。図２にこの構成を示す。認識対象語
彙が音声入力部１０３より入力されるとそのデータが音
声部と非音声部に分けられ１８の環境適応部に渡させ
る。この環境適応部は図１で説明した構成５〜構成１４
と同じものである。この環境適応部（８）により１７に
記憶されている適応前のＨＭＭ（ＨＭＭ（４）に相当）
が適応されて１９の適応後のＨＭＭが得られる（ＨＭＭ
（１４）に相当）。このＨＭＭを用い２０の音声認識部
で認識対象語彙が認識される。つまり先の例とは異な
り、１つの入力音声が適応と認識の両方で用いられるこ
とになる。
【００３７】
【発明の効果】従来のＣＭＳとＰＭＣの組合せでは加算
性雑音が大きい場合、ＣＭが正確に推定されず認識率が
低下するという問題があったが、本発明によれば雑音が
大きい場合でも、その雑音の影響を加味してＣＭが求め
られるため、回線変動の推定の精度が高まり、ひいては
認識性能の向上につながる。
性雑音が大きい場合、ＣＭが正確に推定されず認識率が
低下するという問題があったが、本発明によれば雑音が
大きい場合でも、その雑音の影響を加味してＣＭが求め
られるため、回線変動の推定の精度が高まり、ひいては
認識性能の向上につながる。
【００３８】また、ＰＭＣでは、ＨＭＭの平均パラメー
タのみならず分散パラメータも考慮した雑音モデルと音
声モデルの合成を行うため、より耐雑音性が高くなる。
タのみならず分散パラメータも考慮した雑音モデルと音
声モデルの合成を行うため、より耐雑音性が高くなる。
【図１】本発明の音声認識装置のブロック構成図。
【図２】他の音声認識装置のブロック構成図。
【図３】音声認識装置の構成図。
【図４】記憶部内のメモリマップ例。
─────────────────────────────────────────────────────
フロントページの続き
(58)調査した分野(Int.Cl.7，ＤＢ名)
G10L 15/14
G10L 15/02
G10L 15/06
Claims (2)
- 【請求項１】 音声部と非音声部とを含む音声を入力
し、 前記音声をケプストラム時系列に変換し、 前記入力音声に含まれる音声部のケプストラム時系列か
ら音声部のケプストラム長時間平均を求め、 前記入力音声に含まれる非音声部のケプストラム時系列
から雑音ＨＭＭを求め、 前記音声部のケプストラム長時間平均から前記雑音ＨＭ
Ｍの平均パラメータの定数倍の値を線形スペクトル次元
上で差し引き、 前記差し引きで求められた値を線形スペクトル領域から
ケプストラム領域へ変換することにより補正された入力
音声のケプストラム平均を求め、 学習用音声ケプストラムデータの音声部から求められた
ケプストラム長時間平均を、前記学習用音声ケプストラ
ムデータから求められた音声ＨＭＭの平均値パラメータ
から差し引き、さらに前記補正された入力音声のケプス
トラム平均を加えることにより音声ＨＭＭの平均値パラ
メータを変更し、 前記雑音ＨＭＭおよび前記パラメータが更新された音声
ＨＭＭをケプストラム領域から線形領域へ変換を行い、
両者をパラレル・モデル・コンビネーション法（ＰＭＣ
法）で混合し、混合結果を線形領域からケプストラム領
域へ変換することにより雑音に適応したＨＭＭを求め音
声認識に使うことを特徴とする音声認識方法。 - 【請求項２】 音声部と非音声部とを含む音声を入力す
る入力手段と、 前記音声をケプストラム時系列に変換する変換手段と、 前記入力音声に含まれる音声部のケプストラム時系列か
ら音声部のケプストラム長時間平均を求めるケプストラ
ム長時間平均導出手段と、 前記入力音声に含まれる非音声部のケプストラム時系列
から雑音ＨＭＭを求める雑音ＨＭＭ導出手段と、 前記音声部のケプストラム長時間平均から前記雑音ＨＭ
Ｍの平均パラメータの定数倍の値を線形スペクトル次元
上で差し引く差し引き手段と、 前記差し引きで求められた値を線形スペクトル領域から
ケプストラム領域へ変換することにより補正された入力
音声のケプストラム平均を求めるケプストラム平均導出
手段と、 学習用音声ケプストラムデータの音声部から求められた
ケプストラム長時間平均を、前記学習用音声ケプストラ
ムデータから求められた音声ＨＭＭの平均値パラメータ
から差し引き、さらに前記補正された入力音声のケプス
トラム平均を加えることにより音声ＨＭＭの平均値パラ
メータを変更する変更手段と、 前記雑音ＨＭＭおよび前記パラメータが更新された音声
ＨＭＭをケプストラム領域から線形領域へ変換を行い、
両者をパラレル・モデル・コンビネーション法（ＰＭＣ
法）で混合し、混合結果を線形領域からケプストラム領
域へ変換するケプストラム領域変換手段とを有すること
を特徴とする音声認識装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06804696A JP3397568B2 (ja) | 1996-03-25 | 1996-03-25 | 音声認識方法及び装置 |
| US08/821,719 US5924067A (en) | 1996-03-25 | 1997-03-20 | Speech recognition method and apparatus, a computer-readable storage medium, and a computer- readable program for obtaining the mean of the time of speech and non-speech portions of input speech in the cepstrum dimension |
| EP97301980A EP0798695B1 (en) | 1996-03-25 | 1997-03-24 | Speech recognizing method and apparatus |
| DE69715281T DE69715281T2 (de) | 1996-03-25 | 1997-03-24 | Verfahren und Vorrichtung zur Spracherkennung |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06804696A JP3397568B2 (ja) | 1996-03-25 | 1996-03-25 | 音声認識方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09258772A JPH09258772A (ja) | 1997-10-03 |
| JP3397568B2 true JP3397568B2 (ja) | 2003-04-14 |
Family
ID=13362465
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06804696A Expired - Fee Related JP3397568B2 (ja) | 1996-03-25 | 1996-03-25 | 音声認識方法及び装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5924067A (ja) |
| EP (1) | EP0798695B1 (ja) |
| JP (1) | JP3397568B2 (ja) |
| DE (1) | DE69715281T2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10257583A (ja) | 1997-03-06 | 1998-09-25 | Asahi Chem Ind Co Ltd | 音声処理装置およびその音声処理方法 |
| JP3902860B2 (ja) * | 1998-03-09 | 2007-04-11 | キヤノン株式会社 | 音声合成制御装置及びその制御方法、コンピュータ可読メモリ |
| US7039588B2 (en) * | 2000-03-31 | 2006-05-02 | Canon Kabushiki Kaisha | Synthesis unit selection apparatus and method, and storage medium |
| JP3728177B2 (ja) | 2000-05-24 | 2005-12-21 | キヤノン株式会社 | 音声処理システム、装置、方法及び記憶媒体 |
| JP3774698B2 (ja) * | 2000-10-11 | 2006-05-17 | キヤノン株式会社 | 情報処理装置、情報処理方法及び記憶媒体 |
| JP2002268681A (ja) * | 2001-03-08 | 2002-09-20 | Canon Inc | 音声認識システム及び方法及び該システムに用いる情報処理装置とその方法 |
| JP3542578B2 (ja) * | 2001-11-22 | 2004-07-14 | キヤノン株式会社 | 音声認識装置及びその方法、プログラム |
| JP3826032B2 (ja) * | 2001-12-28 | 2006-09-27 | 株式会社東芝 | 音声認識装置、音声認識方法及び音声認識プログラム |
| JP4728791B2 (ja) * | 2005-12-08 | 2011-07-20 | 日本電信電話株式会社 | 音声認識装置、音声認識方法、そのプログラムおよびその記録媒体 |
| JP5609182B2 (ja) * | 2010-03-16 | 2014-10-22 | 日本電気株式会社 | 音声認識装置、音声認識方法および音声認識プログラム |
| JP5200080B2 (ja) * | 2010-09-29 | 2013-05-15 | 日本電信電話株式会社 | 音声認識装置、音声認識方法、およびそのプログラム |
| US20220254332A1 (en) * | 2019-07-30 | 2022-08-11 | Dolby Laboratories Licensing Corporation | Method and apparatus for normalizing features extracted from audio data for signal recognition or modification |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4899386A (en) * | 1987-03-11 | 1990-02-06 | Nec Corporation | Device for deciding pole-zero parameters approximating spectrum of an input signal |
| JPH02239292A (ja) * | 1989-03-13 | 1990-09-21 | Canon Inc | 音声合成装置 |
| DE69028072T2 (de) * | 1989-11-06 | 1997-01-09 | Canon Kk | Verfahren und Einrichtung zur Sprachsynthese |
| JPH03150599A (ja) * | 1989-11-07 | 1991-06-26 | Canon Inc | 日本語音節の符号化方式 |
| US5204906A (en) * | 1990-02-13 | 1993-04-20 | Matsushita Electric Industrial Co., Ltd. | Voice signal processing device |
| DE69121312T2 (de) * | 1990-05-28 | 1997-01-02 | Matsushita Electric Ind Co Ltd | Geräuschsignalvorhersagevorrichtung |
| JP3066920B2 (ja) * | 1991-06-11 | 2000-07-17 | キヤノン株式会社 | 音声認識方法及び装置 |
| JPH04362698A (ja) * | 1991-06-11 | 1992-12-15 | Canon Inc | 音声認識方法及び装置 |
| JPH05188994A (ja) * | 1992-01-07 | 1993-07-30 | Sony Corp | 騒音抑圧装置 |
| JPH0743598B2 (ja) * | 1992-06-25 | 1995-05-15 | 株式会社エイ・ティ・アール視聴覚機構研究所 | 音声認識方法 |
| US5522012A (en) * | 1994-02-28 | 1996-05-28 | Rutgers University | Speaker identification and verification system |
| US5590242A (en) * | 1994-03-24 | 1996-12-31 | Lucent Technologies Inc. | Signal bias removal for robust telephone speech recognition |
| US5598505A (en) * | 1994-09-30 | 1997-01-28 | Apple Computer, Inc. | Cepstral correction vector quantizer for speech recognition |
| US5677990A (en) * | 1995-05-05 | 1997-10-14 | Panasonic Technologies, Inc. | System and method using N-best strategy for real time recognition of continuously spelled names |
-
1996
- 1996-03-25 JP JP06804696A patent/JP3397568B2/ja not_active Expired - Fee Related
-
1997
- 1997-03-20 US US08/821,719 patent/US5924067A/en not_active Expired - Fee Related
- 1997-03-24 EP EP97301980A patent/EP0798695B1/en not_active Expired - Lifetime
- 1997-03-24 DE DE69715281T patent/DE69715281T2/de not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| DE69715281T2 (de) | 2003-07-31 |
| JPH09258772A (ja) | 1997-10-03 |
| DE69715281D1 (de) | 2002-10-17 |
| EP0798695A2 (en) | 1997-10-01 |
| EP0798695A3 (en) | 1998-09-09 |
| EP0798695B1 (en) | 2002-09-11 |
| US5924067A (en) | 1999-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0689194B1 (en) | Method of and apparatus for signal recognition that compensates for mismatching | |
| EP0831461B1 (en) | Scheme for model adaptation in pattern recognition based on taylor expansion | |
| EP1262953B1 (en) | Speaker adaptation for speech recognition | |
| US6691091B1 (en) | Method for additive and convolutional noise adaptation in automatic speech recognition using transformed matrices | |
| US5924065A (en) | Environmently compensated speech processing | |
| EP1195744B1 (en) | Noise robust voice recognition | |
| JPH08234788A (ja) | 音声認識のバイアス等化方法および装置 | |
| EP0660300B1 (en) | Speech recognition apparatus | |
| JPH08110793A (ja) | 特性ベクトルの前端正規化による音声認識の改良方法及びシステム | |
| US20030115055A1 (en) | Method of speech recognition resistant to convolutive distortion and additive distortion | |
| JP3397568B2 (ja) | 音声認識方法及び装置 | |
| EP0807305A1 (en) | Spectral subtraction noise suppression method | |
| JP5242782B2 (ja) | 音声認識方法 | |
| KR20010005674A (ko) | 인식 시스템 | |
| EP1189205A2 (en) | HMM-based noisy speech recognition | |
| JP2008513825A (ja) | 話者に依存しない堅牢な音声認識システム | |
| JP2002311989A (ja) | チャネル歪みおよび背景雑音の両方に対して補正した音声認識方法 | |
| JPH09160584A (ja) | 音声適応化装置および音声認識装置 | |
| JPH09258771A (ja) | 音声処理方法及び装置 | |
| US8423360B2 (en) | Speech recognition apparatus, method and computer program product | |
| JP3962445B2 (ja) | 音声処理方法及び装置 | |
| JP3587966B2 (ja) | 音声認識方法、装置そよびその記憶媒体 | |
| Hirsch | HMM adaptation for applications in telecommunication | |
| Cerisara et al. | α-Jacobian environmental adaptation | |
| EP1178465A2 (en) | Method for noise adaptation in automatic speech recognition using transformed matrices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030121 |
|
| LAPS | Cancellation because of no payment of annual fees |