JPH08110793A - 特性ベクトルの前端正規化による音声認識の改良方法及びシステム - Google Patents

特性ベクトルの前端正規化による音声認識の改良方法及びシステム

Info

Publication number
JPH08110793A
JPH08110793A JP7222471A JP22247195A JPH08110793A JP H08110793 A JPH08110793 A JP H08110793A JP 7222471 A JP7222471 A JP 7222471A JP 22247195 A JP22247195 A JP 22247195A JP H08110793 A JPH08110793 A JP H08110793A
Authority
JP
Japan
Prior art keywords
speech
characteristic vector
noise
frame
pronunciation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7222471A
Other languages
English (en)
Inventor
Alejandro Acero
アセロ アレハンドロ
Xuedong Huang
フアン ケドン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JPH08110793A publication Critical patent/JPH08110793A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/12—Speech classification or search using dynamic programming techniques, e.g. dynamic time warping [DTW]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 （修正有） 【課題】 特性ベクトルの前端正規化による音声認識改
良方法及びシステム。 【解決手段】 認識するべき音声がマイクロホンに話さ
れ、増幅器１４で増幅しＡ／Ｄコンバータ１６によりア
ナログからデジタル信号に変換する。該コンバータから
のデジタル信号は特性抽出器２０に入力し、音声のフレ
ームに分割する特性ベクトル抽出する。特性ベクトル
は、入力正規化装置２２へ入力し、該装置は、修正ベク
トルを計算し特性ベクトルを正規化する。修正ベクトル
は、音声の現在フレームがノイズである確率に基づくと
共に、現在発音及び発音のデータベース２６に対する平
均ノイズ及び音声特性ベクトルに基づき計算する。正規
化により特性ベクトルに対する音響環境の変化の影響を
低減し、該特性ベクトルはパターン一致装置へ入力し、
記憶された特性モデルと比較し、最良の一致を見つけ
る。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は一般に音声（スピー
チ）認識に係り、より詳細には、特性ベクトルの前端正
規化により音声認識を改良する方法及びシステムに係
る。
【０００２】
【従来の技術】種々の音声認識システムが開発されてい
る。これらのシステムは、コンピュータが音声を理解で
きるようにする。この能力は、コンピュータにコマンド
やデータを入力するのに有用である。音声認識は一般に
２つの段階を含む。第１段階はトレーニングとして知ら
れている。トレーニング中に、システムは、音声の大き
なサンプルを入力しそして音声のモデルを発生すること
により音声を「学習」する。第２段階は、認識として知
られている。認識中に、システムは、音声をトレーニン
グ中に発生したモデルと比較しそして厳密な一致又は最
良の一致を見つけることにより入力音声を認識しようと
試みる。ほとんどの音声認識システムは、特性ベクトル
の形態の入力音声から幾つかの特性を抽出する前端を有
している。これらの特性ベクトルは、トレーニング中に
モデルを成形するのに使用され、そして認識中にその形
成されたモデルに対して比較される。
【０００３】このような音声認識システムに伴う１つの
問題は、トレーニング中及び認識中並びにそれらの間に
音響環境に変化があった場合に生じる。このような変化
は、例えば、使用するマイクロホン、バックグランドノ
イズ、話し手の口とマイクロホンとの間の距離、及び室
内の音響が変化することによって生じる。これら変化が
生じた場合には、その音響的環境が音声から抽出される
特性ベクトルに影響を及ぼすために、システムはあまり
良好に機能しない。従って、異なる音響環境で話をした
場合には同じ音声から異なる特性ベクトルが抽出される
ことがある。音響環境が一定に保たれることは稀である
から、音声認識システムは、音響環境の変化に対して強
いものであることが望まれる。特定のワード又はセンテ
ンスは、そのワード又はセンテンスが話される音響環境
に係わりなく、常に、そのワード又はセンテンスとして
認識されねばならない。音響環境の変化の問題を解決す
る幾つかの試みは、このような変化の影響を減少するよ
うに入力音声の特性ベクトルを正規化することに集約さ
れている。
【０００４】この問題を解決する１つの試みは、平均正
規化として知られている。平均正規化を使用すると、入
力音声の特性ベクトルは、全音声から抽出された全ての
特性ベクトルの平均を計算しそしてその平均を、次の関
数を用いて入力音声特性ベクトルから減算することによ
り、正規化される。 の入力音声特性ベクトルであり、そしてｎは、全音声か
ら抽出される特性ベクトルの数である。
【０００５】上記問題を解消するための別の試みは、信
号対雑音比に従属した（ＳＮＲ従属の）正規化として知
られている。ＳＮＲ従属の正規化を使用すると、入力音
声の特性ベクトルは、入力音声の瞬時ＳＮＲを計算しそ
してＳＮＲに基づく修正ベクトルを、次の関数を用いて
入力音声特性ベクトルから減算することにより、正規化
される。 の入力音声特性ベクトルであり、そしてｙ（ＳＮＲ）
は、修正ベクトルである。この修正ベクトルは、予め計
算され、そしてそれに対応するＳＮＲと共にルックアッ
プテーブルに記憶される。
【０００６】
【発明が解決しようとする課題】トレーニング中及び認
識中並びにそれらの間の音響環境の変化の問題を解決す
るための公知の試みの中で非常に有用なものは皆無であ
る。平均正規化は、入力音声特性ベクトルを動的に調整
できるようにするが、全音声から抽出された全ての特性
ベクトルに対し単一の平均しか計算しないので、あまり
正確ではない。ＳＮＲ従属の正規化は、入力音声のＳＮ
Ｒに基づいて変化する修正ベクトルを計算するので平均
正規化よりは精度が高いが、修正ベクトルの値を動的に
更新するものではない。それ故、正確であると共に、入
力音声特性ベクトルを正規化するのに用いられる値を動
的に更新するような解決策が要望される。
【０００７】
【課題を解決するための手段】本発明の１つの特徴は、
特性ベクトルの前端正規化により音声認識を改良する方
法及びシステムを提供する。本発明の音声認識システム
において、認識されるべき音声は、マイクロホンへ話さ
れ、増幅器によって増幅され、そしてアナログ／デジタ
ル（Ａ／Ｄ）コンバータによりアナログ信号からデジタ
ル信号へ変換される。Ａ／Ｄコンバータからのデジタル
信号は、特性抽出器へ入力され、該抽出器は、その信号
を音声のフレームに分割し、そして各フレームから特性
ベクトルを抽出する。特性ベクトルは、該ベクトルを正
規化する入力正規化装置へ入力される。正規化された特
性ベクトルは、パターン一致装置へ入力され、該装置
は、正規化されたベクトルを、データベースに記憶され
た特性モデルと比較し、厳密な一致又は最良の一致を見
つける。
【０００８】本発明の入力正規化装置は、修正ベクトル
を計算しそしてその修正ベクトルを特性ベクトルから減
算することにより特性ベクトルを正規化する。修正ベク
トルは、音声の現在フレームがノイズである確率と、現
在の発音及び発音のデータベースに対する平均ノイズ及
び音声特性ベクトルとに基づいて計算される。特性ベク
トルの正規化は、特性ベクトルに対する音響環境の変化
の影響を減少する。特性ベクトルに対する音響環境の変
化の影響を減少することにより、本発明の入力正規化装
置は、音声認識システムの精度を改善する。
【０００９】
【発明の実施の形態】本発明の好ましい実施形態は、特
性ベクトルの前端正規化により音声認識を改良する方法
及びシステムを提供する。特性ベクトルの正規化は、特
性ベクトルに対する音響環境の変化の影響を減少する。
このような変化は、例えば、使用するマイクロホン、バ
ックグランドノイズ、話し手の口とマイクロホンとの間
の距離及び室内の音響の変化により生じる。正規化を行
わないと、特性ベクトルに対する音響環境の変化の影響
により、同じ音声を異なる音声と認識することが生じ得
る。これは、音響環境が、音声から抽出される特性ベク
トルに影響するためである。従って、異なる音響環境で
話をする場合には同じ音声から異なる特性ベクトルが抽
出されることがある。特性ベクトルに対する音響環境の
変化の影響を減少することにより、本発明の入力正規化
装置は、音声認識システムの精度を改善する。
【００１０】図１は、本発明の原理を組み込んだ音声認
識システム１０を示している。このシステムにおいて、
認識されるべき音声は、マイクロホン１２へ話され、増
幅器１４によって増幅され、そしてアナログ／デジタル
（Ａ／Ｄ）コンバータ１６によりアナログ信号からデジ
タル信号に変換される。マイクロホン１２、増幅器１４
及びＡ／Ｄコンバータ１６は、従来の要素であり、公知
技術で良く知られている。Ａ／Ｄコンバータ１６からの
デジタル信号は、コンピュータシステム１８に入力され
る。より詳細には、デジタル信号は、特性抽出器２０に
入力され、この抽出器は、特性ベクトルの形態の信号か
ら幾つかの特性を抽出する。音声（スピーチ）は、発音
より成る。発音は、センテンスの口述具現体であり、典
型的に、１ないし１０秒の音声を表す。各発音は、フレ
ームと称する等離間された時間間隔に分割される。１つ
のフレームは、典型的に、１０ミリ秒の音声を表す。特
性ベクトルは、音声の各フレームから抽出される。即
ち、特性抽出器２０は、Ａ／Ｄコンバータ１６からのデ
ジタル信号を音声のフレームに分割し、そして各フレー
ムから特性ベクトルを抽出する。本発明の好ましい実施
形態において、音声の各フレームから抽出された特性ベ
クトルは、ケプストラルベクトルより成る。このケプス
トラルベクトル、及び音声からケプストラルベクトルを
抽出するのに用いる方法は、公知である。
【００１１】次いで、特性ベクトルは、該ベクトルを正
規化する入力正規化装置２２へ入力される。特性ベクト
ルの正規化は、特性ベクトルに対する音響環境の変化の
影響を減少する。正規化された特性ベクトルは、次いで
パターン一致装置２４へ入力され、これは、正規化され
たベクトルをデータベース２６に記憶された特性モデル
と比較し、厳密な一致又は最良の一致を見つける。デー
タベース２６に記憶された特性モデルは、既知の音声か
ら形成されたものである。受け入れられる一致がある場
合には、その一致する特性モデルに対応する既知の音声
が出力される。さもなくば、音声を認識できなかったこ
とを指示するメッセージが出力される。典型的なパター
ン一致は、隠れたマルコフ（ｈｉｄｄｅｎ Ｍａｒｋｏ
ｖ）モデル又はニュートラルネットワークのような統計
学的な方法によってトレーニングされたネットワークに
基づく。しかしながら、他のパターン一致装置も使用で
きる。このようなパターン一致装置は、公知である。
【００１２】入力正規化装置２２によって実行される段
階が図２に示されている。入力正規化装置２２は、ｊを
インデックスとすれば現在フレームｊに対する特性ベク
トルｘｊを受け取る（ステップ２１０）。本発明の好ま
しい実施形態では、特性ベクトルは、ケプストラルベク
トルより成る。ケプストラルベクトルとは、異なる周波
数帯域におけるエネルギーの対数の離散的コサイン変換
（ＤＣＴ）を行うことにより、このようなエネルギーか
ら導出された１組の係数である。好ましい実施形態にお
いては、特性ベクトルは、時間での一次及び二次導関
数、即ち各々デルタケプストラルベクトル及びデルタ−
デルタケプストラルベクトルで増大された静的なケプス
トラルベクトルより成る。各ケプストラルベクトルは、
１組の１３個のケプストラル係数より成る。しかしなが
ら、当業者であれば、異なる数のケプストラル係数を有
するケプストラルベクトルも使用できることが明らかで
あろう。更に、当業者であれば、他の形態の特性ベクト
ルも使用できることが明らかであろう。
【００１３】次いで、入力正規化装置２２は、次の関数
を用いて修正ベクトルｒ（ｘｊ）又はｒｊを計算する
（ステップ２１２）。 ｒ（ｘｊ）＝ｐｊ（ｎｊ−１−ｎａｖｇ）＋（１−ｐｊ）（ｓｊ−１−ｓ
ａｖｇ） （式１） 但し、ｐｊは現在フレームｊがノイズである事後確率で
あり、ｎｊ−１及びｓｊ−１は現在発音に対する平均ノ
イズ及び音声特性ベクトルであり、そしてｎａｖｇ及び
ｓａｖｇは、発音のデータベース２６に対する平均ノイ
ズ及び音声特性ベクトルである。ｎ、ｓ、ｎａｖｇ及び
ｓａｖｇの計算については、以下で述べる。更に、入力 る（ステップ２１４）。 特性ベクトルは、上記の３つのケプストラルベクトルよ
り成るが、本発明の好ましい実施形態では、静的なケプ
ストラルベクトルのみが正規化され、デルタケプストラ
ルベクトル及びデルタ−デルタケプストラルベクトルは
正規化されない。
【００１４】修正ベクトルｒ（ｘｊ）の計算は、幾つか
の仮定及び推定に基づいて簡単化される。先ず、ノイズ
及び音声は、ガウスの分布に従うと仮定する。この仮定
に基づき、現在フレームｊがノイズである事後確率ｐｊ
は、次の関数を用いて計算される。 但し、ξは、現在フレームｊがノイズである先験的確率
であり、Ｎ（ｘｊ．ｎｊ−１．Σｎ（ｊ−１））及びＮ
（ｘｊ．ｓｊ−１．Σｓ（ｊ−１））は、各々、ノイズ
及び音声に対するガウスの確率密度関数であり、そして
Σｎ（ｊ−１）及びΣｓ（ｊ−１）は、各々、ノイズ及
び音声に対する共分散マトリクスである。ノイズ及び音
声に対するガウスの確率密度関数Ｎ（ｘｊ．
ｎｊ−１）．Σｎ（ｊ−１））及びＮ（ｘｊ．
ｓｊ−１．Σｓ（ｊ−１））は、ガウスの確率密度関数
に対する標準関数を用いて次のように表される。 及び 但し、ｑはｘｊの次元であり、ｅｘｐは指数関数であ
り、そしてＴは転置関数である。
【００１５】次いで、現在フレームｊがノイズである事
後確率ｐｊは、次のシグモイド関数によって表される。 但し、 ここで、ｄ（ｘｊ）又はｄｊは歪である。この歪は、信
号がノイズであるか音声であるかの指示である。この歪
が大きな負である場合は、信号がノイズであり、歪が大
きな正である場合は、信号が音声であり、そして歪がゼ
ロである場合は、ノイズ又は音声である。
【００１６】第２に、ｘｊの成分が互いに独立であると
仮定する。この仮定に基づき、Σｎ及びΣｓが各々対角
共分散マトリクスσｎ及びσｓを用いてモデリングされ
る。従って、ｄ（ｘｊ）は、次の関数を用いて表され
る。 但し、ｑはσｎ及びσｓの次元である。更に、音声から
ノイズを弁別する際の最も重要なファクタは、パワー項
（１＝０）である。従って、ｄ（ｘｊ）は、次の関数を
用いて近似される。
【００１７】次いで、ｎ、ｓ、σｎ、σｓ及びξの値
は、公知の推定−最大化（ＥＭ）アルゴリズムの変型形
態を用いて推定される。ＥＭアルゴリズムは、１９６７
年１２月の「アナルズ・ロイヤル・スタティスティカル
・ソサエティ」の１−３８ページに掲載されたＮ．Ｍ．
レイアド、Ａ．Ｐ．デンプスタ及びＤ．Ｂ．ルビン著の
「不完全なデータからＥＭアルゴリズムを経ての最大の
見込み（ＭａｘｉｍｕｍＬｉｋｅｌｉｈｏｏｄ ｆｒｏ
ｍ Ｉｎｃｏｍｐｌｅｔｅ Ｄａｔａ ｖｉａｔｈｅ
ＥＭ Ａｌｇｏｒｉｔｈｍ）」に説明されている。ＥＭ
アルゴリズムは、手前の推定値を新たな値に基づいて洗
練することにより最大見込み推定値を発生する。このア
ルゴリズムは、推定値を洗練するところの窓関数を使用
する。窓関数は、過去の推定値を使用して現在の推定値
を洗練するところの時間間隔を定める。標準的なＥＭア
ルゴリズムは、長方形窓の関数を使用する。長方形窓の
関数は、窓全体にわたりデータに等しい重みを与える。
本発明の好ましい実施形態に使用されるＥＭアルゴリズ
ムの変型形態は、指数窓関数を使用する。指数窓関数は
窓において最近のデータに大きな重みを与える。従っ
て、ｎ、ｓ、σｎ、σｓ及びξの値は、次の関数を用い
て推定される。 但し、ＷＫは指数窓関数である。
【００１８】指数窓関数ＷＫは、次のように表される。 ＷＫ＝αＫ （式１４） 但し、αは、適応の割合を制御するパラメータである。
適応の割合は、現在データに対して過去のデータにいか
に多くの重みを与えるかを決定する。αが小さいほど、
現在データに対して過去のデータに与えられる重みは小
さくなり、αが大きいほど、現在データに対して過去の
データに与えられる重みは大きくなる。αの値は、次の
関数を用いて計算される。 α＝（１／２）１／ＴＦｓ （式１５） 但し、Ｔは時定数であり、ＦｓはＡ／Ｄコンバータ１６
のサンプリング周波数である。本発明の好ましい実施形
態では、ノイズ及び音声に対して個別のαが使用され
る。個別のαの使用は、ノイズ及び音声を異なる割合で
適応できるようにする。個別のαが使用される好ましい
実施形態では、音声よりもノイズに対して小さなαが使
用される。従って、ｎ、ｓ、σｎ、σｓ及びξの値を推
定するのに用いられる関数は、次のように簡略化され
る。 ξｊ＝（１−αｎ）Ｃｎ（ｊ） （式２０） 但し、 ａｎ（ｊ）＝ｐｊｘｊ＋αｎａｎ（ｊ−１） （式２１） ｂｎ（ｊ）＝ｐｊｘｊ ２＋αｎｂｎ（ｊ−１） （式２２） ｃｎ（ｊ）＝ｐｊ＋αｎｃｎ（ｊ−１） （式２３） ａｓ（ｊ）＝（１−ｐｊ）ｘｊ＋αｓａｓ（ｊ−１） （式２４） ｂｓ（ｊ）＝（１−ｐｊ）ｘｊ ２＋αｓｂｓ（ｊ−１） （式２５） ｃｓ（ｊ）＝（１−ｐｊ）＋αｓｃｓ（ｊ−１） （式２６） ここで、αｎ及びαｓは各々ノイズ及び音声に対して適
応の割合を制御するパラメータである。ｎ、ｓ、σｎ、
σｓ、ξ、ａｎ、ｂｎ、ｃｎ、ａｓ、ｂｓ、ｃｓについ
ての初期値の計算は、以下で説明する。
【００１９】特性ベクトルの正規化において実行される
段階が図３及び４に示されている。先ず、αｎ及びαｓ
の値が選択される（ステップ３１０）。αｎ及びαｓの
値は適応の所望の割合に基づいて選択される（上記のよ
うに）。更に、ｊの値がゼロに等しくセットされ（ステ
ップ３１２）、そしてｎ、ｓ、σｎ、σｓ及びξの初期
値が推定される（ステップ３１４）。ｎ、ｓ、σｎ、σ
ｓ及びξの初期値は、標準ＥＭ技術を用いて発音のデー
タベース２６から推定される。 ｎ０＝ｎａｖｇ （式２７） ｓ０＝ｓａｖｇ （式２８） σ２ ｎ（０）＝σ２ ｎ（ａｖｇ） （式２９） σ２ ｓ（０）＝σ２ ｓ（ａｖｇ） （式３０） ξ０＝ξａｖｇ （式３１）
【００２０】次いで、現在フレームｊに対する特性ベク
トルｘｊが受け取られる（ステップ３１６）。歪ｄ
ｊは、次の関数を用いて計算される（ステップ３１
８）。 現在フレームｊがノイズである事後確率ｐｊは、次の関
数を使用して計算される（ステップ３２０）。 修正ベクトルｒｊは、次の関数を用いて計算される（ス
テップ３２２）。 ｒｊ〔ｌ〕＝ｐｊ（ｎｊ−１〔ｌ〕−ｎａｖｇ〔ｌ〕）＋ （１−ｐｊ）（ｓｊ−１〔ｌ〕−ｓａｖｇ〔ｌ〕） （式４０） 数を用いて計算される（ステップ３２４）。 但し、１＝０、１、・・・ｍである。
【００２１】ｎ、ｓ、σｎ、σｓ及びξの値は、次の関
数を用いて更新される（ステップ３２６）。 ξｊ［ｌ］＝（１−αｎ）ｃｍｊ）［ｌ］ （式４６） 但し、１＝０、１、・・・ｍであり、そして である。
【００２２】更に、入力正規化装置２２は、フレームｊ
が現在発音における最後のフレームであるかどうか判断
する（ステップ３２８）。フレームｊが現在発音におけ
る最後のフレームでない場合には、ｊが増加され（ステ
ップ３３０）そしてステップ３１６ないし３２６が次の
フレームに対して繰り返される。フレームｊが現在発音
における最後のフレームである場合には、入力正規化装
置２２は、現在発音が最後の発音であるかどうか判断す
る（ステップ３３２）。現在発音が最後の発音でない場
合には、ｊがゼロにリセットされ（ステップ３３４）、
ｎ、ｓ、σｎ、σｓ及びξの値が推定初期値にリセット
され（ステップ３３６）、そしてステップ３１６ないし
３２６が次の発音の各フレームごとに繰り返される。現
在発音が最後の発音である場合には、入力正規化装置２
２が復帰する。
【００２３】本発明の入力正規化装置２２の計算上の複
雑さを低減するために、入力正規化装置に対して多数の
変型をなし得ることが当業者に明らかであろう。第１
に、歪ｄｊを計算するのに使用された関数（式３８）か
ら最後の項を除去することができる。この項は、歪ｄｊ
の値に著しく影響せず、対数を含むために計算経費が高
くつく。更に、現在フレームｊがノイズである事後確率
ｐｊは、ルックアップテーブルを用いて計算することが
できる。このテーブルは、歪ｄｊに対して考えられる値
と、それに対応する事後確率ｐｊの値とを含む。更に、
ｎ、ｓ、σｎ及びσｓの値は、各フレームごとではなく
幾つかのフレームごとに更新することができ、そしてξ
の値は、その初期値に保持でき、全く更新されない。こ
れらの変型の各々は、入力正規化装置２２の精度に著し
く影響することなく該装置の効率を改善する。
【００２４】本発明は、認識中のみの特性ベクトルの正
規化について説明したが、本発明の好ましい実施形態
は、トレーニング中の特性ベクトルの正規化も含む。よ
り詳細には、データベース２６における各発音が本発明
の原理に基づいて正規化され、次いで、その正規化され
た発音のデータベースを用いてシステムが再トレーニン
グされる。正規化された発音のデータベースは、次い
で、上記のように認識中に使用される。
【００２５】以上のことから、本発明は、特性ベクトル
の前端正規化により音声認識を改良する方法及びシステ
ムを提供することが当業者に明らかであろう。本発明
は、好ましい実施形態を参照して説明したが、以上の説
明を読んで理解することにより同等の変更や修正が当業
者に明らかであろう。本発明は、このような全ての同等
の変更や修正を包含し、特許請求の範囲のみによって限
定されるものとする。
【図面の簡単な説明】
【図１】本発明の原理を組み込んだ音声認識システムを
示すブロック図である。
【図２】図１のシステムの入力正規化装置によって実行
される段階を示す高レベルフローチャートである。
【図３】図１のシステムの特性ベクトルの正規化におい
て実行される段階を示す高レベルフローチャートであ
る。
【図４】図１のシステムの特性ベクトルの正規化におい
て実行される段階を示す高レベルフローチャートであ
る。
フロントページの続き (72)発明者 ケドン フアン アメリカ合衆国 ワシントン州 98052 レッドモンド ワンハンドレッドアンドセ ヴンティセヴンス アベニュー ノースイ ースト 10026

Claims (21)

    【特許請求の範囲】
  1. 【請求項１】 特性ベクトルの前端正規化により音声認
    識を改良する方法であって、上記音声は発音より成り、
    各発音は音声のフレームを構成し、該音声の各フレーム
    は特性ベクトルによって表され、上記方法は、 既知の発音のデータベースであって、平均ノイズ特性ベ
    クトル及び平均音声特性ベクトルを有する発音のデータ
    ベースを用意し、 認識されるべき発音において音声のフレームを表す特性
    ベクトルを受け取り、音声のフレームはノイズである確
    率を有し、発音は平均ノイズ特性ベクトル及び平均音声
    特性ベクトルを有し、 音声のフレームがノイズである確率に基づくと共に、発
    音及び発音のデータベースに対する平均ノイズ及び音声
    特性ベクトルに基づいて修正ベクトルを計算し、そして
    特性ベクトル及び修正ベクトルに基づいて正規化された
    特性ベクトルを計算する、という段階を備えたことを特
    徴とする方法。
  2. 【請求項２】 特性ベクトルを受け取る上記段階は、ケ
    プストラルベクトルを受け取る段階を備えた請求項１に
    記載の方法。
  3. 【請求項３】 音声のフレームがノイズである確率、及
    び発音に対する平均ノイズ及び音声特性ベクトルは、音
    声の各フレームごとに更新される請求項１に記載の方
    法。
  4. 【請求項４】 修正ベクトルを計算する上記段階は、 音声のフレームがノイズである確率を音声のフレームの
    歪尺度に基づいて計算し、 発音に対する平均ノイズ及び音声特性ベクトルを計算
    し、 発音のデータベースに対する平均ノイズ及び音声特性ベ
    クトルを計算し、そして音声のフレームがノイズである
    確率と、発音及び発音のデータベースに対する平均ノイ
    ズ及び音声特性ベクトルの間の差とに基づいて修正ベク
    トルを計算するという段階を備えた請求項１に記載の方
    法。
  5. 【請求項５】 特性ベクトルの前端正規化により音声認
    識を改良する方法であって、上記音声は発音より成り、
    各発音は音声のフレームを構成し、該音声の各フレーム
    は特性ベクトルによって表され、上記方法は、 既知の発音のデータベースであって、平均ノイズ特性ベ
    クトル及び平均音声特性ベクトルを有する発音のデータ
    ベースを用意し、 認識されるべき発音における音声ｊのフレームを表す特
    性ベクトルｘｊを受け取り、該音声のフレームは、ノイ
    ズであるという事後確率を有し、発音は、平均ノイズ特
    性ベクトル及び平均音声特性ベクトルを有し、 修正ベクトルｒ（ｘｊ）を ｒ（ｘｊ）＝ｐｊ（ｎｊ−１−ｎａｖｇ）＋（１−
    ｐｊ）（ｓｊ−１−ｓａｖｇ） として計算し、ここで、ｐｊは、音声ｊのフレームがノ
    イズである事後確率であり、ｎｊ−１及びｓｊ−１は、
    発音に対する平均ノイズ及び音声特性ベクトルでありそ
    してｎａｖｇ及びｓａｖｇは、発音のデータベースに対
    する平均ノイズ及び音声特性ベクトルであり、そして として計算する、という段階を備えたことを特徴とする
    方法。
  6. 【請求項６】 特性ベクトルを受け取る上記段階は、ケ
    プストラルベクトルを受け取る段階を含む請求項５に記
    載の方法。
  7. 【請求項７】 音声のフレームがノイズである事後確
    率、及び発音に対する平均ノイズ及び音声特性ベクトル
    は、音声の各フレームに対して更新される請求項５に記
    載の方法。
  8. 【請求項８】 音声ｊのフレームがノイズである事後確
    率ｐｊは、 として計算され、ここで、ξは、音声ｊのフレームがノ
    イズである先験的確率であり、Ｎ（ｘｊ．ｎｊ−１．Σ
    ｎ（ｊ−１））及びＮ（ｘｊ．ｓｊ−１．Σ
    ｓ（ｊ−１））は、各々、ノイズ及び音声に対するガウ
    スの確率密度関数であり、そしてΣｎ（ｊ−１）及びΣ
    ｓ（ｊ−１）は、各々、ノイズ及び音声に対する共分散
    マトリクスである請求項５に記載の方法。
  9. 【請求項９】 上記ノイズ及び音声に対するガウスの確
    率密度関数Ｎ（ｘｊ．ｎｊ−１．Σｎ（ｊ−１））及び
    Ｎ（ｘｊ．ｓｊ−１．Σｓ（ｊ−１））は、 及び として計算され、ここで、ｑはｘｊの次元であり、ｅｘ
    ｐは指数関数であり、そしてＴは転置関数である請求項
    ８に記載の方法。
  10. 【請求項１０】 音声ｊのフレームがノイズである事後
    確率ｐｊは、 として計算され、ここで、ｄ（ｘｊ）は、音声ｊのフレ
    ームの歪尺度である請求項５に記載の方法。
  11. 【請求項１１】 上記歪尺度ｄ（ｘｊ）は、 として計算される請求項１０に記載の方法。
  12. 【請求項１２】 上記歪尺度ｄ（ｘｊ）は、 として計算され、ここで、ｑは、σｎ及びσｓの次元で
    ある請求項１０に記載の方法。
  13. 【請求項１３】 上記歪尺度ｄ（ｘｊ）は、 として計算される請求項１０に記載の方法。
  14. 【請求項１４】 発音に対する平均ノイズ及び音声特性
    ベクトルは、 として計算され、但し、ＷＫは、ＷＫ＝αＫとして表さ
    れる指数窓関数であり、そしてαは、適応の割合を制御
    するパラメータである請求項１３に記載の方法。
  15. 【請求項１５】 ノイズ及び音声に対する対角共分散マ
    トリクスは、 として計算される請求項１４に記載の方法。
  16. 【請求項１６】 音声ｊのフレームがノイズである先験
    的確率ξｊは、 として計算される請求項１５に記載の方法。
  17. 【請求項１７】 発音に対する平均ノイズ及び音声特性
    ベクトルは、 として計算され、ここで、 であり、そしてαｎ及びαｓは、各々ノイズ及び音声に
    対する適応の割合を制御するパラメータである請求項１
    ３に記載の方法。
  18. 【請求項１８】 ノイズ及び音声に対する対角共分散マ
    トリクスは、 として計算され、ここで、 ｂｎ（ｊ）＝ｐｊｘｊ ２＋αｎｂｎ（ｊ−１）、及び ｂｓ（ｊ）＝（１−ｐｊ）ｘｊ ２＋αｓｂｓ（ｊ−１） である請求項１７に記載の方法。
  19. 【請求項１９】 音声ｊのフレームがノイズである先験
    的確率ξｊは、 ξｊ＝（１−αｎ）ｃｎ（ｊ） である請求項１８に記載の方法。
  20. 【請求項２０】 特性ベクトルの前端正規化により音声
    認識を改良するシステムであって、上記音声は発音より
    成り、各発音は音声のフレームを構成し、該音声の各フ
    レームは特性ベクトルによって表され、上記システム
    は、 既知の発音のデータベースであって、平均ノイズ特性ベ
    クトル及び平均音声特性ベクトルを有する発音のデータ
    ベースと、 入力正規化装置とを備え、該正規化装置は、 認識されるべき発音において音声のフレームを表す特性
    ベクトルを受け取り、音声のフレームはノイズである確
    率を有し、発音は平均ノイズ特性ベクトル及び平均音声
    特性ベクトルを有し、 更に、音声のフレームがノイズである確率に基づくと共
    に、発音及び発音のデータベースに対する平均ノイズ及
    び音声特性ベクトルに基づいて修正ベクトルを計算し、
    そして特性ベクトル及び修正ベクトルに基づいて正規化
    された特性ベクトルを計算することを特徴とするシステ
    ム。
  21. 【請求項２１】 特性ベクトルの前端正規化により音声
    認識を改良するシステムであって、上記音声は発音より
    成り、各発音は音声のフレームを構成し、該音声の各フ
    レームは特性ベクトルによって表され、上記システム
    は、 特性モデルによって表される既知の発音のデータベース
    であって、平均ノイズ特性ベクトル及び平均音声特性ベ
    クトルを有する発音のデータベースと、 認識されるべき発音において音声のフレームから特性ベ
    クトルを抽出するための特性抽出器であって、音声のフ
    レームはノイズである確率を有し、発音は平均ノイズ特
    性ベクトル及び平均音声特性ベクトルを有するような特
    性抽出器と、 （ｉ）音声のフレームがノイズである確率に基づくと共
    に、発音及び発音のデータベースに対する平均ノイズ及
    び音声特性ベクトルに基づいて修正ベクトルを計算し、
    そして（ｉｉ）特性ベクトル及び修正ベクトルに基づい
    て正規化された特性ベクトルを計算することにより、特
    性ベクトルを正規化するための入力正規化装置と、 上記正規化された特性ベクトルをデータベースにおける
    特性モデルと比較するためのパターン一致装置と、を備
    えたことを特徴とするシステム。
JP7222471A 1994-07-29 1995-07-27 特性ベクトルの前端正規化による音声認識の改良方法及びシステム Pending JPH08110793A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/283271 1994-07-29
US08/283,271 US5604839A (en) 1994-07-29 1994-07-29 Method and system for improving speech recognition through front-end normalization of feature vectors

Publications (1)

Publication Number Publication Date
JPH08110793A true JPH08110793A (ja) 1996-04-30

Family

ID=23085287

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7222471A Pending JPH08110793A (ja) 1994-07-29 1995-07-27 特性ベクトルの前端正規化による音声認識の改良方法及びシステム

Country Status (4)

Country Link
US (1) US5604839A (ja)
EP (1) EP0694906B1 (ja)
JP (1) JPH08110793A (ja)
DE (1) DE69518705T2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100442825B1 (ko) * 1997-07-11 2005-02-03 삼성전자주식회사 음성 인식을 위한 환경 보상 방법
JP2007536562A (ja) * 2004-01-12 2007-12-13 ヴォイス シグナル テクノロジーズ インコーポレーティッド 自動音声認識チャンネルの正規化
JP2008298844A (ja) * 2007-05-29 2008-12-11 Advanced Telecommunication Research Institute International 雑音抑圧装置、コンピュータプログラム、及び音声認識システム
JP2015501012A (ja) * 2011-12-19 2015-01-08 スパンション エルエルシー 演算論理ユニットアーキテクチャ

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2797949B2 (ja) * 1994-01-31 1998-09-17 日本電気株式会社 音声認識装置
US6266709B1 (en) 1996-07-01 2001-07-24 Sun Microsystems, Inc. Object-oriented system, method and article of manufacture for a client-server failure reporting process
US5848246A (en) 1996-07-01 1998-12-08 Sun Microsystems, Inc. Object-oriented system, method and article of manufacture for a client-server session manager in an interprise computing framework system
US6424991B1 (en) 1996-07-01 2002-07-23 Sun Microsystems, Inc. Object-oriented system, method and article of manufacture for a client-server communication framework
US6038590A (en) 1996-07-01 2000-03-14 Sun Microsystems, Inc. Object-oriented system, method and article of manufacture for a client-server state machine in an interprise computing framework system
US5987245A (en) 1996-07-01 1999-11-16 Sun Microsystems, Inc. Object-oriented system, method and article of manufacture (#12) for a client-server state machine framework
US6304893B1 (en) 1996-07-01 2001-10-16 Sun Microsystems, Inc. Object-oriented system, method and article of manufacture for a client-server event driven message framework in an interprise computing framework system
US5999972A (en) 1996-07-01 1999-12-07 Sun Microsystems, Inc. System, method and article of manufacture for a distributed computer system framework
US6272555B1 (en) 1996-07-01 2001-08-07 Sun Microsystems, Inc. Object-oriented system, method and article of manufacture for a client-server-centric interprise computing framework system
US6434598B1 (en) 1996-07-01 2002-08-13 Sun Microsystems, Inc. Object-oriented system, method and article of manufacture for a client-server graphical user interface (#9) framework in an interprise computing framework system
JP3195752B2 (ja) * 1997-02-28 2001-08-06 シャープ株式会社 検索装置
JP3962445B2 (ja) * 1997-03-13 2007-08-22 キヤノン株式会社 音声処理方法及び装置
FI114247B (fi) 1997-04-11 2004-09-15 Nokia Corp Menetelmä ja laite puheen tunnistamiseksi
KR100450787B1 (ko) * 1997-06-18 2005-05-03 삼성전자주식회사 스펙트럼의동적영역정규화에의한음성특징추출장치및방법
US5946653A (en) * 1997-10-01 1999-08-31 Motorola, Inc. Speaker independent speech recognition system and method
US6173258B1 (en) * 1998-09-09 2001-01-09 Sony Corporation Method for reducing noise distortions in a speech recognition system
US6768979B1 (en) * 1998-10-22 2004-07-27 Sony Corporation Apparatus and method for noise attenuation in a speech recognition system
US6308155B1 (en) * 1999-01-20 2001-10-23 International Computer Science Institute Feature extraction for automatic speech recognition
GB2349259B (en) 1999-04-23 2003-11-12 Canon Kk Speech processing apparatus and method
US6920421B2 (en) 1999-12-28 2005-07-19 Sony Corporation Model adaptive apparatus for performing adaptation of a model used in pattern recognition considering recentness of a received pattern data
US6804640B1 (en) * 2000-02-29 2004-10-12 Nuance Communications Signal noise reduction using magnitude-domain spectral subtraction
US7003455B1 (en) * 2000-10-16 2006-02-21 Microsoft Corporation Method of noise reduction using correction and scaling vectors with partitioning of the acoustic space in the domain of noisy speech
DE60110541T2 (de) * 2001-02-06 2006-02-23 Sony International (Europe) Gmbh Verfahren zur Spracherkennung mit geräuschabhängiger Normalisierung der Varianz
US6985858B2 (en) * 2001-03-20 2006-01-10 Microsoft Corporation Method and apparatus for removing noise from feature vectors
US6985859B2 (en) * 2001-03-28 2006-01-10 Matsushita Electric Industrial Co., Ltd. Robust word-spotting system using an intelligibility criterion for reliable keyword detection under adverse and unknown noisy environments
US6959276B2 (en) * 2001-09-27 2005-10-25 Microsoft Corporation Including the category of environmental noise when processing speech signals
JP3826032B2 (ja) * 2001-12-28 2006-09-27 株式会社東芝 音声認識装置、音声認識方法及び音声認識プログラム
US7139703B2 (en) * 2002-04-05 2006-11-21 Microsoft Corporation Method of iterative noise estimation in a recursive framework
US6944590B2 (en) 2002-04-05 2005-09-13 Microsoft Corporation Method of iterative noise estimation in a recursive framework
US7117148B2 (en) * 2002-04-05 2006-10-03 Microsoft Corporation Method of noise reduction using correction vectors based on dynamic aspects of speech and noise normalization
US7174292B2 (en) * 2002-05-20 2007-02-06 Microsoft Corporation Method of determining uncertainty associated with acoustic distortion-based noise reduction
US7103540B2 (en) 2002-05-20 2006-09-05 Microsoft Corporation Method of pattern recognition using noise reduction uncertainty
US7107210B2 (en) * 2002-05-20 2006-09-12 Microsoft Corporation Method of noise reduction based on dynamic aspects of speech
US7047047B2 (en) 2002-09-06 2006-05-16 Microsoft Corporation Non-linear observation model for removing noise from corrupted signals
US7165026B2 (en) * 2003-03-31 2007-01-16 Microsoft Corporation Method of noise estimation using incremental bayes learning
JP2007508577A (ja) * 2003-10-08 2007-04-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声認識システムの環境的不整合への適応方法
US7720675B2 (en) * 2003-10-27 2010-05-18 Educational Testing Service Method and system for determining text coherence
JP4943335B2 (ja) * 2004-09-23 2012-05-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 話者に依存しない堅牢な音声認識システム
GB2422237A (en) * 2004-12-21 2006-07-19 Fluency Voice Technology Ltd Dynamic coefficients determined from temporally adjacent speech frames
US8175877B2 (en) * 2005-02-02 2012-05-08 At&T Intellectual Property Ii, L.P. Method and apparatus for predicting word accuracy in automatic speech recognition systems
KR100714721B1 (ko) 2005-02-04 2007-05-04 삼성전자주식회사 음성 구간 검출 방법 및 장치
US8202098B2 (en) 2005-02-28 2012-06-19 Educational Testing Service Method of model scaling for an automated essay scoring system
DE102005030855A1 (de) * 2005-07-01 2007-01-11 Müller-BBM GmbH Elektroakustisches Verfahren
US7725316B2 (en) * 2006-07-05 2010-05-25 General Motors Llc Applying speech recognition adaptation in an automated speech recognition system of a telematics-equipped vehicle
CN101154380B (zh) * 2006-09-29 2011-01-26 株式会社东芝 说话人认证的注册及验证的方法和装置
US20100094622A1 (en) * 2008-10-10 2010-04-15 Nexidia Inc. Feature normalization for speech and audio processing
US9953646B2 (en) 2014-09-02 2018-04-24 Belleau Technologies Method and system for dynamic speech recognition and tracking of prewritten script
US9824684B2 (en) 2014-11-13 2017-11-21 Microsoft Technology Licensing, Llc Prediction-based sequence recognition
CN111489754A (zh) * 2019-01-28 2020-08-04 国家电网有限公司客户服务中心 一种基于智能语音技术的话务数据分析方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4926488A (en) * 1987-07-09 1990-05-15 International Business Machines Corporation Normalization of speech by adaptive labelling
JP2776848B2 (ja) * 1988-12-14 1998-07-16 株式会社日立製作所 雑音除去方法、それに用いるニューラルネットワークの学習方法
JP2763398B2 (ja) * 1990-11-20 1998-06-11 キヤノン株式会社 パターン認識装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100442825B1 (ko) * 1997-07-11 2005-02-03 삼성전자주식회사 음성 인식을 위한 환경 보상 방법
JP2007536562A (ja) * 2004-01-12 2007-12-13 ヴォイス シグナル テクノロジーズ インコーポレーティッド 自動音声認識チャンネルの正規化
JP2008298844A (ja) * 2007-05-29 2008-12-11 Advanced Telecommunication Research Institute International 雑音抑圧装置、コンピュータプログラム、及び音声認識システム
JP2015501012A (ja) * 2011-12-19 2015-01-08 スパンション エルエルシー 演算論理ユニットアーキテクチャ

Also Published As

Publication number Publication date
DE69518705T2 (de) 2001-01-04
EP0694906A1 (en) 1996-01-31
DE69518705D1 (de) 2000-10-12
EP0694906B1 (en) 2000-09-06
US5604839A (en) 1997-02-18

Similar Documents

Publication Publication Date Title
JPH08110793A (ja) 特性ベクトルの前端正規化による音声認識の改良方法及びシステム
EP0886263B1 (en) Environmentally compensated speech processing
US5812972A (en) Adaptive decision directed speech recognition bias equalization method and apparatus
Acero et al. Robust speech recognition by normalization of the acoustic space.
CA2147772C (en) Method of and apparatus for signal recognition that compensates for mismatching
CA2204866C (en) Signal conditioned minimum error rate training for continuous speech recognition
US5895448A (en) Methods and apparatus for generating and using speaker independent garbage models for speaker dependent speech recognition purpose
US6076054A (en) Methods and apparatus for generating and using out of vocabulary word models for speaker dependent speech recognition
CN111816165A (zh) 语音识别方法、装置及电子设备
KR20010005674A (ko) 인식 시스템
US5734793A (en) System for recognizing spoken sounds from continuous speech and method of using same
US6725196B2 (en) Pattern matching method and apparatus
JP2000099080A (ja) 信頼性尺度の評価を用いる音声認識方法
JPH09160584A (ja) 音声適応化装置および音声認識装置
EP0780828B1 (en) Method and system for performing speech recognition
US20050015251A1 (en) High-order entropy error functions for neural classifiers
TW418383B (en) Telephone voice recognition system and method and the channel effect compensation device using the same
US20050010406A1 (en) Speech recognition apparatus, method and computer program product
JP3397568B2 (ja) 音声認識方法及び装置
JPH10149191A (ja) モデル適応方法、装置およびその記憶媒体
JPH0486899A (ja) 標準パターン適応化方式
US7480614B2 (en) Energy feature extraction method for noisy speech recognition
Seltzer et al. Speech-recognizer-based filter optimization for microphone array processing
JPH03200999A (ja) 標準パターン学習方法
JP3044741B2 (ja) 標準パターン学習方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051031

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20051031

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060801