JPH0555040B2 - - Google Patents
Info
- Publication number
- JPH0555040B2 JPH0555040B2 JP61061037A JP6103786A JPH0555040B2 JP H0555040 B2 JPH0555040 B2 JP H0555040B2 JP 61061037 A JP61061037 A JP 61061037A JP 6103786 A JP6103786 A JP 6103786A JP H0555040 B2 JPH0555040 B2 JP H0555040B2
- Authority
- JP
- Japan
- Prior art keywords
- speech
- markov model
- speech pattern
- pattern
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000007704 transition Effects 0.000 claims abstract description 21
- 239000000203 mixture Substances 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 8
- 239000006185 dispersion Substances 0.000 claims 1
- 238000005259 measurement Methods 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 4
- 239000013598 vector Substances 0.000 description 19
- 238000013139 quantization Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 6
- 238000003909 pattern recognition Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000007476 Maximum Likelihood Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
Description
【発明の詳細な説明】
発明の技術分野
本発明はパターン認識、より詳細には、マルコ
フ モデルを使用してパターン分析するための方
法に関する。 技術の背景 通信、データ処理及び他の情報システムにおい
ては、間合せ、命令、及び情報を交換するために
音声認識入力及び合成音声出力を提供することが
必要である。この音声インタフエース設備は高価
な較末装置を使用することなく遠隔地のデータ処
理設備との交信を行なうことを可能とし、ユーザ
は手操作によりキーボード動作を行なうことな
く、自然な方法にてコンピユータ タイプのデバ
イスと交信できる。音声インターフエースが便利
であることは周知であるが、商業用の用途に要求
される音声認識精度を得るためには多くの解決さ
れるべき技術的問題が存在する。音声パターンが
複雑であり、また話者の間で変動があるため、正
確な音声認識を行なうことは比較的困難である。
パターン認識が、限定されたボキヤブラリーを使
用する特定の個人に限定された特別の用途におい
ては許容できる効果が達成されている。しかし、
話者の数に制限がなく、あるいは同定されるべき
音声パターンのボキヤブラリーが大きいような場
合には、自動音声認識装置の成功は非常に限定さ
れる。 音声認識装置は、通常、未知の音声パターンを
所定の音声特性のシーケンスに変換し、次にこれ
を前に同定された音声パターンを表わす格納され
たセツトの音声特性シーケンスと比較する。この
比較の結果、未知の音声パターンが、所所定の認
識基準を根拠として最も一致する音声特性シーケ
ンスを持つ格納されたセツトと同一であると判断
される。このシステムの認識精度は規定される音
声特性及び認識基準に大きく依存する。 未知の音声パターンと格納された基準セツトと
の比較は、直接に行なわれることも、あるいは会
話の速度の差異及び発声の差異を考慮に入れて調
節される場合もある。ある音声認識システムはパ
ターン間の最適整合を決定するために動的プログ
ラミングを使用する。この動的タイム ラツプは
会話速度及び発声の変動の影響を緩和する。しか
し、動的タイム ラツプ比較を遂行するための信
号処理装置は複雑であり、音声パターンの認識に
必要とされる時間は基準パターン ボキヤブラリ
ー並びに認識装置の動作の速度の関数となる。認
識が話者と独立して行なわれる場合は、基準パタ
ーンの数は非常に大きく、許容できる精度にて50
語程度のボキヤブラリーに対するパターンを実時
間にて認識することは困難である。自動音声認識
に対するもう1つのアプローチは確率モデルを使
用する方法である。この方法においては、音声パ
ターンの音声特性のシーケンスが統計的推定値に
基づくセツトの状態を通じて一連の遷移にパター
ン化される。話者依存認識装置、例えば、ジエー
ムスK.ベーカー(James K.Beker)によつて、
IEEトランザクツシヨン オン アコーステツ
ク、スピーチ アンド シグナルプロセシング
(IEEE Transaction on Acoustics、Speech、
and Signal Processing)、Vol.ASSP−23.No.1、
1975年2月、ページ24−29に掲載の論文〔ドラゴ
ン システムの概論(The DRAGON Systm−
An Overview)〕の説明の認識装置においては、
音声パターンに対応する音声スペクトル特性シー
ケンスが生成され、音声特性、語及び言語の一連
の階層マルコフ モデルにて判断される。この音
声特性シーケンスは音素のマルコフ モデルにて
分析される。このモデルはより大きな音声要素、
例えば、語に連結され、次にこの結果がマルコフ
モデルの階層、例えば、シンタツクス、コンテ
クスト等の階層にて、音声パターンの同定を得る
ために処理される。しかし、幾つかのマルコフ
モデルは連結音素モデルを使用し、無制限の階層
を持つための複雑であり、マルコフ モデルを正
常に動作するための十分な数のモデル トークン
を得るために、個々の同定話者による非常に長時
間のシステム トレーニングが必要となる。 L.R.ラビナー(L.R.Rabiner)、S.E.レビンソン
(S.E.Levinson)、及びM.M.ソンデイ(M.M.
Sondhi)らによつて、ベル システム テクニ
カル ジヤーナル(The Bell System
Technical Journal)、Vol.62、No.4、1983年4
月、ページ、1075−1105に掲載の論文〔話者に依
存しない分離語認識へのベクトル量子化及びヒド
ン マルコフ モデルの応用に関して(On the
Application of Vector Quntization and
Hidden Markov Models to Speaker−
Independent、Isolated Word Recognition)〕に
おいて説明の話者に依存しない認識システムは制
限された数の状態及び状態遷移を持つ比較的単純
なマルコフ モデルを使用する。さらに、この話
者に依存しない構成では、認識プロセスの複雑さ
が減少され、会話パターンの同定の速度がボキヤ
ブラリーのサイズ及び処理デバイスの能力にあま
り依存しない。この結果実時間認識が可能とな
る。 音声認識プロセスはマルコフ モデルを使用す
ることによつて簡素化できるが、未知のパターン
の比較の基準となる基準パターンのモデルを形成
する信号の生成が複雑で、時間がかかり、正確さ
に欠けるところがある。これらの要因はマルコフ
モデル音声認識の実用を妨げる結果となつてい
る。本発明の1つの目的は、より早く、より正確
なマルコフ モデルの生成を含むマルコフ モデ
ルに基づく改良された自動音声認識方法を提供す
ることにある。 発明の要約 本発明は、音声パターン特性信号シーケンスの
格納データベースから収斂性であり、かつミクス
チヤー成分(mixture components)を有する連
続確率密度関数を持つ連続モデルをこの連続モデ
ル間に所定の一致が得られるまで比較し、最後の
モデルを音声パターンのより正確なマルコフ モ
デル テンプレートが得られるように再評価する
ことから成る。 発明の実施例 当技術ににおいて、周知のごとく、ヒドン マ
ルコフ モデルは観測O1、O2、……Ot、……、
OTのシーケンスの発生の確率を評価するために
使用される。ここで、個々の観測のOtは離散記
号あるいは連続ベクトルである。観測シーケンス
は、直接に観測することのできない状態の遷移を
持つ基礎となるマルコフ連鎖の確率関数としてモ
デル化できる。第1図にはモデルが示される。第
1図にはN、例えば、5個の状態が示される。状
態間の遷移は遷移マトリツクスA=〔aij〕によつ
て表わすことができる。この遷移マトリツクスの
個々のaij項はこのモデルが状態iにあるものと
仮定すると、状態jへの遷移が行なわれる確率で
ある。このモデルの出力記号の確率は1セツトの
関数B=〔bj(Ot)〕によつてて表わされる。ここ
で、この出力記号マトリツクスのbj(Ot)項は、
このモデルがj状態にあるものと仮定すると、観
測Otを出力する確率である。第1図のモデルは
状態1が常に発声音の第1の時間フレームに対す
る最初の状態となり、また所定のセツトの左から
右への状態の遷移のみが可能であるものと制約さ
れ、そして所定の最終状態がそこから他の状態へ
の遷移が不可能である状態であるとして定義され
る。これら制約は第1図のモデル状態図に示され
るが、ここで、状態1は初期状態であり、状態5
は最終あるいは吸収状態であり、そして所定の左
から右への遷移はこれら状態を接続する方向ライ
ンによつて示される。 第1図の状態1から、これは経路111を介し
て状態1に再び入いること、経路112を介して
状態2に進むこと、あるいは経路113を介して
状態3に進むことのが可能である。遷移は1つの
状態に再び入いること、あるいは次の2つの状態
の1つに入いることのみに制限される。この遷移
は、このモデルにおいては、遷移確率として定義
される。例えば、現在、状態2の特性信号のフレ
ームを持つ音声パターンは状態2に再び入る確率
a22、状態3に入る確率a23、及び状態4に
入る確率a24=1−a21−a22を持つ。状
態1に入る確率a21あるいは状態5に入る確率
a25はゼロであり、確率a21からa25まで
の総和は1である。 モデルの個々の状態においては、現在の特性フ
レームはセツトの所定の出力記号の1つとして同
定されるか、あるいは確率的にラベルが与えらえ
る。この場合、出力記号の確率bj(Ot)はモデル
によつて特性フレーム記号がOtであると指定さ
れた確率に対応する。従つて、このモデル構成
は、遷移確率のマトリスツスA=〔aij〕、B=bj
(Ot)を計算する方法、及び状態jの特性フレー
ム記号確率から成る。 本発明によると、マルコフ モデルが同定トレ
ーニング パターンの複数のシーケンスからの基
準パターンに対して生成され、そして出力記号確
率は多変量ガウス関数確率密度である。この制約
ヒドン マルコフ モデルはセツトの基準パター
ン テンプレートを派生するのに使用されるが、
個々のテンプレートは基準パターンのボキヤブラ
リー セツト内の同定パターンを表わす。このマ
ルコフ モデル基準テンプレートは、次に、観測
シーケンスを個々のマルコフ モデル基準パター
ン テンプレートから観測を生成する確率に基づ
く基準パターンの1つとして分類される。次に未
知のパターンが最も高い確率を持つ基準パターン
として同定される。 音声認識に関しては、未知の入力音声パターン
が音声特性の時間フレーム シーケンスを生成す
るための分析される。個々の特性は、当技術にお
いて周知のごとく、スペクトル上の特性、線形予
測係数ベクトル、あるいは多の音声特性である。
未知の音声パターン、例えば、語や句に対して生
成される特性シーケンスは観測シーケンスOを形
成し、そしてOがボキヤブラリー セツトの語あ
るいは句のマルコフ モデル基準テンプレートλ
によつて生成される確率は以下によつて与えられ
る。 L(O|λ)= 〓i1i2 …Tπi1bi1(O 1)ai1i2…a iT-1iTb iT(O T) (1) ここで、i1、i2、…、iTはマルコフ モデル状
態のシーケンスであり、そしてO1、O2、…、
OTは音声パターン フレームの特性の観測され
たシーケンスである。式(1)はフオーワード部分確
率σt(i)に関して以下のように書くことができる。 αt=L(O1、O2、…OT及び時間t/λに おける状態i) (2) αt+1(j)は以下のように評価できる。 αt+1(j)=N 〓i=1 σt(i)aijbj(O t+1) t=1、2、…、T−1 (3) ここで、式(1)は以下の通りとなる。 L(O|λ)=N 〓j=1 αT(j) (4) 個々のマルコフ モデル基準パターンに対して
確率信号が生成されると、この入力音声パターン
は最尤度信号L(O/λr)経対応する基準パター
ン モデルrとして同定される。ここで、r=
1、2、……、Rであり、そしてRはボキヤブラ
リー内の語の数である。 認識システムにおいては、マルコフ モデル出
力記号の確率信号b(Ot)を生成するためにベク
トル量子化が行なわれる。ベクトル量子化技術に
よると、永久的に格納された確率表を使用するこ
とができる。この結果として得られるモデルの確
率は実際の尤度の近似にすぎない。第2図のグラ
フはベクトル量子化近似の効果を示す。 第2図において、曲線201は音声特性の関数
としての実際の尤度b(Ot)を表わし、そして
縦軸は離散ベクトル量子化特性の離散確率値を表
わす。音声パターンから派生される入力音声特性
は最初にも最も近似するプロトタイプ特性に量子
化され、そしてこのプロトタイプ特性の確率がb
(Ot)として選択される。特性軸上のx1の所の入
力特性は曲線201からの確率y1に対応する
が、最も近いプロトタイプ ベクトル205に対
する確率はy2である。y1とy2の間の差は量
子化に起因するエラーであり、このエラーは音声
パターン認識の精度に影響する。 従つて、以下の形式の多変量ガウス関数近似を
使用することによつて実際の確率密度関数201
からの偏差を減少することが必要である。 bj(X)=M 〓k=1 cjkN(x、μjk、σjk) (5) ここで、N(x、μ、σ)は平均ベクトルμの
D一次元正規密度関数を示し、そして共分散マト
リツクスσ、Mはミクスチヤーの数であり、そし
てCはミクスチヤー利得マトリツクスである。こ
の多変量ガウス関数が第2図に曲線210として
示される。式5の多変量ガウス関数はミクスチヤ
ー係数Cに従つてマルコフ モデルの確率密度が
任意の程度の精度に近似できるようにミクスチヤ
ー係数に従つて調節されたM個のガウム関数の線
形結合である。この結合はフーリエ分析において
正弦及び/あるいは余弦波を使用して関数を近似
するのと類似する。本発明によると(式5から誘
導される曲線210から得られる尤度信号b(O
t)と実際の確率密度曲線210の間の差異は非
常に小さく、従つてb(Ot)を使用するマルコ
フ モデル テンプレートからの音声パターン認
識の精度は実質的に向上される。 第3図の流れ図は音声パターンのトレーニング
セツトからマルコフ モデル テンプレートを
生成する一般的な方法を示す。最初に、多数の音
声パターンが音声特性のフレーム シーケンスを
生成するために分析される。説明の目的上、音声
パターンが数字0から9までの発声音に対応し、
個々の数字の発声音に対して線形予測分析が行な
われるもとの仮定する。数字の1の一回の発声
は、例えばn1の時間フレームに対して以下のよ
うな音声特性信号のシーケンスを与える。 O1 1、O1 2、……、O1 o1 (6) 個々の音声特性信号Oは当分野において周知の
ごとく、多次元線形予測係数(LPC)ベクトル
である。別の方法として、スペクトルあるいは他
の特性を使用することもできる。全ての数字の多
数回の発声音に対する音声特性シーケンスがマル
コフ モデル テンプレートを生成するために格
納される。ステツプ301に音声パターン格納動作
が示される。最初のマルコフ モデルが次にステ
ツプ305において選択された数字に対して生成さ
れる。マルコフ モデルは任意に選択することが
でき、あるいは前に使用されたマルコフ モデル
テンプレートと対応し、これを向上させること
もできる。語rに対するモデルは所定のセツトの
遷移確率マトリツクス信号Ar=〔arij〕及び多変
量ガウス関数に対応するマルコフ モデルから誘
導された所定のセツトの出力記号確率信号から構
成される。 Br={cr nj、μr njk1、σr njk} 1mM、1jN、1k、1D (7) ここでMはミクスチヤー成分の数を表わし、N
は状態の数を表わし、そしてDは個々のフレーム
に対する特性ベクトルの寸法の数を表わす。 選択された数字に対する特性信号Oはステツプ
310に示されるごとく、その数字に対する現在の
マルコフ モデルに従がう特性信号の最良状態シ
ーケンスを生成するために現在のマルコフ モデ
ル信号と結合される。これは特性信号フレームを
第1図のマルコフ モデルの状態に割り当てるこ
とによつて達成される。これは標準ビテラビ
(Viterabi)マツチング技術が最尤度得点を得る
ために使用されるが、これに関しては前述のL.R.
ラビナーらによる論文〔話手に依存しない隔離式
語認識へのベクトル量子化及びヒドン マルコフ
モデルの応用に関して(On the Application
of Vector Quantization and Hidden Markov
Mondels to Speaker−Independent、Isolated
Word Recognition)〕において説明されている。 この手順は以下の通りである。選択された数字
の発声音に対する特性信号の個々のフレーム ケ
ーシングが現在のモデルに加えられ、このモデル
の状態を通じてこのフレームの全ての可能な経路
が最尤度を持つ経路を決定するために評価され
る。現在のモデルλr及びフレーム特設信号の観測
シーケンスOが与えられると、この得点手順は以
下によつて与えられる。 σ1(i)=1n〔π1 r r 1(O1)〕、L=1 =−1.E75 i=2、3、……、N (8) σt(j)=max{σt-1(i)+1n〔ar ij〕 +1n〔br j(Ot)〕 max(1、j−2)ij for2tT、ijN (9) P=σT(N) (10) 選択された数字のフレームは次に、ステツプ
315において、セツトのLPCベクトル信号フレー
ムがマルコフ モデルの個々の状態に割り当てら
れるように最適状態シーケンスに従つて分類され
る。この手順が数字rに対するトレーニング セ
ツト内の個々の話に対して反復される。これを終
了すると、ステツプ320において、個々の状態に
対して、その状態に割り当てられた全ての選択さ
れた数字発声音のQフレームのLPC特性ベクト
ル信号がクラスタリング手順を使用してM個のグ
ループにクラスター化される。これには、L.R.ラ
ビナー(L.R.Rabiner)及びJ.G.ウイルポン(J.
G.Wilpon)らによつて、ジヤーナル オブ ザ
アコーステイカル ソサエテイ オブ アメリ
カ(Journal of the Acoustical Society of
America)、66(3)、1979年、ページ663−673の発
表の論文〔話手に依存しない語認識へのクラスタ
リング技術の応用について(Considerantions in
applying Clustering techniques to Speaker−
indipendent word recognition)〕に説明のクラ
スタリング手順及び他のクラスタリング装置を使
用することができる。 ステツプ325において、ステツプ320にてクラス
ター化されたベクトル信号から新たなマルコフ
モデルに対応する信号が生成される。この新たな
cmj係数は以下に従つて生成される。 cr nj=状態jに対するクラスターm内の特性ベク
トルの数/Q(11) 以下の式から新たな平均信号μmjkが生成され
る。 【表】 (
μr njk=
Q
Σ〓FS(p)〓k
p=1
εr(p)=n
フ モデルを使用してパターン分析するための方
法に関する。 技術の背景 通信、データ処理及び他の情報システムにおい
ては、間合せ、命令、及び情報を交換するために
音声認識入力及び合成音声出力を提供することが
必要である。この音声インタフエース設備は高価
な較末装置を使用することなく遠隔地のデータ処
理設備との交信を行なうことを可能とし、ユーザ
は手操作によりキーボード動作を行なうことな
く、自然な方法にてコンピユータ タイプのデバ
イスと交信できる。音声インターフエースが便利
であることは周知であるが、商業用の用途に要求
される音声認識精度を得るためには多くの解決さ
れるべき技術的問題が存在する。音声パターンが
複雑であり、また話者の間で変動があるため、正
確な音声認識を行なうことは比較的困難である。
パターン認識が、限定されたボキヤブラリーを使
用する特定の個人に限定された特別の用途におい
ては許容できる効果が達成されている。しかし、
話者の数に制限がなく、あるいは同定されるべき
音声パターンのボキヤブラリーが大きいような場
合には、自動音声認識装置の成功は非常に限定さ
れる。 音声認識装置は、通常、未知の音声パターンを
所定の音声特性のシーケンスに変換し、次にこれ
を前に同定された音声パターンを表わす格納され
たセツトの音声特性シーケンスと比較する。この
比較の結果、未知の音声パターンが、所所定の認
識基準を根拠として最も一致する音声特性シーケ
ンスを持つ格納されたセツトと同一であると判断
される。このシステムの認識精度は規定される音
声特性及び認識基準に大きく依存する。 未知の音声パターンと格納された基準セツトと
の比較は、直接に行なわれることも、あるいは会
話の速度の差異及び発声の差異を考慮に入れて調
節される場合もある。ある音声認識システムはパ
ターン間の最適整合を決定するために動的プログ
ラミングを使用する。この動的タイム ラツプは
会話速度及び発声の変動の影響を緩和する。しか
し、動的タイム ラツプ比較を遂行するための信
号処理装置は複雑であり、音声パターンの認識に
必要とされる時間は基準パターン ボキヤブラリ
ー並びに認識装置の動作の速度の関数となる。認
識が話者と独立して行なわれる場合は、基準パタ
ーンの数は非常に大きく、許容できる精度にて50
語程度のボキヤブラリーに対するパターンを実時
間にて認識することは困難である。自動音声認識
に対するもう1つのアプローチは確率モデルを使
用する方法である。この方法においては、音声パ
ターンの音声特性のシーケンスが統計的推定値に
基づくセツトの状態を通じて一連の遷移にパター
ン化される。話者依存認識装置、例えば、ジエー
ムスK.ベーカー(James K.Beker)によつて、
IEEトランザクツシヨン オン アコーステツ
ク、スピーチ アンド シグナルプロセシング
(IEEE Transaction on Acoustics、Speech、
and Signal Processing)、Vol.ASSP−23.No.1、
1975年2月、ページ24−29に掲載の論文〔ドラゴ
ン システムの概論(The DRAGON Systm−
An Overview)〕の説明の認識装置においては、
音声パターンに対応する音声スペクトル特性シー
ケンスが生成され、音声特性、語及び言語の一連
の階層マルコフ モデルにて判断される。この音
声特性シーケンスは音素のマルコフ モデルにて
分析される。このモデルはより大きな音声要素、
例えば、語に連結され、次にこの結果がマルコフ
モデルの階層、例えば、シンタツクス、コンテ
クスト等の階層にて、音声パターンの同定を得る
ために処理される。しかし、幾つかのマルコフ
モデルは連結音素モデルを使用し、無制限の階層
を持つための複雑であり、マルコフ モデルを正
常に動作するための十分な数のモデル トークン
を得るために、個々の同定話者による非常に長時
間のシステム トレーニングが必要となる。 L.R.ラビナー(L.R.Rabiner)、S.E.レビンソン
(S.E.Levinson)、及びM.M.ソンデイ(M.M.
Sondhi)らによつて、ベル システム テクニ
カル ジヤーナル(The Bell System
Technical Journal)、Vol.62、No.4、1983年4
月、ページ、1075−1105に掲載の論文〔話者に依
存しない分離語認識へのベクトル量子化及びヒド
ン マルコフ モデルの応用に関して(On the
Application of Vector Quntization and
Hidden Markov Models to Speaker−
Independent、Isolated Word Recognition)〕に
おいて説明の話者に依存しない認識システムは制
限された数の状態及び状態遷移を持つ比較的単純
なマルコフ モデルを使用する。さらに、この話
者に依存しない構成では、認識プロセスの複雑さ
が減少され、会話パターンの同定の速度がボキヤ
ブラリーのサイズ及び処理デバイスの能力にあま
り依存しない。この結果実時間認識が可能とな
る。 音声認識プロセスはマルコフ モデルを使用す
ることによつて簡素化できるが、未知のパターン
の比較の基準となる基準パターンのモデルを形成
する信号の生成が複雑で、時間がかかり、正確さ
に欠けるところがある。これらの要因はマルコフ
モデル音声認識の実用を妨げる結果となつてい
る。本発明の1つの目的は、より早く、より正確
なマルコフ モデルの生成を含むマルコフ モデ
ルに基づく改良された自動音声認識方法を提供す
ることにある。 発明の要約 本発明は、音声パターン特性信号シーケンスの
格納データベースから収斂性であり、かつミクス
チヤー成分(mixture components)を有する連
続確率密度関数を持つ連続モデルをこの連続モデ
ル間に所定の一致が得られるまで比較し、最後の
モデルを音声パターンのより正確なマルコフ モ
デル テンプレートが得られるように再評価する
ことから成る。 発明の実施例 当技術ににおいて、周知のごとく、ヒドン マ
ルコフ モデルは観測O1、O2、……Ot、……、
OTのシーケンスの発生の確率を評価するために
使用される。ここで、個々の観測のOtは離散記
号あるいは連続ベクトルである。観測シーケンス
は、直接に観測することのできない状態の遷移を
持つ基礎となるマルコフ連鎖の確率関数としてモ
デル化できる。第1図にはモデルが示される。第
1図にはN、例えば、5個の状態が示される。状
態間の遷移は遷移マトリツクスA=〔aij〕によつ
て表わすことができる。この遷移マトリツクスの
個々のaij項はこのモデルが状態iにあるものと
仮定すると、状態jへの遷移が行なわれる確率で
ある。このモデルの出力記号の確率は1セツトの
関数B=〔bj(Ot)〕によつてて表わされる。ここ
で、この出力記号マトリツクスのbj(Ot)項は、
このモデルがj状態にあるものと仮定すると、観
測Otを出力する確率である。第1図のモデルは
状態1が常に発声音の第1の時間フレームに対す
る最初の状態となり、また所定のセツトの左から
右への状態の遷移のみが可能であるものと制約さ
れ、そして所定の最終状態がそこから他の状態へ
の遷移が不可能である状態であるとして定義され
る。これら制約は第1図のモデル状態図に示され
るが、ここで、状態1は初期状態であり、状態5
は最終あるいは吸収状態であり、そして所定の左
から右への遷移はこれら状態を接続する方向ライ
ンによつて示される。 第1図の状態1から、これは経路111を介し
て状態1に再び入いること、経路112を介して
状態2に進むこと、あるいは経路113を介して
状態3に進むことのが可能である。遷移は1つの
状態に再び入いること、あるいは次の2つの状態
の1つに入いることのみに制限される。この遷移
は、このモデルにおいては、遷移確率として定義
される。例えば、現在、状態2の特性信号のフレ
ームを持つ音声パターンは状態2に再び入る確率
a22、状態3に入る確率a23、及び状態4に
入る確率a24=1−a21−a22を持つ。状
態1に入る確率a21あるいは状態5に入る確率
a25はゼロであり、確率a21からa25まで
の総和は1である。 モデルの個々の状態においては、現在の特性フ
レームはセツトの所定の出力記号の1つとして同
定されるか、あるいは確率的にラベルが与えらえ
る。この場合、出力記号の確率bj(Ot)はモデル
によつて特性フレーム記号がOtであると指定さ
れた確率に対応する。従つて、このモデル構成
は、遷移確率のマトリスツスA=〔aij〕、B=bj
(Ot)を計算する方法、及び状態jの特性フレー
ム記号確率から成る。 本発明によると、マルコフ モデルが同定トレ
ーニング パターンの複数のシーケンスからの基
準パターンに対して生成され、そして出力記号確
率は多変量ガウス関数確率密度である。この制約
ヒドン マルコフ モデルはセツトの基準パター
ン テンプレートを派生するのに使用されるが、
個々のテンプレートは基準パターンのボキヤブラ
リー セツト内の同定パターンを表わす。このマ
ルコフ モデル基準テンプレートは、次に、観測
シーケンスを個々のマルコフ モデル基準パター
ン テンプレートから観測を生成する確率に基づ
く基準パターンの1つとして分類される。次に未
知のパターンが最も高い確率を持つ基準パターン
として同定される。 音声認識に関しては、未知の入力音声パターン
が音声特性の時間フレーム シーケンスを生成す
るための分析される。個々の特性は、当技術にお
いて周知のごとく、スペクトル上の特性、線形予
測係数ベクトル、あるいは多の音声特性である。
未知の音声パターン、例えば、語や句に対して生
成される特性シーケンスは観測シーケンスOを形
成し、そしてOがボキヤブラリー セツトの語あ
るいは句のマルコフ モデル基準テンプレートλ
によつて生成される確率は以下によつて与えられ
る。 L(O|λ)= 〓i1i2 …Tπi1bi1(O 1)ai1i2…a iT-1iTb iT(O T) (1) ここで、i1、i2、…、iTはマルコフ モデル状
態のシーケンスであり、そしてO1、O2、…、
OTは音声パターン フレームの特性の観測され
たシーケンスである。式(1)はフオーワード部分確
率σt(i)に関して以下のように書くことができる。 αt=L(O1、O2、…OT及び時間t/λに おける状態i) (2) αt+1(j)は以下のように評価できる。 αt+1(j)=N 〓i=1 σt(i)aijbj(O t+1) t=1、2、…、T−1 (3) ここで、式(1)は以下の通りとなる。 L(O|λ)=N 〓j=1 αT(j) (4) 個々のマルコフ モデル基準パターンに対して
確率信号が生成されると、この入力音声パターン
は最尤度信号L(O/λr)経対応する基準パター
ン モデルrとして同定される。ここで、r=
1、2、……、Rであり、そしてRはボキヤブラ
リー内の語の数である。 認識システムにおいては、マルコフ モデル出
力記号の確率信号b(Ot)を生成するためにベク
トル量子化が行なわれる。ベクトル量子化技術に
よると、永久的に格納された確率表を使用するこ
とができる。この結果として得られるモデルの確
率は実際の尤度の近似にすぎない。第2図のグラ
フはベクトル量子化近似の効果を示す。 第2図において、曲線201は音声特性の関数
としての実際の尤度b(Ot)を表わし、そして
縦軸は離散ベクトル量子化特性の離散確率値を表
わす。音声パターンから派生される入力音声特性
は最初にも最も近似するプロトタイプ特性に量子
化され、そしてこのプロトタイプ特性の確率がb
(Ot)として選択される。特性軸上のx1の所の入
力特性は曲線201からの確率y1に対応する
が、最も近いプロトタイプ ベクトル205に対
する確率はy2である。y1とy2の間の差は量
子化に起因するエラーであり、このエラーは音声
パターン認識の精度に影響する。 従つて、以下の形式の多変量ガウス関数近似を
使用することによつて実際の確率密度関数201
からの偏差を減少することが必要である。 bj(X)=M 〓k=1 cjkN(x、μjk、σjk) (5) ここで、N(x、μ、σ)は平均ベクトルμの
D一次元正規密度関数を示し、そして共分散マト
リツクスσ、Mはミクスチヤーの数であり、そし
てCはミクスチヤー利得マトリツクスである。こ
の多変量ガウス関数が第2図に曲線210として
示される。式5の多変量ガウス関数はミクスチヤ
ー係数Cに従つてマルコフ モデルの確率密度が
任意の程度の精度に近似できるようにミクスチヤ
ー係数に従つて調節されたM個のガウム関数の線
形結合である。この結合はフーリエ分析において
正弦及び/あるいは余弦波を使用して関数を近似
するのと類似する。本発明によると(式5から誘
導される曲線210から得られる尤度信号b(O
t)と実際の確率密度曲線210の間の差異は非
常に小さく、従つてb(Ot)を使用するマルコ
フ モデル テンプレートからの音声パターン認
識の精度は実質的に向上される。 第3図の流れ図は音声パターンのトレーニング
セツトからマルコフ モデル テンプレートを
生成する一般的な方法を示す。最初に、多数の音
声パターンが音声特性のフレーム シーケンスを
生成するために分析される。説明の目的上、音声
パターンが数字0から9までの発声音に対応し、
個々の数字の発声音に対して線形予測分析が行な
われるもとの仮定する。数字の1の一回の発声
は、例えばn1の時間フレームに対して以下のよ
うな音声特性信号のシーケンスを与える。 O1 1、O1 2、……、O1 o1 (6) 個々の音声特性信号Oは当分野において周知の
ごとく、多次元線形予測係数(LPC)ベクトル
である。別の方法として、スペクトルあるいは他
の特性を使用することもできる。全ての数字の多
数回の発声音に対する音声特性シーケンスがマル
コフ モデル テンプレートを生成するために格
納される。ステツプ301に音声パターン格納動作
が示される。最初のマルコフ モデルが次にステ
ツプ305において選択された数字に対して生成さ
れる。マルコフ モデルは任意に選択することが
でき、あるいは前に使用されたマルコフ モデル
テンプレートと対応し、これを向上させること
もできる。語rに対するモデルは所定のセツトの
遷移確率マトリツクス信号Ar=〔arij〕及び多変
量ガウス関数に対応するマルコフ モデルから誘
導された所定のセツトの出力記号確率信号から構
成される。 Br={cr nj、μr njk1、σr njk} 1mM、1jN、1k、1D (7) ここでMはミクスチヤー成分の数を表わし、N
は状態の数を表わし、そしてDは個々のフレーム
に対する特性ベクトルの寸法の数を表わす。 選択された数字に対する特性信号Oはステツプ
310に示されるごとく、その数字に対する現在の
マルコフ モデルに従がう特性信号の最良状態シ
ーケンスを生成するために現在のマルコフ モデ
ル信号と結合される。これは特性信号フレームを
第1図のマルコフ モデルの状態に割り当てるこ
とによつて達成される。これは標準ビテラビ
(Viterabi)マツチング技術が最尤度得点を得る
ために使用されるが、これに関しては前述のL.R.
ラビナーらによる論文〔話手に依存しない隔離式
語認識へのベクトル量子化及びヒドン マルコフ
モデルの応用に関して(On the Application
of Vector Quantization and Hidden Markov
Mondels to Speaker−Independent、Isolated
Word Recognition)〕において説明されている。 この手順は以下の通りである。選択された数字
の発声音に対する特性信号の個々のフレーム ケ
ーシングが現在のモデルに加えられ、このモデル
の状態を通じてこのフレームの全ての可能な経路
が最尤度を持つ経路を決定するために評価され
る。現在のモデルλr及びフレーム特設信号の観測
シーケンスOが与えられると、この得点手順は以
下によつて与えられる。 σ1(i)=1n〔π1 r r 1(O1)〕、L=1 =−1.E75 i=2、3、……、N (8) σt(j)=max{σt-1(i)+1n〔ar ij〕 +1n〔br j(Ot)〕 max(1、j−2)ij for2tT、ijN (9) P=σT(N) (10) 選択された数字のフレームは次に、ステツプ
315において、セツトのLPCベクトル信号フレー
ムがマルコフ モデルの個々の状態に割り当てら
れるように最適状態シーケンスに従つて分類され
る。この手順が数字rに対するトレーニング セ
ツト内の個々の話に対して反復される。これを終
了すると、ステツプ320において、個々の状態に
対して、その状態に割り当てられた全ての選択さ
れた数字発声音のQフレームのLPC特性ベクト
ル信号がクラスタリング手順を使用してM個のグ
ループにクラスター化される。これには、L.R.ラ
ビナー(L.R.Rabiner)及びJ.G.ウイルポン(J.
G.Wilpon)らによつて、ジヤーナル オブ ザ
アコーステイカル ソサエテイ オブ アメリ
カ(Journal of the Acoustical Society of
America)、66(3)、1979年、ページ663−673の発
表の論文〔話手に依存しない語認識へのクラスタ
リング技術の応用について(Considerantions in
applying Clustering techniques to Speaker−
indipendent word recognition)〕に説明のクラ
スタリング手順及び他のクラスタリング装置を使
用することができる。 ステツプ325において、ステツプ320にてクラス
ター化されたベクトル信号から新たなマルコフ
モデルに対応する信号が生成される。この新たな
cmj係数は以下に従つて生成される。 cr nj=状態jに対するクラスターm内の特性ベク
トルの数/Q(11) 以下の式から新たな平均信号μmjkが生成され
る。 【表】 (
μr njk=
Q
Σ〓FS(p)〓k
p=1
εr(p)=n
Claims (1)
- 【特許請求の範囲】 1 音声を分析する方法において、当該方法が音
声パターン基準テンプレートを発生するステツプ
を含み、当該音声パターン基準テンプレートを発
生するステツプが、 a 少なくとも1つの同定音声パターンを分析
し、これを表わす音声特性信号のフレームシー
ケンスを発生するステツプ、 b 該同定音声パターンの状態遷移(マルコフ)
モデルを表わす信号の第1のセツトを発生する
ステツプ、 c 現在の状態遷移モデル及び前記音声特性信号
のフレームシーケンスに応答して音声パターン
テンプレートを生成するステツプ、および d 上記ステツプbおよびcを反復するステツプ
とを含み、当該反復するステツプは、前記ステ
ツプbに関して前記モデルの連続値化された特
性を観測測定と一致させて、連続確率密度関数
を生成するステツプを含み、かつ前記ステツプ
cに関して該音声パターンの特性信号を前の状
態遷移モデルの状態に対応する関連クラスター
にグループ化するステツプとを含み、該特性信
号をグループ化することによつて、該連続確率
密度関数が異なる連続確率密度関数のミクスチ
ヤーを表わす成分を持つようになり、かつ該音
声パターンテンプレートが前記音声パターン基
準テンプレートになることを特徴とする音声を
分析する方法。 2 特許請求の範囲第1項記載の音声を分析する
方法において、該確率密度関数は分類された音声
特性信号の平均値を表わす信号および各状態の各
クラスターにおいて分類された音声特性信号に関
する多変量連続確率密度関数を形成する分散行列
を表わす信号の組を含むことを特徴とする音声を
分析する方法。 3 特許請求の範囲第2項に記載の音声を分析す
る方法において、該反復ステツプは 該同定音声パターンの音声特性信号のシーケン
スの発生の尤度に対応する第1の信号を該前の状
態遷移モデル信号セツトから形成するステツプ、 該同定音声パターンの音声特性のシーケンスの
発生の尤度に対応する第2の信号を該現在の反復
状態遷移モデル信号セツトから形成するステツ
プ、および 前記第1および第2の尤度信号の間の一致性を
表わす信号を発生するステツプとを含むことを特
徴とする音声を分析する方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US06/714,517 US4783804A (en) | 1985-03-21 | 1985-03-21 | Hidden Markov model speech recognition arrangement |
US714,517 | 1985-03-21 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPS61262799A JPS61262799A (ja) | 1986-11-20 |
JPH0555040B2 true JPH0555040B2 (ja) | 1993-08-16 |
Family
ID=24870357
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP61061037A Granted JPS61262799A (ja) | 1985-03-21 | 1986-03-20 | ヒドン形式マルコフモデル音声認識方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US4783804A (ja) |
JP (1) | JPS61262799A (ja) |
FR (1) | FR2579357B1 (ja) |
Families Citing this family (203)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB8527913D0 (en) * | 1985-11-12 | 1985-12-18 | Pa Consulting Services | Analysing transitions in finite state machines |
DE3779351D1 (ja) * | 1986-03-28 | 1992-07-02 | American Telephone And Telegraph Co., New York, N.Y., Us | |
US4852180A (en) * | 1987-04-03 | 1989-07-25 | American Telephone And Telegraph Company, At&T Bell Laboratories | Speech recognition by acoustic/phonetic system and technique |
US4918731A (en) * | 1987-07-17 | 1990-04-17 | Ricoh Company, Ltd. | Speech recognition method and apparatus |
US5072452A (en) * | 1987-10-30 | 1991-12-10 | International Business Machines Corporation | Automatic determination of labels and Markov word models in a speech recognition system |
US5129002A (en) * | 1987-12-16 | 1992-07-07 | Matsushita Electric Industrial Co., Ltd. | Pattern recognition apparatus |
JP2545914B2 (ja) * | 1988-02-09 | 1996-10-23 | 日本電気株式会社 | 音声認識方法 |
JPH0293597A (ja) * | 1988-09-30 | 1990-04-04 | Nippon I B M Kk | 音声認識装置 |
JPH0296800A (ja) * | 1988-10-03 | 1990-04-09 | Nec Corp | 連続音声認識装置 |
GB8902645D0 (en) * | 1989-02-07 | 1989-03-30 | Smiths Industries Plc | Monitoring |
US5509104A (en) * | 1989-05-17 | 1996-04-16 | At&T Corp. | Speech recognition employing key word modeling and non-key word modeling |
CA2015410C (en) * | 1989-05-17 | 1996-04-02 | Chin H. Lee | Speech recognition employing key word modeling and non-key word modeling |
US5075896A (en) * | 1989-10-25 | 1991-12-24 | Xerox Corporation | Character and phoneme recognition based on probability clustering |
JP2964507B2 (ja) * | 1989-12-12 | 1999-10-18 | 松下電器産業株式会社 | Hmm装置 |
US5119425A (en) * | 1990-01-02 | 1992-06-02 | Raytheon Company | Sound synthesizer |
US5148489A (en) * | 1990-02-28 | 1992-09-15 | Sri International | Method for spectral estimation to improve noise robustness for speech recognition |
JPH0833739B2 (ja) * | 1990-09-13 | 1996-03-29 | 三菱電機株式会社 | パターン表現モデル学習装置 |
GB9021489D0 (en) * | 1990-10-03 | 1990-11-14 | Ensigma Ltd | Methods and apparatus for verifying the originator of a sequence of operations |
US5293451A (en) * | 1990-10-23 | 1994-03-08 | International Business Machines Corporation | Method and apparatus for generating models of spoken words based on a small number of utterances |
US5450523A (en) * | 1990-11-15 | 1995-09-12 | Matsushita Electric Industrial Co., Ltd. | Training module for estimating mixture Gaussian densities for speech unit models in speech recognition systems |
US5390278A (en) * | 1991-10-08 | 1995-02-14 | Bell Canada | Phoneme based speech recognition |
US5502790A (en) * | 1991-12-24 | 1996-03-26 | Oki Electric Industry Co., Ltd. | Speech recognition method and system using triphones, diphones, and phonemes |
US5544257A (en) * | 1992-01-08 | 1996-08-06 | International Business Machines Corporation | Continuous parameter hidden Markov model approach to automatic handwriting recognition |
JPH0782348B2 (ja) * | 1992-03-21 | 1995-09-06 | 株式会社エイ・ティ・アール自動翻訳電話研究所 | 音声認識用サブワードモデル生成方法 |
US5233681A (en) * | 1992-04-24 | 1993-08-03 | International Business Machines Corporation | Context-dependent speech recognizer using estimated next word context |
JPH064093A (ja) * | 1992-06-18 | 1994-01-14 | Matsushita Electric Ind Co Ltd | Hmm作成装置、hmm記憶装置、尤度計算装置及び、認識装置 |
US5682464A (en) * | 1992-06-29 | 1997-10-28 | Kurzweil Applied Intelligence, Inc. | Word model candidate preselection for speech recognition using precomputed matrix of thresholded distance values |
US5386492A (en) * | 1992-06-29 | 1995-01-31 | Kurzweil Applied Intelligence, Inc. | Speech recognition system utilizing vocabulary model preselection |
US5333236A (en) * | 1992-09-10 | 1994-07-26 | International Business Machines Corporation | Speech recognizer having a speech coder for an acoustic match based on context-dependent speech-transition acoustic models |
CA2108536C (en) * | 1992-11-24 | 2000-04-04 | Oscar Ernesto Agazzi | Text recognition using two-dimensional stochastic models |
US5452397A (en) * | 1992-12-11 | 1995-09-19 | Texas Instruments Incorporated | Method and system for preventing entry of confusingly similar phases in a voice recognition system vocabulary list |
US5535305A (en) * | 1992-12-31 | 1996-07-09 | Apple Computer, Inc. | Sub-partitioned vector quantization of probability density functions |
US5692104A (en) * | 1992-12-31 | 1997-11-25 | Apple Computer, Inc. | Method and apparatus for detecting end points of speech activity |
US5596680A (en) * | 1992-12-31 | 1997-01-21 | Apple Computer, Inc. | Method and apparatus for detecting speech activity using cepstrum vectors |
DE69432570T2 (de) * | 1993-03-25 | 2004-03-04 | British Telecommunications P.L.C. | Spracherkennung |
US6230128B1 (en) | 1993-03-31 | 2001-05-08 | British Telecommunications Public Limited Company | Path link passing speech recognition with vocabulary node being capable of simultaneously processing plural path links |
WO1994023425A1 (en) * | 1993-03-31 | 1994-10-13 | British Telecommunications Public Limited Company | Connected speech recognition |
US5664058A (en) * | 1993-05-12 | 1997-09-02 | Nynex Science & Technology | Method of training a speaker-dependent speech recognizer with automated supervision of training sufficiency |
US5623609A (en) * | 1993-06-14 | 1997-04-22 | Hal Trust, L.L.C. | Computer system and computer-implemented process for phonology-based automatic speech recognition |
CA2126380C (en) * | 1993-07-22 | 1998-07-07 | Wu Chou | Minimum error rate training of combined string models |
US5606643A (en) * | 1994-04-12 | 1997-02-25 | Xerox Corporation | Real-time audio recording system for automatic speaker indexing |
US5598507A (en) * | 1994-04-12 | 1997-01-28 | Xerox Corporation | Method of speaker clustering for unknown speakers in conversational audio data |
GB2290684A (en) * | 1994-06-22 | 1996-01-03 | Ibm | Speech synthesis using hidden Markov model to determine speech unit durations |
US5825978A (en) * | 1994-07-18 | 1998-10-20 | Sri International | Method and apparatus for speech recognition using optimized partial mixture tying of HMM state functions |
US5625747A (en) * | 1994-09-21 | 1997-04-29 | Lucent Technologies Inc. | Speaker verification, speech recognition and channel normalization through dynamic time/frequency warping |
JP2980228B2 (ja) * | 1994-10-25 | 1999-11-22 | 日本ビクター株式会社 | 音声認識用音響モデル生成方法 |
US5794198A (en) * | 1994-10-28 | 1998-08-11 | Nippon Telegraph And Telephone Corporation | Pattern recognition method |
US5832430A (en) * | 1994-12-29 | 1998-11-03 | Lucent Technologies, Inc. | Devices and methods for speech recognition of vocabulary words with simultaneous detection and verification |
JP3703164B2 (ja) * | 1995-05-10 | 2005-10-05 | キヤノン株式会社 | パターン認識方法及びその装置 |
US5719996A (en) * | 1995-06-30 | 1998-02-17 | Motorola, Inc. | Speech recognition in selective call systems |
US5806029A (en) * | 1995-09-15 | 1998-09-08 | At&T Corp | Signal conditioned minimum error rate training for continuous speech recognition |
WO1997019545A1 (en) * | 1995-11-17 | 1997-05-29 | At & T Corp. | Automatic vocabulary generation for telecommunications network-based voice-dialing |
US5960395A (en) * | 1996-02-09 | 1999-09-28 | Canon Kabushiki Kaisha | Pattern matching method, apparatus and computer readable memory medium for speech recognition using dynamic programming |
US5806030A (en) * | 1996-05-06 | 1998-09-08 | Matsushita Electric Ind Co Ltd | Low complexity, high accuracy clustering method for speech recognizer |
US5835890A (en) * | 1996-08-02 | 1998-11-10 | Nippon Telegraph And Telephone Corporation | Method for speaker adaptation of speech models recognition scheme using the method and recording medium having the speech recognition method recorded thereon |
US5865626A (en) * | 1996-08-30 | 1999-02-02 | Gte Internetworking Incorporated | Multi-dialect speech recognition method and apparatus |
US6137863A (en) * | 1996-12-13 | 2000-10-24 | At&T Corp. | Statistical database correction of alphanumeric account numbers for speech recognition and touch-tone recognition |
US6061654A (en) * | 1996-12-16 | 2000-05-09 | At&T Corp. | System and method of recognizing letters and numbers by either speech or touch tone recognition utilizing constrained confusion matrices |
US5848130A (en) * | 1996-12-31 | 1998-12-08 | At&T Corp | System and method for enhanced intelligibility of voice messages |
US5950158A (en) * | 1997-07-30 | 1999-09-07 | Nynex Science And Technology, Inc. | Methods and apparatus for decreasing the size of pattern recognition models by pruning low-scoring models from generated sets of models |
US5963902A (en) * | 1997-07-30 | 1999-10-05 | Nynex Science & Technology, Inc. | Methods and apparatus for decreasing the size of generated models trained for automatic pattern recognition |
US6219453B1 (en) | 1997-08-11 | 2001-04-17 | At&T Corp. | Method and apparatus for performing an automatic correction of misrecognized words produced by an optical character recognition technique by using a Hidden Markov Model based algorithm |
US6154579A (en) * | 1997-08-11 | 2000-11-28 | At&T Corp. | Confusion matrix based method and system for correcting misrecognized words appearing in documents generated by an optical character recognition technique |
FR2769118B1 (fr) * | 1997-09-29 | 1999-12-03 | Matra Communication | Procede de reconnaissance de parole |
US11044043B2 (en) | 1997-10-08 | 2021-06-22 | Erik Borculo | System and method for communicating information using time-and-frequency-bounded base functions |
US6944118B2 (en) * | 1997-10-08 | 2005-09-13 | Bandwidth Technology Corp. | System and method for communicating digital information using time-and-frequency-bounded base functions |
US6898207B2 (en) * | 1997-10-08 | 2005-05-24 | Bandwidth Technology Corp. | Techniques for communicating information using Hermite-Gaussian basis functions |
US6141661A (en) * | 1997-10-17 | 2000-10-31 | At&T Corp | Method and apparatus for performing a grammar-pruning operation |
US6208965B1 (en) | 1997-11-20 | 2001-03-27 | At&T Corp. | Method and apparatus for performing a name acquisition based on speech recognition |
US6205428B1 (en) | 1997-11-20 | 2001-03-20 | At&T Corp. | Confusion set-base method and apparatus for pruning a predetermined arrangement of indexed identifiers |
US6122612A (en) * | 1997-11-20 | 2000-09-19 | At&T Corp | Check-sum based method and apparatus for performing speech recognition |
WO1999028898A1 (fr) * | 1997-11-27 | 1999-06-10 | Hitachi, Ltd. | Systeme et procede de reconnaissance vocale |
US6205261B1 (en) | 1998-02-05 | 2001-03-20 | At&T Corp. | Confusion set based method and system for correcting misrecognized words appearing in documents generated by an optical character recognition technique |
US6400805B1 (en) | 1998-06-15 | 2002-06-04 | At&T Corp. | Statistical database correction of alphanumeric identifiers for speech recognition and touch-tone recognition |
US7937260B1 (en) | 1998-06-15 | 2011-05-03 | At&T Intellectual Property Ii, L.P. | Concise dynamic grammars using N-best selection |
US6269334B1 (en) * | 1998-06-25 | 2001-07-31 | International Business Machines Corporation | Nongaussian density estimation for the classification of acoustic feature vectors in speech recognition |
US6157731A (en) * | 1998-07-01 | 2000-12-05 | Lucent Technologies Inc. | Signature verification method using hidden markov models |
US6801895B1 (en) * | 1998-12-07 | 2004-10-05 | At&T Corp. | Method and apparatus for segmenting a multi-media program based upon audio events |
US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
US6671669B1 (en) * | 2000-07-18 | 2003-12-30 | Qualcomm Incorporated | combined engine system and method for voice recognition |
US6754629B1 (en) * | 2000-09-08 | 2004-06-22 | Qualcomm Incorporated | System and method for automatic voice recognition using mapping |
US7038690B2 (en) * | 2001-03-23 | 2006-05-02 | Microsoft Corporation | Methods and systems for displaying animated graphics on a computing device |
US7239324B2 (en) * | 2001-03-23 | 2007-07-03 | Microsoft Corporation | Methods and systems for merging graphics for display on a computing device |
US7133827B1 (en) | 2002-02-06 | 2006-11-07 | Voice Signal Technologies, Inc. | Training speech recognition word models from word samples synthesized by Monte Carlo techniques |
US7024360B2 (en) * | 2003-03-17 | 2006-04-04 | Rensselaer Polytechnic Institute | System for reconstruction of symbols in a sequence |
JP2006199204A (ja) * | 2005-01-21 | 2006-08-03 | Sanyo Electric Co Ltd | ドライブレコーダ及びドライブレコーダの制御方法 |
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
JP4880036B2 (ja) * | 2006-05-01 | 2012-02-22 | 日本電信電話株式会社 | 音源と室内音響の確率モデルに基づく音声残響除去のための方法及び装置 |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
US9959870B2 (en) | 2008-12-11 | 2018-05-01 | Apple Inc. | Speech recognition involving a mobile device |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US20120311585A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Organizing task items that represent tasks to perform |
US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
DE202011111062U1 (de) | 2010-01-25 | 2019-02-19 | Newvaluexchange Ltd. | Vorrichtung und System für eine Digitalkonversationsmanagementplattform |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
US9412381B2 (en) * | 2010-03-30 | 2016-08-09 | Ack3 Bionetics Private Ltd. | Integrated voice biometrics cloud security gateway |
US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US9767807B2 (en) | 2011-03-30 | 2017-09-19 | Ack3 Bionetics Pte Limited | Digital voice signature of transactions |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
US9336774B1 (en) * | 2012-04-20 | 2016-05-10 | Google Inc. | Pattern recognizing engine |
US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
BR112015018905B1 (pt) | 2013-02-07 | 2022-02-22 | Apple Inc | Método de operação de recurso de ativação por voz, mídia de armazenamento legível por computador e dispositivo eletrônico |
US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
KR101759009B1 (ko) | 2013-03-15 | 2017-07-17 | 애플 인크. | 적어도 부분적인 보이스 커맨드 시스템을 트레이닝시키는 것 |
EP2997743B1 (en) * | 2013-05-16 | 2019-07-10 | Koninklijke Philips N.V. | An audio apparatus and method therefor |
WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
CN105264524B (zh) | 2013-06-09 | 2019-08-02 | 苹果公司 | 用于实现跨数字助理的两个或更多个实例的会话持续性的设备、方法、和图形用户界面 |
CN105265005B (zh) | 2013-06-13 | 2019-09-17 | 苹果公司 | 用于由语音命令发起的紧急呼叫的系统和方法 |
JP6163266B2 (ja) | 2013-08-06 | 2017-07-12 | アップル インコーポレイテッド | リモート機器からの作動に基づくスマート応答の自動作動 |
JP6291035B2 (ja) * | 2014-01-02 | 2018-03-14 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | オーディオ装置及びそのための方法 |
US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
EP3149728B1 (en) | 2014-05-30 | 2019-01-16 | Apple Inc. | Multi-command single utterance input method |
US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
US10008201B2 (en) * | 2015-09-28 | 2018-06-26 | GM Global Technology Operations LLC | Streamlined navigational speech recognition |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
DK179588B1 (en) | 2016-06-09 | 2019-02-22 | Apple Inc. | INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT |
US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
US10311874B2 (en) | 2017-09-01 | 2019-06-04 | 4Q Catalyst, LLC | Methods and systems for voice-based programming of a voice-controlled device |
CN110737268B (zh) * | 2019-10-14 | 2022-07-15 | 哈尔滨工程大学 | 一种基于Viterbi算法的确定指令的方法 |
US11797425B2 (en) * | 2021-07-09 | 2023-10-24 | International Business Machines Corporation | Data augmentation based on failure cases |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5991500A (ja) * | 1982-10-15 | 1984-05-26 | ウエスターン エレクトリック カムパニー,インコーポレーテッド | 音声分析器 |
JPS61177493A (ja) * | 1985-01-31 | 1986-08-09 | インタ−ナショナル ビジネス マシ−ンズ コ−ポレ−ション | 音声認識方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4348553A (en) * | 1980-07-02 | 1982-09-07 | International Business Machines Corporation | Parallel pattern verifier with dynamic time warping |
US4654875A (en) * | 1983-05-23 | 1987-03-31 | The Research Foundation Of State University Of New York | System to achieve automatic recognition of linguistic strings |
-
1985
- 1985-03-21 US US06/714,517 patent/US4783804A/en not_active Expired - Lifetime
-
1986
- 1986-03-20 JP JP61061037A patent/JPS61262799A/ja active Granted
- 1986-03-20 FR FR868603987A patent/FR2579357B1/fr not_active Expired - Lifetime
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5991500A (ja) * | 1982-10-15 | 1984-05-26 | ウエスターン エレクトリック カムパニー,インコーポレーテッド | 音声分析器 |
JPS61177493A (ja) * | 1985-01-31 | 1986-08-09 | インタ−ナショナル ビジネス マシ−ンズ コ−ポレ−ション | 音声認識方法 |
Also Published As
Publication number | Publication date |
---|---|
FR2579357A1 (fr) | 1986-09-26 |
US4783804A (en) | 1988-11-08 |
FR2579357B1 (fr) | 1990-01-12 |
JPS61262799A (ja) | 1986-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH0555040B2 (ja) | ||
Karpagavalli et al. | A review on automatic speech recognition architecture and approaches | |
Ghai et al. | Literature review on automatic speech recognition | |
US5865626A (en) | Multi-dialect speech recognition method and apparatus | |
JP2963142B2 (ja) | 信号処理方法 | |
US8731928B2 (en) | Speaker adaptation of vocabulary for speech recognition | |
EP1477966B1 (en) | Adaptation of compressed acoustic models | |
KR20050082253A (ko) | 모델 변이 기반의 화자 클러스터링 방법, 화자 적응 방법및 이들을 이용한 음성 인식 장치 | |
US20090240499A1 (en) | Large vocabulary quick learning speech recognition system | |
Hanazawa et al. | ATR HMM-LR continuous speech recognition system | |
CN111696522B (zh) | 基于hmm和dnn的藏语语音识别方法 | |
Sahu et al. | A study on automatic speech recognition toolkits | |
JP3535292B2 (ja) | 音声認識システム | |
US5764851A (en) | Fast speech recognition method for mandarin words | |
Furui | Vector-quantization-based speech recognition and speaker recognition techniques | |
Manasa et al. | Comparison of acoustical models of GMM-HMM based for speech recognition in Hindi using PocketSphinx | |
Thalengala et al. | Study of sub-word acoustical models for Kannada isolated word recognition system | |
Sangjamraschaikun et al. | Isarn digit speech recognition using HMM | |
JP2938866B1 (ja) | 統計的言語モデル生成装置及び音声認識装置 | |
Barman et al. | State of the art review of speech recognition using genetic algorithm | |
Sarma et al. | Speech recognition in Indian languages—a survey | |
JP2983364B2 (ja) | 隠れマルコフモデルと音声信号との類似度計算方法 | |
Thalengala et al. | Effect of time-domain windowing on isolated speech recognition system performance | |
JP3029803B2 (ja) | 音声認識のための単語モデル生成装置及び音声認識装置 | |
Nakagawa et al. | Spoken language identification by ergodic HMMs and its state sequences |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |