JP3003276B2 - 信号解析装置 - Google Patents

信号解析装置

Info

Publication number
JP3003276B2
JP3003276B2 JP3147440A JP14744091A JP3003276B2 JP 3003276 B2 JP3003276 B2 JP 3003276B2 JP 3147440 A JP3147440 A JP 3147440A JP 14744091 A JP14744091 A JP 14744091A JP 3003276 B2 JP3003276 B2 JP 3003276B2
Authority
JP
Japan
Prior art keywords
equation
likelihood
state
calculating
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP3147440A
Other languages
English (en)
Other versions
JPH04369700A (ja
Inventor
英一 坪香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP3147440A priority Critical patent/JP3003276B2/ja
Publication of JPH04369700A publication Critical patent/JPH04369700A/ja
Priority to US08/213,480 priority patent/US5381513A/en
Application granted granted Critical
Publication of JP3003276B2 publication Critical patent/JP3003276B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G10L15/142—Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は音声認識等のパターン認
識に適用可能な新しいニューラルネットワークを含む時
系列信号解析装置に関する。
【０００２】
【従来の技術】図２は本発明で用いる階層型のニューラ
ルネットワークの一例である。○はユニットと呼ばれる
ものを示している。ユニット間を結ぶ矢線は信号の流れ
る方向を示し、矢線の根元につながっているユニットの
出力に矢線毎に与えられている前記重み係数が乗ぜられ
て矢線の先端部のユニットへの入力となる。ユニットの
横一列の並びは層と呼ばれる。本例は３層からなるニュ
ーラルネットワークを示している。ニューラルネットワ
ークへの入力が直接つながるユニットからなる層は入力
層、その出力がニューラルネットワークからの出力その
ものとなるユニットからなる層は出力層、それら以外の
層は隠れ層または中間層と呼ばれる。本例では、第１層
が入力層、第２層が隠れ層、第３層が出力層と言うこと
になる。各ユニットにおける、入力の総和とその出力と
の関係は、いわゆるシグモイド関数と呼ばれる関数で与
えられる特性を持たせるのが一般的である。図３はシグ
モイド関数の例を示している。通常、入力層はシグモイ
ド関数ではなく、線形関数で与え、入力そのものを伝え
るだけとする場合が多い。
【０００３】このニューラルネットワークに対して、重
み係数を調整することによって、入力層にあるパターン
が入力されたときに、それに対して望ましい出力が出力
層から出力されるようにすることが出来る。例えば、手
書き文字「Ａ」「Ｂ」「Ｃ」を識別する場合を考える。
最も簡単には、各文字を例えば３２×３２の編目で覆
い、編目の各々をニューラルネットワークの入力ユニッ
トに対応させ(従って入力ユニット数は32×32=1024)、
文字の線がかかる編目を１、そうでない編目を０として
前記ニューラルネットワークの入力層の対応する各ユニ
ットに入力する。出力層は３ユニットとする。「Ａ」が
入力された場合は第１ユニットが「１」他のユニットが
「０」、「Ｂ］が入力された場合は第２ユニットが
「１」他のユニットが「０」、「Ｃ］が入力された場合
は第３ユニットが「１」他のユニットが「０」となるよ
うに多数の標本から重み係数を調整しておく。このよう
に準備しておけば、未知入力「Ｘ」が入力されたとき、
値が最大になる出力ユニットに対応する文字として、未
知入力「Ｘ」が「Ａ」「Ｂ」「Ｃ」の何れであるか判定
することが出来る。階層型ニューラルネットワークにお
いては、前記重み係数を多数の訓練パターンから推定す
る方法が存在し、文字認識等の場合は、高い識別率の得
られることが報告されている。
【０００４】
【発明が解決しようとする課題】この例のように、入力
パターンの大きさ（この例では1024ビット）が固定であ
るときは、十分うまく行くが、音声パターンのように時
間軸に伸縮のあるパターンに対しては問題である。音声
の特徴量は、例えば10msec毎に10〜20組程度のパラメー
タに変換されたいわゆる特徴ベクトル系列で表される。
従って、10msec毎に10次元の特徴ベクトルに変換される
ものとすれば、例えば音韻/b/を表す区間は、ある場合
は20フレームであったり、ある場合は30フレームになっ
たりするから、特徴ベクトルの各成分たるパラメータを
ニューラルネットワークの入力ユニットに対応させると
しても、対応するユニット数は20×10=200となったり30
×10=300となったりして一定しない。また、音声は時間
軸に対して非線系な伸縮もあることから、ニューラルネ
ットワークをそのまま音声の識別に用いることにはかな
り問題がある。
【０００５】"静的"なパターンに対して高い識別能力を
持つニューラルネットワークを、音声のような"動的"な
時系列パターンにも適用出来るようにすることを目的と
する。
【０００６】
【課題を解決するための手段】１つ以上の入出力を有す
る複数のユニットが相互に結合され、各々の結合にはそ
こを流れる信号に対して重み付けを行うその結合固有の
荷重係数が定義され、入力の特徴ベクトル系列{y(t)}に
含まれる幾つかのベクトルの各々の成分が入力される入
力ユニット群と、該入力ユニット群に入力された前記ベ
クトルが前記ユニット及び結合を通過することにより変
換され、該変換されたベクトルを出力する出力ユニット
群と、前記入力ユニット群から前記出力ユニット群に至
る径路としてＪ通りの径路を備えたニューラルネットワ
ークと、前記径路をj=1,2,…,Jで区別するとき、これら
径路の各々をその状態に対応させたＨＭＭ（ヒト゛ゥン マルコフ
モテ゛ル (Hidden Markov Model)）とからなる。
【０００７】
【作用】前記ニューラルネットワークにおける前記径路
の選択を前記ＨＭＭの状態に対応させて制御する。
【０００８】
【実施例】本発明は、パターン変換たる階層型ニューラ
ルネットワーク（以後単にＮＮと略記する）に時系列信
号処理能力を導入する方法として、ＮＮの入力層から出
力層に至る径路をＨＭＭの状態に対応させるものであ
る。このことによって時系列に対するＮＮの持つ前記欠
点を排し、ＮＮの持つ"静的"パターンに対する優れたパ
ターン処理能力を"動的"な時系列パターンの処理にまで
拡大することを可能としたものである。
【０００９】従って、本発明の詳細を説明するに先立っ
て、先ず、ＨＭＭについて説明する。
【００１０】本発明は一般の時系列信号に適用可能なも
のであるが、説明の便宜のために、以下、音声認識を例
に説明する。
【００１１】先ずＨＭＭを用いた音声認識装置について
説明する。図４は、ＨＭＭを用いた音声認識装置のブロ
ック図である。３０１は特徴抽出部であって、入力音声
信号をフィルタバンク、フーリエ変換、ＬＰＣ分析等の
周知の方法により、一定時間間隔（フレームと呼ぶ）例
えば 10msec 毎に特徴ベクトルに変換する。従って、入
力音声信号は特徴ベクトルの系列 Y=y(1),y(2),…，y
(T) に変換される。y(t)は時点ｔにおける特徴ベクト
ル、T は前記系列のフレーム数である。３０２はパラメ
ータ推定部であって、訓練データから認識語彙たる各単
語に対応するＨＭＭを作成するものである。即ち、単語
ｖに対応するＨＭＭを作るには、先ず、ＨＭＭの構造
（状態数やそれら状態の間に許される遷移構造）を適当
に定め、然る後、単語ｖを多数回発声して得られた特徴
ベクトル系列から、それら特徴ベクトル系列の発生確率
(密度)が出来るだけ高くなるように、前記モデルにおけ
る状態遷移確率や状態の遷移に伴って発生する特徴ベク
トルの発生確率(密度)を求めるものである。３０３はＨ
ＭＭ記憶部であって、このようにして得られたＨＭＭを
各単語毎に記憶するものである。３０４は尤度計算部で
あって、認識すべき未知入力音声の特徴ベクトル系列に
対し、前記ＨＭＭ記憶部３０３に記憶されているそれぞ
れのモデルのその特徴ベクトル系列に対する尤度を計算
するものである。３０５は比較判定部であって尤度計算
部３０４で得られた前記それぞれのモデルに対する尤度
の最大値を与えるモデルに対応する単語を認識結果とし
て判定するものである。
【００１２】ＨＭＭによる認識は次のようにして行われ
る。即ち、未知入力に対して得られた特徴ベクトル系列
を Y= y(1),y(2),…,y(T)、モデルλv により発生され
るＴの長さの任意の状態系列を X = x(1),x(2),…,x(T)
とするとき、λvから特徴ベクトル系列 Y の発生する確
率密度は 〔厳密解〕
【００１３】
【数１２】
【００１４】〔近似解〕
【００１５】
【数１３】
【００１６】または、対数をとって
【００１７】
【数１４】
【００１８】で与えられる。ここで、P{Y,X|λv} は、
モデルλv における X,Y の同時確率密度である。
【００１９】従って、例えば、（数１２）を用いれば
【００２０】
【数１５】
【００２１】とするとき、v∧ が認識結果となる。
（数１３）（数１４）を用いるときも同様である。
【００２２】P{Y,X|λ} は（数１２）の場合は、次のよ
うにして求められる。いま、ＨＭＭ λ の状態ｊ(j=1〜
J)に対して、状態ｊ毎に、特徴ベクトルyの発生確率密
度 bj(y) と状態ｉから状態ｊ への遷移確率 aij が与
えられているとき、状態系列 X = x(1),x(2),…,x(T+1)
と特徴ベクトル系列 Y=y(1),y(2),…,y(T)のＨＭＭ λ
から発生する同時確率は
【００２３】
【数１６】
【００２４】と定義出来る。ここでax(0)x(1)は状態 x
(1) の初期確率である。また、x(T+1)=J+1は最終状態
で、フレームＴの入力後遷移して終了する状態であっ
て、如何なるベクトルも発生しない。
【００２５】この例では入力の特徴ベクトルy(t)をその
まま用いる場合を説明したが、特徴ベクトルy(t)をベク
トル量子化によってラベルに変換する方法もある。即
ち、この場合は、各状態ｊにおいてbj(y(t))の代わりに
ラベルo(t)の状態ｊにおける発生確率bj(o(t))を用いる
ことになる。
【００２６】次に、以上に述べたＮＮにＨＭＭを導入し
た、本願発明による新しいモデルについて具体例を挙げ
て説明する。ＮＮは入力パターンをパターン変換するの
に用いられる。如何なるパターンに変換するかは種々考
えられるが、時間的動的特徴を反映させるためには、複
数フレームを同時に入力して適当なパターンに変換する
のが良いと考えられる。即ち、ＮＮの入力ユニットに
は、時刻ｔにおいてy(t-c1),y(t-c2),・・・,y(t-cM) （cm
≠0）が入力され、ＮＮにおけるＨＭＭの状態ｊに対応
する径路を通過することによってパターン変換器から出
力される値をgj(t)とするとき、このgj(t)を用いて入力
パターンＹに対する本モデルの尤度を定義するものであ
る。
【００２７】その１つの方法として本例ではパターン変
換器を予測器として構成する場合について説明する。即
ち、ＮＮの入力ユニットには、時刻ｔにおいてy(t-c1),
y(t-c2),・・・,y(t-cM) （cmは零でない整数で、c1＞c2＞
・・・＞cMで、cm＞0のときは前向き予測、cm＜0のときは
後向き予測と呼ばれる）が入力され、ＮＮにおけるＨＭ
Ｍの状態ｊに対応する径路を通過することによってパタ
ーン変換器から出力される値gj(t)を状態ｊにおけるy
(t)の予測値であるとする。このようにすることによっ
て、次のような利点が招来される。
【００２８】時刻ｔ、ＨＭＭの状態ｊにおける観測ベク
トルy(t)の確率密度を正規分布とすれば、通常のＨＭＭ
においては
【００２９】
【数１７】
【００３０】のように表される。ここで、μj,Σjはそ
れぞれＨＭＭの状態ｊにおける平均ベクトル、および分
散共分散行列である。通常のＨＭＭにおいては、μjは
ｔに関わらず一定で、状態ｊの自己ループにおいてy(t)
の出現順序は考慮されない（y(t)の出現順序は尤度に反
映されない）。これが通常のＨＭＭが時系列信号の過渡
的変化特性の記述能力に乏しいと言われる所以である。
【００３１】本例では、このμjを状態ｊに対応したy
(t)の予測値gj(t)に置き換え、μj=μj(t)=gj(t)とする
ものである。ＮＮを予測器とすることによって各状態に
対応する音声区間の特徴量の変化傾向が前記予測器の構
成に反映されるので、従来のＨＭＭのもつ前記欠点が除
去できる。ＮＮの重み係数の学習は、教師信号をy(t)と
することによって実行出来る。
【００３２】状態ｊに対応して本ＮＮから出力されるy
(t)の予測値を
【００３３】
【数１８】
【００３４】と表す。ここでhj(t)は、一般に、hj(t)=h
(y(t-c1),…,y(t-cM);wj)と表される関数である。wjは
それを規定するパラメータ集合で、wjはＨＭＭの状態ｊ
（ＮＮの経路ｊ）に対応する径路群ｊに含まれる重み係
数集合である。
【００３５】この μj(t)を前記平均ベクトルμjと置き
換えることによって、y(t)の前後のベクトルの出現状況
に応じてその平均ベクトルが可変となり、前記通常のＨ
ＭＭの持つ欠点を排除することが可能となる。状態ｊに
おける予測誤差ベクトルをej(t)とすれば、（数１７）
に相当する式は
【００３６】
【数１９】
【００３７】となる。μ0j は状態ｊ毎に定まるベクト
ルで状態ｊに留まっている間は不変であって、wjに含ま
せることも可能であるが、ここでは、wjと分離して取り
扱うこととする。 図５(a)は本発明によるＮＮの一例
である。本例においてはy(t-2)とy(t-1)からy(t)を予測
することとし、ＨＭＭのループをもった状態数Ｊを３
（最終状態を含まず）、ＮＮの層数を３、第１層と第２
層の間の重み係数はＨＭＭの最終状態を除いた全状態で
共有し、第２層と第３層の間の重み係数は状態毎に固有
のものであるとする場合である。(b),(c),(d)は、ＮＮ
(a)に対し、それぞれＨＭＭの状態１、状態２、状態３
に対応している場合で、太線で示した径路が各々の状態
に対応して選択されている様子を表したものである。本
例では、出力ユニットが状態に対応する場合を示してい
るが、図６のように入力ユニットが状態に対応するよう
にもできるし、図７のように４層以上の場合は中間層が
状態に対応するようにも構成できる(長方形で囲んだユ
ニット群を通る径路が各々の状態に対応している)。こ
こで注意すべきは、図５、図６は各状態で共有される重
み係数が存在するが、図８(a)(b)(c)(d)等は各状態に対
応する径路は状態に関して共有する重み係数はなく全く
独立であり、同図(e)と等価になるということである。
同図(e)は状態毎に別々のＮＮを定義することに等し
い。音声現象は、区間毎に完全に分離したものではない
から、状態が変われば完全に予測器を切り替えるのでは
なく、状態間である程度共有部分をもたせる方がより現
実に即していると考えられる。
【００３８】図１(f),(l),(m),(n)は本発明のＮＮの他
の実施例であって、３層で、ＨＭＭのループを有する状
態数が５の場合を示している。本図では、表記の簡単の
ために、各層のユニット群は長方形で示し、ＨＭＭの各
状態に対応する径路群は斜線や網点で区別して示してい
る。
【００３９】(f),(n)は第２層と第３層の間の重み係数
も相隣る状態間で共有する場合、(l)，(m)は第２層と第
３層の間の重み係数は状態間で独立な場合である。ま
た、(f),(l)は第１層と第２層の間の重み係数を相隣る
状態間で半分づつ共有する構造で、両端の状態を除いて
は第１層と第２層の間の重み係数は必ず２つの状態で共
有される場合で、(m),(n)は第１層と第２層の間の重み
係数が相隣る状態間で共有する部分と独立な部分を有す
る場合である。
【００４０】図９は４層の他の実施例を示している。４
層のモデルの場合は、１層目と２層目、２層目と３層目
の間は状態毎に共有していて、２層目と３層目の間の重
み係数は状態毎に分離しているとか、その逆に１層目と
２層目、２層目と３層目の間は状態毎に分離していて、
２層目と３層目の間の重み係数は状態間で共有している
場合等、この場合は更に多くの径路の設定法が考えられ
る。図７、図９はその例である。さらに、ある状態同士
は共有する重み係数はあるが、他の状態同士では全く独
立していると言うようにも構成できることは勿論であ
る。
【００４１】以上のように、本発明は、ＨＭＭを組み込
むことによって階層型ニューラルネットワークによる時
系列信号処理を可能としたものであると言える。従っ
て、以後、このモデルを、ヒト゛ゥン マルコフ ト゛リフ゛ン ニューラル ネッ
トワーク モテ゛ル (Hidden Markov driven Neural Network mod
el) 略してＨＭＮＮと呼ぶことにする。
【００４２】ＨＭＭの一般的問題は、 １）観測時系列パターン{y(t)}に対するＨＭＭ λの尤
度を求めること ２）カテゴリｖに対応するＨＭＭのパラメータλvを多
数の標本（訓練）パターンから推定すること ３）ＨＭＭ λの観測時系列パターン{y(t)}に対応する
最適な状態系列を求めること がある。単語音声認識の場合は、１）は、認識方法に関
係し、各単語毎に定義されているＨＭＭの何れが観測
（入力）ベクトル系列{y(t)}を発生させる可能性が高い
かを求める問題、２）は認識に先立って各単語毎にそれ
に対応するモデルを作成する問題、３）は入力音声を音
韻毎に区切る場合やViterbiアルゴリズムを用いてモデ
ルを作成する際に生ずる問題である。
【００４３】そこで、本発明を実現する上での問題は、
前述の構造を持つ本発明になるＨＭＮＮに対して、上記
諸問題を解く方法を与えることが必要となる。
【００４４】図１０は本発明の原理を説明する原理図で
ある。同図を用いて上記問題の解決法を説明する。ｎ単
語の認識の場合は本図のようなモデルが各単語に対応し
てｎ種類あると言うことになる。ある単語に対して本モ
デルを特徴付けるパラメータの集合をλとすれば、λ =
（A，{μ0j}，{Σj}，w）である。ただし、A=[aij]は第
ｉ行第ｊ列の要素をaijとする遷移マトリクス、{μ0j},
{Σj},wは、それぞれ{μj0}={μ01,…,μ0J}、{Σj}=
{Σ1,…,ΣJ}、w はＨＭＮＮの重み係数集合とし、wiを
状態ｉに対応する径路群に含まれる重み係数集合とする
とき、i≠jのとき、wiとwjには一般に共通の元が存在す
る可能性がある。
【００４５】 ９０１は予測器で、観測ベクトル系列{y
(t)}における特徴ベクトルy(t)に対して、その周辺のベ
クトルy(t-c1),…,y(t-cm),…,y(t-cM)が入力され、y
(t)のＪ種類の予測値がＮＮのＪ通りの信号径路に従っ
て出力され、信号径路ｊを通った場合の予測値μj(t)=g
j(t)=μj0+hj(t)が予測器から出力される。y(t)の次元
をｄとすれば、ニューラルネットの出力もｄ次元で、各
々の成分を一つ一つの出力端子に割り当てることになる
から、前記各々の状態に対応する出力端子群の端子数は
ｄ個である。
【００４６】ただし、後に述べるように、状態によって
異なった出力ユニット群が割り当てられる場合と、出力
ユニット群が全てあるいは一部の状態に対して共通に割
り当てられる場合がある。後者の場合も図面の上では、
状態毎に分離した形で描いてある。予測器ｊに得られる
予測値は、観測特徴ベクトル系列の第ｊ部分区間の特徴
ベクトル系列に対する予測の結果得られるものである。
【００４７】９０２は格子グラフであって横軸は入力フ
レーム番号、縦軸は予測回路網の各径路群に対応付けら
れており、本格子グラフの格子点(t,j)によって入力フレ
ームｔとＮＮの信号径路群ｊとの対応付けが表現され
る。
【００４８】９０３はマルコフ連鎖であって、各状態は
前記予測回路網のそれぞれの信号径路群に対応してい
る。
【００４９】先ず、上記１）の問題を解くと言うことを
本図を用いて説明すると次のようになる。
【００５０】問題は、格子点(t,j)におけるy(t)とμ
j(t)との予測誤差ベクトル ej(t)の確からしさをbj(y
(t))とするとき、マルコフ連鎖９０３で規定される遷移
条件で入力フレームと予測回路網出力端子との対応関係
を定め、この対応によってマルコフ連鎖９０３の遷移確
率から計算される格子グラフ上の径路の発生確率P{X|
λ}と、格子点に対して計算される前記bj(y(t))から計
算されるその径路に沿う観測ベクトル系列の発生確率密
度P{Y|X,λ}から、本モデルλから観測系列 {y(t)}の生
ずる確からしさp(λ)=P{X|λ}P{Y|X,λ}を計算すること
である。式で書けば（数２０）のようになる。ただし、
x(T+1)=J+1であって、状態Ｊ＋１はいわゆる吸収状態
で、他の状態から遷移はするが他の状態に遷移はせず、
ベクトルは観測されないとする。また、t=1で状態ｊに
ある確率をπjとするとき、一般には、ax (0)x(1)=π
x(1)であるが、本例では、x(1)=1が必ず成立するとし、
ax(0)x(1)=1、ax(0)x( j)=0 (j≠1のとき)であるとす
る。
【００５１】
【数２０】
【００５２】ここで、マルコフ連鎖９０３に対応する径
路の制限条件は図１０の格子グラフ上に太線で示したも
のとなる。即ち、状態ｊの１つ前（１フレーム前）に取
り得る状態は、この場合はj,j-1,j-2の何れかであるか
ら、格子グラフ上では格子点(t,j)を通る径路で、(t,j)
の１つ前の格子点は(t-1,j),(t-1,j-1),(t-1,j-2)の何
れかである。
【００５３】（数２０）は、厳密解を与えるものである
が、近似解として次式（数２１）が用いられ得る。
【００５４】
【数２１】
【００５５】（数２０）はいわゆるForwardあるいはBac
kwardアルゴリズムによって計算することが出来る。次
にこれを説明する。先ず、Forwardアルゴリズムによる
場合は次のようになる。
【００５６】
【数２２】
【００５７】とすれば、
【００５８】
【数２３】
【００５９】となる。本例の場合は
【００６０】
【数２４】
【００６１】である。従って、
【００６２】
【数２５】
【００６３】を初期値としてt=2,…,T，j=1,…,Jについ
て（数２４）を漸化的に計算することによって
【００６４】
【数２６】
【００６５】として求められる。Backwardアルゴリズム
による場合は次のようになる。
【００６６】
【数２７】
【００６７】とすれば、
【００６８】
【数２８】
【００６９】本例の場合は
【００７０】
【数２９】
【００７１】である。従って、
【００７２】
【数３０】
【００７３】を初期値として t=T-1,…,1，j=J,…,1 に
ついて（数２９）を漸化的に計算することによって
【００７４】
【数３１】
【００７５】として求められる。αj(t)とβi(t)には次
の関係がある。
【００７６】
【数３２】
【００７７】次に（数２１）に基づく近似解を求める。
この場合は動的計画法によって効率的に計算する、いわ
ゆるViterbi アルゴリズムが適用できる。対数をとって
積を和の形にして計算するのが普通であるので以下では
そのようにする場合について説明する。
【００７８】（数２１）において両辺の対数をとれば次
式が得られる。
【００７９】
【数３３】
【００８０】いま、
【００８１】
【数３４】
【００８２】とおけば、次の漸化式が成り立つ。
【００８３】
【数３５】
【００８４】特に、本例の場合は
【００８５】
【数３６】
【００８６】となる。但し、初期値は
【００８７】
【数３７】
【００８８】であって、漸化式（数３６）をt=2,…,T，
j=1,…,J+1について順次計算することによって次式が得
られる。
【００８９】
【数３８】
【００９０】以上の原理に基づいて単語認識を行う場合
の実施例は図１１のようになる。ＨＭＮＮ記憶部１００
３は図４のＨＭＭ記憶部３０３に、尤度計算部１００４
は図４の尤度計算部３０４に対応し、ＨＭＮＮ記憶部１
００３におけるＨＭＮＮｖは、単語ｖに対応するＨＭＮ
Ｎを記憶し、尤度計算部１００４は尤度を前記（数２
６）、（数３１）、（数３８）の何れかで定義すると
き、各々に対して（数２４）、（数２９）、（数３６）
を計算するものである。１１０１、１００２、１００５
は図４における３０１、３０２、３０５と同様の動作を
する。
【００９１】単語ｖに対応するＨＭＮＮを学習する方法
について述べる（前記ＨＭＭの一般的問題の２））。
【００９２】問題は、単語ｖについて準備されたr=1〜R
の訓練パターンに対して尤度関数（確率密度）P{Y(1),Y
(2),…,Y(R)|λ}を最大にするパラメータλを推定する
ことである。以後、第ｒの訓練パターンに関係する量は
必要に応じて右肩に(r)を付して表記することとする。
【００９３】Y(r)がｒに関して互いに独立であるとすれ
ば
【００９４】
【数３９】
【００９５】が成立する。ここで、次の補助関数Q(λ,
λ')を定義する。
【００９６】
【数４０】
【００９７】このとき、次のことが言える。「Q(λ,
λ')≧Q(λ,λ)が成立すれば、P{Y(1),…,Y(R)|λ'}≧P
{Y(1),…,Y(R)|λ}であって、等号はλ'=λの時に成り
立つ。」故に、
【００９８】
【数４１】
【００９９】を求めることが出来れば、λ"→λとして
（数４１）を繰り返し適用することにより、λはP
{Y(1),…,Y(R)|λ}の停留点、即ち、P{Y(1),…,Y(R)|
λ} の極大値または鞍点を与える点に収束し、P{Y(1),
…,Y(R)|λ} の改善率が予め定めた閾値以下になるまで
この操作を繰り返すことにより局所最適解が得られる。
【０１００】次にその具体的方法を説明する。（数４
０）を変形すれば、次式が得られる。
【０１０１】
【数４２】
【０１０２】前述の説明に従えば、Q(λ,λ')をλ'の関
数と見なしてQ(λ,λ')＞Q(λ,λ)なるλ'を見出せば、
それはλの更新されたものとなるが、P{Y(1),…,Y(R)|
λ}はλ'に関しては一定値となり、Q(λ,λ')＞Q(λ,
λ)となるλ'を探索する場合、これは定数であるから省
略し、ここでは改めて
【０１０３】
【数４３】
【０１０４】とおくことにする。ただし、C(r)=1/P{Y
(r)|λ}とおいている。図１２はパラメータ推定の第
１、第２の実施例を説明する図である。図１３、図１４
はその処理手順の詳細を示す図である。以下、これら図
面に従って説明する。
【０１０５】パラメータの推定は多数の訓練パターンか
ら反復計算を行うことによって実行される。図１２はそ
の一実施例である。
【０１０６】特徴抽出部１１０１は図４における特徴抽
出部３０１と同一のものである。訓練パターン記憶部１
１０２はＨＭＮＮのパラメータを推定するＲ種類の訓練
パターンを記憶する部分である。
【０１０７】部分尤度算出部１１０３は以後のステップ
におけるパラメータの推定値を算出するために用いる諸
量を計算する部分である。
【０１０８】パラメータ記憶部１１０４は前記反復計算
の都度更新されたパラメータを記憶する部分である。
【０１０９】遷移確率推定部１１０５は遷移確率aijの
再推定値をi=1,…,J，j=1,…,J+1について計算する部分
である。
【０１１０】確率分布パラメータ推定部１１０６は予測
誤差ベクトルej(t)の確率分布の形を規定するパラメー
タμ0j,Σjの再推定値をi=1,…,J，j=1,…,J+1について
算出する部分である。
【０１１１】重み係数推定部１１０７は本発明モデルを
構成するＮＮの重み係数wの再推定値を計算する部分で
ある。
【０１１２】前記遷移確率aijの再推定値は、他のパラ
メータμ0j',Σj',w'とは独立して計算できる。
【０１１３】μ0j,Σjの再推定値はw'を固定すれば、μ
0j,Σjに関する推定式を連立させて求めることが出来
る。
【０１１４】wの再推定値はμ0j',Σj'を固定し、階層
型ＮＮの重み係数を推定する方法として知られているい
わゆるバックプロパゲーション法の適用によっ計算でき
る。このバックプロパゲーション法には２通りの方法が
ある（第１、第２の実施例として後述）。
【０１１５】μ0j,Σj,wの再推定値はμ0j',Σj',w'に
関する連立方程式を解くことによって得られるものであ
るが、解析的にこれを行うのは困難であるから、前記の
ごとくμ0j,Σjの推定とwの推定を、一方を固定して、
予め定めた収束条件が満足されるまで交互に行うもので
ある。
【０１１６】以上のようにして得られた再推定値は、次
の反復計算に備えてパラメータ記憶部１１０４に記憶さ
れる。
【０１１７】以上の各パラメータの再推定値の計算が予
め定めた収束条件が満足されるまで繰り返され、最終的
な推定値がパラメータ記憶部１１０４に記憶されること
になる。前記収束条件としては、部分尤度算出部１１０
３におけるα(r) J+1(T(r)+1)から L(λ)=Σr {log α
(r) J+1(T(r)+1)} を算出し、前記反復計算の都度L(λ)
の改善比率を計算し、これが予め定めた閾値以下になっ
た時点で収束したと判定する等が可能である。
【０１１８】図１３、図１４は図１２のシステムの処理
手順を説明する図である。本実施例をソフトウェアで実
現する場合はこの手順によることが出来る。
【０１１９】図１３は第１の実施例である。ステップ１
２０１はパラメータλを初期化する部分である。
【０１２０】ステップ１２０２は目的関数値を初期化す
る部分である。ステップ１２０３において、
【０１２１】
【数４４】
【０１２２】であって、同ステップ以降のステップのパ
ラメータの逐次近似の各反復計算において、前記目的関
数の改善率を閾値ε1と比較し、この改善率がε1以下に
なれば収束したとしてその時の値をパラメータλの推定
値とし、この改善率がε1以上の時はこの反復計算を続
行するという制御をする部分である。
【０１２３】ステップ１２０４は次の反復計算における
ステップ１２０３での評価に備えてL1をL(λ)に書き換
えるステップである。
【０１２４】ステップ１２０５は遷移確率行列A を推定
する部分である（推定値A∧）。ステップ１２０６は逐
次近似によりλ'からＡを除いたパラメータを推定する
反復計算に際して初期化する部分である。即ち、Aの再
推定式にはζ'=[{μ0j'},{Σj'},w']は含まれないか
ら、A の再推定はステップ１２０５で単独に可能である
のに対し、{μ0j'},{Σj'},w'は互いに再推定式に含ま
れるのでその解は連立方程式を解くことになるが、解析
的には求められないからこの計算も逐次的に求めるもの
である。
【０１２５】ステップ１２０７はζ'に関して、同ステ
ップ以降のステップの前記パラメータの逐次近似の各反
復計算において、目的関数Q(λ,λ')の改善率を閾値ε2
と比較し、この改善率がε2 以下になれば収束したとし
てその時の値をパラメータζ'の推定値とし、この改善
率がε2 以上の時はこの反復計算を続行するという制御
をする部分である。
【０１２６】ステップ１２０８は次の反復計算における
ステップ１２０７での評価に備えてL2をQ(λ,λ')に書
き換えるステップである。
【０１２７】ステップ１２０９は {μ0j'},{Σj'}の再
推定値を求める部分であって、同ステップにおける{μ
0j'}{Σj'}に関する連立方程式を解くことによって得ら
れる。 ステップ１２１０はステップ１２０９で得られ
た解をλ'における {μj0'},{Σj'}として書き換える部
分である。
【０１２８】ステップ１２１１〜１２１４はＮＮの重み
係数を推定するいわゆるバックプロパゲーションと呼ば
れる方法を実行している部分である。
【０１２９】ステップ１２１１はw'に関して、同ステッ
プ以降のステップの前記パラメータの逐次近似の各反復
計算において、目的関数Q(λ,λ') の改善率を閾値ε3
と比較し、この改善率がε3以下になれば収束したとし
てその時の値をパラメータwの推定値とし、この改善率
がε3 以上の時はこの反復計算を続行するという制御を
する部分である。
【０１３０】ステップ１２１２は次の反復計算における
ステップ１２１１での評価に備えてL3をQ(λ,λ') に書
き換えるステップである。
【０１３１】ステップ１２１３はQ(λ,λ')をw'の関数
とみなして、Q(λ,λ')をw'に関して増加させるΔw'を
求める部分である。
【０１３２】ステップ１２１４は w'をw'+Δw'に更新す
る部分である。ステップ１２１５はλ全体を通しての各
反復においてλ=[A∧,{μ0j'},{Σj'},w']とするもので
ある。このλを用いてステップ１２０３の評価結果に応
じて更に反復を繰り返すか否かを決定する。改善率がε
1以下になるとその時のλが最後の推定値とされる。
【０１３３】図１４は第２の実施例である。図１３のス
テップ１２１２〜１２１４に対する別解であって、図１
３においては、モデル作成のための訓練パターンをすべ
て提示する毎に重み係数の修正を１回行うものである
が、図１４においては、訓練パターンを１つ提示する毎
に重み係数の修正を１回行うものである。従って図１３
の場合は、重み係数の修正は必ず Q(λ,λ')を増加させ
る方向に行われるが、図１４の場合は必ずしもそうはな
らず、確率的に最終的には Q(λ,λ')を増加させる方向
に修正されることになる。この場合は、
【０１３４】
【数４５】
【０１３５】とおけば、パラメータの推定の手順は次の
ようになる。ここで、前記Q(λ,λ')とQ(r)(λ,λ')は
次の関係がある。
【０１３６】
【数４６】
【０１３７】ステップ１２１６はステップ１２１２と同
様な目的で同様な操作を行う部分である。
【０１３８】ステップ１２１７は学習すべきパタンを順
次提示するよう制御する部分である。
【０１３９】ステップ１２１８はQ(r)(λ,λ')を w'の
関数とみなして、Q(r)(λ,λ')を w'に関して増加させ
るΔw'を求める部分である。
【０１４０】ステップ１２１９はw'を更新する部分であ
る。ステップ１２２０は、r=1,・・・,Rについて反復計算
をさらに繰り返すべきか否かをステップ１２１１にて判
定するために、Q(λ,λ')をQ(R)(λ,λ')とみなす部分
である。
【０１４１】次に以上の各ステップにおいて具体的に行
うべき計算方法を説明する。（数４３）は次のようにな
る。
【０１４２】
【数４７】
【０１４３】ここで
【０１４４】
【数４８】
【０１４５】
【数４９】
【０１４６】とおけば、次式が成り立つ。
【０１４７】
【数５０】
【０１４８】
【数５１】
【０１４９】ただし、
【０１５０】
【数５２】
【０１５１】である。遷移確率aijの推定 （数５０）から（数５３）が得られる。
【０１５２】
【数５３】
【０１５３】ラグランジュの未定乗数法により、（数５
３）を用いて
【０１５４】
【数５４】
【０１５５】より、
【０１５６】
【数５５】
【０１５７】であるから、両辺にaij'を掛けて、j=1〜J
+1について総和を取れば、
【０１５８】
【数５６】
【０１５９】となる。故にaijの再推定値は
【０１６０】
【数５７】
【０１６１】となる。ξ(r) ij(t)=P{Y,x(r)(t-1)=i,x
(r)(t)=j|λ}は前記α、βを用いて次のようにして求め
られる。
【０１６２】
【数５８】
【０１６３】従って、α，βとしてパラメータλに適当
な初期値を与え、t=2〜T(r)、j=1〜Jについて（数２
３）に従ってα(r) j(t)を、t=T(r)-1〜1、i=J〜1につい
て（数２８）に従ってβ(r) i(t)をそれぞれ漸化的に順
次計算して行けば、（数５８）が計算できる。bj(y)のパラメータの推定 bj(y)は従来のＨＭＭにおいては特徴ベクトルyの状態ｊ
における確率密度として定義されるのが普通であった。
【０１６４】本発明は、入力音声信号の時刻ｔにおける
特徴ベクトルy(t)に対する予測値を各状態に対応したユ
ニット群に出力するネットワークを備えたことを特徴と
するＨＭＭであって、状態ｊに対応するユニット群の出
力には、予測値μj(t)を得、その予測誤差ej(t)=y(t)-
μj(t)の確率密度をbj(y(t))とするもので、このとき
（数５１）から
【０１６５】
【数５９】
【０１６６】を解くことになる。例えば、y(t-c1),y(t-
c2),…,y(t-cM) (ckは零でない整数)からy(t)を予測す
るものとし、この予測誤差が正規分布で与えられ、y(t)
の次元をｄとすれば、
【０１６７】
【数６０】
【０１６８】即ち、
【０１６９】
【数６１】
【０１７０】から、次のようにして再推定式が導かれ
る。 （ａ）μj0の推定 （数６１）より
【０１７１】
【数６２】
【０１７２】に注意すれば、∂Q(λ,λ')／∂μj0'= 0
よりμj0の再推定式は
【０１７３】
【数６３】
【０１７４】（ｂ）分散共分散行列Σjの推定 同様に∂Q(λ,λ')／∂Σj'= 0 よりΣjの再推定式は
【０１７５】
【数６４】
【０１７６】（Ｃ）重み係数wの推定 ステップ１２１１〜１２１４を用いる場合は次のように
なる。
【０１７７】状態毎に予測器が独立している場合は、状
態ｊにおける重み係数集合をwjとするとき、状態ｊにお
ける重み係数の再推定値は、ｊ毎にQ(λ,λ')を最大化
するw j'として誤差逆伝播法で計算すれば良かった。こ
れは、Q(λ,λ') を目的関数とする非線形計画問題であ
って、何回目かの反復計算における重み係数をwj'とす
るとき、何等かの方法によって修正量Δwj'を決定し、w
j'= wj'+Δwj'を求めるという操作を繰り返すことによ
り、求むべき再推定値wj -を得る。
【０１７８】Δwj'の算出に当たっては、非線形計画問
題の分野で開発されている様々な方法を用いることが出
来るが、最も単純には
【０１７９】
【数６５】
【０１８０】とすることが出来る。ここにεは適当に選
ばれた小さな正数である。ＨＭＮＮは、予測器は状態毎
に独立ではなく、状態間で共有される重み係数が存在す
る。従って、状態毎にΔwj'を個別に求めるのではな
く、推定すべき重み係数の属する径路群全てに渡って同
時に計算される。
【０１８１】先ず、次なる諸量を定義する。 wu-1 mn：第u-1層の第mユニットから、第u層の第nユニッ
トまでの径路に沿う重み係数。 i(r) j u n(t)：観測系列Y(r)において、径路群ｊが選ばれ
たときの、時点ｔにおける第u層の第ｎユニットへの入
力。 o(r) j u m(t)：観測系列Y(r)において、径路群ｊが選ばれ
たときの、時点ｔにおける第u層の第ｍユニットからの
出力。 z(r) j u n(t)：z(r) j u n(t)= ∂h(r) j(t)/∂i(r) j u n(t)
（ｄ次元ベクトル） Su mn：重み係数wu mnを共有する径路群の集合。 q(r) j u m(t)：q(r) j u m(t) = ∂o(r) j u m(t)/∂i
(r) j u m(t)。
【０１８２】各ユニットの入出力特性をf(θ)=2/{1+exp
(-θ)}-1とすれば、
【０１８３】
【数６６】
【０１８４】である。このとき、（数６５）に相当する
式は、要素毎に書けば、
【０１８５】
【数６７】
【０１８６】となる。ｊ∈Su-1 mnとすれば、
【０１８７】
【数６８】
【０１８８】であって、
【０１８９】
【数６９】
【０１９０】であるから、(数７３)を(数７２)に代入し
て次式を得る。
【０１９１】
【数７０】
【０１９２】また、z(r) j u n(t)について（数７２）（数
７４）（数７５）が成立する。ただし、最終層をUとす
る。 u≠U の場合：
【０１９３】
【数７１】
【０１９４】から
【０１９５】
【数７２】
【０１９６】u=U の場合：図１(l)(m)のように、出力ユ
ニットを各状態で共有しているときは、状態ｊに対応す
る出力ユニット群の出力はh(r) j(t)であるから、h
(r) j(t)*=(h(r) j1(t)，・・・，h(r) jd(t))とおけば、
【０１９７】
【数７３】
【０１９８】である。故に
【０１９９】
【数７４】
【０２００】である。同図(f)(n)のようにh(r) j(t)を出
力するユニット群が状態毎に分離しているときは、
【０２０１】
【数７５】
【０２０２】となる。以上のことから、前記ニューラル
ネットワークの構造に従って（数７４）または（数７
５）を先ず計算し、（数７２）（数７０）（数６７）を
u=U,U-1,・・・,1について、m,nのあらゆる組合せに関して
順次計算すれば、Δw'が得られる。
【０２０３】以上はフォワート゛・ハ゛ックワート゛(Forward-Backwar
d)法による推定であったが、訓練データが大量にある場
合はViterbi法によってより簡単にパラメータの推定が
出来る。図１５はヒ゛ターヒ゛(Viterbi)法によるパラメータ
推定の実施例である。この場合もバックプロパゲーショ
ン法には２通りの方法がある（第３、第４の実施例とし
て後述）。
【０２０４】これは、モデルλの、Y(r)に対して最大の
尤度を与える状態系列をX(r)∧とするとき、
【０２０５】
【数７６】
【０２０６】とおき、L(λ)を最大化するパラメータλ
を求めるものである。（数７６）は次のように書ける。
【０２０７】
【数７７】
【０２０８】そこで
【０２０９】
【数７８】
【０２１０】とおけば、
【０２１１】
【数７９】
【０２１２】
【数８０】
【０２１３】ここで、n(r) ijは径路X(r)∧が状態i,jを
通過する回数である。図１５はこの場合のパラメータ推
定の実施例である。
【０２１４】特徴抽出部１３０１、訓練パターン記憶部
１３０２はそれぞれ図１２の特徴抽出部１１０１、訓練
パターン記憶部１１０２と全く同様である。
【０２１５】セグメンテーション・尤度算出部１３０３
はパラメータ記憶部１３０４に記憶されているパラメー
タを基にして、（数３６）の漸化式を計算し、（数３
８）により訓練パターン記憶部１４０２に記憶されてい
るr=1,…,Rのそれぞれについて第ｒの訓練パターンY(r)
に対するlog p(r)(λ)を計算すると共に、このlog p(r)
(λ)を与える最適径路、即ち、各状態に対応する入力フ
レームを求める部分である。
【０２１６】パラメータ記憶部１３０４は前記反復計算
の都度更新されたパラメータを記憶する部分である。
【０２１７】遷移回数算出部１３０５は、r=1,…,Rの訓
練パターンｒに対して、i=1,…,J，j=1,…,J+1について
状態ｉからｊに遷移する回数n(r) ij、状態ｊに対応する
フレーム数n(r) jを算出する部分である。これはセグメ
ンテーション及び尤度算出部１３０３における結果から
算出される。
【０２１８】遷移確率推定部１３０６は遷移回数算出部
１３０３の結果から遷移確率aij (i=1,…,J, j=1,…,J+
1)を求める部分である。
【０２１９】確率分布パラメータ推定部１３０７は予測
誤差ベクトルej(t)の確率分布の形を規定するパラメー
タμj0,Σjの再推定値をi=1,…,J，j=1,…,J+1について
算出する部分であって、セグメンテーション・尤度算出
部１３０３において得られる各状態に対応する特徴ベク
トルと、遷移回数算出部１３０５で得られるn(r) jを用
いてこれらのパラメータを算出する部分である。
【０２２０】重み係数推定部１３０８は、本発明モデル
を構成するＮＮの重み係数wの再推定値を計算する部分
であって、セグメンテーション及び尤度算出部１３０３
において得られる各状態に対応する特徴ベクトルと、遷
移回数算出部１３０５で得られるn(r) jを用いてこれら
の重み係数を算出する部分である。
【０２２１】この場合も前記フォワート゛・ハ゛ックワート゛(Forward-
Backward)法による場合と同様に次のことが言える。
【０２２２】前記遷移確率aijの再推定値は、他のパラ
メータμ0j',Σj',w'とは独立して計算できる。
【０２２３】μ0j,Σjの再推定値はw'を固定すれば、μ
0j,Σjに関する推定式を連立させて求めることが出来
る。
【０２２４】wの再推定値はμj0',Σj'を固定し、階層
型ＮＮの重み係数を推定する方法として知られているい
わゆるバックプロパゲーション法によって計算できる。
このバックプロパゲーション法には２通りの方法がある
（後述）。
【０２２５】本当ならば、μj0,Σj,wの再推定値は
μj0',Σj',w'に関する連立方程式を解くことによって
得られるものであるが、解析的にこれを行うのが困難で
あるから、前記のごとくμj0,Σjの推定とwの推定を、
一方を固定して、予め定めた収束条件が満足されるまで
交互に行う。
【０２２６】以上のようにして得られた再推定値は、次
の反復計算に備えてパラメータ記憶部１３０４に記憶さ
れる。
【０２２７】以上の各パラメータの再推定値の計算が予
め定めた収束条件が満足されるまで繰り返され、最終的
な推定値がパラメータ記憶部１３０４に記憶されること
になる。前記収束条件としては、セグメンテーション・
尤度算出部１３０３におけるφ(r) J+1(T(r)+1)から L
(λ)=Σrφ(r) J+1(T(r)+1)を算出し、前記反復計算の都
度L(λ)の改善比率を計算し、これが予め定めた閾値以
下になった時点で収束したと判定する等が可能である。
【０２２８】パラメータ推定のステップの詳細は図１
６、図１７のようになる。フォワート゛・ハ゛ックワート゛(Forward-Ba
ckward)法の場合と同様にこの場合も重み係数の推定法
には２通りある。従って、それぞれをViterbi法に組み
込んだものを、第３の実施例として図１６、第４の実施
例として図１７に示す。本例をソフトウェア的に実現す
る場合もこの手順にし従えばよい。
【０２２９】図１６、図１７においては、図１３におけ
るQ(λ,λ')をL(λ)とおいたものになっている。
【０２３０】図１６を用いる場合は次のようになる。遷移確率aijの再推定 Lagrangeの未定乗数法を用いる。
【０２３１】
【数８１】
【０２３２】両辺にaijを掛けてjについて総和を取れ
ば、
【０２３３】
【数８２】
【０２３４】となる。ここに、n(r) iは径路X(r)∧が状
態iを通過する回数であって
【０２３５】
【数８３】
【０２３６】である。（数８２）を（数８１）に代入し
て整理すれば、aijの再推定値aij∧が次のように求めら
れる。
【０２３７】
【数８４】
【０２３８】bj(y)のパラメータの推定（数８０）から
【０２３９】
【数８５】
【０２４０】が得られる。 （ａ）μj0の推定 （数６１）を参照して
【０２４１】
【数８６】
【０２４２】であるから、μj0の推定値μj0∧は次のよ
うになる。
【０２４３】
【数８７】
【０２４４】（ｂ）Σjの推定 同様に（数６１）を参照して∂Lb(λ)／∂Σj = 0から
Σjの推定値Σj∧は次のように与えられる。
【０２４５】
【数８８】
【０２４６】（ｃ）重み係数wの推定 前記Baum-Welch法のQ(λ,λ')を L(λ)に変更すること
によって同様に推定式が得られる。Baum-Welch法におけ
る（数６７）に相当する式は次のようになる。
【０２４７】
【数８９】
【０２４８】上記説明では、フォワート゛・ハ゛ックワート゛(Foward-B
ackward)法においてもヒ゛ターヒ゛(Viterbi)法においても、
ＮＮを構成する各ユニットの入出力特性は、入力層は線
形、隠れ層および出力層は非線形であるとしたが、出力
層を線形にすることも勿論可能である。このときは、z
(r) j u n(t)は、u＝U のときは、図１(l)(m)のように出力
ユニットを各状態で共有しているときは、（数７４）に
相当する式は（数７５）においてq(r) j U n(t)=1としたも
のになる。また、同図(f)(n)のようにh(r) j(t)を出力す
るユニット群が状態毎に分離しているときは、（数７
５）においてqj U (j-1)d+k=1としたものになる。全ての
ユニットの入出力特性を線形にすることも可能である。
このときは、u=Uのときは上記と同じであり、u≠Uのと
きは、qj u n(t)=1として全く同様の手続きにより、計算
できる。
【０２４９】次に、前記ＨＭＭの問題３の解法について
述べる。これは、前記ヒ゛ターヒ゛(Viterbi)法において述べ
たセグメンテーションを行う場合に必要とされるもので
ある。 （数３５）の漸化式を計算する際に、B1(1)=0
とおいて（数３５）を満足するｉをi∧とするとき、B
j(t)=Bi∧(t-1)，Sj(t)=i∧ という操作を平行して行
えば、求められた最適の径路に沿って、各々の状態の最
終フレームを入力パターンの最終フレームＴから逆順に
求められる。即ち、状態Ｊの一つ前の状態はi∧=S
J(T)、 その状態の最終フレームはt∧=BJ(T)、状態Ｊの
二つ前の状態はi∧=Si∧(t)、その状態の最終フレーム
はt∧=Bi∧(t)，・・・・・という操作をBi∧(t)=0になるま
で行えば、状態系列と各状態の最終フレームが入力パタ
ーンの最終フレームＴから逆順に求められる。従って、
状態ｊの最終フレームがtjであるとき、その開始フレー
ムはBj(tj)+1であって、状態ｊに対応するフレーム数は
nij=tj-Bj(tj)となる。また、状態ｊに対応する入力特
徴ベクトルは、y(Bj(tj)+1)〜y(tj)ということになる。
このような処理によって、前記ヒ゛ターヒ゛(Viterbi)法によ
ってパラメータを推定する場合に用いられるn(r) i, n
(r) ij, δ(x(r)∧(t),j)が求められる。
【０２５０】以上のモデルは、ＮＮ内部の信号径路をＨ
ＭＭの状態に対応させたが、これを簡略化することによ
り従来のＤＰマッチングと同様な枠組みで定式化するこ
とが出来る。次にこれを説明する。
【０２５１】前記ＨＭＭにおいて、時点t1からt2までの
任意の状態系列の発生確率をすべて等しくなるようにす
る。これは図１０に示すようなモデルを用いる場合は、
例えば遷移確率をaij=1/3 (ただし、j=i,i+1,i+2)とす
れば（数９０）が成立し、
【０２５２】
【数９０】
【０２５３】時点t1からt2までの任意の状態系列の発生
確率はすべて等しくなる。ここで、前記Viterbiアルゴ
リズムを適用すれば、前記（数３４）は（数９１）のよ
うになる。
【０２５４】
【数９１】
【０２５５】故に（数９２）が成立するから、
【０２５６】
【数９２】
【０２５７】（数９３）とおき、
【０２５８】
【数９３】
【０２５９】漸化式（数９４）
【０２６０】
【数９４】
【０２６１】を（数９５）を初期値として計算し、
【０２６２】
【数９５】
【０２６３】（数９６）を尤度とする。
【０２６４】
【数９６】
【０２６５】即ち、T log (1/3) は入力パターンのフレ
ーム数のみに関連する量であるから、入力パターンＹに
対する各モデルの尤度を比較するときは、全モデルに共
通の量であるので省略することが出来、結局、（数９
４）の漸化式を計算し、（数９６）を尤度としたもので
ある。
【０２６６】本例の場合のパラメータの推定方法は、前
記ＨＭＭと同じ考え方で実行できる。即ち、前記ＨＭＭ
の場合の遷移確率はこれを無視し、前記ＨＭＭの場合と
同様にbj(y(t))のパラメータを、この場合は{μ0j}，w
についてフォワート゛・ハ゛ックワート゛(Forward-Backward)あるいはヒ
゛ターヒ゛(Viterbi)法を用いればよい。
【０２６７】図１８はフォワート゛・ハ゛ックワート゛(Forward-Backwa
rd)によるパラメータ推定の実施例である。図１２にお
ける遷移確率推定部１１０５を省略したものとなる。前
記したように尤度の表現式が異なることを除けば、１５
０１〜１５０４、１５０６、１５０７は１１０１〜１１
０４、１１０６、１１０７とそれぞれ同様な動作をする
ものである。
【０２６８】図１９はViterbi法によるパラメータ推定
の実施例である。図１５における遷移確率推定部１３０
６を省略したものとなる。前記したように尤度の表現式
が異なることを除けば、１６０１〜１６０５、１６０
７、１６０８は１３０１〜１３０５、１３０７、１３０
８とそれぞれ同じものである。
【０２６９】ここで、さらに、bj(y(t))の分散共分散行
列を単位行列とすれば、（数９１）は（数９７）のよう
になり、（数９２）は（数９８）のようになる。
【０２７０】
【数９７】
【０２７１】
【数９８】
【０２７２】符号を変えることにより最大化問題を最小
化問題にすることにより、（数９９）とおき、
【０２７３】
【数９９】
【０２７４】漸化式（数１００）を（数１０１）を初期
値として計算し、（数１０２）を非尤度とする。
【０２７５】
【数１００】
【０２７６】
【数１０１】
【０２７７】
【数１０２】
【０２７８】この場合はp(λ)が小さいほど尤度が高い
と言うことになる。図２０はForward-Backwardによるこ
の場合のパラメータ推定の一実施例を示す図である。こ
の場合は図１８において確率分布パラメータ推定部１５
０６をさらに省略したものとなる。前記したように尤度
の表現式が異なることを除けば、１７０１〜１７０４、
１７０７は１５０１〜１５０４、１５０７と同様な動作
をするものである。ただし、前記説明から明らかなよう
に図１８部分尤度算出部１５０３は部分非尤度算出部１
７０３となり、重み係数推定部１７０７における重み係
数推定のための目的関数はこの非尤度であって、これを
最小化することになる。 図２１はViterbi法によるこ
の場合のパラメータ推定の実施例である。図１９におけ
る遷移回数推定部１６０５、確率分布パラメータ推定部
１６０７を省略したものとなる。前記したように尤度の
表現式が異なることを除けば、１８０１〜１８０４、１
８０８は１６０１〜１６０４、１６０８とそれぞれ同様
な動作をするものである。ただし、セグメンテーション
・尤度算出部１６０３をセグメンテーション・非尤度算
出部１８０３に変更する必要がある。また、重み係数算
出部１８０８における重み係数推定のための目的関数は
この非尤度であって、これを最小化することになる点に
ついては、図２０の場合と同様である。
【０２７９】図１８〜図２１何れにおいても、重み係数
の推定は、前記２通りの方法がある。
【０２８０】さらに、ここの実施例で述べたものは、Ｎ
Ｎは予測器を構成する場合を述べたが、パターン変換と
して例えば「迫江，磯，“ダイナミックニューラルネッ
トワークの検討"，電子情報通信学会技術研究報告，SP8
7-102(1987年12月)」にＤＮＮとして記載のＮＮにも本
願発明と全く同様に、ＨＭＭの状態に入力層から出力層
に至る径路を状態に対応させたモデルとして実現するこ
とは勿論可能である。
【０２８１】
【発明の効果】以上のように、本発明によれば、ニュー
ラルネットワークにおける信号の伝播径路をＨＭＭの状
態に対応させることによって、"静的"なパターンに対し
て高い識別能力を持つニューラルネットワークを音声の
ような"動的"な時系列パターンにも適用出来るようにな
った。
【図面の簡単な説明】
【図１】本発明によるニューラルネットワークの一実施
例を例示する構成図
【図２】階層型ニューラルネットワークの構成図
【図３】ニューラルネットワークのユニットの非線形特
性の説明図
【図４】ＨＭＭによる音声認識装置の従来例のブロック
図
【図５】本発明によるニューラルネットワークの一実施
例を例示する構成図
【図６】本発明によるニューラルネットワークの他の実
施例を例示する構成図
【図７】本発明によるニューラルネットワークの更に他
の実施例を例示する構成図
【図８】本発明によるニューラルネットワークの更に他
の実施例を例示する構成図
【図９】本発明によるニューラルネットワークの更に他
の実施例を例示する構成図
【図１０】本発明の原理を説明する原理図
【図１１】本発明の原理に基づく音声認識装置の１実施
例を示すブロック図
【図１２】本発明によるモデルのパラメータを推定する
第１の実施例を示すブロック図
【図１３】第１の実施例の処理手順を示すＰＡＤ図
【図１４】第１の実施例の処理手順を示すＰＡＤ図
【図１５】本発明によるモデルのパラメータを推定する
第２の実施例を示すブロック図
【図１６】第２の実施例の処理手順を示すＰＡＤ図
【図１７】第２の実施例の処理手順を示すＰＡＤ図
【図１８】本発明によるモデルのパラメータを推定する
第３の実施例を示すブロック図
【図１９】本発明によるモデルのパラメータを推定する
第４の実施例を示すブロック図
【図２０】本発明によるモデルのパラメータを推定する
第５の実施例を示すブロック図
【図２１】本発明によるモデルのパラメータを推定する
第６の実施例を示すブロック図
フロントページの続き (56)参考文献 特許2964507（ＪＰ，Ｂ２) 電子情報通信学会技術研究報告［音声 ］Ｖｏｌ．91 Ｎｏ．95 ＳＰ91−14 「時系列処理機能をもつ階層型ニューラ ルネットワーク」ｐ．63−70（1991／６ ／20発行) 電子情報通信学会技術研究報告［音声 ］Ｖｏｌ．89 Ｎｏ．340 ＳＰ89−83 「ニューラルネット駆動型ＨＭＭ」ｐ. 55−62（1989／12／14) 日本音響学会平成２年度秋季研究発表 会講演論文集 １−８−22「ニューラル ネット予測型ＨＭＭによる音声認識」 ｐ．43−44（平成２年９月19日発表) 電子情報通信学会技術研究報告［音声 ］Ｖｏｌ．89 Ｎｏ．90 ＳＰ89−23 「ニューラルネットワークによる予測モ デルを用いた音声認識」ｐ．81−87 （1989／６／22) (58)調査した分野(Int.Cl.7，ＤＢ名) G10L 3/00 539 G10L 3/00 533 G10L 3/00 535 G10L 9/10 301 G06F 15/18 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (11)

    (57)【特許請求の範囲】
  1. 【請求項１】 １つ以上の入出力を有する複数のユニッ
    トが相互に結合され、各々の結合にはそこを流れる信号
    に対して重み付けを行うその結合固有の荷重係数が定義
    され、入力の特徴ベクトル系列{y(t)}に含まれる幾つか
    のベクトルの各々の成分が入力される入力ユニット群
    と、該入力ユニット群に入力された前記ベクトルが前記
    ユニット及び結合を通過することにより変換され、該変
    換されたベクトルを出力する出力ユニット群と、前記入
    力ユニット群から前記出力ユニット群に至る径路の少な
    くともの１つを重複させて所定数の径路群に分け、それ
    ぞれの径路群を状態遷移網の状態または状態遷移に対応
    させたニューラルネットワークを含むことを特徴とする
    信号解析装置。
  2. 【請求項２】 ニューラルネットワークの径路群ｊ(=1,
    2,...J）による出力値はy(t)の前記径路群ｊにおける予
    測値そのものあるいは予測値に関連した値であることを
    特徴とする請求項１記載の信号解析装置。
  3. 【請求項３】 観測特徴ベクトル系列Y={y(t)}に対し、
    請求項２記載のニューラルネットワークの径路群ｊに基
    づく予測誤差ベクトルe j (t)の確率分布を規定するパラ
    メータを記憶する確率分布パラメータ記憶手段と、状態
    系列をX={x(t)}とし、E(X)={e x(t) (t)}とするとき、前
    記確率分布パラメータ記憶手段に記憶されているパラメ
    ータを用いて計算される各状態あるいは各状態遷移毎の
    確率密度から前記観測系列Yに対するモデルλの尤度を
    （数１）として計算する尤度計算手段を備えたことを特
    徴とする信号解析装置。 【数１】
  4. 【請求項４】 入力特徴ベクトル系列Y={y(t)}に対し、
    請求項２記載のニューラルネットワークの径路群ｊに基
    づく予測誤差ベクトルe j (t)の確率分布を規定するパラ
    メータを記憶する確率分布パラメータ記憶手段と、状態
    系列をX={x(t)}とし、E(X)={e x(t) (t)}とするとき、前
    記確率分布パラメータ記憶手段に記憶されているパラメ
    ータを用いて計算される各状態あるいは各状態遷移毎の
    確率密度から前記観測系列Yに対するモデルλの尤度を
    （数２）あるいは（数３）として計算する尤度計算手段
    を備えたことを特徴とする時系列信号解析装置。 【数２】 【数３】
  5. 【請求項５】 識別カテゴリC 1 ,C 2 ,…,C m のそれぞれに
    対応して請求項３または４記載のモデルを設け、カテゴ
    リC m に対応する前記モデルのパラメータの集合をλ m と
    するとき、観測パターンＹに対して（数４）を計算し、
    C m∧ を識別結果とする時系列信号解析装置。 【数４】
  6. 【請求項６】 カテゴリＣに属する観測パターンY (1) ,Y
    (2) ,…,Y (R) (ただし、Y (r) ={y (r) (t)}）に対し、請求
    項３または４におけるYに対するE(X)と同様に、Y (r) に
    対するE (r) (X (r) ）を定義するとき、（数５）を最大化
    するパラメータλを算出するパラメータ推定手段を備え
    たことを特徴とする時系列信号解析装置。 【数５】
  7. 【請求項７】 カテゴリＣに属する観測パターンY (1) ,Y
    (2) ,…,Y (R) (ただし、Ｙ (r) ={y (r) (t)}）に対し、カテ
    ゴリＣのパラメータの逐次推定において、逐次推定のあ
    る段階における回路網のパラメータの集合をwとすると
    き、第ｒの訓練パターンに対する請求項６で定義された
    E (r) (X (r) )に対し、（数６）を計算する尤度計算手段
    と、該尤度を増大せしむべきwの修正量Δwを算出するパ
    ラメータ修正量算出手段を含み、w+Δwを新たなwとして
    書換え、該wに関して観測パターンY (r+1) に関する尤度
    を前記尤度計算手段によって算出する、と言う操作をw
    の適当な初期値から始め、r=1,…,R,1,…,R,…について
    予め定めた条件を満たすまで繰り返すことによってカテ
    ゴリＣのパラメータを推定するパラメータ推定手段を備
    えたことを特徴とする時系列信号解析装置。 【数６】
  8. 【請求項８】 カテゴリＣに属する観測パターンY (1) ,Y
    (2) ,…,Y (R) (ただし、Y (r) ={y (r) (t)}）に対し、カテ
    ゴリＣのパラメータの逐次推定において、ある時点にお
    ける回路網のパラメータの集合をwとするとき、第ｒの
    訓練パターンに対する請求項６で定義されたE (r) (X (r) )
    に対し、（数８）または（数９）を算出する尤度計算手
    段と、該尤度を増大せしむべきwの修正量Δwを算出する
    パラメータ修正量算出手段を含み、w+Δwを新たなwとし
    て書換え、該wに関して観測パターンY (r+1) に関する尤
    度を前記尤度算出手段によって算出する、と言う操作を
    wの適当な初期値から始め、r=1,…,R,1,…,R,…につい
    て予め定めた条件を満たすまで繰り返すことによってカ
    テゴリＣのパラメータを推定するパラメータ推定手段を
    備えたことを特徴とする時系列信号解析装置。 【数８】 【数９】
  9. 【請求項９】 カテゴリＣに属する観測パターンY (1) ,Y
    (2) ,…,Y (R) (ただし、Y (r) ={y (r) (t)}）に対し、請求
    項３または４におけるYに対するE(X)と同様に、Y (r) に
    対するE (r) (X (r) )を定義するとき、（数１０）または
    （数１１）を最大化するパラメータλを算定するパラメ
    ータ推定手段を備えたことを特徴とする時系列信号解析
    装置。 【数１０】 【数１１】
  10. 【請求項１０】 請求項２記載のモデルに特徴ベクトル
    系列Ｙを入力し、該特徴ベクトル系列Ｙに対する前記予
    測モデルに基づく予測誤差電力の累積値の最小値を動的
    計画法によって求める動的計画手段を備えたことを特徴
    とする時系列信号解析装置。
  11. 【請求項１１】 請求項２記載のモデルによって、特徴
    ベクトルの系列からなるカテゴリＣに対する訓練パター
    ンY (1) ,Y (2) ,…,Y (R) のそれぞれに対する予測誤差電力
    の累積値を請求項８記載の手段によって算出する累積予
    測誤差電力算出手段と、該累積予測誤差電力算出手段に
    よって累積予測誤差電力を算出する過程で得られる、予
    測ベクトルを出力する出力ユニット群に対応する前記そ
    れぞれの訓練パターンを構成する個々の特徴ベクトルを
    用いて前記出力ユニット群につながる径路の重み係数の
    推定を行う重み係数推定手段を含むことを特徴とする時
    系列信号解析装置。
JP3147440A 1991-06-19 1991-06-19 信号解析装置 Expired - Fee Related JP3003276B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP3147440A JP3003276B2 (ja) 1991-06-19 1991-06-19 信号解析装置
US08/213,480 US5381513A (en) 1991-06-19 1994-03-16 Time series signal analyzer including neural network having path groups corresponding to states of Markov chains

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3147440A JP3003276B2 (ja) 1991-06-19 1991-06-19 信号解析装置

Publications (2)

Publication Number Publication Date
JPH04369700A JPH04369700A (ja) 1992-12-22
JP3003276B2 true JP3003276B2 (ja) 2000-01-24

Family

ID=15430388

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3147440A Expired - Fee Related JP3003276B2 (ja) 1991-06-19 1991-06-19 信号解析装置

Country Status (2)

Country Link
US (1) US5381513A (ja)
JP (1) JP3003276B2 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2081519C (en) * 1992-10-27 2000-09-05 The University Of Toronto Parametric control device
US5581658A (en) * 1993-12-14 1996-12-03 Infobase Systems, Inc. Adaptive system for broadcast program identification and reporting
CA2135857A1 (en) * 1994-01-03 1995-07-04 Shay-Ping Thomas Wang Neural network utilizing logarithmic function and method of using same
US5548684A (en) * 1994-04-22 1996-08-20 Georgia Tech Research Corporation Artificial neural network viterbi decoding system and method
US5774846A (en) 1994-12-19 1998-06-30 Matsushita Electric Industrial Co., Ltd. Speech coding apparatus, linear prediction coefficient analyzing apparatus and noise reducing apparatus
JPH08227410A (ja) * 1994-12-22 1996-09-03 Just Syst Corp ニューラルネットワークの学習方法、ニューラルネットワークおよびニューラルネットワークを利用した音声認識装置
US7076102B2 (en) * 2001-09-27 2006-07-11 Koninklijke Philips Electronics N.V. Video monitoring system employing hierarchical hidden markov model (HMM) event learning and classification
JPH0981183A (ja) * 1995-09-14 1997-03-28 Pioneer Electron Corp 音声モデルの作成方法およびこれを用いた音声認識装置
US6446038B1 (en) * 1996-04-01 2002-09-03 Qwest Communications International, Inc. Method and system for objectively evaluating speech
KR100434522B1 (ko) * 1997-04-29 2004-07-16 삼성전자주식회사 시간축 상호관계를 이용한 음성인식 방법
US5963906A (en) * 1997-05-20 1999-10-05 At & T Corp Speech recognition training
JP3050180B2 (ja) * 1997-08-08 2000-06-12 日本電気株式会社 音声認識装置
US6131089A (en) * 1998-05-04 2000-10-10 Motorola, Inc. Pattern classifier with training system and methods of operation therefor
US6263326B1 (en) 1998-05-13 2001-07-17 International Business Machines Corporation Method product ‘apparatus for modulations’
US6157899A (en) * 1998-10-21 2000-12-05 Bethlehem Steel Corporation Prediction of responses to different powdering tests on a galvanneal-coated steel substrate or different tests on other substrates, using computer-based systems and methods
US6385607B1 (en) * 1999-03-26 2002-05-07 International Business Machines Corporation Generating regression trees with oblique hyperplanes
US7149689B2 (en) * 2003-01-30 2006-12-12 Hewlett-Packard Development Company, Lp. Two-engine speech recognition
JP2005141601A (ja) * 2003-11-10 2005-06-02 Nec Corp モデル選択計算装置，動的モデル選択装置，動的モデル選択方法およびプログラム
US8224017B2 (en) * 2006-01-13 2012-07-17 New Jersey Institute Of Technology Method for identifying marked content
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9336774B1 (en) * 2012-04-20 2016-05-10 Google Inc. Pattern recognizing engine
US11049005B2 (en) * 2017-03-22 2021-06-29 At&T Intellectual Property I, L.P. Methods, devices and systems for managing network video traffic
CN115130617B (zh) * 2022-07-27 2024-02-27 西安交通大学 一种自适应卫星数据模式不断增长的检测方法
CN120729775B (zh) * 2025-09-04 2025-10-31 中国电子科技集团公司第三十研究所 路由路径的规划方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2964507B2 (ja) 1989-12-12 1999-10-18 松下電器産業株式会社 Ｈｍｍ装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4885757A (en) * 1987-06-01 1989-12-05 Texas Instruments Incorporated Digital adaptive receiver employing maximum-likelihood sequence estimation with neural networks
US5228087A (en) * 1989-04-12 1993-07-13 Smiths Industries Public Limited Company Speech recognition apparatus and methods

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2964507B2 (ja) 1989-12-12 1999-10-18 松下電器産業株式会社 Ｈｍｍ装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
日本音響学会平成２年度秋季研究発表会講演論文集 １−８−２２「ニューラルネット予測型ＨＭＭによる音声認識」ｐ．４３−４４（平成２年９月１９日発表）
電子情報通信学会技術研究報告［音声］Ｖｏｌ．８９ Ｎｏ．３４０ ＳＰ８９−８３「ニューラルネット駆動型ＨＭＭ」ｐ．５５−６２（１９８９／１２／１４）
電子情報通信学会技術研究報告［音声］Ｖｏｌ．８９ Ｎｏ．９０ ＳＰ８９−２３「ニューラルネットワークによる予測モデルを用いた音声認識」ｐ．８１−８７（１９８９／６／２２）
電子情報通信学会技術研究報告［音声］Ｖｏｌ．９１ Ｎｏ．９５ ＳＰ９１−１４「時系列処理機能をもつ階層型ニューラルネットワーク」ｐ．６３−７０（１９９１／６／２０発行）

Also Published As

Publication number Publication date
US5381513A (en) 1995-01-10
JPH04369700A (ja) 1992-12-22

Similar Documents

Publication Publication Date Title
JP3003276B2 (ja) 信号解析装置
JP2964507B2 (ja) Ｈｍｍ装置
JP2795058B2 (ja) 時系列信号処理装置
EP0705473B1 (en) Speech recognition method using a two-pass search
US10325200B2 (en) Discriminative pretraining of deep neural networks
CN107615308B (zh) 循环神经网络的学习方法及用于该学习方法的计算机程序、和声音识别装置
EP0342630B1 (en) Speech recognition with speaker adaptation by learning
JPH10254483A (ja) 音素シンボルの事後確率演算装置及び音声認識装置
Franco et al. Context-dependent connectionist probability estimation in a hybrid hidden Markov model-neural net speech recognition system
US5956676A (en) Pattern adapting apparatus using minimum description length criterion in pattern recognition processing and speech recognition system
JP2751856B2 (ja) 木構造を用いたパターン適応化方式
Zhao et al. Multidimensional Residual Learning Based on Recurrent Neural Networks for Acoustic Modeling.
EP0553101B1 (en) A pattern recognition device using an artificial neural network for context dependent modelling
JPH06208392A (ja) パターン認識方法および装置
Hochberg et al. Connectionist model combination for large vocabulary speech recognition
JP2600871B2 (ja) Ｈｍｍ作成装置及びそれを用いた尤度計算装置、時系列パターン認識装置
JP2996925B2 (ja) 音素境界検出装置及び音声認識装置
Huang et al. Training rnn-t with ctc loss in automatic speech recognition
Konig et al. Supervised and unsupervised clustering of the speaker space for connectionist speech recognition
KR100229438B1 (ko) 계층적 피드백 구조를 갖는 음성인식시스템
Jou et al. Mandarin syllables recognition based on one class one net neural network with modified selective update algorithm
Djuraev et al. An In-Depth Analysis of Automatic Speech Recognition System
JPH0854893A (ja) 帰属度算出装置およびｈｍｍ装置
JPH05241593A (ja) 時系列信号処理装置
JP2836968B2 (ja) 信号解析装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees