JPH01204171A - 学習機構を有するダイナミック・ニューラル・ネットワーク - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は音声等の時系列パターンの認識に用いるパター
ン学習機構を有するダイナミック・ニューラル・ネット
ワークに関する。

（従来の技術） ニューラル・ネ・ソトワークは生体の脳神経系が比較的
単純な動作特性を有する神経細胞とその間の多数の結合
から構成されている情報処理システムであることを黍考
にして考案された情報処理モデルで、神経細胞に相当す
る処理ユニット（以下ユニットと略す）とその間を結ぶ
ユニット間結合を有する。このユニット間結合の係数を
変えることによってシステムはさまざまな情報処理動作
を行なう。

このニューラル・ネットワーク・モデルは情報処理シス
テムとして特に画像や音声等のパターン認識処理に有効
であろうと期待されており、その詳細に関しては「日経
エレクトロニクス」誌、第４２７号の第１１５頁（昭和
６２年８月１０日発行）［ニューラル・ネットをパター
ン認識、信号処理、知識処理に使う」に解説されている
。（以下、文献１と称する。） 上記文献１によるとニューラル・ネットワークは第２図
に示したように、入力層、中間層、出力層と呼ばれる階
層構造を有しており、各層は複数のユニットから構成さ
れている。またユニット間結合は隣接する層の間にだけ
許され、層内でのユニット間結合は禁止されている。認
識時にはネッワークは入力層の各ユニットの活性度とし
て入力データを与えられ、ユニット間結合を通じて順次
隣接する中間層へ情報を伝達し、最後に出力層にまで到
達する。こうして入力データに対するネットワークの応
答結果が出力層のユニットの活性度のパターンとして得
られる。

ネットワークが指定した動作を行なうようにユニット間
結合を定める為には教師付き学習と呼ばれる手法を用い
る。即ち、入力層に学習させたいパターンを提示し、出
力層には対応して出力すべき教師信号を提示して、出力
層での教師信号と実際の出力値との差異を小さくするよ
うに結合係数を決定する。上記のような構成のニューラ
ル・ネットワークの場合には、この出力誤差最小化学習
はパックプロパゲーション学習と呼ばれており、その詳
細なアルゴリズムに関しては文献１に詳しい。

（発明が解決しようとする問題点） このようなニューラル・ネットワークを音声認識に用い
ることができれば、音声パターンの有する多様性を学習
によって吸収して、良好な認識性能を実現できる可能性
があるが、実際に上記のニューラル・ネットワークを音
声認識に用いる為には、いくつかの解決しなければなら
ない問題が存在する。

第一に音声は同じカテゴリ（例えば単語）のパターンで
も発声の度に、或は話者毎にその継続時間長が異なるの
で、長さの異なる音声パターンを同じニューラル・ネ・
ソトワークの入力層に提示する為の工夫が必要となる。

第二に長さの異なる音声パターンをニューラル・ネット
ワークの入力に提示できたときに、ネットワークが期待
する認識動作を行なうようにユニット間結合を定める学
習方法を確立しなければならない。

本発明は固定時間長の特徴パラメータ時系列を入力でき
る入力層を持つニューラル・ネットワークに長さの異な
る音声パターンを提示する為に認識時は出力層の出力が
最大になるように入力層の時間軸と入力音声時系列との
対応付けを行い、ユニット間結合係数を定める学習時に
は提示するパターンを時間軸の線形伸縮によって固定継
続時間長に正規化してネットワークに提示して出力層で
の誤差を最小にする教師付きの学習機構を有するダイナ
ミック・ニューラル・ネットワークを提供しようとする
ものである。

（問題点を解決するための手段） 本発明は音声等の時系列パターンを認識するニューラル
・ネットワークで、入力・出力層と複数の中間層から構
成される階層構造を有し、更に入力層と中間層が時間軸
に対応する時系列的構造を有し、認識時には動的計画法
によって入力時系列パターンの時間軸をニューラル・ネ
ットワークの出力が最大になるように入力層の持つ時間
軸と対応付けを行い、その時の出力層の出力を認識結果
とするダイナミック・ニューラル・ネットワークに於て
、その各階層間のユニット間結合係数を学習するに際し
て、学習用時系列パターンの時間軸を入力層の時間長と
同じ一定の継続時間長に線形伸縮によって正規化して入
力層に提示し、出力層には対応して出力すべき教師信号
を提示して、出力層での教師信号と実際の出力値の差異
を小さくするように結合係数を決定する教師付き学習を
行なう機構を有することを特徴とする。

（作用） 本発明の詳細な説明を簡単のなめに中間層を１層にした
３層構造のモデルを用いて行なう。中間層が２層以上の
場合にも同様に適用できることは言うまでもない。

モデルの入力層はＰ次元の特徴ベクトルの時系列（長さ
Ｊ）を受は取ることができるようにＪ×Ｐ個のユニツか
ら構成されている。この入カニニットの出力値をｙ（し
Ｊ（Ｐ）　（ｊ・１〜Ｊ、　ｐ・１〜Ｐ）とする。一般
には入力層の時間軸の長さＪと認識時に入力される入力
時系列パターンａＩ（ｐ）（ｉ＝ｌ〜Ｉ、ｐ・ｌ〜Ｐ〉
の長さ■は異なるので、入力時系列の時間軸になんらか
の伸縮変換を施して長さＪに揃えなければならない。入
力層の時間軸ｊと入力時系列パターンの時間軸ｉで構成
される平面（ｉ、ｊ）上での対応関係を次式で表わす。

ｃ（ｋ）　　；　（ｉ（ｋ＞、　　ｊ（ｋ））　　、　
　（ｋ−１〜Ｋ）　　　　　−１ｌｌ但し、 ｃ（１）　　＝　（１，１）、　　ｃ（ｋ）　　＝　＜
１．Ｊ）ｉ（ｋ）≧　１（ｋ−１）、　　ｊ（ｋ）≧ｊ
（ｋ−１＞　　　　　　　　　　・・・（２１この関係
を用いて入力ユニ・ソトの出力値ｙ（１１、。＋（ｐ）
　　（ｊ＝ｌ〜Ｊ、　　ｐ＝ｌ〜Ｐ）はｙ”’ｊｔｋ＋
（ｐ）　　：　ａｚｋ＋（ｐ＞　　　　　　　　　　　
　　　　・・・（３）と表わされる。即ち、入カニニッ
トは時間軸を整合して入力されたデータをそのまま次の
層へ伝達することになる。

中間層はＪ　Ｘ　Ｍ個のユニット（隠れユニットと呼ぶ
）から構成され、各ユニットへの入力値Ｘ　”Ｊ（１）
　　（Ｊ・１〜Ｊ、　ｍ・１〜Ｍ）は入カニニットの出
力値ｙ”’ｊ（ｐ）と入カニニットと隠れユニットの間
の結合係数βＯｔ（ｍ、ｐ＞、　　β’ｊ（ｍ、ｐ）を
用いて次式のように与えられる。

ｘ　　　　Ｊ（ｍ＞＝Σ　くβ　ｊ（■・Ｐ）Ｖ　　　
　　ｊ＋ｈ＋（ｐ戸β　ｊｐ＝１ （ｍ、ｐ）ｙ”’ｊ＋に−＋＋（ｐ））ａｌ（ｋ−レ（
ｐ））　　　　　　　　　　・・・（４）このようにｊ
＜ｋ）番目の隠れユニットは入力層の１（ｋ）番目と１
（ｋ−１）番目のユニットがらだけ情報を受は取るよう
にユニット間結合を制限したニューラル・ネットワーク
の構造を時系列構造と呼ぶことにする。このようなネッ
トワークの構造は音声パターン等のようにデータ自体が
時系列的な構造を持っている場合には、完全結合（すべ
ての入力ユニ・ソトとすべての隠れユニットを結ぶ）に
比べて少ないユニット間結合でモデルが構成できるので
、認識・学習時の計算量を大幅に削減することができる
。（４）式で与えられる入力に対する隠れユニットの応
答は次のようになる。

”！　”’Ｊ（１）”ｆ　（ｘ　”’、＋（ｍ）−θ”
’Ｊ（１））　　　　−（５１ｆ　（ｘ）　　・１／　
＜　１　＋ｅ−Ｘ）　　　　　　　　−１６１ここでθ
ｆ２Ｚ（１）は隠れユニット（ｊ、ｍ＞が持つ閾値であ
る。式６から明らかなように隠れユニットは一種の閾値
論理の働きをしている。

出力層は認識対象となるＮ個のカテゴリに対応するＮ個
のユニットから構成されている９層番目の出カニニット
への入力１ａ　ｘ　”（ｎ）（ｎ＝ｌ〜Ｎ）は隠れユニ
ットの出力値ｙｆ２１．（■）と隠れユニットと出カニ
ニットの間の結合係数α”（ｊ、ｍ）を用いて次式のよ
うに与えられる。

ｘ　”（ｎ）□　　Ｉ’　　　ｆ’ａ　”（ｊ（ｋ）、
ｍ）　　ｙ　　”Ｊ＋に＋（１）＝ｌ’７７に＝Ｉ　　
　ｍ＝１ 出カニニットの入出力の応答間係は式２と同じである。

ｙ　　（３）（ｎ）＝　　ｆ　（ｘ　　（３１（ｎ）−
θ　（３’　（ｎ　）　）　　　　　　　　　−・・（
８１ここでθ（３１（ｎ）は出カニニットｎの持つ閾値
である。

こうして得られるネットワークの出力値ｙ（３）（ｎ）
は式１で与えられている入力時系列の時間軸と入カニニ
ット層の時間軸の対応関係（Ｃ（ｋン）に依存している
。最終的なカテゴリｎのネットワークによる認識結果は
（ｃ　（ｋ）’ｔに関して最適化されたく最大化された
）出力値ｏ８として得られる。

ｏｎ”　？ｃ’：Ｌ７＋（３）（ｎ）］−（９１ここで
８）式は単調関数なので（９）式は普τＬ、ｘ、”（ｎ
）１ ・、５ａｘ、ｌ、　　；”−１ｚでｙ　　”（ｊ（ｋ＞
、ｍ）ｆ　　（β　’ｉ＜ｍ）ａｚｋ＋１β　’　ｊ（
ｍ）ａｚ　ｋ−ｘ＋）　　　）　　］　　　　　　　　
　　　　　　　　　−（１０）と置き換えても同じであ
る。ここでｆＯの中の特徴ベクトルの成分ｐに関する和
は省略した。

（１０〉式の（）の中の式を ７　（ｃ（ｋ）、　ｃ（ｋ−１＞）＝　Ｉ−ｆ　　　　
　　　　−（１１）と定義すると、（１０）式は となり、この最適化は良く知られた動的計画法を用いて
解くことができることが分かる。即ち、γ（ｃ（ｋ＞、
ｃ（ｋ−１））の累積和をＫ（ｋ）として、次の漸化式
を計算してｏ、、・ｇ（ｋ＞を求めればよい。

ｇ（ｋ）＝　ｍａｘ［７（ｃ＜ｋ＞、ｃ（ｋ−１））”
ｇ（ｋ−１）］　　　　＝ｉ１３）ｆｋ−１１ 次にニューラル・ネットワーク・モデルのパラメータで
あるユニット間結合係数（β０Ｊ（１，Ｐ）。

β１Ｊ（１，Ｐ）、αｕ　（Ｊ、鳳）と閾値（θ（２１
，（論）、θ（３）（ｎ））を決定する学習法について
説明する。

カテゴリｎの学習に用いる特徴ベクトルの時系列の組を
Ａ（′＋９・　（ａ　”ｑ、　＋（ｐ）　）とする。こ
こでｑは同じカテゴリ内の複数の時系列パターンを区別
する添字、ｉは時系列の時間軸を表わす添字、ｐは各時
刻での特徴ベクトルの成分を表わす添字である。各添字
の範囲は ｎ：１〜Ｎ、ｑ：１〜Ｑｎ、ｉ：１〜Ｉｑ、ｐ；ｌ〜Ｐ
・・・（１４）ネットワークにこのデータＡ（ｎ　１．
を提示する為には時系列の長さＩ　１１をネ・ソワーク
の入力層の時間軸の長さＪに正規化しなければならない
。学習時にはモデルのパラメータが最適化されていない
ので、認識時のように動的計画法を用いることは難しい
。

そこで学習の為にはカテゴリｎのデータの集合Ａ（ｆｉ
’ｑ（ｑ・１〜Ｑ″）の中から代表となる時系列パター
ンＡ＋０１ｑｏを選び出し、それ以外のデータＡ（ｆｉ
）ｑ（ｑ≠ｑｏ＞の時間軸を線形伸縮によって前記代表
パターンの時間軸に対応付ける。その方法を以下に示す
。代表パターンＡ（Ｏ’ＱＯの時間軸をｊ（ｊ・１〜Ｊ
）、時間軸の対応付け（正規化）を行ないたいデータＡ
　（ｆｌ’ｑ　（ｑ　＃　ｑ　Ｏ）の時間軸をｉ（ｉ・
１〜Ｉ）とする。このとき２つのパターンの時間軸の線
形伸縮による対応付けｉ＝ｉりｊ）はｉ　＝ｉ（ｊ＞　
＝（ｊ−１＞［（１−１）／（Ｊ−１）］＋１゜となる
。時間軸ｉは整数値を取るので上式で得られるｉ（小数
値）は最も近い整数値に置き換える。あるいは近傍のフ
レームのデータを平滑化しても良い。

この結果、データ毎にばらついていた時間長■９が一定
の長さ１ｑＯに正規化される。ネットワークの入力層の
時間長Ｊはこの１ｑＯに等しく設定する。

ここでカテゴリーｎの代表パターンの選び方としては様
々な方法が考えられるが、例えばカテゴリｎのパターン
集合の中でパターン間の線形伸縮対応付けによる累積距
離ｄ　（ＡｑＯ，Ａ、）をパターン間距離として、次式
で与えられる量Δ、を最小にするようなｑｏとする（こ
こで［］２は特徴ベクトルの成分の差の２乗和を表わし
ている）。このｑｏはすべてのｑ＝ｌ〜Ｑ’を９０と仮
定してΔを計算する総当たり法によって容易に求めるこ
とができる。この他にも任意の１パターンを代表にする
ことも可能である。

こうして時間軸を長さＪに正規化した入力学習データを
Ａ”’　、、＝　（ａ″Ｑ、　１（Ｐ）　）　（ｉ・１
〜Ｊ）とする。また、同じ長さＪに正規化された池のカ
テゴリの学習データをＢ（−１ｒ、　　（ｂ″″ｒ、＋
（ｐ）　’ｊ　（ｒ”ｌ〜Ｒ）とする（以後このＢを反
学習データと呼ぶ）。

このときｑ番目の学習データに対するネットワークの出
力値をｙ　（３７，（ｎ）　、望ましい出力値をＺｑ（
ｎ）（・１．０）、ｒ番目の反学習データに対する第ｎ
ユニットの出力値をｙ′３１ｒ（ｎ）、望ましい出力値
をｚ　、（ｎ）（＝０．０）とすると、出カニニット層
に於ける出力値の誤差Ｅは で与えられる。この誤差量Ｅは学習によって決定しなけ
ればならないユニット間結合係数（βＯＪ（ｍ、ｐ）、
β１ｊ（■、ｐ）、α’（ｊ、ｓ））と閾値（θ（２Ｚ
（１）。

θ”（ｎＮの関数と考えられるのでＥを評価関数として
最小化するようにこれらのパラメータを決定すればよい
。またユニットの閾値は常に１を出力するユニットを仮
想的に考えて、そのユニットとの結合係数と考えればユ
ニット間結合と同じように学習することができる。そこ
で隣接する２層、第ｎ層のユニットｉと第ｎ＋１層のユ
ニットｊを結ぶユニット間結合係数をω”ＩＪとすると
、このω□」に関するＥの微係数を用いてとすれば、必
ず、 Ｅ（Ｌ＋１）　　　≦　Ｅ　　（ｔ）　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　・・・　
（１８）となる。ここでｔは繰り返し学習のステップを
表わす整数値、εは修正の程度を決める定数である。結
局、Ｅを小さくするようにω″１」を繰り返し修正する
ことがパラメータの学習になるのである。ここでωｆｉ
ＩＪと前記モデルのユニット間結合係数（β’ｉ（ｉ、
ｐ）β１．（■、ｐ）、α″（ｊ、ｍ）、θ（２１Ｊ（
鳳）、θ”（ｎ）　）とは例えば次のように対応付けれ
ばよい。

β０Ｊ（ｓ、ｐ）　＝（ａ）　１ｐｓＪ＋ｐ、Ｍ＊Ｊ＋
＋ｍβ　１ｊ（、・Ｐ）　　＝　　ω　’ｐｍ（Ｊ＋Ｊ
　）＋ｐ、ｌｌ１１１Ｊ＋−α　”（ｊ、ｍ）　　　・
　ω　　Ｍ＊Ｊ＋ｍ、ｏ　　　　　　　　　　　　　　
　・・・（１９）θ　（２１，（鵬）　・　ω３□、＋
、、□、＋。

θ（３）（ｎ）・ω４．．．ｆｉ Ｅの微係数は解析的な計算の結果次式のようになること
が分かる。

ここでδ（ｎ４１１　＋、ｑはｑ番目の学習（または反
学習）データを入力層に提示した場合の第ｎ＋１層のユ
ニッｉの入力値に換算された誤差で、ｙ０′１１．、は
ｑ番目の学習データに対する第ｎ層のユニットｊの出力
値である。δ（ｆｉｇｌ、、は次のような漸化式を用い
て計算することができる。

δ（ｎｌ、、、　、　　ΣδＬ″”　”　＠、ｑ　ωＺ
　Ｉ　（ｄｆ／　ｄｘ）ｘ−ｇ　”　’　ｌここでｆ　
（ｘ）は式６で与えられるユニットの入出力応答関数で
、ｘ（ｎｌ、は第ｎ層のユニットｉへ入力値、Ｚ、は第
Ｎ層（出力層）のユニットｉがとるべき値で学習の時に
は１．０で反学習の時には０．０である。この式２１に
基づいて、各ユニットに換算された誤差量δを求める計
算が出力層から入力層の方向に進むので、この学習法は
逆伝播学習法（バック・プロパゲーション学習法）と呼
ばれている（詳細は文献１を参照のこと）。

結局、ユニット閤結合係数に任意の初期値を与えたモデ
ルから出発して、複数の学習・反学習データを提示して
、各ユニット間結合に関して上記の繰り返し訂正学習を
行なえば、出力層での誤差を極小化するユニット間結合
の組を得ることができる。

（実施例〉 以下に式１３の漸化式計算の為の（ｉ、ｊ）平面上での
時間軸整合部は規則（ｃ（ｋ）とｃ（ｋ−１）の相対位
置関係）として第３図のような規則を用いた場合の本発
明の詳細な説明する。第３図の場合はｃ（ｋ）＝（ｉ、
ｎとするとｃ（ｋ−１）としては（ｉ−１，ｊ）　、（
ｉ−１，ｊ−１）　、（ｉ−１，ｊ−２）の３点だけが
可能になる。このような対応付は規則の場合にはニュー
ラル・ネットワークの出力を決める（１２）、（１３）
式は次のように書ける。

γ　（ｉ、ｊ）・Σ　α　（ｊ、ｍ）ｆ　（β　ｊ（麿
）ａ＋＋β　。

＠　＋　１ ＜ｍ）　　ａ　　１−１）　　　　　　　　　　　　　
　　　　　−−−（２３）ｇ　”　　（ｉ、ｊ＞　　・
　７　’（ｉ、ｊ）ｌａｘ　［ｇ　’（ｉ−１，ｊ）。

ｇ　”　　（ｉ−１，ｊ−１）、ｇ　”（ｉ−１，ｊ−
２））　　　　　　　　　　　・・・（２４）第１図は
輯２）〜（２４）式に基づいて本発明を実現した一実施
例を示したブロック図である。分析部１０は入力された
音声波形データを分析して特徴ベクトルの時系列に変換
して、パターンバッファ部２０に記憶する。パターンバ
ッファ部２０には学習動作時には学習用時系列データが
記憶され、認識動作時には未知発声の分析データが記憶
される。続く切り替えスイッチによって学習動作と認識
動作の切り替えを行なう。

時間軸整合部３０は学習データ群中の各カテゴリの代表
パターンを式１５に基づいて決定して、他の学習データ
の時間軸を代表パターンの時間軸へ線形伸縮対応付けに
よって整合し、すべての学習データの時間長を長さＪへ
規格化する。修正量計算部４０は時間軸整合部３０から
送られた学習データとユニット間結合係数記憶部５０に
蓄えられた結合係数を用いて、式１７．２０．２１に基
づいて結合係数ω″１ｊの修正量Δω−ｊを算出して、
結合係数修正部６０に送る。結合係数修正部６０はユニ
ット間結合係数記憶部５０に蓄えられた結合係数に前記
修正量Δωｆ１１を加えて、書き戻す。修正量計算部４
０はすべての結合係数に対する修正量Δω″１が予め定
められた閾値より小さくなるまでか、あるいは修正回数
が予め定められた回数を越えるまで、この修正動作を繰
り返す。

格子点計算部７０はパターンバッファ部２０から送られ
た未知発声データとユニット間結合係数記憶部５０に蓄
えられた結合係数を用いて、式２３に基づいて格子点デ
ータγ″’（ｉ、ｊ）（ｉ・１〜Ｉ、ｊ・１、〜Ｊ、　
ｎ・１〜Ｎ）を計算する。計算された格子点データは格
子点記憶部８０に格納される。漸化式計算部９０は格子
点記憶部８０に蓄えられた格子点データを用いて、式２
４に基づく漸化式計算を行なって累積値ｇ　’（１，Ｊ
）を作業用記憶部１００に格納する。作業用記憶部１０
０は漸化式計算途中にもｇ　”（ｉ、ｊ＞の記憶に用い
られる。認識判定部１１０は作業用記憶部１００に格納
された累積値ｇ”（１゜Ｊ〉の中から最大の累積値を与
えるｎの値を認識結果として出力する。

（発明の効果） 以上述べたように、本発明によれば認識動作時に未知音
声データの発声時間長の変動を動的計画法によって正規
化してニューラル・ネットワークに入力することができ
る時間軸の正規化能力を有するニューラル・ネッワーク
を提供できる。

このように本発明のニューラル・ネットワークは認識動
作時に時間軸正規化能力を有するので、学習動作時には
音声データの発声毎の特徴パラメータの変動を少数の学
習データ（発声時間長の変動による多様性を持たなくて
よい〉を用いて学習することによって、良好な認識装置
を提供することができる。

【図面の簡単な説明】

第１図は本発明の一実施例を示すブロック図、第２図は
ニューラル・ネッワークの階層構造を表わす図、第３図
は漸化式計算の為の（ｉ、ｊ＞平面上での時間軸整合部
は規則の例を表わす図である。 図に於いて、１０は分析部、２０はパターンバッファ部
、３０は時間軸整合部、４０は修正量計算部、５０はユ
ニット間結合係数記憶部、６０は結合係数修正部、７０
は格子点計算部、８０は格子点記憶部、９０は漸化式計
算部、１００は作業用記憶部、１１０は認識判定部であ
る。

Claims (2)

【特許請求の範囲】
1. （１）音声等の時系列パターンを認識するニューラル・
   ネットワークで、入力・出力層と複数の中間層から構成
   される階層構造を有し、更に入力層と中間層が時間軸に
   対応する時系列的構造を有し、認識時には動的計画法に
   よって入力時系列パターンの時間軸をニューラル・ネッ
   トワークの出力が最大になるように入力層の持つ時間軸
   と対応付けを行い、その時の出力層の出力を認識結果と
   するダイナミック・ニューラル・ネットワークに於て、
   その各階層間のユニット間結合係数を学習するに際して
   、学習用時系列パターンの時間軸を入力層の時間長と同
   じ一定の継続時間長に線形伸縮によって正規化して入力
   層に提示し、出力層には対応して出力すべき教師信号を
   提示して、出力層での教師信号と実際の出力値との差異
   を小さくするように結合係数を決定する教師付き学習を
   行なう機構を有するダイナミック・ニューラル・ネット
   ワーク。
2. （２）上記ユニット間結合係数の教師付き学習を、バッ
   クプロバゲーション学習法によって実現することを特徴
   とする特許請求範囲第（１）項記載のダイナミック・ニ
   ューラル・ネットワーク。