JPH01116869A

JPH01116869A - ダイナミックプログラミング機能を有するニューラルネットワーク

Info

Publication number: JPH01116869A
Application number: JP62276398A
Authority: JP
Inventors: Hiroaki Sekoe; 迫江　博昭
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1987-10-30
Filing date: 1987-10-30
Publication date: 1989-05-09
Anticipated expiration: 2010-06-05
Also published as: JPH0752439B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】（産業上の利用分野）本発明は音声等のパターン認識システムに利用されるニ
ューラルネットワークの改良に関する。

（従来の技術）生物の神経回路を模擬した情報処理機構であるニューラ
ルネットワークはパターン認識等の諸問題の解決に有望
と期待され、世界中で研究開発が盛んに行なわれている
。

ニューラルネットワークに関しては日経エレクトロニク
ス誌、第４２７号の第１１５頁（昭和６２年８月１０日
発行）に「ニューラルネットワークをパターン認識」知
識処理に使うと題して発表された記事（以下文献（１）
と呼ぶ）に分り易く解説されている。それによると、ニ
ューラルネットワークの基本構成要素はニューロンユニ
ット（以下ユニットと略す）と呼ばれる素子で、複数の
入力の荷重和を計算し、それに応じた出力を発生する。

ニューラルネットワごりは多層構造をとり、典型的には
入力層、中間層、出力層の３層構成となる。入力層の各
ユニットの出力は中間層の各ユニットに伝達され、それ
らへの入力となる。中間層の各ユニットの出力は出力層
の各ユニットに伝達され、それらへの入力となる。

音声認識に例をとると、入力層では計測と制御、第２２
巻第１号（昭和５８年１号発行）の第９９頁に［音声認
識におけるパターンマツチング手法」と題して発表され
た論文（以下文献（２）と呼ぶ）の図２に示される如き
音声パターンを入力信号として受は取る。ここに図２の
行列の各元を入力層の各ユニットに対応させるものとす
る。出力層の各ユニットは認識対象語いの各単語に対応
する。最大の出力を示す出力層ユニットに対応する単語
が認識結果となる。出力層が１個のユニットより成る場
合も有る。このようなニューラルネットワークは全体と
して、入力パターンが、ある単語である確がらしさを示
す量（マツチング量）を算出するパターンマツチング手
段として動作する。出カニニットの出力がマツチング量
となるのである。

このような認識動作ないしはパターンマツチング動作を
有効に機能さすためには、あらかじめ各ユニットの入力
に付せられる荷重の係数を学習する必要がある。これに
は前記文献（１）の第１１８頁に詳述されるパックプロ
パゲーション法を用いることができる。

（発明が解決しようとする問題点）以上の如き構成と機能を有するニューラルネットワーク
は理論的に解決が不可能なパターン認識問題に対して、
学習という高度な機能を発揮して、対処可能な解法を与
えるものと期待されている。しかし現在までに提案され
ているニューラルネットワークは、文献（１）の図２に
示されるように、層間では、ユニット間で全く自由な結
合が行なわれている点で極めて一般的な形態のものであ
る。

それゆえ万能ではあるかも知れないが、特定の問題を扱
かう場合には能率が悪い。

音声認識の例を考えると、文献（２）の第３．１節に記
される如く、音声パターンには時間軸の伸縮変動が存在
する。この変動は複雑な非線形性を有し、極めて大量の
歪みパターンを発生する。これら総てを対象として学習
を行なうことは計算時間的に見て不可能である。かと言
って少量の学習パターンを対象として学習を済ませたの
では、学習してぃない型の歪みパターンが入力されたと
き誤認識を生じる恐れがある。

すなわち、従来提案されているニューラルネッヮークは
、−船釣ではあるが、伸縮変動を処理するのに適してい
ないという欠点があった。本発明はこ°の点を改善する
ことを目的として、ダイナミックプログラミング機能を
有するニューラルネットワーク構成を提案するものであ
る。

（問題点を解決するための手段）本発明によるニューラルネットワークは、少なくとも入
力層、中間層及び出力層とよりなり、入力層と中間層の
ユニット配列及び層間の接続を時系列的に構成し、この
時系列上の各時刻に対して入力パターン時系列中のベク
トルを重複と跳越しを許す関係で対応づけ、出力層ユニ
ットの出力を最大とする処理をダイナミックプログラミ
ングによって行なう機能を有することを特徴とする。

（作用）第１図を引用して本発明の詳細な説明する。第１図のニ
ューラルネットワークは入力層、中間層、出力層の３層
よりなる。入力層は時刻ｊで指定される時系列的構成を
とり、その入力線上の信号をベクトルＸ、＝　（Ｘ１ｊｌ・ＩＸｋｊ・ＸＫｊ）　　　　　　
　　　　（１）で示す。この時系列Ｘ　＝　Ｘ１Ｘ２−Ｘｊ・ＸＪ　　　　　　　　　　　
　（２）全体が入力層への入力となる。入力層のユニッ
トはこれらを受は入れるべくＫＸＪ個の行列状の配置と
なっている。これらを（入カニニット（ｋｊ））（３）とする。また人カニニット（ｊ）というときは時刻ｊの
入カニニット（ｋｊ）の組を意味する。

中間層はＬＸＪ個の行列状の配置となっている。

これらを（中間ユニット（ｌｊ））　　　　　　　　　　　　　
（４）とする。中間ユニット（ｊ）と記すとき時刻ｊの
中間ユニット（ｌｊ）の組を意味する。これらのユニッ
ト間では、中間ユニット（ｌｊ）に対しては同時刻ｊの
近傍の入カニニット１列あるいは複数列が接続される。

図では第１列と第ｊ−１との２列が接続される。

このような時系列的構成が本発明の特徴である。これら
の接続によって入カニニット（ｋｊ）がら中間ユニット
（ｌｊ）に入力がなされるとき次のような荷重づけがな
される。

４３ｏ、（ｋ、１）・ｘｋｊＤ１７（ｋ、１）　、ｘｋＪ−。

それゆえ中間層ユニット（ＩＪ）への入力和は力ｙ（ｌｊ）　＝ｆ（ｎｅｔ（ｌｊ））　　　　　　　　
　　　　　　　　（７）が発生される。関゛数ｆとして
は文献（１）の（３）式に示される如きｓｉｇｍｏｉｄ
関数ｆ（ｎｅｔ（ｌｊ））　＝　１／（１＋　ｅｘｐ（−ｎ
ｅｔ（ｌｊ）十〇（１，ｊ））　　　　（８）を用いる
ことができる。以上の（５）〜（７）式を次のように略
記することとする。

ｙ（ｌｊ）＝　ｈ＋ｔ（ｊｌＯｊ（１）　−％　＋　Ｌ
７（１）　・ｘｉ−１）（９）ここにり。、（１）＝（
ＩＢ。、（１，１）、・、１３ｏ、（Ｋ、ｌ））、１３
．（１）＝（１３１，（ｔ、Ｉ）、　・。

１３１、（Ｋ、１）であり、ベクトルとベクトルとの積
″・″は内債を意味する。

出力層は一般には（１，２・・・ｎ・・・Ｎ）のＮユニ
ットより成る。以下でユニット（ｎ）に着目して動作を
説明する。中間ユニット（Ｉｊ）の出力ｙ（Ｌｌ）が入
力となる。これらには係数０６（１）が荷重され、それ
らの和カニニット（ｎ）の出力Ｚ（ｎ）となる。

Ｚ（ｎ）＝　１／（１＋　ｅｘｐ（−、Ｎｅｔ（ｎ）＋
ｏｎ）　　　　　　（１１）ここで（９）式と同様に記
法の整理を行なっておく。

Ｚ（ｎ）＝　Ｈｎ（Σ叶−ｙ（ｊ））　　　　　　　　
　　（１２）ここに、吋＝［窄１）・・・・αｆｉ（Ｌ
）、ｙ（ｊ）＝（ｙ（ｌｊ）・・・ｙ（ｌｊ川である。

以上の如く人力層と中間層を時系列的構成をとることに
よって文献（２）の図２の如き時系列的パターンを扱か
うのに適したニューラルネットワークを構成することが
できる。特に入力層と中間層の接続を、時刻ｊの中間層
ユニットに対して、その近傍時刻の複数個の入カニニッ
トを接続した構成は一種のマツチドフィルタを構成し、
音素等の局所的な特徴を抽出する機構となり、音声認識
に適したものとなる。

本発明の最大の特徴は、中間ユニットと入カニニットの
組みを人カバターンの特徴と最適に組み合わせるという
機構を有することにある。さらにはこのための処理を動
的計画法によって行なうことを特徴とする。いま入力パ
ターンをに次元のベクトルａｉ　＝　（ａｌｉ”・ａｋ
ｉ”・ａＫｉ）の時系列Ａ＝ａ１ａ２−ａｉ−ａ１（１
３）で示す。この時間軸ｉと時間軸ｊの間に写像ｉ＝ｉψで
入力パターンのベクトル町を入カニニットψの入力Ｘ、
とするという時間軸の変換を行なうこととする。

この写像は単語（ｎ）の音声パターンを学習して荷重係
数（亭１）、１３つ（ｋ、１）、！３１．（ｋ、１））
として抽象化されて記憶されているものに最もよく一致
するように行なう。すなわち、出カニニット（ｎ）の出
力である（１２）式が最大となるように行なうのである
。

Ｓｉｇｍｏｉｄ関数が単調増加であることから、（１２
）式の最大化のためには、（１０）式のＮｅｔ（ｎ）す
なわちΣｃ７ｙ（ｉ）を最大とすればよい。これに（９
）式を代入してｘ、＝ａ、（ｉ＝ｉψ）なる変換を行な
うと次の如き最大化問題に帰着される。

ここに９（ｉｊ）は９（ｉｊ、１）・・・ｙ（ｉｊ、１
）・・・ｙ（ｉｊ、Ｌ）なるベクトルであってｙ（ｉｊ、１）＝ｈ、、４３゜、（１）　−ａｉ＋　ｌ
１１．（１）　・ａｉ−１）　　　　　（１５）このベ
クトル９（ｉｊ）は入カニニットψにＸ、＝ａ、を、人
カニニット（ｊ−１）に×ｊ−１＝”ｉ−１を対応づけ
た場合、出カニニット（ｉ）に発生する出力である。＠
噛９（ｉｊ）なる値は（ｎ、ｉｊ）の組みを与えると定
まる量であるのでｒ（ｎ、ｉｊ）　＝ニジ・Ｖ（ｉｊ）
　　　　　　　　　　　　　（１６）と置くと、（１４
）式はｍａｘ　［、Σ　ｒ（ｎ、ｉｊ）］　　　　　　　　　
　　　　　　　　　　（ｌ１７シー１ｃ５ンＪａｌと簡略表現ができる。

以上の如き解析の結果、この時系列構造を有するニュー
ラルネットワークの時間軸歪除去の問題は（１７）式の
如＜　ｒ（ｎ、ｉｊ）の総和をｉ　＝　１（ｊ）に関し
て最大にする問題と簡単化できた。このことから文献（
２）と同様に、動的計画法（ダイナミックプログラミン
グ）の適用が可能なことが知られる。解法の一例は以下
の如くである。

（初期条件）ｇ（ｎ、１ｊ）＝ｒ（ｎ、１．１）　　　　　　　　　
　　　　（１８）（漸化式）％式％）これによって出カニニット（ｎ）の出力はＺ（ｎ）　＝
　Ｈ（ｇ（ｎ、、Ｔ、Ｊ））　　　　　　　　　　　　
　（２０）と定まる。

（１８）式の計算は第２図の格子点上で正順に行なわれ
る。１（ｊ−１）と１（ｊ）の間には、増加が０．１．
２の３種の自由度が許される。これらの内、増加０はｉ
軸上で停留することを意味し、増加２は１点分だけ追越
すことを意味する。このような自由度の対応づけを「入
力パターンベクトルの停留、追越しを許す対応］と呼ぶ
。

（実施例）第３図に本発明を音声認識に応用した一実施例を示す。

本実施例は第１図、第２図で説明した本発明の作用をマ
イクロプロセッサで実行する場合の例である。

入力パターンバッファ１０には（１３）式の如き入力パ
ターンが保持され、中間層処理部２０よりベクトルａｉ
がアクセスできるようになっている。この部分は通常の
ＲＡＭで構成される。中間層係数記憶部３０には荷重係
数の群（１３，、（ｋ、１）Ｊ３．、（ｋ、ｌ））及び
閾値群（θ（ｌｊ））が記憶される。

マイクロプロセッサよりなる中間層処理部２０では以下
のような処理が行なわれる。

ｙＱｊＪ）＝ｈ１４（Ｉｉ’（１４（’）　□　ａけＩ
Ｂ１μ）・ａｉ−１）　　　　　（２１）これらがベク
トルｙ（ｉｊ）を構成することは（１４）式（１５）式
に関連して説明した通りであり、入力ユニットリ）にａ
ｉを入カニニットｑ−１）にａ、−１を対応づけたとき
に中間ユニット（ｉ）に生じる出力である。このｙ（ｉ
ｊ）は必要な（ｉ、ｉ）の組みに対して計算され、中間
層出力バッファ４０に記憶される。

マイクロプロセッサより成る動的計画性処理部５０では
出力層係数記憶部に記憶される係数の群（ｃ９（１））
、閾値群（ｅ（ｎ））と前記中間層出力バッファ４０に
記憶される中間層出力を参照しつつ（１８）、（１９）
、（２０）式の動的計画性演算を行なう。（１９）式の
ｒ（ｎ、ｉｊ）は次の式によって計算される。

ｒ（ｎ、１ｊ）＝ａ’ｊ−ｙ（ｉｊ）　　　　　　　　
　　　（２２）これによってｒ（ｎ、ｉｊ）を算出しつ
つ（１９）式の漸化式計算を進めることによってｇ（ｎ
、Ｉ、Ｊ）が得られる。

ｓｉｇｍｏｉｄ関数が単調増加であることに着目して、
ｓｉｇｍｏｉｄ関数を省略してＺ（ｎ）　＝　ｇ（ｎ、Ｉ、Ｊ）−〇（ｎ）　　　　　
　　　　　　（２３）を出力とする。

この動的計画性処理は出カニニット（ｎ＝１．２．・・・Ｎ）のそれぞれに関して行なわれ
、それぞれに対して出力層出力ｚ（ｎ）が出力される。

判定処理部７０では、上記出力層ｚ（ｎ）を相互比較し
てｚ（ｎ）が最大となるｎ２品を認識結果として出力す
る。

以上、本発明の原理、作用を実施例に基づいて説明した
がこれらの記載は本願の権利範囲を限定するものではな
い。例えば、中間層処理はマイクロプロセッサによらず
、第１図そのままの分散型プロセッサによって行なう構
成も考えられる。また本願発明によってニューラルネッ
トワークと動的計画法の結合が可能となったが、これに
応じて従来音声認識の分野でＤＰマツチング法として研
究されてきた分野の各種の工夫が本発明のダイナミック
ニューラルネットワークでも採用できることになった。

例えば文献（２）の図５に示される［整合窓］の手法、
「日経エレクトロニクス誌、第３２９号（昭和５８年１
１月７日発行）の第１８４頁、表Ｈに記載される傾斜制
限、［白井良明編“パターン理解″（オーム社、昭和６
２年８月２５日発行）１の第２１０頁に記される連続Ｄ
Ｐ法、などの手法である。これらの組込みは本願発明の
権利範囲内である。

（効果）以上述べた構成によると時間軸歪みを補正する能力を有
するので、少数の学習パターンで学習した場合でも良効
な認識性能を得ることができる。

しかも、動的計画法の採によって処理は高速に実行でき
る。

【図面の簡単な説明】

第１図と第２図は原理説明図、第３図は実施例である。図において、１０・・・入力パターンバッファ、２０・・・中間層処
理部、３０・・・中間層係数記憶部、４０・・・中間層
出力バッファ、５０・・・動的計画法処理部、６０・・
・出力層係数記憶部、７０・・・判定部。

Claims

【特許請求の範囲】

少なくとも入力層と中間層および出力層とよりなるニュ
ーラルネットワークにおいて、入力層と中間層のニュー
ラルユニットの配列と層間の接続を時系列的に構成し、
この時系列上の各時刻に対して入力パターン時系列中の
ベクトルを停留と追越しを許す関係で対応づけ、出力層
ユニットの出力を最大とする処理をダイナミックプログ
ラミングで行なう機能を有することを特徴とするニュー
ラルユニット。