JPH01116868A - ダイナミックプログラミング・ニューラルネットワーク - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は音声等のパターン認識システムに利用されるニ
ューラルネットワークの改良に関する。

（従来の技術） 生物の神経回路を模擬した情報処理機構であるニューラ
ルネットワークはパターン認識等の諸問題の解決に有望
と期待され、世界中で研究開発が盛んに行なわれている
。

ニューラルネットワークに関しては日経エレクトロニク
ス誌、第４２７号の第１１５頁（昭和６２年８月１０日
発行）に「ニューラルネットワークをパターン認識、知
識処理に使う」と題して発表された記事（以下文献（１
）と呼ぶ）に分り易く解説されている。それによると、
ニューラルネットワークの基本構成要素はニューロンユ
ニット（以下ユニットと略す）と呼ばれる素子で、複数
の入力の荷重和を計算し、それに応じた出力を発生する
。ニューラルネットワークは多層構造をとり、典型的に
は入力層、中間層、出力層の３層構成となる。人力層の
各ユニットの出力は中間層の各ユニットに伝達され、そ
れらへの入力となる。中間層の各ユニットの出力は出力
層の各ユニットに伝達され、それらへの入力となる。

音声認識に例をとると、入力層では計測と制御第２２巻
第１号（昭和５８年１号発行）の第９９頁に［音声認識
におけるパターンマツチング手法Ｊと題して発表された
論文（以下文献（２）と呼ぶ）の図２に示される如き音
声パターンを入力信号として受は取る。ここに図２の行
列の各元を人力層の各ユニットに対応させるものとする
。出力層の各ユニットは認識対象語いの各単語に対応す
る。最大の出力を示す出力層ユニットに対応する単語が
認識結果となる。

出力層が１個のユニットより成る場合も有る。このよう
なニューラルネットワークは全体として、入力パターン
が１．ある単語である確からしさを示す量（マツチング
量）を算出するパターンマツチング手段として動作する
。出カニニットの出力がマツチング量どなるのである。

このような認識動作ないしはパターンマツチング動作を
有効に機能さすためには、あらかじめ各ユニットの入力
に付せられる荷重の係数を学習する必要がある。これに
は前記文献（１）の第１１８頁に詳述されるパックプロ
パゲーション法を用いることができる。

（発明が解決しようとする問題点） 以上の如き構成と機能を有するニューラルネットワーク
は理論的に解決が不可能なパターン認識問題に対して、
学習という高度な機能を発揮して、対処可能な解法を与
えるものと期待されている。しかし現在までに提案され
ているニューラルネットワークは、文献（１）の図２に
示されるように、層間では、ユニット間で全く自由な結
合が行なわれている点で極めて一般的な形態のものであ
る。

それゆえ万能ではあるかも知れないが、特定の問題を扱
かう場合には能率が悪い。

音声認識の例を考えると、文献（２）の第３．１節に記
される如く、音声パターンには時間軸の伸縮変動が存在
する。この変動は複雑な非線形性を有し、極めて大量の
歪みパターンを発生する。これら総てを対象として学習
を行なうことは計算時間的に見て不可能である。かと言
って少量の学習パターンを対象として学習を済ませたの
では、学習していない型の歪みパターンが入力されたと
き誤認識を生じる恐れがある。

すなわち、従来提案されているニューラルネッワークは
、−船釣ではあるが、伸縮変動を処理するのに適してい
ないという欠点があった。本発明はこの点を改善するこ
とを目的として、ダイナミックプログラミング機能を有
するニューラルネットワーク構成を提案するものである
。

（問題点を解決するための手段） 本発明によるダイナミックプログラミング・ニューラル
ネットワークは、少なくとも入力層、中間層、出力層よ
り成り、入力層と中間層のユニット配列及び層間接続を
時系列的に構成し、入力層時系列上の各時刻に対して入
力パターン時系列中のベクトルを停留と追越しを許す関
係で対応づけ、出力層ユニットの出力を最大とする処理
をダイナミックプログラミングにより行なう機能を有す
ることを特徴とする。

（作用） 第１図を引用して本発明の詳細な説明する。第１図のニ
ューラルネットワークは入力層、中間層、出力層の３層
より成る。入力層は時刻ｊで指定される時系列的構成を
とり、その入力線上の信号をベクトル ｘｊ＝（ｘｌｊ、−，ｘｋｊ”−ｘＫｊ）　　　　　　
　　　　　（１）で示す。この時系列 ｘ＝×１×２・・・）・・・ｘＪ（２）全体が入力層へ
の入力となる。入力層のユニットはこれらを受は入れる
べくＫＸＪ個の行列状の配置となっている。これらを （入カニニット（ｋｊ））（３） とする。また入カニニット（ｉ）というときは時刻ｊの
入カニニット（ｋｊ）の組を意味する。

中間層はＬＸＪ個の行列；大の配置となっている。

これらを （中間ユニット（ｌｊ））　　　　　　　　　　　　　
（４）とする。中間ユニット（ｊ）と記すときは時刻ｊ
の中間ユニット（ｌｊ）の組を意味する。これらのユニ
ット間では、中間ユニット（１ｊ）に対しては同時刻ｊ
の近傍の人カニニット１列あるいは複数列が接続される
。図では第１列と第ｊ−１との２列が接続される。

このような時系列的構成が本発明の特徴である。これら
の接続によって入カニニット（ｋｊ）から中間ユニット
（１ｊ）に入力がなされるとき次のような荷重づけがな
される。

１３ｏ、（ｋ、１）・ＸｋＪ ｐ、ｊ（ｋ、１）−ｘｋｊ−１ それゆえ中間層ユニット（１ｊ）への入力和は力 ｙ（ｌｊ）＝　ｆ（ｎｅｔ（ｌｊ））　　　　　　　　
　　　　（７）が発生される。関数ｆとしては文献（１
）の（３）式に示される如きｓｉｇｍｏｉｄ関数 ｆ（ｎｅｔ（ｌｊ））　＝　１／（１＋　ｅｘｐ（−ｎ
ｅｔ（ｌｊ）十〇（１，ｉ））　　　　（８）を用いる
ことができる。以上の（５）〜（７）式を次のように略
記することとする。

ｙ（ｌｊ）＝ｈｕ（ｆ’ｏｉ（１）　・ｘ；＋ｌＢ１４
（１）　・ｘｊ−１）　　　　　（９）二　　二　　に
１１１０Ｉ（１）＝（ｐＯｉ（Ｌｌ）、・・・、１３０
１（Ｋ、１）、ｌ１ｌｌ、（１）　＝　（ｆ３１．（１
，１）、・・・。

１３１、（Ｋ、１）であり、ベクトルとベクトルとの積
“パは内積を意味する。

出力層は一般には（１，２・・・ｎ・・・Ｎ）のＮユニ
ットより成る。以下でユニッ）　（ｎ）に着目して動作
を説明する。中間二二ソ）　（ｌｊ）の出力ｙ（１，１
）が入力となる。これらには係数αｙ１）が荷重され、
それらの和が計算され、これにｓｉｇｍｏｉｄ関数をか
けたものが出カニニット（ｎ）の出力Ｚ（ｎ）となる。

Ｚ（ｎ）＝　１／（１＋　ｅｘｐ（−、Ｎｅｔ（ｎ）　
＋　（Ｅ）ｎ）　　　　　　　（１１）ここで（９）式
と同様に記法の整理を行なっておく。

Ｚ（ｎ）＝Ｈｎ（釜ｃｎ７　・ｙ（ｊ＞＞　　　　　　
　　　（１２）ここに、αだ［α７（１）・・・・α７
（Ｌ）、Ｖθ）＝（ｙ（１ｊ）・・・ｙ（Ｌｊ））］で
ある。

以上の如く入力層と中間層を時系列的構成をとることに
よって文献（２）の図２の如き時系列的パターンを扱か
うのに適したニューラルネットワークを構成することが
できる。特に人力層と中間層の接続を、時刻ｊの中間層
ユニットに対して、その近傍時刻の複数個の入カニニッ
トを接続した構成は一種のマツチドフィルタとなり、音
素等の局所的な特徴を抽出する機構となり、音声認識に
適したものとなる。

本発明の最大の特徴は、入カニニットを入力パターン時
系列中のベクトルと最適に組み合わせるという機構を有
することにある。さらには、このための処理を動的計画
法によって行なうことを特徴とする。

いま入力パターンをに次元のベクトル ａｉ　”　（ａｌｉ”・ａｋｉ””Ｋｉ）の時系列に＝
ａ１ａ２−ａｉ・ａ、　　　　　　　　　　（１３）で
示す。この時間軸ｉと入カニニットの時間軸ｊの間に写
像１＝ｉ（ｊ）で入力パターンのベクトルａ、を入カニ
ニット（ｊ）の入力×、とするという時間軸変換を行な
うこととする。この写像は単語（ｎ）の音声パターンを
学習して荷重係数（α７（１）、ｐＯｉ（ｋ、■）、１
３１ｊ（ｋ、１））として抽象化されて記憶されている
ものに最もよく一致するように行なう。すなわち、出カ
ニニット（ｎ）の出力である（１２）式が最大となるよ
うに行なうのである。

ｓｉｇｍｏｉｄ関数が単調増加であることから、（１２
）式の最大化のためには、（１０）式のＮｅｔ（ｎ）す
なわちΣａ；−ｙ（ｊ）を最大とすればよい。これに（
９）式を代入してｘ、＝ａ、（ｉ＝ｉ（ｉ））なる変換
を行なうのと次の如き最大化問題に帰着される。

ここに９（ｉｊ）は（９（ｉ、ｊ、１）・・・；（ｉｊ
、１）・・・９（ｉ、ｊ、Ｌ））なるベクトルであって ｙ（ｉｊ＋１）＝ｈ、ｊ（ＩＩｏμ）−ａｉ（ｊ）＋　
１１．μ）・ａ、、−０，）　　　　（１５）このベク
トル９（ｉｊ）は入カニニット（ｊ）にａｉｒｊ）を、
入カニニットθ−１）にｘｊ−１”ａｉ（ｉ−１）を対
応づけた場合、出カニニットｑ）に発生する出力である
。吋・９（ｉｊ）なる量は（ｎ、１（ｊ）、ｉ（ｊ　−
１）ｊ）の組みを与えると定まる量であるので ｒ（ｎ、１（ｊ）、ｉθ−１）ｊ）＝ａ７・ｙ（ｉＪ）
　　　　　　　　（１６）と置くと、（１４）式は ｍａｘ　　［ｆ　　ｒ（ｎ、１（ｊ）、１（ｊ−１）ｊ
月　　　　　　　　　　　（１７）と簡略表現ができる
。

以上の如き解析の結果、この時系列構造を有するニュー
ラルネットワークの時間軸歪補正の問題は（１７）式の
如く、ｒ（ｎ、１（ｊ）、ｉ（ｊ　−１）ｊ）の総和を
１＝ｉ（ｊ）に関して最大にする問題と定式化ができた
。このことから以下の如く動的計画法（ダイナミックプ
ログラミング）の適用が可能なことが知られる。解決の
一例は以下の如くである。

（初期条件） ｇ（ｎ、１．１）　＝ｈ、、（１３ｏ１（１）　・ａ、
）　　　　　　　　　　（１８）（漸化式） ％式％） これによって出力、ユニット（ｎ）の出力はＺ（ｎ）＝
　Ｈ（ｇ（ｎ、Ｉ、Ｊ））　　　　　　　　　　　　　
（２０）と定まる。

（１８）式の計算は第２図の格子点上で正順に行なわれ
る。１（ｊ−１）と１（ｉ）の間には、増加が０．１，
２．の３種の自由度が許される。これらの、内、増加０
はｉ軸上で停留（重複）することを意味し、増加２は１
点分だけ追越すことを意味する。このような自由度の対
応づけを［入力パターンベクトルの停留、追越しを許す
対応」と呼ぶ。

（実施例） 第３図に本発明を音声認識に応用した一実施例を示す。

第１図、第２図で説明した本発明の原理をマイクロプロ
セッサで実行する場合の例である。

入力パターンバッファ１０には（１３）式の如き入力パ
ターンが保持され、中間層処理部２０よりベクトルａ１
がアクセスできるようになっている。このバッファはＲ
ＡＭで構成される。中間層係数記憶部３０には荷重係数
群（１’０３（ｋ、ｌ））、（１３ｔ４（ｋ−１））及
び閾値群（θ（１，ｊ））が記憶される。マイクロプロ
セッサより成る中間層処理部２０では以下のような３系
統の中間層出力群が計算される。

■（９，（ｉｊ）） ９ｏ（ｉｊ）＝廿。（ｉｊ、１）） ９０（ＩＪ　１１）　＝ｈ１ｒ（ｌｏｔ（１）　・ａｔ
　＋ＩＢＩＪ（１）　・ａρ　　　　　　（２１−ａ）
■（９，（ｉｊ）） ９、（ｉｊ）＝仇（ｉｊ、１）） ’／ｌＱＪＪ）＝ｈ１７（７１ｇ３（１）　・ａｔ＋　
９１μ）−ａ、−１）　　　　（２１−ｂ）■（９２（
ｉｊ）） ９２（ｉｊ）＝仔２（ｉｊ、１）） ｙ□（ｉｊ＋１）＝ｈ、、１Ｂ。、（１）・ａｉ＋ＩＢ
１．（１）・ａ、−２）　　　　（２１−ｃ）■の９゜
（ｉｊ）は町が入カニニット（ｉ）に、同じ町が入カニ
ニット（ｊ−１）に対応づけられたときの中間ユニット
（ｉ）の出力である。■の９１（ＩＪ）はａｉが入カニ
ニット（ｉ）に、ａｉ−１が入カニニット（ｊ−１）＆
、こ対応づけられたときの中間層（ｉ）の出力である。

■の９□（ｉｊ）はａｉが入力ユニッ１−（ｉ）に、ａ
ｉ−２が入カユニッ）（ｊ−１）に対応づけられたとき
の中間層（ｊ）の出力である。これらは必要な（ｉｊ）
の組みに対して計算され、中間層出力バッファ４０に出
力され記憶される。

マイクロプロセッサよりなる動的計画洗処理部５０では
出力層係数記憶部に記憶される係数の群（α伴１））、
閾値群（（Ｅ）（ｎ））と前記中間層出力バッファ４０
に記憶される中間層出力を参照しつつ（１８）、（１９
）、（２０）の動的計画性演算を行なう。（１９）式右
辺のｒ（ｎ、ｉ、ｉｊ）等は（２１−ａ）〜（２１−ｃ
）式の中間層出力をもとにして次のように計算され使用
される。

ｒ（ｎ、ｉ、１ｊ）＝吋・！１’０（ｉＪ）　　　　　
　　　　　（２２−ａ）ｒ（ｎ、ｉ、１−１ｊ）＝ｃ’
ｊ−９□（ｉｊ）　　　　　　　　　（２２−ｂ）ｒ（
ｎ、ｉ、ｉ　−２ｊ）＝　ｃ；・９□（ｉｊ）　　　　
　　　　　（２２−ｃ）これらによってｒ（ｎ、ｉ、ｉ
ｊ）等の算出しつつ（１９）式の漸化式計算を進めるこ
とによってｇ（ｎ、Ｉ、Ｊ）が得られる。ｓｉｇｍｏｉ
ｄ関数が単調増加であることに着目して、これを省略し
て Ｚ（ｎ）＝　ｇ（ｎ、ＬＪ）−〇（ｎ）　　　　　　　
　　　　（２３）を出カニニット（ｎ）の出力とする。

以上の動的計測法処理は出カニニット （ｎ＝１．２．・・・Ｎ）のそれぞれに対して行なわれ
、それぞれに対して出力層出力ｚ（ｎ）が出力される。

判定処理部７０では動的計測法処理５０より出力される
出力層出力Ｚ（ｎ）を相互比較して、Ｚ（ｎ）が最大と
なるｎ＝丘を認識結果として出力する。

以上、本発明の原理、作用を実施例に基づいて説明した
がこれらの記載は本願の権利範囲を限定するものではな
い。例えば、中間層処理はマイクロプロセッサによらず
、第１図そのままの分散型プロセッサによって行なう構
成も考えられる。また本願発明によってニューラルネッ
トワークと動的計画法の結合が可能となったが、これに
応じて従来音声認識の分野でＤＰマツチング法として研
究されてきた分野の各種の工夫が本発明のダイナミック
ニューラルネットワークでも採用できることになった。

例えば文献（２）の図５に示される「整合窓」の手法、
日経エレクトロニクス誌、第３２９号（昭和５８年１１
月７日発行）の第１８４頁、表１に記載される傾斜制限
などの手法である。これらの組込みは本願発明の権利範
囲内である。

（効果） 以上述べた構成によると、時間軸歪みを補正する能力を
有す仝ので、少数の学習パターンで学習した場合でも良
好な認識性能を得ることができる。しかも、動的計画法
の採によって処理は高速に実行できる。

【図面の簡単な説明】

第１図と第２図は原理説明図、第３図は実施例である。 図において、 １０・・・入力パターンバッファ、２０・・・中間層処
理部、３０・・・中間層係数記憶部、４０・・・中間層
出力バッファ、５０、・・動的計測法処理部、６０・・
・出力層係数記憶部、７０・・・判定部。

Claims (1)

【特許請求の範囲】
1. 少なくとも入力層と中間層および出力層とより成るニュ
   ーラルネットワークにおいて、入力層と中間層のニュー
   ラルユニットの配列と層間の接続を時系列的に構成し入
   力層のニューラルユニットに対して入力パターン時系列
   中のベクトルを停留と追越を許す関係で対応づけ、出力
   層ユニットの出力を最大とする処理をダイナミックプロ
   グラミングで行なう機能を有することを特徴とするダイ
   ナミックプログラミング・ニューラルネットワーク。