JP2544489B2 - ニュ―ラルネットワ―クモデルの学習方法 - Google Patents

Description

【発明の詳細な説明】 〔目次〕 概要 産業上の利用分野 従来の技術（第７図〜第９図） 発明が解決しようとする課題 課題を解決するための手段（第１図） 作用 実施例（第２図〜第６図） 発明の効果 〔概要〕 ニューラルネットワークモデルの学習方法に関し、 ニューラルネットワークのシナプスの重み付けの意味
を明確にして、重み付けの学習制御を容易にすると共
に、時系列データの処理を可能とし、適用制御の容易な
ニューラルネットワークを実現することを目的とし、 時系列データがそれぞれ入力する複数の入力層ユニッ
トから成る入力層と、入力層ユニットとそれぞれシナプ
スにより結合され、中間の時系列データが入力する複数
の中間層ユニットから成る中間層と、中間層ユニットと
それぞれシナプスにより結合された出力層ユニットとか
ら成り、各シナプスを、上記各層の時間遅れの因果律に
基づいて結線したニューラルネットワークモデルの学習
方法において、シナプスの重みを、インパルス応答関数
の表現とみなし、同じインパルス応答関数に対応するシ
ナプス群である同じ時間関係にあるシナプス群を同じ重
みの値となるように学習させるように構成する。

〔産業上の利用分野〕

本発明はニューラルネットワークモデルの学習方法に
関し、更に詳しくいえば、各種の制御や情報処理等の分
野において用いられ、特に、インパルス応答モデルをニ
ューラルネットワークで実現した場合、シナプス群の学
習により、容易にシナプスの重み付けができるようにし
たニューラルネットワークモデルの学習方法に関する。

〔従来の技術〕

従来、ニューラルネットワークは、人間の脳を真似た
ネットワークとして知られている。

このようなニューラルネットワークの個々の構成要素
は、人間の神経細胞（ニューロン）と似た機能を持つ。

そして、神経細胞、すなわちニューロンを基本単位と
し、それらが密に結合してニューラルネットワークが形
成され、ニューロンからニューロンへの信号伝達は、シ
ナプス（Synapse）により行われる。

第７図は、従来のニューラルネットワーク（中間層の
無い例）を示した図であり、１は入力層（入力層群）、
２は出力層（出力層群）、３はシナプスを示す。

入力層１には、多数の入力信号（入力パターン）が入
力し、シナプス３を介して出力層２へ伝達され、出力信
号（出力パターン）となるものである。

この場合、上記入力信号としては、空間データが与え
られ、シナプス３の結合により、所定の処理（変換）が
なされる。

このような中間層の無いネットワークは、パーセプト
ロン型ネットワークとも呼ばれている。

第８図は、従来のニューラルネットワーク（中間層が
１つある例）であり、第７図と同符号は同一のものを示
す。図において、４は中間層（中間層群）を示す。

このニューラルネットワークは、入力層１と出力層２
との間に中間層４を１層介在させたネットワークであ
り、入力層１と中間層４の間、及び中間層４と出力層２
との間はシナプス３で接続される。

この場合も、入力信号（入力パターン）は、入力層１
へ入力した後、シナプス３を通り、中間層４へ伝達さ
れ、更に、シナプス３を通って出力層２へ出力して出力
信号（出力パターン）となる。また、上記入力信号とし
ては、空間データが与えられる。

第９図は、従来のニューラルネットワーク（２つの中
間層がある例）であり、第８図と同符号は同一のものを
示す。

この例では、入力層１と出力層２との間に２つの中間
層４が設けられており、それぞれ、入力層１、中間層
４、及び出力層２の間をシナプス３により結合したもの
である。

なお、上記の中間層４は、２層に限らずそれ以上の層
が介在していてもよい。

上記のような中間層４を有する階層ネットワーク構造
の場合、階層ネットワークにおける各ユニットは、入力
層１から中間層４、中間層４から出力層２という向きに
結合しており（前向き）、各層内での結合、及び出力層
２から入力層１に向かう結合は存在しない。

各層のユニット間の結合の重み付けは、例えば、バッ
クプロパゲーション法のような学習により決定され、こ
の重みから決定される一定の変換規則を入力信号（入力
パターン）に適用し、出力層２にその変換した出力信号
（出力パターン）を出力する。

〔発明が解決しようとする課題〕

上記のような従来のものにおいては次のような欠点が
あった。

（１） 従来のニューラルネットワークでは、学習結果
について、そのシナプスの重みの説明がうまくできない
とされていた（シナプスの重みから、ルールベースを作
る研究はある）。

（２） 従来のニューラルネットワークでは、空間デー
タだけを扱っており、時系列データを扱うものはなかっ
た。

即ち、入力データ（入力信号）としては、入力データ
を多次元空間の値とみなし、空間データとして扱ってい
た。

そして、この空間データを、ニューラルネットワーク
により出力データに写像し、似たものを分類するものと
してニューラルネットワークを使用していた。

例え、時系列データを扱う場合でも、これを空間デー
タと考え、上記のように処理していた。

その例として、例えば、過去の10個のデータが、上り
ぎみ、下りぎみ、平坦等の状態を判別する場合とか、制
御の目標値に対し、それを実現する操作量を決定する場
合（これは、ニューラルネットワークにより、制御対象
の逆モデルを作ることに対応する）等である。

本発明は、このような従来の欠点を解消し、ニューラ
ルネットワークのシナプスの重み付けの意味を明確にし
て、重み付けの学習制御を容易にすると共に、時系列デ
ータの処理を可能とし、適用制御の容易なニューラルネ
ットワークを実現することを目的とする。

〔課題を解決するための手段〕

第１図は本発明の原理図であり、１は入力層、２は出
力層、３はシナプス（シナプス群）、４は中間層を示
す。また、１−1,1−2,1−３…は入力層の各ユニット、
２−1,2−２…は出力層２の各ユニット、４−1,4−2,4
−３…は中間層の各ユニット、u₁（ｔ−１）,u₁（ｔ−
２）,u₁（ｔ−３）…は時系列の入力データ、M₁（ｔ−
１）,M₁（ｔ−２）,M₁（ｔ−３）…は中間層の時系列デ
ータ、y₁（ｔ）,y₂（ｔ）…は出力データを示す。

図のニューラルネットワークモデルは、入力層１と出
力層２との間に中間層４を有し、各層間は、シナプス３
により結合されたネットワークであり、入力層１の各ユ
ニット１−1,1−2,1−３…には、それぞれ時系列データ
であるu₁（ｔ−１）,u₁（ｔ−２）,u₁（ｔ−３）…が入
力する。

ここでｔは時刻を示す、u₁（ｔ−２）はu₁（ｔ−１）
よりも過去のデータ、u₁（ｔ−３）はu₁（ｔ−２）より
も過去のデータを示し、M₁（ｔ−１），…M₁（ｔ−２）
…についても同様の関係を示す。

本発明では、上記時系列データu₁（ｔ−１）,u₁（ｔ
−２）,u₁（ｔ−３）…はそのまま時系列データ（時間
データ）と見なし、更に、ニューラルネットワークの重
みは、制御理論のインパルス応答関数と見なすことによ
り、インパルス応答モデルをニューラルネットワークで
実現するものであり、その学習方法を次のようにする。

即ち、シナプスの結合は、上記各層の時間遅れの因果
律に基づいて（上記各層の入力と出力の時間遅れを考慮
して）結線し、ニューラルネットワークのシナプス３の
重みを、インパルス応答関数の表現と見なし、学習によ
り決定する。

この学習において、同じインパルス応答関数に対応す
るシナプス群（同じ時間関係にあるシナプス群）を同じ
重みの値となるように学習させるものである。

例えば、図のA₁,A₂,A₃…は同じインパルス応答関数に
対応するシナプスであり、同じ時間関係にある｛u₁（ｔ
−１）とM₁（ｔ−１）、u₁（ｔ−２）とM₁（ｔ−２）…
は同時刻のデータで同じ時間関係｝。

また、B₁,B₂…も同じインパルス応答関数に対応する
シナプスであり、同じ時間関係にある｛u₁（ｔ−２）と
M₁（ｔ−１）は、M₁（ｔ−１）から見ればu₁（ｔ−２）
は１つ前の時刻のデータ、u₁（ｔ−３）とM₁（ｔ−２）
の関係もM₁（ｔ−２）から見ればu₁（ｔ−３）は１つの
前の時刻のデータであり、同じ時間関係にある｝。

従って、A₁,A₂,A₃…を同じ重みにし、B₁,B₂,B₃…を同
じ重みにし以下同様にして同じ時間関係にあるユニット
間のシナプスを同じ重み（平均値、あるいは最大値等）
となるように学習させる。

〔作用〕

本発明は上記のように、ニューラルネットワークモデ
ルにおいて、そのシナプス結合の意味付けを、インパル
ス応答関数と見なすことで学習の内容を明確にしたもの
である。

この学習においては、同じインパルス応答関数に対応
するシナプス群について、出力データの平均値、あるい
は最大値を求め、全て同じ重みの値となるように繰返し
学習させるものである。

上記同じインパルス応答関数に対応するシナプス群
は、図示のA₁,A₂,A₃…から成るシナプス群、B₁,B₂…か
ら成るシナプス群、C₁,C₂…から成るシナプス群…等で
あり、これらはそれぞれ同じ時間関係にあるシナプス群
である。そして、これら、それぞれ同じ時間関係にある
シナプスは同じ重みになるように繰返して学習させる。

このようにして学習を行えば、自動的にシナプスの重
みが決定でき、ニューラルネットワークモデルによるプ
ロセスモデルの同定が容易に行える。

〔実施例〕

以下、本発明の実施例を図面に基づいて説明する。

第２図は、本発明の１実施例に係るニューラルネット
ワークモデルの全体図であり、１は入力層、２は出力
層、３はシナプス、４は出力層は示す。

は、入力層へ入力する時系列データのベクトル、 は中間層４の時系列データのベクトル、 は出力層２の時系列データのベクトルを示す。

上記ベクトル は、それぞれ複数の時系列データ、u₁（ｔ−１）,u
₁（ｔ−２）,u₁（ｔ−３）,u₁（ｔ−４）…u₂（ｔ−
１）,u₂（ｔ−２）,u₂（ｔ−３）,u₂（ｔ−４）…u
₃（ｔ−１）,u₃（ｔ−２）…u_l（ｔ−１）,u（ｔ−２）
…から成り、また、ベクトル についても同様である。

入力層１と中間層４、及び中間層４と出力層２の間
は、シナプス３により接続されるが、これらの結線は、
上記各層の時間遅れの因果律に基づいて（上記各層の入
力と出力の時間遅れを考慮して）結線される。

第３図は、第２図に示したニューラルネットワークモ
デルの一部詳細図である。

第２図で示したベクトル は、図示のように、時刻列データu₁（ｔ−１）,u₁（ｔ
−２）,u₁（ｔ−３）,u₁（ｔ−４）…u₁（ｔ−ｋ）,u₁
（ｔ−ｋ−１）…u₁（ｔ−ｉ）,u₂（ｔ−１）,u₂（ｔ−
２）…u₂（ｔ−ｊ）から成り、ベクトル は、時系列データM₁（ｔ−１）,M₁（ｔ−２）,M₁（ｔ−
３）,M₁（ｔ−４），…M₁（ｔ−ｋ＋１）,M₁（ｔ−
ｋ）,M₂（ｔ−１），…M₂（ｔ−ｌ）から成っている。

これらの時系列データは、そのまま時系列データとし
て扱い、ニューラルネットワークのシナプスの重みは、
インパルス応答関数（制御理論上の関数）と見なすこと
により、学習で決定する。

また、その結線は、インパルス応答における因果律に
基づいて決定する。その結果、図示のように、入力側か
ら見て過去のものとは結線せず、時間関係が同じユニッ
ト間のシナプスは同じ重みに決定する。

例えば、u₁（ｔ−１）とM₁（ｔ−２）間、u₁（ｔ−
２）とM₁（ｔ−３）間のように、入力側からみて、時間
的に過去のものとは接続しない（中間層を基準にすれ
ば、未来の入力とは結線しない）。

また、u₁（ｔ−１）とM₁（ｔ−１）間、u₁（ｔ−２）
とM₁（ｔ−２）間等は、同じ時間関係なので同じ重みに
する（図示の平行なシナプス同志は全て同じ重みにす
る）。

更に、u₁（ｔ−２）とM₁（ｔ−１）間、u₁（ｔ−３）
とM₁（ｔ−２）間…等も同じ重みにする。

なお、入力時系列データu₁が中間層の時系列データＭ
に対し、Ｔ時間しか影響しないなら、ｔ＝ｋ＋Ｔであ
り、u₁（ｔ−ｊ）はM₁（ｔ−ｊ）から｛但しｊ＞ｋなら
ばM₁（ｔ−ｋ）から｝M₁（ｔ−ｊ＋Ｔ）まで｛但しｊ−
Ｔ≦０ならM₁（ｔ−１）まで｝を結線すればよい。

なお、本発明は、上記の例に限らず、中間層が複数あ
る場合でも適用可能である。

第４図〜第６図は、ニューラルネットワークの学習方
法の説明図である。

本発明では、上記のように、入力データである時系列
データu₁（ｔ−１）,u₁（ｔ−２）,u₁（ｔ−３）,u
₁（ｔ−４）…は、そのまま時系列データと見なし、更
に、ニューラルネットワークの重みは、制御理論のイン
パルス応答関数と見なすことにより、インパルス応答モ
デルをニューラルネットワークで実現したものである。

即ち、ニューラルネットワークのシナプスの重みを、
インパルス応答関数の表現と見なし、学習により決定す
る。

また、シナプスの結合は、上記制御理論のインパルス
応答における因果律に基づいて結線する。

このようにしたニューラルネットワークモデルでは、
学習内容の説明が可能になるから、シナプスの結合の仕
方を時系列データに対応させて制約（既定）する。

先ず、ニューラルネットワークモデルにおいて、同じ
インパルス応答関数に対応するシナプス群は、学習時に
同じ値になるように学習させる。

この学習には、例えば第４図に示したようなバックプ
ロパゲーション法を用いる。

この方法は、図示のような入力層、中間層、出力層か
ら成る階層ネットワークに、誤差フィードバックを導入
し、この誤差フィードバック（ネットワークの出力と教
師信号との誤差Ｅをフィードバックする）に基づいて、
シナプスの重み（結合の重み）を調節し、その結果、ネ
ットワークは、入力信号（入力パターン）と出力信号
（出力パターン）との連合を学習し、適切なデータ処理
を実現できるようにするものである。

以上のバックプロパゲーション法の他、公知の種々の
学習方法が適用可能である。

上記の学習方法を適用するに際し、第５図に示すよう
に、入力層と中間層の間のシナプスで同じ時間関係にあ
るものを次のように符号で表わす。

（１） u₁（ｔ−１）とM₁（ｔ−１）間、u₁（ｔ−２）
とM₁（ｔ−２）間、u₁（ｔ−３）とM₁（ｔ−３）間、u₁
（ｔ−４）とM₁（ｔ−４）間、u₁（ｔ−５）とM₁（ｔ−
５）間…のシナプスをそれぞれA₁,A₂,A₃,A₄,A₅…（これ
らをまとめてＡとする）。

（２） u₁（ｔ−２）とM₁（ｔ−１）間、u₁（ｔ−３）
とM₁（ｔ−２）間、u₁（ｔ−４）とM₁（ｔ−３）間、u₁
（ｔ−５）とM₁（ｔ−４）間…のシナプスをそれぞれ
B₁,B₂,B₃,B₄…（これらをまとめてＢとする）。

（３） u₁（ｔ−３）とM₁（ｔ−１）間、u₁（ｔ−４）
とM₁（ｔ−２）間、u₁（ｔ−５）とM₁（ｔ−３）間…の
シナプスをC₁,C₂,C₃…（これらをまとめてＣとする）。

以下同様にして同じ時間関係にあるものをD₁,D₂,D
₃…,E₁,E₂,…のようにする。

上記のＡ（A₁,A₂,A₃…）、Ｂ（B₁,B₂,B₃…）、Ｃ
（C₁,C₂,C₃…）、Ｄ（D₁,D₂,D₃…）、Ｅ（E₁,E₂,E₃…）
…をそれぞれ時系列データで一般的に表現すれば、次の
ようになる。

A:ui（ｔ−ｎ）→Mi（ｔ−ｎ） ｎ＝1,2……k, B:ui（ｔ−ｎ）→Mi（ｔ−ｎ＋１） ｎ＝2,3……k, C:ui（ｔ−ｎ）→Mi（ｔ−ｎ＋２） ｎ＝3,4……k, D:ui（ｔ−ｎ）→Mi（ｔ−ｎ＋３） ｎ＝4,5……k, E:ui（ｔ−ｎ）→Mi（ｔ−ｎ＋４） ｎ＝5,6……k, 以下同様にして、F,G…とする（但しｉ＝1,2,3…）。

例えばｉ＝１とすれば（入力層の第１群）、それぞ
れ、 A:u₁（ｔ−ｎ）→M₁（ｔ−ｎ） ｎ＝1,2……k, B:u₁（ｔ−ｎ）→M₁（ｔ−ｎ＋１） ｎ＝2,3……k, C:u₁（ｔ−ｎ）→M₁（ｔ−ｎ＋２） ｎ＝3,4……k, のようになり、ｉ＝２とすれば、 A:u₂（ｔ−ｎ）→M₂（ｔ−ｎ） ｎ＝1,2……k, B:u₂（ｔ−ｎ）→M₂（ｔ−ｎ＋１） ｎ＝2,3……k, C:u₂（ｔ−ｎ）→M₂（ｔ−ｎ＋２） ｎ＝3,4……k, となる。

第６図は、入力層と出力層との間におけるインパルス
応答関数の説明図である。

図の曲線は、入力層ｕと中間層Ｍのインパルス応答関
数を示し、図示のf₁,f₂,f₃,f₄…は、それぞれインパル
ス応答関数の要素を示す。

図示のように、入力層と中間層と各ユニット間で、同
じ時間関係にあるシナプスA,B,C…（図示の平行線）
は、同じインパルス応答関数の要素となる。即ち、Ａは
f₁に対応し、Ｂはf₂に対応し、Ｃはf₃に対応する。

従って、上記ニューラルネットワークモデルにおい
て、同じインパルス関数に対応するシナプス群を、バッ
クプロパゲーション法等により学習する時に、上記のＡ
（A₁,A₂,A₃…）、Ｂ（B₁,B₂,B₃…）、Ｃ（C₁,C₂,C₃…）
…は、それぞれ同じ値になるように学習させる。

この場合、それぞれ同じインパルス応答関数に対応す
る（同じ時間関係にある）シナプスの重みは、得られた
値の平均値、あるいは最大値等を用いて、同じ値になる
ように学習させるものである。

前記のようにシナプスの結合は、図６のようにA₁（ｉ
＝1,2,…）をf₁、B₁（ｉ＝1,2,…）をf₂、C₁（ｉ＝1,2,
…）をf₃と対応するように、インパルス応答関数の単位
時間当たりの値を図５に示したニューラルネットワーク
の結線に対応させたものである。すなわち、シナプス
は、上記各層の時間遅れの因果律に基づいて結線したも
のである。但し、前記インパルス応答関数の単位時間当
たりの値は、未学習時はディフォルト値（例えば、0.
5）であり、インパルス応答関数になっていないため前
記学習により決定する。

〔発明の効果〕

以上説明したように、本発明によれば次のような効果
がある。

（１） ニューラルネットワークによるプロセスモデル
を作れば、後は、学習により自動的に、インパルス応答
関数、即ちシナプスの重み（パラメータ）が決まる。

（２） シナプス結合の意味付けを、インパルス応答関
数と見なすことで学習内容の説明ができる（シナプスの
説明ができる）。

（３） シナプスをランダムに接続した従来のニューラ
ルネットワークに比べて、学習の収束性も保証できる
（定性モデルを修正することで対応）。

（４） ニューラルネットワークによるプロセスモデル
の固定が容易にできる。

（５） 時系列データを扱うニューラルネットワークモ
デルが容易に実現できる。

【図面の簡単な説明】

第１図は本発明に係るニューラルネットワークモデルの
学習方法の原理図、 第２図乃至第６図は本発明の１実施例を示した図であ
り、 第２図はニューラルネットワークモデルの全体図、 第３図はニューラルネットワークモデルの一部詳細図、 第４図はバックプロパゲーション法による学習の例、 第５図は学習方法の説明図（シナプスの説明）、 第６図は学習方法の説明図（インパルス応答関数の説
明）である。 第７図〜第９図は従来のニューラルネットワークを示し
た図であり、 第７図は中間層が無い例、 第８図は中間層が１つある例、 第９図は中間層が２つある例を示した図である。 １……入力層、２……出力層 ３……シナプス、４……中間層

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】時系列データ｛u₁（ｔ−１）,u₁（ｔ−
   ２）…｝がそれぞれ入力する複数の入力層ユニット（１
   −1,1−2,1−３…）から成る入力層（１）と、 前記入力層ユニット（１−1,1−２…）とそれぞれシナ
   プス（３）により結合され、中間の時系列データ｛M
   ₁（ｔ−１）,M₁（ｔ−２）,M₁（ｔ−３）…｝が入力す
   る複数の中間層ユニット（４−1,4−2,4−３…）から成
   る中間層（４）と、 前記中間層ユニット（４−1,4−２…）とそれぞれシナ
   プス（３）により結合された出力層ユニット（２）とか
   ら成り、 上記シナプス（３）を、上記各層の時間遅れの因果律に
   基づいて結線したニューラルネットワークモデルの学習
   方法において、 上記シナプス（３）の重みを、インパルス応答関数の表
   現とみなし、 同じインパルス応答関数に対応するシナプス群である同
   じ時間関係にあるシナプス群を同じ重みの値となるよう
   に（「A₁,A₂,A₃…」、「B₁,B₂,…」「C₁…」…をそれぞ
   れ同じ重みにする）学習させることを特徴とするニュー
   ラルネットワークモデルの学習方法。