JPH03257659A - ニューラルネットワーク - Google Patents
ニューラルネットワークInfo
- Publication number
- JPH03257659A JPH03257659A JP2057744A JP5774490A JPH03257659A JP H03257659 A JPH03257659 A JP H03257659A JP 2057744 A JP2057744 A JP 2057744A JP 5774490 A JP5774490 A JP 5774490A JP H03257659 A JPH03257659 A JP H03257659A
- Authority
- JP
- Japan
- Prior art keywords
- intermediate layer
- feedback
- neural network
- layer
- general
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 21
- 230000000946 synaptic effect Effects 0.000 claims description 14
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000003909 pattern recognition Methods 0.000 abstract description 5
- 230000003068 static effect Effects 0.000 abstract description 4
- 210000000225 synapse Anatomy 0.000 abstract description 4
- 230000008878 coupling Effects 0.000 abstract 1
- 238000010168 coupling process Methods 0.000 abstract 1
- 238000005859 coupling reaction Methods 0.000 abstract 1
- 238000000034 method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
（ａ）産業上の利用分野
この発明は中間層にフィードバックシナプス結合が含ま
れるニューラルネットワークに関する。
れるニューラルネットワークに関する。
（ｂ）従来の技術
一般のニューラルネットワークは、第４図（Ａ）に示す
ように入力層Ｓと中間層Ａと出力層Ｒとで構成され、ニ
ューロンユニット素子およびシナプスの構造は同図（Ｂ
）に示すようになっている、・、は第ｍＮｉ番目のユニ
ット素子であることを表し、Ｗ″ｈｉは第（ｍ−１）層
り番目からｍ層ｉ番目へのシナプスの結合度を表してい
る。θ、は、第ｍＮｉ番目のしきい値を表す。また、０
１、は、第ｍＮｉ番目のユニット素子の出力をあられす
。なお、同図（Ａ）はパーセブトロン型（階層型）ニュ
ーラルネットワークを示している。このような従来のニ
ューラルネットワークは、３層に人力された信号がＡ層
を経て最終のＲ層に伝達し、Ｒ層から結果を得る。また
、上記の構成では第４図（Ｂ）に示すようにシナプスの
結合は下位（入力側）から上位（出力側）に向けてのも
のだけであるが、上位から下位へのシナプス結合のある
ネットワーク構造も提案されている。このようなフィー
ドバック結合のあるニューラルネットワーク構造では、
ネットワーク内の演算プロセスに時間要素が入るために
単なるパターン認識以上の処理が可能になってくる。
ように入力層Ｓと中間層Ａと出力層Ｒとで構成され、ニ
ューロンユニット素子およびシナプスの構造は同図（Ｂ
）に示すようになっている、・、は第ｍＮｉ番目のユニ
ット素子であることを表し、Ｗ″ｈｉは第（ｍ−１）層
り番目からｍ層ｉ番目へのシナプスの結合度を表してい
る。θ、は、第ｍＮｉ番目のしきい値を表す。また、０
１、は、第ｍＮｉ番目のユニット素子の出力をあられす
。なお、同図（Ａ）はパーセブトロン型（階層型）ニュ
ーラルネットワークを示している。このような従来のニ
ューラルネットワークは、３層に人力された信号がＡ層
を経て最終のＲ層に伝達し、Ｒ層から結果を得る。また
、上記の構成では第４図（Ｂ）に示すようにシナプスの
結合は下位（入力側）から上位（出力側）に向けてのも
のだけであるが、上位から下位へのシナプス結合のある
ネットワーク構造も提案されている。このようなフィー
ドバック結合のあるニューラルネットワーク構造では、
ネットワーク内の演算プロセスに時間要素が入るために
単なるパターン認識以上の処理が可能になってくる。
（Ｃ）発明が解決しようとする課題
しかし、パターンＬ２ 識など線形処理を行わせように
するときには、−ｇにはフィードバンク中間層がない方
がよい。フィートバンク中間層があるとニューラルネッ
トワーク内の動作が複雑となり、収束しにくくなる可能
性が高くなるからである一方、入カバターンが時間関数
を含む二次元パターンの場合などにはフィードバック中
間層がなければ対応が不可能である。
するときには、−ｇにはフィードバンク中間層がない方
がよい。フィートバンク中間層があるとニューラルネッ
トワーク内の動作が複雑となり、収束しにくくなる可能
性が高くなるからである一方、入カバターンが時間関数
を含む二次元パターンの場合などにはフィードバック中
間層がなければ対応が不可能である。
この発明の目的は、フィードバック中間層を接続自在に
することによって上記の問題を解決することのできるニ
ューラルネットワークを提供することを目的とする。
することによって上記の問題を解決することのできるニ
ューラルネットワークを提供することを目的とする。
（ｄ）課題を解決するための手段
この発明は、ニューロンユニット間のシナプス結合に上
位から下位に情報伝達するフィードバックシナプス結合
が含まれる中間層が存在するニューラルネットワークに
おいて、 前記フィードバックシナプス結合の含まれるフィードバ
ック中間層と一般中間層とを別々に設けるともに、前記
フィードバンク中間層を前記一般中間層の前段または後
段に接続自在にしたことを特徴とするニューラルネット
ワーク。
位から下位に情報伝達するフィードバックシナプス結合
が含まれる中間層が存在するニューラルネットワークに
おいて、 前記フィードバックシナプス結合の含まれるフィードバ
ック中間層と一般中間層とを別々に設けるともに、前記
フィードバンク中間層を前記一般中間層の前段または後
段に接続自在にしたことを特徴とするニューラルネット
ワーク。
（ｅ）作用
この発明のニューラルネットワークでは、フィードバッ
ク中間層を一般中間層の前段または後段に接続自在であ
るために、パターン認識や線形処理を行う制御部を構成
する場合にはフィードバック中間層を取り外す。また、
時系列動作を行う制御部などを構成するときには必要に
応して一般中間層の前段または後段に単一または複数の
フィードバック中間層を接続する。このように構成する
ことでパターン認識処理を行うことができるとともに、
時系列動作を行うシュミレータとしても構成することが
できる。
ク中間層を一般中間層の前段または後段に接続自在であ
るために、パターン認識や線形処理を行う制御部を構成
する場合にはフィードバック中間層を取り外す。また、
時系列動作を行う制御部などを構成するときには必要に
応して一般中間層の前段または後段に単一または複数の
フィードバック中間層を接続する。このように構成する
ことでパターン認識処理を行うことができるとともに、
時系列動作を行うシュミレータとしても構成することが
できる。
（ｆ）実施例
第１図はこの発明の実施例であるニューラルネットワー
クの構成図を示している。構成において第４図（Ａ）示
す従来のニューラルネットワークと相異する点は、フィ
ードバック中間層Ｘが一般中間層への前段に接続されて
いる点である。このフィードハ゛・ンク中間層Ｘはコネ
クタＣ１，Ｃ２によってそれぞれ入力層Ｓ、一般中間層
Ａに接続されている。コネクク層Ｃ１，Ｃ２は各端子と
その端子に対向する相手側の全ての端子との間を接続す
る。
クの構成図を示している。構成において第４図（Ａ）示
す従来のニューラルネットワークと相異する点は、フィ
ードバック中間層Ｘが一般中間層への前段に接続されて
いる点である。このフィードハ゛・ンク中間層Ｘはコネ
クタＣ１，Ｃ２によってそれぞれ入力層Ｓ、一般中間層
Ａに接続されている。コネクク層Ｃ１，Ｃ２は各端子と
その端子に対向する相手側の全ての端子との間を接続す
る。
第２図は上記フィードバック中間層Ｘの一部詳細図を示
している。図において、ｓ ｎ Ｉ〜ｓｎ３がフィード
バックシナプス結合を表し、Ｘ Ｉ’ｌ 、はフィード
バックの量を示している。またｋは時間である。例えば
、シナプスｓｎｌは、時間にのフィードバック量ｘ′
（ｋ）を次の時間に＋１にて同じユニット素子の入力
側に戻す。また、シナプスｓｎ２は、時間にのフィード
バック量Ｘ″ｊを次の時間に＋１にて第ｎＮｉ番目のユ
ニットの入力端に返す。このようなユニット素子と各ユ
ニット素子間をフィードバックシナプス結合で接続する
構成は、フィードバック中間層Ｘの至るところに配置さ
れている。
している。図において、ｓ ｎ Ｉ〜ｓｎ３がフィード
バックシナプス結合を表し、Ｘ Ｉ’ｌ 、はフィード
バックの量を示している。またｋは時間である。例えば
、シナプスｓｎｌは、時間にのフィードバック量ｘ′
（ｋ）を次の時間に＋１にて同じユニット素子の入力
側に戻す。また、シナプスｓｎ２は、時間にのフィード
バック量Ｘ″ｊを次の時間に＋１にて第ｎＮｉ番目のユ
ニットの入力端に返す。このようなユニット素子と各ユ
ニット素子間をフィードバックシナプス結合で接続する
構成は、フィードバック中間層Ｘの至るところに配置さ
れている。
次に、第１図に示す構成のニューラルネットワークにお
いて実際に学習させる方法について説明する。学習の方
法は公知のエラーバックプロパゲーション法を使用する
。第３図はこの学習方法の一例を示している。なお、図
においてはフィードバックシナプス結合を出力層Ｒと中
間層Ｘの入力間に設けたが、これは理解を容易にするた
めである。実際には、上述のようにフィードバックシナ
プス結合はフィードバック中間層Ｘに存在している。
いて実際に学習させる方法について説明する。学習の方
法は公知のエラーバックプロパゲーション法を使用する
。第３図はこの学習方法の一例を示している。なお、図
においてはフィードバックシナプス結合を出力層Ｒと中
間層Ｘの入力間に設けたが、これは理解を容易にするた
めである。実際には、上述のようにフィードバックシナ
プス結合はフィードバック中間層Ｘに存在している。
先ず１＝０のときの入力信号に対して教師信号ｓｌを出
力層Ｒに対して与える。続いてｔ＝１の入力信号に対し
て教師信号ｓ２を出力層Ｒに対して与える。さらにｔ＝
２のときの入力信号に対して教師信号ｓ３を出力層Ｒに
対して与える。この動作を連続して行うことによって学
習が行われる。そして、同図に示すようにｔ＝ｌにおい
てはフィードバック中間ＭＸに対してｔ＝０の時の出力
ＯＵＴがフィードバックされる。またｔ＝２においては
フィードバック中間層Ｘに対してｔ＝１の出力のＯＵＴ
がフィードバックされる。従って、この動作を繰り返し
ているときに各フィードバックシナプス結合の結合度が
挙動しニューラルネットワーク全体として動的な非線形
モデルを構成できるようになる。
力層Ｒに対して与える。続いてｔ＝１の入力信号に対し
て教師信号ｓ２を出力層Ｒに対して与える。さらにｔ＝
２のときの入力信号に対して教師信号ｓ３を出力層Ｒに
対して与える。この動作を連続して行うことによって学
習が行われる。そして、同図に示すようにｔ＝ｌにおい
てはフィードバック中間ＭＸに対してｔ＝０の時の出力
ＯＵＴがフィードバックされる。またｔ＝２においては
フィードバック中間層Ｘに対してｔ＝１の出力のＯＵＴ
がフィードバックされる。従って、この動作を繰り返し
ているときに各フィードバックシナプス結合の結合度が
挙動しニューラルネットワーク全体として動的な非線形
モデルを構成できるようになる。
一方、通常のパターン認識などをおこｌわせるときには
、第１図においてフィードハック中間層Ｘを取り外す。
、第１図においてフィードハック中間層Ｘを取り外す。
即ち、人力層Ｓに対して一般中間ｉＡを直接に接続する
。
。
（８）発明の効果
この発明によれば、フィードバック中間層を一般中間層
とは別に設け、このフィードバンク中間層を一般中間層
の前段または後段に接続自在にしているため、静的処理
を行わせようとする場合にはフィードバンク中間層を外
し、動的処理を行わせようとする時にはフィードバック
中間層を一般中間層の前段または後段に適当な数接続す
ることができるようになる。従って、静的／動的処理に
応じて最適な構造のニューラルネットワークを得ること
ができる。
とは別に設け、このフィードバンク中間層を一般中間層
の前段または後段に接続自在にしているため、静的処理
を行わせようとする場合にはフィードバンク中間層を外
し、動的処理を行わせようとする時にはフィードバック
中間層を一般中間層の前段または後段に適当な数接続す
ることができるようになる。従って、静的／動的処理に
応じて最適な構造のニューラルネットワークを得ること
ができる。
Claims (1)
- （１）ニューロンユニット間のシナプス結合に上位から
下位に情報伝達するフィードバックシナプス結合が含ま
れる中間層が存在するニューラルネットワークにおいて
、 前記フィードバックシナプス結合の含まれるフィードバ
ック中間層と一般中間層とを別々に設けるともに、前記
フィードバック中間層を前記一般中間層の前段または後
段に接続自在にしたことを特徴とするニューラルネット
ワーク。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2057744A JPH03257659A (ja) | 1990-03-08 | 1990-03-08 | ニューラルネットワーク |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2057744A JPH03257659A (ja) | 1990-03-08 | 1990-03-08 | ニューラルネットワーク |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH03257659A true JPH03257659A (ja) | 1991-11-18 |
Family
ID=13064416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2057744A Pending JPH03257659A (ja) | 1990-03-08 | 1990-03-08 | ニューラルネットワーク |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH03257659A (ja) |
-
1990
- 1990-03-08 JP JP2057744A patent/JPH03257659A/ja active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3121767A1 (en) | Methods and systems for implementing deep spiking neural networks | |
| Zhao et al. | Synchronization of coupled memristive competitive BAM neural networks with different time scales | |
| Li et al. | A hardware/software co-design approach for face recognition | |
| JPH03250243A (ja) | 神経回路網演算装置 | |
| JPH03257659A (ja) | ニューラルネットワーク | |
| JPH04237388A (ja) | ニューロプロセッサ | |
| JP3205873B2 (ja) | カオス回路網 | |
| JPH0440581A (ja) | ニューロプロセッサ | |
| Matsuoka | An associative network with cross inhibitory connections | |
| JPH03257658A (ja) | ニューラルネットワークの動的システムモデル化方法 | |
| CA2898216C (en) | Methods and systems for implementing deep spiking neural networks | |
| JP2544489B2 (ja) | ニュ―ラルネットワ―クモデルの学習方法 | |
| JP3296609B2 (ja) | メンバーシップ関数を出力するニューラルネットワーク | |
| Poon et al. | Hebbian learning in parallel and modular memories | |
| JPH0394364A (ja) | ニューラルネットワーク | |
| JP3343626B2 (ja) | ファジィ推論のためのニューラルネットワーク | |
| JP2654686B2 (ja) | ニューラルネットワーク | |
| JPH03265077A (ja) | フィードバック神経細胞モデル | |
| JPH0652338A (ja) | メンバーシップ関数を発生するニューラルネットワーク | |
| JPH04186402A (ja) | フアジイ推論における学習方式 | |
| JPH03268074A (ja) | パターン認識方式および装置 | |
| JPH08249303A (ja) | 信号処理装置 | |
| JPH06149768A (ja) | 信号処理装置 | |
| Rehak et al. | Neural Computing for Intelligent Structural System s | |
| Kufudaki et al. | 43. ASSOCIATIVE NEURAL NETWORKS WITH THRESHOLD-CONTROLLED ATTENTION |