JPH03102459A

JPH03102459A - 神経回路網装置

Info

Publication number: JPH03102459A
Application number: JP1239506A
Authority: JP
Inventors: Akimasa Shirosaka; 城坂　晃正
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1989-09-14
Filing date: 1989-09-14
Publication date: 1991-04-26

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［発明の目的］（産業上の利用分野）本発明は、神経回路網装置に係わり、特に神経回路網を
流れる信号の時間的変化を情報とする神経回路網装置に
関する。

（従来の技術）従来、神経回路網を流れる信号の時間的変化を情報とす
る神経回路網として、以下のような提案がなされている
。

第１に、神経回路網の定常状態をもたらす幻称なシナプ
スＪｌｉｊと、定常状態間の状態遷移をもたらす非対称
なシナプスＪ２ｉｊを用い例えばＡ→Ｂ→Ｃの入力信号
、或いはＨ−Ｂ→Ｃの入力信号に対しＢ−Ｃ部分か同じ
である場含には同一出力αを出力するというように、複
数列の入力信号のうち、最後の方の所定数の入力信号に
対して所定の出力を出す方式。（｝Ｉ．Ｓｏｍｐｏｌｉ
ｎｓｋｙ　ａｎｄ　ＩＫａｎｔｅｒ　　ｒＴｅｍｐｏｒ
ａｌ　Ａｓｓｏｃｉａｔｉｏｎ　ｉｎ　Ａｓｙｍｍｅｔ
ｒｉｃＮｅｕｒａｌ　ＮｅｔｗｏｒｋｓＪ　Ｐｈｙｓｉ
ｃａｌ　Ｒｅｖｉｅｗ　Ｌｅｔｔｅｒｓ　Ｖｏ１．５７
　Ｎｏ．２２ｐ．Ｉｌ＋．２８ｆｉｌ　１９８ｆｉ）。

第２に、ニューロンか発火してからシナプスに到達ずる
まての軸策ての信号伝達の遅れや、ニューロンからの信
号がシナプスに到着してからそのシナプスの出力を受け
るニューロンに信号が伝わるまでのシナプス接合遅れな
どを始めから神経同路網に固定的に導入し、この神経回
路網に時間的に変化する信号を学習させる方式（Ａ．ｌ
ｌｅｒｔｚ，ＢＳｉｌｚｅｒ，Ｒ．Ｋｕｈｎ．ａｎｄ　
Ｊ．ｌ，．ｖａｎ　ｌｉｅｍｍｅｎ　ｒ　ｌｌｅｔ＋ｂ
ｔａｎＬｅａｒｎｉｎｇ　Ｒｅｃｏｎｓｉｄｅｒｅｃｌ
：Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ　ｏｒＳｔａｔｉｃ　
　ａｎｄ　　Ｄｙｎａｍｉｃ　　Ｏｂｊｅｃｔｓ　　ｉ
ｎ　　ＡｓｓｏｃｉａＬｉｖｅＮｅｕｒａｌ　　Ｎｅｔ
ｓ　　Ｊ　　Ｂｉｏｌｏｇｉｃａｌ　　Ｃｙｂｅｒｎｅ
ｔｉｃｓ　　ｖｏｌ．．８０ｐｐ．４５７　　１．９８
９）。

第３に、出力が新たな入力となる構造を持った相互想起
神経回路網を用いる方式。

（発明か解決しようとする課題）しかしながら、この秤の従来よりの手法にあっては次の
ような問題点かあった。

すなわち、第１の手法では、直前の１＋１力のみから新
しい出力を求めるため、例えば、同一の神経回路網で文
字列のＡ　−　Ｂ−Ｃを分類１と認識し、Ｈ−Ｂ−Ｃも
分類１と認識してしまい兄なる入力信号に対して具なる
分類をすることができない。

また、入出力関係の学習ができないため、実現できる機
能に限界がある。

第２の手法では、軸策やンナブス接合の信号伝達の遅れ
を学習に活用する。ここでの学習は、あらかしめ存在し
ている神経回路網から信号の時間的変化に対応したシナ
プスを選び出すことであるので、存在しない信号の時間
的変化は学習できな３い。また、実現したい時系列にあった軸策やシナプス接
合の信号遅れを作り出さなければならない第３の手法で
は、第１の方式と同様直前の出力のみから新しい出力を
求めるため、例えば同一の神経回路網で文字列のＡＢＣ
を分類１と認識し、ＨＢＣを分類２と認識できないなど
第１の方式と同様の問題点がある。

そこで、本発明は、直前以前の信号の変化を含めて任意
の神経回路網の信号変化を悄報とすることが出来る神経
回路網装置を提供することを目的とする。

［発明の構戊］（課題を解決するための手段）」二記課題を解決する本発明の神経回路網装置は、神経
回路網の各種演算要素のうち少なくとも一つの要素の演
算基準になる所量を時系列的に入力されるデータに応じ
て時間的に変化させることを特徴とする。

（作用）本発明では、神経回路網の各種演算要素のう４ち少なくとも一つの要素、例えばシナプス効率の値を、
時系列的に入力されるデータに応して時間的に変化させ
る。

したがって、神経回路網の構造に制限されずに、例えば
シナプス効率の値を入力データに応じて任意の方式で学
習させることかできる。

（実施例）以下、本発明の実施利を説門する。

第１図は、木発明の実施例に係わる２入力ＡＮＤの演算
を行なう神経回路網装置の説明図である。

第１−図に示す如く、時間ｔの関数として入力■（１）
を受ける一つの入力ニューロン１と、値０（１）を取る
一つの出力ニューロン２と、これらをつなぐ値Ｊ　　（
ｔ）の一つのシナプス３を持つ神経回路網装置において
、始めに２入力ＡＮＤ　［ＤＡＮＤ．Ｄ２　］の第１の
データＤ丁を入力ニューロン］に提示し、次の時間に２
入力ＡＮＤの第２のデータＤ２を人カニューロン１−に
提示する。

２入力ＡＮＤの第２のデータＤ２を入力ニューロン１に
提示した次の時間の出力ニューロン２の値を演算結果と
する。シナプス３の初期値は１とし、人出力は（０，１
＋の二値を用い、ニューロンの入出力関数にはしきい値
が５のステップ関数ｅを用いるものとする。また、シナ
プス３の値Ｊ　（ｔ）は入力１　　（ｔ）に対し以下の
ような関数であるとする。

Ｊ（ｔ＋１）・Ｊ（１）＋１（１）＊６　　　　　　　
　　　　　・・・（１）なお、各演算の始めには、あら
かじめシナプス値を初期値１に設定し直す。

神経回路網の動作を示す式は、以下のようになる。

０　（＋＋１）−　ｅ（Ｊ（１）目（＋）−５）　　　
　　　　・・（２）ｅ　（ｘ）＝１　（ｘ＞−０のとき
）＝０　（ｘ＜Ｑのとき）　　　　　・（３）次に、この
神経口路網か２入力ＡＮＤの演算を行えることを、式（
１）．　＜２），　（３）を用い、すべての入力の組合
せについて示す。　《入力が［０．ＡＮＤＯ１の場合の
演算》時刻１に「０」、時刻２に「０」が入力ニューロン１に
提示される。各時刻の出力○（１）及びンナブス値Ｊ　
（ｔ）は以下のようになる。

０　（１）　＝Ｏ　（不定）Ｊ　　（１）　　＝１時刻２０　（２）＝ｅ　（１＊０−５）＝ＯＪ　（２）＝１．＋０＊６＝１時刻３０　（３）−ｅ　（１＊０−５）＝ＯＪ　（３）　−１＋Ｏ＊６＝１以上より、神経回路網の出力は「０」になることがわか
る。

《入力が［　１−　．　Ａ　Ｎ　Ｄ　．　　Ｏ　］の場
合の演算》時刻１に「１」、時刻２に「０」が入力ニュ
ーロン１に提示される。各時刻の出力値、及びシナプス
値は以下のようになる。

時刻１０　（１）　＝ＯＪ（１）＝１時刻２０　（２）　＝０　（１＊］．−５）　一〇Ｊ　（２）
＝１＋１．＊６＝７７時刻３０　（３）　＝０　（７＊Ｏ−５）　一〇Ｊ　（３）＝
７＋０＊６＝７以上より、神経回路網の出力は「０」になることがわか
る。

《入力が［１．ＡＮＤ．１］の場合の演算》時刻１に「
１」、時刻２に「］」が入カニュロン１に提示される。

各時刻の出力値、及びシナプス値は以下のようになる。

時刻１０　（１）　＝ＯＪ　（１）　＝１時刻２０　（２）＝ｅ　（１＊１−５）＝ＯＪ　（２）＝１＋１＊６＝７時刻３ｏ　（３）　＝ｅ　（７＊１−５）　＝１Ｊ　（３）＝
７＋１＊６＝１３以上より、神経回路網の出力は「１−」になることがわ
かる。

８《入力が［０．ＡＮＤ．１］の場合の演算》時刻１−に
「０」、時刻２に「１」か入力ニューロン１に提示され
る。各時刻の出力値、及びンスプス値は以下のようにな
る。

時刻］０（１．）＝ＯＪ　（１）　−１時刻２０　（２）＝ｅ　（１＊０−５）＝ＯＪ　（　２　）　＝　１　＋　Ｏ　＊　６　＝　１．時
刻３０　（３）　一〇　〇＊１−５）＝ＯＪ　（３）＝１＋１．＊６＝７以上より、神経回路網の出力はｒＯＪになることがわか
る。

かくして、本例によればこの神経回路網装置で二入力Ａ
ＮＤか実現できることがわかる。

第２図は、本発明の実施例に係わる３入力Ａ．　ＮＤ　
［Ｄ，．ＡＴｈｌＤ．Ｄ２　．ＡＮＤ．Ｄ３　］の演算
を行なう神経回路網装置の説明図である。第１図と同様
に、一つの入力ニューロン４と、一つの出力ニューロン
５と、これらをつなぐ一つのシナプス６を持つ神経回路
網装置を用いる。入力は、始めに３入力ＡＮＤの第１の
データＤ１を入カニューロン４に提示し、次の時間に３
入力ＡＮＤの第２のデータＤ２を入力ニューロン４に提
示し、次の時間に３入力ＡＮＤの最後のデータＤ３を入
力ニューロン４に提示する。３入力ＡＮＤの最後のデー
タＤ３を入力ニューロン４に提示した次の時間の出力ニ
ューロン５の峙０（ｔ）を演算結果とする。シナプスの
初期値は１とし、人出力は｛０１｝の二値を用い、ニュ
ーロンの入出力関数にはしきい値か５のステップ関数ｅ
を用いる。シスプス６の値Ｊ　（ｔ）は入力１　　（ｔ
）に対し以下のような関数により与えられるとする。

ＪＮ＋１）＝Ｊ（１）＋ｌ（１）！６−３　　　　　　
　　　　　・・＜４）また、各演算の始めには、あらか
じめシナプス値を初期値に設定し直す。

神経回路網の動作を示す式は、以下のようになる。

０　（　＋＋１）−　ｅ　（Ｊ（＋）口（　ｔ　）　−
　５　）　　　　　　　−　（５）ｅ　（ｘ）−１（ｘ
＞−０のとき） −Ｏ　（Ｘ＜−０のとき）　　　　　　　　　　　　．
＝　（６）次に、この神経回路網が３入力ＡＮＤの演算
を行えることを、式（４Ｌ　（５Ｌ　（６）を用い、す
べての入力の紹合せについてを示す。

＜入力か［０．ＡＮＤ．０，ＡＮＤ，Ｏ］の場合の演算
》時刻１に「０」、時刻２に「０」、晴刻３に「０」が入
力ニューロン４に提示される。各時刻の出力値、及びシ
ナプス値は以下のようになる。

時刻１０（１．）＝ＯＪ（１）＝１時刻２０　（２）　＝６　（］．＊０−５）　＝ＯＪ　（２）
＝１＋Ｏ＊６−３＝−２時刻３０　（３）＝ｅ　（．−２＊Ｏ−５）＝ＯＪ　（　３　
）　＝　−　２　＋　０　＊　６　−．３−−５時刻４１１０　　（４）　　一〇　　（−５＊０−５）　　−０Ｊ
　　（４）　　＝−５＋０＊６−３　−−８以上より、
神経回路網の出力は「０」になることがわかる。

《入力が［０．ＡＮＤ．１．ＡＮＤ．Ｏ］の場合の演算時刻１に「０」、時刻２に「１」、時刻３に「０」が入
力ニューロン４に提示される。各時刻の出力値、及びシ
ナプス値は以下のようになる。

時刻１０（１）　＝ＯＪ　（１）　＝１時刻２０　（２）−ｅ　（１＊Ｏ−５）　一〇Ｊ　（２）＝１
→−０＊６−３＝−２時刻３０　（３）＝ｅ　（−２＊１−５）＝ＯＪ　（３）−−
２−１−１＊６−３−１時刻４０　（４）＝ｅ　（１＊Ｏ−５）＝０コ２Ｊ　　（４）　　−１＋０＊６−３　−−２以上より、
神経回路網の出力は「０」になることがわかる。

《入力が０．ＡＮＤ．０．ＡＮＤ．１］　の場合の演算
》時刻１に「Ｏ」、時刻２に「０」、時刻３に「１」が入
力ニューロン４に提示される。各時刻の出力値、及びシ
ナプス値は以下のようになる。

時刻１０　（１）　＝ＯＪ　（１）　＝１時刻２０　（２）＝ｅ　（１＊０−５）＝ＯＪ　（２）＝１＋Ｃｌｋ６−３＝−２時刻３０　（３）　＝ｅ　（−２＊］一５）　＝ＯＪ　（　３
　）　一−　２　十〇　＊　６　−　３　＝　−　５時
刻４０　（４）＝６　（−５＊１−５）＝ＯＪ　（４）　一
一５＋１＊６−３＝−２以上より、神経回路網の出力は
「０」になることがわかる。

《入力が［０．ＡＮＤ．１．ＡＮＤ．１１の場合の演算
》時刻１に「０」、時刻２「１」、時刻３に「１」が入力
ニューロン４に提示される。各時刻の出力値、及びシナ
プス値は以下のようになる。

時刻１０（１．）＝ＯＪ　（１）　＝１時刻２０　（２）＝ｅ　（１＊０−５）＝ＯＪ　　（２）＝１＋Ｏ＊６−３＝−２時刻３０　（３）　＝ｅ　（−２＊１−５）　＝ＯＪ　（３）
　一−２＋１＊６−３＝１時刻４０　（４）−ｅ　（１＊１−５）＝ＯＪ　（４）＝１＋１．＊６−３＝４以上より、神経回路網の出力は「０」になることかわか
る。

《入力か［１．ＡＮＤ．０．ＡＮＤ．０１の場合の演算
》時刻１に「１」、時刻２「０」、時刻３に「０」が入力
ニューロン４に提示される。各時刻の出力値、及びシナ
プス値は以下のようになる。

時刻１０（１．）＝ＯＪ（１）＝１時刻２０　（２）　＝ｅ　（１＊１．−５）　＝ＯＪ　（２）
＝１．＋ｉ＊６−３＝４時刻３０　（３）＝６　（４＊０−５）＝ＯＪ　（３）＝４＋０＊６−３＝１時刻４０　（４）　＝ｅ　（］．＊０−５）　＝ＯＪ　（４）
＝１＋０＊６−３−−２以上より、神経回路網の出力は「ｏ」になることがわか
る。

１５《入力が［１．ＡＮＤ．１．Ａ．ＮＤ．Ｏ］の場合の演
算》時刻１に「１」、時刻２に「１」、時刻３にｒＯＪが入
力ニューロン４に提示される。各時刻の出力値、及びシ
ナプス値は以下のようになる。

時刻１０　（１）　＝ＯＪ　（１）　＝１時刻２０　（２）　＝０　（１＊１−５）　＝ＯＪ　（２）＝
１＋１＊６−３＝４時刻３０　（３）＝ｅ　（４＊１−５）＝ＯＪ　（３）＝４＋１＊６−３＝７時刻４０　（４）＝０　（７＊０−５）＝ＯＪ　（４）−７＋０＊６−３＝４以上より、神経回路網の出力は「０」になることがわか
る。

《入力が［１．ＡＮＤ．Ｏ．ＡＮＤ．１コの場１　６合の演算》時刻１に「１」、時刻２に「０」、時刻３に「１」が入
力ニューロン４に提示される。各時刻の出力値、及びシ
ナプス値は以下のようになる。

時刻１０　（１）　＝ＯＪ　（１）　＝１時刻２０　（２）　＝○（１＊１−５）＝ＯＪ　（２）＝１＋１＊６−３＝４時刻３０　（３）＝ｅ　（４＊Ｏ−５）＝ＯＪ　（３）＝４＋Ｏ＊６−３＝１時刻４０　（４）　＝ｅ　（］）１−５）　＝ＯＪ　（４）＝
１−１−１＊６−３＝４以上より、神経回路網の出力はｒＯＪになることがわか
る。

《入力が［１．ＡＮＤ、１，ＡＮＤ、］］の場合の演算
》時刻１に「１−」、時刻２に「］」、時刻３に「１」が
入力ニューロン４に提示される。各時刻の出力値、及び
シナプス値は以下のようになる。

時刻］ ○（１）　＝ＯＪ　（１）　＝１時刻２０　（２）＝ｅ　（１＊１−５）　一〇Ｊ　（２）＝１
＋１＊６−３＝４時刻３０　（３）　＝ｅ　（４＊１−５）　＝ＯＪ　（３）＝
４＋１＊６−３＝７時刻４０　　（４）　　一〇　　（７＊１−５）　　＝１Ｊ　
　（４）　　＝７＋１＊６−３＝１０以上より、神経回
路網の出力は「］」になることがわかる。

かくして、木的によればこの神経回路網装置で３入力Ａ
ＮＤが実現できることがわかる。

以上のように本例によれば、シナプス３，６に到達する
信号に応じてシナプス３，６の値を一時的に変化させる
ことにより、神経回路網の信号変化を神経回路網で扱え
る情報に変換でき、神経回路網で任意の神経回路網の信
号変化を情報とすることができる。また、直前以前の神
経回路網の信号の変化を情報とすることもできる。

次に、シナプスか、シナプスに到達する信号に応じて変
化する要素及び変化しない要素を共存させた場合の実施
例を説明する。

第３図は、２入力ＡＮＤの演算を行なう神経回路網装置
の説明図である。第３図に示す如く、つの入力ニューロ
ン７と、一つの出力ニューロン８と、これらをつなく一
つのシナプス９を持つ神経回路網装置を作或する。入力
は、始めに２入力ＡＮＤの第１のデータＤ，を人カニュ
ーロン７に提示し、次の時間に２入力ＡＮＤの第２のデ
ータＤ２を入力ニューロン７に提示する。２入力Ａ．　
ＮＤの第２のデータＤ２を入力ニューロン７に入力した
次の時間の出力ニューロン８の値を演′！５粘果とする
。入出力はｆＯ，１１　の二値を用い、ニュ１９ロンの入出力関数にはしきい値が５のステップ関数ｅを
用いる。シナプスａは、シナプスに到達する信号に応し
て一時的に変化しない戊分９Ａと、シナプスに到達する
信号に応して一時的に変化する成分９Ｂとからなり、或
分９Ａの値ＪＯは１、戊分Ｂの値Ｊｌ（ｔ）は以下のよ
うな関数とする。

Ｊｌ（＋＋１）＝Ｊ１（１）＋ｌ（１）＊６　　　　　
　　　　　　　　　　　　−（７）なお、各演算の始め
には、あらかじめＪ１をゼロに設定し直す神経回路網の動作を示す図式は、以下のようになる。

０　（　１＋１）＝　ｅ　（Ｊ（１）ＸＩ（１）−５）
　　　　　　　　・・（８）ｅ　（ｘ）　−１　（ｘ＞
＝Ｑのとき）＝０　（ｘ＜０のとき）　　　　　　・・
・（９｝Ｊ　　（ｔ）＝ＪＯ＋Ｊ１　　（ｔ）　　　　
　　　　・・・〈１０〉次に、この神経回路網が２入力
ＡＮＤの演算を行えることを、式（７）（８）（９）（
１．０）を用い、スヘての入力の組合せについて示ス。

（入力が［０．ＡＮＤ．０］の場合の演算）時刻１に「
０」、時刻２に「０」が入カニュー２　０ロン７に提示される。各時刻の出力値、及びシナプス値
は以下のようになる。

時刻１０　（１）　−０Ｊｌ　（１）　＝ＯＪ　（１）　＝１−１−０−１時刻２０　（２）　＝６　（１＊Ｏ−５）　＝ＯＪ　１　（２
）＝Ｏ＋０＊６＝ＯＪ　（２）　−１＋Ｏ＝１時刻３０　（３）＝ｅ　（１＊０−５）　一〇Ｊｌ　（３）＝
Ｏ＋Ｏ＊６＝ＯＪ　（３）＝１＋Ｏ＝１以上より、神経回路網の出力はｒＯＪになることがわか
る。

《入力が［　］．　．　Ａ　Ｎ　Ｄ　，　　Ｑ　］の場
合の演算〉時刻１に「１」、時刻２にｒＯＪが入力ニュ
ロン７に提示される。各時刻の出力値、及びシナプス値
は以下のようになる。

時刻１０（１．）＝ＯＪｌ（１）＝ＯＪ　（１）＝１＋０＝１時刻２０　（２）＝ｅ　（１＊１−５）＝ＯＪ　］．　（２）　＝０＋１　＊６＝６Ｊ　（２）＝１
＋６＝７時刻３０　（３）＝ｅ　（７＊Ｏ−５）＝ＯＪ　］．（３）＝６＋０＊６＝６Ｊ　（３）＝１＋６＝７以」二より、神経口路網の出力は「０」になることかわ
かる。

（入力が［１．ＡＮＤ．１］の場合の演算）時刻］に「
１−」、時刻２に「１」か入力ニューロン７に提示され
る。各時刻の出力値、及びシナプス値は以下のようにな
る。

時刻１０　（１）　一〇Ｊｌ（１．）＝ＯＪ　　（１）　　＝１＋０＝１時刻２０　（２）　＝ｅ　（］．＊１−５）　＝ＯＪ　１　（
２）　＝０＋１　＊６＝６Ｊ　（２）＝１＋６＝７時刻３０　（３）　＝＝ｅ　（７＊１−５）　＝１Ｊ　１　（
３）　＝６＋１＊６＝１．２Ｊ　（３）＝１．＋１２＝
１３以上より、神経回路網の出力は「１−」になることがわ
かる。

《入力が１０、ＡＮＤ．１］の場合の演算）時刻１に「
０」、時刻２に「コ−」が入カニューロン７提示される
。各時刻の出力値、及びンナブス値は以下のようになる
。

時刻１０　（１）　＝ＯＪｌ（１）一〇Ｊ　（１）＝１＋０＝１２３時刻２０　（２）＝ｅ　（１＊Ｏ−５）−０Ｊ　１　（２）＝０＋Ｏ＊６＝ＯＪ２＝１＋０＝１時刻３０　（３）−ｅ　（１＊１−５）−０Ｊ　１　（３）＝Ｏ＋１＊６＝６Ｊ　　（３）＝１＋６＝７以上より、神経回路網の出力は「０」になることがわか
る。

かくして、本例によればこの神経回路網装置で二入力Ａ
ＮＤが実現できることがわかる。

第４図は、他の実施例に係わる３入力ＡＮＤの演算を行
なう神経回路網装置の説明図である。第３図と同様に、
一つの入力ニューロン１０と、つの出力ニューロン１１
と、これらをつなぐ一つのシナプス１２を持つ神経回路
網装置を用いる。

入力は、始めに３入力ＡＮＤの第１のデータＤ１を入力
ニューロンに提示し、次の時間に３入力ＡＮＤの第２の
データＤ２を入カニューロンに提示２　４し、次の時間に３入力ＡＮＤの最後のデータＤ３ヲ入力
ニューロン１０に堤示する。３入力ＡＮＤの最後のデー
タＤ３を入力ニューロンに提示した次の時間の出力ニュ
ーロンの値を演算結果とする。

入出力は｛０，↓｝の二値を用い、ニューロンの入出力
関数にはしきい値か５のステップ関数Ｏを用いる。シナ
プスＪ１’２は、シナプスに到達する信号に応じて一時
的に変化しない成分１２Ａと、シナプスに到達する信号
に応して一時的に変化する或分］−２Ｂとからなり、或
分１２Ａの値ＪＯは１、成分］−２Ｂの値Ｊ］．（ｔ）
は以下のような関数とする。

Ｊｌ（ｆ＋１）＝Ｊｌ（１）＋＋（１）末６　−　３　
　　　　　　　　　−（Ｉ＋＞また、各演算の始めには
、あらかじめＪ１−をゼロに設定し直す。

神経回路網の動作を示す式は、以下のようになる。

○（　　１＋１）−　　ｅ　（Ｊ（１）宋１（１）−５
）　　　　　　　　　　　・・（１２）ｅ　（ｘ）−１
　（ｘ＞＝０のとき）＝Ｏ　＜Ｘ＜Ｏのとき）　　　　　　・（１３）Ｊ　　
（ｔ）　　＝ＪＯ＋Ｊ１　　（ｔ）　　　　　　　　　
　　　・・・（印次に、この神経回路網が３入力ＡＮＤ
の演算を行えることを、式（１．　］．）　　（１　２
）　　（１　Ｂ）　　（１４）を用い、すべての入力の
組合せについて示す。

《入力が［０、ＡＮＤ．Ｏ、ＡＮＤ、０］の場合の演算
｝時刻１に「０」、時刻２に「０」、時刻３にｒＯＪが入
力ニューロン］０に提示される。各時刻の出力値、及び
シナプス値は以下のようになる。

時刻１０　（１）　＝ＯＪ］．（１）＝ＯＪ　（１）＝１＋Ｏ＝１時刻２０　（２）　一〇（　１＊０−５）＝ＯＪ　１　（２）
＝０−１−０＊６−３＝−３Ｊ　（２）＝１−３＝−２時刻３０　（３）＝ｅ　（−２＊Ｏ−５）＝ＯＪ　１．　（３
）　＝−３＋Ｏ＊６−３＝−６Ｊ　　（３）　　−　１
−６＝−５時刻４０　（４）　一〇　（−５＊０−５）＝ＯＪ　１　（４
）　−６→−０＊６−３−−９Ｊ　（４）　＝１−９−
−８以上より、神経回路網の出力は「０」になることがわか
る。

（入力が［Ｑ．ＡＮＤ、１．ＡＮＤ．０の場合の演算〉時刻１に「０」、時刻２に「］」、時刻３に「０」が入
力ニューロン１０に提示される。各時刻の出力値、及び
シナプス値は以下のようになる。

時刻］０　（１）　＝ＯＪｌ　（１）　一〇Ｊ　（１）＝１＋０＝１時刻２０（２）　一〇　（１　＊０＝５）　−０Ｊ　］．（２
）＝０＋０＊６−３−−３Ｊ　（２）＝１−３−−２２７時刻３０　（３）　一〇　（−２＊１−５）＝ＯＪ　１　（３
）＝−３＋１＊６−３＝ＯＪ　（３）−１＋Ｏ＝１時刻４０　（４）−ｅ　（１＊Ｏ−５）＝ＯＪ　１　（４）＝Ｏ＋０＊６−３＝−３Ｊ　（４）−１
−３＝−２以上より、神経回路網の出力は「０」になることがわか
る。

《入力が［０．ＡＮＤ．０．ＡＮＤ，１コの場合の演算
）時刻］−に「Ｏ」、時刻２に「０」、時刻３に「１」が
入力ニューロン１０に提示される。各時刻の出力値、及
びシナプス値は以下のようになる。

時刻１０　（１）　＝ＯＪｌ（１）＝ＯＪ　（１）−１＋０＝１時刻２２　８０　　（２）　　−ｅ　　（１＊Ｃ）−５）　　一　〇
Ｊ　　１　　（２）　　＝Ｏ＋０＊６　−　３　　−−
　３Ｊ　　（２）　　＝１−３　＝−　２時刻３０　（３）　＝ｅ　（−２＊１−５）　＝ＯＪ　１　（
３）　＝−３＋Ｏ＊６−３＝−６Ｊ　　（３）　−１．
−６−−５時刻４０　（４）＝ｅ　（−５＊１−５）＝ＯＪ　１　（４）
　＝−６＋１＊６−３＝−３Ｊ　（４）＝１−３＝−２以上より、神経回路網の出力はｒＯＪになることがわか
る。

《入力が［０．ＡＮＤ．１．ＡＮＤ．１］の場合の演算
）時刻１に「Ｏ」、時刻２に「１］、時刻３に「］−」が
入力ニューロン１０に提示される。各時刻の出力値、及
びシプナス値は以下のようになる。

時刻１０　（１）　一〇Ｊｌ（１．）−０Ｊ　　（１）　　＝１＋０−１時刻２０　（２）＝ｅ　（１＊Ｏ−５）＝ＯＪ　１　（２）＝０＋Ｏ＊６−３＝−３Ｊ　（２）＝１
−３＝−２１ｆ，？刻３０　（３）　一〇　（　−２＊１−５）　＝ＯＪ　１　
（３）＝−３＋１＊６−３＝ＯＪ　（３）＝１十〇＝１時刻４０　（４）　−ｅ　（１＊１−５）　＝ＯＪ　１　（４
）　＝Ｏ＋１＊６−３＝３Ｊ　（４）　＝１．＋３−４以上より、神経回路網の出力は「０」になることがわか
る。

《入力が［１．ＡＮＤ．Ｏ．ＡＮＤ．０］の場合の演算
］時刻１に「１」、時刻２に「０」、時刻３に「０」が入
力ニューロン１０に提示される。各時３１刻の出力値、及びンナプス値は以下のようになる。

時刻１０（１）　＝ＯＪｌ（ｌｉ−ＯＪ　（１）　＝１．＋Ｏ＝１時刻２０　（２）＝ｅ　（１＊１−５）　一〇Ｊ１（２）＝０
＋土＊６−３＝３Ｊ　（２）　＝１−ｆ−３＝４時刻３０　（３）＝ｅ　（４＊Ｏ−５）＝ＯＪ　１　（３）＝３＋Ｏ＊６−３＝ＯＪ　（３）＝１＋０＝１時刻４０　（４）＝ｅ　（１＊Ｏ−５）＝ＯＪ　１　（４）　＝Ｏ＋Ｏ＊６−３＝−３Ｊ　（４）　
＝＞３＝−２以上より、神経回路網の出力は「０」になることがわか
る。

（入力が［１．ＡＮＤ．］．．ＡＮＤ．Ｏ］の場３　２合の演算〉時刻１に「１」、時刻２に「１」、時刻３に「０」が入
力ニューロン１０に提示される。各時刻の出カ値、及び
シナプス値は以下のようになる。

時刻１０　（１）　＝ＯＪｌ　（１）　一〇Ｊ　（１）＝１＋Ｏ＝１時刻２０　（２）＝ｅ　（１＊１−５）＝ＯＪｌ　（２）＝０＋１＊６−３＝３Ｊ　（２）−１＋３＝４時刻３０　（３）−ｅ　（４＊１−５）＝ＯＪ　１　（３）　−３＋１＊６−３−６Ｊ　（３）−１
＋６＝７時刻４０（４）一〇（７＊０−５）＝ＯＪ　１　（４）＝６＋０＊６−３＝３Ｊ　（４）＝１＋３−４以上より、神経回路網の出力は「０」になることがわか
る。

《入力が［１．，ＡＮＤ．Ｏ．ＡＭＤ、１］の場合の演
算〉時刻工に「１」、時刻２に「０」、時刻３にｒｌＪが入
力ニューロン１０に提示される。各時刻の出力値、及び
シナプス値は以下のようになる。

時刻１０（１．）＝ＯＪｌ（１）＝ＯＪ　（１）　−１＋０＝１時刻２０　（２）＝ｅ　（１＊１−５）　一〇Ｊ　１　（２）
＝Ｏ＋１＊６−３＝３Ｊ　（２）　＝１．＋３＝４時刻３０　（３）＝ｅ　（４＊Ｏ−５）＝ＯＪ　１　（３）　＝３＋０＊ｅ．３＝ＯＪ　（３）＝１
＋０＝１時刻４０　　（４）　　＝ｅ　　（１＊］．−５）　　＝ＯＪ
ｌ　　（４）　　＝Ｏ＋１＊６−３＝３Ｊ　　（４）　
　＝１．＋３＝４以」二より、神経回路網の出力は「０」になることかわ
かる。

（入力が［１．ＡＮＤ．１．ＡＮＤ．］．］の場合の演
算）時刻コ，に「１」、時刻２に「１」、時刻３に「１」が
入力ニューロン１−口に提示される。各時刻の出力値、
及びシナプス値は以下のようになる。

時刻１０　（１）　＝ＯＪｌ　（１）　＝ＯＪ　（１）＝１＋Ｏ＝１時刻２０　（２）＝ｅ　（１＊１−５）　一〇Ｊ　１　（２）
＝Ｏ＋１＊６−３＝３Ｊ　（２）＝１＋３＝４時刻３０　（３）＝ｅ　（４＊１−５）　一〇Ｊ　　］．　　
（３）　　＝３＋］．＊６−３＝６Ｊ　　（３）　　＝
１＋６＝７時刻４０　（４）＝ｅ　（７＊１−５）−１Ｊ　１　（４）＝６＋１＊６−３＝９Ｊ　（４）　＝１＋９＝１．０以上より、神経回路網の出力は「１」となることかわか
る。

かくして、木例によればこの神経回路網装置で３入力Ａ
ＮＤか実現できることかわかる。

以上のように第３図及び第４図に示す実施例によれば、
シナプスに到達する信号に応じてンナブスの値を一時的
に変化させるこどにより、神経回路網の信号変化を神経
同路網で扱える情報に変換でき、併せてシナプスに到達
する信号に応じて一時的に変化しないシナプスを用いる
ことにより、神経回路網で｛Ｆ意の神経回路網の信号変
化を情報とすることができる。また、直前以前の神経回
路網の信号の変化を情報とするこどもできる。

第５図は、本発明の他の実施例に係わる２入力３　５ＡＮＤの演算を行なう神経回路網装置の説明図である。

第５図に示す如く、一つの入力ニューロン１３と、一つ
の中間ニューロン１４と、一つの出力ニューロン１５と
、入力ニューロン］３と中間ニューロン１４をつなぐシ
ナプス効率ＷＨＩ（ｔ）のシナプス１６と、中間ニュー
ロン１−４と出力ニューロン１５をつなぐシナプス効率
ＷＯＨ　（ｔ）のシナプス１７を持つ神経回路網装置を
作或する。

入力として、始めに２入力ＡＮＤの第１のデータＤ１を
入力ニューロン１３に提示し、次の時間に２入力ＡＮＤ
の第２のデータＤ２を入力ニューロン１３に提示する。

２入力ＡＮＤの第２のデータＤ２を入力ニューロン１３
に提示した次の時間の出力ニューロンの値を演算結果と
する。学習アルゴリスムにはＢａｃｋ−Ｐｒｏｐａｇａ
ｔ　ｉｏｎを用いた。すなわち、本神経回路網は以下の
式に従い学習、情報処理を行なう。シナプス１６Ａ，１
７Ａは一時的に変化しない戊分、１．６Ｂ，１７Ｂは変
化する或分てある。

ＷＨＩ　　（ｔ）　−ＷＨＩＬ　（ｔ）３　６＋ＷＨＩＴ（ｔ）ＷＯＨ　　（ｔ）＝ＷＯＨＬ　　（ｔ）＋ＷＯＨＴ　　
（ｔ）ＷＨＩＴ　　（ｔ＋１）＝ＷＨＩＴ　　（ｔ）−＋−Ｉ
（ｔ）＊６ＷＯＨＴ　　（ｔ＋１）＝ＷＯＨＴ　　（ｔ）−ｌ−Ｈ
（ｔ）＊６ＷＨＩＬ　　（ｔ＋１）＝ＷＨＩＬ　　（ｔ）」一　δ
ＷＨＩＬ（ｔ）ＷＯＨＬ　　（ｔ　＋１）＝ＷＯＨＬ　　（ｔ）十δＷ
ＯＨＬ　（ｔ） δＷ｝ＩＩＬ（１）＝−０．　２！ｄＨｔ（＋）＊ｌ（
１’１＋０．　２本δｔ’ｌ［ＩＩＬ（＋−１＞・　（
１１）・・（１２）・・（１つ・・（１φ ・　（１５）・・００・・・〈１７） δＷＯＨＬ（１）・−〇．　２＊ｄＯＨ（＋）　＊Ｉ１
（１）＋０．　２＊δＷＯＨＬ（１−１）ｄｌｌ（１）　　・Ｗｌｔｌ（＋）ぶｄｏｆｆ（＋）訓
’Ｕｌ１（＋＞）ｄｏＨｍ＝ＥＲＲＯＲ（＋）目’（Ｕ
Ｏ（＋＞Ｉｔ■ ・・　（ｌ９）（２０）ＥＲＲＯＲ（＋）＝０（１）一ＴＥＡＣ［Ｉ（１）・・
　（２１）１’（Ｘ）＝Ｉ（Ｘ）［１−１（Ｘ））・・（２２）１（ｘ）＝ｌ／ｌｌ＋ｅｘｐｆ−ｘ＋］．０）・・（２
３）ＩＪＨ　　（ｔ）　　＝Ｉ　　（ｔ）　　＊ＷＨＩ　　
（ｔ）・・（２４）ＵＯ　　（ｔ）＝Ｈ　　（ｔ）＊ＷＯＨ　　Ｃｔ　）　
　　・・（２５）Ｈ　　（　ｔ　）　　＝　０　．　　
９　　　　１ｆ　　ｆ（Ｕ）ｌ（ｔ））＞−０．９＝　
　０　　．　　　１　　　　　　ｉｆ　　ｆ’（Ｕｌｌ
（ｔ））（−０．１＝　　ｆ　　（ＵＨ　（　ｔ　））
　　　ｅｌｓｅ　　　　−１２６）０　　（　ｔ　）　
　＝　０．　　９　　　　ｉｆ　　ｆ（ｔｌｏ（ｔ））
＞−０．９＝０．　　　１　　　　　ｉｆ’　　ｆ（Ｕ
Ｏ（ｔ））＜−０．１＝　　ｆ　　（ＵＯ　　（　ｔ　
））　　　ｅｌｓｅ　　　　＝　　（２７）ここて、ｒ
ＥＡｃＨ（’ｔ）は教師信号である。

また、人出力は＋０．１．，０．９１　の二値を用いる
。

第６図は、一時的に変化しないシナプス効印ＷＯ　Ｈ　
Ｌ及びＷＨＩＬの学習結果の一例である。第３　つ７図は、第６図の一時的に変化しないシナプス効率を用
いた時の入出力を示したものである。

次に、式（＋３），　（１４）に代えて、次式（２８）
．　（２９）を用いた実施例を示す。

ＷＨＩＴ（１＋１）・１’／ＨＩＴ（＋）＋ｌ（１）！
６−３　　　　　　　　　　　・−（２８）ＷＯＨＨＩ
÷１）＝ＷＯＨＴ（１）＋Ｈ（＋）＊６−３　　　　　
　　　　−　｛２９｝第８図は、木例における一時的に
変化しないシナプス効率ＷＯＨＬ及びＷＨ　Ｉ　Ｌの学
習結果の一例てある。第９図は、第８図の一時的に変化
しないシナプス効率を用いた時の入出力を示したもので
ある。

かくして、本例によればこの神経回路網装置で一入力Ａ
ＮＤか実現できることかわかる。

３入力Ａ．　Ｎ　Ｄの演算を行なう神経回路網装置では
、入力として始めに３入力ＡＮＤの第１のデータＤ　を
入力ニューロンに提示し、次の時間に３入力ＡＮＤの第
２のデータＤ２を入力ニューロン４　０に提示し、次の時間に３入力ＡＮＤの第３のデータＤ３
を人カニューロンに提示する点と、３入力ＡＮＤの第３
のデータＤ３を入力ニューロンに提示した次の時間の出
力ニューロンの値を演算結果とする点が｛目違する。第
１０図は、３入力ＡＮＤにおける一時的に変化しないシ
ナプス効率ＷＯＨＬ及びＷＨＩＬ．の学習結果の一例で
ある。第１１図及び第１２図は、第１０図の一時的に変
化しないシナプス効率を用いた時の入出力を示したもの
である。

かくして、木例によれば第５図に示すような神経回路網
装置で三入力ＡＮＤが実現できることがわかる。

次に式（１３）（１４）（１５）の代わりに次式（３０
）（３＋）（３２）を用いた例を示す。

１（ｘ）＝Ｌ’　　Ｎ÷ｅｘｐ（−ｘ＋５）　］　　　
　　　　　−（３０）ＷＨＩＴ（ｔ＋ｌ）＝Ｗｆ１１Ｔ
＜１）＋１（１）家６−３　　　　　　　・・・（３１
）ＷＯＨＴｆｔ＋ｌ）＝ＷＯＨＴ（１）　　＋ｌＩｍ＊
６−３　　　　　　　　　　　・　（３２）第１３図は
、一時的に変化しないシナプス効率ＷＯＨＬ及びＷＨ　
Ｉ　Ｌの学習結果の一例である。

第１−４図及び第１５図は、第１３図の一時的に変化し
ないンナプス効率を用いた時の入出力を示したものであ
る。

かくして、木例によればこの神経同路網装置で各鍾漬算
方式により三入力ＡＮＤか実現できることかわかる。

以上のように本実施例によれば、シナプスに到達する信
号に応してシナプス効率の値を一時的に変化させること
により、神経回路網の信号変化を神経回路網て扱える情
報に変換でき、併せてシナプスに到達する信号に応じて
一時的に変化しないシナプス効率を神経回路網が希望の
出力を出すように学習により変化させることにより、神
経回路網で任意の神経回路網の信号変化を情報とするこ
とができる。

また、直前以前の神経回路網の信号の変化を情報とする
ことしてきるのて、神経回路網の信号変化を神経回路網
で扱える情報に変換でき、例えばシナプスに到達する信
号に応して一時的に変化しないシナプス効率を神経同踏
網か希望の出力をｌｌ１ずように学習により変化させる
ことにより、神経回路網でイモ意の神経回路網の信号変
化を情報とすることができる。さらに、直前以前の神経
回路網の信号の変化を情報とすることも勿論できる。

［発明の効果］以上説明したように、木発明の神経同路網では、複数デ
ータから戊る現在及び過去の時系列信号に応じてシナプ
スなと各種′ｅＬ′ｎ．要素のうち少なくとも一つの要
素の演算基準になる所量を時間的に変化させるので、神
経回路網の構造に制限されず、任意の神経回路網の信号
変化を情報とする神経回路網装置を容易に構築すること
ができる。また、直前以前の神経回路網の信号変化を情
報とする神経回路網を容易に構築することができる。

【図面の簡単な説明】

第１図は本発明の実施例に係わる２入力ＡＮＤ神経回路
網装置の説明図、！ｆ４２図はその実施例に係わる３入
力ＡＮＤ神経回路網装置の説明図、第３図は本発明の他
の実施例に係わる２入力ＡＮＤ神経回路網装置の説明図
、第４図はその実施例に係わる３入力ＡＮＤ神経回路網
装焔の説明図、第５図は本発明のさらに他の実施例に係
わる２入力ＡＮＤ神経回路網装置の説明図、第６図〜第
１５図はデータの説明図である。１，２，４．，５，７，８．　　１〔Ｌ　　１　Ｆ．，
１３．１４　１５・・ニューロン

Claims

【特許請求の範囲】

（１）神経回路網の各種演算要素のうち少なくとも一つ
の要素の演算基準になる所量を時系列的に入力されるデ
ータに応じて時間的に変化させることを特徴とする神経
回路網装置。
（２）請求項１に記載の神経回路網装置において、前記
所量の時間的変化は一時的なものであり、予め定めた数
のデータ入力後に予め定めた値にリセットされることを
特徴とする神経回路網装置。
（３）請求項１に記載の神経回路網装置において、前記
所量は入力ニューロン及び出力ニューロン間に位置する
シナプスの値であることを特徴とする神経回路網装置。
（４）請求項３に記載の神経回路網装置は、その値を変
化させるシナプスと共にその値を変化させないシナプス
成分を含むことを特徴とする神経回路網装置。
（５）請求項５に記載の神経回路網装置において、時系
列的に入力されるデータに応じその値を一時的に変化さ
せるシナプス効率と、入力データに応じては一時的に変
化せず学習により変化するシナプス効率を持ち、学習時
には一時的に変化するシナプス効率をシナプスに到達す
る信号に応じて一時的に変化させたまま一時的に変化し
ないシナプス効率を神経回路網が希望の出力を出すよう
に変化させることを特徴とする神経回路網装置。