JPH04507014A - 神経ネットワークのためのスリープ・リフレッシュ・メモリ - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 神経ネットワークのためのスリーブ・リフレッシュ・メモリ発明の背景 本発明は経時により消失するであろうメモリのトレースを補強するための動的な スリーブ・リフレッシュ能力を含む、神経ネットワークを実現する装置に関する 。

Ｚ関連技術の説明 神経ネットワークはその理学上の基盤として哺乳動物のモデル同定としてとらえ ることができる情報処理装置の高度に相似する一形態である。典型的な神経ネッ トワークはニューロンまたはニューロン回路とも呼ばれる多数のノードを含み、 各々は哺乳動物の脳におけるニューロンと類似する態様による動作するものであ る。このニューロンはシナプシス若しくは単に連結と呼ばれている、シナプシス の接続回路により相互に接続されており、各々は哺乳動物の脳におけるシナプシ スと類似する態様により動作するものである。

哺乳動物のように、神経ネットワークのしくみは各ニューロンがシナプシスを介 してネットワーク内の多数の他のニューロンに相互結合されるようになっている 。多くの場合、この結合は多方向性のものであるが、単方向性の場合もある。

神経ネットワークの領域での動作の多くが理学上の基盤に基づいているため、こ の分野における進展は哺乳動物の脳を科学的により一層、理解するのを助け、脳 の研究における進展は神経ネットワークの最新技術を向上させるのを助ける。

神経ネットワークが動作するとき、外部からの入力信号がネットワーク内の一層 のニューロンの入力に供給される。あるアルゴリズムに従って、この信号はネッ トワークを介して伝播し、最終的にその入力信号の処理された形態を表わす一以 上の出力ニューロンを起動せしめる。例えば、入力がＣＣＤ画像アレイ内の様、 々な画素に接続されていれば、その出力は２６文字のアルファベットのうちのと れがそのＣＣＤアレイ上に表わされているかを特定するようなものでありうる。

代表的には、それにより情報かネットワークを介して伝播する伝達機能はある種 の学習アルゴリズムに従って変形されつる。このようにして、ネットワークはそ れがさらされている周囲環境に依存して、異なる入カバターンを理解するように 学習することができる。通常、この学習アルゴリズムは指示された形態のものも あれば、指示されていない形態のものでもありうる。指示された学習により学習 するネットワークにおいては、その出力応答は人間若しくは自動的な監視者のい づれかにより所定の正しい出力応答に対して計測される。そして、このネットワ ークは実際の出力応答とその所定の出力応答との間の差異とはしばしば独立して 、その所定の出力応答か得られるまで繰り返して、その自身の伝達機能を変形せ しめられる。そのようなシステムの目的は入力信号と出力応答との所定の関係へ のそれ自身の道を見い出さしめることである。

指示されない学習ネットワークにおいては、そのネットワークはいかなる入力信 号に対してもそれ自身の独特な出力応答を形成する。そのようなネットワークは それ自体で例えば文字“八”の様々な形の中から文字“Ｂ”の異なる変形例が異 なるカテゴリーに属することを決定することができるはずである。そのようなネ ットワークは各カテゴリーの入力信号に対して異なる出力応答をもたらすために 、それ自身の伝達機能を変形するであろう。

指示される学習アルゴリズムの一例はクーパ（Ｃｏｏｐｅｒ）に与えられた米国 特許第３．９５０．７３３号に説明される、いわゆる後伝播のアルゴリズムであ る。指示されない学習アルゴリズムの一例はツクシマ（Ｆｕｋｕｓｈｉｍａ）に よる“ネオコグニトロン（Ｎｅｏｃｏｇｎｉ　ｔｒｏｎ）“視覚パターン認識を 行うことができる階層化された神経ネットワーク゛ニューラル・ネットワーク（ Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ）、　Ｖｏｌ、　１．　ｐｐ、１１９−１３０ 　（１９８８）において議論されるものである。

別の指示されない学習アルゴリズムはカーペンター（Ｃａｒｐｅｎｔｅｒ）およ びグロスバーブ（Ｇｒｏｓｓｂｅｒｇ）により提案されたＡ、ＲＴ型ネットワー クにおいて用いられる。

例えば、カーペンターおよびグロスバーブによる“自己構成する神経パターン認 識装置のための大規模平行構造”　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ、　Ｇｒａ ｐｈｉｃｓ、　ａｎｄ　Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ、　Ｖｏｌ、３７． 　ｐｐ、５４−１１５　（１９１！７）　（”グロスバーブＩ”）とカーペンタ ーおよびグロスバーブによる“自己構成する神経ネットワークによる適応的なパ ターン認識のＡＲＴ″ＩＥＥＥ　Ｃｏｍｐｕｔｅｒ　（１９８８３月）の７７〜 ８８（“グロスバーブＩＩ”）。その最も単純な形態においてはＡＲＴネットワ ークは２つの層Ｆ１およびＦ２のニューロンからなっている。Ｆ１層は多数のク ラスターからなっており、そのクラスターのそれぞれは相互に禁止の内部接続を 備えた多数のノードからなっている。入力ニューロン若しくはノードのそれぞれ は３つのタイプの源、すなわち周囲環境からの刺激入力からのもの、Ｆ２内のノ ードからのもの（トップ−ダウン連結）、全体的な制御メカニズムのもの、から のシナプシス信号の形態をとる。各Ｆ２のクラスターは相互に禁止のノードをも っており、そのうちの１つのみがいかなるときも起動状態である。Ｆ２の起動は ２つの主たるタイプの源、すなわちＦｌノードからのもの（ボトム−アップ連結 ）およびリセット・メカニズムからのもの、からの入力により制御される。トッ プ−ダウンおよびボトム−アップ連結の両者はロングーターム・メモリ（ＬＴＭ Ｌｏｎｇ−Ｔｅｒｍ　Ｍｅｍｏｒい接続であり、それはシナプシスの強度の時定 数若しくは減衰定数がＦｉおよびＦ２内のショートーターム・メモリ（ＳＴＭ： 　Ｓｈｏｒｔ−ＴｅｒｍＭｅｍｏｒｙ）アクティビティのそれらに比べて充分に 長いことを意味する。ニューロンにより生成される出力信号はアクティブまたは インアクティブのしづれかを示す２値であることに注目すべきである。ニューロ ンに対して内部的に生成されるアナログのアクティビティ・レベルはそれにより ２値の出力か生成されるところの公式の複数のパラメータのうちの１つのみを形 成する。

ネットワークを介して情報を伝播せしめる伝達機能は通常、学習アルゴリズムに 従って変更され得る係数若しくは他の定数を伴ったあらかじめ定義された形態を 有する。例えばＡＲＴモデルにおいては、各ニューロンＶｋは次式の膜状等式に 従う“ＳＴＭアクティビティ″Ｘｋをそれぞれ有する。

ＥｄＸｋ／ｄｔ＝−Ｘｋ＋（１−Ａ、Ｘｋ）Ｊ″″に−（Ｂ＋ＣＸｋ）Ｊ−に尚 Ｅ、Ａ、ＢおよびＣは定数でありＪ”ｋはＶｋに対する刺激入力の総量であり、 Ｊ−にはＶｋに対する禁止入力の総量である。Ｊｋの値のそれぞれは次式の等式 からめられる。

Ｊｋ＝Σｅｆ　（Ｘｅ）Ｚｅｋ 尚、Ｖｅはその出力がニューロンＶｋに影響を及ぼすニューロンであり、ｆ（Ｘ ｅ）はニューロンＶｅ内の内部アクティビティレベルＸｅの定められた形態の２ 値の出力関数であり、Ｚｅｋは学習アルゴリズムに従って変化する係数である。

接続性の重みとして考えられ得る、Ｚのような係数はキャパシタの充電レベルと して各ンナブシス接続を実現する多くの回路のそれぞれの中に保持されつる。

この構成にはキャパシタかそれ自体完全な物ではなく、経時により充電を失うと いう問題かある。従って現行の構成はメモリをできるだけ維持するために高価な ＣＣＤ若しくはフローティング・ゲートＭＯ３ＦＥＴをしばしば用いる。少なく とも１つの例においては、もれをせき止め、メモリの消失を防ぐために、キャパ シタを一１００℃にまで冷却することさえ行われてきた。マッキ（Ｍａｃｋｉｅ ）らによる“シリコン内での神経ネットワーク・モデルの実現”ＮＡＴＯＡＳＩ Ｓｅｒｉｅｓ、　Ｖｏｌ、　Ｆ４１．　”Ｎｅｕｒａｌ　Ｃｏｍｐｕｔｅｒｓ、 ”ｐｐ、４６７−４７６．　ａｔ４７２（１９８７）。他の例においては、メモ リはデジタル的に保持される。これらの技術は高価なものであり、最適な集積密 度に役に立つものではない。回路の使用により充電の損失をせき止めるようにし た試みは成されたことはなかった。

保持キャパシタの充電もれによりメモリが徐々に消失することに加え、そのよう なメモリの消失はしばしば意図的にシステムの中に作り込まれる。例えば、カー ペンタ−およびグロスバーブは長期間の哺乳動物のシナプシスさえ科学的な送信 本／受容体が前後にシナプシスの活動がないときにいかに早く失われるかに関連 する特性的な減衰定数を有していることを認知した。従って、彼らのＡＲＴモデ ルはいわゆる関連性のある減衰規則を含み、そのルールはある接続性は学習の期 間０に向かっての減衰に重みづけることを意味している。グロスバーブＩのワク 番孔この関連性のある減衰規則は哺乳動物の脳の機能の一面をモデル化している が、それは完全なものではない。説明として、ＡＲＴシステムが文字Ａ−Ｆを表 わす６つのカテゴリーを学習したとしよう。さらに、そののちの長期間、そのシ ステムがカテゴリーＡ−Ｄのみを表わす外部入力にさらされていたとしよう。

このＡＲＴモデルにおいてはそのシステムがカテゴリーＥおよびＦを認識すると ころのメモリ・トレースは逐には消失してしまうであるもしかしながら、我々は 人間が反復的な刺激なしでも、何年も前に起った映像や出来事を覚えていること ができることを知っている。

従って、本発明の目的はいかなる原因によるメモリの消失にも対処するために、 メモリのトレースが動的にリフレッシュされる神経ネットワーク装置を提供する ことである。

発明の概要 本発明によると、システムが“起きている状態”および“寝ている状態”の少な くとも２のモードで動作する神経ネットワーク・システムが提供される。システ ムがそのウェーキング・モード（ｗａｋｉｎｇ　ｆｆ１ｏｄｅ）である間、シス テムは様々な周知のアルゴリズムに従って学習し、問題を解決する。システムが スリーブ・モード（ｓｌｅｅｐ　ｍｏｄｅ）にある時は、システムはその外部入 力から隔絶さね、その時点までに学習されてきた接続性の重みがスリーブ・リフ レッシュ・アルゴリズムに従って調整される。このスリーブ・リフレッシュ・ア ルゴリズムは比較的洗練されたタイプのものでもなくともよく、そのアルゴリズ ムにおいては様々な接続性の重みは一定の値若しくはそれらの以前の値に比例す る実質的に一定の値により増加せしめられるだけである。このリフレッシュ動作 が行われるアルゴリズムはシステムの電気的な限界を超えないようにするために 接続性の重みにおける増加を制限する一面を含んでもよい。

しかしながら、より洗練されたスリーブ・リフレッシュ・アルゴリズムが本発明 の別の特徴に関連づけられて用いられる。この特徴は哺乳動物の大脳皮質におけ る記憶保持は単にシナプシスの時間定数に基づくのみでなく、層全体の確率論的 な動的構造に基づ（ものであるという認識に部分的に立脚するものである。従っ て、神経ネットワーク・システムは多数のニューロンを含み、それぞれはネット ワーク内の他のニューロンの少なくとも一層の出力の重みづけられた合算に感応 する。合算の項は接続性の重みに従って重みづけられ、その接続性の重みは以下 に詳述される学習アルゴリズムに従って変更可能である。周知のネットワークと は異なり、様々なニューロンが多くのフィードバック・ループを含む形状で相互 接続される。説明を簡単にするために本発明は２つのレベルのみのニューロンを 存するネットワークについて説明する。第１のレベルにおいては、各ニューロン はそれぞれの外部入力信号および第２のレベルのそれぞれのニューロンの両者に 感応する。第２のレベルのニューロンは競合的なりラスターを形成し、この第２ のレベルのニューロンの各々の出力は第１のレベルのニューロンの各々に正方向 に感応し、またクラスター内の他の第２のレベルのニューロンの各々に負方向に 感応する。

この種の形状を有した従来技術のシステムにおいては、各ニューロンの出力は“ 付勢状態”若しくは“消勢状態”のいづれかであった。このニューロンの応答式 は所定の入カバターンに応じてループを介しての正のフィードバックが第２のレ ベルのニューロンのうちの１つの選択を強めるようなものとなるまで第２のレベ ルのニューロンのうちの異なるものを実際起動するように、様々なフィードバッ ク・ループにより動作するものである。この時、このシステムは共振状態である といわれ、付勢状態の第２のレベルのニューロンは入カバターンが属するカテゴ リーを表わしているといわれる。しかしながら、本発明のこの特徴に従って構成 されるネットワークはニューロンの出力としてアナログのアクティビティ・レベ ルを有する。さらに、本ネットワークは第１のレベルのニューロンが外部刺激の ない時でさえゼロでないアクティビティ・レベルの出力を育するように構成され る。本発明のこの特徴によるネットワークにおいては、従来技術のネットワーク のように入カバターンが認識された時に共振が成し逐げられるだけでなく、外部 刺激に起因しないニューロンの低い強度の発火により特徴づけられる補助的な共 振も第１のレベルのニューロンのゼロでないアクティビティ・レベルに起因して 起こる。

効果として、第１のレベルのニューロン出力のアクティビティ・レベルは各々　 。

の休止の値を下回ることはなく、また、この値はその補助的な共振が通常動作に おいてシステムにより選択されたカテゴリーによりほとんど影響を及ぼすことが ないほどに充分に低いものである。しかしながら、ネットワークがその入力から 隔絶されている時、その補助的な共振はそれらがそのシステム内に存在する唯一 の共振である為そのシステムを支配する。そして、ネットワークの回帰的な性質 により、ネットワークの形状、様々なニューロンのアクティビティ・レベルの過 去の履歴、およびニューロンの出力が他のニューロンのアクティビティ・レベル に影響を及ぼす程度の量の接続性の重みにより指令される疑似ランダム・シーケ ンスにおいて、第２のレベルのニューロンのうちの様々なニューロンは発火（す なわち、一時的な高いアクティビティ・レベルへの上昇）せしめられる。これら の補助共振は入力が再びシステムに入力されるまで続き、このときに主共振が支 配を再開する。選択的に、若しくは付随的に、構造がどうであろうと、第１のレ ベルのニューロンのゼロでないアクティビティ・レベルの出力はネットワークが 起きているときは絶縁されるか若しくは抑圧され、ネットワークが寝ているとき は起動される。

本発明によると、ネットワークが起きている間にどのような学習アルゴリズムが 用いられていようとも、ネットワークが寝ている間も起動されたままである。

学習アルゴリズムは通常、共振を発生した接続を補強し、カテゴリーの誤まった 選択を発生する接続を弱めるようにされている。従って、ネットワークがそのス リーブ・モードにあるときは、補助共振を起こす接続は強化される。さらに、様 々な第２のレベルのニューロンがそれにより発火する疑似ランダム・シーケンス は第２のレベルのニューロンに接する接続の接続性の重みに依存しているので、 第１のレベルのニューロンへの強い接続を有しているか、若しくは多数の第１の レベルのニューロンにより起動されるような第２のレベルのニューロンは第１の レベルのニューロンと弱い接続を有するか、若しくはより少ない数の第１のレベ ルのニューロンにしか起動されないような第２のレベルのニューロンより、より 頻繁に発火するであろう。学習アルゴリズムはそれらが使われているときに接続 を強めるので、学習アルゴリズムは事実上、眠ろうとしたときに存在する接続の 相対的な重みに比例して大まかに全ての接続を強化するであろう。

第２のレベルのニューロンのうちの１つへの接続が強くなりすぎると問題が生じ るであろう。これらのニューロンは他のニューロンより頻繁に発火し、これによ り、それらにつながる全ての接続の強度を増加せしめる。そのような優遇される 第２のレベルのニューロンにつながる接続は他の接続より速く強くなるであろう から、この状態は再生的なものである。これにより、これらの状態を呈する第１ および第２のレベルのニューロンの間の増加したフィードバックのために、その ような優遇された状態は更により優遇されるものとなる。これらの接続の強度は 不活性な接続を犠牲にして限定的に増加しつる。従って、接続の領域を対照刺激 するかわりに、ネットワークは刺激されない、いくつかのメモリを消失するかも しれない。

従って、効果として、本発明によるネットワークは寝ている間に優遇された状態 の存在を検出し、そのような状態がシステムを圧倒してしまうのを防ぐために、 それらの再生的な進展をチェックする構造を含んでいる。好ましくは、ディープ ・スリーブ機構は１以上の第２のレベルのニューロンのアクティビティ・レベル を観察し、１つの優遇されたニューロンが検出されると、そのニューロンへの接 続がそれにより学習したところの感度を反転する。すなわち、刺激された接続を 強めるかわりに、その学習アルゴリズムは刺激された接続を弱めるであろう。

より好ましい実施例においては、ディープ・スリーブ機構はディープ・スリーブ 機構により監視されている第２のレベルのニューロンにつながるシナプシスの接 続の各々に結合されるアナログ・ディープ・スリーブ信号を生成し、第２のレベ ルのニューロンがより優遇されたものとなるような学習を一層、ゆっくりしたも のにする。ニューロンがより優遇された状態のものとなったときに、学習の感度 はゼロを通過し、優遇度がさらに増えるにつれ徐々に負の値のものとなる。１つ の第２のレベルのニューロンを監視するか、若しくはクラスタ内の第２のレベル のニューロン全ての出力を観察するよう供給されるような構造となっている。

前者の場合、そのディープ・スリーブ信号がその第２のレベルのニューロンにつ ながる接続のみに影響を及ぼすよう接続され、後者の場合、ディープ・スリーブ 信号はそのような第２のレベルのニューロンのうちのいづれかにつながる接続の 全てに結合されている。学習アルゴリズムは刺激された接続のみに影響を及ぼす ものであるから、優遇された状態の部分を形成する接続のみがディープ・スリー ブ信号により影響されるだろう。全ての場合において、第１のレベルのニューロ ンの出力を第２のレベルのニューロンの入力に結合する接続じフィード・フォワ ード（ｆｅｅｄ−ｆｏｒｗａｒｄ）”連結）のみがディープ・スリーブ信号によ り影響される、すなわち、反対方向の接続がそれらのもつとも強い値にまで強く なることができる。さらに、ディープ・スリーブ機構はウェーバ・の法則のルー ル（ＷｅｄｅｒＬａｗ　Ｒｕ１ｅ）により従うものでもある。

図面の簡単な説明 本発明をその一実施例について次の図面を参照しながら説明する。

図１は本発明による神経ネットワークのブロック図である。

図２は本発明によるニューロンの機能ブロック図である。

図３は本発明によるニューロンの概略図である。

図４はフィード・フォワード・シナプシス接続回路の概略図である。

図５はフィード・バック・シナプシス接続回路の概略図である。

図６は禁止の接続回路の概略図である。

図７は図３の神経回路内の様々なノードの波形である。

図８はある入カバターンに応じて、本発明のネットワークにより展開される接続 性の領域を示すものである。

図９はディープ・スリーブ・ノードのパルス・エクスンダ（ｅｘｔｅｎｄｅｒ） の概略図である。

図１０はディープ・スリーブ・ニューロンと共に用いられる特別な接続の概略図 である。

図１１はディープ・スリーブ神経回路の概略図である。

詳細な説明 図１に本発明による神経ネットワークのブロック図が示されている。図１に示さ れる装置は神経ネットワーク全体が若しくはずっと大きい神経ネットワークの一 部分のみを表わすものである。このネットワークには２つのレベル１０および１ ２のノード若しくはニューロンがそれらを相互に接続する複数の接続回路と共に 含まれている。第１のレベル１０のニューロンはクラスタ（ｃｌｕｓｔｅｒ）　 Ｉ　４−１．１４−２、および１４−３の中に構成され、各々は各々、１つのニ ューロン１６−１．１６−２、および１６−３を含んでいる。クラスタ１４−１ ．１４−２および１４−３は各々、１つより多くのニューロンを含みつるが、説 明を簡単にするために、唯一のニューロンの第１のレベルのクラスタか示されて いる。

第２のレベルのニューロン１２は相互に競合するニューロン１８−４．１８−５ ．１８−６および１８−７の単一のクラスタの中に構成される。第２のレベルも 他のクラスタのニューロンを含みつるが、簡単のために１つのみのクラスタか示 されている。

第１のレベルのニューロンｌＯ内の各ニューロンは各々の隔絶スイッチ２〇−１ ，２０−２および２０−３を介して各々の外部人力２２−１．２２−２および２ ２−３に接続された１つの入力を備えている。入力２２は異なるレベルの他のニ ューロンの出力に接続しつるか、またはある種の入力回路を介して外部入力に接 続しうることがおわかりいただけよう。また、ニューロン１６の各々は後述され るような態様で第２のレベルのニューロン１８の全てからの入力信号を受け、そ の結果、多数の信号がニュー−ロン１６の各々によって受けられる。意味的には 、これらの信号がニューロンの別個の入力に入力され、そして合算されるか、若 しくは合算されてニューロンの唯一の入力に入力されるものと考えるのは等価で ある。例えば、以下に説明する回路実施例において、全ての入力信号は共に共通 の回路ノードに接続される。また、第１のレベル１０の各ニューロンは入力に対 すると同様に、唯一の出力と考えられ得る複数の出力を含んでいる。

第２のレベル１２内のニューロンは好ましくは第１のレベル１０内のニューロン と同じものである。第１のレベル１０内のニューロンのように、第２のレベル内 のニューロンは各々、複数の入力（単一の入力と考えられ得るか）および複数の 出力（単一の出力と考えられ得るが）を備えている。ニューロン１８の各々の外 部出力は各々の隔絶スイッチ２４−４．２４−５．２４−６および２４−７を介 して各々の出力回路２６−４．２６−５．２６−６および２６−７に結合されて いる。

第１のレベルのニューロン１６の各々の出力はフィード・フォワード回路３０を 介して第２のレベルのニューロン１８の各々の入力に結合されている。これらの 回路はそれらは接続される目的ニューロン、これはポスト・シフブシス・ニュー ロンとも呼ばれるが、はそこより外部出力信号が取り出されるところのニューロ ンであるので、フィード・フォワード接続回路と呼ばれる。こうして、神経回路 １６−１の出力はフィード・フォワード接続回路３０−１４．３０−１．５．３ ０−１６および３０−１７を介して各々の第２のレベルのニューロン１８−４． １８−５．１８−６および１８−７に結合されている。説明を簡単にするために 、図１に示されるフィード・フォワード接続回路は１つのみであるか、第１のレ ベルのニューロン１４−２および１４−３の各々も各々のフィード・フォワード ・ノードを介して４つの第２のレベルのニューロン１８の各々に結合されること は御理解いただけよう。計１２個の別個のフィード・フォワード接続回路が含ま れる。

同様に、第２のレベルのニューロン１８の各々はフィード・バック接続回路３２ を介して第１のレベルのニューロン１６の各々の入力に結合されている。図１に は各々の第２のレベルのニューロンｌ８−４．１８−５．１８−６および１８− ７の出力を第」のレベルのニューロン１６−１の入力に結合するフィード・バッ ク接続回路３２−４１．３２−５１，３２−６１および３２−７１か示されてい る。第２のレベルのニューロンＩ８の各々の出力はまた、フィード・バック回路 （図１に示されていない）を介して第１のレベルのニューロン１４−２および１ ４−３の各々の入力に結合されている。図１において参照されている様々な要素 の引用記号はこの説明の簡便のために選ばれている。特に、第４のレベルのニュ ーロン１６および各々の第１のレベルのニューロン１６と１対１に対応する図１ 内の要素の各々はサフィックスｌ、２および３かふられている。同様に第２のレ ベルのニューロン１８および各々のニューロン１８に１対１に対応する図１内の 要素の全てはサフィックス４．５．６および７が付られている。このようにして 、７つのニューロンが示されており、ニューロン１．２および３は第１のレベル の中にありニューロン４．５．６および７は第２のレベルの中にある。

接続回路３０および３２はそれらが逆子情報の源および目的地を表わすサフィッ クスが付られている。例えば、フィード・フォワード接続回路３０−１７はニュ ーロン１の出力をニューロン７の入力に結合し、フィード・バック接続回路３２ −５１はニューロン５の出力をニューロン１の入力に結合する。一般にＮ個のニ ューロンがあり、そのうちのＭ個は第１のレベルの中にあり、そのうちのＮ−Ｍ 個は第２のレベルの中にある。フィード・フすワード接続回路３Ｏ−ｉｊは各々 のｉ番目のニューロンの出力を各々の３番目のニューロンの入力に結合し、フィ ード・バック接続回路３２−　ｊ　ｆは各々の１番目のニューロンの出力を各々 のｉ番目のニューロンの入力に結合する。ここで、ｉ＝１、・・・Ｍであり、ｊ ＝Ｍ＋１、・・・Ｎである。

、隔絶スイッチ２０−１．２０−２および２０−３は全て、共通バッファ３６に より制御され、この共通バッファの入力はネットワーク・モート信号を受けるよ うに接続されている。同様に隔絶スイッチ２４−４．２４−５．２４−６および ２４−７は全て、共通バッファ３８により制御され、この共通バッファもネット ワーク・モード信号を受けるように接続されている。いづれの場合においても、 モード信号が消勢状態であるときくシステムが“眠っている”ことを示している ）、隔絶スイッチは開き、モード信号が付勢状態であるとき（システムが“起き ている”ことを示している）、閉じるように接続が成される。ネットワーク・モ ード信号は回路４０により発生され、この回路４０は周期的にその信号を発生す るか、あるいは人間による入力に応じて発生することができる。

ディープ・スリーブ・メカニズムを実行するために図１のネットワークはさらに ディープ・スリーブ・ニューロン５０を含む。ディープ・スリーブ・ニューロン はニューロン１６および１８に類似のものであるが、全く同一でないことはおわ かりいただけよう。ディープ・スリーブ・ニューロン５０への入力信号は各々の “特別な”接続回路５２−４．５２−５．５２−６および５２−７を介して各々 の第２のレベルのニューロン１８の出力に結合され、ディープ・スリーブ・ニュ ーロン５０の信号出力はパルス・エクステンダ５２を介してフィード・フォワー ド・ノード３０の各々に対するディープ・スリーブ制御入力に結合されている。

また、ディープ・スリーブ・ニューロンはモード信号源ニューロン４０からのネ ットワーク・モード信号を受けるよう結合された禁止の入力を備えている。また 、図１のネットワーク内に含まれているのは、図示されていないが、第２のレベ ルのニューロン１８の各々の出力を他の第２のレベルのニューロン１８の各々に 結合する禁止の接続回路である。

前に説明した通り、先行技術のネットワークとは異なり、ニューロン間で送られ る信号はニューロンが発火しているか否かを示す２値信号ではなく、アナログの アクティビティ・レベルを表わしている。本発明の１つの特徴によれば、このア ナログのアクティビティ・レベルはアナログの周波数を有する２値のパルス信号 として表わされる。好ましくは、パルスの周波数が高くなればなる程表わされる アクティビティ・レベルも高くなる。さらに、第１のレベルのニューロンのうち のいづれのものの出力信号の周波数も休止の正の周波数を下回ることはない。

これらの特徴は関係する回路の説明に従い明らかになるであろう。

神経回路 図２は本発明によるノート若しくは神経回路１６若しくは１８の機能図を示して いる。それは入力ブロック＋００を含み、この入力ブロックはニューロンへの入 力信号のアクティビティ・レベルの合計の時間積を発生する。入力ブロックの出 力は以下に説明される合算器１０２において他の信号と合算され、電圧制御発振 器（ＶＣＯ）１０４への入力を形成する。第１のレベルのニューロンについては 入力ブロック１００に対する付加的な入力として、または合算器１０２の付加入 力として、定数項Ｃも神経回路に接続される。ＶＣＯｌ　０４はその入力上の電 圧に応じた周波数を有する信号を発生する。その信号はレギュレータと呼ばれる 別のインテグレータ（ｉｎｔｅｇｒａｔｏｒ）　１０６により累積加算され、そ の出力は加算器＋０２への減算入力を形成する。この図はニューロンがいかに機 能的に動作しているかを示しているが、実際の回路構成は図示された機能ブロッ クにきちんと分けられ得るものでないことは理解いただけよう。

図２の３つの特徴が注目されるべきである。まず、ニューロンの出力周波数は入 力信号の周波数の合計が急速に増加するときに急速に増加するであろう。同様に 、入力周波数の合計か急落すると神経出力の周波数において比較釣魚な下降が発 生するであろう。入力ブロック１００の積算機能によりもたらされる平滑化およ び遅延があろうが、それは入力信号か積算される期間に依存するであろう。一般 に信号が積算される期間が短か（なればなる程、ニューロンの出力周波数はより 迅速により忠実に入力周波数の合計に追従するであろう。

第２に、ニューロンの入力上の高（維持されたアクティビティ・レベルはレギュ レータ１０６の出力が徐々に増加するであろうから、出力上に維持された高いア クティビティ・レベルを生じせしめることはないてあろう。レギュレータ１０６ の出力電圧は加算器１０２により入力ブロック１００の出力電圧から減算される ので、レギュレータ１０６のより高い出力電圧はＶＣＯ１０４への制御電圧入力 を低減し、これにより徐々にニューロンの出力周波数をより低い値に戻すであろ う。ニューロンへの入力のアクティビティ・レベルが引き続き下降すると、ニュ ーロンの出力周波数は最初は下降し、そしてレギュレータ＋０６により徐々によ り高い値に戻るであろう。

第３に、レギュレータ１０６の機能は神経出力上の安定状態の周波数変化に完全 に対応するものではなく、それは単に時間をかけてそれらを徐々に柔らげるのみ である。このようにして、第１のレベルのニューロンにおいて、入力ブロック１ ００若しくは合算器１０２への入力として定数項を含めることによりニューロン の安定状態の出力周波数がある休止状態の値を確実に下回らないようにする。

図３は図２のニューロンの機能を実行する好適な神経回路の回路図である。それ は一端を地気に接続されて他端を回路の入力１２８に接続された合算キャパシタ １３０からなっている。また、入力１２８はレジスタ１３２を介して比較器１４ ４の反転入力ノード１３６に結合される。また、反転入力ノード１３６は抵抗１ ３４を介してｖＣＣに接続され、キャパシタ１３８を介して地気に接続される。

比較器１４４の非反転入力１４６は直列に接続された３つのダイオード１４８を 介して比較器１４４の出力ノード１５０に結合される。また、比較器１４４の反 転入力１３６は抵抗１４０および平行ダイオード１４２を介して比較器１４４の 出力ノード１５０に接続されている。

また、比較器１４４の非反転入力１４６は抵抗１５８を介して別の比較器１６２ の出力に接続されている。比較器１６２の反転入力は抵抗１５２および直列ダイ オード１５６を介して比較器１４４の出力１５０に結合されている。また、それ はキャパシタ１６８および平行な抵抗１６０を介して比較器１６２の出力１６４ に結合されている。比較器１６２の非反転入力はボランショメータ１５９のタッ プ（ｔａｐ）に接続ざ顛ボランショメータの両端は各々、Ｖｃｃおよび地気に接 続されている。また、比較器１４４の出力ノード１５０は出力比較器１７０の反 転入力に接続されており出力比較器１７０の非反転入力はＶｃｃ／２に接続され ている。

比較器１７０の出力１７２は神経回路１６若しくは１８の出力を形成する。

神経回路１６若しくは１８の入力１２８は時間的および空間的な合算点であり、 それが各入力の時間における変化のみではなく、全ての入力によりもたらされる 電流をも積算することを意味する。他のニューロンからこのニューロンへの連結 は全て、この点１２８に集まり、そこにおいてそのような接続からの電流はキャ パシタ１３０により所定時間、合算され積算される。これらの信号が積算される 所定期間はかなり複雑な問題であるが、抵抗１３２を介してのキャパシタ１３８ への電流の流れ込みのため、その積算は神経出力信号の最も最近のパルスから発 生する入力信号に有利に重く重みづけられることかおわかりいただけよう。

抵抗１３２は積算キャパシタ１３０から再生のためのキャパシタ１３ｇへ電気的 な電荷を移す。このキャパシタ１３８は比較器１４４、抵抗１４０および１５８ 、およびダイオード１４２および！４８と共に簡単な発振器を構成する。この発 振器がその休止状態にある時でもそれは遅いレートで幅の狭いパルスを出力する （例えば、５ｍｍ秒内に１パルス）ことがわかるであろう。これは積算キャパシ タ１３０を充電する入力電流がなくとも、キャパシタ１３８をゆっくり充電する ための電流がもれ抵抗１３４を介して流れ得るためである。第２のレベルの神経 回路において、ゼロでない休止状態の出力周波数を避けるためにもれ抵抗＋３４ は省略され得るだろう（開回路）。さらに、第１のレベルのニューロンのゼロで ない休止状態の出力周波数は別のメカニズムにより選択的若しくは付随的にもれ 抵抗１３４に対し発生せしめられ得、例えば低い周波数の電流パルス源を第１の レベルのニューロン１６の各々の入力回路ノード１２Ｂへ供給することにより発 生され得る。

発振器の動作はまず、比較器１４４の出力１５０が高いレベルであるとすること により理解され得る。この状態において、ダイオード１４４および１４８は全て 逆にバイアスされており、ノード１４６の電圧はノード１６４の電圧と等しく、 キャパシタ１３８は抵抗１３４を介して（および合算キャパシタ１３０上の電圧 がノード１３６の電圧より高ければレジスタ１３２も介して）充電を開始する。

しばらくして後、キャパシタ１３８の充電量はポイント１３６の電圧かポイント １、４６の電圧を越えるような点にまで達する。これにより、比較器１４４はそ の出力電圧を反転させ、その出カポインド１５０での電圧を地気の方に引き下げ る。

この動作によりタイオード１４２および１４８に順方向にバイアスかかかり、ポ イント１４６の電圧を、比較器１４４の低出力電圧および３つのダイオード１４ ８により決定される低スレッシュホールド電圧ＶｔｈＬにまで引き下げる。また 、このポイントのダイオード１４２は順方向にバイアスされ、抵抗１４０を介し てキャパシタ１３８の放電を開始する。徐々にキャパシタ１３８の電圧はそれが ノード１４６の低スレッシュホールド電圧ＶｔｈＬを下回るまで減少し、その時 、比較器１４４は再びその出力１５０上の電圧を反転し、それを高いレベルに上 昇せしめるだろう。こうして、比較器１４４の出力ノード１５０での電圧か低レ ベルにとどまっている時間はレジスタ１４０を伴ったキャパシタ＋３８の時間ペ ースに依存する。また、この期間は抵抗１３２および１３４を介してキャパシタ １３８を充電する電流の範囲にまで延長され得るが、望ましくはこの影響を最小 化するように抵抗の値は選ばれる。

比較器１４４の出力ノード１５０での電圧が高くなると、キャパシタ１３８は抵 抗１３２および１３４を介する電流により再び徐々に充電され、これによりサイ クルを繰り返す。比較器１４４の電圧出力は短いシーケンス、すなわち、低いレ ベル状態のパルスを除いて通常は高いレベルであることがわかるであろう。パル スの各々は期間はほぼ固定されており、望ましくは抵抗１４０の値を小さく選ぶ ことにより短かく保たれる。パルスの高いレベルの期間は代表的には相対的にず っと長いものであり、合算キャパシタ１３０に保持される入力電圧の時間的およ び空間的合計に依存する。すなわち入力の平均電圧力塙くなればなる程、比較器 １４４の出力１５０上のパルスの高いレベルの期間は短くなる。しかしながら入 力信号が全くなくとも、高いレベルの期間はもれ抵抗１３４を介して流れる充電 電流によって、ある最大炎を越えることはない。

比較器１７０はノード１５０上のパルスの感度を逆転させるためのみに動作し、 これにより、平均の入力アクティビティ・レベルおよびもれ抵抗１３４を介して の電流に依存する期間により離間される一連の短い高いレベルを保持するパルス らかなる電圧信号をニューロンの出力ノード１７２の所に生成する。こうして、 ニューロン１６内のレギュレータ回路の機能を考慮する前のニューロン１６の出 力はニューロン１６への入力のアクティビティ・レベルの合計の最新の平均時間 に応じたパルス周波数（アクティビティ・レベル）を有するであろう。例えば、 入力ノード１２８での電圧の急激な増加によりニューロンは“発火′、すなわち 出力パルスの割合における一時的な増加によって特徴づけられる状態となるであ ろう。

しかしながら、出力パルスの割合はまた、オペアンプ１６２、キャパシタ１６Ｂ 、抵抗１５２．１６０およびダイオード１５６から作られるレギュレーデイング 回路により制御されるため、ポイント１２８において増加した電圧レベルを維持 することは神経出力のパルスの増加したレートを維持することとはならない。ポ イント１６４の電圧は発振器の高スレッンユホールド電圧ＶｔｈＨであり、ポイ ント１３６の電圧がポイント１４６の電圧を上回るようにするためにキャパシタ １３８が充電しなければならない電圧を表わしている。キャパシタ１６８に対す るダイオード１５６および抵抗１６ｏの充電動作のため、それは出力周波数が増 加するにつれ増加する傾向となる。この結果、ついには出方周波数を低減させる こととなる。このように、ニューロンはその入力合算、１２８での即時の電圧レ ベルのみに感応するだけでなく、その電圧レベルの変化にも感応する。

ポテンショメータ１．５９は二ニーロンのレギュレータ回路のための元となる電 位をもたらす。集積ｆヒされた実施例においては、このポテンショメータはむろ ん固定抵抗に置き換えられる。比較器１４４の出力ノード１５０上にパルスがな いと、抵抗１６０はキャパシタ１６８を放電せしめ、これによりポイント１６４ の電圧を基準電位の方向に減衰せしめる。抵抗１５２およびダイオード１５６は ポイント＋５０でパルスダウンするときは、いつもポイント１６６を引き下げる 。

これによりキャパシタ１６８は充電され、ポイント１４６の高シュレッシュホー ルド電圧を上昇せしめる。

フィード・フォワード・シナプシス接続図４にはフィード・シナプシス接続３Ｏ −ｉｊの１つを実現するために好適な回路のＭ図が示されている。図４に示され るシナプシス接続は第１のレベルのニューロン１６−ｉの出力信号を第２のレベ ルのニューロン１８−ｊの入力に結合するものとする。

フィード・フすワード・シナプシス接続の心臓部はキャパシタ１２４であり、そ れは情報が転送されることに使われる接続性の重みｗｌｊを示す電荷を保持する 。

キャパシタ１２４の一端は地気に接続され、他端はユニッティ（ｕｎｉｔｙ）ゲ イン・バッファ２２６を介してスイッチ２７８の第１のターミナル２２８に接続 されている。スイッチ２７８の反射側の端子は電圧制御ノード２８２であり、ス イッチ２８０の一端にも接続されている。スイッチ２８０の他端はポテンショメ ータ２７４のタップに接続されており、ポテンショメータの一端は地気に接続さ れており、他端は抵抗２７６を介してＶｃｃに接続されている。

第１のレベルのニューロン１６−ｉの信号出力はフィード・フォワード・シナプ シス接続回路３Ｏ−ｉｊの信号入力端子２０６につながっている。この信号入力 端子２０６は比較器２０８を介して回路ノード２１０に接続されている。比較器 ２０８はインピーダンス変換器として働き、ブレ・シナプシス・ニューロンｌ６ −４に対し、とても高い入力インピーダンスを呈する。このような高いインピー ダンスの入力は数千もの接続回路が同じ神経出力に接続されるかもしれないので 重要である。インピーダンス変換器２０８は信号入力端子２０６に接続される非 反転入力およびＶｃｃ／２の電圧に接続された反転入力を備えている。

回路ノード２１０はスイッチ２７８の制御端子に接続され、電圧反転器２７５を 介してスイッチ２８０の接続端子にも接続されている。図示のとおり、高しルベ ルの電圧か信号入力端子２０６上に存在する時、スイッチ２７８は閉じ、電圧制 御ノード２８２は（ホロアー（ｆｏｌ　１．ｏｗｅｒ）によりもたらされるオフ セットを除いて）キャパシタ１２４の電圧に等しい電圧を出力するであろう。ス イッチ２８０は開放となる。信号入力端子２０６が低い電圧を出力すると、スイ ッチ２７８は開き、スイッチ２８０は閉じる。電圧制御ノード２８２は電圧を出 力し、この電圧は好ましくは以下に説明するように、抵抗２７６およびボランシ タメータ２７４により形成される抵抗分割器による低い電圧である。抵抗２８６ の値は抵抗２７４および２７６の値よりずっと大きいので、抵抗２８６を介する 電流はこの低い電圧に影響を及ぼさない。こうして、電圧制御ノード２８２上の 電圧は第１のレベルのニューロン１６−ｉの信号出力のパルスの比率に等しい比 率で、低い基準電圧とキャパシタ１２４の電圧との間で発振する。抵抗２７４お よび２７６により形成される調整可能な電圧分割器の目的はキャパシタ１２４の 電圧がゼロである時、ホロアー２２６のオフセットによりノード２２８はその間 中、ゼロにいくことはできないので、低い電圧のオフセットをもたらすことであ る。従って、電圧分割器によりトランスコンダクタンス変換器は後述するように 、キャパシタ１２４がゼロ電圧の時に真にゼロの電流を供給することができる。

電圧制御ノード２８２は能動素子として電圧ホロアー２００およびオペアンプ２ ９４により形成されるトランスコンダクタンス変換器への入力を形成する。電圧 制御ノード２８２は抵抗２８４を介してオペアンプ２９４の非反転入力２９０に 接続されており、オペアンプ２９４の出力２９８は抵抗２９２を介してオペアン プ２９４の反転入力２８日に接続されている。また、オペアンプ２９４の反転入 力は抵抗２８６を介してポテンショメータ２７４のタップに接続されている。

オペアンプ２９４の出力２９８はさらに抵抗２０２を介して電圧ホロアー２００ の非反転入力に接続されており、電圧ホロアー２００の出力はそれ自身の反転入 力に直接、接続されている。さらにホロアー２００の出力は抵抗２９６を介して オペアンプ２９４の非反転入力２９０に接続されている。また、ホロアー２００ の非反転入力はフィード・フォワード・シナプシス接続回路３Ｏ−ｉｊの信号出 力端子２０４を形成し、フィード・フォワード・シナプシス接続回路３Ｏ−ｉｊ は第２のレベルのニューロン１８−ｊの信号入力に結合されている。

トランスコンダクタンス増幅器はそれが接続される第２のレベルのニューロン１ ８−ｊの合算点１２８（図３参照）に電流を流し込むように構成されている。

その流し込まれる電流の量は電流出力端子２０４での電圧変化とは独立して、抵 抗２０２の両端間の電圧により制御される。ホロアー２００はポイント２０４の 電圧を検出し、抵抗２９６および２８４により形成される電圧分割器へ同じ電圧 を出力し、電圧分割器のタップはオペアンプ２９４の非反転入力に接続されてい る。ポイント２９８の電圧は抵抗２９２および２８６により形成される別の電圧 分割器を介してオペアンプ２９４に負の方向にフィードバックされる。オペアン プ２９４はポイント２８Ｂおよび２９０の電圧がおよそ等しくなるようにポイン ト２９８の電圧を維持する。従って、抵抗２０２を通る電流は電流制御ノード２ ８２の電圧により制御されることがわかるであろう。

このように保持キャパシタ】２４、スイッチ２７８，２８０および前述した関連 する回路に関し、トランスコンダクタンス増幅器はシナプシス出力端子２０４に 一連の電流パルスを発生ずる。これらの電流パルスはある周波数と信号入力端子 ２０６のところでフィード・フォワード・シナプシス接続回路３Ｏ−３Ｊに入る 電圧パルスの期間と等しい期間を有する。各パルスの頂上部の電流レベルは保持 キャパシタ１２４の電圧により支配され、パルス間の電流レベルは非常に小さい かあるいはゼロである。フィード・フォワード・シナプシス接続回路３Ｏ−ｊｊ の出力ノード２０４はＷｌｌａ＋におよそ等しいアクティビティ・レベルを出力 するといえよう。尚、ａｌはフィード・フォワード・シナプシス接続回路３Ｏ− ｉｊの入力２０６が接続される第１のレベルのニューロン１６−１のアクティビ ティ・レベルの出力である。

本実施例のネットワークはフィード・フォワード・シナプシス接続回路３〇−１ ｊ内の接続性の重みＷｉＪを、第１のレベルのニューロン１６−ｉおよび第２の レベルのニューロン１８−ｊの両者の出力上に高いアクティビティ・レベルが同 時に発生するまで強めることにより、カテゴリーを学習する。両者のニューロン が同時に発火すれば、それらに結合するフィード・フォワード・シナプシス接続 回路の接続性の重みは強められるべきである。また、学習アルゴリズムは接続性 の重みＷｉｊか第２のレベルのニューロン１８−ｊ上の高いアクティビティ・レ ベルおよび第１のレベルのニューロン１６−１上の低いアクティビティ・レベル が同時に発生することにより決まる程度まで弱められるべきことを保つ。第２の レベルのニューロン１８−ｊのアクティビティ・レベルの出力が低いアクティビ ティ・レベルであれば、全ての連続性の重みＷｌ」、ｉ−１，・・・、Ｍは第１ のレベルのニューロン１６−１の出力のアクティビティ・レベルにかかわらず実 質的に変化しないままとどまる。それにもかかわらず、メモリ・キャパシタ１２ ４内のもれによって、接続性の重みは弱められ得る。

従って、図４のフィード・フォワード・シナプシス接続の中には、第２のレベル のニューロン１８−ｊの出力のパルスの高いレベルの間のみに、保持キャパシタ １２４を充電（または放電）するための学習回路が含まれる。第１のレベルのニ ューロン１６−１の電圧出力が（後述するエクステンダにより伸張されて）第２ のレベルのパルスの間、高いレベルであれば、キャパシタ１２４は再び充電する 。それが低いレベルであれば、キャパシタ１２４は充電を失う。

インピーダンス変換器２０８の出力はスイッチ２７８の制御端子に接続されてい ることに加えて、ダイオード２１２に直列なダイオード２】１を介して比較器２ ＋７の非反転入力２１３にも接続されている。また、比較器２１７の非反転入力 ２１３はキャパシタ２１８に平行な抵抗２＋６により地気に結合されている。

図４のフィード・フォワード・シナプシス接続回路への回路人力ノード２３６は 後述するディープ・スリーブ・ニューロン（ＤＳＮ）エクステンダーの出力に結 合されている。回路ノード２３６は別のインピーダンス変換器２３８および直列 の抵抗２３９を介して比較器２】７の反転入力２１４に結合されている。また、 比較器２１７の反転入力２１４は抵抗２４０を介してＶｃｃに接続されている。

比較器２１７の出力２＋９は抵抗２２＋に直列なスイッチ２２０を介して、保持 キャパシタ１２４の非接地端子に結合されている。スイッチ２２０のための制御 端子はさらに別のインピーダンス変換器２４１の出力２４２に接続されておりイ ンピーダンス変換器２４１の入力は回路人力ノード２３７に接続されている。回 路人力ノード２３７と第２のレベルのニューロン１８−ｊからの出力信号を受け 、この第２のレベルのニューロン１８−ｊはフィード・フォワード・シナプシス 接続回路３Ｏ−ｉｊの出力２０４に接続された入力を存する第２のレベルのニュ ーロンと全く同じである。

フィード・フォワード・シナプシス接続回路のパルス・エクステンダの部分は次 のように動作する。入力２３６が低いレベルであれば抵抗２３９および２４０は 比較器２１７の反転入力２１４にスレッシュホールド電圧をもたらす電圧分割器 を形成する。パルスが信号入力端子２０６に到来すると、ダイオード２１１およ び２１２はキャパシタ２１８を充電し、これにより比較器２１７の非反転入力２ １３の電圧を、それか反転入力２１４のスレッシュホールド電圧を越えるまで、 急速に上昇せしめる。比較器２１７の出力電圧２１９が高くなり、レジスタ２１ ６か非反転入力２１３の電圧を反転入力２１４のスレッシュホールド・レベルを 下回るレベルにまで低下させるためにキャパシタ２１８を充分に放電するまで、 高いレベルにとどまる。従って、出力パルスの幅は抵抗２３９．２４０．２＋６ およびキャパシタ２１８によって決定される。

以下に、より詳しく説明する本発明の一特徴によれば、回路人力ノード２３６の 高い電圧レベルはパルス・エクステンダを消勢し、比較器２１７の出力２１９を 低い電圧とすることがわかるであろう。インピーダンス変換器２３８の出力が高 いレベルとなり、これにより反転入力２１４のスレッシュホールド電圧が高いレ ベルになることに気づくことにより理解されよう。非反転入力２１３の電圧はダ イオード２１１および２１２によりもたらされる二重のダイオード電圧低下によ り、この高いスレッシュホールド電圧を越えることはなく、従って、比較器２１ ７の出力電圧は低いレベルにとどまる。従って後述する本発明の一特徴によれば 、ＤＳＮエクステンダの出力上のパルスの高いレベルは第１および第２のレベル のニューロン１６−ｉおよび１８−ｊの出力上に同時に高いレベルが発生する時 に起こるであろう保持キャパシタ充電操作と重なり、そのかわり保持キャパシタ １２４を抵抗２２１を介して第２のレベルのニューロン１８−ｊからのパルス出 力の周波数により決められる比率で放電せしめる。

フィード・バック・シナプシス接続回路図５はフィード・バック・シナプシス接 続３２−ｊｉの概略図を示している。

ある例外を除いてそれは図４のフィード・フォワード・シナプシス接続に非常に よく似たものである。第１に、第４のレベルのニューロン１６−ｉによす制御さ れるかわりに、シナプシス接続の出力パルスの周波数を決定するスイッチ２７８ および２８０は第２のレベルのニューロン１８−ｊからの出力信号により制御さ れる。これはスイッチ２７８の制御入力および電圧反転器２７５の反転入力を、 インピーダンス変換器２０８の出力に変えて、インピーダンス変換器２４１の出 力に接続することにより成される。インピーダンス変換器２４１の出力は以下に 明らかになるであろう理由のために、学習スイッチ２２０の制御入力に接続され たままである。

第２に、第２のレベルのニューロン１８−ｊの信号入力に接続されるがわりに、 フィード・バック・シナプシス接続３２−ｊｉの出力２０４はシナプシスの後の 第１のレベルのニューロン１６−ｉの信号入力に接続されている。

フィート・バック・シナプシス接続３２−ｊｆのための学習アルゴリズムは同じ ２つのニューロンに結合するフィード・フォワード・シナプシス接続のための学 習アルゴリズムと同じものである。即ち、接続性の重みＷｊｌは第１のレベルの ニューロン１６−ｉおよび第２のレベルのニューロン１６−ｊの両者において高 いアクティビティ・レベルが同時に発生するまで強まり、第２のレベルのニュー ロン１８−ｊの出力上の高いアクティビティ・レベルおよび第１のレベルのニュ ーロン１６−１の出力上の低いアクティビティ・レベルが同時に発生するまで弱 まる。こうして、フィード・バック・シナプシス接続回路３２−ｊｉの中のパル ス・エクステンダ回路の入力２０６はフィード・フォワード・シナプシス接続回 路内と同様に、第１のレベルのニューロン１６−１の出力に接続されたままとな り、学習スイッチ２２０を制御する、フィード・バック・シナプシス接続回路３ ２−ｊｉ内の回路人力ノード２３７は第２のレベルのニューロン＋８−ｊの出力 に接続されたままである。

フィード・バック・シナプシス接続回路とフィード・フォワード・シナプシス接 続回路とのさらなる差異において、以下に説明される通り、フィード・バック・ シナプシス接続回路内の接続性の重みＷｊｉのスリーブ・リフレシュはディープ ・スリーブ・ニューロンによりチェックされる必要がない。従って、図５に示さ れるフィード・バック・シナプシス接続回路は、図４のフィード・フォワード・ シナプシス接続回路内でＤＳＮエクステンダ出力に接続されていた入力２３６を 省略しており、そのかわり抵抗２３９を地気に接続している。従って、抵抗２３ ９および２４０により形成される抵抗分割器は比較器２１７の反転入力に固定の スレッシュホールド電圧をもたらし、これによりパルス・エクステンダが消勢さ れないことを確実ならしめる。

尚、スイッチ２２０はリフレッシュおよび学習の両者のスイッチとして働く。

この結果、いづれの接続回路に関しても、それが一部分となるネットワークが眠 っているか、または学習しているかは問題ではない。即ち、それはスリーブ・モ ード若しくは学習（アラエイフ）モードのいずれでも同じように機能する。

禁止の接続回路 図６は禁止の接続回路を図説するものである。前に述べたように、第２のレベル のクラスタ内にある全てのニューロンは相互に競合的である。相互の競合はクラ スタ内の第２のレベルのニューロンの各々の出力とクラスタ内の第２のレベルの ニューロンのどの他のニューロンの入力との間に禁止の接続を設けることにより 成し遂げられる。禁止の接続回路は固定の接続性の重みをもち、それは負のもの であり、これにより、クラスタ内の第２のレベルのニューロンの各々の出力のア クティビティ・レベルを、クラスタ内の他の第２のレベルのニューロンの各々の アクティビティ・レベルに対し、負の方向に感応せしめる。このように、図６に 示されるような禁止の接続回路は各々のに番目の第２のレベルのニューロンの出 力を各々の５番目の第２のレベルのニューロンの入力に接続する。尚、ｊ＝Ｍ＋ １、・・・、Ｎであり、Ｋ＝Ｍ＋１．　・・・、Ｎであり、Ｋ≠ｊである。

禁止の接続回路３ｌ−ｊｋは第２のレベルのニューロン１８−ｊの出力を第２の レベルのニューロン１８−にの入力に結合する。そして、第２のレベルのニュー ロン１８−ｊの出力は禁止の接続回路３ｌ−ｊｋの回路入力ノード３４４に接続 され、禁止の接続回路３ｌ−ｊｋの出力ノード３８２は第２のレベルのニューロ ン１８−にの入力に接続される。抵抗３５８．３６０．３６２および３６８は全 てほぼ同じ値であり、抵抗３７０および３７４の値はほぼ等しい。抵抗３５８の 値は比例定数Ｋにより抵抗３７０の値に比例する。定数には以下に示されるよう にそれはどれだけの電流かシナプシスの後のニューロンから引き出されるかを決 定しているために、回路のシナプシスの接続性を決定するものである。

反転器３５０は入力３４４に到来するパルスを反転し、一方、反転器３４６はそ のパルスをそれらの元の特性に反転して戻す。電圧ホロアー３７８およびオペア ンプ３７２は入力３４４が低い時に次のようにして抵抗３８０の両端の電圧降下 をゼロに維持する。パルスの間ではポイント３４８の電圧は高いレベルでありポ イント３５２の電圧は低い、その結果、ダイオード３５４および３５６の両者は 順方向にバイアスされる。抵抗３５８．３６２．３６０および３６８は全て等し い値のものであり、オペアンプ３７２はポイント３６４および３６６の電圧が等 しくなるようにポイント３７６の電圧を維持するので、抵抗３７０および３７４ を通る電流は等しくなければならない。そして、Ｒ３７０＝Ｒ３７４であるので 、ポイント３７６の電圧（以下、ｖ３７６と称する）はｖ３８２と等しくなけれ ばならない。このようにパルスの間では図６の禁止の接続回路はシナプシスの後 のニューロン１８−ｋに電流を供給しない。

パルスが発生している時、ポイント３４８は低いがポイント３５２は高い、従っ て、ダイオード３５４および３５６は逆方向にバイアスされる。ポイント３４６ のところでキルヒホッフの法則を用いると、（ＶＣＣ−ＶＳｅ２）／Ｒ３６２＝ 　（ＶＳｅ２−Ｖ３７６）／Ｒ３７０となり、同様に、ポイント３６６では （ＶＳｅ２−０）／Ｒ３６８＝　（Ｖ３８２−ＶＳｅ２）／Ｒ３７４となる。

オペアンプ３７２はＶＳｅ２がＶＳｅ６と等しくなるようにｖ３７６を保つため に、上記の式は結合されて次式となるように再構成される。

（１／Ｋ）’ＶＣＣ＝Ｖ３８２−Ｖ３７６従って、パルスが発生すると（１／Ｋ ）Ｖｃｃに比例した電流がシナプシスの後のニューロン１８−ｋから引き出され る。

ネットワークの動作 図１のネットワークの一般的な動作を理解するために、まず、第１のレベルのニ ューロン１６の内の単一のニューロン１６−１およびそれが結合される第２のレ ベルのニューロン１８の内の単一のニューロン１８−ｊについてあたかもそれら か簡単とはいえ、完全なネットワークを形成するかの如く切り離してみてみる。

この簡単なネットワークの周囲はずっとより大きいネットワークの残りの部分か らなっている。

前に説明したとおり、ニューロンはそれらが休止状態にある時さえ、常にパルス を出力する電子的物体である。１つのニューロンはそれが発生しているパルスの 周波数若しくは比率が休止状態の比率に比べずっと速い比率にまで急速に増加す る時に発火したといえる。図３のニューロンのようなニューロンの動作を思い出 すと、入力アクティビティ・レベルにおける充分に速い増加によりニューロンか 発火することがわかるであろう。第１のレベルのニューロン１６について、これ らの入力アクティビティ・レベルは外部入力からも、その入力か結合されるとこ ろの第２のレベルのニューロン１８からも到来する。フィード・バック接続回路 ３２−ｊｉの動作を思い出すと、第１のレベルのニューロン１６−１により受け られる、第２のレベルのニューロン１８−ｊからのアクティビティ・レベルはＷ ｌｌρ１に等しいことかおわかりいただけよう。尚、ＷＪｌは第２のレベルのニ ューロン１８−ｊから第１のレベルのニューロン１６−１への接続の接続性の重 みであり、ｆ、は第２のレベルのニューロン１８−ｊの出力周波数である。こう して、第２のレベルのニューロン１８−ｊの高いアクティビティ・レベルにより １、接続性の重みＷＪｉが充分に強いものでありさえすれば、第１のレベルのニ ューロン１６−１は発火しつる。

第２のレベルのニューロン１８については入力アクティビティ・レベルはその入 力か結合されている第１のレベルのニューロン１６から到来する。第１のレベル のニューロン１６と同様に、第２のレベルのニューロン１８−ｊは接続性の重み Ｗｉｊが充分に強いものでありさえすれば、第１のレベルのニューロン１６−ｉ により発火せしめられ得る。

接続性の重みＷｉ」およびＷＪｌか弱い２つのニューロンのネットワークをまス 考えてみよう。この状況において、両ニューロンか同時に発火する本質的な理由 はない。従って、いかなる時も両ニューロンのうちのいづれも発火しないか、あ るいは１つのみが発火する可能性は両方共発火する可能性に比べて極めて大きい 。

従って、第１のレベルのニューロン１６−ｉにより生成されるパルスのタイミン グは第２のレベルのニューロン１８−ｊにより生成されるパルスのタイミングと ほとんど相関はなく、シナプシスの接続性の重みＷＩＪおよびＷｊｌは小さくま まである。それらは現実には第１のレベルのニューロン１６−１が休止状態であ る時に第２のレベルのニューロン１８−ｊか発火すれば、低減されるであろう。

さて、接続性の重みＷＩＪおよびＷＪｌが強い２つのニューロンのネットワーク を考えてみよう。この状況において、ニューロンのいづれか一方の高いアクティ ビティ・レベルは他方のニューロンのアクティビティ・レベルに強く、かつ正方 向に影響を及ぼし、きわだってそれらか同期して発火する可能性を増大せしめる 。

（尚、いづれのニューロンの高いアクティビティ・レベルも各々のニューロン内 のレギュレータ回路１０６（図２）の抑止効果により長い間維持されることはな い。）２つのニューロンの電圧出力波形のピークはより頻繁に同時に発生するの で、それらの間の接続は強まる。しかしながら、この状況において何ら規則制は ないので、それにもかかわらず、２つのニューロンが通常よりより同期しないで 発火する時の接続の減衰の次定数より長い時間間隔となる。上述の選ばれた学習 アルゴリズムによると、および上述により実現されるネットワークの動作による と、これらの間隔において接続性の重みＷｉｊおよびＷｊｉは弱められる。

この理由若しくは単純な電荷のもれによる所望としないメモリの消失に対処する ために本発明のネットワークはネットワークが時折遷移するスリーブ・モードを 含んでいる。このスリーブ・モードはここではネットワークに対する全ての入力 が止められるように神経ネットワークをその外界から物理的に隔絶することをさ すものとする。また、寝ている間の出力の活性化もほとんど意味がないので、出 力も切り離される。ネットワークはそれ自身の状態空間をランダムに往来するで あろうことがおわかりいただけよう。

２つのニューロンのネットワークの場合には４つの状態のみが存在する。第１の レベルのニューロン１６−１および第２のレベルのニューロン１８−Ｊの両者か 休止状態（“オフ”）であるときに第１の状態となり、第２のレベルのニューロ ン１８−ｊが休止状態であり、第１のレベルのニューロン１６−ｉか発火（“オ ン”）しているときに第２の状態になり、第２のレベルのニューロン１８−ｊか 発火し、第１のレベルのニューロン１６−ｉか休止状態であるときに第３の状態 になり、両方のニューロンが同時に発火しているときに第４の状態になる。

図２および３に関し前述したように各ニューロンはそれ自体すでに１つの発振器 である。指摘してきたように、第１のレベルのニューロンについてはそのニュー ロンが休止状態にある時でさえ主発振は発生する。ネットワーク内の２つのニュ ーロンおよびそれらの間の２つの接続はさらに各ニューロンの周波数ｆを発振せ しめる第３のフィード・バック発振器を形成する。周波数の任意的な変調、ここ では補助発振と称するが、は次のようにして起こる。両ニューロンはオフである スタート状態であるとしよう。第１のレベルのニューロンからの休止状態のパル スは第２のレベルのニューロンの合算入力のところで時間的に合算され、これに より第２のレベルのニューロン内の合算キャパシタ１３０（図３）の電荷を増加 せしめる。到来するパルスの各々によりもたらされる増加の量はフィード・フォ ワード接続回路のキャパシタ１２４（図４または５）の電荷に比例する。この増 加はキャパシタ１３８が第２のレベルのニューロンの主発振のサイクルの各々に おいてより迅速に充電されるようになるように、抵抗１３２を介しての第２のレ ベルのニューロン内のキャパシタ１３８（図３）の充電を加速するのを助ける。

キャパシタ１３０に蓄積される電荷の割合はフィード・フォワード接続回路内の 接続性の重みのキャパシタ１２４の電荷に比例しているので、第２のレベルのニ ューロン内で蓄積される周波数の割合も接続性の重みのキャパシタ１２４の電荷 に比例する。第２のレベルのニューロンにおける主発振の周波数の増加はフィー ド・バック接続回路を介して第１のレベルのニューロンにフィード・バックされ 、これにより第１のレベルのニューロンにおける主発振の周波数を増大せしめる 。

さらに、これにより第２のレベルのニューロンのキャパシタ！３８の充電か加速 される。なだれ効果は両ニューロンが高い周波数に達するまで起こる。そして両 者はオンとなったどいえる。

各ニューロンはレギュレータ回路内の各々のキャパシタ１６８の電荷が主発振の 周波数がその各々の休止状態の値の方向に低下して戻る点までたまるまで状態を 維持する。そして補助発振のサイクルは繰り返す。なだれが生じる割合（即ち、 補助発振の頻度）は各接続回路内のキャパシタ１２４の初期状態の電荷に依存す る。

図７にはキャパシタｉ３０の合算された入力電圧が増加し、そして減少するとき のニューロンのアクティビティのいくつかのグラフが示されている。曲線４００ はキャパシタ１３０の電圧Ｖ１３０を示している。回路出力ノード１７２上に生 成される比率ｆのパルスのときに測定される、神経応答が曲線４０２に示されて いる。レギュレータ電圧Ｖ１６４は曲線４０４として示されている。ｆはＶ１３ ０ど共に増加するが、ニューロンのレギュレータ電圧ｖ１６４の上昇は禁止する 効果を有している（神経パルスの周波数ｆを低下する）ので、ｆの減衰は■１３ ０の減衰より急激となりうることに注目してもらいたい。そして、ニューロンは ２つの主要な内部状態、即ち、キャパシタ１６８が充電され、■１６４が高いレ ベルであり、合算された入力電圧Ｖ１３０に対する応答か減少する禁止状態およ びＶ１６４が低いレベルで、ニューロンが合算された入力電圧Ｎ］３０の変化に 感応するアコモデーション状態を有する。以下に、より詳しく説明するように− 漕ぎの中で同じニューロンを２回発火させないようにするに充分中長さである限 り、禁止状態の正確な長さは重要ではない。

補助発振はキャパシタ１２４がその電荷を保持するための主要なメカニズムであ ることかわかるであろう。２つのニューロンのネットワーク内での２つのニュー ロンの間の接続の強度か眠ろうとしているときに高いレベルものであれば、第１ の状態（オフーオ））および第４の状態（オン−オン）は第２の状！！！！（オ ン−オフ）および第３の状態（オフ−オン）よりネットワークにより優遇される 。２つのニューロンの出力の周波数は増加し、そして減少し、より頻繁に同時に 発火し、これにより元々の同調的な発火によりもたらされる以前のシナプシスの 強度を保持し、強める。共振発火の度に、メモリ・キャパシタ１２４の電荷はス イッチ２２０（図４または５）によりリフレッシュされる。

ネットワーク内の２つのニューロンの間の接続強度が眠そうとするときに低いレ ベルであれば、第２および第３のレベルが優遇されるであろう。第２の状態（オ ン−オフ）は接続性の重みにあったとしてもほとんど影響しないだろうし、第３ の状態（オフ−オン）は現実に接続性の強度を弱めるであろう。一般に、同時発 火の割合は初期の接続性の重みＷｉｊおよびＷｊｉおよび、これらの接続性の重 みが変化する時定数に依存する。このように、それによりネットワークがその状 態空間を往来するところの補助発振がネットワークがその外部から隔絶されてい る（眠っている）ときに任意的に発生するので、眠っている間連結分野中の様々 な連結性の値開のコントラストはこれにより良（なる。学習したことではあるが 、た起きている間に最近は活性化されなかったような応答か消失してしまうこと に対処することができる。

マルチ・ニューロン・ネットワーク 図１のネットワークを参照すると、ネットワークは３つの第１のレベルのニュー ロン１６および４つの第２のレベルのニューロン１８を含んでいると考えること ができる。このネットワークは次の４つの入カバターンの組合せを区別するよう 教育されたものとする。

Ｎｏ、１　オフ　オフ　オン Ｎｏ、２　オン　オン　オン Ｎｏ、３　オン　才）　オン Ｎｏ、４　オン　オン　オン ネットワーク内の第２のレベルのニューロン１８の全ては全てのニューロンが相 互に競合的である同じクラスタに属しているので、４つの第２のレベルのニュー ロン１８の各々のニューロンは４つの入カバターンのうちの異なる１つを認識す るようになるものと期待されつる。

図８は４つのパターンの学習の結果として、展開する接続を図説するものである 。この図においては、強い接続のみが示されており、フィード・フォワード接続 およびフィード・バック接続は両者共に単一の線として示されている。例えば、 入カバターンＮｏ、３の（オン−オフ−オン）は第２のレベルのニューロン１８ −５および第１のレベルのニューロン１６−１および１６−３の両者との間の共 振を引き起こし、そのことは第２のレベルのニューロン１８−５がこの３番目の 入カバターンを認識したことを示していることがわかるであろ九すなわち、３番 目の入カバターンが第１のレベルのニューロン１６に入力されると、第２のレベ ルのニューロン１８−５は発火するであろうニューロンである。同様に、第２の レベルのニューロン１８−７は１番目の入カバターン（オフ−オフ−オン）を認 識し、第２のレベルのニューロン１８−６は２番目の入カバターン（オフ−オン −オン）を認識し、そして、第２のレベルのニューロン１８−４は４番目の入カ バターン（オン−オン−オン）を認識する。入カバターンがネットワークに入力 されたシーケンスに依存し、かつ学習済の初期状態の接続性の値に依存して、入 カバターンと第２のレベルのニューロンとの間の異なる相関が代わりに学習され つるだろう。

第２のレベルのニューロン１８−６と第１のレベルのニューロン１６−２および １６−３との間の接続は第２のレベルのニューロン１８−７と第１のレベルのニ ューロン１６−３との間の接続より弱いことに注目してもらいたい。そうでなけ れば、入カバターンＮｏ、１　（オフ−オフ−オン）が入力ニューロン１６に入 力されると、第２のレベルのニューロン１８−６は第２のレベルのニューロン１ ８−７により受けられた信号と同じ強さの信号を受けるであろう。過去の履歴お よびその他の要素に依存して、第２のレベルのニューロン１８−６は第２のレベ ルのニューロン１８−７に対して勝つことができる。図８は示される連続により 判断すると、第２のレベルのニューロン１８−７は入カバターンＮｏ、１に対し て反応するのに正当なニューロンであるので、このことは望ましいことではない 。他方、第２のレベルのニューロン１８−６に接する接続が第２のレベルのニュ ーロンｌ８−７に接する接続より弱いと、第２のレベルのニューロン１８−７は 正当に、入カバターンＮｏ、１に対し反応するニューロンとなるであろう。

図８のネットワークが眠っている状態にされたとすると、補助発振か起こり、ニ ューロンの共振発火により安定な状態に遷移する。ニューロンの内部的な禁止状 態が充分に長くなると、−漕ぎの中で２回、同じ状態に遷移することは奨励され ず、ネットワークは疑似ランダム・シーケンスにより異なる状態に遷移するであ ろう。各状態に遷移する度に、その入カバターンを認識する第２のレベルのニュ ーロンと共に、学習された入カバターンを表わす第１のレベルのニューロンの共 振発火は更に、そのような第１および第２のレベルのニューロンの間の接続を強 める傾向がある。従って、実際は、スリーブ間の本発明のネットワークの通常動 作では、フィード・フォワード接続回路３０およびフィード・バック接続回路３ ２内のキャパシタ内に保持された接続性の重みは自動的にリフレッシュされる。

出願人は接続性の重みは相互にほぼ一定の割合で増加する傾向にあり、これによ り、それを全て等しいレベルに合わせるより、様々な接続性の重みの値のコント ラストを適宜、維持し、改善するものであることに気づいている。

ディープ・スリーブ システムか起きているときは、ニューロンは主にシステムに対する外部刺激によ り発火する。しかしながら、システムが眠っているときはニューロンは主に補助 共振若しくは発振により発火する。補助発振は起きている間でさえ起こりつるが 、それらはバックグランド雑音の中にあるときであり、それらによる発火は以下 に説明されるように外部入力による発火よりずっと小さい強度のものである。

外部刺激による発火は補助発振による発火より常により強い強度のものであり、 この２つタイプの発火を区別するために、１番目のものを高強度発火（ＨＩＦ： Ｈｉｇｈ　Ｉｎｔｅｎｓｉｔｙ　Ｆｉｒｉｎｇｓ）と呼ぶ、２番目のものを低強 度発火（ＬＩＦ：ＬｏｗＩｎｔｅｎｓｉｔｙ　Ｆｉｒｉｎｇｓ）と呼ぶ。強度に おける差は励起状態であるときに外部入力は通常、高い周波数に維持されるため に生じるものであり、そのような維持された周波数で、第１および第２のレベル のニューロンの両者のレギュレータ回路＋０６は遅いものであり、ニューロンの 応答をすばやく抑圧することはない。他方、補助発振による発火は、フィード・ フォワード接続がレギュレータ回路の抑圧効果を封じ込めるほどの大きいもので なければ、なだれ現象が始まるとすぐに抑圧されうる。従って、ネットワークが 起きているときにはＨＩＦの活動はニューロンの中で広くいきわたり、ネットワ ークが眠っているときはＨＩＦは稀となり、ＬｒＦが勢力を広げることが容易に 理解されよう。

メモリ領域の接続性の全体的なリフレッシュを正確に行うためにネットワークが 眠っている間に、ネットワーク内の学習した状態の全てが等しい確率で遷移によ り発生することが好ましい。しかしながら、接続が第１および第２のレベルのニ ューロンの間に多すぎる量の正のフィード・バック量となってしまうようなレベ ルまで、それらの影響度を増加する可能性があり、ＨＩＦの活動は外部入力がな いときでさえ起こる。この現象はここではディープ・スリーブと呼ぶ。

起きているとき、本発明によるネットワークはＨＩＦ活動を伴った接続を他の接 続に比べより頻繁に行う。いくつかのニューロンはほとんどの時間、発火してい る一方で、他のニューロンは全く発火しない。その結果、発火するニューロンを 接続する接続のみが用いられ、これにより、それらの接続性を少しだけ増加せし める。また、システムが起きている間に新しいカテゴリーを学習すると、新しい 接続が設定されつる。全く発火しないニューロン間の接続はしだいに衰えていき 、ＨＩＦ活動により用いられる接続はＬＩＦ活動により用いられる接続よりより 早く成長する。

従って、眠ろうとするときに、起きている間にＨｒＦ活動による遷移によって発 生したネットワークの状態は全く遷移による発生のなかった状態より優遇される こととなる。眠っている間に、優遇された状態を呈する第２のレベルのニューロ ンは優遇されなかったニューロンより（ＬＩＦにより）より頻繁に発火し、これ により、その優遇されたニューロンへのまたほからの全接続の影響度を増加せし めることとなる。これらの接続の影響度は不活性な接続を犠牲にして限定的に増 加しつる。接続性の領域を交互に高めるかわりに、システムは刺激されなかった いくつかの記憶を失うかもしれない。

従って、本発明の１つの特徴において、ディープ・スリーブ状態を自動的に検出 して修正するための装置がネットワーク内に含まれる。再び図４を参照すると、 ネットワークは更に特別な接続５２−４．５２−５．５２−６および５２−７を 介して各々の第２のレベルのニューロン１８−４．１８−５．１８−６．１８− ７の出力に結合される入力を育するディープ・スリーブ・ニューロン（ＤＳＮ） ５０を含んでいる。このディープ・スリーブ・ニューロン５ｏは更に隔絶スイッ チ２２および２４を作動する同一モード信号源ニューロン４ｏからの信号を受け るよう結合された禁止の入力を含んでいる。ＤＳＮ５０の出力はＤＳＮパルス・ エクステンダ５２を介して、フィード・フォワード・シナプシス接続回路３ｏの 各々のＤＳＮエクステンダ信号入力２３６（図４）に結合されている。

ＤＳＮ５０はレギュレータ回路か省略されている点を除いて、図３に示されるニ ューロン１６および１８の各々と設計上、同様のものである。ＤＳＮ５０は図１ １に示されており、図示のとおり、抵抗１５８はスレッシュホールド回路ノード １４６をレギュレータ回路の出力１６４（図３）の代わりに、Ｖｃｃと地気との 間に接続されたポテンショメータ５０２のタップに結合している。また、もれ抵 抗ｊ３４（図３）もＤＳＮ５０では省略されている。ネットワークのモード源ニ ューロン４０のアクティビティ・レベル出力はネットワークが起きているときは ＤＳＮ５０の回路人力ノード１２８に強い禁止の（すなわち頁の）信号を供給し 、ネットワークが眠っているときはほとんど若しくは全く信号を供給しない。（ 従って、要するに、ネットワーク・モード源ニューロン４０はネットワークが起 きているときにはＤＳＮ５０の動作を禁止する。

ＤＳＮパルス・エクステンダ５２は図９に示されるように実現されうる。基本的 には図５に示されたフィード・バック・シナプシス接続回路の学習入力上のパル ス・エクステンダと同じものである。図９のパルス・エクステンダの動作につい ては、シナプシス接続回路に関してすでに説明されたので、ここでは詳述しない 。しかしながら、図５の回路において固定の電圧分割器に接続されていたのに代 わり、ＤＳＮパルス・エクステンダ５２の反転入力はポテンショメータのタップ に接続されている。これにより、実験的ＤＳＮ信号中の各パルスの長さを調整す ることかできる。勿論、集積化された実施例においては、このポテンショメータ は固定の一対の抵抗によって置き代えられつる。

更に、ＤＳＮパルス・エクステンダ５２の機能はＤＳＮ５０の出力のところで実 行される代わりに、フィード・フォワード・シナプシス接続回路３Ｏ−ｉｊの各 々のディープ・スリーブ・信号入力２３６のところで実行されうることも注目す べきである。しかしながら、これによると、不必要な回路の二重となるであろう 。フィード・フォワードおよびフィード・バック・シナプシス接続回路の各々の 信号入力端子２０６のところのパルス・エクステンダは少なくとも、フィード・ フォワード・シナプシス接続回路３Ｏ−ｉｊの場合には、第１のレベルのニュー ロンからの生のパルス情報もスイッチ２７８および２８０（図４）を作動させる のに必要とされるので、これらの接続回路の各々において二重化される。同様に 、フィード・バック・シナプシス接続回路３２−ｊｉにおいて、第２のレベルの ニューロン１８−ｊからの生のパルス情報は同じスイッチおよび学習スイッチ２ ２０（図５）をも作動させるのに必要とされる。しかしながら、パルス・エクス テンダをニューロンの各々の出力上に設け、ニューロンの各々の付加的な出力と して生のパルス情報を供給するように回路を変形することも可能である。

図１０は第２のレベルのニューロン１８−Ｊのうちの１つの出力をディープ・ス リーブ・ニューロン５０の入力に結合する特別な接続回路５２−ｊのうちの１つ の回路概略図を示している。その多くはシナプシス接続回路３０若しくは３２の いずれかの回路と同じものでありこの回路の特徴の説明についてはここでは繰り 返さない。特に特別な接続出力端子２０４上に第２のレベルのニューロン１８− ｊの出力からの到来する電圧パルスの周波数により指令される周波数で、そして 保持キャパシタ４２４の電圧により決められる大きさを有する電流パルスを生成 する、動作および回路要素間の構造的接続関係はフィード・バック・シナプシス 接続回路３２−ｊｉ（図５）のものと同じである。しかしながら、特別な接続５ ２−ｊの学習メカニズムフィード・バック・シナプシス接続回路３２−ｊｉの入 力メカニズムとは異っている。スイッチ２２０を介してパルス・エクステンダ（ 図５）の出力に接続される代わりに、保持キャパシタ４２４に接続されたのは反 対側の抵抗２２１の端子はダイオード４２０のカソードに接続され、ダイオード ４２０のアノードなインピーダンス変換器２４１の出力に接続されている。また 、ダイオード４２０のアノードも抵抗４２５により締められている。

ディープ・スリーブ装置の動作を図１Ｏ１３，９および４（情報の流れの順序に 沿って列挙）を参照して説明する。まず初めに、眠りに入ろうとするとき、特別 な接続５２内の保持キャパシタ４２４の各々の電荷レベルは低いものとする。

そして特別な接続５２の各々の出力端子２０４は電圧パルスが第２のレベルのニ ューロン１８−ｊから到来する比率と同じ比率であるが、接続キャパシタ４２４ 内の小さい電荷のためにとても小さい振幅の一連の電流パルスを出力する。これ らの電流パルスは全て、ＤＳＮ５０の入力端子！２８のところで合算されるか、 それらは非常に小さい振幅のものであるので、ＤＳＮ５０が発火するようには影 響を及ぼさない。従って、ＤＳＮ５０の出力端子１７２は休止状態の比率で電圧 パルスを出力し、その比率はＤＳＮ５０がその入力上にもれ抵抗を備えていない ので、はぼゼロである。ＤＳＮ５０によるいかなるパルス出力もＤＳＮ／＜ルス ・エクステンダ５２により拡張され、フィード・フォワード・シナプシス接続回 路３０の全ての入力端子２３６に供給される。

フィード・フォワード・シナプシス接続回路３Ｏ−ｉｊの各々は前述したように ほとんど完全に動作しつづける。すなわち、第１のレベルのニューロン１６−１ および第２のレベルのニューロン１８−ｊの両者に高いアクティビティ・レベル が同時に発生するまで、キャパシタ１２４に電荷を加えることにより、その連結 性の重みを強くシ、第２のレベルのニューロン１８−ｉ上の高いアクティビティ ・レベルおよび第１のレベルのニューロン１６−ｉ上の低いアクティビティ・レ ベルか同時に発生するまで、接続キャパシタ１２４に保持された電荷を減らすこ とにより接続性の重みを弱くする。ＤＳＮ５０の現在の周波数が何であれ、１つ のパルスかフィー１乙フオワード・シナプシス接続回路３Ｏ−ｉＪへの入力端子 ２３６上に到来し、そのパルスの高電圧の部分の間に、前述したように、低い電 圧か比較器２１７の出力２１９に印加されるだろう。そのようなパルスが第２の レベルのニューロン１８−ｊから端子２３７上にパルス到来するのと同時に到来 するならば、スイッチ２２０は短かく閉じ、接続性のキャパシタ１２４は抵抗２ ２１を介して少しだけ放電されるであろう。しかしながら、第２のレベルのニュ ーロン！８−ｊから到来するパルスは伸張されないので、ディープ・スリーブ信 号か低周波数にととまる限り、キャパシタ１２４の放電は無視できるであろう。

特別な接続５２−ｊが接続されている第２のレベルのニューロン１８−ｊが決し て発火しないとすると、特別な接続５２−ｊはＤＳＮ５０が発火するように影響 を及ぼすことはないだろう。特別な接続５２−ｊの端子２３７上に入ってくる休 止状態のパルスはその回路内のキャパシタ４２４を少しだけ充電するが、第２の レベルのニューロン１８−ｊから到来する信号の長い低電圧のレベルによりキャ パシタは抵抗４２５を介して再び放電することができる。第２のレベルのニュー ロン１８−ｊか発火すれば、特別な回路１５−ｊの接続性はいくらか増加するで あろう。しかしながら、第２のレベルのニューロン１８−ｊが静かになると、接 続性は再び減少するであろう。第２のレベルのニューロン１８−ｊが高すぎると 周波数（Ｉ（Ｉ　Ｐ）により発火するか、若しくは非常に頻繁に発火するならば 、特別な接続５２−ｊ内の接続性のキャパシタ１２４は満充電となるだろう。こ れにより、伸張されたより高いレベルの電流パルスがＤＳＮ５０の入力合算端子 に送られ、すぐにＤＳＮ５０を発火させるだろう。そうするとき、パルスが高い 比率でフィード・フォワード・シナプシス接続回路３０の各々の端子２３６のと ころに到来するであろう。これにより、フィード・フォワード・シナプシス接続 回路内の接続性のキャパシタ１２４はそれが接続されているシナプシスの後の第 ２のレベルのニューロン１８からパルスが到来する比率に応じて放電される。従 って、要するに、接続性の重みＷＩＪを強化するかわりに、ディープ・スリーブ ・ニューロン５０の活性化により、第２のレベルのニューロン１８−ｊのアクテ ィビティ・レベルに応じて接続性の重みＷｌｊを弱めることとなる。学習の感度 は一時的に反転される。

接続性の重みＷＩＪが弱まるにつれ、第２のレベルのニューロン１８−ｊが発火 する頻度および強度は低下するだろう。それにつれ、特別な接続５２−ｊ内の接 続性の重みも低下し、ＤＳＮ５０はその休止状態の出力周波数へ戻るであろう。

これによりフィード・フォワード・シナプシス接続回路３０はそれらの通常の学 習感度に戻る。

上述の説明において、１つのＤＳＮ５０がクラスタ内の第２のレベルのニューロ ン１８の全てを制御する。第２のレベルのニューロンのうちの１つが優遇状態と なれば、クラスタ内の第２のレベルのニューロンの全てを扶養するフィード・フ ォワード・シナプシス接続の全てにおいて学習の感度は反転されるであろう。

しかしながら、これらの接続の全てが実際に放電するのではないので、これは問 題ではない。接続性のキャパシタの充電または放電は対応する第２のレベルのニ ューロンが発火するときのみ発生し、ディープ・スリーブにおいては、優遇され た第２のレベルのニューロンのみが発火しつづけるのが当然である。従って、実 際には、優遇された接続のみが弱められる。第２のレベルのニューロン１８−ｊ の各々はニューロン１８−ｊに関係するフィード・フォワード・シナプシス接続 のみを制御する、それ自身のＤＳＮを持つようにしてもよいことは考えられるで あろう。また、フィード・バック・シナプシス接続はディープ・スリーブの間で さえ、その最高のレベルまで強められつる。さらに、上述したものの代わりに、 より簡便なディープ・スリーブ・メカニズムが用いられてもよい。例えば、単一 のあるかないかの接続が各第２のレベルのノード１８−ｊの出力をニューロン１ ８−Ｊに隣接するフィード・フォワード・シナプシス接続回路の全ての“学習感 度反転”入力との間に設けられてもよい。

ディープ・スリーブは必然的にウェーバの法則に従うことを奨励するものである ウェーバの法則のルールは次のように説明されつる。各々が第２のレベルのニュ ーロンにより表わされる、ＳｌおよびＳ２の異なる２つのシステムの状態を考え てみよう。これらの２つの状態はある状態（Ｓｌ）に対してトリガーをかける第 １のレベルのニューロンのセット（ｓｅｔ）は他の状態（Ｓ２）に対してトリガ ーをかけるセットのサブセット（Ｓｕｂｓｅｔ）であるようなものである。換言 すると、３１に対してトリガーをかけるセット内の全ての第１のレベルのニュー ロンはまたＳ２に対してトリガをかけるセットの中にあるが、Ｓ２に対してトリ ガをかけるセット内のいくつかの第１のレベルのニューロンはＳｌに対してトリ ガをかけるセットの中にはない。ウェーバの法則のルールはＳｌのためのフィー ド・フォワード接続はＳ２のためのフィード・フォワード接続より強いものであ るべきであることを述べている。

本ディープ・スリーブ機構はこのルールに合うようにフィード・フォワード接続 を規定している。一般に、本ディープ・スリーブ機構により複雑なシステムの状 ｆｌ（すなわち、多数の第１のレベルのニューロンの励起を含むような状態）の ための接続はより複雑でないシステムの状態のための連結より弱くなるようにフ ィード・フォワード接続かを規定している。

これを示すために、全てのフィード・フォワード接続が初期状態において等しい 強度であるとしよう。このことはより複雑なパターンを呈する第２のレベルのニ ューロンはより複雑でない状態を呈する第２のレベルのニューロンよりそれらの 合流点においてより多くの電流を受けることであろう。してみると、より複雑な 状態はより複雑でない状態より、より頻繁に遷移し、そしてついには、ディープ ・スリーブによる接続性強度の低減プロセスはより複雑な状態を呈する第２のレ ベルのニューロンを扶養するフィード・フォワード接続の強度を低減することに より、より複雑な状態の発生確率を低減するであろう。このように本発明のネッ トワークのディープ・スリーブ・メカニズムは必然的に付加的なメカニズムを必 要とすることなくウェーバの法則のルールに従うものである。

本発明をその一実施例について説明してきたが、多くの変形例が本発明の範囲を 逸脱することなく可能であることは理解していただけよう。例えば、上述の実施 例においては２つのレベルのみのニューロンが含まれていたが、これらの２つの レベルは実際は複雑なレベルのネットワークの小さい部分にしかすぎない場合も ありうることも理解していただけよう。別の例として、上述の２つのレベルは相 互に回帰的であるが、本発明によるネットワークはその中の３つ以上のニューロ ンが各ループの部分であるようにも設計されつる。例えば、第１のレベルのニュ ーロンはフィード・フォワード接続を介して第２のレベルのニューロンに結合さ れるかもしれないし、第２のレベルのニューロンはフィード・フォワード接続を 介して第３のレベルのニューロンに結合されるかもしれないし、第３のレベルの ニューロンはフィード・バッル接続を介して第１のレベルのニューロンに結合さ れるかもしれない。また、他のレベルが前処理および後処理の目的のために含ま れうる。これらのおよび他の変形例は全て、本請求の範囲内のものである。

にニューロン） ＦＩＧＵＲＥ　３ にニューロン） （禁止の接続回路） （ＤＳＮ　エクステンダ） ＦＩＧＵＲＥ８ ン 国際調査報告 １−−１６ＭＩ　Ａ＊ｅｌ１ｃｍｌｅ＋＋　５ｅＰｃＴ　／　ＵＳ　８９　／　 ０３７５４

Claims (40)

【特許請求の範囲】
1. １．Ｍ個の第１の神経回路およびＮ−Ｍ個の第２の神経回路を含み、前記第１お よび第２の神経回路の各々の出力はあるアクティビティ・レベルを有する信号を もたらし、前記第２の神経回路の各ｊ番目のものの出力のアクティビティ・レベ ルは各々の接続性の値Ｗｉｊに従って、前記第１の神経回路の各ｉ番目のものの 出力のアクティビティ・レベルに応答し、前記第１の神経回路の各ｉ番目のもの の出力のアクティビティ・レベルは各々の連続性の値Ｗｊｉに従って、前記第２ の神経回路の各ｊ番目のものの出力のアクティビティ・レベルに応答する複数の 神経回路と、 前記ｉ番目の第１の神経回路の出力および前記ｊ番目の第２の神経回路の出力上 で同時に高アクティビティ・レベルであることに応答して、接続性の値Ｗｉｊお よびＷｊｉのうちの少なくとも１つを増加せしめ、前記ｊ番目の第２の神経回路 の出力が高アクティビティ・レベルであると同時に前記ｉ番目の第１の神経回路 の出力が低アクティビティ・レベルであることに応答して連結性の値Ｗｉｊおよ びＷｊｉのうちの前記少なくとも１つを減少せしめるための第１のメモリ調整手 段を含む学習手段と、 スリーブ・モードの間、起動状態であり、前記入力される刺激を消熱するための 手段および前記スリーブ・モードの間、起動状態であり、前記第２の神経回路の 全ての出力上のアクティビティ・レベルをより高いアクティビティ・レベルに向 けて同等に刺激するための手段を含むリフレッシュ手段とを含む入力される刺激 と共に用いられるための神経ネットワーク。
2. ２．学習アルゴリズム、スリーブ・リフレッシュ・アルゴリズム、および各々が １つのアクティビティ・レベルを有する複数の外部入力信号と共に用いられ、Ｍ 個の第１のレベルの神経出力およびＮ−Ｍ個の第２のレベルの神経出力を含む、 １つのアクティビティ・レベルを有する信号を出力する複数のＮ個を神経出力と 、 各々が各々の連続性の重みＷｉｊにより重み付けされる、前記第１のレベルの神 経出力の全てのｉ番目の出力（ｉ＝１、・・・、Ｍ）上の前記信号のアクティビ ティ・レベルの時間的および空間的合算に応じて、１つのアクティビティ・レベ ルを有するｊ番目の信号を、Ｍ＜ｊ≦Ｎなる、前記第２のレベルの神経出力のｊ 番目の出力上に生成するためのフィードフォワード応答手段と、前記学習アルゴ リズムに従って前記接続性の重みＷｉｊのうちの少なくとも１つを変更するため の手段と、 スリーブ期間の間、前記神経出力を前記環境入力から隔絶し、前記スリーブ・リ フレッシュ・アルゴリズムに従って、前記接続性の重みＷｉｊのうちの少なくと もいくつかを調整するためのスリーブ起動手段とを含み、 前記フィード・フォワード応答手段は前記ｊ番目の信号のアクティビティ・レベ ルが前記各接続性の重みＷｉｊにより重み付けられる前記第１のレベルの神経出 力のうちの全てのｉ番目の出力上の前記信号のアクティビティ・レベルの合算の 時間積に正方向に感応するように、前記ｊ番目の信号を生成する神経ネットワー ク。
3. ３．前記フィード・フォワード応答手段は前記ｊ番目の信号のアクティビティレ ベルが更に前記ｊ番目の信号のアクティビティ・レベルの時間積に負方向に感応 するように、前記ｊ番目の信号を生成する請求項２の神経ネットワーク。
4. ４．学習アルゴリズム、スリーブ・リフレッシュ・アルゴリズム、および各々が １つのアクティビティ・レベルを有する複数の外部入力信号と共に用いられ、Ｍ 個の第１のレベルの神経出力およびＮ−Ｍ個の第２のレベルの神経出力を含む、 １つのアクティビティ・レベルを有する信号を出力する複数のＮ個を神経出力と 、 各々が各々の接続性の重みＷｉｊにより重み付けされる、前記第１のレベルの神 経出力の全てのｉ番目の出力（ｉ＝１、・・・Ｍ）上の前記信号のアクティビテ ィ・レベルの時間的および空間的合算に応じて、１つのアクティビティ・レベル を有するｊ番目の信号を、Ｍ＜ｊ≦Ｎなる、前記第２のレベルの神経出力のｊ番 目の出力上に生成するためのフィード・フォワード応答手段と、前記学習アルゴ リズムに従って前記接続性の重みＷｉｊのうちの少なくとも１つを変更するため の手段と、 スリーブ期間の間、前記神経出力を前記外部入力から隔絶し、前記スリーブ。 リフレッシュ・アルゴリズムに従って、前記接続性の重みＷｉｊのうちの少なく ともいくつかを調整するためのスリーブ起動手段とを食み、 前記各神経出力上の前記信号は各々、周波数を有しており、前記神経出力の各所 定出力上の前記信号のアクティビティ・レベルは前記信号のうちの前記所定のも のの周波数によって表わされ、より高い周波数はより高いアクティビティ・レベ ルに対応し、より低い周波数はより低いアクティビティ・レベルに対応する神経 ネットワーク。
5. ５．学習アルゴリズム、スリーブ・リフレッシュ・アルゴリズム、および各々が １つのアクティビティ・レベルを有する複数の外部入力信号と共に用いられ、Ｍ 個の第１のレベルの神経出力およびＮ−Ｍ個の第２のレベルの神経出力を含む、 １つのアクティビティ・レベルを有する信号を出力する複数のＮ個を神経出力と 、 各々が各々の接続性の重みＷｉｊにより重み付けされる、前記第１のレベルの神 経出力の全てのｉ番目の出力（ｉ＝１、・・・、Ｍ）上の前記信号のアクティビ ティ・レベルの時間的および空間的合算に応じて、１つのアクティビティ・レベ ルを有するｊ番目の信号を、Ｍ＜ｊ≦Ｎなる、前記第２のレベルの神経出力のｊ 番目の出力上に生成するためのフィード・フォワード応答手段と、前記学習アル ゴリズムに従って前記接続性の重みＷｉｊのうちの少なくとも１つを変更するた めの手段と、 スリーブ期間の間、前記神経出力を前記外部入力から隔絶し、前記スリーブ・リ フレッシュ・アルゴリズムに従って、前記接続性の重みＷｉｊのうちの少なくと もいくつかを調整するためのスリーブ起動手段とを含み、 前記フィード・フォワード応答手段は 各々が出力を有し、ｉ番目（ｉ＝１、・・・、Ｍ）のシナプシス回路手段の各々 は前記ｉ番目のシナプシス回路手段の前記出力上に前記第１のレベルの神経出力 のｉ番目の各出力上の信号のアクティビティ・レベルのＷｉｊ倍に実質的に等し いアクティビティ・レベルを有する信号を生成するためのものである複数のＭ個 のシナプシス回路手段と、 前記第２のレベルの神経出力の前記ｊ番目の出力上に前記シナプシス回路手段の 全ての前記出力上に前記信号のアクティビティ・レベルの時間的および空間的合 算に応じたアクティビティ・レベルを有する信号を生成するための神経回路手段 と を含み、 前記神経出力の各出力上および前記シナプシス回路手段の前記各出力の前記信号 は各々の周波数を有し、前記神経出力の各所定の出力上および前記シナプシス回 路手段の各所定のものの前記出力上の前記信号のアクティビティ・レベルのアク ティビティ・レベルは前記信号のうちの前記所定のものの周波数により表わされ 、高い周波数はより高いアクティビティ・レベルに対応し、より低い周波数はよ り低いアクティビティ・レベルに対応している神経ネットワーク。
6. ６．前記神経出力の各出力上の前記信号は各々の電圧波形により表わされ、前記 シナプシス回路手段の各々の前記出力上の前記信号は各々の電流波形により表わ される請求項５の神経ネットワーク。
7. ７．学習アルゴリズム、スリーブ・リフレッシュ・アルゴリズム、および各々が １つのアクティビティ・レベルを有する複数の外部入力信号と共に用いられ、Ｍ 個の第１のレベルの神経出力およびＮ−Ｍ個の第２のレベルの神経出力を含む、 １つのアクティビティ・レベルを有する信号を出力する複数のＮ個を神経出力と 、 各々が各々の接続性の重みＷｉｊにより重み付けされる、前記第１のレベルの神 経出力の全てのｉ番目の出力（ｉ＝１、・・・、Ｍ）上の前記信号のアクティビ ティ・レベルの時間的および空間的合算に応じて、１つのアクティビティ・レベ ルを有するｊ番目の信号を、Ｍ＜ｊ≦Ｎなる、前記第２のレベルの神経出力のｊ 番目の出力上に生成するためのフィード・フォワード応答手段と、前記学習アル ゴリズムに従って前記接続性の重みＷｉｊのうちの少なくとも１つを変更するた めの手段と、 スリーブ期間の間、前記神経出力を前記外部入力から隔絶し、前記スリーブ・リ フレッシュ・アルゴリズムに従って、前記接続性の重みＷｉｊのうちの少なくと もいくつかを調整するためのスリーブ起動手段と周期的に前記スリーブ期間をひ き起こすための手段とを含む神経ネットワーク。
8. ８．学習アルゴリズム、スリーブ・リフレッシュ・アルゴリズム、および各々が １つのアクティビティ・レベルを有する複数の外部入力信号と共に用いられ、Ｍ 個の第１のレベルの神経出力およびＮ−Ｍ個の第２のレベルの神経出力を含む、 １つのアクティビティ・レベルを有する信号を出力する複数のＮ個を神経出力と 、 各々の接続性の重みＷｉｊにより重みづけされる前記第１のレベルの神経出力の うちの全てのｉ番目の出力上の前記信号のアクティビティ・レベルの合算の時間 積に正方向に感応し、更に、実質的に一定の各々の禁止の接続性の重みに従い、 前記第２のレベルの神経出力のうちの全ての他の出力上のアクティビティ・レベ ルの合算の時間積に負方向に感応し、更に前記ｊ番目の信号のアクティビティ・ レベルの時間積に負方向に感応するアクティビティ・レベルを有するｊ番目の信 号を、Ｍ＜ｊ≦Ｎある前記第２のレベルの神経出力のｊ番目の出力上に生成する ためのフィード・フォワード応答手段と、各々の接続性の重みＷｊｉにより重み 付けられた前記第２のレベルの神経出力のうちの全てのｊ番目の出力上の前記信 号のアクティビティ・レベルの合算の時間積に、前記外部入力信号のうちのｉ番 目のもののアクティビティ・レベルの時間積を加えたものに、正方向に感応し、 更に、前記ｉ番目の信号のアクティビティ・レベルの時間積に負方向に感応する ｉ番目の信号を、１≦ｉ＜Ｍなる前記第１のレベルの神経出力のｉ番目の出力上 に生成するためのフィード・バック応答手段と、 前記学習アルゴリズムに従って前記接続性の重みＷｉｊのうちの少なくとも１つ を変更するための手段と、 スリーブ期間の間、前記神経出力を前記環境入力から隔絶し、前記スリーブ・リ フレッシュ・アルゴリズムに従って、前記接続性の重みＷｉｊのうちの少なくと もいくつかを調整するためのスリーブ起動手段とを含む神経ネットワーク。
9. ９．あるアクティビティ・レベルを有するスリーブ信号を出力するスリーブ神経 出力を更に含み、前記フィード・フォワード応答手段は前記ｊ番目の信号のアク ティビティ・レベルが更に前記スリーブ信号のアクティビティ・レベルに正方向 に感応するように前記ｊ番目の信号を生成する請求項８のネットワーク。
10. １０．前記スリーブ起動手段は更に、前記スリーブ期間の間に前記スリーブ信号 のアクティビティ・レベルを増加せしめ、前記スリーブ起動期間外の前記スリー ブ信号のアクティビティ・レベルを減少せしめるためのものである請求項９のネ ットワーク。
11. １１．あるアクティビティ・レベルを有するスリーブ信号を出力するスリーブ神 経出力を更に含み、前記フィード・バック応答手段は前記ｉ番目の信号のアクテ ィビティ・レベルが更に前記スリーブ信号のアクティビティ・レベルに正方向に 感応するように前記ｉ番目の信号を生成する請求項８のネットワーク。
12. １２．前記スリーブ起動手段は前記スリーブ期間の間、補助的な共振を生成する ためのものであり、そのスリーブ期間、前記第２のレベルの出力信号のうちの異 なるもののアクティビティ・レベルは疑似ランダム・シーケンスに従って上昇し 、下降し、前記スリーブ・リフレッシュ・アルゴリズムは前記第２のレベルの出 力信号のうちの関与する全ての信号のアクティビティ・レベルがより均等な確率 により上昇し、下降するように、前記疑似ランダム・シーケンスを修正する請求 項８のネットワーク。
13. １３．前記学習アルゴリズムはｉ番目およびｊ番目の神経出力信号の両者に高い アクティビティ・レベルが同時に発生するのと同等の量により前記接続性の重み Ｗｉｊの各々を増加し、前記ｉ番目の神経出力信号上の低いアクティビティ・レ ベルおよび前記ｊ番目の神経出力信号上の高いアクティビティ・レベルが同時に 発生するのに相当の量により前記接続性の重みＷｉｊの各々を減少せしめること を含む請求項８のネットワーク。
14. １４．前記スリーブ起動手段は前記スリーブ期間の間、補助的な共振を生成する ためのものであり、そのスリーブ期間、前記第２のレベルの出力信号のうちの異 なるもののアクティビティ・レベルは疑似ランダム・シーケンスに従うて上昇し 、下降し、前記スリーブ・リフレッシュ・アルゴリズムは前記第２のレベルの出 力信号のうちの関与する全ての信号のアクティビティ・レベルがより均等な確率 により上昇し、下降するように、前記疑似ランダム・シーケンスを修正する請求 項１３のネットワーク。
15. １５．前記スリーブ起動手段は前記スリーブ期間の間、補助的な共振を生成する ためのものであり、そのスリーブ期間、前記第２のレベルの出力信号のうちの異 なるもののアクティビティ・レベルは疑似ランダム・シーケンスに従って上昇し 、下降し、前記リフレッシュ・アルゴリズムは前記接続性の重みの少なくともい くつかを強め、ある特定のｊ番目の神経出力をまき込む不要な周波数の補助的共 振に応じて弱めることを含み、前記接続性の重みＷｉｊの各々は前記ｉ番目およ びｊ番目の神経出力信号の両信号上に高いアクティビティ・レベルが同時に起こ ることに相当の量によるものである請求項１３のネットワーク。
16. １６．各々がアクティビティ・レベルを有する複数の外部入力信号と共に用いら れ、 各々が少なくとも１つの入力を有する複数の第１のレベルの神経回路であって、 前記第１のレベルの神経回路の各々の前記入力の各々はアクティビティ・レベル を有し、前記第１のレベルの神経回路の各々は更に１つの出力および前記第１の レベルの神経回路の前記出力上に前記第１のレベルの神経回路の前記入力信号の アクティビティ・レベルの合算の時間積に少なくとも部分的に感応するアクティ ビティ・レベルを有する出力信号をもたらすための手段を有する複数の第１のレ ベルの神経回路と、 各々が少なくとも１つの入力を有する一群の第２のレベルの神経回路であって、 前記第２のレベルの神経回路の各々の前記入力の各々はアクティビティ・レベル を有する入力信号を入力し、前記第２のレベルの神経回路の各々は更に１つの出 力および前記第２のレベルの神経回路の前記出力上に前記第２のレベルの神経回 路の前記入力信号のアクティビティ・レベルの合算の時間積に少なくとも部分的 に感応し、前記群内の前記第２のレベルの神経回路のうちの他の全ての回路の出 力信号のアクティビティ・レベルの合算の時間積に少なくとも部分的に相反して 感応するアクティビティ・レベルを有する出力信号をもたらすための手段を有す る一群の第２のレベルの神経回路と、 複数のフィード・フォワード接続回路であって、各回路がアクティビティ・レベ ルを有する１つの入力信号を入力する１つの入力と、各々の接続性の強度を保持 するための保持手段と、１つの出力と、前記フィード・フォワード接続回路の前 記出力上に前記各々の接続性の強度により重み付けられる前記フィード・フォワ ード接続回路の前記入力信号のアクティビティ・レベルに応じたアクティビティ ・レベルを有する出力信号をもたらすための手段とを備え、前記フィード・フォ ワード接続回路の各々の前記入力は前記第１のレベル神経回路の各々の回路の出 力信号を受けるよう結合され、前記フィード・フォワード接続回路の各々の前記 出力は前記フィード・フォワード接続回路の前記出力信号を前記群内の前記第２ のレベルの神経回路のうちの各回路の前記入力のうちの１つに供給するよう結合 され、前記第１のレベルの神経回路の各々の出力は前記フィード・フォワード接 続回路の各回路を介して前記群内の前記第２のレベルの神経回路の全ての１つの 入力に結合されている複数のフィード・フォワード接続回路と、複数のフィード ・バック接続回路であって、各回路はアクティビティ・レベルを有する入力信号 を入力する１つの入力と、各々の接続性の強度を保持するための保持手段と１つ の出力と、前記フィード・バック接続回路の前記各接続性の強度により重みづけ られる前記フィード・パック接続回路の前記入力信号のアクティビティ・レベル に感応するアクティビティ・レベルを有する出力信号を前記フィード・バック接 続回路の前記出力上に供給するための手段とを備え、前記フィード・バック接続 回路の各々の前記入力は前記第２のレベルの神経回路の各回路の出力信号を受け るよう結合され、前記フィード・バック接続回路の各々の前記出力は前記フィー ド・バック接続回路の前記出力信号を前記第１のレベルの神経回路の各回路の前 記入力のうちの１つに供給するよう結合され、前記群内の前記第２のレベルの神 経回路の各々の出力は前記フィード・パック接続回路の各回路を介して前記第１ のレベルの神経回路の全ての１つの入力に結合されており、前記第１および第２ のレベルの神経回路および前記フィード・フォワードおよびフィード・バック接 続回路の全てにおいて、供給するための手段はループを回わるアクティビティ・ レベルの正味のフィード・バック量が負でないようにされている複数のフィード ・パック接続回路と、学習アルゴリズムに従って、前記フィード・フォワードお よびフィード・バック接続回路の前記保持手段内に保持される前記接続性の強度 を調整するための学習手段と を含む神経ネットワーク。
17. １７．前記第１のレベルの神経回路のうちの１つへの前記入力の１つは前記外部 入力信号の各信号を受けるよう結合される請求項１６のネットワーク。
18. １８．前記群内の前記第２のレベルの神経回路のうちの所定の回路の各々におい て、前記群内の前記第２のレベルの神経回路のうちの他の全ての回路の出力信号 のアクティビティ・レベルの合算の時間積に少なくとも部分的に相反して感応す るアクティビティ・レベルを有する出力信号を供給するための手段は複数の禁止 接続回路を含み、この各禁止接続回路はアクティビティ・レベルを有する入力信 号を入力する１つの入力と、１つの出力と、前記禁止接続回路の前記入力信号の アクティビティ・レベルに相反して感応するアクティビティ・レベルを有する出 力信号を前記禁止接続回路の前記出力上に供給するための手段を含み、前記禁止 接続回路の全ての前記出力は前記第２のレベルの神経回路のうちの前記所定の回 路の各入力に結合され、前記禁止接続回路の各々の前記入力は前記他の第２のレ ベルの神経回路の各回路の前記出力信号を受けるよう結合され、前記群内の前記 第２のレベルの神経回路の各々の出力は前記禁止接続回路の各回路を介して前記 群内の前記第２のレベルの神経回路のうちの他の全回路の１つの入力に結合され ている請求項１６のネットワーク。
19. １９．前記第１および第２のレベルの神経回路のうちの所定回路の各々において 、前記供給するための手段は更に前記神経回路のうちの前記所定の回路の前記出 力信号のアクティビティ・レベルの時間変化率が前記神経回路のうちの前記所定 回路を含むループを回るアクティビティ・レベルの前記正味の負でないフィード ・バック量に起因する共振を制止するように、前記神経回路のうちの前記所定回 路の前記出力信号の即時のアクティビティ・レベルに相反して感応するようにす る請求項１６のネットワーク。
20. ２０．前記第１のレベルの神経回路のうちの所定回路の各々において、前記供給 するための手段は前記第１のレベルの神経回路のうちの前記所定回路の前記出力 信号のアクティビティ・レベルが前記第１のレベルの神経回路のうちの所定回路 の前記入力の前記アクティビティ・レベルの合算が時間によらず一定であるとき 、各々の正の休止の値を有するようにした請求項１９のネットワーク。
21. ２１．前記第１および第２のレベルの神経回路のうちの所定回路の各々において 、前記供給するための手段は更に前記神経回路のうちの前記所定回路の前記出力 信号のアクティビティ・レベルの時間変化率が前記神経回路のうちの前記所定回 路を含むループを回るアクティビティ・レベルの前記正味の負でないフィード・ バック量に起因する共振を制止するように、前記神経回路のうちの前記所定回路 の前記出力信号の即時のアクティビティ・レベルに相反して感応し、前記第１の レベルの神経回路のうちの所定回路の各々において、前記供給するための手段は 前記第１のレベルの神経回路のうちの前記所定回路の前記出力信号のアクティビ ティ・レベルが前記第１のレベルの神経回路のうちの所定回路の前記入力の前記 アクティビティ・レベルの合算が時間によらず一定であるとき、各々の正の休止 の値を有するようにし、 前記第２のレベルの神経回路のうちの所定回路の各々において、前記供給するた めの手段は前記第２のレベルの神経回路のうちの前記所定回路の前記出力信号の アクティビティ・レベルが前記第２のレベルの神経回路のうちの前記所定回路の 前記入力信号のアクティビティ・レベルの合算値から前記第２のレベルの神経回 路の前記他の全ての回路の出力信号のアクティビティ・レベルの重み付けされた 合算値を差し引いたものが時間によらず一定であるとき、各々の正の休止の値を もつようにした。 請求項１８のネットワーク。
22. ２２．前記学習手段は、 所定のフィード・フォワード接続回路の入力信号上の高いアクティビティ・レベ ルおよび前記所定のフィード・フォワード接続回路の出力が結合される第２のレ ベルの神経回路の出力信号上の高いアクティビティ・レベルが同時に発生するに 相当な量だけ、前記フィード・フォワード接続回路のうちの前記所定回路の各々 の保持手段に保持された接続性の強度を増加させ、前記所定のフィード・フォワ ード接続回路の前記入力信号上の低いアクティビティ・レベルおよび前記所定の フィード・フォワード接続回路の出力が結合される第２のレベルの神経回路の出 力信号上の高いアクティビティ・レベルが同時に発生するに相当な量でけ、前記 所定のフィード・フォワード接続回路の前記保持手段内に保持された前記接続性 の強度を減少せしめるための手段と、所定のフィード・バック接続回路の入力信 号上の高いアクティビティ・レベルおよび前記所定のフィード・バック接続回路 の出力が結合される第１のレベルの神経回路の出力信号上の高いアクティビティ ・レベルが同時に発生するに相当な量だけ、前記フィード・バック接続回路のう ちの前記所定回路の各々の保持手段に保持された接続性の強度を増加させ、前記 所定のフィード・フォワード接続回路の前記入力信号上の高いアクティビティ・ レベルおよび前記所定のフィード・バック接続回路の出力が結合される第１のレ ベルの神経回路の出力信号上の低いアクティビティ・レベルが同時に発生するに 相当な量だけ、前記所定のフィード・バック接続回路の前記保持手段内に保持さ れた前記接続性の強度を減少せしめるための手段と を含む請求項１６のネットワーク。
23. ２３．選択的にアウェイク（ａｗａｋｅ）・モードまたはスリーブ（ｓｌｅｅｐ ）・モードにおいて動作し、前記第１のレベルの神経回路の各々への入力のうち の１つは前記外部入力信号の各信号を受けるよう結合され、前記第１のレベルの 神経回路のうちの所定回路の各々において、前記供給するための手段は更に、前 記第１のレベルの神経回路のうちの前記所定回路の前記出力信号のアクティビテ ィ・レベルが前記所定の第１のレベルの神経回路の入力信号のアクティビティ・ レベルの全ての合算の時間積に正方向に感応し、更に、前記第１のレベルの神経 回路のうちの前記所定回路の前記出力信号のアクティビティ・レベルの時間変化 率が前記第１のレベルの神経回路のうちの前記所定回路の前記出力信号の前記ア クティビティ・レベルの即時の値に負方向に感応するようにされており、 前記第２のレベルの神経回路のうちの所定回路の各々において、前記供給するた めの手段は更に、前記第２のレベルの神経回路のうちの前記所定回路の前記出力 信号のアクティビティ・レベルが前記所定の第２のレベルの神経回路の前記入力 信号のアクティビティ・レベルの全ての合算の時間積に正方向に感応し、更に、 前記第２のレベルの神経回路のうちの前記所定回路の前記出力信号のアクティビ ティ・レベルは前記第２のレベルの神経回路のうちの全ての他の回路の前記出力 のアクティビティ・レベルの重み付けされた合算の時間積に負方向に感応し、更 に前記第２のレベルの神経回路のうちの前記所定回路の前記出力信号のアクティ ビティ・レベルの時間変化率が前記第２のレベルの神経回路のうちの前記所定回 路の前記出力信号のアクティビティ・レベルの即時の値に負方向に感応するよう にされており、 前記学習手段は所定のフィード・フォワード接続回路の入力信号上の高いアクテ ィビティ・レベルおよび前記所定のフィード・フォワード接続回路の出力が結合 される第２のレベルの神経回路の出力信号上の高いアクティビティ・レベルが同 時に発生するに相当な量だけ、前記フィード・フォワード接続回路のうちの前記 所定回路の各々の保持手段に保持された接続性の強度を増加させ、前記所定のフ ィード・フォワード接続回路の前記入力信号上の低いアクティビティ・レベルお よび前記所定のフィード・フォワード接続回路の出力が結合される第２のレベル の神経回路の出力信号上の高いアクティビティ・レベルが同時に発生するに相当 な量だけ、前記所定のフィード・フォワード接続回路の前記保持手段内に保持さ れた前記接続性の強度を減少せしめるための手段と、所定のフィード・バック接 続回路の入力信号上の高いアクティビティ・レベルおよび前記所定のフォワード ・バック接続回路の出力が結合される第１のレベルの神経回路の出力信号上の高 いアクティビティ・レベルが同時に発生するに相当な量だけ、前記フィード・バ ック接続回路のうちの前記所定回路の各々の保持手段に保持された接続性の強度 を増加させ、前記所定のフィード・フォワード接続回路の前記入力信号上の高い アクティビティ・レベルおよび前記所定のフィード・バック接続回路の出力が結 合される第１のレベルの神経回路の出力信号上の低いアクティビティ・レベルが 同時に発生する相当な量だけ、前記所定のフィード・バック接続回路の前記保持 手段内に保持された前記接続性の強度を減少せしめるための手段と を含み、 前記ネットワークは更に、前記システムが少なくとも前記スリーブ・モードにあ るときに、前記第２のレベルの神経回路の全ての１つの入力に、実質的に一定の バックグランド信号を入力するためのバックグランド信号源手段を含む請求項１ ６のネットワーク。
24. ２４．前記ネットワークが前記スリーブ・モードで動作している間、前記入力信 号の全てを前記第１のレベルの神経回路から切り離すための手段を更に含む請求 項２３のネットワーク。
25. ２５．スリーブの間に動作し、前記第２のレベルの神経回路のうちのある回路の 出力上の信号が前記第２のレベルの神経回路の他の回路の出力上の信号に比べ全 く異ってより頻繁にあるアクティビティ・レベルに達成する、優遇された状態条 件を検出するための第１の手段と、 スリーブの間に動作し、それにより前記学習手段が前記ある第２のレベルの神経 回路のうちのいづれかに接している前記フィード・フォワード接続回路の各々の 保持手段内に保持された接続性の強度を調整するところの感度を反転させるため の第２の手段と を更に含む請求項２４のネットワーク。
26. ２６．前記第１の手段が前記優遇された状態条件を検出するとき、前記第２の手 段はそれにより前記学習手段が前記フィード・フォワード接続回路の全ての保持 手段内に保持された接続性の強度を調整するところの感度を反転させるよう動作 する請求項２５のネットワーク。
27. ２７．選択的にアウェイク（ａｗａｋｅ）・モードまたはスリーブ（ｓ１ｅｅｐ ）・モードにおいて動作し、前記第１のレベルの神経回路の各々への入力のうち の１つは前記外部入力信号の各信号を受けるよう結合され、前記第１のレベルの 神経回路のうちの所定回路の各々において、前記供給するための手段は更に、前 記第１のレベルの神経回路のうちの前記所定回路の前記出力信号のアクティビテ ィ・レベルが前記所定の第１のレベルの神経回路の入力信号のアクティビティ・ レベルの全ての合算の時間積に正方向に感応し、更に、前記第１のレベルの神経 回路のうちの前記所定回路の前記出力信号のアクティビティ・レベルの時間変化 率が前記第１のレベルの神経回路のうちの前記所定回路の前記出力信号の前記ア クティビティ・レベルの即時の値に負方向に感応するようにされており、 前記第２のレベルの神経回路のうちの所定回路の各々において、前記供給するた めの手段は更に、前記第２のレベルの神経回路のうちの前記所定回路の前記出力 信号のアクティビティ・レベルが前記所定の第２のレベルの神経回路の前記入力 信号のアクティビティ・レベルの全ての合算の時間積に正方向に感応し、更に、 前記第２のレベルの神経回路のうちの前記所定回路の前記出力信号のアクティビ ティ・レベルは前記第２のレベルの神経回路のうちの全ての他の回路の前記出力 のアクティビティ・レベルの重み付けされた合算の時間積に負方向に感応し、更 に前記第２のレベルの神経回路のうちの前記所定回路の前記出力信号のアクティ ビティ・レベルの時間変化率が前記第２のレベルの神経回路のうちの前記所定回 路の前記出力信号の前記アクティビティ・レベルの即時の値に負方向に感応する ようにされており、 前記学習手段は所定のフィード・フォワード接続回路の入力信号上の高いアクテ ィビティ・レベルおよび前記所定のフィード・フォワード接続回路の出力が結合 される第２のレベルの神経回路の出力信号上の高いアクティビティ・レベルが同 時に発生するに相当な量だけ、前記フィード・フォワード接続回路のうちの前記 所定回路の各々の保持手段に保持された接続性の強度を増加させ、前記所定のフ ィード・フォワード接続回路の前記入力信号上の低いアクティビティ・レベルお よび前記所定のフィード・フォワード接続回路の出力が結合される第２のレベル の神経回路の出力信号上の高いアクティビティ・レベルが同時に発生するに相当 な量だけ、前記所定のフィード・フォワード接続回路の前記保持手段内に保持さ れた前記接続性の強度を減少せしめるための手段と、所定のフィード・バック接 続回路の入力信号上の高いアクティビティ・レベルおよび前記所定のフォワード ・バック接続回路の出力が結合される第１のレベルの神経回路の出力信号上の高 いアクティビティ・レベルが同時に発生するに相当な量だけ、前記フィード・バ ック接続回路のうちの前記所定回路の各々の保持手段に保持された接続性の強度 を増加させ、前記所定のフィード・フォワード接続回路の前記入力信号上の高い アクティビティ・レベルおよび前記所定のフィード・バック接続回路の出力が結 合される第１のレベルの神経回路の出力信号上の低いアクティビティ・レベルが 同時に発生する相当な量だけ、前記所定のフィード・バック接続回路の前記保持 手段内に保持された前記接続性の強度を減少せしめるための手段と を含み、 前記ネットワークは更に、前記システムが少なくとも前記スリーブ・モードにあ るときに、前記第２のレベルの神経回路の全ての１つの入力に、実質的に一定の バックグランド信号を入力するためのバックグランド信号源手段を含む請求項１ ６のネットワーク。
28. ２８．神経ネットワーク内に用いられるのに好適であって、複数の電流入力ライ ンと、 １つの出力ラインと、 前記出力ライン上に、前記電流入力ライン上の電流の合流量の時間積に正方向に 感応し、前記出力信号の時間積に負方向に感応する周波数を有する出力信号を供 給するための手段と を含む神経回路。
29. ２９．前記供給するための手段は 前記電流入力の全てを受けるよう接続された合流点と、一定電圧のノードと、 前記合流点と前記一定電圧のノードとの間に接続された合流キャパシタと、１つ の入力と１つの出力とを有するレギュレータ手段であって、前記レギュレータ手 段の前記出力上に、前記レギュレータ手段の前記入力上の信号の周波数に正方向 に感応する電圧信号を供給するためのレギュレータ手段と、第１および第２の入 力と１つの出力とを有する発振手段であって、前記発振手段の前記第１の入力は 前記合流点に接続されており、前記発振手段の第２の入力は前記レギュレータ手 段の前記出力を受けるよう接続されており、前記レギュレータ手段の前記入力は 前記発振手段の前記出力を受けるよう接続されており、前記発振手段は前記発振 手段の前記出力上に前記発振手段の前記第１および第２の入力の電圧間の電位差 に正方向に感応する周波数を有する信号を供給するためのものである発振手段と を含む請求項２８の回路。
30. ３０．神経ネットワーク内に用いられるのに好適であって、合流点、定電圧ノー ド、および前記合流点と前記定電圧ノードとの間に接続される合流キャパシタと 、 １つの入力および１つの電圧出力を有する反転インテグレータ（ｉｎｔｅｇｒａ ｔｏｒ）と、 発振キャパシタと、 前記反転インチグレータの前記入力に接続される出力を有し、更に前記発振キャ パシタの両端の電位差が前記反転インチグレータの前記電圧出力より小さいとき 、前記合流キャパシタから前記発振キャパシタへ電荷を転送し、前記発振キャパ シタの両端の電位差が前記反転インチグレータの前記電圧出力を越えるとき、前 記発振キャパシタを放電するための手段とを有する神経回路。
31. ３１．神経回路内で用いられるのに好適なシナプシス接続回路であって、プレ・ シナプシス信号入力および電流出力と、保持キャパシタと 前記シナプシス接続回路の前記出力上に、その時間平均が前記保持キャパシタの 両端の電位差の前記プレ・シナプシス信号入力上の信号の周波数であるところの 電流信号を供給するための手段と を含むシナプシス接続回路。
32. ３２．前記供給するための手段は前記シナプシス接続回路の前記出力上に、前記 プレ・シナプシス信号入力上の信号の周波数と等しい周波数を有し、前記保持キ ャパシタの両端の電位差に正方向に応答する大きさを有する電流パルス信号を供 給するための手段を含む請求項３１の回路。
33. ３３．ポスト・シナプシス信号入力と、前記プレ・シナプシス信号入力上の高周 波数と前記ポスト・シナプシス信号入力上の高周波数とが同時に発生したことに 応じて前記保持キャパシタの両端の電位差を所定の方向に調整するための手段と を更に含む請求項３１の回路。
34. ３４．前記所定の方向は増加する方向である請求項３３の回路。
35. ３５．ディープ・スリーブ（ｄｅｅｐ−ｓｌｅｅｐ）信号入力を更に含み、前記 調整するための手段は前記ディープ・スリーブ信号入力に応じて前記所定の方向 として増加する方向および減少する方向との間で選択するための手段を含む請求 項３３の回路。
36. ３６．前記プレおよびポスト・シナプシス入力上の信号は各々、変化する周波数 の一連のパルスからなり、前記調整するための手段は前記プレ・シナプシス入力 が前記ポスト・シナプシス入力上のパルスと同時に発生するときは必ず、前記所 定の方向に前記保持キャパシタの両端の電位差を調整するための手段を含む請求 項３３の回路。
37. ３７．ポスト・シナプシス信号入力と、前記ポスト・シナプシス信号入力上の信 号を受けるよう接続される、１つの入力を有し、更に１つの出力を有し、前記出 力上に前記ポスト・シナプシス信号入力上の信号の周波数の時間積に正方向に応 じた周波数を有するパルス信号を供給するためのディープ・スリープ手段と、前 記プレ・シナプシス入力上のパルス、前記ポスト・シナプシス入力上のパルス、 および前記ディープ・スリーブ手段の前記出力上のパルス間のスペースに応答し て前記保持キャパシタの両端の電位差を増加せしめ、前記プレ・シナプシス入力 上のパルス、前記ポスト・シナプシス入力上のパルス、および前記ディープスリ ープ手段の前記出力上のパルスに応答して前記保持キャパシタの両端の電位差を 減少せしめるための手段と を更に含む請求項３１の回路。
38. ３８．神経ネットワーク内で用いられるに好適なシナプシス接続回路であって、 プレ・シナプシス信号入力および電源出力と、保持キャパシタと、 基準電圧ノードと、 １つの入力および１つの出力を有するトランスコンダクタンス変換器であって、 前記トランスコンダクタンス変換器の前記出力は前記シナプシス接続回路の前記 電流出力であるトランスコンダクタンス変換器と、前記プレ・シナプシス信号入 力上の各パルスに対し、前記保持キャパシタの電圧を前記トランスコンダクタン ス変換器の前記入力に印加するためのスイッチ手段と、 前記プレおよびポスト・シナプシス入力のうちの１つの入力上の各パルスに対し 、前記保持キャパシタを前記基準電圧ノードに接続するための学習スイッチ手段 と、 前記プレおよびポスト・シナプシス入力のうちの他方の入力上の各パルスに対し 、基準電圧ノード上にパルスを生成するための手段とを含むシナプシス接続回路 。
39. ３９．前記基準電圧ノード上にパルスを生成するための手段は前記プレおよびポ スト・シナプシス入力のうちの前記他方からパルスを受けるよう接続された入力 を有し、前記基準電圧ノードに接続された出力を有するパルス・エクテンダ（ｅ ｘｔｅｎｄｅｒ）を含む請求項３８の回路。
40. ４０．ディープ・スリーブ信号入を更に含み、前記基準電圧ノード上にパルスを 生成するための手段は前記基準電圧ノードと前記プレおよびポスト・シナプシス 入力のうちの他方との間に接続された反転器を含み、前記反転器は前記ディープ ・パルス信号入力上の各パルスに対し動作可能である請求項３８の回路。