JPH05265999A

JPH05265999A - ニューロン回路網に用いるプロセッサー及び処理要素

Info

Publication number: JPH05265999A
Application number: JP4115065A
Authority: JP
Inventors: George E Mobus; イーモーブスジョージ
Original assignee: Caterpillar Inc
Current assignee: Caterpillar Inc
Priority date: 1991-05-08
Filing date: 1992-05-08
Publication date: 1993-10-15
Anticipated expiration: 2018-01-20
Also published as: JP3369213B2; US5504839A; DE4215179A1

Abstract

(57)【要約】【目的】より基本的な学習法則に基づくニューロン回
路網の建設ブロックとしてのプロセッサを提供するこ
と。【構成】ニューロン回路網に用いるシナプス・プロセ
ッサ１０２は入力信号に応じて結果信号を生成する。該
シナプス・プロセッサは、入力期待値を初期化１０４し
て入力信号を受信する。該シナプス・プロセッサは手段
１０８において該入力期待値に対する正味修正値を決定
する。入力期待値に対する該正味修正値は増加項と減少
項とを有する。該増加項は該入力信号の関数として決定
される。該減少項は該入力信号の大きさから独立してい
て、減衰定数の関数である。該シナプス・プロセッサ
は、手段１１０において該入力期待値に応じて結果信号
を生成する。

Description

【発明の詳細な説明】

【０００１】この発明は神経回路網に関し、特に人工の
神経単位（ニューロン）を構成するためのプロセッサー
に関する。

【０００２】

【従来技術とその問題点】脳の情報処理能力に関する関
心は１８００年代末からあった。しかし、人工ニューロ
ンに基づく回路網が真に役に立つ能力を獲得したのは最
近になってからである。例えば、人工ニューロン回路網
は視覚及び音声認識システム、信号処理、及びロボット
工学に使われるようになってきている。

【０００３】ニューロン回路網の研究及び開発は、脳の
動作及び機能を模する試みから発展した。従って、用語
の多くは生物学に起源を有する。ニューロン回路網の基
本的構成要素はニューロンである。ニューロンは、重み
付け加算器と見なすことの出来るものである。ニューロ
ンは数個の入力を有する。各入力は、重み値を乗じら
れ、その積が加え合わされる。その重みは、正（興奮を
示す）又は負（抑制する）である。ニューロンの出力
は、その積の和の関数である。

【０００４】一つのニューロン回路網は単層回路網と呼
ばれている。単層回路網は、線型分離可能な問題を解く
のに役立つ。単層回路網の一つのアプリケーションはパ
ターン認識である。最も簡単な場合には、各ニューロン
は入力信号中の特別のパターンを識別するように設計さ
れる。回路網の各ニューロンは同数の入力を有する。各
ニューロンの出力は『ヒット』又は『ミス』である。各
ニューロンについての積の和は臨界値と比較される。ニ
ューロンの和が臨界値より大きければ、それはそのパタ
ーンを認識していて、『ヒット』を信号する。回路網の
出力の数は、認識されるべきパターンの数に等しく、従
ってニューロンの数に等しい。一度に『ヒット』を信号
する（そのパターンが入力に出現したとき）ニューロン
は１個だけである。

【０００５】もっと複雑な場合には、ニューロンの出力
は『ヒット』又は『ミス』ではない。むしろ、それは、
入力パターンが外ニューロンのパターンにどれだけ近い
かを示す段階付きスケール値である。もっと困難な問題
については、多層回路網が必要である。ニューロンの重
みは、固定又は適応可能である。適応可能な重みは、ニ
ューロン回路網を柔軟にする。適応可能な重みは、法則
又は規則を学習することにより修正される。

【０００６】殆どの学習法則は、連合可能性（associat
ivity)に基づいている。１９４９年にドナルド・ヘッブ
（Donald O. Hebb) が提案した学習規則（ヘッブの規
則）から始めると、学習理論は、一般に、学習現象の精
髄は２以上の信号間の連合を伴うことであると仮定して
いる。ヘッブの規則では、例えば、入力に付随する重み
は、若し入力ライン及び出力ラインの両方が同時に活性
状態であれば、大きくされる。このテーマについては多
くの変形があるが、いずれにせよ、ニューロン学習規則
の大半はこの基礎から派生するものである。

【０００７】最近になって、他の学習理論は、同時入力
信号に基づく連合規則に注目した。この研究方針では、
一つの入力の重みは、若しその入力と、指定された隣接
の入力とが共に、限定された時間窓の中で活性状態であ
るならば、大きくされる。適応パターンの認識及び分類
では、例えば、適応マッピング・メカニズムを構成する
のは複数の入力信号同士又は入力信号及び出力信号の間
の相関であることが今では一般に認められている。パタ
ーンを認識し且つ／又は分類することを『学習する』シ
ステムは、これらの相関をコード化しなければならな
い。従って、全部ではないとしても、殆どの研究は連合
に基づくメカニズムに焦点を当てている。

【０００８】しかし、これらの学習規則の各々は、限界
のあるものであることが分かった。各規則は、特別の種
類又はグループの問題が与えられたときには良く役立つ
けれども、そのいずれも、これまでのところでは、当該
分野における多様な問題に適用するのに充分な一般性又
は適応性を持っているとは証明されていない。適応とい
う言葉が鍵である。適応又は適応性応答（ＡＲと略記す
る）は、新しい状態の要求に適合するために回路網の応
答を変更するプロセスである。

【０００９】生物系では、その様な変更は、最初の変化
の経験では行われない。むしろ、生物が実質的変更を被
るまでには変化が頻繁に且つ／又は長期間にわたって起
こらなければならない。生物系は、これに関して非常に
保守的である。運動選手の筋肉組織の発展は、適応応答
のこの面の良い例である。スポーツを始めたばかりの自
称重量挙げ選手を考えてみよ。

【００１０】１週間の練習後、彼は、始めに出来たより
も相当重い重量を持ち上げることが出来るかもしれな
い。練習の性質は、練習と練習との間の長い（練習自体
の時間に比べて）期間にわたる周期性のものであること
に注意しなければならない。短期間にわたっては、人体
は練習と練習との間に筋肉に課された物理的要求の記憶
を維持する。

【００１１】この記憶は、練習の継続で向上する。重量
挙げ選手が１週間続けると、その週の終りには、同じ重
量を上げるのが始めのときよりも幾分容易になっている
のに気付くだろう。１か月練習し続ければ、初めの頃に
少ない重量に要したのと同じ力で、もっと重い重量を持
ち上げられる様になっているのに気付くであろう。

【００１２】規則的練習をつづければ、筋肉系に物理的
変化が生じる。継続する要求を満たすのに役立つ様に新
しい組織が付くに従って、筋肉束が膨らんでくる。練習
を或る期間行わなくても、この新しい組織は或る期間に
わたって残るので、長期記憶の一つの形が続く。何故人
体は最初の又は２回目の要求でこの新しい組織を作らな
いのだろうか。その理由は、生物組織は環境の確率的性
質に対処するように進化していることである。それは本
来保守的で、日常生活を処理するのに『通常』要する応
答能力の量だけを維持する。新しいレベルの要求に繰り
返しさらされた後に初めて人体は新しい筋肉繊維を作る
ことにより応答する。

【００１３】練習から遠ざかった運動選手に何が起こる
だろうか。或る点までは、それは彼がこれまでどの程度
長い期間練習をしてきたかによる。若し彼が僅か１週間
後にやめたならば、その後１週間程度で彼の能力は練習
開始前に戻ってしまうであろう。しかし、６か月練習し
た後にやめた場合には、新しい能力が練習前のレベルに
萎縮するのには幾箇月もかかる。実際、若しその運動選
手が運動を止めてから数カ月以内に練習プログラムを作
り直せば、彼は、初期プロセスに比べて比較的に短い時
間でピーク時の能力を回復できるチャンスがある。これ
は、適応性応答の長期間記憶効果による。

【００１４】実際、生物系の適応性応答は、学習が厳密
に２信号間の相関ではないことを示す。むしろ、もっと
一般的なアプローチは、学習は単一の入力チャネルに沿
って時間変化する信号に固有の情報の符号化に基づくと
いうことである。

【００１５】

【発明の概要】本発明は、この、より基本的な学習法則
に基づくニューロン回路網の建設ブロックとしてのプロ
セッサを提供することを目的とする。本発明は、一面に
おいて、入力信号に応答して結果信号を生成するための
シナプス・プロセッサを提供するものである。このシナ
プス・プロセッサは第１及び第２の期待値を包含する。
該シナプス・プロセッサは、該第１期待値を入力信号と
該第２期待値との関数として修正し、該第２期待値を該
第１期待値の関数として修正する。該結果信号は、該第
１期待値に応じて決定される。

【００１６】本発明は、他の面では、処理要素を提供す
る。該処理要素は、入力信号に応じて結果信号を生成す
る入力シナプス・プロセッサを包含する。該入力シナプ
ス・プロセッサは第１及び第２の期待値を包含する。該
シナプス・プロセッサは該第１期待値を入力信号と該第
２期待値との関数として修正し、該第２期待値を該第１
期待値の関数として修正する。該結果信号は、該第１期
待値に応じて決定される。該処理要素は、該結果信号と
臨界値信号とに応じて出力信号を生成する。

【００１７】

【実施例】この特許文献の開示内容の一部は、著作権保
護の対象となるものを含んでいる。著作権所有者は、特
許商標庁の特許ファイル又は記憶にある通りの該特許文
献又は特許開示の如何なる者による複写にも異議はない
けれども、その他については全ての著作権を留保する。

【００１８】図１を参照すると、ニューロン回路網に用
いるシナプス・プロセッサ１０２、又は単一レベル・ア
ダプトロード、の実施例が示されている。従来、ニュー
ロン回路網は広範な技術を用いて実施されている。その
技術はアナログ又はディジタルである。実際の実施で
は、例えば回路網の複雑さなどに基づいてアプリケーシ
ョンと共に変動する。アナログ回路は低コストであるけ
れども、高速の実施、大規模な回路網は厄介になり、あ
る程度の精度が失われる。

【００１９】もっと複雑な回路網は一般に汎用コンピュ
ーターや特別に設計されたハードウェアで実施される。
この理由により、本発明を数学的に解説するのが便利で
ある。しかし、本発明は、その様な数学的実施や、アナ
ログ又はディジタル実施には限定されないことに注意す
るべきである。シナプス・プロセッサ１０２は入力信号
Ｘを受信して、結果信号ｒを生成する。この結果信号
は、以下に説明するように、入力期待値Ｗ⁰の関数であ
る。

【００２０】以下の記述の幾つかの部分において、連続
システムと離散的システムとを区別する。連続システム
では、システム・パラメーターは連続的に更新され、連
続的に可変であると言われる。離散的システムでは、シ
ステム・パラメーターは、代表的には△ｔと書かれる離
散的時間間隔で更新される。更に、例えば大強度とか中
間強度とかにおける強度という用語は、入力信号を説明
するのに使われる。例えば、入力信号が、一定の幅を有
するパルス系列としてモデル化される離散的システム
は、大強度入力信号は、殆どがパルスから成るものであ
る。

【００２１】単一レベル・アダプトロード１０２は、入
力期待値を初期化する手段１０４を含む。入力期待値Ｗ
⁰は、最大期待値Ｗ^M及び平衡期待値Ｗ^Eを境界とす
る。一実施例では、入力期待値Ｗ⁰はＷ^E（代表的には
ゼロ）に等しい初期値を与えられる。手段１０６は、入
力信号を受信して、入力信号の大きさを検出する。入力
信号の大きさは、該信号の性質に依存する。例えば、連
続システムでは、入力信号の周波数は一様でなくてもよ
い。入力信号は、一様でない連続的な電圧又は電流を有
することも出来る。若しニューロン回路網がディジタル
で実験されるならば、入力信号は論理低レベル（ゼロ）
又は論理高レベル（非ゼロ）である。

【００２２】手段又は処理ユニット１０８は、入力期待
値Ｗ⁰を修正する。手段１０８は、入力期待値に対する
正味の修正を計算する。その正味の修正は、新しい入力
期待値を形成するために前の入力期待値に加算される。
正味の修正は、増加項と減少項とを有する。該増加項は
入力期待値を増加させるのに貢献し、減少項は入力期待
値を減少させるのに貢献する。その二つの項の正味の効
果は、その相対的な大きさによる。

【００２３】入力期待値Ｗ⁰は、入力信号の強度に関す
る該アダプトロードの現在の期待値を表す。アダプトロ
ードは、該入力信号に順応し又は該入力信号から学習す
る。即ち、該アダプトロードは、その履歴の入力期待値
を通して記憶を保持する。将来の入力信号の、その期待
値は、その履歴に基づく。増加項は、入力信号の関数で
あって、入力期待値を『引っ張り上げる』のに役立つ。
減少項は、入力信号の関数ではなくて、長い期間に疎信
号を受信すると予期するために該アダプトロードに固有
のバイアスを与える。

【００２４】一実施例では、増加項は入力信号の関数で
あり、減少項は入力信号とは無関係である。他の実施例
では、増加項は上昇定数α⁰の関数であり、減少項は減
衰定数δ⁰の関数である。更に、この上昇定数及び減衰
定数は独立である。更に他の実施例では、増加項は唯一
の入力信号の関数である。第１実施例では、入力期待値
は式１に従って修正する。Ｗ⁰＝Ｗ⁰ _P ＋Ｘ・α⁰・〔Ｗ^M−Ｗ⁰ _P〕 −δ⁰・〔Ｗ⁰ _P−Ｗ^E〕（式１）この式において、Ｗ⁰＝新しい入力期待値Ｗ⁰＝前の入力期待値Ｘ^P＝入力信号 α⁰＝上昇定数Ｗ^M＝最大期待値 δ⁰＝減衰定数Ｗ^E＝平衡期待値である。第１実施例では、上昇項は非線型関数である。
従って、第１実施例による単一レベル・アダプトロード
は非線型利得を有すると言われる。

【００２５】第２実施例では、入力期待値は式２に従っ
て修正される。Ｗ⁰＝Ｗ⁰ _P ＋Ｘ・α⁰ −δ⁰・〔Ｗ⁰ _P−Ｗ^E〕（式２）第２実施例では、上昇項は線型関数である。従って、第
２実施例によるアダプトロードは線型利得を有すると言
われる。更に、入力期待値Ｗ⁰は最大値に特別に限定さ
れるものではない。しかし、シミュレーションは、適当
な期間にわたって連続的入力信号が与えられた場合には
式２は最大定常状態平衡値に到達することを示した。正
確な最大値は方程式パラメーター、入力信号の強度、及
び入力信号の大きさの関数である。

【００２６】線型利得モデル及び非線型利得モデルの両
方において、率定数は、減衰の率が増加の率より長い時
間にわたることとなる様に設定される。即ち、α⁰＞δ
⁰である。図２を参照すると、入力期待値修正手段１０
８は、増加項を決定する手段２０２と、減少項を決定す
る手段２０４とを含む。

【００２７】式１から、増加項はＸ・α⁰・〔Ｗ^M−Ｗ⁰ _P〕である。好適な実施例で
は、増加項は正であり、入力期待値に加算される。増加
項決定手段２０２は、遅延させられた又は前の入力期待
値Ｗ⁰ _Pを生成するための遅延ブロック２０６を含む。
遅延させられた入力期待値（Ｗ⁰ _P）は、第１加算器２
０８によって最大期待値Ｗ^Mから減算される。第１掛算
器２１０は、第１加算器２０８の出力に上昇定数α⁰を
掛ける。

【００２８】同じく、減少項は式１において δ⁰・〔Ｗ⁰ _P−Ｗ^E〕として定義されている。好適な
実施例では、減少項は正で、入力期待値から減算され
る。減少項決定手段２０は、遅延させられた入力期待値
から平衡期待値を減算する第２加算器２１２を含む。第
２掛算器２１４は、第２加算器２１２の出力に減衰定数
δ⁰を掛ける。

【００２９】第３掛算器２１６は、第１掛算器２１０の
出力に入力信号Ｘを掛ける。第３加算器２１８は、第３
掛算器２１６の出力を加算すると共に第２掛算器２１４
の出力を遅延させられた入力期待値から減算して新しい
入力期待値Ｗ⁰を形成する。図１を再び参照すると、手
段１１０は、入力期待値Ｗ⁰の関数として結果信号ｒを
生成する。一実施例では、結果信号は入力期待値の線型
関数である。

【００３０】他の実施例では、結果信号は入力期待値の
非線型関数である。例えば、連続システムでは式３Ａが
成り立つが、ｒ＝ｋ・Ｗ⁰・ｅ^-λτ （式３Ａ）この式においては、ｒ＝結果信号ｋ＝第１定数Ｗ⁰＝入力期待値 λ＝第２定数 τ＝所定の時間差である。時間差ｒは、現在の時間から、入力信号の大き
さがゼロでなくなる時を引いたものとして決定される。

【００３１】他の例では、離散的システムについて式３
Ｂが成り立つ。ｒ（ｔ）＝ｋ・Ｗ⁰（ｔ）＝Ｗ⁰（ｔ−△ｔ）又はｒ（ｔ）＝ｒ（ｔ−△ｔ）−λ・ｒ（ｔ−△ｔ）（その他の場合）（式３Ｂ）この式では、ｒ＝結果信号ｋ＝第１定数Ｗ⁰＝入力期待値 λ＝第２定数である。

【００３２】図３を参照すると、式３Ｂを具体化するた
めの結果信号生成手段１１０が示されている。手段１１
０は、入力期待値Ｗ⁰に定数ｋを掛ける第４掛算器３０
２を含む。第２遅延ブロック３０３は、該結果信号を第
５掛算器３０４及び第４加算器３０６に供給する。第５
掛算器３０４は、遅延させられた結果信号に定数λを掛
ける。第４加算器３０６は、第５掛算器３０４の出力
を、遅延させられた結果信号から減算する。判定ブロッ
ク３０８は、入力信号Ｘを臨界値（例えばゼロ）と比較
する。入力信号が該臨界値より大きければ、第４掛算器
３０２が出力は制御ブロック３１０により通過させられ
る。その他の場合には、第４加算器３０６の出力が通さ
れる。

【００３３】アダプトロード１０２の或る作動状態を説
明するために、アダプトロード１０２のグラフを使う。
図４及び図５を参照すると、入力信号Ｘが入力期待値修
正手段１０８に加えられる。増加項及び減少項が決定さ
れて、新しい入力期待値を決定するために使われる。結
果信号生成手段１１０（応答ユニット）は、入力期待値
の関数として結果信号を決定する。

【００３４】図４のアダプトロードは、棒４０２により
示されている様に、高入力期待値を有する。対照的に、
図５のアダプトロード１０２の棒５０２は、比較的に低
い入力期待値を有する。本発明の重要な特徴を説明する
ために、類似の図を以下の記述を通じて使用する。図６
〜１１を参照すると、非線型利得を有する単一レベルの
アダプトロード１０２の入力期待値Ｗ⁰が、いろいろな
入力信号について示されている。各々の例において上昇
定数α⁰は0.２５であり、減衰定数δ⁰は0.１２５であ
る。これららの定数の値は、単なる例に過ぎないことに
注意しなければならない。最大期待値Ｗ^Mは１に設定さ
れ、平衡期待値Ｗ^Eはゼロに設定されている。入力期待
値はゼロに初期化される。更に入力信号は1.０の大きさ
を有する。

【００３５】以下の記述に使われるグラフは、離散的シ
ステムについての入力期待値修正手段１０８の応答を表
す。即ち、入力期待値は離散的時間間隔△ｔで修正され
る。非線型利得を有する単一レベルのアダプトロードに
ついては、入力期待値は式４Ａで決定される。Ｗ⁰（ｔ）＝Ｗ⁰（ｔ−△ｔ）＋Ｘ（ｔ）・α⁰ ・〔Ｗ^M−Ｗ⁰（ｔ−△ｔ）〕 −δ⁰〔Ｗ⁰（ｔ−△ｔ）−Ｗ^E〕（式４Ａ）図６〜１７及び２４〜４７を参照すると、入力信号は一
定の幅及び大きさを有するパルスの系列である。入力信
号は各グラフの底部に棒として示されている。この棒
は、非ゼロである入力信号に対応する。図６〜１７及び
２４〜４７のグラフは離散的データに基づいているが、
そのデータは線グラフで表されていることに注意するべ
きである。線グラフは、アダプトロードの応答特性を調
べるのに特に有益である。

【００３６】図６において、時刻ｔ＝０で、入力信号は
ゼロで、入力期待値も０である。時刻ｔ＝５で、入力信
号は非ゼロであって、1.０の大きさを有する。入力は、
ｔ＝９まで非ゼロのままである。図に示されている様
に、入力が非ゼロである間は増加項は減少項より大きく
て、入力期待値は指数関数的に上昇する。入力信号が再
びゼロになった後、入力期待値は平衡期待値Ｗ^Eに向か
って『落ちる』又は減衰する。

【００３７】図７において、中間持続時間の入力信号が
アダプトロードに加えられる。図に示されている様に、
1.０の大きさを有する入力信号が時刻ｔ＝５に加えら
れ、ｔ＝１４で再びゼロになる。入力信号が非ゼロであ
る期間を通じて入力期待値は増加し続けるけれども、正
味の修正は実際には減少しつつあることに注意するべき
である。これは、増加項は最大期待値と現在の期待値と
の差の関数であるという事実に帰せられるのであり、ま
た減少項の増加する効果による。この効果が図８に更に
示されているが、ここでは長持続時間の大強度入力信号
がアダプトロードに加えられる。入力期待値は平らにな
る様に見える。

【００３８】実際に、図９に示されている様に、一定の
大きさの最大強度入力信号が与えられると、入力期待値
は飽和点又は定常状態値に到達する。この状況では、増
加項と減少項とは互いに相殺し合い、正味の修正はゼロ
である。図１０において、確率的な又はランダムな入力
信号が図示の様にアダプトロード１０２に加えられてい
る。入力信号が非ゼロであるときには、増加項が正味の
修正を正にし、入力信号がゼロであるときには、減少項
が正味の修正を負にする。

【００３９】図１１において、逐次入力信号がアダプト
ロードに加えられている。即ち、入力信号は、最初の短
時間（５≦ｔ≦１０）の間は非ゼロであり、第２期間
（１１≦ｔ≦２４）中はゼロであり、次に第３期間（２
５≦ｔ≦２９）中は非ゼロである。その結果として生じ
る入力期待値は、単一レベルのアダプトロードの学習能
力を示す。第１及び第２の期間のとき、入力期待値は、
期待される通りに、且つ上記した通りに、上昇し下降す
る。ｔ＝２５で、入力信号は非ゼロになり、入力期待値
は再び上昇し始める。しかし、それは、その現在の値か
ら上昇する。

【００４０】上昇定数及び減衰定数は、入力期待値の増
減の率の性質に影響を与える。例えば、上昇定数及び減
衰定数の大きさが同様であれば、入力期待値の増減の率
は同様となる。一方、若し減衰定数が上昇定数より比較
的に遥かに小さければ（δ⁰<<α⁰）、アダプトロード
は『速い』学習と遅い『忘却』とを示す。図１２〜１７
を参照すると、線型利得を有する単一レベルのアダプト
ロード１０２の入力期待値Ｗ⁰がいろいろな入力信号に
ついて示されている。各々の例において、上昇定数α⁰
は4.０であり、減衰定数δ⁰は0.１２５である。平衡期
待値Ｗ^Eはゼロに設定され、入力期待値はゼロに初期化
される。

【００４１】図１２〜１７は、離散的システムについて
の入力期待値修正手段の応答を表す。従って、線型利得
を有する単一レベルのアダプトロードについて、入力期
待値は式４Ｂによって決定される。Ｗ⁰（ｔ）＝Ｗ⁰（ｔ−△ｔ）＋Ｘ（ｔ）・α⁰ −δ⁰〔Ｗ⁰（ｔ−△ｔ）−Ｗ^E〕（式４Ｂ）図１２において、大強度で短持続時間の入力信号が単一
レベルのアダプトロード１０２に加えられる。図１３及
び１４において、大強度の、中間持続時間及び長持続時
間の入力信号がそれぞれアダプトロード１０２に加えら
れる。しかし、増加項は線型関数として定義されている
けれども、入力期待値は減少項に起因して線型関数では
ない。

【００４２】図１５において、一定の大きさ（１．０）
の最大強度入力信号が単一レベルのアダプトロード１０
２に加えられる。非線型利得を有する単一レベルのアダ
プトロード１０２の場合と同じく、線型利得を有する単
一レベルのアダプトロードの入力期待値も定常状態値に
到達する。しかし、入力期待値Ｗ⁰は式４によって最大
値に束縛されないことに注意しなければならない。むし
ろ、定常状態値は、アダプトロードのパラメーター、入
力信号の強度、及び入力信号の大きさの関数である。与
えられたアダプトロードについて、最大強度及び最大の
大きさの入力信号が適当な持続時間にわたって加えられ
たときに定常状態値は最大期待値に到達する。

【００４３】図１６において、確率的入力信号が単一レ
ベルのアダプトロード１０２に加えられる。図１７にお
いて、逐次入力信号が単一レベルのアダプトロードに加
えられる。両方のグラフが、線型利得を有する単一レベ
ルのアダプトロードが非線型利得を有するアダプトロー
ドと同様の学習能力を有することを示している。これら
の例は、単一レベルのアダプトロードの『学習』（上
昇）及び『忘却』（減衰）の面を証明する。更に、上昇
定数と減衰定数とが独立である結果として、各アダプト
ロードの『学習』及び『忘却』の面は独立に設定される
ことが出来る。即ち、所望の特徴に従って、両方が速く
なったり、両方が遅くなったり、或いは如何なる組合せ
ともなる。

【００４４】単一レベルのアダプトロードは、一時間領
域において記憶能力を示す。平衡期待値（入力期待値に
ついて）が変化するのを許すことによって、アダプトロ
ードが示す記憶能力は複数の時間領域にある。この様な
アダプトロードは多レベルのアダプトロードと呼ばれ
る。図１８を参照すると、シナプス・プロセッサ１００
２、又は多レベルのアダプトロード、は複数の期待値を
有する。期待値は一般にＷ¹と記されるが、ここで０≦
１≦Ｌである。

【００４５】手段１００４は期待値Ｗ¹を初期化する。
期待値は、最大期待値Ｗ^Mと平衡期待値Ｗ^Eとを境界と
する。一般に、期待値には次の関係がある。Ｗ^M≧Ｗ⁰≧Ｗ¹≧Ｗ^L≧Ｗ^E 手段又は処理ユニット１００６（１）は、期待値Ｗ¹を
修正する。修正手段１００６（１）は、正味の修正値を
決定して、その正味修正値を期待値Ｗ¹に加算する。正
味修正値は増加項と減少項とを有する。一般に、増加項
は、１＞ならば、先行の期待値Ｗ^1-Lの関数である。若
し１＝０であれば、増加項は最大期待値Ｗ^Mの関数であ
る。減少項は、１＜Ｌならば次の期待値Ｗ¹⁺¹の関数で
あり、１＝ＬならばＷ^Eの関数である。

【００４６】第１実施例では、第１期待値Ｗ⁰は入力信
号の大きさの関数である。第２実施例では、第１期待値
Ｗ⁰は線型利得を有する（上記した通り）。第３実施例
では、第１期待値Ｗ⁰は非線型利得を有する（上記した
通り）。第４実施例では、各期待値Ｗ¹の増加項は上昇
定数α¹の関数であり、減少項は減衰定数δ¹の関数で
ある。

【００４７】第５実施例では、各々の期待値Ｗ¹（１＞
０）の増加項は、先行の期待値Ｗ^1- ¹と現在の期待値Ｗ
¹との差お関数である。第６の実施例では、各期待値Ｗ
¹の減少項は、現在の期待値Ｗ¹と次の期待値Ｗ¹⁺¹と
の差の関数であるか、又は、１＝Ｌであれば現在の期待
値Ｗ¹と平衡期待値Ｗ^Eとの差の関数である。

【００４８】第７実施例では、第１期待値は式５Ａに従
って修正される。Ｗ⁰＝Ｗ⁰ ＋Ｘ・α⁰・〔Ｗ^M−Ｗ⁰ _P〕 −δ⁰・〔Ｗ⁰ _P−Ｗ¹〕（式５Ａ）ここではＷ⁰ _Pは前の第１期待値である。

【００４９】第８実施例では、第１期待値は式５Ｂに従
って修正される。Ｗ⁰＝Ｗ⁰ _P ＋Ｘ・α⁰ −δ⁰・〔Ｗ⁰ _P−Ｗ¹〕（式５Ｂ）各々の他の期待値（１＞０についてはＷ¹)は式６に従っ
て修正される。Ｗ¹＝Ｗ¹ _P ＋α¹・〔Ｗ^1-1−Ｗ¹ _P〕 −δ¹・〔Ｗ⁰ _P−Ｗ¹⁺¹〕（式６）ここでＷ¹ _Pは前の期待値、Ｗ¹⁺¹は、１＜Ｌならば次
のレベルの期待値、１＝Ｌならば平衡期待値Ｗ^Eであ
り、Ｗ^1-1は先行の期待値である。

【００５０】単一レベルのアダプトロードの場合と同じ
く、各レベルについて率定数は、典型的には、減衰の率
が増加の率よりも長い時間にわたることとなるように設
定される。即ち、α¹＞δ¹である。更に、多レベルの
アダプトロードでは、各レベル（１）についての率定数
の各々は、一レベル（１）の増加及び減少の率が先行の
レベル（１−１）の増加及び減少の率より長い時間にわ
たることとなる様に設定される。即ち、 α⁰≧α¹≧α¹≧α^L 及び δ⁰≧δ¹≧δ¹≧δ^L 手段１００８は、第１期待値Ｗ⁰の関数として結果信号
を生成する。上記したように、結果信号は第１期待値Ｗ
⁰の線型又は非線型の関数である。

【００５１】図１９を参照すると、多レベルのアダプト
ロード１００２がグラフ的に示されている。このグラフ
は、多レベルのアダプトロード１００２の幾つかの重要
な特徴を示す。第１に、第１期待値Ｗ⁰は、入力信号Ｘ
により直接左右される唯一の期待値である。第２に、結
果信号ｒは、第１期待値Ｗ⁰だけの関数である。また、
棒１１０２（１）の大きさは、それぞれの期待値の相対
的大きさを示す。更に、矢印は、各期待値が（増加項に
より）正にも（減少項により）負にも影響を受けること
を示す。

【００５２】図１８を再び参照すると、更に他の実施例
において、多レベルのアダプトロード１００２は、第２
入力信号Ｈ¹を受信して、これに応じて増強信号Ｐ¹を
生成する手段１０１０を抱含している。該増強信号は１
＞０について期待値の一つと連合させられる。第１実施
例では、初期化手段１００４は、ゲート制御信号ｇ¹を
初期化する。増強信号生成手段１０１０は、第２入力信
号Ｈ¹をゲート制御信号と比較して、これに応じて増強
信号Ｐ¹を生成する。例えば、離散的システムではＰ¹
は式７によって決定されることが出来る。Ｐ¹＝１（Ｈ¹＞ｇ¹の場合）、又はＰ¹＝０（その他の場合）（式７）連続システムでは、Ｐ¹は第２入力信号Ｈ¹とゲート制
御信号ｇ¹との差の関数である。

【００５３】第２実施例では、第２入力信号Ｈ¹は複数
の相互作用信号ｈⁿの和の関数として決定されるが、こ
こでＮは相互作用信号の数を表し、０≦ｎ≦Ｎである。
相互作用信号については以下に更に説明をする。第３実
施例では、ゲート制御信号ｇ¹はアダプトロード１００
２のパラメーターの関数として変えられる。例えば、該
ゲート制御信号はＷ⁰又は結果信号ｒの関数である。

【００５４】図２０を参照すると、好適な実施例におい
て、各期待値（１＝０を除く）は、連合するゲート制御
信号ｇ¹を有する。図に示されている様に、増強信号Ｐ
¹により達成される増強は、増加項又は期待値の『学
習』だけに影響を与える。減少項又は『忘却』は影響を
受けない。従って、１＞０では、式６は式８となる。Ｗ¹＝Ｗ¹ _P ＋Ｐ¹・α¹・〔Ｗ^1-1−Ｗ¹ _P〕 −δ¹・〔Ｗ⁰ _P−Ｗ¹⁺¹〕（式８）この式において、Ｗ¹⁺¹は、若し１＜Ｌならば次の期待
値であり、若し１＝Ｌならば平衡期待値Ｗ^Eである。

【００５５】離散的システムにおいて、若しＰ＝１なら
ば、学習が許されるので、増強信号は『許容』状態にあ
ると言われる。若しＰ＝０ならば、学習は許されないの
で増強信号は『抑制』状態にあると言われる。図２１を
参照すると、３個の期待値（Ｌ＝２）を有する多レベル
のアダプトロードについての期待値修正手段１００６
（０）、１００６（１）、１００６（２）が、本発明の
実施例に従って更に詳しく図示されている。

【００５６】第１期待値修正手段１００６（０）は、増
加項を決定する手段１３０２（０）と、第１期待値の減
少項を決定する手段１３０４（０）とを包含している。
増加項決定手段１３０２（０）は、遅延させられた又は
前の第１期待値Ｗ⁰ _Pを生成する第３遅延ブロック１３
０６を包含する。遅延させられた第１期待値（Ｗ⁰ _P)
は、第５加算器１３０８によって最大期待値Ｗ^Mから減
算される。第６掛算器１３１０は、第５加算器１３０８
の出力に第１上昇定数α⁰を掛ける。

【００５７】減少項決定手段１３０４（０）は、第２期
待値Ｗ¹を遅延させられた第１期待値Ｗ⁰ _Pから減算す
るための第６加算器１３１２を包含する。第７掛算器１
３１４は、第６加算器１３１２の出力に第１減衰定数δ
⁰を掛ける。第８掛算器１３１６は、第６掛算器１３１
０の出力に入力信号Ｘを掛ける。第７加算器１３１８
は、第８掛算器１３１６の出力を加算して、第７掛算器
１３１４の出力を遅延させられた第１期待値から減算し
て新しい第１期待値Ｗ⁰を形成する。

【００５８】第２期待値修正手段１００６（１）は、増
加項を決定する手段１３０２（１）と、第２期待値の減
少項を決定する手段１３０４（１）とを包含する。増加
項決定手段１３０２（１）は、遅延させられた第２期待
値Ｗ¹ _Pを生成する第４遅延ブロック１３２０を包含す
る。第２期待値についての増強生成手段１０１０（１）
は、第１期待値Ｗ⁰、遅延させられた第２期待値
Ｗ¹ _P、及び相互作用信号ｈ^N ¹（Ｎは信号の数を指し、
１は期待値レベルを指す）を受信し、増強信号Ｐ¹を生
成する。増強生成手段１０１０について以下に更に説明
する。第９掛算器１３２２によって、増強信号Ｐ¹に第
２上昇定数α¹がかけられる。

【００５９】第２期待値についての減少項決定手段１３
０４（１）は、第３期待値Ｗ² _Pを第２期待値Ｗ¹から
減算する第８加算器１３２４を含む。第１０掛算器１３
２６は、第８加算器１３２４の出力に第２減衰定数δ¹
を掛ける。第９加算器１３２８は、第９掛算器１３２２
の出力を加算し，第１０掛算器１３２６の出力を遅延さ
せられた第２期待値Ｗ¹ _Pから減算して新しい第２期待
値Ｗ¹を形成する。

【００６０】第３期待値修正手段１００６（２）は、増
加項を決定する手段１３０２（２）と、第３期待値の減
少項を決定する手段とを包含する。増加項決定手段１３
０２（２）は、遅延させられた第３期待値Ｗ² _Pを生成
する第５遅延ブロック１３３０を包含する。第３期待値
についての増強生成手段１０１０（２）は第２期待値Ｗ
¹、遅延させられた第３期待値Ｗ² _P、及び相互作用信
号ｈ^M2（Ｍは信号の数を指し、２は期待値レベルを指
す）を受取り、増強信号Ｐ²を生成する。第１１掛算器
１３３２によって増強信号Ｐ²に第３上昇定数α²が掛
けられる。

【００６１】第３期待値についての減少項決定手段１３
０４（２）は、平衡期待値Ｗ^Eを第３期待値Ｗ² _Pから
減算する第１０加算器１３３４を含む。第１２掛算器１
３３６は第１０加算器１３３４の出力に第３減衰定数δ
²を掛ける。第１１加算器１３３８は、第１１掛算器１
３３２の出力を加算し、第１０掛算器１３３６の出力を
遅延させられた第３期待値Ｗ² _Pから減算して新しい第
３期待値Ｗ²を形成する。

【００６２】図２２を参照して、本発明の実施例による
増強信号生成手段１０１０を更に説明する。増強信号生
成手段１０１０は、掛算棒１４０２とハードル符号源１
４０４とを包含する。図２３に示されている様に、ハー
ドル符号源１４０４は複数の掛算器１５０２（ｎ）を含
む。該掛算棒は相互作用信号ｈ^1..Nと、テーブル１５０
４から符号（＋１又は−１）とを受け取る。ディジタル
表記では、−１による乗算は２の補数表記を使って行え
ることが理解されるべきである。

【００６３】図２２に戻ると、掛算器１４０２の出力は
第１２加算器１４０６によって加え合わされる。加算器
１４０８は、ゲート信号ｇ¹を第１２加算器１４０６の
出力から減算する。加算器１４０８の出力は第１条件ブ
ロック１４１０に接続される。第１判定ブロック１４１
２は、先行の期待値Ｗ^1-1を受け取る。第２判定ブロッ
ク１４１４は、現在の期待値Ｗ¹ _Pの前の値を受け取
る。判定ブロックは、条件ブロック内の条件が真であれ
ば、ＹＥＳのラベルが付された入力を通す。従って、第
１３掛算器１４０８の出力が０より大きいならば、第１
及び第２の条件ブロック１４１２、１４１４は、それぞ
れ、先行の期待値Ｗ^1-1と、現在の期待値Ｗ¹ _Pの前の
値とを通す。第１及び第２の判定ブロック１４１２、１
４１４は、加算器１４０８の出力が０より大きくなけれ
ば、０及び１をそれぞれ通す。第１３加算器１４１６
は、第２判定ブロック１４１４の出力を第１判定ブロッ
ク１４１２の出力から減算する。

【００６４】図２４〜４７を参照すると、非線型利得を
有する３レベルのアダプトロードの期待値Ｗ⁰、Ｗ¹、
Ｗ²がいろいろな入力信号について示されている。各例
において、第１上昇定数α⁰及びδ⁰はそれぞれ0.２５
及び0.１２５に設定されている。第２上昇定数α¹及び
第２減衰定数δ¹はそれぞれ0.０６２５及び0.０３１２
である。第３上昇定数及び第３減衰定数α²及びδ²は
それぞれ0.０１５６及び0.００７８である。最大期待値
Ｗ^Mは１に設定され、平衡期待値Ｗ^Eは０に設定されて
いる。第１、第２、及び第３期待値Ｗ⁰、Ｗ¹、Ｗ²は
０に初期化される。

【００６５】離散的システムにおける非線型利得を有す
る３レベルのアダプトロードについては、第１期待値
は、第１期待値は式９Ａにより決定される。Ｗ⁰（ｔ）＝Ｗ⁰（ｔ−△ｔ）＋Ｘ（ｔ）・α⁰・〔Ｗ^M−Ｗ⁰（ｔ−△ｔ）〕 −δ⁰・〔Ｗ⁰（ｔ−△ｔ）−Ｗ¹（ｔ−△ｔ）〕（式９Ａ）第２期待値は式９Ｂにより決定される。Ｗ¹（ｔ）＝Ｗ¹（ｔ−△ｔ）＋α¹・〔Ｗ⁰−Ｗ¹（ｔ−△ｔ）〕 −δ¹・〔Ｗ¹（ｔ−△ｔ）−Ｗ²（ｔ−△ｔ）〕（式９Ｂ）第３期待値は式９Ｃにより決定される。Ｗ²（ｔ）＝Ｗ²（ｔ−△ｔ）＋α²・〔Ｗ¹−Ｗ²（ｔ−△ｔ）〕 −δ²・〔Ｗ²（ｔ−△ｔ）−Ｗ^E〕（式９Ｃ）図２４において、大強度、短持続時間の入力信号が３レ
ベルのアダプトロードに加えられる。第１期待値Ｗ
⁰は、入力信号が非ゼロである間、増大する。そして、
入力信号がゼロであるとき、減衰する。時刻ｔ＝５から
始まって、入力信号が非ゼロになるとき、第２期待値Ｗ
¹も上昇し始める。しかし、第２期待値Ｗ¹の増加項は
第１期待値Ｗ⁰の関数である。従って、第１期待値Ｗ⁰
に起因して入力信号がゼロになった後、第２期待値Ｗ¹
は増大し続ける。実際、第１期待値が第２期待値より大
きい間は、第２期待値の増加項は正である。この点で、
多レベルのアダプトロードについて第１期待値Ｗ⁰の平
衡期待値は次の期待値、即ち、第２期待値Ｗ¹であるこ
とに留意することが重要である。実際上、第１期待値の
下限は第２期待値である。

【００６６】同様に、第３期待値の増加項は第２期待値
の関数である。従って、図２４に示されている様に、第
２期待値が第３期待値を引っ張り上げるのに充分な大き
さを持っている間は、第３期待値は上昇し続ける。図２
５及び２６において、中間持続時間及び長持続時間の大
強度入力信号がそれぞれ３レベルのアダプトロードに加
えられる。第１期待値Ｗ⁰が第２期待値Ｗ ¹の増加項を
減少項より大きくさせるのに充分な大きさである間は、
第２期待値Ｗ¹は増加することを両方のグラフが示して
いる。

【００６７】該グラフは、多レベルのアダプトロードの
長期間記憶能力も示す。実際上、第２期待値及び第３期
待値は異なる時間領域のなのである。即ち、多レベルの
アダプトロードの各々の追加のレベル又は期待値は、よ
り遅い応答時間を有する。第１期待値は入力信号に応じ
て比較的に速く変化するけれども、これは後の期待値に
抑制される。

【００６８】実際、第１期待値Ｗ⁰は連続的入力信号に
応じて飽和するけれども、後の期待値は、遥かに遅い率
で上昇する。図２７に示されている様に、第１入力期待
値が飽和している間、第２期待値Ｗ¹及び第３期待値Ｗ
²は、遥かに遅い率でではあるけれども、増加し続け
る。入力信号が最後に再びゼロになるとき、第１期待値
は、減少項により支配される率で減衰し始める。しか
し、これは第２期待値により抑制される。第２期待値は
遥かに遅い率で減衰するので、入力信号が非ゼロであっ
た時間の長さに応じて、従って、第２期待値がどの程度
の高さにされたかに応じて、第１期待値を引き止める。
同様に、第３期待値は第２期待値を引き止める、又はそ
の減衰を阻止する。

【００６９】与えられた期待値（Ｗ¹）について、後の
期待値（Ｗ^1-1）は減衰率も左右するが、これは図２８
に示されており、この場合、確率的入力信号が３レベル
のアダプトロードに加えられる。入力信号は、第１期待
値Ｗ⁰のレベルを押し上げる効果を有する。第２期待値
Ｗ¹は第１期待値によって動かされる。第３期待値は第
２期待値に動かされる。入力信号がゼロであるとき、第
１期待値の減少項は増加項より大きく、従って第１期待
値に対する正味の修正値は負である。しかし、第１期待
値の減少項は第１期待値と第２期待値との差の関数であ
る。従って、図に示されている様に、第２期待値が大き
いほど、第１期待値の減衰率が低い。

【００７０】これは図２９により明瞭に示されており、
この場合には遂次入力信号が３レベル・アダプトロード
に加えられる。第１期間において、入力信号は非ゼロ
（1.０）になる。第２期間において、第１期待値は、第
１減衰定数と第２期待値の現在の値とによって確定され
る率で減衰する。第３期間において、入力信号は再び非
ゼロになり、第１期待値は上昇する。第４期間におい
て、入力信号は再びゼロになり、第１期待値は減衰す
る。しかし、第２期待値は第１期待値によって、より高
いレベルに押し上げられているので、第４期間における
減衰率は第２期間における減衰率より小さい。

【００７１】図３０〜３５において、非線型利得を有す
る３レベルのアダプトロードの期待値Ｗ⁰、Ｗ¹、Ｗ²
がいろいろな入力信号について示されている。更に、第
２期待値は増強信号Ｐによってゲート制御される。第１
期待値は式９Ａによって決定される。第２期待値は式１
０Ａによって決定される。Ｗ¹（ｔ）＝Ｗ¹（ｔ−△ｔ）＋Ｐ・α¹・〔Ｗ⁰−Ｗ¹（ｔ−△ｔ）〕 −δ¹・〔Ｗ¹（ｔ−△ｔ）−Ｗ²（ｔ−△ｔ）〕（式１０Ａ）第３期待値は式１０Ｂによって決定される。Ｗ²（ｔ）＝Ｗ²（ｔ−△ｔ）＋α²・〔Ｗ¹−Ｗ²（ｔ−△ｔ）〕 −δ²・〔Ｗ²（ｔ−△ｔ）−Ｗ^E〕（式１０Ｂ）これらの例において、増強信号Ｐは単に０又は１であ
る。しかし、増強信号は如何なる値であってもよい。

【００７２】図３０〜３５の例に使用される入力信号
は、それぞれ、図２４〜４９についての入力信号と同じ
である。各々の例において、増強信号は０に初期化さ
れ、所定の時に増強信号は１になる。各図において増強
信号が１になるまでは第２期待値値及び第３期待値は
『学習』又は上昇をしないことに注意することが重要で
ある。また、増強信号は第２及び第３の期待値の減衰率
に影響を与えないことにも注意すべきである。

【００７３】図３６〜４７を参照すると、第１期待値が
線型利得を有する３レベルのアダプトロードの期待値Ｗ
⁰、Ｗ¹、Ｗ²がいろいろな入力信号について示されて
いる。各例において、第１上昇定数α⁰は４に設定さ
れ、減衰率δ⁰は0.１２５に設定されている。第２上昇
定数α¹及び第２減衰定数δ¹は、それぞれ0.０６２５
及び0.０３１２に設定されている。第３上昇定数α²及
び第３減衰定数δ²は、それぞれ、0.０１５６及び0.０
０７８に設定されている。

【００７４】図３６〜４７において、入力信号は図２９
〜３５の入力信号と同様である。図２〜４７において、
図３０〜３５の場合と同じく、第２及び第３の期待値は
増強信号Ｐによってゲート制御される。しかし、増強信
号は、０又は１である（図解の目的上、増強信号は３０
にされている）。結果は、非線型モデルにより示される
ものと同様である。

【００７５】図４８を参照すると、アダプトロードに基
づくニューロン又はニューリスタ（Neuristor)２００２
が示されている。ニューリスタ２００２は入力アダプト
ロードのアレーを包含する。入力アダプトロード・アレ
ー２００４は複数のアダプトロードを含む。アダプトロ
ードの数は一般にＪで表される。各入力アダプトロード
２００４（ｊ）は、関連する入力信号Ｘ^jを有する。

【００７６】各入力アダプトロード２００４（ｊ）の結
果信号ｒ^jは、標準的ニューロンの重み信号が乗じられ
た入力信号と置換されるものと見ることの出来るもので
ある。ニューリスタ２００２は、臨界値信号Ｔを初期化
し生成する手段２００６を含む。

【００７７】一実施例では、臨界値信号生成手段２００
６は、臨界値信号を所定値に初期化する手段を含む。第
２実施例では、臨界値信号は定数である。第３実施例で
は、臨界値信号生成手段２００６は、出力アダプトロー
ド２００８と臨界値プロセッサ２０１０とを含む。臨界
値信号は臨界値修正信号の関数である。臨界値修正信号
は、第１期待値又は出力アダプトロードの結果信号であ
ることが出来る。臨界値信号生成手段２００６は、ニュ
ーリスタの出力を時間上で積分する。出力アダプトロー
ドは、１個以上の他のアダプトロードの結果信号によっ
てゲート制御されることが出来る。

【００７８】ニューリスタ２００２は、入力アダプトロ
ード結果信号ｒ^jと臨界値信号Ｔとを受信して、これに
応じて出力信号Ｏを生成する手段２０１２を含む。図４
９を参照すると、出力信号生成手段２０１２は結果信号
を合計してシグマ信号を生成する手段を含む。このシグ
マ信号は臨界値信号Ｔと比較される。出力信号生成手段
２０１２は、第２掛算棒２１０２と符号テーブル２１０
４とを含む。符号テーブル２１０４の出力は＋１又は−
１である。

【００７９】図５０を参照すると、符号源２０１４は、
符号テーブル２２０２と複数の掛算器２２０４（ｊ）と
を含む。符号テーブル２２０４中の＋１と関連したアダ
プトロードの入力は、励起的であると言われ、符号テー
ブル２２０４中の−１と関連したアダプトロードの入力
は抑制的であると言われる。図４９に戻ると、出力信号
生成手段２０１２は加算及び出力プロセッサを含む。第
１４加算器２１０６は、結果信号ｒ^jを加算し、臨界値
信号を該結果信号から減算する。第３条件ブロック２１
０８は、第１４加算器２１０６の出力を所定値（０）と
比較する。第３判定ブロック２１１０は出力信号Ｘ₀を
生成する。好適な実施例では、第３判定ブロック２１１
０は、条件ブロック２１０８内の条件が真であれば１を
生成し、判定ブロック２１０８内の条件が偽であれば０
を生成する。

【００８０】図４８に戻ると、各入力アダプトロード
（Ａ^j）の第１期待値（又は結果信号）は、矢印で図示
されているように、後のアダプトロード（Ａ^j+1）にお
いて相互作用信号（ｈ）として使われる。各アダプトロ
ードを先行のアダプトロードでゲート制御させるのは説
明の目的だけで行われたことであることが理解されるべ
きである。

【００８１】一般に、ゲート制御に使われる入力アダプ
トロード間の信号は、局地的相互作用信号と呼ばれる。
更に、出力アダプトロード２００８の結果信号は、矢印
で示されている様にゲート制御のために利用可能であ
る。図５１を参照すると、本発明の実施例による臨界値
プロセッサ２０１０のブロック図が示されている。臨界
値プロセッサ２０１０は、３種類の臨界値信号を考慮し
たものである。臨界値信号はＴの種類で定義される。若
しＴの種類が１であれば、臨界値信号はＴ^Cの大きさを
有する定数である。Ｔの種類が２であれば、臨界値信号
Ｔは、定数を乗じた臨界値プロセッサ２０１０の入力と
定数Ｔ^Mとの差である。一実施例では、臨界値プロセッ
サ２０１０への入力は出力アダプトロード２００８の第
１期待値（Ｗ⁰⁰）である。第２実施例では、臨界値プロ
セッサ２０１０への入力は出力アダプトロード２００８
の結果信号である。若しＴの種類が３であれば、臨界値
信号はＷ⁰⁰の線型関数である。

【００８２】臨界値プロセッサ２０１０は、第４、第５
及び第６の判定ブロック２３０２、２３０６、２３１
０、及び第４、第５及び第６の制御ブロック２３０４、
２３０８、２３１２を含む。第１４掛算器２３１４は、
出力アダプトロード２３０８の第１期待値に定数βを掛
ける。第１５加算器２３１６は、第１４掛算器２３１４
の出力を定数Ｔ^Cから減算する。

【００８３】図５２を参照すると、第１入力アダプトロ
ードと第２入力アダプトロードとが示されているが、こ
こで第１アダプトロードは第２アダプトロードの第２期
待値をゲート制御するのに使われる。各期待値はＷ^abで
一般的に記されている。ここで、ａは期待値レベルを指
し、ｂは入力アダプトロードを指す。典型的には、ニュ
ーロン回路網は種々の技術を使って実施されることが出
来る。これは、超大規模集積回路（ＶＬＳＩ）、ソフト
ウェア・シミュレーター及び開発システム、及び特殊目
的ハードウェア・システムなどの『標準的』技術と、光
プロセッサなどの『最新の』技術を含む。

【００８４】

【産業上の利用可能性】図面を参照すると、実施に当た
って、本発明はニューロン回路網における基本的な学習
能力を備える。アダプトロードの学習能力は、連合可能
性自体に基づいているのではなくて、単一入力チャネル
に沿って時間変更する信号に固有の情報の符号化に基づ
く。該符号化プロセッサは、時間明示的であり、実際
に、情報がこれら時間領域の各々の間に記録されるよう
に複数の時間スケールで働く。情報符号化へのこの様な
アプローチは短期間及び長期間の記憶を実施するときの
回帰ループの代替手段となる。アダプトロードは、記憶
装置を形成する他のチャネルとの相関に本来的に依存す
るものではない。

【００８５】しかし、連合可能性は、若し第２信号が存
在しなければ符号化を阻止するゲート機能の導入から生
じることが出来る。２個以上の入力信号は入力信号と出
力信号との組合せの間の連合を達成することが出来る。
図５４〜６０を参照すると、アダプトロードは連合回路
網２８０２を構成するのに使われている。回路網２８０
２は、３個の入力アダプトロード及び出力アダプトロー
ド（Ａ¹⁰、Ａ¹¹、Ａ¹²、Ａ¹³、Ａ²⁰、Ａ²¹、Ａ²²、
Ａ²³）を各々有する第１及び第２のニューリスタ２８０
４、２８０６を含む。参照のために、図５４〜６０につ
いての凡例が図５３に示されている。この凡例は、３種
類の入力（抑制−−５３０２、学習励起−−５３０４、
及び非学習励起−−５３０６）についての記号を示す。

【００８６】増強ゲート手段は、入力アダプトロードＡ
¹¹及びＡ¹²の間、及びＡ²³及びＡ²²の間の局地的相互作
用を介して制御される。後者のアダプトロードＡ¹²及び
Ａ²²は、いずれの場合にも、（２枚板端子で示されてい
る様に）それぞれのニューリスタの中の学習アダプトロ
ードである。即ち、アダプトロードＡ¹²及びＡ²²の第２
及び第３の期待値についての上昇定数は非ゼロであり、
アダプトロードＡ¹¹，Ａ¹³，Ａ²¹，及びＡ²³の第２及び
第３の期待値はゼロである。

【００８７】臨界値は、出力を遅延させるのに充分な値
に固定され設定される。ニューリスタ２８０４、２８０
６は、一方のニューリスタが優越すると、それが唯一の
応答するユニットとなる様に、相互に抑制し合う。これ
は、円形入力により示されている様に良く静的応答を有
するＡ¹¹及びＡ²¹を通じて行われる。入力ＵＳＣ¹及び
ＵＳＣ²は、外部環境からの二つの相反する（必ずしも
相互に排他的ではないけれども）刺激であると解され
る。ＵＣＲ¹及びＵＣＲ²は相互に排他的な応答であ
る。ＣＳという符号が付されている入力は、図示の両方
のニューリスタに利用可能である。露出前には、Ａ¹²も
Ａ²²も、如何なる記憶の痕跡も符号化していない。

【００８８】説明の目的上、回路網２８０２を単純なロ
ボット・コントローラは見なすのが好都合である。ここ
で、例えばバッテリーを再充電するパワーを利用する可
能性などの褒美ＵＣＳ²、又は、例えば高温の存在など
の罰ＵＣＲ¹、がそれぞれの刺激に連合しているなら
ば、出力挙動は、刺激を求める挙動（ＵＣＲ²）又は刺
激を回避する挙動（ＵＣＲ¹）である。

【００８９】この場合、刺激（ＣＳ）は光源の存在であ
るとする。目的は、光源を自分の発意で探す様に光をパ
ワーの利用可能性と連合させるようにロボットを訓練す
ることである。光と熱を連合させるように回路網を訓練
する様に決定することが等しく可能であったであろうこ
とに注意しなければならない。ＣＳ及びＵＣＳ²へ一緒
に露出させる幾度かの試行（必要な数は、信号の大き
さ、その持続時間、及びその位相関係に依存する）の
後、これは、実際に、図５５において達成される。この
露出は、正確に同じ段階で（即ち、正確に同位相で）行
われる必要はないことに注意すべきである。若しＣＳ露
出がＵＳＣ²より僅かに先んじて行われたならば（時間
窓はアダプトロードにおけるα及びδにより確定され
る）、ＵＣＳ²の発生はなおＡ²²における増強を生じさ
せる。

【００９０】回路網２８０２に与えられた信号は確率的
でノイズ的である（約１０％非ガウシアン・ノイズ）。
中間範囲におけるＵＳＣ²及びＣＳでの一緒の提示での
僅か３回の試行の後に、回路網は図５５の様に見え始め
る。Ａ²¹及びＡ²²の間の局地的相互作用の結果としてあ
る程度の増強がＡ²²に起こっているのが分る。回路網２
８０２は、相互抑制を実施する−ユニットから他のユニ
ットへの抑制的リンクを含む。これは、応答規則の相互
排除を実施するのに必要である。しかし、若しＵＣＳ¹
が僅かに活性であれば（これは起こり得ることである）
ＣＳ及びＵＣＳ¹からの信号のある程度の『漏れ』は可
能であるので、この規則はぼやけた（ファジーな）規則
であることに注意しなければならない。一般的に、ＵＣ
Ｓ²の出力はＵＣＳ¹の出力を減衰させ、また、その逆
も起こるが、それは絶対的名辞においてではない。

【００９１】各アダプトロードにおける陰影付き領域
は、凡例に示されている各期待値についてのレベルを表
す。各々の後続の期待値は、先行の期待値に重なること
に注意しなければならない。また、Ｗ⁰≧Ｗ¹≧Ｗ²と
いう関係は常に真である。黒い矢印は、そのラインが
『活性』であることを示す。従って、第２ニューリスタ
２８０６における黒い矢印は、Ａ²²の学習挙動に対する
Ａ²³の強い局地的相互作用効果を示す。Ａ¹¹からＡ¹²へ
の第１ニューリスタ２８０４における矢印は弱い相互作
用を表し、従って、Ａ¹¹は、Ａ¹²に増強が起こるのを許
すために充分な勾配付き応答を与えることが出来ない。

【００９２】図５６は、回路網２８０２が入力無しで或
る期間を過ごした後の回路網２８０２の状態を示す。ア
ダプトロードＡ²²は、それがさらされた連合の残留記憶
を或る程度示すことが分る。この残留の結果として、該
回路網は、図５７に示されている様に思い出すことの出
来る連合した信号間の関係を確立していることが分る。
図５７において、信号はＣＳだけで注入される。これ
は、ロボットが光だけを見ているのに対応する。Ａ²²の
増強の結果として、Ａ²²における入力信号は、Ａ ¹²の第
１期待値において達成されるよりも高い値まで第１期待
値Ｗ⁰を迅速に押し上げる。これは、第１ニューリスタ
２８０４を減衰させる抑制的信号を結果するＵＣＲ²に
おける出力信号を駆動するのに充分である。この様にし
て、回路網２８０２は、それ自身では意味のない信号で
あるＣＳを、或る意味のある信号の予測値として利用す
ることを学習している（この場合、パワー利用可能
性）。これら２個の信号が過去に一緒に発生した程度
は、連合の予測能力の或る程度の信頼性を与える。ロボ
ットは明かりを探すことを学習し（そのパワーが低い
時）、連合が保持する或る程度の自信を持つことが出来
る。

【００９３】ここまでは、回路網２８０２は、連合学習
規則から予期されるように作動する。時間が明示的で学
習プロセスが強化を通じて動的である幾分独特の態様を
除いて、回路網２８０２は、本質的に他の如何なる連合
に基づくニューロン回路網が達成するものを達成する。
しかし今私達は、もっと困難な考慮事項を指摘する。或
る短時間にわたって、例えばロボットの環境に火事が起
こったならば生じる様な不利な関係がＵＣＳ¹とＣＳと
の間に存在すると仮定する。

【００９４】第１に、私達は、適切な応答に関心を持
つ。即ち、ロボットは火事を避けるべきである。第２
に、私達は、この不利な条件の重要性を決定するなんら
かの手段を必要とする。それは騒音だろうか、或いは、
環境の性質の、もっと永久的変化を意味するのだろうか
？第３に、この新しい関係が一時的なものである場合に
は、古い関係が将来再び規範となる可能性があるので、
私達は確かに前の連合をロボットが忘れることを望まな
い。

【００９５】図５８〜６０において、不利な連合の符号
化の進行が示されているが、それは異なる時間領域を表
すので、干渉無しに該回路網に直に記憶されることが出
来る。回路網２８０２は正しく応答して、新しい条件に
付く重要性のレベルを正しく決定する。図５８におい
て、回路網２８０２は、強くて幾分持続する刺激ＵＣＳ
¹にさらされるが、これは、その前の学習に反する。該
システムは、あたかもパワーの使用可能性に応答するか
の様に第２ニューリスタ２８０６を最初に発火させ始め
る。Ａ¹¹の第１期待値Ｗ⁰が、Ａ²¹における抑制的リン
クを通じて第２ニューリスタ２８０６の出力を覆すのに
充分なレベルになるのには或る短い時間がかかる。しか
し、第１ニューリスタ２８０４の発火が厳格なために、
これは競争に勝ち、ＵＣＲ¹での適切な応答（回避）に
つながる。Ａ²²はＷ²に増強されるが、Ａ¹²はＷ¹まで
の増強あ示すだけである。

【００９６】回路網に今ＣＳ入力だけが与えられたなら
ば、これは、短時間、図５９に示されている様にＵＣＲ
¹での出力をもって、弱いけれども、応答する。その理
由は、Ａ¹²の第２期待値Ｗ¹が、Ａ²²の第２期待値のそ
れよりわずかに大きいだけのレベルまで上昇しているか
らである。これは、Ａ¹²のＷ¹が、Ａ²²のＷ¹と同じレ
ベルまで減衰するまで続き、この時に応答が曖昧にな
る。この曖昧さは長くは続かない。不利な条件への露出
は短くてＡ¹²のＷ²は上昇しなかったので、Ａ¹²のＷ¹
は減衰し続け、Ａ²²のＷ¹のレベルより下まで落ちる。
その時、回路網２８０２は、図６０に示されている様に
古い連合が優勢として再び現れるとき元のＵＣＲ²応答
をもって応答する。

【００９７】本発明の他の面、目的、及び利点は、図
面、明細書、及び特許請求の範囲の記述を検討すること
から得られる。

【図面の簡単な説明】

【図１】シナプス・プロセッサ又はアダプトロード（Ad
aptrode)のブロック図である。

【図２】図１のシナプス・プロセッサの入力期待値修正
手段の略図である。

【図３】図１のシナプス・プロセッサの結果信号生成手
段の略図である。

【図４】高入力期待値を有する単一レベルのアダプトロ
ードのグラフである。

【図５】低入力期待値を有する単一べルのアダプトロー
ドのグラフである。

【図６】大強度、短持続時間の入力信号に対する非線型
利得を有する炭一レベルのアダプトロードの入力期待値
の応答を示すグラフである。

【図７】大強度、中間持続時間入力信号に対する非線型
利得を有する単一レベルのアダプトロードの入力期待値
の応答を示すグラフである。

【図８】大強度、長持続時間入力信号に対する非線型利
得を有する単一レベルのアダプトロードの入力期待値の
応答を示すグラフである。

【図９】飽和入力信号に対する非線型利得を有する単一
レベル・アダプトロードの入力期待値の応答を示すグラ
フである。

【図１０】確率的入力信号に対する非線型利得を有する
単一レベル・アダプトロードの入力期待値の応答を示す
グラフである。

【図１１】逐次入力信号に対する非線型利得を有する単
一レベル・アダプトロードの入力期待値の応答を示すグ
ラフである。

【図１２】大強度、短持続時間の入力信号に対する線型
利得を有する単一レベルのアダプトロードの入力期待値
の応答を示すグラフである。

【図１３】大強度、中間持続時間入力信号に対する線型
利得を有する単一レベルのアダプトロードの入力期待値
の応答を示すグラフである。

【図１４】大強度、長持続時間入力信号に対する線型利
得を有する単一レベルのアダプトロードの入力期待値の
応答を示すグラフである。

【図１５】飽和入力信号に対する線型利得を有する単一
レベル・アダプトロードの入力期待値の応答を示すグラ
フである。

【図１６】確率的入力信号に対する線型利得を有する単
一レベル・アダプトロードの入力期待値の応答を示すグ
ラフである。

【図１７】逐次入力信号に対する線型利得を有する単一
レベル・アダプトロードの入力期待値の応答を示すグラ
フである。

【図１８】多レベルのシナプス・プロセッサ又はアダプ
トロードのブロック図である。

【図１９】図１８の多レベルのシプナス・プロセッサの
グラフである。

【図２０】ゲート制御機能を用いる多レベルのシプナス
・プロセッサのグラフである。

【図２１】３レベルのシプナス・プロセッサの期待値修
正手段の略図である。

【図２２】図１８の増強信号生成手段の略図である。

【図２３】図２２のハードル符号源の略図である。

【図２４】大強度、短持続時間入力信号に対する非線型
利得を有する３レベルのアダプトロードの期待値の応答
を示すグラフである。

【図２５】大強度、中間持続時間入力信号に対する非線
型利得を有する３レベルのアダプトロードの期待値の応
答を示すグラフである。

【図２６】大強度、長持続時間入力信号に対する非線型
利得を有する３レベルのアダプトロードの期待値の応答
を示すグラフである。

【図２７】大強度、飽和入力信号に対する非線型利得を
有する３レベルのアダプトロードの期待値の応答を示す
グラフである。

【図２８】確率的入力信号に対する非線型利得を有する
３レベルのアダプトロードの期待値の応答を示すグラフ
である。

【図２９】逐次入力信号に対する非線型利得を有する３
レベルのアダプトロードの期待値の応答を示すグラフで
ある。

【図３０】大強度、短持続時間入力信号に対する非線型
利得を有する３レベルのアダプトロードの期待値の応答
を示すグラフであり、第２期待値がゲート制御されてい
る。

【図３１】大強度、中間持続時間入力信号に対する非線
型利得を有する３レベルのアダプトロードの期待値の応
答を示すグラフであり、第２期待値がゲート制御されて
いる。

【図３２】大強度、長持続時間入力信号に対する非線型
利得を有する３レベルのアダプトロードの期待値の応答
を示すグラフであり、第２期待値がゲート制御されてい
る。

【図３３】大強度、飽和入力信号に対する非線型利得を
有する３レベルのアダプトロードの期待値の応答を示す
グラフであり、第２期待値がゲート制御されている。

【図３４】確率的入力信号に対する非線型利得を有する
３レベルのアダプトロードの期待値の応答を示すグラフ
であり、第２期待値がゲート制御されている。

【図３５】遂次入力信号に対する非線型利得を有する３
レベルのアダプトロードの期待値の応答を示すグラフで
あり、第２期待値がゲート制御されている。

【図３６】大強度、短持続時間入力信号に対する３レベ
ルのアダプトロードの期待値の応答を示すグラフであ
り、第１期待値が線型利得を有する。

【図３７】大強度、中間持続時間入力信号に対する３レ
ベルのアダプトロードの期待値の応答を示すグラフであ
り、第１期待値が線型利得を有する。

【図３８】大強度、長持続時間入力信号に対する３レベ
ルのアダプトロードの入力期待値の応答を示すグラフで
あり、第１期待値が線型利得を有する。

【図３９】大強度、飽和入力信号に対する３レベルのア
ダプトロードの期待値の応答を示すグラフであり、第１
期待値が線型利得を有する。

【図４０】確率的入力信号に対する３レベルのアダプト
ロードの期待値の応答を示すグラフであり、第１期待値
が線型利得を有する。

【図４１】逐次入力信号に対する３レベルのアダプトロ
ードの期待値の応答を示すグラフであり、第１期待値が
線型利得を有する。

【図４２】大強度、短持続時間入力信号に対する３レベ
ルのアダプトロードの期待値の応答を示すグラフであ
り、第１期待値が線型利得を有し、第２期待値がゲート
制御される。

【図４３】大強度、中間持続時間入力信号に対する３レ
ベルのアダプトロードの期待値の応答を示すグラフであ
り、第１期待値が線型利得を有し、第２期待値がゲート
制御される。

【図４４】大強度、長持続時間入力信号に対する３レベ
ルのアダプトロードの期待値の応答を示すグラフであ
り、第１期待値が線型利得を有し、第２期待値がゲート
制御される。

【図４５】大強度、飽和入力信号に対する３レベルのア
ダプトロードの期待値の応答を示すグラフであり、第１
期待値が線型利得を有し、第２期待値がゲート制御され
る。

【図４６】確率的入力信号に対する３レベルのアダプト
ロードの期待値の応答を示すグラフであり、第１期待値
が線型利得を有し、第２期待値がゲート制御される。

【図４７】逐次入力信号に対する３レベルのアダプトロ
ードの期待値の応答を示すグラフであり、第１期待値が
線型利得を有し、第２期待値がゲート制御される。

【図４８】入力アダプトロード・アレーと、加算及び出
力プロセッサと、臨界値プロセッサとを有する処理要素
のブロック図である。

【図４９】図４８の加算及び出力プロセッサの略図であ
る。

【図５０】図４９の掛算棒の略図である。

【図５１】図４８の臨界値プロセッサの略図である。

【図５２】一方の出力が他方をゲート制御するために使
われるようになっている２個のシナプス・プロセッサの
グラフである。

【図５３】図５８〜６０についての凡例である。

【図５４】条件付き応答による連合を示す２個のニュー
リスター連合回路網（Neuristorassociative network)
のブロック図である。

【図５５】図５４の回路網のブロック図であり、ここで
は条件付き刺激が無条件刺激／応答と連合させられてい
る。

【図５６】刺激が或る期間無かった後の図５５の回路網
のブロック図である。

【図５７】図５６の条件付き刺激／応答連合を示す回路
網のブロック図である。

【図５８】図５７の回路網のブロック図であり、反対の
無条件刺激の効果を示す。

【図５９】図５８の回路網のブロック図であり、後の、
仮に条件を付された刺激／応答連合の効果を示す。

【図６０】図５９の回路網のブロック図であり、条件付
き応答と第１の無条件刺激との間の長時間連合を示す。

───────────────────────────────────────────────────── フロントページの続き (72)発明者ジョージイーモーブスアメリカ合衆国テキサス州 76205 デントンウィローウッドストリート 1925

Claims

【特許請求の範囲】

【請求項１】入力信号に応じて結果信号を生成するシ
ナプス・プロセッサであって、入力期待値を初期化する手段を備えており、前記期待値
は最大期待値と平衡期待値とを境界としており、前記入力信号を受信して前記入力期待値を修正する手段
を備えており、前記入力期待値に対する正味の修正値は
増加項と減少項とを有し、前記増加項は前記入力信号と
第１上昇定数との関数であり、前記減少項は第１減衰定
数の関数であり、前記第１上昇定数及び減衰定数は独立
であり、前記入力期待値に応じて前記結果信号を生成する手段を
備えていることを特徴とするシナプス・プロセッサ。
【請求項２】前記結果信号は前記入力期待値の線型関
数であることを特徴とする請求項１に記載のシナプス・
プロセッサ。
【請求項３】前記結果信号は前記入力期待値の非線型
関数であることを特徴とする請求項１に記載のシナプス
・プロセッサ。
【請求項４】前記減少項は前記入力期待値と前記平衡
期待値との差に比例することを特徴とする請求項１に記
載のシナプス・プロセッサ。
【請求項５】前記増加項は前記入力期待値と前記最大
期待値との差に比例することを特徴とする請求項１に記
載のシナプス・ペロセッサ。
【請求項６】前記平衡期待値を修正する手段を含み、
前記平衡期待値に対する正味の修正値は、第２増加項と
第２減少項とを有し、前記第２増加項は前記入力期待値
と第２上昇定数との関数であり、前記第２減少項は第２
減衰定数の関数であることを特徴とする請求項１に記載
のシナプス・プロセッサ。
【請求項７】前記入力期待値修正手段は、△ｔの離散
的時間間隔で前記入力期待値を更新する手段を含むこと
を特徴とする請求項１に記載のシナプス・ペロセッサ。
【請求項８】入力信号に応じて結果信号を生成するシ
ナプス・プロセサであって、第１及び第２の期待値を初期化する手段を備えており、
前記第１及び第２の期待値は最大期待値と平衡期待値と
を境界としており、前記入力信号を受信して、前記第１期待値を前記入力信
号及び前記第２期待値に応じて修正する手段を備えてお
り、前記第２期待値を前記第１期待値に応じて修正する手段
を備えており、前記第１期待値に応じて前記結果信号を生成する手段を
備えていることを特徴とするシナプス・プロセッサ。
【請求項９】前記期待値は、Ｗ^M≧Ｗ⁰≧Ｗ¹≧Ｗ^E という関係を有し、ここでＷ^M＝最大期待値、Ｗ⁰＝第１期待値、Ｗ¹＝第２期待値、Ｗ^E＝平衡期待値であることを特徴とする請求項８に記載のシナプス・プ
ロセッサ。
【請求項１０】前記第１期待値は前記入力信号の大き
さの関数であることを特徴とする請求項８に記載のシナ
プス・プロセッサ。
【請求項１１】前記第１期待値修正手段は、前記第２
期待値に応じて前記第１期待値を減少させる手段を含む
ことを特徴とする請求項８に記載のシナプス・プロセッ
サ。
【請求項１２】前記第１期待値減少手段は、前記第１
及び第２の期待値の差を決定すると共に前記第１期待値
を前記の差と第１減衰定数とに応じて減少させる手段を
含むことを特徴とする請求項１１に記載のシナプス・プ
ロセッサ。
【請求項１３】前記第１期待値修正手段は、前記入力
信号及び前記最大期待値の大きさに応じて前記第１期待
値を増加させる手段を含むことを特徴とする請求項８に
記載のシナプス・プロセッサ。
【請求項１４】前記第１期待値増加手段は、前記第１
期待値と前記最大期待値との差を決定し、前記第１期待
値を前記入力信号、前記差、及び第１上昇定数に応じて
増加させる手段を含むことを特徴とする請求項１３に記
載のシナプス・プロセッサ。
【請求項１５】前記第２期待値修正手段は、前記第２
期待値を前記第１期待値に応じて増加させる手段を含む
ことを特徴とする請求項８に記載のシナプス・プロセッ
サ。
【請求項１６】前記第２期待値増加手段は、前記第２
期待値及び前記第１期待値の差を決定して前記第２期待
値を前記の差と第２上昇定数とに応じて増加させる手段
を含むことを特徴とする請求項１３に記載のシナプス・
プロセッサ。
【請求項１７】前記第２期待値修正手段は、前記第２
期待値を前記平衡期待値に応じて減少させる手段を含む
ことを特徴とする請求項８に記載のシナプス・プロセッ
サ。
【請求項１８】前記平衡期待値を修正する手段を含ん
でおり、前記平衡期待値に対する正味の修正値は増加項
と減少項とを有し、前記増加項は前記第２期待値と上昇
定数との関数であり、前記減少項は第２減衰定数の関数
であることを特徴とする請求項８に記載のシナプス・プ
ロセッサ。
【請求項１９】入力信号に応じて結果信号を生成する
シナプス・プロセッサであって、第１期待値と少なくとも一つの第２期待値とを初期化す
る手段を備えており、前記第１及び第２の期待値は最大
期待値と平衡期待値とを境界としており、第２期待値の
数はＬで表され、前記入力信号を受信して前記第１期待値を前記入力信号
に応じて修正する手段を備えており、前記第２期待値の
中の一つを修正する手段を備えており、前記の一つの第
２期待値は、Ｗ¹で表されて、１＝１ならば前記第１期待値、或いは前の第２期待値、その他の場合にはＷ^1-1 の関数であり、前記結果信号を前記第１期待値に応じて生成する手段を
備えていることを特徴とするシナプス・プロセッサ。
【請求項２０】第２入力信号を受信し、これに応じて
増強信号を生成する手段を含み、前記の一つの第２期待
値は前記増強信号の関数であることを特徴とする請求項
１９に記載のシナプス・プロセッサ。
【請求項２１】第１入力信号及び第２入力信号に応じ
て結果信号を生成するシナプス・プロセッサであって、第１及び第２の期待値を初期化する手段を備えており、
前記第１及び第２の期待値は最大期待値と平衡期待値と
を境界としており、前記第１入力信号を受信して、前記第１期待値を前記第
１入力信号と前記第２期待値とに応じて修正する手段を
備えており、前記第２入力信号を受信して、これに応じて増強信号を
生成する手段を備えており、前記第２期待値を前記第１期待値と前記増強信号とに応
じて修正する手段を備えており、前記結果信号を前記第１入力信号と前記第１期待値信号
とに応じて生成する手段を備えていることを特徴とする
シナプス・プロセッサ。
【請求項２２】前記第１期待値は前記入力信号の大き
さの関数であることを特徴とする請求項２１に記載のシ
ナプス・プロセッサ。
【請求項２３】前記初期化手段はゲート制御信号を初
期化する手段を含み、前記増強信号は前記第２入力信号
と前記ゲート制御信号とに応じて生成されることを特徴
とする請求項２１に記載のシナプス・プロセッサ。
【請求項２４】前記増強信号生成手段は、前記ゲート
制御信号と前記第２入力信号とを決定する手段を含むこ
とを特徴とする請求項２３に記載のシナプス・プロセッ
サ。
【請求項２５】前記第２入力信号決定手段は，複数の
相互作用信号を受信して前記相互作用信号を合計する手
段を含むことを特徴とする請求項２４に記載のシナプス
・プロセッサ。
【請求項２６】前記増強信号は、前記第２入力信号が
前記ゲート制御信号を上回るならば許容状態にあり、他
の場合には抑制状態にあることを特徴とする請求項２３
に記載のシナプス・プロセッサ。
【請求項２７】前記第２期待値修正手段は、前記増強
信号が前記許容状態にあるならば前記第２期待値を前記
第１期待値に応じて増加させる手段を含むことを特徴と
する請求項２６に記載のシナプス・プロセッサ。
【請求項２８】処理要素であって、第１入力信号に応じて第１結果信号を生成する第１シナ
プス・プロセッサを備えており、この第１シナプス・プ
ロセッサは、入力期待値を初期化する手段を備えており、前記第１入
力期待値は第１最大期待値と第１平衡期待値とを境界と
しており、前記第１入力信号を受信して、これに応じて前記入力期
待値を修正する手段を備えており、前記入力期待値に対
する正味の修正値は第１増加項と第１減少項とを有し、
前記第１増加項は前記第１入力信号に応じ、前記第１減
少項は前記第１平衡期待値の関数であり、前記入力期待値に応じて前記第１結果信号を生成する手
段を備えており、第２入力信号に応じて第２結果信号を生成する第２シナ
プス・プロセッサを備えており、この第２シナプス・プ
ロセッサは、第１及び第２の期待値を初期化する手段を含み、前記の
第１及び第２の期待値は第２最大期待値と第２平衡期待
値とを境界としており、前記第２入力信号を受信して前記第１期待値を前記第２
入力信号と前記第２期待値とに応じて修正する手段を含
み、前記第１結果信号を受信して、これに応じて増強信号を
生成する手段を含み、前記第２期待値を前記第１期待値と前記増強信号とに応
じて修正する手段を含み、前記第２結果信号を前記第２入力信号と前記第１期待値
とに応じて生成する手段を含むことを特徴とする処理要
素。
【請求項２９】前記第１シナプス・プロセッサは前記
第１平衡期待値を修正する手段を含み、前記第１平衡期
待値に対する正味の修正値は第２増加項と第２減少項と
を有し、前記第２増加項は前記入力期待値と第２上昇定
数との関数であり、前記第２減少項は第２減衰定数の関
数であることを特徴とする請求項２８に記載の処理要
素。
【請求項３０】前記第１期待値修正手段は、第１正味
修正値を決定して前記第１正味修正値を前記第１期待値
に加算する手段を含み、前記第１正味修正値は第３増加
項と第３減少項とを有し、前記第３増加項は前記第１期
待値と第３上昇定数との関数であり、前記第３減少項は
前記第１期待値、及び第３減衰定数の関数であり、前記
第２期待値修正手段は、前記第２期待値に対する第２正
味修正値を決定すると共に前記第２正味修正値を前記第
２期待値に加算する手段を含み、前記第２正味修正値は
第４増加項と第４減少項とを有し、前記第４増加項は前
記第１期待値と第４上昇定数との関数であり、前記第４
減少項は前記第１期待値と第２減衰定数との関数である
ことを特徴とする請求項２８に記載の処理要素。
【請求項３１】前記第２平衡期待値を修正する手段を
含み、前記第２平衡期待値に対する正味修正値は第５増
加項と第５減少項とを有し、前記第５増加項は前記第２
期待値と第５上昇定数との関数であり、前記第５減少項
は第５減衰定数の関数であることを特徴とする請求項２
８に記載の処理要素。
【請求項３２】処理要素であって、臨界値信号を生成する手段を備え、入力信号に応じて結果信号を生成する入力シナプス・プ
ロセッサを備え、前記入力シナプス・プロセッサは、入力期待値を初期化する手段を含み、前記入力期待値は
最大期待値と平衡期待値とを境界としており、前記入力信号を受信して前記入力信号の大きさを検出す
る手段を含み、前記入力期待値を修正する手段を含み、前記入力期待値
に対する正味修正値は第１増加項と第１減少項とを有
し、前記第１増加項は前記入力信号の大きさに応じ、前
記第１減少項は前記大きさと、減衰定数とから独立して
おり、前記入力期待値に応じて前記結果信号を生成する手段を
含み、更に前記結果信号と前記臨界値信号とを受信し
て、これに応じて出力信号を生成する手段を備えている
ことを特徴とする処理要素。
【請求項３３】前記平衡期待値を修正する手段を含ん
でおり、前記平衡期待値に対する正味修正値は第２増加
項と第２減少項とを有し、前記第２増加項は前記入力期
待値と第２上昇定数との関数であり、前記第２減少項は
第２減衰定数の関数であることを特徴とする請求項３２
に記載の処理要素。
【請求項３４】前記臨界値生成手段は、臨界値定数を
初期化し、臨界値修正信号を受信し、前記臨界値修正信
号に定数を乗じ、積を前記臨界値定数から減算する手段
を含むことを特徴とする請求項３２に記載の処理要素。
【請求項３５】前記臨界値信号生成手段は、前記出力
信号を受信して、これに応じて臨界値修正信号を生成す
る出力プロセッサを含むことを特徴とする請求項３２に
記載の処理要素。
【請求項３６】処理要素であって、臨界値信号を生成する手段を備えており、それぞれの入力信号に応じてそれぞれの結果信号を生成
する少なくとも２個の入力シナプス・プロセッサを備え
ており、各々の前記入力シナプス・プロセッサは、入力期待値を初期化する手段を含み、前記入力期待値は
最大期待値と平衡期待値とを境界としており、前記入力信号を受信して前記入力信号の大きさを検出す
る手段を含み、前記入力期待値を修正する手段を含み、前記入力期待値
に対する正味修正値は増加項と減少項とを有し、前記増
加項前記入力信号の大きさに応じ、前記減少項は前記大
きさと、減衰定数の関数とから独立しており、前記入力期待値に応じて前記結果信号を生成する手段を
含んでおり、前記結果信号を受信し、前記結果信号を合計し、これに
応じてシグマ信号を生成する手段を備えており、前記シグマ信号と前記臨界値信号とを受信して、これに
応じて出力信号を生成する手段を備えていることを特徴
とする処理要素。
【請求項３７】前記臨界値生成手段は、臨界値定数を
初期化し、臨界値修正信号を受信し、前記臨界値修正信
号に定数を乗じ、積を前記臨界値定数から減算する手段
を含むことを特徴とする請求項３６に記載の処理要素。
【請求項３８】前記出力信号生成手段は、前記臨界値
信号と前記ジクマ信号とを比較する手段を含み、前記出
力信号は、前記シグマ信号が前記臨界値信号より大きけ
れば第１状態を有し、その他の場合には前記出力信号は
第２状態を有することを特徴とする請求項３６に記載の
処理要素。
【請求項３９】前記臨界値信号生成手段は、前記出力
信号を受信して、これに応じて臨界値修正信号を生成す
る出力プロセッサを含むことを特徴とする請求項３６に
記載の処理要素。
【請求項４０】処理要素であって、臨界値信号を生成する手段を備えており、入力信号に応じて結果信号を生成する入力シナプス・プ
ロセッサを揃えており、前記入力シナプス・プロセッサ
は、第１及び第２の期待値を初期化する手段を含み、前記第
１及び第２の期待値値は最大期待値と平衡期待値とを境
界としており、前記入力信号を受信して、前記第１期待値を前記入力信
号及び前記第２期待値に応じて修正する手段を含み、前記第２期待値を前記第１期待値に応じて修正する手段
を含み、前記第１期待値に応じて前記結果信号を生成する手段を
含んでおり、前記臨界値信号と前記結果信号とを受信して、これに応
じて出力信号を生成する手段を備えていることを特徴と
する処理要素。
【請求項４１】前記第１期待値修正手段は、第１正味
修正値を決定して前記第１正味修正値を前記第１期待値
に加算する手段を含んでおり、前記第１正味修正値は第
１増加項と第１減少項とを有し、前記第１増加項は前記
第１期待値と第１上昇定数との関数であり、前記第１減
少項は前記第１期待値と第１減衰定数との関数であり、
前記第２期待値修正手段は、前記第２期待値に対する第
２正味修正値を決定して前記第２正味修正値を前記第２
期待値に加算する手段を含み、前記第２正味修正値は第
２増加項と第２減少項とを有し、前記第２増加項は前記
第２期待値と第２上昇定数との関数であり、前記第２減
少項は前記第２期待値と第２減衰定数との関数であるこ
とを特徴とする請求項４０に記載の処理要素。
【請求項４２】前記平衡期待値を修正する手段を含
み、前記平衡期待値に対する正味修正値は増加項と減少
項とを有し、前記増加項は前記第２期待値と上昇定数と
の関数であり、前記減少項は第２減衰定数の関数である
こと特徴とする請求項４０に記載の処理要素。
【請求項４３】第２入力信号を受信して、これに応じ
て増強信号を生成する手段を含み、前記第２期待値は前
記増強信号の関数であることを特徴とする請求項４０に
記載の処理要素。
【請求項４４】前記臨界値信号生成手段は、前記出力
信号を受信して、これに応じて臨界値修正信号を生成す
る出力プロセッサを含むことを特徴とする請求項４０に
記載の処理要素。
【請求項４５】処理要素であって、臨界値信号を生成する手段を備えており、それぞれの入力信号に応じてそれぞれの結果信号を生成
する少なくとも２個の入力シナプス・プロセッサを備え
ており、各々の前記入力シナプス・プロセッサは、第１及び第２の期待値をして初期化する手段を含み、前
記第１及び第２の期待値は最大期待値と平衡期待値とを
境界としており、前記入力信号を受信して前記第１期待値を前記入力信号
及び前記第２期待値に応じて修正する手段を含み、前記第２期待値を前記第１期待値に応じて修正する手段
を含み、前記結果信号を前記第１期待値に応じて生成擦る手段を
含み、前記結果を受信し、前記結果信号を合計し、これに応じ
てシグマ信号を生成する手段を備えており、前記ジグマ信号と前記臨界値信号とを受信して、これに
応じて出力信号を生成する手段を備えていることを特徴
とする処理要素。
【請求項４６】前記第１期待値修正手段は、第１正味
修正値を決定して前記第１正味修正値を前記第１期待値
に加算する手段を含み、前記第１正味修正値は第１増加
項と第１減少項とを有し、前記第１増加項は前記第１期
待値と第１上昇定数との関数であり、前記第１減少項は
前記第１期待値と第１減衰定数との関数であり、前記第
２期待値修正手段は、前記第２期待値に対する第２正味
修正値を決定して前記第２正味修正値を前記第２期待値
に加算する手段を含んでおり、前記第２正味修正値は第
２増加項と第２減少項とを有し、前記第２増加項は前記
第２期待値と第２上昇定数との関数であり、前記第２減
少項は前記第２期待値と第２減衰定数との関数であるこ
とを特徴とする請求項４５に記載の処理要素。
【請求項４７】前記臨界値信号生成手段は、前記出力
信号を受信して、これに応じて臨界値修正信号を生成す
る出力プロセッサを含むことを特徴とする請求項４５に
記載の処理要素。