JPS62295188A - 信号並行処理ネツトワ−ク - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （技術分野） 本発明は、信号の並行処理を行なう装置に関する。

（従来技術とその問題点） 近時、一群の複雑な問題をアナログ方式で解く高度に並
行的な計算回路が開発された。それるの回路は、Ｓ字形
伝達関数を有する複数の増幅器と、各増幅器の出力を他
の増幅器の入力に接続する抵抗性フィードバック回路網
とを備えている。各増幅器の入力は、接地されたコンデ
ンサと接地された抵抗器とをも含んでいるが、寄生キャ
パシタンスとコンダクタンスとの外にキャパシタンスと
コンダクタンスとを含んでもよいし含まなくてもよい。

入力に入力電流が各増幅器の入力に供給され、出力が増
幅器の出力電圧の集合から得られる。

この回路の概略図が第１図であり、正及び負の出力Ｖ１
、Ｖ２　、ｖ３　、ＶＪ　、Ｖｎ　をそｎぞｎ　有する
増幅器１０．１１．１２．１３．１４を示す。

それらの出力は、増幅器１０〜１４０入力にそれぞれ接
続された出力ライン４１〜４５を持った相互接続ブロッ
ク２０に接続されている。相互接続ブロック２０の中で
、各出力電圧Ｖ１はコンダクタンス（例えば抵抗器）を
通してブロック２０の各出力ラインに接続されている。

便宜上、コンダクタンスは、そのコンダクタンスによっ
て特定の電圧ラインに接続された特定の出力ライン（す
なわち、ソース）によって識別することができる。

例えば、Ｔ２＋は、非反転出力Ｖ２を第１増幅器（ライ
ン４１）の入力に接続するコンダクタンスを示す。

各増幅器の入力には、第２リード線が接地されたコンデ
ンサと抵抗器との並列回路と、（外部ソースから）電流
を各入力に注入する手段とが更に接続されている。

第１図の各増幅器ｉの入力に本ルヒホノフの電流に関す
る法則を適用すると下記の方程式が得ちれる。

Ｃ＋　（ｄｕｔ　／ｄｊ）　−−Ｕ、　／Ｒ４＋Σ（Ｔ
、Ｊ−Ｔ′ｉｊ）　（■、−Ｕ、）−Ｉ＋　　　（１）
二こで、 Ｃ１は増幅器ｌの入力とグランドとの間のキャパシタン
スであり、 等しく、ここでＰ、は増幅器ｉの入力とグランドとの開
の抵抗であり、 Ｕｌは増幅器ｉの入力における電圧であり、Ｔ７ｊは増
幅器Ｊの非反転出力と増幅器１の入力との間のコンダク
タンスであり、 Ｔ１．は増幅器Ｊの反転出力と増幅器１の入力との間の
コンダクタンスであり、 ■、は、ＶＪ　＝ｇ　ｉ　　（ＵＪ　）の方程式でＵ、
に関連する増幅器ｊの正出力電圧であり、■、は外部ソ
ースから増幅器１の入力に注入される電流である。

便宜上ＴＩ、と書き表わすことができ、そして、対称Ｔ
　ｉ　ｊ頂を持って方程式（１）を満す回路は安定であ
ることが知られている。また、そのよう？；回路は加え
られた刺激に応答して短い遷移時間の後に安定状態に達
するということもよく知られている。安定状態では、ｄ
ｕｔ　／ｄｔ＝　０であって、且つｄＶＪ／ｄｔ＝０で
ある。

この既知の安定性に留意して、第１図の回路に関連する
とともに同回路の入力信号、同回路の出力信号及び／又
は同回路の内部パラメータに関係する他の関数の挙動を
調べることができる。

実際に、下記の形の関数を調べた。

−ΣＩｔ　Ｖｉ　　・　　（２） 増幅器ｌの利得が無限大に近づくに従って関数ｇ＋　　
（Ｖ）の積分が０に近づくことが分った。また、関数Ｅ
の時間微分は負であって、電圧Ｖ、の時間微分がＯにな
る時に０になる。方程式（１）はｄＶｌ／ｄｔが全ての
１について０に近づく事を保証しているので、方程式（
２）の関数Ｅは確実に安定状態に到達する。この関数Ｅ
が発見されたので、問題を解く応用分野、結合記憶応用
分野、及び分解問題に第１図の回路が使われるようにな
った。　　　　　　゛ 第１図の回路は、最小化するべき関数が方程式（２）と
の対応を可能にする問題の幾つかのパラメータについて
高々２次の項を持つように構成することのできる問題を
解くことができる。けれども、他の問題では、２次より
高次の項を含む方程式を最小化する必要があることもあ
る。それらの問題は、異なる値をとるコンダクタンスで
あるＴｌ、、Ｔｉｊ介在介在ロイロン増幅器いて解くこ
とができ、その稙は解くべき問題の関数である。しかし
、数学的な厳密性を追求することは現実的でない場合も
ある。特に、現実の大概のシステムにおいては、Ｔｔｊ
がとることができる値のダイナミックレンジは限られて
いる。Ｔｌ、コンダクタンスの限られたレパートリ−で
これらの高度並行１目互作用回路を構在し得ることは重
要である。２の値のコンダクタンスのみを１吏えば、神
経回路網に用いられる増幅器は正出力を全く持たなくて
もよいので、好都合である。そのようにすれば、もっと
小さな増幅器を使うことができるし、もっと少ないリー
ド線で神経回路網を構成することができる。

大きな神経回路網を構成する上でしばしば制限要因とな
るのはコンダクタンス・マトリックスとの接読のための
リード線の数であるから、上記の少ないリード線で神経
回路網を構成し得るという利点：よ重要である。

（発明の摘要） 私の発間の原理に従って、単一の出力を持つ負利得増幅
器と、２つの値（固定低抗器又は開放回路によってセッ
トされる値）のみを持つコンダクタンスＴ目を持ったク
リップドＴマ）　ＩＪックス止を用′、）ることによっ
て有利な神経回路網を作ることができる。クリップドＴ
マトリックスのＴｌ」項の値は、クリンプト・マトリッ
クス及びノンクリップド・マトリックスに作用して、ク
リップドＴマトリンクスを使用した結果として生じる８
％ａを最小化する反復プロセスを通して得ふれる。

（詳剛な説明） 方程式（２）で与えられるエネルギー関数Ｅは第１図の
回路のＬｙａｐｕｎｏｖ関数であることが知ちれている
。この事は、単に、■、電圧が第１図の回路の動作の方
程式に従うので、Ｅ　（Ｖ（ｔ））が特開の非増加関数
であるようにＶＩ　Ｗ圧が変化するということを意味す
る。Ｅは下側が制限されているので、収束するはずであ
る。

神経電圧ｖ１が時間的に一定となるリミットポイント（
一般にはエネルギー面の極小値）に向かってシステムが
必然的に収束するということもまた知られている。この
事は、Ｌｙａｐｕｎｏｖ関数は最早減少しないが座標が
時間的に変化し続ける（惑星の永久軌道のような）リミ
ットサイクルに向かってシステムが収束する物理学にお
ける他のシステムと対照的である。対称的神経回路括は
リミットサイクルのみを持ち、非対称的回路網ｊ；！　
リミットサイクルを持つことができる。

更に、第１図の回路の動力が、エネルギー関数の安定極
小筐を表わすパターンへ向：すて＼１１電圧を変化させ
ようとすると５）う事も知られて５″ｌるユこのような
特性を持っているので神経回路鋼はコンテント・アドレ
ッサブル・メモリー（Ｃｏｎｔｅｎｔａｄｄｒｅｓｓａ
ｂｉｅ　ｍｅｍｏｒｙ）として適している。実際、第１
図のシステムと方程式（２）のエネルギー関数とは、粘
性流体中でエネルギー関数上を転落するはじき玉と同様
にして協働するということを示すｑとができる。この類
似関係において、方程式（２）はエネルギー関数であり
、神経回路の色々な出力電圧は多次元空間中のはじき玉
の位置を特定するベクトルの成分である。この類似関係
に留意して、エネルギー関数に低地点（これは記憶され
ている点に対応する）がある時には、任意の位置に置か
れたはじき玉は最も急な下降経路をたどって低地点へ転
落して停止するということを認めることができる。

第２図は、２つの極小渣（（Ｔ、Ｔ）に１つと、（Ｆ、
　　Ｆ）に１つ）を持つように構成された３次元エネル
ギー関数を示す。第２図のエネルギー関数には、はじき
玉を点（Ｔ、　Ｔ）に向かわせる区域と、はじき玉を点
（Ｆ、Ｆ）に向かわせる区域とがあるということが直観
的に認められる。これらの低地点は電圧座標のセットで
胡確に示すことができ、各々Ｎ個の成分を持つメモリー
・ベクトルｖ１と見なすことができ、ここでＮはエネル
ギー関数の次元であり、あるいはまた、具体的には、Ｎ
は神経回路網中の増幅器の数である。

畝上は、第１図の回路との関連で、与えられたエネルギ
ー関数は極小値を持つことができるという事実と、それ
らの極小値を用いてコンテント・アドレッサブル・メモ
リーを作ることができるという事実とを目立たせるもの
である。その意味するところは、所望のメモリー状態、
すなわちメモリー・ベクトルの与えられたセットかろ出
発することができ、所望のメモリーに対応する極小（直
のセットを提供するためにコンダクタンス・マトリック
スを展開することができるということである。

実際に、これが事実である。

ＴｉＪマトリックス値を展開する一つの方法は１９４９
年にニューヨークのワイリイ書百から発行されたディー
・オー・ヘッダ（Ｄ、０．　Ｈｅｂｂ　）の「挙動の組
織（ヒ」　（罫ｈｅ、Ｏｒｇａｎｉｚａｔｉｏｎ　ｏｆ
Ｂｅｈａｖｉｏｒ’、　Ｗｉｌｅｙ　、　Ｎｅｗ　Ｙｏ
ｒｋ　、　（１９４９）　）の教示に従うことである。

この方法によると、次の方程式 に従ってＴ１Ｊ項を選ぶことによって、メモリーベクト
ルＶＡＳＶＦ′、Ｖｏ、　、をエネルギー関数に組み込
むことができる。

この規則は、全てのメモリー・ベクトルが既知である時
、Ｔ１４項のセットを作る。この規則には変形態もあ；
八それは、旧回路網新メモリーを教えることが可能であ
るという意味で増分的である。

状ＢＡ及びＢを記憶するマトリックスＴ１．から出発し
て、次の方程式 に従って旧マトリンクスを変形することを通して追加の
記憶内容をマ）　ＩＪフックス教え込むことができる。

この方法は、メモリー・ベクトル間に存在する相関のレ
ベルに敏感なマトリックスを発展させるという点を除け
ば良好である。ベクトルが直交するとき；ま成果は良好
であるが、ベクトルがｔ目間している場合には成果は良
くない。もっと良い規則は であり、ここで である。この規則は、メモリー・ベクトルが相関してい
るときにも良好に働くので、ヘッダの規則より優れてい
る。残念なことに、これは非対称的で非可換である。最
後に与えられた記憶内容は池の記憶内容を踏み荒らす傾
向がある。この規則を改良したものが であり、ここでＦ〈１である。ｒが１より小さいので、
回路網は、教え込まれる毎に、６分的に記憶するに過ぎ
ない。所望の記憶内容のリストを繰り返して呈示すれば
（ランダムな順序で行なうのが好ましい）　、Ｔ、、Ｉ
ｉｉのマトリックスが著しく収束することを示すことが
できる。

適切な補間を行なうだけでなく良好な幾何学的解釈を有
する規則は てあり、ここで分母のＶ−項の間の点はＮ　（ＮはＶ−
ベクトルの次元である）で割った内債を表わす。上記の
ものの一層の改良が から得ちれる。ここで、上記と同様に、ｒ＜１である。

上記の規則により展開されたＴＩ、値は、大体において
、どんな正又は負の値をとることもできる。

以上にＴ″、、によって示された正のコンダクタンス値
は、第１図の適切な増幅器の正出力、すなわち非反転出
力、と他の適切な増幅器の入力との間に接続された適当
な値の抵抗器によって実現される。

以上にＴＴＪで示された負のコンダクタンス値は、第１
図の適切な増幅器の負出力すなわち反転出力と池の適切
な増幅器の入力との開に接続された適当な値の抵抗器に
よって実現される。

コンダクタンス値の限られたセットで神経回路網を構成
し得るということは極めて有利である。

そのセットがたった２つの要素、ｒオン」及び「オフ」
、又は固定コンダクタンス及びゼロ・コンダクタンス、
だけを持つときは一層有利である。

この大きな利益は次の２つの事実、すなわち、（１）単
一の値のコンダクタンスだけを作る必要があるときは、
回路を製造し易いということ、（２）２つの値を持つコ
ンダクタンスを使うときには、増幅器の出力のうちの一
方が不要であるということ、から生じるものである。正
出力すなわち非反転出力を省略して、増幅器を小型化し
くＶＬＳＩ上に占める面積を小さくする）、且つマトリ
ックスに接続されなければならない増幅器のリード線を
少なくするのが最も有利である。マトリックスを４＋％
’４しているリード線はマ）ＩＪソクスの大部分を占め
るものであるから、リード線の数が半分になればマ）　
ＩＪフックス大きさは大体半分になる。

２つの１直のみを持つクリッブド・マトリックスＴ′へ
の元のフルダイナミックレンジ・マトリックスＴ０．の
裁断は、記憶されるべきメモリー・ベクトルの各々を考
慮し、その考慮に基づいてクリンプト・マトリックスを
展開する反復プロセスに従かう。全てのメモリーベクト
ルを記憶させる反復試行の後、クリップドマトリックス
は良好なエネルギー関数を表わす。

クリンプト・マトリックスＴｌ、を展開する手順は次の
通りである。すなわち、各メモリーベクトルｖＡについ
て を計算し、そして、これに基づいて を計算する。方程式顛に代るものは、 この方法は、幾つかのベクトルが固定点でなし）ときに
は良く働く。その場合には、方程式αＱ及びαＤ１又は
αＱ及びαａによって特定される手順を実行すれば、そ
の繰返し毎に、マトリックスは僅かな量ｒだけ変化する
。上記の手順を繰返すと、クリンプト・マトリックスは
平均の、中間の１直に収束する。繰返しによってマトリ
ックスＴ′が変化しなければ、手順を停止し、クリンプ
ト・マトリックスのＴ′ｉｊ値を第３図の回路網に挿入
する。

勿論、クリッピングを、ｒｓｉｇｒＢ関数、すなわち関
数ｙ＝ｓｉｇｎ　（Ｘ）に従って行なう必要：はない。

実際、例えばｙ＝ｓｉｇｎ　（Ｘ　−１）　／２など、
他の多くの関数を用いることができるが、それはまだ階
段関数、あるいは１１１項が予め選択された区間、すな
わち値の範囲内に存在することを許すランプ関数である
。

クリンプト・マトリックスＴ、Ｊを展開する上記の手順
（は、私の発明を実施する２つの手段のみの手順である
。少数の方程式のみを特に記載したけれど、他の方程式
も同様に没に立つとともに私の発明の範囲内にあること
は明らかである。

【図面の簡単な説明】

第１図は神経回路網の標準的構造を示す図、第２図は２
つの極小痕を持つエネルギー関数を示す図、 第３図は本件発明の原理を具現する神経回路網の構造を
示す図である。 主要符号の説明 ２０　、・相互作用マトリックス １０、１１．１２．１３．１４−　・増幅器４１　　入
力に入力電流 出願人　：　アメリカン　テレフォン　アンドテレグラ
フ　カムパニー 、１！、”、・１ 代理人　：　岡　　邪　　正　　夫（二苗岸１図面の浄
８（内容に変更なしン ＦＩＧ、　２ 手続補正書 昭和６２年　５月２１日 特許庁長官　黒　１）明　雄　　殿 ■、事件の表示 昭和６２年特許願第　８９９９９号 ２、発明の名称 信号並行処理ネットワーク ３、特許出願人 ４、代理人 ５、補正の対象 「図　　　　面」 （１）別紙のとおり、正式図面を１通提出します。

Claims (1)

1. 【特許請求の範囲】 １、入力と出力とを有する複数の増幅器（１０）と；前
   記増幅器の各々の前記入力に入力電流（４１）を供給す
   る手段とを備えた神経回路網であって、予め選ばれた第
   １の値又は予め選ばれた第２の値であるコンダクタンス
   （Ｔ＿２＿ｉ）で前記増幅器の各々の前記出力を前記入
   力の各々に接続する相互接続マトリックスを備えたこと
   を特徴とする回路網。 ２、前記の予め選択された値の１つは本質的に０である
   ことを特徴とする特許請求の範囲第１項記載の回路網。 ３、前記増幅器は反転増幅器であることを特徴とする特
   許請求の範囲第１項記載の回路網。 ４、入力と反転出力とを有する複数の増幅器と；前記増
   幅器の各々の入力に入力電流を供給する手段とを備えた
   、複数の極小値を持ったエネルギー関数を最小化するた
   めの神経回路網であって、予め選ばれた第１の値又は予
   め選ばれた第２の値であるコンダクタンスＴ′＿ｉ＿ｊ
   で前記増幅器の各々の非反転出力を各々の前記入力に接
   続する相互接続マトリックスを備えており、前記Ｔ′＿
   ｉ＿ｊはｉ番目の増幅器の出力とｊ番目の増幅器の入力
   との間のコンダクタンスを表わし、前記Ｔ′＿ｉ＿ｊコ
   ンダクタンスは、そこにおいて前記回路網が平衡する前
   記複数の極小値を作るように選ばれたことを特徴とする
   回路網。 ５、前記コンダクタンスは、前記複数の極小値を持った
   エネルギー関数を作る１組の複数レベルＴ′＿ｉ＿ｊ値
   を展開し、選ばれた式 （Ｔ＿ｉ＿ｊ＋ΓＶ＾＋＿ｉＶ＾Ａ＿ｊ）の裁断表現で
   あるＴ′＿ｉ＿ｊ値を反復計算する手続きに従って選ば
   れ、ここでΓは１より小さく、Ｖ＾＋＿ｉは（Ｖ＾Ａ−
   Ｔ″＿ｉ＿ｊＶ＾Ａ＿ｊ）に等しく、Ｔ″＿ｉ＿ｊは先
   の反復からのＴ′＿ｉ＿ｊであり、Ｖ＾Ａ＿ｊは前記極
   小値のうちの１つのｊ番目の成分であり、前記Ｔ′＿ｉ
   ＿ｊの計算を前記極小値の全てについて行なうことを特
   徴とする特許請求の範囲第４項記載の回路網。 ６、前記裁断表現は、前記の選ばれた式の符号を認知す
   ることによって実行されることを特徴とする特許請求の
   範囲第５項記載の回路網。 ７、前記コンダクタンスは、前記複数の極小値を持った
   エネルギー関数を作る１組の複数レベルＴ＿ｉ＿ｊ値を
   展開し、選ばれた式 〔Ｔ＿ｉ＿ｊ＋Γ（Ｖ＾＋＿ｉＶ＾＋＿ｊ）／（Ｖ＾＋
   ・Ｖ＿ｓ＿ｕ＿ｐ＿＋）〕の裁断表現であるＴ′＿ｉ＿
   ｊ値を反復計算する手続きに従って選ばれ、ここでΓは
   １より小さく、Ｖ＾＋＿ｉは（Ｖ＾Ａ−Ｔ″＿ｉ＿ｊＶ
   ＾Ａ＿ｊ）に等しく、Ｔ″＿ｉ＿ｊは先の反復からのＴ
   ′＿ｉ＿ｊであり、Ｖ＾Ａ＿ｊは前記極小値のうちの１
   つのｊ番目の成分であり、前記のＴ′＿ｉ＿ｊの計算を
   前記極小値の全てについて行なうことを特徴とする特許
   請求の範囲第４項記載の回路網。 ８、前記裁断表現は、前記の選ばれた式の符号を認知す
   ることによって実行されることを特徴とする特許請求の
   範囲第７項項記載の回路網。