JPS63268190A - K個のベクトルを記憶するための回路網 - Google Patents

K個のベクトルを記憶するための回路網

Info

Publication number
JPS63268190A
JPS63268190A JP63008587A JP858788A JPS63268190A JP S63268190 A JPS63268190 A JP S63268190A JP 63008587 A JP63008587 A JP 63008587A JP 858788 A JP858788 A JP 858788A JP S63268190 A JPS63268190 A JP S63268190A
Authority
JP
Japan
Prior art keywords
network
output
input
circuitry
lead
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP63008587A
Other languages
English (en)
Other versions
JPH0416878B2 (ja
Inventor
ハンズ ピーター グラーフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AT&T Corp
Original Assignee
American Telephone and Telegraph Co Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by American Telephone and Telegraph Co Inc filed Critical American Telephone and Telegraph Co Inc
Publication of JPS63268190A publication Critical patent/JPS63268190A/ja
Publication of JPH0416878B2 publication Critical patent/JPH0416878B2/ja
Granted legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Logic Circuits (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Package Frames And Binding Bands (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 (発明の背景) [発明の属する技術分野] 本発明は、電子式計算回路網、特に、神経回路網として
も知られる高度並列処理連想計算回路網に関する。
【従来技術の説明〕
電子式神経回路網は、「階級別応答を有する神経は二状
態神経のそれに類似の集合的計算特性を有する」ジェー
、ジエー、ホップフィールド(J。
J、 Hopfleld) 、プロシイ−ディング、ナ
ショナル、サイエンス(Proc、Natl、Sci、
LISA)第81巻、3088−3092ベージ;およ
び「最適化問題における決定の神経的計算」ホップフィ
ールドおよびディー、ダブリュー、タンク(D、 W、
 Tank) 、バイオロジカル サイバネティクス(
Biological  Cybennetles )
第52巻(1985) 、141−152ページ;なら
びにホップフィールドによる1985年1月2日出願の
米国特許出願第693.479号;およびホップフィー
ルドおよびタンクによる1985年11月7日出願の米
国特許出願第795.789号に記載されている。
前記文献に記載のホップフィールド神経回路網は、基本
的には、複数の増幅器を含む高度化並列処理計算回路で
あって、各増幅器は、その出力信号をコンダクタンスT
1jを介してそれ自身とおよ□び他のすべての増幅器と
にフィードバックしている。T 、コンダクタンス(こ
こでTIjは増幅器jJ の出力と増幅器iの入力との間のコンダクタンスを表わ
す)と付帯結線(associated connec
tion )とは、1組の出力信号と2組の入力信号と
を有するフィードバック回路網を含むものと考えること
ができる。出力信号の組は増幅器入力に負荷され、入力
信号の組の一つは増幅器出力から取り出され、また、そ
の他の入力信号の組は入力刺激に応答して神経回路網に
負荷される。従来技術に示すように、異なる範囲の入力
刺激に応答して、増幅器の異なる特定の出力状態に到達
するように、所定の結果を得るためのT、コンダクタン
スの値を別々に指定可能である。また従来技術に記載の
ように、入力刺激とフィードバック回路網の第2の入力
の組との間に入力相互結合回路網を挿入してもよい。
この入力相互結合回路網は、期待入力信号をフィードバ
ック回路網および増幅器を駆動する対応信号に合わせる
操作を可能にする。
従来技術でよく記載されている神経回路網モデルは、対
称結合を有するもので、すなわち神経対の間の結合はT
lj””jlを満足する。このような回路網の動的特性
は比較的簡単である。系は、回路の全体エネルギ関数E
を減少する方向へ移動してEの極小状態に至り、一旦E
の極小状態に到達すると、回路を他の極小状態に移動す
るのに十分大なる入力信号により外乱を受けるまで、回
路はその安定状態にとどまっている。極小状態は、ベク
トルM により特徴づけられる記憶「メモリ」と考えて
よい。連想記憶装置は、結合強度Tljをベクトル積す
なわちヘブ(Hebb)に従って構成することにより、
すなわちj#iに対してはT、=±MγMγ V禦l を割り当て、その他の場合は0を割り当てることにより
、ホップフィールド神経回路網で構成可能である。これ
の簡単な実施例では、i≠jに対しTlj−−1(抑止
結合)およびその他に対し0となり、これにより、nフ
ロップ、として作動する回路網、すなわち通常フリップ
・フロップとして知られる周知の2出力回路網の多重出
力型が得られる。ホップフィールド回路網は、入力がノ
イズによりかなりひずみを受けていても、またはハード
ウェア結合のある部分が作動しなくても記憶メモリを連
想式に呼び出しが可能であるという意味で、きわめて丈
夫な回路網である。
一方、ホップフィールド回路網は記憶情報はまばらに占
有させねばならず、ホップフィールド回路網内の記憶ベ
クトルの数は約0.15 N (ここでNは増幅器の数
)に制限させなければならないということを指示するた
めのある細工が行われてきた。また、ホップフィールド
回路網(一般ケースに対して)におけるT1j値の計算
は容易ではなく、メモリ確保領域間の境界の正確な位置
の制御は容易ではない。
記憶装置を回路網内に簡単かつ効率的にプログラムする
こと゛を可能にする回路網構造を提供することが本発明
の目的である。
集積回路技術内で容易に実行可能な構成を提倶すること
が本発明の他の目的である。
(発明の概要) これらの目的および利点は、各々N個のビットを有する
に個のベクトルを記憶可能な新たな連想式計算回路網で
実現可能である。これは、決定回路網(たとえばにフロ
ップ回路網)と、および機能的には、直列に接続された
2つの回路網に分割可能なフィードバック構成とを含む
。第1の回路網は、その入力が決定回路網の出力に結合
され、K組の励起および抑止駆動信号を発生するように
構成される。各組は記憶ベクトルに対応し、さらにとく
には、記憶ベクトル内の各「1」は励起駆動信号を与え
、一方各「0」は抑止駆動信号を与える。決定回路網の
各々異なる出力状態に対しては、第1の回路網の出力に
に組の異なる状態が現れる。本発明の連想式計算神経回
路網への入力インターフェース・リードとしても利用可
能な第1の回路網の出力リードは、第2の回路網に結合
される。第2の回路網は、決定回路網の入力に負荷可能
なに個の出力信号を発生する。第2の回路網の出力信号
は、第2の回路網の記憶ベクトル上に負荷される入力信
号の投影に比例する。1実施例においては、投影は、負
荷入力が励起状態でありかつ記憶ベクトル内の対応成分
が「1」であるときに励起状態となり、そうでないとき
は非励起状態となる第2の回路網内の接続で得られる。
これは、記憶ベクトルを有する第2の回路網への入力信
号のAND (論理積)関数に対応する。他の実施例で
は、投影は、記憶ベクトルを有する第2の回路網への入
力信号の排他的NOR(否定論理和)関数で得られる。
さらに他の実施例では、第1の回路網の出力と第2の回
路網の入力との間に挿入された増幅器の他の組が含まれ
る。相関器の応用についてもまた記載されている。
(実施例の説明) 第1図は本発明の原理を反映した1実施例の概略図であ
る。これは、ベクトル単位の増幅器回路網IOと、型板
投影回路網20と、(この2つがインターフェースリー
ドと共に相互結合回路網を構成する)と、決定回路網3
0と、および型板発生器回路網40とを含み、これらは
すべて1つのフィードバック・ループ内で相互に結合さ
れる。第1図をよく注意してみると、前記の種々の分割
単位間の境界線はきわめて大きく任意の形をなしている
が、回路の機能説明が容易となるように境界線を選定す
るのが便利である、実際以下に示すように、本発明をよ
り小型に形成するように、分割ユニットのあるものをま
とめてもよい。
第1図におけるベクトル単位の増幅器回路網■0はゲー
トウェイとして働き、入力はライン12を介してゲート
ウェイに投入され、出力はゲートウェイからライン15
を介して取り出される。さらにとくには、増幅器回路網
10はN個の増幅器11を含むが、ここでNは各出力ベ
クトルが有することが望ましいビット数である。入力信
号は増幅器11の入力側に供給され、また第1図の増幅
器回路網10の出力信号は増幅器11の出力信号から得
られる。増幅器11の出力はさらに型板投影回路網20
に供給される。型板投影回路網20はN個の入力リード
とに個の出力リードとを含むが、ここでKは、第1図回
路網の記憶された「メモリ」すなわち安定状態の数であ
る。これらの安定状態は一組の望ましい出力ベクトル(
各々はNビット長さ)を形成する。
型板投影回路網20の入力および出力リードは格子を形
成し、格子結合点は相互結合ノード(節)を含む。ノー
ドは便宜上Cijで表わされ、ここでiは型板投影回路
網20の出力リードを示し、jは型板投影回路網20の
入力リードを示す。この構成において、型板投影回路網
20のi番目の出力ラインは責、AjC,に関係した信
号を有して次の回路網(回路網30)を駆動する。ここ
でA、は5番目の増幅器の出力電圧である。
本発明の原理によれば、型板投影回路網20のに個の出
力の各々に対する相互結合ノードの集合は、記憶ベクト
ルに関係する。すなわち、各記憶ベクトルM伊は、ビッ
トMn” t2’…MijS…MINで定義され、ある
意味ではC1□、C1゜、・・・Cij。
・・・01Nで実現される。各CijとMijとの間の
対応(すなわちMij情報を結合部に負荷する方法)は
、以下にさらに詳細に説明されるように、選択される計
量基準に関係する。しかしながら基本的には、Cij結
合部は、入力信号が期待出力ベクトルをいかに近似して
反映するかの尺度を発生する。
さらに一般的に言えば、型板投影回路網20の出力信号
が、それにより記憶ベクトル上の入力信号の投影が確認
されるような尺度を発生する限り、Cijの構成はいか
なるものでもよい。これは、代表例では、Cij結合は
、増幅器回路網10が記憶ベクトルの1つに対応する状
態にあるときに型板投影回路網20は型板投影回路網2
0の出力ラインの1つのみが決定回路網30に最大駆動
を提供するような出力信号を発生するようなものである
ことを意味する。Cij結合の例として、記憶ベクトル
が他の記憶ベクトルを包含しないようなものであるとき
、C0,結合は、記憶ベクトルの5番目ビットがJ 「1」のとき励起状態であり、記憶ベクトルの5番目ビ
ットが「0」であるときに非励起状態であるように選択
される。(励起結合は次に続く増幅器をrオン」するも
のであり、非励起結合は次に続く増幅器に影響をおよぼ
さないものであり、また抑止結合は次に続く増幅器を「
オフ」にするものである。ときには非励起結合と抑止結
合との間の定義には実質的な差異がないことがある。)
したがって、お互いに包含し合わない一組の記憶ベクト
ルの場合は、結合Cijは、 C,、−AND (Vj、Mij) J に対応し、\ここでANDは論理積関数を表わし、■、
は3番目の増幅器11が「オン」のときに論理値「1」
をとりそうでないとき「0」をとる。
記憶ベクトルに関する前記の制限が許容できない応用例
においては、結合の性質はたとえば、弐〇  −EXN
OR(Vj、Mij) j に従うように選択可能であり、ここでEXNORは排他
的否定論理和関数である。他の尺度ももちろん可能であ
る。
前記の2つの尺度は、代数積(TljUj)−ここでT
ij値は定乗数である−が用いられる従来技術による神
経回路網フィードバック・ループで用いられているもの
と異なることにおそらく気がつくはずである。一方前記
の計量基準は論理関係を利用している。しかしながら、
本発明は論理関係に限定されるものとみなされるもので
はない。逆に前記の例は、本発明における結合は、記憶
ベクトルに関し代数関数、論理関数または他の有用な関
数を使用可能であることを意図する。
前記のように、型板投影回路網20の出力リードは決定
回路網30に結合される。決定回路網30の機能は、型
板投影回路網20により発生された投影信号に応答して
、それから杉板発生器回路網40に対する駆動信号を発
生し、この駆動信号は、増幅器回路網10を、型板投影
回路網20に現れた入力信号に最も近いところの杉板発
生器回路網40内の一つの記憶ベクトルに対応する状態
におくであろう。
多くの応用例において、決定回路網30の機能は、最大
駆動関数を有する型板投影回路網20の出力ラインを選
択して、決定回路網3Gの対応出力ラインを「オン」に
し、一方決足回路網30の他のすべての出力ラインを「
オフ」にする。すなわち、このような実施例においては
、決定回路網30への入力は、1個の信号(たとえばp
番目)が最大であるようなに個1組の信号である。決定
回路網30の出力はまた、1個の出力信号(たとえばE
 )が高くすなわち「オン」でその他すべての信号は「
オフ」であるようなに個1組の信号E t 、E 2 
、・・・EK、でもある。この相互抑止型の決定回路網
30は、K個の増幅器31とフィードバック回路網32
とからなる単一のにフロップホップフィールド回路網(
前記)を有する第1図の回路網内で達成され、ここでフ
ィードバック回路網32内のTlj結合係数は、i≠j
のとき、T、、−−1で、そうでないとJ きに0である関係に従う。Kフロップの異なる実施例を
第2図に示し、以下に説明する。
決定回路網30に対するにフロップ実施例は最も簡単で
あるが、これが唯一ではない。たとえば、決定回路網3
0への入力における「最大」投影信号は、決定回路網3
0の一個以上の出力ラインを「オン」にするように設計
することが可能であり、または決定回路網30の出力に
おいて異なるアナログ信号を誘導するように設計するこ
とも可能である。
再び第1図に注目すると、決定回路網30の出力信号は
型板発生器回路網40に接続される。構造的に型板投影
回路網20に類似の型板発生器回路網40は、内部で格
子を形成するに個の入力リードおよびN個の出力リード
を有する。格子の結合点は便宜上C−,で表わされる結
合ノードを含み、ここで1は型板発生器回路網40の1
番目の入力リードを示し、jは型板発生器回路網40の
j番目の出力リードを示す。型板発生器回路網40は型
板発生器回路網であるので、決定回路網30かにフロッ
プである応用例においては結合関係はC″lj=Mij
であり、ここでC′ij−1は励起結合に対応し、C′
ij−Oは抑止結合に対応する。型板発生器回路網40
の出力リードはベクトル単位の増幅器回路網100入力
に接続され、このように型板発生器回路網40は、増幅
器回路網lOを記憶ベクトルの1つに対応する状態に維
持するように働く。
以上では型板発生器回路網40 (C= 、)に対する
特定の相互結合方法を説明したけれども、型板発生器回
路網40への入力ラインが増幅器回路網10を記憶ベク
トルに対応する状態に置くようにする一組の駆動信号を
出力させる限り、いかなる駆動方法でもよいことに注目
すべきである。型板発生器回路網40へのにフロップ入
力により、記憶ベクトルとC′0.結合との間にきわめ
て簡単な対応がJ 得られることは当然である。
第1図の回路網を異なる状態に移動させるために、決定
回路網30は決定回路網30内のすべての増幅器31を
「オフ」にする制御リード33を含む。制御リード33
が作動すると増幅器31は出力電圧を発生せず、この状
態はフィードバック回路網32の抑止作動と(増幅器回
路網lOの増幅器11を駆動する)型板発生器回路網4
0の駆動作用とを不能化する。
次に、各増幅器11に適切な電圧を負荷するのに入力ラ
イン12が使用され、これにより増幅器回路網10を異
なる状態に置く。型板投影回路網20の前記の作動によ
り、増幅器回路網10の新しい状態は型板投影回路網2
0の出力ライン上に一組の型板投影を発生する。そのC
ij結合が増幅器回路網10の新たに形成された状態に
最も近く (選択された計量基準による)、記憶ベクト
ルに対応するような型板投影回路網20の出力ラインは
、この場合、決定回路網30内に最大電流を投入するも
のである。制御リード33を非作動にすると、最大投入
電流を有する入力ラインはその対応増幅器を「オン」に
する最初のラインであり、この増幅器は決定回路網30
のにフロップに従ってフィードバック回路網32を介し
てその他のすべての増幅器を抑止する。
「オン」にされた決定回路網30の出力ラインは型板発
生器回路網40を介して、増幅器回路網10内の種々の
増幅器に励起信号および抑止信号を適切に負荷させ、こ
れにより、回路網を、負荷された入力により増幅器回路
網10が最初に置かれた状態に最も近くにマツチする(
型板投影回路網20に対して、選択された計量基準によ
る最大投影値を有する)ベクトルに対応する静止状態に
置く。
第2図はにフロップ決定決定回路網30の効率的な実施
例を示す。第2図において、増幅器であるゲート31は
3個の入力ANDゲートの形式で実行され、ここで各A
NDゲート31の出力は、ANDゲート入力の一つと接
地との間に結合される直列結合の2個の相補MOSスイ
ッチ34.35に結合される。すべてのANDゲート3
1の第2の入力は制御リードライン33に結合され、A
NDゲート31の第2の入力は制御リードライン33に
結合され、ANDゲート31の残りの入力は決定回路網
30への入力を形成する。第2図のスイッチ34.35
は、pチャンネル・スイッチ34とnチャンネル・スイ
ッチ35とである。
ANDゲートの入力側に結合されたスイッチ34は、そ
の制御電圧が高いときに開き、その制御電圧が低いとき
に閉じる。逆にスイッチ35は、その制御電圧が高いと
きに閉じ、その制御電圧が低いときに開く。相補スイッ
チの結合点はすべて、抑止ライン3Bと抵抗器とを介し
て、電源VDDに結合される。運転時に、制御リードラ
イン33上の電圧が低いときはゲート31は動かない。
したがって、スイッチ34は閉じてスイッチ35は開き
、ライン36は電圧が高い。制御リードライン33の電
圧が高くなると直ちに、ゲー[1は決定回路網30に負
荷される駆動信号の影響を受けて「オン」になり始める
。最大駆動信号を有するゲートが最初に「オン」になり
、それに接続されたスイッチの状態を反転する。その付
属のスイッチ35はライン3Bを低状態に駆動し、閉じ
ているスイッチ34を介して、ライン36上の低レベル
はすべてのゲート31をオフにするが、最初に「オンJ
になったゲートは除く (その付属のスイッチ34は「
オン」にされたゲート31により開かれたからである。
) 型板投影回路網20および型板発生器回路網40のC6
,およびC′ij結合は、型板投影回路網20およlコ び型板発生器回路網40内のCijおよび”lj結合J を実現する回路内の記憶ベクトルのMijビットを物理
的に付加することにより実行可能である。しかしながら
、Mijビットがアクセス可能記憶セル内と同様に変更
可能な方法で型板投影回路網20および型板発生器回路
網40内に記憶可能であるとき、それはより融通性のき
く回路を作成する。
第3図は記憶セルを使用した型板投影回路網20のCi
j結合の一実施例の展開図を示す。ライン15は型板投
影回路網20の入力ラインであり、ライン21は型板投
影回路網20の出力ラインである。22のブロックはM
ijの値を保有するたとえばフリップ−フロップのよう
なセルである。前記のEXNOR(排他的否定論理和)
を得るために、形成されなければならない所要論理関数
は Vj −Mij+Vj −Mijである・この論理関数
は、第3図のように、トランジスタ23.24.25お
よび2Bを配置して実現可能である。
トランジスタ24はライン15上の真の値で「オン」さ
れ、一方トラ゛ンジスタ23はセル22の出力における
真の値により「オン」にされる。トランジスタ23およ
び24は直列に結合され。電源VDD(これに抵抗器2
7が結合される。)とライン21との間に挿入される。
トランジスタ23および24の直列結合と並列にトラン
ジスタ25および26が直列に結合される。トランジス
タ25および26は、セル22の出力とライン15との
それぞれにおける偽の値により「オン」される。′ 第4図は型板発生器回路網40のC′ij結合の一実施
例の展開図を示す。ライン12は型板発生器回路網40
の出力ラインであり、ライン41は型板発生器回路網4
0の入力ラインである。第4図に示すように、ブロック
22はMijの値を保有するセルであり、その値はライ
ン41の制御の下にトランジスタ・スイッチ43を介し
てライン12に伝達される。前記の実施例においてCi
jおよびC′ijはともセル22により制御されること
がわかれば、型板投影回路網20と型板発生器回路網4
0とを組合わせることによりVLSI実施の利点が得ら
れることは明らかである。第5図は、あるセル22が必
要な電流を容易に制御可能なように、型板投影回路網2
0および型板発生器回路網40の入力ラインおよび出力
ラインをインターリ−ピングさせるための1つの方法を
示す。増幅器11の入力および出力ラインは第5図にお
いて列を構成し、増幅器31の入力および出力ラインは
第5図において行を構成する。出力列ラインと入力行ラ
インとが交叉するノードはCij結合を含み、出力行ラ
インと入力列ラインとが交叉するノードはC′ij結合
を含む。わかりやすくするために第5図は第5図の部分
引伸ばし部分を含み、部分引伸し部はCおよびC′の両
方の結合部を含んで、単一のMijセル22が両方の結
合部を制御する様子を示す。
第5図内にはセル22との結合は示されていないが、第
5図の構成内でMjjビットを貯蔵する種々のセルは直
列シフト・レジスタ状の相互結合が可能で、これにより
、記憶されたベクトルのMij値を希望どおりに1から
Nまたは、Kボートからストアするか;または通常のR
AMとしてアドレスされるように配置される。
第1図の配置はベクトル単位の増幅器回路網1゜を含み
、この増幅器回路網10は再生と、および図示のへカポ
ートと出力ボートとの間のある程度の分離とを与える。
しかしながら、ある応用例においては、増幅器llなし
で行なうほうが好ましいかもしれない。これは、C′1
jにより供給される電流駆動を、型板投影回路網20に
直接負荷される対応の電圧駆動(低圧電源インピーダン
ス)で置換えることにより達成可能である。これは第5
図における各列対を押潰したものに等価であり、その結
果第6図が得られる。したがって第6図は、Kフロップ
の神経の決定回路網30と相互結合回路網50とを含み
、この相互結合回路網50は決定回路網30に信号を負
荷するに個のリードの一つの出力ポートと、決定回路網
30から信号を受け取るに個のリードの一つの入力ポー
トと、および第6図の回路網へのインターフェースとし
て働くN個のリードの入力/出力ポートと、を有する。
第1図に示すように、Kは記憶ベクトルの数であり、N
はベクトル当りのビット数である。前記に従って、決定
回路網30の各出力E、は、 結合関数; EXNOR(AND (El、Mij)、Mj)を介し
て、j番目の増幅器31に電流駆動を供給する。論理相
互結合配置の一つの実施例を第6図の引伸し部分内に示
す。
第7図は本発明の神経回路網の興味ある応用例を示す。
入力信号上の相互相関計算(または自己相関計算)を実
行することが好ましい場合がしばしばある。相互相関計
算は、たとえば、ベクトルM(Nビットを含む)を発生
するために入力信号の相互関数が評価されるべき相手の
信号をサンプリングして、ベクトルMをベクトルの一つ
として型板投影回路網20および型板発生器回路網40
内に記憶することにより実行可能である。次にMの移動
複製が型板投影回路網20および型板発生器回路網40
の他のベクトルとして記憶される。この配置は第7図に
示され、ここでレジスタ60には基準信号(ベクトル)
Mがロードされ、Mの異なる成分はMの遅延複製の前記
の記憶を行なうために互い違いに第7図の種々のセル2
2にロードされる。これは第7図の斜め貫通線5、52
および53で示される。運転時に、第7図の回路網の入
力/出力ポートに入力信号が加えられると、その直後に
負荷された信号に最も近い入力/出力ポートに出力ベク
トルを供給する。決定回路網30の入力および出力ポー
トは、相関器応用において異なる、またおそらくはさら
(ご有効な指示を与えるであろう。決定回路網30の出
力ポートは、一つの成分が高くすなわち「1」であり、
他の成分はすべて低いようなベクトルを供給する。高い
成分は、入力信号に対し最も良い相関を有するMの特定
の遅延複製を明確にする。決定回路網30への入力ボー
トは実際の相関値を与える。
ここでは多数の実施例が開示されているけれども、本発
明に関係を有する当業者であれば、本発明の精神と範囲
とから逸脱することなく、さらに他の実施例および応用
例を着想可能であるほことは疑いない。たとえば、前記
説明は、増幅器11および31により発生された電圧は
ある変更可能なアナログ値であってよいということをと
くに述べてはいないが、このような具体例は本発明の範
囲内であることは明らかである。
さらに他の例では、(第1図における)型板投影回路網
20の出力以外の出力を用いる概念が拡張可能である。
たとえば、決定回路網30の出力信号は、型板投影回路
網20の出力と同様に選択記憶装置を示すものであり、
また回路40の駆動信号である。決定回路網30かにフ
ロップであれば、決定回路網30の出力はきわめて簡単
であり、(p番目の出力リード内の「1」は、p番目の
ベクトルが選択されたことを意味する)、その出力は、
符号化形式または非符号化形式で、回路網の出力として
使用可能である。したがって、第1図の回路網の出力は
、第8図に示すように、決定回路網30の出力を符号器
70で符号化し、符号化された出力をシフト・レジスタ
80にロードし、および第8図の回路網の出力信号をレ
ジスタ80の直列出力から引き出すことにより取り出し
可能である、これは当然に、第8図の回路網とインター
フェースを形成するのに必要なリードの数を減少する。
Kフロップ以外の決定回路網30はおそらく、符号器7
0がなくてもすむであろう。
第8図の出力信号として、増幅器回路網IOへの駆動信
号とそれに追加して補助の型板発生器回路網41からの
いくつかの出力リードとを使用する型板発生器回路網4
0が第8図にはさらに示されている。これにより第8図
の回路網は、その入力に最も近い複製を出力する単なる
連想記憶装置以上の作動が可能となる。型板発生器回路
網41からの迫加出力は、各ベクトルに対し記憶が望ま
しいいかなる追加情報も提供可能である。型板発生器回
路網41は決定回路網30の出力信号により駆動される
尚、ワードプロセッサの都合上、下つきが省略されて(
例えばCijはCijと)表示しているとこもあるが、
これらは当業者には容易に理解されるであろう。
【図面の簡単な説明】
第1図は連想計算回路網の路線図、 第2図は第1図の決定回路網の効率的な実施例を示す図
、 第3図および第4図は第1図の回路網のCijおよびC
′ij結合を具体化した一つの実施例をしめす図、 第5図は型板投影回路網20お、よび40をインターリ
ーブ(重ね合せ)する第1図の物理的配置構造図で、こ
れにより両方の回路網を制御するために、記憶ベクトル
の組内の各ビットに対し単一の記憶セルの使用が可能に
なる構造図; 第6図は本発明の連想計算回路網の他の路線図;第7図
は本発明の連想計算回路網の相関器応用例;をしめす図
および 第8図は他の応用例に使用可能な第1図の回路網の種々
の記憶装置および出力ボートを示す図である。 lO・・・増幅器回路網 11・・・N個の増幅器 12・・・相互結合回路網入力リード 15・・・相互結合回路網出力リード、20・・・型板
投影回路網、 30・・・決定回路網、 3I・・・K個の増幅器(ANDゲート)32・・・フ
ィードバック回路網、 38・・・制御手段、 40・・・型板発生器回路網、 41・・・追加出力リード用型板発生器回路網、50・
・・相互結合回路網 70・・・符号化手段 80・・・シフト・レジスタ手段 FIG、 2 FIO14 FIG、  6 手続補正書彷幻 昭和63年5月16日

Claims (27)

    【特許請求の範囲】
  1. (1)決定回路網の出力ポートに、前記決定回路網の入
    力ポートに現われる入力信号へのベクトルの影響の確認
    を表示する信号を発生するための決定回路網;および 前記出力ポートに結合された入力リードと、前記入力ポ
    ートに結合された出力リードと、およびインターフェー
    ス・リードとを有する相互結合回路網であって、前記回
    路網インタフェース・リードの各々iは、結合C_i_
    jを介して前記相互結合回路網の出力リードの各々jに
    、また結合C′_i_jを介して前記相互結合回路網の
    入力リードの各々jに結合され、かつC_i_jおよび
    C′_i_jは、信号を前記出力リード上に影響させて
    、K個のベクトルに関係するものであるところの相互結
    合回路網;とからなることを特徴とするK個のベクトル
    を記憶するための回路網。
  2. (2)前記C_i_j結合は、前記決定回路網の前記入
    力ポートに、前記インターフェース・リードの信号の前
    記K個のベクトル上への投影に関係する前記信号を発生
    することを特徴とする特許請求の範囲第1項記載の回路
    網。
  3. (3)jの選択値に対する前記C_i_j結合の各組は
    、前記相互結合回路網のj番目の出力リードに、前記イ
    ンターフェース・リード上の信号の前記K個のベクトル
    の一つの上への投影に関係する前記信号を発生すること
    を特徴とする特許請求の範囲第1項記載の回路網。
  4. (4)前記C′_i_j結合は、前記相互結合回路網を
    、前記回路網インターフェース上の信号が前記K個のベ
    クトルの一つに対応するような状態へ駆動するための信
    号を発生することを特徴とする特許請求の範囲第1項記
    載の回路網。
  5. (5)前記決定回路網はKフロップの回路網であり、与
    えられた添字jに対する前記C′_i_jの各組は前記
    K個のベクトルの一つに関係することを特徴とする特許
    請求の範囲第1項記載のの回路網。
  6. (6)前記C_i_j結合の各組は、前記にフロップ回
    路網の前記入力ポートに前記インターフェース・リード
    上の信号の前記K個のベクトル上への投影に関係する前
    記信号を発生することを特徴とする特許請求の範囲第5
    項記載の回路網。
  7. (7)前記K個のベクトルの各ベクトルM_jはビット
    M_i_jからなり、前記C′_i_jの各々は、M_
    i_j=1のときに励起結合を、またM_i_j=0の
    ときに抑止結合を形成することを特徴とする特許請求の
    範囲第5項記載の回路網。
  8. (8)前記K個のベクトルの各ベクトルM_jはビット
    M_i_jからなり、C_i_j=AND(V_j、M
    _i_j)、(ここでV_jは前記インターフェース・
    リードのj番目のリード上の信号)であることを特徴と
    する特許請求の範囲第5項記載の回路網。
  9. (9)前記K個のベクトルの各ベクトルM_jはビット
    M_i_jからなり、 C_i_j=EXNOR(V_j、M_i_j)(ここ
    でV_jは前記インターフェース・リードのj番目上の
    信号)であることを特徴とする特許請求の範囲第5項記
    載の回路網。
  10. (10)前記K個のベクトルの各ベクトルM_jはビッ
    トM_i_jからなり、C′_i_j=AND(E_j
    、M_i_j)(ここでE_jは前記Kフロップのj番
    目の出力)であることを特徴とする特許請求の範囲第5
    項記載の回路網。
  11. (11)出力ポートに最大信号を有する入力ポートを表
    示する出力信号を発生するための入力ポートと出力ポー
    トを有する決定回路網;および 前記出力ポートに結合された入力リードと、前記入力ポ
    ートに結合された出力リードと、および回路網インター
    フェース・リードとを有する相互結合回路網であって、
    前記回路網インターフェース・リードの各々iは、結合
    C_i_jを介して前記相互結合回路網の出力リードの
    各々jに、また結合C′_i_jを介して前記相互結合
    回路網の入力リードの各々jに結合され、かつ前記C_
    i_jおよびC′_i_j結合は前記K個のベクトルに
    関係するものであるところの相互結合回路網; とからなることを特徴とするK個のベクトルを記憶する
    ための回路網。
  12. (12)出力ポートに最大信号を有する入力ポートを表
    示する出力信号を発生するためのK個の入力ポートとK
    個の出力ポートとを有する決定回路網と;および 前記K個の出力ポートに結合されたK個の入力リードと
    、前記K個の入力ポートに結合されたK個の出力リード
    と、N個の回路網入力リードと、およびN個のベクトル
    出力リードとを有する相互結合回路網であって、前記ベ
    クトル出力リードの各々iは、結合C_i_jを介して
    前記相互回路網の各出力リードjに結合され、各対応の
    回路網入力リードiは結合C′_i_jを介して前記相
    互結合回路網の各入力リードjに結合され、かつ前記C
    _i_jおよびC′_i_jは前記K個のベクトルに関
    係するものであるところの相互結合回路網と; からなることを特徴とする、各ベクトルM_iはビット
    M_i_jを含むところのK個のベクトルを記憶するた
    めの回路網。
  13. (13)前記決定回路網はKフロップ回路網であり、前
    記C_i_jおよびC′_i_j結合の各々は前記M_
    i_jに関係することを特徴とする特許請求の範囲第1
    2項記載の回路網。
  14. (14)前記相互結合回路網入力リードと前記相互結合
    回路網ベクトル出力リードとの間に挿入された増幅器を
    さらに含むことを特徴とする特許請求の範囲第13項記
    載の回路網。
  15. (15)各々、前記回路網入力リードの一つに結合され
    た入力リードと、前記相互結合回路網ベクトル出力リー
    ドの一つに結合された出力リードとを有するN個の増幅
    器をさらに含むことを特徴とする特許請求の範囲第13
    項記載の回路網。
  16. (16)負荷入力信号を受け入れるためのN個の入力リ
    ードを含む入力ポートと; N個の入力リードに応答してN個の出力信号を発生する
    ための増幅器回路網と; 前記N個の出力信号に応答して、各々前記N個の出力信
    号の前記K個の異なるベクトルへの投影を示すK個の投
    影信号を発生するための型板投影回路網と; K個の投影信号に応答して、前記K個の投影信号の最大
    のものを表示するK個の駆動信号を発生するための決定
    回路網と;および 前記K個の駆動信号に応答して、前記N個の入力リード
    に負荷されるN個の型板発生信号を発生し、前記N個の
    出力信号を前記K個のベクトルの一つに対応する状態へ
    駆動するための型板発生器回路網と; からなることを特徴とする各々Nビットで表わされるK
    個のベクトルを記憶するための回路網。
  17. (17)入力ポートと出力ポートとを有するK個の増幅
    器と; 前記増幅器の前記入力ポートに結合されたK個の出力リ
    ードと、前記増幅器の前記出力ポートに結合されたK個
    の入力リードとを有するフィードバック回路網であって
    、前記フィードバック回路網の各入力リードiは前記フ
    ィードバック回路網の各入力リードiは、前記フィード
    バック回路網内において、すべてのi≠jに対し第1の
    固定値を有する抑止結合を介して前記フィードバック回
    路網の各出力リードjに結合されるところのフィードバ
    ック回路網と;および 前記増幅器の前記出力ポートに結合されたK個の入力リ
    ードと、前記増幅器の前記入力ポートに結合されたK個
    の出力リードと、およびN個のインターフェース・リー
    ドとを有する相互結合回路網であって、各インタへフェ
    ース・リードiは、結合C_i_jを介して前記相互結
    合回路網の各出力リードjに、また結合C′_i_jを
    介して前記相互結合回路網の各入力リードjに接続され
    。かつ、前記C_i_jおよびC′_i_j結合は前記
    M_i_jに関係するものであるところの相互結合回路
    網と; からなることを特徴とする、1からKの値をとるjを有
    する各ベクトルM_jは1からNまでの値をとるビット
    M_i_jを含むところのN個のビットからなるK個の
    ベクトルを記憶するための回路網。
  18. (18)前記K個の増幅器を不能化するための制御手段
    をさらに含むことを特徴とする特許請求の範囲第17項
    記載の回路網。
  19. (19)前記決定回路網に結合され、前記出力ポートに
    おける出力信号のすべてを不能化するための制御手段を
    さらに含むことを特徴とする特許請求の範囲第1項記載
    の回路網。
  20. (20)前記決定回路網の前記出力ポートに現われる信
    号に応答して出力信号を発生することを特徴とする特許
    請求の範囲第1項記載の回路網。
  21. (21)回路網出力ポートと、および前記回路網出力ポ
    ートと前記決定回路網の前記出力ポートとの間に挿入さ
    れたシフト・レジスタ手段と、をさらに含むことを特徴
    とする特許請求の範囲第1項記載の回路網。
  22. (22)前記シフト・レジスタ手段と前記決定回路網の
    前記出力ポートとの間に挿入された符号化手段をさらに
    含むことを特徴とする特許請求の範囲第21項記載の回
    路網。
  23. (23)回路網出力ポートと、および前記回路網出力ポ
    ートと前記決定回路網の前記出力ポートとの間に挿入さ
    れた符号化手段をさらに含むことを特徴とする特許請求
    の範囲第1項記載の回路網。
  24. (24)前記N個の相互結合回路網ベクトル出力リード
    上の信号に応答する回路網出力ポートをさらに含むこと
    を特徴とする特許請求の範囲第12項記載の回路網。
  25. (25)回路網出力ポートと、および前記回路網出力ポ
    ートに接続されかつ前記相互回路網ベクトル出力リード
    に応答するシフトレジスタ手段と、をさらに有すること
    を特徴とする特許請求の範囲第12項記載の回路網。
  26. (26)前記相互結合回路網インターフェース・リード
    に結合された回路網出力リードをさらに含むことを特徴
    とする特許請求の範囲第1項記載の回路網。
  27. (27)前記決定回路網の前記K個の出力ポートに応答
    して、前記回路網の追加出力リード用の信号を発生する
    ための補助回路網をさらに含むことを特徴とする特許請
    求の範囲第26項記載の回路網。
JP63008587A 1987-01-20 1988-01-20 K個のベクトルを記憶するための回路網 Granted JPS63268190A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US524887A 1987-01-20 1987-01-20
US005248 1987-01-20

Publications (2)

Publication Number Publication Date
JPS63268190A true JPS63268190A (ja) 1988-11-04
JPH0416878B2 JPH0416878B2 (ja) 1992-03-25

Family

ID=21714934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP63008587A Granted JPS63268190A (ja) 1987-01-20 1988-01-20 K個のベクトルを記憶するための回路網

Country Status (4)

Country Link
EP (1) EP0276068B1 (ja)
JP (1) JPS63268190A (ja)
CA (1) CA1301924C (ja)
DE (1) DE3853488T2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY138544A (en) 2003-06-26 2009-06-30 Neuramatix Sdn Bhd Neural networks with learning and expression capability

Also Published As

Publication number Publication date
JPH0416878B2 (ja) 1992-03-25
EP0276068B1 (en) 1995-04-05
CA1301924C (en) 1992-05-26
DE3853488T2 (de) 1995-11-09
EP0276068A3 (en) 1990-05-30
DE3853488D1 (de) 1995-05-11
EP0276068A2 (en) 1988-07-27

Similar Documents

Publication Publication Date Title
US8275728B2 (en) Neuromorphic computer
Shima et al. Neuro chips with on-chip back-propagation and/or Hebbian learning
Ramakrishnan et al. Vector-matrix multiply and winner-take-all as an analog classifier
US5274746A (en) Coupling element for semiconductor neural network device
CN106663459A (zh) 使用感测电路执行逻辑操作
Coue et al. A four-quadrant subthreshold mode multiplier for analog neural-network applications
Luo et al. MTL: Memristor ternary logic design
Wang et al. A new MRAM-based process in-memory accelerator for efficient neural network training with floating point precision
Lee et al. Learning distributed representations of conceptual knowledge and their application to script-based story processing
US4901271A (en) Computational network
CN112270409B (zh) 一种基于霍尔条的无监督学习突触单元电路
JPS63268190A (ja) K個のベクトルを記憶するための回路網
Mann et al. A self-organizing neural net chip
Ghosh et al. OTA-based neural network architectures with on-chip tuning of synapses
Calayir et al. All-magnetic analog associative memory
CN115062583B (zh) 一种求解优化问题的hopfield网络硬件电路及操作方法
Beiu Ultra-fast noise immune CMOS threshold logic gates
Myers et al. HANNIBAL: A VLSI building block for neural networks with on-chip backpropagation learning
CN117636945B (zh) 5bit带符号位的同或与同或累加运算电路、CIM电路
Cao et al. Algorithm and implementation of a learning multiple-valued logic network
Beiu On higher order noise immune perceptrons
Alhalabi et al. Hybrid Chip Set for Artificial Neural Network Systems
Alhalabi et al. A slice of a brain: A hybrid neural chip set
JPH04336658A (ja) 信号処理装置
PARK et al. Analog CMOS implementation of quantized interconnection neural networks for memorizing limit cycles