JPH0634248B2 - 半導体神経回路網 - Google Patents

半導体神経回路網

Info

Publication number
JPH0634248B2
JPH0634248B2 JP2113055A JP11305590A JPH0634248B2 JP H0634248 B2 JPH0634248 B2 JP H0634248B2 JP 2113055 A JP2113055 A JP 2113055A JP 11305590 A JP11305590 A JP 11305590A JP H0634248 B2 JPH0634248 B2 JP H0634248B2
Authority
JP
Japan
Prior art keywords
coupling
input
data
signal
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2113055A
Other languages
English (en)
Other versions
JPH03223982A (ja
Inventor
耕一郎 益子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2113055A priority Critical patent/JPH0634248B2/ja
Priority to US07/605,717 priority patent/US5202956A/en
Publication of JPH03223982A publication Critical patent/JPH03223982A/ja
Priority to US08/005,454 priority patent/US5396581A/en
Publication of JPH0634248B2 publication Critical patent/JPH0634248B2/ja
Priority to US08/292,624 priority patent/US5475794A/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Logic Circuits (AREA)

Description

【発明の詳細な説明】 [産業上の利用分野] この発明は半導体神経回路網に関し、特に、簡易な構成
で結合マトリクスの各結合素子の有する結合度を実質的
に多値表現することのできる結合マトリクスの構成に関
する。
[従来の技術] 近年、人間の神経細胞(ニューロン)をモデルとした回
路が各種考案されている。このようなニューロンモデル
の1つにホップフィールドモデルと呼ばれるものがあ
る。以下、簡単にこのポップフィールドモデルについて
説明する。
第10図にニューロンをモデルとするユニットの構造の
概略を示す。ユニットiは、他のユニットk,j,l等
からの信号を受ける入力部Aと、与えられた入力を一定
の規則に従って変換する変換部Bと、その変換結果を出
力する出力部Cとを含む。
入力部Aは、各ユニット間の結合の強さを示す重み(シ
ナプス)Wを各入力ユニットに対して有する。したがっ
て、たとえば、ユニットkからの信号Skは、重みWi
kが付加された後変換部Bへ伝達される。この重みWは
正、負および0の値をとることができる。
変換部Bは、重みWを付された入力Sの総和netを予
め定められた関数fを通した後に出力する。すなわち、
時刻tにおけるユニットiからの出力Siは、 で与えられる。関数fとしては、第11A図に示すしき
い値関数または第11B図に示すシグモイド関数が用い
られることが多い。
第11A図に示すしきい値関数は、入力の総和net
(i)がしきい値(θ)以上となると論理“1”を出力
し、それ以下の値では論理“0”を出力する特性を有す
るユニットステップ関数である。
第11B図に示すシグモイド関数は、 f=1/[1+exp(−net(i))] で与えられる非線形単調増加関数である。シグモイド関
数の値域は0ないし1であり、入力の総和net(i)
が小さくなるにつれて“0”に近づき、入力の総和ne
t(i)が大きくなるにつれて“1”に近づく。このシ
グモイド関数は、入力の総和net(i)が“0”のと
き“0.5”を出力する。
上述のシグモイド関数に対してしきい値θを付加し、 f=1/[1+exp(−net(i)+θ))] で表わされる関数が用いられる場合もある。
上述の第10図に示すニューロンユニットは、生体細胞
が他のニューロンからの刺激を受け、この刺激の総和が
或る値以上になると出力を発生(発火)するというモデ
ルに従っている。ホップフィールドモデルは、上述のよ
うなニューロンユニットを複数個用いてネットワークを
構成したときのネットワークの動作モデルを与えるもの
である。
前述の式においては、各ニューロンユニットに初期状態
が与えられると、以後の各ニューロンユニットの状態
は、すべてのニューロンユニットに対し前述の2つの力
学方程式を連立させて適用して解くことにより原理的に
はすべて決定される。
しかしながら、ユニット数が増大すると、各ユニットの
状態を逐一調べてその状態を把握し、目的とする問題に
対して最適な解を与えるように重みおよびバイアス値を
プログラムする方法はほとんど不可能に近い。そこで、
ホップフィールドは、個々のユニットの状態に代えて、
系(ニューラルネット)全体の特性を表わす量として で定義されるエネルギ関数Eを導入する。ここで、Ii
はユニットiに固有の自己バイアス値である。
重み(シナプス荷重)WijがWij=Wjiという対
称性を持つ場合、各ユニットは上述のエネルギ関数Eを
常に最小(正しくは極小:ローカルミニマ)にするよう
に自らの状態を変化させていくことをホップフィールド
が示し、このモデルを重みWijのプログラムに適用す
ることを提案した。この前述のエネルギ関数Eに従うモ
デルは、ホップフィールドモデルと呼ばれる。
前述の式は離散的モデルとして、 として表わされることが多い。ここで、nは離散時間を
示す。上述のホップフィールドモデルは、入出力特性を
示す関数fの勾配が急(ほとんどの出力が“0”または
“1”に近い値をとるユニットステップ関数に近い関
数)の場合には、特に良い精度で成立することがホップ
フィールド自身により示されている。
このホップフィールドモデルに従って神経回路網をVL
SI(大規模集積回路)で構築することが行なわれてお
り、その一例は、たとえばIEEE(インスティチュー
ト・オブ・エレクトリカル・アンド・エレクトロニクス
・エンジニアーズ)発行の“コンピュータ”誌の198
8年3月号の第41頁ないし第49頁に開示されてい
る。
第12図に従来の神経回路網集積回路の全体の概略構成
を示す。第12図を参照して、従来の神経回路網集積回
路は、所定の重みを有する抵抗性結合素子がマトリクス
状に配列された抵抗マトリクス100と、抵抗マトリク
ス100に含まれるデータ入力線(図示せず)上の電位
を増幅し、かつこの増幅信号を抵抗性結合素子の入力部
へフィードバックする増幅回路101とを含む。抵抗マ
トリクス100は、後に詳細に説明するが、データ入力
線と、データ入力線と直交する方向に配列されるデータ
出力線とを含む。各データ入力線と各データ出力線との
抵抗性結合素子を介した相互接続はプログラム可能であ
る。
抵抗マトリクス100に含まれる各抵抗性結合素子の状
態(すなわちデータ入力線とデータ出力線との相互接続
状態)をプログラムするために、ロウデコーダ102と
ビットデコーダ103とが設けられる。ロウデコーダ1
02は、抵抗マトリクス100における1行の結合素子
を選択する。ビットデコーダ103は、抵抗マトリクス
100における1列の結合素子を選択する。
データの入出力を行なうために、入出力データを一時的
にラッチする入出力データレジスタ104と、入出力デ
ータレジスタ104を、データの書込/読出モードに応
じて抵抗マトリクス100に含まれるデータ入力線およ
びデータ出力線のいずれかに接続するマルチプレクサ1
05と、入出力データレジスタ104を装置外部と接続
するためのインタフェース(I/O)106とが設けら
れる。この神経回路網は半導体チップ200上に集積化
される。第13図に第12図の抵抗マトリクスの構成の
一例を示す。
第13図を参照して、抵抗マトリクス100は、データ
入力線A1〜A4と、データ出力線B1,▲▼,B
2,▲▼,B3,▲▼,およびB4,▲▼
を含む。データ入力線A1〜A4とデータ出力線B1,
▲▼〜B4,▲▼との交点には、対応のデータ
入力線と対応のデータ出力線とを結合する抵抗性結合素
子1が設けられる。この結合素子1は、開放状態、励起
状態および抑制状態の3つの状態をとることができる。
各抵抗性結合素子1の状態は外部から、適用される問題
に応じてプログラム可能である。また、第12図におい
ては、この抵抗性結合素子1が開放状態の場合は示され
ていないが、各データ入力線と各データ出力線との交点
のすべてに抵抗性結合素子1が配設されている。抵抗性
結合素子1は、それぞれプログラムされた状態に従って
対応のデータ出力線の電位レベルを対応のデータ入力線
上に伝達する。
入力線A1〜A4の各々には、対応のデータ入力線上の
データ信号を増幅して対応のデータ出力線上へ伝達する
反転増幅器2−1〜2−8が設けられる。互いに直列に
接続された2つの反転増幅器は、1本のデータ入力線A
i(i=1〜4)に対する1個の増幅器ユニットCi
(i=1〜4)として機能する。
反転増幅器2−1は、入力線A1上の電位を反転して出
力線B1上へ伝達する。反転増幅器2−2は入力線A1
上の電位を増幅して出力線▲▼上へ伝達する。反転
増幅器2−3は入力線A2上の信号電位を反転して出力
線B2上へ伝達し、反転増幅器2−4はデータ入力線A
2上の信号電位を出力線▲▼上へ伝達する。反転増
幅器2−5および2−6はデータ入力線A3上の信号電
位をデータ出力線B3,▲▼上へそれぞれ反転およ
び正転して伝達する。反転増幅器2−7および2−8
は、データ入力線A4上の信号電位を反転および正転し
てデータ出力線B4,▲▼上へそれぞれ伝達する。
結合素子1の各々は、データ出力線をデータ入力線へ固
有の結合度をもって結合しているが、これは言い換える
と、或る増幅器の出力を別の増幅器の入力へ接続するこ
とになる。結合素子1の構成の一例を第14図に示す。
第14図を参照して、抵抗性結合素子1は、抵抗素子R
+,R−と、スイッチング素子S1,S2,S3および
S4と、ランダム・アクセス・メモリ・セル150,1
51を含む。抵抗素子R+はその一方端が電源電位V
DDに接続される。抵抗素子R−はその一方端が、他方
の電源電位VSSに接続される。スイッチング素子S1
は、反転増幅器2bの出力によりそのオン・オフが制御
される。スイッチング素子S2は、ランダム・アクセス
・メモリ・セル150が記憶する情報に従ってオン・オ
フ状態となる。スイッチング素子S3は、ランダム・ア
クセス・メモリ・セル151が記憶する情報に従ってそ
のオン・オフ状態が設定される。スイッチング素子S4
は、反転増幅器2aの出力によりそのオン・オフが制御
される。ランダム・アクセス・メモリ・セル150およ
び151は、外部から予め、その出力状態(記憶情報)
をプログラムすることが可能であり、したがって、スイ
ッチング素子S2,S3のオン・オフ状態も予めプログ
ラム可能である。
第14図の構成において増幅回路Cj(反転増幅器2
a,2bから構成される回路)の出力は、スイッチング
素子とS1,S4のオン・オフ状態を制御するだけであ
り、この増幅回路Cjの出力は対応のデータ入力線Ai
に直接電流を供給しない構成となっており、これにより
増幅回路Cjの出力負荷容量を軽減する。抵抗素子R
+,R−は電流制限抵抗である。
結合素子1は、ランダム・アクセス・メモリ・セル15
0,151のプログラム状態(または記憶情報)により
3状態をとることが可能である。すなわち、スイッチン
グ素子S2がオン状態(活性状態)の興奮結合状態、ス
イッチング素子S3が活性状態(オン状態)の抑制結合
状態、および両スイッチング素子S2,S3がともに非
活性状態(オフ状態)の開放結合状態の3状態である。
増幅回路Cjの出力線Bj,▲▼の電位レベルと、
或る抵抗性結合素子1のプログラムされた結合状態とが
一致すれば、対応のデータ入力線Ai上には電源電位V
DDまたは他方の電源電位(たとえば接地電位)VSS
のどちらかから電流が流れる。抵抗性結合素子1のプロ
グラムされた結合状態が、開放結合状態の場合には、増
幅回路Cjの出力状態にかかわらず、入力線Aiには電
流は伝達されない。
上述の回路モデルをニューロンモデルに対応させれば、
増幅回路はニューロン本体(第10図の変換部)に対応
する。入力線A1〜A4および出力線B1〜B4,▲
▼〜▲▼は、第10図に示すデータ入力および出
力線構造(デンドライトおよびアクソン)にそれぞれ対
応する。抵抗性結合素子1は、ニューロン間の重みづけ
を付加するシナプス荷重部に対応する。次に動作につい
て簡単に説明する。
第13図に示すモデルはしばしばコネクショニストモデ
ルと呼ばれる。このモデルにおいては、個々のニューロ
ンユニット(増幅回路)は、単に入力信号のしきい値化
(すなわち、予め定められたしきい値に対する入力信号
の大小に応じた信号を出力する)動作を行なうだけであ
る。各抵抗性結合素子1は、或る増幅回路の出力を、他
の増幅回路の入力に接続する。したがって、各増幅回路
Cjの出力状態は、すべての残りの増幅回路Ci(i≠
j)の出力状態により決定される。或る増幅回路Cjが
対応の入力線Ajの電流を検出すると、そのときの増幅
回路Cjの出力は、 で与えられる。ここで、Vin(i),Vout(i)
は、データ入力線Aiに接続される増幅回路Ciの入出
力電圧をそれぞれ示し、Iiは1個の抵抗性結合素子1
を流れる電流であり、Wijはデータ入力線Aiに接続
される増幅回路Ciとデータ入力線Ajに接続される増
幅回路Cjを接続する抵抗性結合素子のコンダクタンス
である。各増幅回路Cの出力電圧Voutは、その増幅
回路C自身の伝達特性により決定される。増幅回路C自
身は、データ入力線Aに電流を供給せず、単にスイッチ
ング素子S1とスイッチング素子S4のオン・オフ動作
を制御するだけである。これにより、増幅回路Cの出力
負荷は、データ出力線容量にまで低減され、高速性が保
証される。或る増幅回路Ciに対応する入力線Ai上の
電圧は、その入力線Aiに流れ込む電流の総和により与
えられる。この電圧は、この回路網を流れる総電流が零
となる値に調整される。この状態において、この神経回
路網の総エネルギが極小となる。
増幅回路Cの各々は、たとえばCMOSインバータで構
成されており、その入力インピーダンスは高く、前述の
ような非線形単調増加型のしきい値関数をその入出力特
性として有している。この場合、上述の総電流が0とな
るという条件より、 という関係式が得られる。ここで、Iijは、入力線A
iに接続される増幅回路Ciの出力により制御される抵
抗性結合素子の抵抗を流れる電流を示す。ΔVijは、
抵抗性結合素子における電位差であり、 ΔVij=Vin(j)−VDD……興奮結合 =Vin(j)−VSS……抑制結合 で与えられる。また、Rijは抵抗性結合素子における
抵抗であり、R+またはR−で与えられる。したがっ
て、電圧Vin(j)は、データ入力線Ajに接続され
る増幅回路のすべての寄与の総和となる。
増幅回路Cは、高利得のしきい値素子として機能する。
この増幅回路Cのしきい値は、電源電位VSSとVDD
の和の約1/2に設定されることが多い。
上述の演算はアナログ的な計算である。このアナログ的
な計算は、抵抗マトリクス100内で並列に一度に行な
われる。しかしながら、入力データ信号および出力デー
タ信号はともにデジタルデータである。次に、第13図
を参照して実際の演算動作について説明する。
入力データが、レジスタ10を介して各入力線A1〜A
4上に与えられる。各入力線A1〜A4がそれぞれ入力
データに対応する電圧レベルに充電されることにより、
神経回路網の初期設定が完了する。各増幅回路C1〜C
4の出力電位は、まずデータ入力線A1〜A4に与えら
れた充電電位に応じて変化する。このデータ出力線上の
電位変化は、対応の各抵抗性結合素子を介して再びデー
タ入力線A1〜A4にフィードバックされる。各データ
入力線A1〜A4にフィードバックされる電位レベル
は、各抵抗性結合素子1のプログラム状態により規定さ
れる。すなわち、或る抵抗性結合素子1が、興奮結合状
態にプログラムされている場合には、電源電位VDD
らデータ入力線Aiに電流が流れる。一方、抵抗性結合
素子1が抑制結合状態にプログラムされている場合に
は、接地電位VSSからデータ入力線Aiに電流が流れ
込む。このような動作が、開放結合状態にある抵抗性結
合素子を除いて並列に進行し、或るデータ入力線Aiに
流れ込む電流がアナログ的に加算されることになり、こ
れにより、データ入力線Aiの電位が変化する。このデ
ータ入力線Aiの電位変化が、対応の増幅回路Ciのし
きい値電圧を越えると、この増幅回路Ciの出力電位が
変化する。この状態を繰返し、上述の電流の総和が零と
なる条件を満たすように各増幅回路Cの出力電位が変化
してゆき、最終的に、前述の安定状態の式を満足する状
態に回路網の状態が安定化する。この回路網の状態が安
定化したときは、各増幅回路C1〜C4の出力電圧が出
力レジスタに格納された後に読出される。
この回路網の安定状態となったか否かの判定は、データ
入力後の予め定められた時間が経過したか否かにより行
なわれるか、または出力レジスタに格納された時間的に
異なるデータを直接相互に比較し、その出力データの差
が所定値以下となったとき回路網が安定状態となったと
判定する構成がとられる。
上述の説明から明らかなように、この神経回路網から
は、神経回路網のエネルギが最小値(または極小値)に
落ち着くような出力データが出力される。したがって、
抵抗性結合素子1のプログラム状態に従って、抵抗マト
リクス100は或るパターンや或るデータを記憶してお
り、入力データとこの記憶したパターンまたはデータと
の一致/不一致を判定することができるため、このよう
な神経回路網は、連想記憶回路としてもまたパターン弁
別器としても機能することができる。
第13図に示す抵抗マトリクス100のデータ出力線か
らデータ入力線へのフィードバック経路をなくした構成
のものは、1層のパーセプトロン回路として知られてい
る。このパーセントロン回路は、学習アルゴリズムの作
成が容易であり、また多層化して柔軟なシステムを構築
することも可能である。
また、ホップフィールドモデルにおけるエネルギ関数を
確率変数とみなしホップフィールドのアルゴリズムを確
率系へ拡張することによりボルツマンモデル(ボルツマ
ンマシーン)が得られることが知られている。第15図
にこのボルツマンモデルに従った半導体神経回路網の要
部の構成の一例を示す。この第15図に示す構成は、た
とえばMITプレス発行の論文誌“アドバンスト・リサ
ーチ・イン・VLSI 1987”における第213頁
ないし第237頁の“ニューロモルフィックVLSI学
習システム”に開示されている。
第15図において、ニューロンユニットは2つの相補出
力S、を有する差動増幅器Z1〜Zjの各々により構
成される。ニューロンが“オン”状態の場合、出力Sは
“1”(5V)であり、ニューロンが“オフ”の場合、
出力Sは“0”(0V)である。ニューロンユニット
(差動増幅器)の出力は、各差動入力IN,へ抵抗
性素子Rを介してフィードバックされる。抵抗性素子R
は、そのコンダクタンスが変更可能であり、このコンダ
クタンスにより重みWijが規定される。
各入力線IN,▲▼に自己バイアス値−θを印加す
るために、自己バイアス部分400が設けられる。この
自己バイアス部分400には、差動増幅器Ztを介して
定常的に“1”および“0”の相補データが印加され
る。生体神経細胞に対応させると、対角線状に配列され
た差動増幅器Z1〜Zjの各々が細胞体に相当し、しき
い値処理を行なう。入力線IN,▲▼が他の細胞か
らの信号を受ける樹状突起に対応する。このデータ入力
線IN,▲▼はそれぞれが興奮性と抑制性の信号を
ともに伝えることができる。出力線S,は、或るニュ
ーロンからの信号が次のニューロンへ伝達する軸索に対
応する。低抗性素子Rは、シナプスに対応し、その抵抗
値がニューロン間の結合容量(シナプス荷重)を示す。
データ入力線IN,▲▼とデータ出力線S,との
接合点、すなわちi行j列(i,j)の位置に配置され
る抵抗性素子Rは、ニューロン(差動増幅器)Zjの出
力をニューロン(差動増幅器)Ziの入力へ接続して正
の重みWijを与えることができる。この正の重みWi
jの場合、出力線Sjが入力INiへ接続されかつ相補
出力線▲▼が相補データ入力線▲▼へ接続さ
れる。負の重みWijの場合には、相補データ出力線▲
▼がデータ入力線INiへ接続され、データ入力線
Sjが相補データ入力線▲▼へ接続される。
この神経回路網の初期設定は、抵抗性素子Rの抵抗値を
設定することにより行なわれる。ボルツマンモデルにお
ける問題は、入出力データの確率分布を外部から与えな
いで、“できるだけ正確に”神経回路網自体がこの分布
を実現することができるような重みWklを見い出すこ
とである。このために、各抵抗性素子の重みを設定する
ために、各重みWkl(k行l列に位置する抵抗性結合
素子のコンダクタンス)に対して重み処理装置(図示せ
ず)が設けられている。この重み処理装置は、重みデー
タをラッチするとともにそのラッチデータを隣接するラ
ッチへシフトさせる機能を有し、かつ各操作ループ(プ
ラスフェーズ,マイナスフェーズ等)の後、所定の関係
式に従ってそのラッチデータをインクリメントまたはデ
クリメントする機能を備えている。
ボルツマンモデルのアルゴリズムは操作1(プラスフェ
ーズ)、操作2(マイナスフェーズ)、操作3(重みW
ilの変化)および操作0(出力層の学習)を含む。
操作1は、焼純(アニーリング)過程とデータ収集
過程とPを求める過程とを含む。焼純過程は、その
振幅が操作が進むにつれて減少するアナログノイズ信号
を外部から各差動増幅器の差動入力へ印加することによ
り行なわれる。これは、高温で焼純過程を開始し、この
後、順次低温へ移行し、これにより神経回路網システム
が熱平衡状態の、低いグローバルエネルギ極小値へ安定
化したことを示す。この状態が各差動増幅器Zにおいて
生じ、各差動増幅器Zは自己の状態を評価してその状態
を“オン”または“オフ”に設定する。データ収集過程
は、結合し有った2つのニューロン(差動増幅器)のそ
れぞれの状態がともに“1”になっている回数を求める
過程である。
操作2(マイナスフェーズ)では、入力データに対応し
たニューロン(差動増幅器)の状態のみを“1”に固定
して操作1の前述の3つの過程を実行する。この操作2
において、平均値を求める過程で得られる値がPであ
ると仮定する。
操作3は操作1および操作2で求められた平均値P
とにより重みWklを変化させる過程である。
上述の操作1または操作2の後には、各重みWklは並
列動作により調整されており、各重みに対応して設けら
れた重み処理器がその状態を評価して対応の重みをイン
クリメントまたはデクリメントする。前述のように、デ
ータ入出力線は対をなして配列されているため、重みは
上述の並列アルゴリズムを用いてそれ自身自己の重みを
調整する。
第16図に重みWklを与える抵抗性素子の具体的素子
の一例を示す。第16図において、重み部分は、正およ
び負の結合を与えるために4組のトランジスタ群TR
1,TR2,TR3およびTR4を含む。トランジスタ
群TR1〜TR4は同一の構成を有しており、n個のM
OSトランジスタT0〜Tn−1とパストランジスタT
Gとを含む。
MOSトランジスタT0〜Tn−1の抵抗比(トランジ
スタの幅/長さの比)は1:2:…:2−1に設定され
ている。パストランジスタTGは、結合の正および負を
示すための符号ビット のいずれかを受けて、対応のデータ入力線とデータ出力
線との接続を行なう。この場合、対角線上に設けられた
トランジスタ群が同時にデータ入出力線の接続を行なう
ため、パストランジスタTG1,TG4のゲートへは正
の符号ビットTSGNが印加され、パストランジスタG
2,TG3へは負の符号ビット が印加される。この各トランジスタ群におけるトランジ
スタT0〜Tn−1をその適当な組合わせでオン状態と
することにより抵抗性素子Rが与える重みWijを設定
することができる。
[発明が解決しようとする課題] 上述のようなホップフィールドモデルおよびボルツマン
モデルに従う半導体神経回路網においては、シナプス荷
重に対応する重みを表現するために、種々の構成が用い
られているが、それぞれ以下に述べるような問題点を有
している。
第13図および第14図に示すような、単純な構造の基
本セルを用いて結合素子を構成し、この結合素子をデー
タ入力線とデータ出力線との交点に配置する構成の場
合、この結合素子が与える結合状態は、何ら重みづけが
されておらず、単に“1”、“0”および“−1”、す
なわち、“興奮状態”、“ドント・ケア状態”および
“抑制状態”の3状態が表現可能なだけであり、シナプ
ス結合モデルが単純化されすぎ、実際の回路動作時にお
いて神経回路網のエネルギ極小状態への収束性が悪化す
る。
神経回路網の収束性を改善するためには、結合素子が与
える結合状態(重み)を多段階表現する必要がある。一
般的に実用に耐える収束性を得るためには、この結合状
態を少なくとも10ビット(1024ステップ)表示す
ることが必要とされることが回路シミュレーションによ
り明らかにされている。
この結合状態の多値表現は、たとえば第16図に示す結
合素子構造を用いることにより実現可能である。しか
し、この第16図に示す結合素子構造の場合、1つの基
本結合素子を構成するために、様々なコンダクタンスを
有するトランジスタを用いる必要があるが、この様々な
コンダクタンスはトランジスタの寸法(トランジスタの
ゲート幅とトランジスタの長さの比など)を調整するこ
とにより得られる。したがって、結合素子領域内に、互
いに寸法の異なるトランジスタを数多く設ける必要があ
るが、結合素子領域面積が限られていれば、必然的にト
ランジスタ寸法も小さくなり、したがってトランジスタ
間の寸法差も小さくなる。このとき、回路製造時におい
て必然的に導入される寸法誤差または許容寸法誤差がト
ランジスタの寸法差に及ぼす影響が大きくなり、所望の
コンダクタンス比を有するトランジスタを得ることがで
きなくなる。この結果、正確に多値の重みづけをシナプ
ス結合強度に付加することができなくなるという問題が
生じる。
また、同様に、多数のニューロンユニットを1つの半導
体チップ上に形成すれば必然的に結合素子数も増加し、
限られた半導体チップ上に形成される1個の結合素子の
占有面積も減少し、上述と同様の問題が発生する。
十分な収束性を実現するに足る結合素子を得ようとすれ
ば、たとえ、トランジスタの組合わせを用いることによ
り重みを表現するためのトランジスタの数を低減したと
しても、寸法精度の十分制御されたトランジスタを数多
く用いる必要があり、結合素子占有面積低減に対する障
害となり、限られた半導体チップ上に高密度の神経回路
網集積回路装置を形成することができなくなるという問
題が発生する。
また、複数のトランジスタを用いて1つの重みを表現す
るのでなく、1個の不揮発性トランジスタのフローティ
ングゲートに蓄積される電荷量により、複数段階(正確
にはアナログ的)の重みづけを表現する手法も提案され
ている。しかしながら、このフローティングゲート型ト
ランジスタを用いる場合、フローティングゲートの電荷
保持特性および蓄積電荷量と重みづけ因子との対応関係
に不安定さが残り、回路動作中に重み(シナプス荷重)
が変化したり、所望の重みづけをシナプス結合強度に与
えることができなくなるなどの問題が発生する。
この場合、重みづけ因子と蓄積電荷量との対応関係が不
安定であったとしても、神経回路網の学習時において、
この対応関係が決定されることになるが、このような不
安定さが残る場合、学習時における収束性が悪くなり、
神経回路網の学習に長時間を要するという問題が発生す
る。
それゆえ、この発明の目的は、少ない占有面積および簡
易な構成で結合素子の与える結合強度の重みづけ(重
み)を確実に多値化することのできる神経回路網を提供
することである。
[課題を解決するための手段] この発明に係る半導体神経回路網は、データ出力線を複
数のグループに分割し、この各グループにおいて各出力
線上の信号電位に所定の重みづけを行なった後、この重
みづけされた出力信号を加算して出力するようにしたも
のである。
すなわち、本発明に係る半導体神経回路網は、各々に入
力データ信号を伝達する複数の入力線と、これらの複数
の入力線と交差する方向に設けられ、各々が内部出力デ
ータ信号を伝達するとともに、複数のグループに分割さ
れる複数の内部出力線と、この入力線と内部出力線の交
差部の各々に設けられて対応の入力線と対応の内部出力
線とを固有の結合度で結合する複数の結合素子と、内部
出力線グループの各々に対応して設けられ、対応の内部
出力線グループの各内部出力線上の信号電位に所定の重
みを付加し、かつこの重みづけされた信号電位をすべて
加算して出力する重みづけ加算手段とを備える。
この重みづけ加算手段は、対応の内部データ出力線に結
合される制御電極と、所定の電位に結合される一方電極
と他方電極とを有し、その電流供給能力が該制御電極上
の電位の1次関数で与えられかつ該素子の寸法に比例す
る複数の増幅素子と、これらの複の増幅素子の他方電極
出力を共通に受けて加算しかつ増幅する増幅器とを備え
る。
複数の結合素子の各々は、該結合素子の結合強度を表現
する情報を記憶する記憶素子を含む。この記憶素子のデ
ータ保持能力は、該結合素子が接続される内部出力線に
付随する重みに応じて設定される。
[作 用] 結合素子の各々は、“1”、“0”、および“−1”の
状態、すなわち、“興奮状態”、“ドント・ケア状態”
および“抑制状態”の3状態のうちのいずれかの状態に
プログラムされる。したがって、この結合素子より、デ
ータ入力線と内部データ出力線とは、重みづけされてい
ない結合度により結合されている。
重みづけ加算手段は、対応のグループ内のデータ出力線
上の信号電位に所定の重みを付加した後、この重みを付
加された信号電位を加算して出力する。この重みづけ
は、多値化されており、好ましくは各内部データ出力線
ごとに異なる。したがって、この重みづけ加算手段から
は、結果的に、重みづけされていない“1”、“0”、
“−1”の結合状態が、多値化された重みを付加された
結合状態に変換され、この多値化された結合状態に従っ
た出力信号が出力される。
より大きな重みに関連する内部出力線ほどその処理結果
に対する寄与が大きい。結合素子の結合強度表現情報を
記憶する記憶素子の情報保持能力を該結合素子の信号処
理に対する寄与の大小に応じて設定することにより、電
気的ノイズ、電離放射線等による記憶情報の反転に起因
する神経回路網の誤動作を防止する。
[発明の実施例] 第1図に、この発明の一実施例である半導体神経回路網
の要部の構成を示す。この第1図に示す半導体神経回路
網は、ホップフィールド型神経回路網であり、第13図
に示す従来の神経回路網の構造に対応する。
第1図において、結合マトリクス100内において、デ
ータ入力線Ai(第1図においては、代表的に4本のデ
ータ入力線A1〜A4が示される)へフィードバック信
号を伝達するフィードバック信号線(第13図のデータ
入力線に対応する)は、複数のグループGRA,GR
B、……に分割される。ここで、第1図においては代表
的にフィードバック線グループGRAと、フィードバッ
ク線グループGRBの一部とが代表的に示される。グル
ープGRAは、相補フィードバック線対B11,▲
▼、B12,▲▼、B13,▲▼、B1
4,▲▼を含み、グループGRBは、相補フィー
ドバック線B21,▲▼、B22,▲▼、
……を含む。
各相補フィードバック線対B11,▲▼〜B1
4,▲▼、B21,▲▼、B22,▲
▼……に対応して、増幅回路C11〜C14、C2
1,C22……が設けられる。増幅回路C11〜C1
4、C21、およびC22の各々は、対応のデータ入力
線上の信号電位をその入力として受けるように配置さ
れ、その出力を対応の相補フィードバック線対上へ伝達
する。
ここで、第1図においては、増幅回路C11〜C14の
各々がデータ入力線A1〜A4上の信号電位を受けるよ
うに示され、増幅回路C21,C22……の入力部が結
合されるデータ入力線は図示されていないが、レジスタ
10からは、別の入力データ線が結合マトリクス100
内へ延びており、この別のデータ入力線に増幅回路C2
1,C22の各入力部が結合される。この別のデータ入
力線には、データ入力線A1〜A4上の入力データを模
写した同一の入力データが伝達される構成であってもよ
く、また、データ入力線A1〜A4および別のデータ入
力線がそのまま入力データに1対1で対応する構成であ
ってもよい。さらには、レジスタ10からのデータ入力
線は、4本のデータ入力線A1〜A4だけであり、各フ
ィードバック線グループ内において、各増幅回路が異な
るデータ入力線上の信号電位を受けるような構成であっ
てもよい。
増幅回路C11〜C14,C21,およびC22の各々
は、2段の直列に接続された反転増幅器2aおよび2b
を含む。この構成により、増幅回路C11〜C14,お
よびC21,およびC24の各々から、相補な出力信号
が導出され、対応の相補フィードバック線対上へ伝達さ
れる。
データ入力線とフィードバック線との交点には、結合素
子1が設けられる。この結合素子1は、たとえば第14
図に示す構造を有しており、“興奮状態”、“ドント・
ケア状態”および“抑制状態”の3状態のうちのいずれ
かの結合状態を表現することができる。今、この結合素
子1が与える結合強度は、何ら重みが付加されていない
結合強度と称し、この重みづけされていない結合強度
は、“1”“0”、および“−1”のいずれかの値であ
り、その中間の値をとることのできない状態を示すもの
として以下の説明では用いる。
重みづけされていない結合強度に重みを与えるために、
フィードバック線グループGRAおよびGRBの各々に
対応して、重み付加電流加算回路500aおよび500
bが設けられる。
重み付加電流回路500aは、フィードバック線B11
〜B14に対応して設けられ、対応のフィードバック線
上の信号電位を増幅する増幅素子QA11〜QA14
と、相補フィードバック線▲▼〜▲▼の各
々に対応して設けられ、対応の相補フィードバック線上
の電位を増幅する増幅素子QB11〜QB14と、増幅
素子QA11〜QA14の出力電流の総和と増幅素子Q
B11〜QB14の出力電流の総和とを差動的に感知し
て増幅するセンスアンプSA1とを含む。
増幅素子QA11〜QA14の各々は、そのコンダクタ
ンス値および素子サイズが適当な比、たとえば1:2:
4:…:2の比に選定されたMIS(絶縁ゲート型)
トランジスタにより構成されて、この絶縁ゲート型トラ
ンジスタのゲートに、対応のフィードバック線が接続さ
れる。MISトランジスタQA11〜QA14は、その
一方電極がたとえば接地電位である所定電位VSSに結
合され、その他方電極が共通ノードNA1に接続され、
それぞれのゲートが対応のフィードバック線に接続され
る。
MISトランジスタQB11〜QB14の各々の一方電
極は所定の電位VSSに接続され、その他方電極が共通
ノードNP1に接続され、そのゲートが、対応の相補フ
ィードバック線に接続される。
対をなす相補フィードバック線対に対応して設けられる
MISトランジスタは、その寸法が同一にされており、
電流供給能力(駆動能力)および増幅率は同一とされ
る。第1図に示す例においては、MISトランジスタQ
A11〜QA14およびQB11〜QB14は参照数字
が大きくなるにつれて、その素子サイズが大きくされ、
電流供給能力が大きくされるとともに、そのコンダクタ
ンスも大きくされる。
重み付加電流加算回路500bは、同様に、フィードバ
ック線B21,B22に対応して設けられる増幅素子Q
A21およびQA22と、相補フィードバック線▲
▼、および▲▼に対応して設けられる増幅素子
QB21およびQB22と、ノードNA2上に現われる
増幅素子QA21,QA22の総和電流とノードNB2
に現われる増幅素子QB21,QB22の総和電流とを
差動的に感知し増幅するセンスアンプSA2とを含む。
この重み付加電流加算回路500bにおいても、同様
に、各増幅素子は、MISトランジスタにより構成さ
れ、そのゲートに与えられる電位をそれぞれの素子サイ
ズに応じた増幅率で増幅してノードNA2,NB2へ伝
達する。
次に動作について簡単に説明する。
今、簡単化のために、増幅素子として機能するMISト
ランジスタが与えるべき重みを、そのトランジスタ幅を
調整することにより決定するものと想定する。MISト
ランジスタのドレイン電流IDSは、 で与えられる。ここで、uは電子移動度、Coxは酸化
膜の膜厚、Wはトランジスタのゲート幅、Lはトランジ
スタのゲート長さ、VGSはトランジスタのゲート・ソ
ース間の電圧、Vはトランジスタのしきい値電圧、V
DSはドレイン・ソース間電圧である。
この式からわかるように、3極間領域(ドレイン電流が
飽和しない領域)において、ドレイン電圧VDSがほぼ
一定であるという条件でMISトランジスタを動作させ
ると、ゲート幅(トランジスタ幅)Wに比例、ゲート長
Lに反比例、およびゲート電圧VGSの1次関数となる
ドレイン電流IDSが流れる。ここで、神経回路網半導
体チップ内においては、しきい値電圧Vは同一とみな
せる。したがって、増幅素子QAi1〜QAiN(1つ
のフィードバック線グループGRiにN本のフィードバ
ック線がある場合)の、各々のゲート幅Wを、2を公比
とする等比数列をなすように設計すると、ノードNAi
に流れるドレイン電流Iは、正のフィードバック線の
各電圧に重みを付加した電圧の1次関数で与えられる電
流となる。今、第1図に示すフィードバック線グループ
GRAを例にして具体的に説明する。正のフィードバッ
ク線B11〜B14上の電位をViとし、各増幅素子Q
A11〜WA14のゲート幅を1:2:4:8と設定す
ると、ノードNA1に流れる電流Iは、 で与えられる。ここで、X=u・Cox/Lを示し、B
はドレイン・ソース間電位VDSを示す。
したがって、上式においてKおよびMは定数とみなすこ
とができるため、ノードNA1に現われるドレイン電流
は、フィードバック線の信号電位に、この増幅素子
が有するゲート幅を乗算した値の総和の1次関数とな
る。このときゲート幅Wiが、シナプス結合強度に対す
る重みづけ因子となる。
相補側のフィードバック線に対しても、同様にして、増
幅素子QBi1,QBi2,……QBiNのゲート幅に
重みをつけ、それらのドレイン電極を共通にノードNB
iに接続すれば、そのときのノードNBiに現われるド
レイン電流は、相補フィードバック線の各電圧にそれぞ
れ所定の重みをつけ加えた電圧の1次関数となる。
したがって、このノードNA1,NB1を流れる電流ま
たはこの電流に対応する電圧をセンスアンプSA1によ
って差動的に感知増幅するとこのセンスアンプSA1か
らの出力信号B1は、 で与えられる電位となる。ここで、上式においてI
ノードNA1のドレイン電流を示し、I′はノードN
B1のドレイン電流を示す。また、Viは正のフィード
バック線上の電位を示し、Vi′は相補フィードバック
線上の電位を示す。すなわち、出力信号B1は、4対の
フィードバック信号線の各対における出力電位のうち、
GSに比例する項のみが残りこの残った項に対応の重
み2を掛けて加えた総和となる。
したがって、これは従来例において、シナプス入力信号
に結合を示す重みを掛けて、この重みづけされた入力信
号を総和する動作に対応することとなる。
したがって、上述の構成により、簡単な構成を有する、
3値状態すなわち“興奮状態”、“抑制状態”、および
“ドント・ケア状態”を示す基本結合素子を多数配列し
た基本結合マトリクス100を用いる神経回路網であっ
ても、この結合マトリクス100外部に重み付加電流加
算回路を設け、各フィードバック線に対応して、所定の
重みづけられた増幅素子を配置することにより、任意の
結合強度をプログラムしたシナプス結合マトリクスを得
ることができる。
なお、上述の説明においては、増幅素子の重みづけ因子
を、トランジスタのゲート幅により調整したが、これ
は、ゲート幅およびゲート長の組合わせまたゲート長ま
たは素子サイズを調整して重みづけ因子を決定しても上
記実施例と同様の効果が得られる。
上述の構成においては、重み付加電流加算回路に含まれ
る増幅素子が与える重みづけ係数は一定とされるが、神
経回路網の学習時に結合マトリクス内の各結合素子が表
現する結合状態が、この増幅素子が有する重みづけ係数
に対して最適となるようにプログラムされる。この学習
時において、シナプス結合強度(重み)が実質的にきめ
細かく多値化されたことになるので、この神経回路網の
エネルギ極小値への収束性が高速化される。
なお、上述の構成において、フィードバック線グループ
の数は、必要とされる出力信号のビット数に合わせて適
当に選択され、必ずしも入力データのビット幅と出力デ
ータのビット幅とを一致させる必要はない。
第2図に、この発明の他の実施例である半導体神経回路
網の全体の構造を概略的に示す。この第2図に示す神経
回路網は、基本結合素子Tijkとして、第14図に示
す素子を用いており、この基本結合素子を用いて相互結
合のない非ホップフィールド型神経回路網を構成してい
る。この非ホップフィールド型神経回路網においては、
ニューロンユニットに対応する増幅器出力が結合マトリ
クス内へフィードバックされるのではなく、単にデータ
入力線上の信号電位が、結合素子を介して内部データ出
力線上に伝達されるだけである。
この第14図に示す基本結合素子構造においては、通
常、収束性を改善するなどを目的として、各々が相補な
入力データを伝達する相補入力データ線対構造が用いら
れる。
第2図を参照して、半導体神経回路網は、結合マトリク
ス100は、行および列状に配列された複数の結合素子
T111〜TLMNを備える。この結合素子は複数列ご
とにグループ化されており、L行N列の結合素子アレイ
が1つのグループを構成している。
この結合素子Tijkの各々は、前述のごとく3値の状
態を表現することのできる結合素子により構成されてお
り、この結合状態を示すために、記憶素子としてランダ
ム・アクセス・メモリが設けられている。
この結合素子の結合状態を記憶するランダム・アクセス
・メモリRAMへ結合状態を示す情報を書込むために、
通常のダイナミック・ランダム・アクセス・メモリと同
様にして、ロウデコーダ102、コラムデコーダ10
3、センスアンプ111、選択ゲート110が設けられ
る。ロウデコーダ102は、外部から与えられる行アド
レスに応答して、1行のRAMセルを選択する。このと
き、結合素子Tijkは2つのRAMセルを含んでいる
ため、ロウデコーダ102の出力信号線は2L本とな
り、興奮性結合をプログラムするための行選択線WL1
P〜WLPおよび抑制性結合状態をプログラムするため
の行選択線WL1Q〜WL1Qを含む。
コラムデコーダ103は、外部からの列アドレスに応答
して、結合マトリクス100における1列のRAMセル
を選択する。
選択ゲート110は、コラムデコーダ103からのコラ
ムデコード信号に応答して、対応のトランスファゲート
対をオン状態とし、センスアンプを内部データ入出力バ
スI/O,/へ接続する。この内部データ入出力バ
スI/O,/へは、RAMI/O106を介してプ
ログラム情報が伝達される。ここで、データ入出力バス
がI/O,/と相補対を構成し、かつ選択ゲート1
10のトランスファゲートもそれぞれ対をなしているの
は、RAMセルがいわゆる折返しビット線構造に従って
配置されているからである。センスアンプ111は、結
合マトリクス100の各列対応に設けられ、RAMI/
O106から書込まれたプログラム情報をラッチする。
神経回路網動作時において必要な入力データ信号を結合
マトリクス100へ伝達するために、レジスタ104が
設けられる。レジスタ104は、前述のごとく、相補デ
ータ入力線A1,▲▼〜AL,▲▼を有してお
り、この相補データ入力線対を介して所望の入力信号を
結合素子マトリクス100内へ伝達する。
結合素子マトリクスの各グループに対応して重み付加電
流加算回路500−1,500−2,……,および50
0−Mが設けられる。
重み付加電流加算回路500−1は、内部データ出力線
B11〜B1N上の信号電位をそれぞれそのゲートに受
けるMISトランジスタQ11〜Q1Nと、このMIS
トランジスタQ11〜Q1Nの出力電流をノードS1を
介して受けて増幅して出力する増幅器101−1を含
む。トランジスタQ11〜Q1NはノードS1とノード
G1との間に互いに並列に設けられる。ノードG1は、
センスアンプ活性化信号SAEに応答してオン状態とな
るセンスアンプ活性用トランジスタST1を介して接地
電位VSSに接続される。ノードS1は所定の高電位
(たとえば電源電位)へプルアップ抵抗R1を介して結
合される。このプルアップ抵抗R1によりノードS1の
高レベルが保証される。トランジスタQ11〜Q1Nの
サイズ(面積、ゲート幅、ゲート長等)が適当な値に調
整されており、それぞれ所定の重み係数を有している。
重み付加電流加算回路500−2も同様の構成を有し、
増幅素子として機能するトランジスタQ21,Q22,
……Q2N、プルアップ抵抗R2、センスアンプ活性化
トランジスタT2およびセンスアンプ101−102を
備える。トランジスタQ21〜Q2NはノードS2とノ
ードG2との間に互いに並列に接続される。トランジス
タQ21〜A2Nのゲートには、それぞれ対応の内部デ
ータ出力線の信号電位が与えられる。
重み付加電流加算回路500−Mも同様に、トランジス
タQM1,QM2,……QMNと、プルアップ抵抗RM
と、センスアンプ活性化トランジスタSTMとセンスア
ンプ101−Mを備える。このトランジスタQM1〜Q
MNはノードSMとノードGMとの間に直列に接続され
る。トランジスタQM1〜QMNの各々のゲートには、
対応の内部データ線の電位が伝達される。ノードSM
は、プルアップ抵抗RMを介して所定の電位に結合され
る。
この重み付加電流加算回路500−1〜500−Mの各
々の対応するトランジスタQ1i,Q2i,……QMi
は同じサイズを有している。
この構成においては、センスアンプ101−1〜101
−Mの各々の入力は、内部データ線B11〜B1Nが相
補データ線対構造と異なるために、差動信号とはならな
い。しかしながら、この場合、センスアンプ1011〜
101−Mの各々の参照電位(基準電位)を適当に選択
すれば、十分に対応できる。
結合マトリクス100の結合状態をプログラムするため
に、切換信号MUXに応答してオン状態となり、センス
アンプ111と結合マトリクス100とを接続する転送
ゲート112と、切換信号MUXに応答してオン状態と
なり、ロウデコーダ102出力と結合マトリクス100
とを接続する第2の転送ゲート114と、切換信号MU
Xに応答してオン状態となり、レジスタ104出力を結
合マトリクス100に接続する第3の転送ゲート113
が設けられる。結合素子の結合状態のプログラム時にお
いては、転送ゲート112,114がオン状態となり、
実際の神経回路網の動作時においては、転送ゲート11
3がオン状態となる。次に動作について簡単に説明す
る。
結合マトリックス100における各結合素子Tijkの
結合状態のプログラムは、通常のDRAMにおいて行な
われるものと同様にして行なわれる。すなわち、このプ
ログラム時においては、切換信号MUX,▲▼に
より、センスアンプ111およびロウデコーダ102が
それぞれ転送ゲート112および114を介して結合マ
トリクス100に接続され、一方レジスタ104は転送
ゲート113により結合マトリクス100から切り離さ
れる。またこのときセンスアンプ活性化信号SAEは不
活性状態の“L”レベルにある。まず外部から行アドレ
スがロウデコーダ102へ与えられ、1本のロウデコー
ダ出力線が選択され、1行のRAMセルが選択される。
続いてコラムデコーダ103により1列が選択され、選
択ゲート110の転送トランジスタがオン状態となる。
この選択ゲート110がオン状態となるまでに、RAM
I/O106を介してプログラム情報が内部データ入出
力バスI/O,/上へ伝達されており、この内部デ
ータ入出力バスI/O,/上の信号電位がセンスア
ンプ111でラッチされた後、選択されたRAMセルへ
所望の結合情報が書込まれる。この動作を結合素子マト
リクス100における各結合素子に対し行なうことによ
り、結合マトリクス100における結合状態がプログラ
ムされる。
実際の神経回路網動作時においては、ロウデコーダ10
2およびセンスアンプ111はそれぞれ切換信号MUX
により結合マトリクス100から切り離される。一方、
レジスタ104は相補切換信号▲▼により結合マ
トリックス100に接続される。この状態でレジスタ1
04からのデータが相補入力信号データの信号線A1,
▲▼〜AL,▲▼上へ伝達され、結合マトリク
ス100内へ伝達される。結合マトリクス100内にお
ける各結合素子Tijkは、プログラムされた結合状態
に従って入力信号線上の電位を内部データ線B11〜B
1N,……BM1〜BMN上へ伝達する。
次に所定の時刻においてセンスアンプ活性化信号SAE
が立上がり、センスアンプ活性化用トランジスタST
1,ST2,STMがオン状態となり、ノードG1,G
2,……,GMを接地電位VSSに接続する。これによ
り、ノードS1,S2,SMの電位が各増幅素子Q11
〜Q1N,Q21〜Q2N,QM1〜QMNの有する重
み係数に従って変化し、このノードS1〜SM電位はそ
れぞれセンスアンプ101−1〜101−Mにより感知
増幅され、出力信号B1〜BMが出力される。
この第2図に示す神経回路網の構成の場合、第1図に示
すような、センスアンプ101−1〜101−Mの入力
は差動信号とはならないが、このセンスアンプ101の
参照電位(基準電位)を適当に選択することにより、内
部データ出力線に接続された基本結合素子のうちで、
“興奮状態”と“抑制状態”の素子の個数の差に相当す
る電位変化がその内部データ出力線Bij上に発生す
る。この内部データ出力線上の電位変化は、重みづけさ
れたトランジスタのゲート電極へ与えられるため、これ
らのトランジスタQijのドレインを共通に結合したノ
ードSi2には、対応の結合素子のグループにおける、
“興奮状態”、“抑制状態”にそれぞれの増幅素子が与
える結合強度の重みを乗算し、この乗算された値を加算
した電位(または電流)に対応する電位(または電流)
が発生する。センスアンプ101−1〜101−Mの各
々は、このノードS1〜SMに発生した電位(または電
流)を増幅して出力する。このとき各センスアンプ10
1−1〜101−Mの各々の基準電位が適当に選択され
ていれば、このセンスアンプ101−1〜101−Mの
各々は、このノードS1〜SMの各々に現われた信号電
位を参照電位と比較して差動的に増幅して出力すること
になる。
第3図にこの発明のさらに他の実施例である半導体神経
回路網の全体の構成を概略的に示す。この第3図に示す
構成においては、結合マトリクス100から相補なニュ
ーロン出力信号が出力される。すなわち、この結合マト
リクス100からの内部データ線は、信号線対B11,
▲▼〜B1N,▲▼,B21,▲▼
〜B2N,▲▼、BM1,▲▼〜BMN,
▲▼の相補な対をなしている。
重み付加電流加算回路500−c〜500−eの各々
は、正側データ線の出力の総和が現われるノードNAi
の電流と負側の内部データ線の電流出力の総和を受ける
ノードNBi上の電位とを差動的に検知増幅する。
この第3図に示す神経回路網の構成は、第1図に示すも
のと同様であるが、結合マトリクス内へのフィードバッ
ク線が設けられておらず、相互結合を有しない非ホップ
フィールド型である点が第1図の構成と異なっている。
この結合素子Tijkの各々は、第13図に示す従来の
ものと同様である。したがって、第3図に示す構成にお
いて、データ入力線への信号電位を結合マトリクス内へ
フィードバックするための配線が設けられておらず、し
たがって増幅回路が設けられていない点が第1図の構成
と異なっており、その他の構成は同様である。
この構成の場合、確実に相補信号を導出するために、対
をなす内部データ出力線において一方側に内部データ線
電位を反転して出力する反転増幅回路を設けてノードN
Ai(またはNBi)へ伝達する構成としてもよい。
さらに、第3図に示す構成においては結合マトリクスの
結合状態プログラム時において、この重み付加電流加算
回路500と結合マトリクス100とを切り離すため
に、相補切換信号▲▼に応答してオン状態となる
転送ゲート115が設けられる。
なお、1行分のデータを格納するデータラッチを設け、
このデータラッチから1度に1行の結合素子へプログラ
ム情報を書込む構成としてもよい。
この第3図に示す構成においては、センスアンプSA−
1〜SA−Mへは差動の入力信号が印加されるため、よ
り正確に、“興奮”、“抑制”と重みづけされた結合強
度の積和演算を実行することが可能となる。
なお、この第3図に示す構成の重み付加電流加算回路に
おいて、第2図に示す構成と同様にノードNAi,NB
iにそれぞれ高レベルを付与するためのプルアップ抵抗
を設けてもよく、またセンスアンプの活性タイミングを
制御するためのトランジスタを設ける構成としてもよ
い。
またこれに代えて、重み付加を行なうトランジスタの一
方端子に接続される電位を動作電源電位VCCレベルと
してもよい。
なお第1図および第3図に示す構成においては、重み付
加電流加算回路におけるセンスアンプは差動入力を受け
ているため、この差動入力を所定の電位にプリチャージ
しかつイコライズしておけば、より正確かつ高速に差動
的な感知増幅を行なうことが可能となる。第4図にこの
ような重みづけ付加電流加算回路の具体的構成例を詳細
に示す。
第4図において、重み付加電流加算回路500は、第1
図、および第3図に示す構成に加えて、相補内部データ
線Bij,▲▼の電位を所定電位にプリチャージ
しかつイコライズするための第1のプリチャージ/イコ
ライズ回路600と、センスアンプ101の入力ノード
NAi,NBiの電位を所定電位Vにプリチャージし
かつイコライズするための第2のプリチャージ/イコラ
イズ回路650を含む。
第1のプリチャージ/イコライズ回路600は、プリチ
ャージ/イコライズ指示信号BLEQに応答してオン状
態となり、内部データ出力線を所定電位VPBにプリチ
ャージするプリチャージトランジスタQT1と、プリチ
ャージ/イコライズ信号BLEQに応答してオン状態と
なり、相補内部データ出力線を電位VPBにプリチャー
ジするプリチャージトランジスタQT2と、プリチャー
ジ/イコライズ信号BLEQに応答してオン状態とな
り、内部データ出力線を電気的に短絡するイコライズト
ランジスタQT3とを含む。
第2のプリチャージ/イコライズ回路650は、ノード
NAiを所定電位Vにプリチャージするためのプリチ
ャージトランジスタQT4と、ノードNBiを所定電位
にプリチャージするためのプリチャージトランジス
タQT5と、ノードNAi,NBiを電気的に短絡して
等電位に保持するためのイコライズトランジスタQT6
を含む。トランジスタQT4,QT5およびQT6は、
イコライズ指示信号EQに応答してオン状態となる。
結合マトリクス100からの出力信号に重みを付加し、
この重みづけされた信号を加算する回路部分は、第1図
および第3図に示す構成と同様であり、それぞれ所定の
重みを有するように設計されたトランジスタQAi1〜
QAiN,QBi1〜QBiNがそれぞれ正側の内部デ
ータ線および相補内部データ線に対応して設けられる。
第5図に、プリチャージ/イコライズ信号BLEQ/E
Qを発生するための回路構成の一例を示す。
第5図を参照して、プリチャージ/イコライズ信号発生
回路は、入力データ信号Aiの変化時点を検出して、入
力変化検知信号ATDを導出する信号変化検出回路70
1と、信号変化検出信号ATDに応答して所定のパルス
幅を有するワンショット・パルス信号を発生するBLE
Q/EQ発生回路702と、入力変化検知信号ATDに
応答して所定の時間幅を有するワンショット・パルスを
発生するSAE発生回路703とを備える。
信号変化検出回路701へ与えられる入力信号Aiは、
レジスタ104(第3図参照)へ与えられる外部データ
信号であってもよく、またレジスタ104が導出する内
部データ信号のいずれであってもよい。レジスタ104
が、バッファ機能を有している場合には、できるだけ早
いタイミングで入力変化検知信号ATDを導出するのが
好ましいため、信号変化検出回路701へ与えられる信
号としては、外部入力データ信号が好ましい。
BLEQ/EQ発生回路702から発生されるワンショ
ット・パルス信号は、プリチャージ/イコライズ信号B
LEQおよびEQを与える。SAE発生回路703から
のワンショット・パルス信号がセンスアンプ活性化信号
SAEとなる。次に、第4図に示す回路の動作を、その
動作波形図である第6図を参照して説明する。
神経回路網の動作時においては、切換信号MUX,▲
▼に応答して、転送ゲート115が導通状態とな
り、重みづけ電流加算回路500と結合マトリクス10
0とが接続される。続いて入力データ信号Ai(これは
外部データ信号および内部データ信号いずれであっても
よい)が与えられると、この入力データ信号の変化時点
が信号変化検出回路701により検出され、入力変化検
知信号ATDが出力される。入力変化検知信号ATD
は、所定の時間幅を有するワンショット・パルス信号で
あり、この信号の立上がりに応答してプリチャージ/イ
コライズ信号BLEQ,EQが発生される。これによ
り、プリチャージ/イコライズ回路600,650が活
性化され、内部データ線対およびノードNAi,NBi
をそれぞれ所定の電位VPB,Vにプリチャージしか
つイコライズする。
このプリチャージ/イコライズ信号BLEQ,EQが立
下がると、ノードNAi,NBi上には、結合マトリク
ス100へ与えられた入力データ信号Aiに対応した電
流が流れ込み、それぞれのノード電位に変化が生じる。
このノードNAi,NBi上の微小電位差(電流差)が
現われた後、プリチャージ/イコライズ信号BLEQ,
EQの立下がりに応答して、所定の遅延後センスアンプ
活性化信号SAEが発生され、ノードNAi,NBi上
の信号の電位差(電流差)が差動的に感知増幅される。
これにより、この差動的に感知増幅された信号Biが出
力データ信号として導出される。
入力データ信号Aiが与えられなくなると、これに応答
して入力変化検知信号ATDが再び発生されてこの検知
信号ATDの立上がりに応答してセンスアンプ活性化信
号SAEは不活性状態となる。これにより、神経回路網
動作の1回のサイクルが完了する。
上述のように、ワンショット・パルス信号を用いて、内
部データ信号線対および差動入力ノードNAi,NBi
を等電位化した後に、各信号線対上に現われる微小電位
により差動入力ノードに現われた微小電位差を感知増幅
して出力データを増幅する構成とすることにより、高感
度、低消費電力、および高速で動作する回路構成を得る
ことが可能となる。
なお、第5図および第6図に示す回路構成においては、
内部入力データ信号は外部入力データ信号に対応して発
生されている。この場合、内部入力データ信号が与えら
れる時間幅によっては、内部データ出力線対および差動
入力ノードの電位がフルスイングする場合も考えられ
る。
このような信号線対の電位がフルスイングするのを防止
し、高速動作および低消費電力化を図るために、内部入
力データ信号をワンショット化させて発生する回路構成
を第7図に示す。
第7図を参照して、ワンショット化回路は、外部入力デ
ータExt,Aiの変化時点を検出し、入力変化検知信
号ACDを発生する信号変化検出回路710と、この入
力変化検知信号ACDに応答して活性化され、外部入力
データ信号Ex.Ai等を通過させるゲート回路71
1,712を備える。ワンショット化ゲート回路71
1,712は各々外部入力データ信号に対応して設けら
れており、ワンショットの入力変化検知信号ACDによ
り外部入力信号Ex.Ai等を通過させるため、ワンシ
ョット化された内部入力データ信号Int.Ai等が得
られる。
このワンショット化ゲート回路711〜712等は、第
3図に示すレジスタ104に対応する。
この第7図に示すワンショット化回路を用いて入力デー
タ信号をワンショット化すれば、第8図に示すように信
号線対上に現われる信号電位変化は、入力データ信号が
与えられる時間が短くなるため、フルスイングしなくな
り、このフルスイングしなくなった状態で感知増幅動作
が行なわれるため、高速化および低消費電力化を達成す
ることができる。
ここで、第8図においては、信号線対Bij,▲
▼における電位変化がフルスイングしなくなっている状
態を示しているがセンスアンプ101(SA)が活性化
される時間も応じて短くすれば、ノードNAi,NBi
の電位変化もフルスイングしなくなり、同時にデータ読
出時における高速化および低消費電力化を得ることがで
きる。
また、このときイコライズ/プリチャージ信号BLEQ
/EQおよびセンスアンプ活性化信号SAEは、このワ
ンショット化された内部データ信号Int.Aiの変化
時点を検出して出力するように構成してもよく、またこ
の入力変化検知信号ACDに応答して発生するように構
成してもよい。
なお、第5図および第7図に示す信号変化検出回路70
1,710の具体的回路構成については詳述しないが、
これは、通常半導体記憶装置の1つであるランダム・ア
クセス・メモリにおいて内部動作タイミング信号を発生
するためのアドレス変化検出回路と同様の構成を用いて
実現することができる。
第9図はこの発明のさらに他の実施例である半導体神経
回路網の要部の構成を示す図である。第9図において、
結合素子Tij1およびTijkの構成の一例が示され
る。この第9図に示す結合素子の構成は第15図に示す
従来の結合素子の構成と対応している。しかしながら、
この結合素子の構成は特にこの構成に限定されず、結合
素子の結合度情報がそこに含まれる記憶素子により記憶
されており、その記憶情報にしたがって入力信号とシナ
プス結合強度との積演算を行なう構成であればよい。
結合素子Tij1は結合度情報を記憶するランダム・ア
クセス・メモリからなる記憶素子150aおよび151
aを含む。記憶素子150aおよび151aの記憶情報
に応じてスイッチング素子S2およびS3の導通状態が
設定される。スイッチング素子S1およびS4にはそれ
ぞれ入力信号Ai,▲▼が伝達される。
同様に結合素子Tijkは記憶素子150bおよび15
0bを含む。結合素子Tij1の出力信号は内部出力線
Bj1に伝達され、結合素子Tijkの出力信号は内部
出力線Bjkへ伝達される。内部出力線Bj1はトラン
ジスタQj1のゲートに接続される。内部出力線Bjk
はトランジスタQjkに接続される。トランジスタQj
1のコンダクタンスはトランジスタQjkのそれよりも
小さくされている。すなわち内部出力線Bjkに付随す
る重みづけは内部出力線Bj1のそれよりも大きくされ
る。
トランジスタQj1およびQjkの一方導通端子はノー
ドNjを介して増幅回路101−jの入力部に接続され
る。この増幅回路101−jから出力信号Bjが導出さ
れる。この増幅回路101−jは、ノードNj上に現れ
た電流または電圧信号をその入力論理しきい値によりし
きい値処理した後増幅して出力する。この結合素子Ti
j1およびTijkにおいて添字iは神経回路網への入
力信号の番号に対応し、添字jは出力信号Bjの番号に
対応する。さらに、添字kおよび1はこの結合素子に付
随する重みづけの度合いに対応し、たとえばそれぞれ重
み2,2に対応すると考えることができる。
結合強度の重みづけが大きい結合素子すなわち、結合素
子Tijkにおける記憶素子150bおよび151bの
情報保持能力は結合素子Tij1の記憶素子150aお
よび151aのそれよりも大きくされる。この情報保持
能力の設定は、記憶素子の寸法を大きくするか、または
この記憶素子の情報保持部に関連する部分のみの寸法を
大きくすることにより調整される。この記憶素子の保持
能力は、それに関連する内部出力線が有する重みづけの
或る関数として与えられ、この関数は線形関数であって
もまた非線形関数であってもよい。
すなわち一般に、結合素子マトリクス(Tik1)にお
いて添字kが大きい結合素子の記憶素子150,151
(RAMk1,RAMk2)の情報保持能力はその添字
kに応じて大きく設定される。
この半導体装置神経回路網の動作は上述の実施例と同様
である。一般に、半導体集積回路の微細化に伴い、そこ
に含まれる記憶素子のサイズも小さくされ、そのデータ
保持特性が、電気的ノイズおよび電離放射線などの影響
により悪化することが知られている。このため、種々の
半導体集積回路素子において、微細化の利点である高速
動作性および多機能化などの高性能化、高密度化による
多機能化、低価格化および高歩留り化等を享受しつつ記
憶素子のデータ保持特性に代表される動作余裕を確保す
るための方策が種々模索されている。
半導体神経回路網においても、その動作原理から本質的
には部分的な結合素子の不安定化に伴う誤動作に対する
安定性は高いとされている。しかし、結合強度に対する
重みづけの大きい結合素子(添字kが大きい結合素子)
の記憶情報が反転すると、その結合素子の処理過程に対
する寄与が大きいため、神経回路網動作における致命的
な誤動作が生じる恐れがある。これは、生体の脳におい
ても、同程度の損傷が生じたとしてもその損傷箇所に応
じて機能回復が行なわれる場合と行なわれない場合が生
じるのに類似している。すなわち、脳損傷において、そ
の損傷が脳幹などの重要な箇所におけるものである場
合、この損傷を受けた機能がほぼ永久に回復しないのに
類似している。
この神経回路網において、重みづけが大きい内部出力線
に接続される結合素子は、その処理過程に対し重要な機
能を果たしていると見なすことができる。したがって、
このような結合素子における記憶情報の反転などのよう
なソフトエラーを防止するのはもとよりその情報保持特
性および動作安定性を保証するのが望ましい。これによ
り、低占有面積で簡易な構成により、結合素子が与える
結合強度の重みづけを確実に多値化できる神経回路網の
動作安定性をより確実に保証することができる。
[発明の効果] 以上のように、この発明によれば、結合素子マトリクス
外部に設けた重み付加回路によりシナプス結合強度の多
値化を実現したので、結合素子としては単純な構造のも
のを採用することができ、結合マトリクスの高密度化を
実現することができ、小型かつ大容量の半導体神経回路
網を得ることができる。
また、重み付加回路は、トランジスタサイズ(ゲート
長、ゲート幅等)によって所定の重みを与えるように構
成したので、このトランジスタは、内部データ線1本に
対して1個設けるだけでよいため、十分な素子面積を得
ることができ、これにより簡易な構成でかつ小占有面積
でかつ所定の重みを正確に付加することのできる重み付
加回路を、神経回路網チップの占有面積を増大させるこ
となく実現することが可能となる。
また、重みづけが大きい内部出力線に関連する結合素子
に含まれる記憶素子のデータ保持特性および動作安定性
をその寸法調整などにより強化したので、占有面積の増
加を最小に維持しつつ、より高い動作安定性を有する半
導体神経回路網を得ることができる。
【図面の簡単な説明】
第1図はこの発明の一実施例であるホップフィールド型
半導体神経回路網の要部の構成を示す図である。第2図
はこの発明の他の実施例である半導体神経回路網の全体
の構成を示す図である。第3図はこの発明のさらに他の
実施例である半導体神経回路網の全体の構成を示す図で
ある。第4図は重み付加電流加算回路の具体的構成の一
例を詳細に示す図である。第5図は第4図に示す回路の
制御信号を発生するための回路を示す図である。第6図
は第4図に示す回路の動作を示す信号波形図である。第
7図は内部データ信号をワンショット化するための回路
構成を概略的に示す図である。第8図は第7図の回路を
用いた際の半導体神経回路網における内部信号のタイミ
ングを示す図である。第9図はこの発明のさらに他の実
施例である半導体神経回路網の結合素子の構成の一例を
示す図である。第10図はニューロンのモデルを概念的
に示す図である。第11A図および第11B図はニュー
ロンのしきい値関数の一例を示す図である。第12図は
従来の半導体神経回路網の全体を概略的に示す図であ
る。第13図は従来のホップフィールド型神経回路網の
概略構成を示す図である。第14図は第13図に示す基
本結合素子の構成を概略的に示す図である。第15図は
従来のボルツマンモデルによる神経回路網の概略構成を
示す図である。第16図は第15図に示す回路の基本結
合素子の構造を示す図である。 図において、150,150a,150b,151a,
151bは結合素子に含まれる記憶素子、500a,5
00b,500−c,500−d,500−eは重み付
加電流加算回路、NAi(iは任意の整数)は第1のノ
ード、NBi(iは任意の整数)は第2のノード、QA
ij,QBij(i,jは任意の整数)は増幅素子、A
i,▲▼はデータ入力線、Bij,▲▼は内
部データ出力線、Tijkは(i,j,kは任意の整
数)は結合素子、SA−1〜SA−Mはセンスアンプ、
101はセンスアンプである。 なお、図中、同一符号は同一または相当部分を示す。

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】各々が、入力データ信号を伝達する複数の
    入力線、 前記複数の入力線と交差する方向に設けられ、各々が、
    内部出力データ信号を伝達する複数の内部出力線、前記
    複数の内部出力線は複数のブロックに分割され、 前記入力線と前記内部出力線の各交差部に設けられ、各
    々が、対応の入力線と対応の内部出力線とを固有の結合
    度で結合して前記対応の入力線と前記対応の内部出力線
    との間で信号の伝達を行なう複数の結合素子、前記複数
    の結合素子の各固有の結合度はプログラム可能であり、
    および 前記複数の内部出力線グループの各々に対応して設けら
    れ、各々が、対応の内部出力線グループ内の各内部出力
    線上の信号に所定の重みを付加しかつこの重みづけされ
    た内部出力データ信号をすべて加算して出力する複数の
    重みづけ加算手段を備える、半導体神経回路網。
  2. 【請求項2】前記重みづけ加算手段の各々は、 各々が、対応の内部データ出力線に結合される制御電極
    と、所定の電位を受けるように結合される一方電極と、
    他方電極とを有し、その電流供給能力が前記制御電極上
    の電位の1次関数で与えられかつ該素子のサイズに比例
    する複数の増幅素子、および 前記複数の増幅素子の各前記他方電極に共通に接続され
    る入力端子を有し、この入力端子上の電位を増幅して出
    力する増幅器を備える、請求項第1項記載の半導体神経
    回路網。
  3. 【請求項3】前記複数の結合素子の各々は、該結合素子
    の結合強度を表現する情報を格納する記憶素子を含み、
    前記記憶素子のデータ保持能力は、該結合素子が接続さ
    れる内部出力線に付随する重みに応じて設定される、請
    求項第1項記載の半導体神経回路網。
JP2113055A 1989-12-16 1990-04-28 半導体神経回路網 Expired - Fee Related JPH0634248B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2113055A JPH0634248B2 (ja) 1989-12-16 1990-04-28 半導体神経回路網
US07/605,717 US5202956A (en) 1989-12-16 1990-10-30 Semiconductor neural network and operating method thereof
US08/005,454 US5396581A (en) 1989-12-16 1993-01-19 Semiconductor neural network and operating method thereof
US08/292,624 US5475794A (en) 1989-12-16 1994-08-17 Semiconductor neural network and operating method thereof

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP1-326258 1989-12-16
JP32625889 1989-12-16
JP2113055A JPH0634248B2 (ja) 1989-12-16 1990-04-28 半導体神経回路網

Publications (2)

Publication Number Publication Date
JPH03223982A JPH03223982A (ja) 1991-10-02
JPH0634248B2 true JPH0634248B2 (ja) 1994-05-02

Family

ID=26452086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2113055A Expired - Fee Related JPH0634248B2 (ja) 1989-12-16 1990-04-28 半導体神経回路網

Country Status (2)

Country Link
US (3) US5202956A (ja)
JP (1) JPH0634248B2 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5404556A (en) * 1992-06-15 1995-04-04 California Institute Of Technology Apparatus for carrying out asynchronous communication among integrated circuits
JP3438241B2 (ja) * 1992-10-29 2003-08-18 直 柴田 半導体神経回路装置
US5491650A (en) * 1993-04-19 1996-02-13 California Institute Of Technology High precision computing with charge domain devices and a pseudo-spectral method therefor
US5504780A (en) * 1994-01-06 1996-04-02 Bell Communications Research Inc. Adaptive equalizer using self-learning neural network
US5625752A (en) * 1994-06-17 1997-04-29 The United States Of America As Represented By The Secretary Of The Navy Artificial neural system with binary weighting by equal resistor network
EP0768610B1 (en) * 1995-10-13 2000-08-09 STMicroelectronics S.r.l. Low-voltage, very-low-power neural network
JPH09231189A (ja) * 1996-02-26 1997-09-05 Fuji Xerox Co Ltd 連想記憶装置および連想記憶方法
US5873000A (en) * 1996-07-19 1999-02-16 Compaq Computer Corporation System incorporating hot docking and undocking capabilities without requiring a standby or suspend mode by placing local arbiters of system and base into idle state
US6281831B1 (en) * 1997-05-15 2001-08-28 Yozan Inc. Analog to digital converter
US6094726A (en) * 1998-02-05 2000-07-25 George S. Sheng Digital signal processor using a reconfigurable array of macrocells
US6269354B1 (en) * 1998-11-30 2001-07-31 David W. Arathorn General purpose recognition e-circuits capable of translation-tolerant recognition, scene segmentation and attention shift, and their application to machine vision
US6483732B2 (en) 2000-12-13 2002-11-19 Koninklijke Philips Electronics N.V. Relational content addressable memory
US6889216B2 (en) * 2002-03-12 2005-05-03 Knowm Tech, Llc Physical neural network design incorporating nanotechnology
US20040039717A1 (en) * 2002-08-22 2004-02-26 Alex Nugent High-density synapse chip using nanoparticles
US8156057B2 (en) * 2003-03-27 2012-04-10 Knowm Tech, Llc Adaptive neural network utilizing nanotechnology-based components
US7412428B2 (en) * 2002-03-12 2008-08-12 Knowmtech, Llc. Application of hebbian and anti-hebbian learning to nanotechnology-based physical neural networks
US7392230B2 (en) * 2002-03-12 2008-06-24 Knowmtech, Llc Physical neural network liquid state machine utilizing nanotechnology
US9269043B2 (en) 2002-03-12 2016-02-23 Knowm Tech, Llc Memristive neural processor utilizing anti-hebbian and hebbian technology
US7398259B2 (en) 2002-03-12 2008-07-08 Knowmtech, Llc Training of a physical neural network
US7752151B2 (en) * 2002-06-05 2010-07-06 Knowmtech, Llc Multilayer training in a physical neural network formed utilizing nanotechnology
US7827131B2 (en) * 2002-08-22 2010-11-02 Knowm Tech, Llc High density synapse chip using nanoparticles
US7426501B2 (en) * 2003-07-18 2008-09-16 Knowntech, Llc Nanotechnology neural network methods and systems
US20060112028A1 (en) * 2004-11-24 2006-05-25 Weimin Xiao Neural Network and Method of Training
US7502769B2 (en) * 2005-01-31 2009-03-10 Knowmtech, Llc Fractal memory and computational methods and systems based on nanotechnology
US7409375B2 (en) * 2005-05-23 2008-08-05 Knowmtech, Llc Plasticity-induced self organizing nanotechnology for the extraction of independent components from a data stream
US7420396B2 (en) * 2005-06-17 2008-09-02 Knowmtech, Llc Universal logic gate utilizing nanotechnology
US7599895B2 (en) 2005-07-07 2009-10-06 Knowm Tech, Llc Methodology for the configuration and repair of unreliable switching elements
US7930257B2 (en) 2007-01-05 2011-04-19 Knowm Tech, Llc Hierarchical temporal memory utilizing nanotechnology
DE102008015001B4 (de) * 2008-03-19 2010-09-02 Bruker Daltonik Gmbh Verfahren für den Transfer und Nachweis von Substanzen von einer Oberfläche in einem Nachweisgerät
US10410117B2 (en) 2008-09-21 2019-09-10 Brainchip, Inc. Method and a system for creating dynamic neural function libraries
JP6524933B2 (ja) * 2016-02-03 2019-06-05 富士通株式会社 ボルツマンマシン、ボルツマンマシンの制御方法及びボルツマンマシンを有する情報処理装置
JP6773970B2 (ja) * 2016-09-09 2020-10-21 富士通株式会社 情報処理装置、イジング装置及び情報処理装置の制御方法
JP6708146B2 (ja) * 2017-03-03 2020-06-10 株式会社デンソー ニューラルネットワーク回路
US10679123B2 (en) 2017-04-25 2020-06-09 International Business Machines Corporation Implementation of sigmoid function using non-complementary transistors
US11222259B2 (en) 2017-12-13 2022-01-11 International Business Machines Corporation Counter based resistive processing unit for programmable and reconfigurable artificial-neural-networks
JP6773239B2 (ja) * 2017-12-28 2020-10-21 Tdk株式会社 積和演算器、ニューロモーフィックデバイスおよび積和演算器の使用方法
JP2021039477A (ja) * 2019-09-02 2021-03-11 ソニー株式会社 演算装置及び積和演算システム
CN112580790B (zh) * 2019-09-29 2023-06-30 华为技术有限公司 神经网络计算电路、芯片及系统
CN111060779B (zh) * 2019-11-20 2022-03-11 安徽大学 一种基于概率神经网络的电网分区故障诊断方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4660166A (en) * 1985-01-22 1987-04-21 Bell Telephone Laboratories, Incorporated Electronic network for collective decision based on large number of connections between signals
JPS6280897A (ja) * 1985-10-04 1987-04-14 Mitsubishi Electric Corp 半導体記憶装置
US4901271A (en) * 1987-01-20 1990-02-13 American Telephone And Telegraph Company, At&T Bell Laboratories Computational network
US4807168A (en) * 1987-06-10 1989-02-21 The United States Of America As Represented By The Administrator, National Aeronautics And Space Administration Hybrid analog-digital associative neural network
JP2595051B2 (ja) * 1988-07-01 1997-03-26 株式会社日立製作所 半導体集積回路
JPH02287670A (ja) * 1989-04-27 1990-11-27 Mitsubishi Electric Corp 半導体神経回路網
US4988891A (en) * 1989-05-09 1991-01-29 Mitsubishi Denki Kabushiki Kaisha Semiconductor neural network including photosensitive coupling elements
JPH02310666A (ja) * 1989-05-25 1990-12-26 Mitsubishi Electric Corp 半導体神経回路装置
US5146542A (en) * 1989-06-15 1992-09-08 General Electric Company Neural net using capacitive structures connecting output lines and differentially driven input line pairs
US5101361A (en) * 1989-09-29 1992-03-31 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Analog hardware for delta-backpropagation neural networks

Also Published As

Publication number Publication date
JPH03223982A (ja) 1991-10-02
US5475794A (en) 1995-12-12
US5396581A (en) 1995-03-07
US5202956A (en) 1993-04-13

Similar Documents

Publication Publication Date Title
US5475794A (en) Semiconductor neural network and operating method thereof
US11663457B2 (en) Neural network circuits having non-volatile synapse arrays
US5021988A (en) Semiconductor neural network and method of driving the same
US5274746A (en) Coupling element for semiconductor neural network device
JP6477924B2 (ja) メモリスタ神経形態学的回路及びメモリスタ神経形態学的回路をトレーニングするための方法
US4950917A (en) Semiconductor cell for neural network employing a four-quadrant multiplier
US20200202206A1 (en) Artificial neuron for neuromorphic chip with resistive synapses
Holler et al. An electrically trainable artificial neural network (ETANN) with 10240'floating gate'synapses
CN1717741B (zh) 用于至少具有两个不同电阻状态的存储器的读出放大器
JP3122756B2 (ja) 半導体装置
JP3289748B2 (ja) 半導体装置
TWI751403B (zh) 具有非揮發性突觸陣列的神經網路電路及神經晶片
US6269352B1 (en) Low-voltage, very-low-power conductance mode neuron
JPH0373080A (ja) 半導体神経回路網
US10839898B2 (en) Differential memristive circuit
TW202032545A (zh) 記憶體裝置及其操作方法
TWI699711B (zh) 記憶體裝置及其製造方法
US5187680A (en) Neural net using capacitive structures connecting input lines and differentially sensed output line pairs
US11443174B2 (en) Machine learning accelerator
KR102354286B1 (ko) 신경망을 위한 시냅스 스트링 및 시냅스 스트링 어레이
US20210232905A1 (en) Neuromorphic architecture
CN112270409B (zh) 一种基于霍尔条的无监督学习突触单元电路
US8189410B1 (en) Memory device and method thereof
Schemmel et al. A VLSI implementation of an analog neural network suited for genetic algorithms
TWI845270B (zh) 記憶體內計算記憶體裝置及記憶體內計算方法

Legal Events

Date Code Title Description
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees