JPH03223982A - 半導体神経回路網 - Google Patents

半導体神経回路網

Info

Publication number
JPH03223982A
JPH03223982A JP2113055A JP11305590A JPH03223982A JP H03223982 A JPH03223982 A JP H03223982A JP 2113055 A JP2113055 A JP 2113055A JP 11305590 A JP11305590 A JP 11305590A JP H03223982 A JPH03223982 A JP H03223982A
Authority
JP
Japan
Prior art keywords
coupling
input
data
signal
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2113055A
Other languages
English (en)
Other versions
JPH0634248B2 (ja
Inventor
Koichiro Masuko
益子 耕一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2113055A priority Critical patent/JPH0634248B2/ja
Priority to US07/605,717 priority patent/US5202956A/en
Publication of JPH03223982A publication Critical patent/JPH03223982A/ja
Priority to US08/005,454 priority patent/US5396581A/en
Publication of JPH0634248B2 publication Critical patent/JPH0634248B2/ja
Priority to US08/292,624 priority patent/US5475794A/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Logic Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 [産業上の利用分野] この発明は半導体神経回路網に関し、特に、簡易な構成
で結合マトリクスの各結合素子の有する結合度を実質的
に多値表現することのできる結合マトリクスの構成に関
する。
[従来の技術] 近年、人間の神経細胞にニューロン)をモデルとした回
路が各種考案されている。このような二ニーロンモデル
の1つにホップフィールドモデルと呼ばれるものがある
。以下、簡単にこのホップフィールドモデルについて説
明する。
第10図にニューロンをモデルとするユニットの構造の
概略を示す。ユニットiは、他のユニッ)k、j、1等
からの信号を受ける入力部Aと、与えられた入力を一定
の規則に従って変換する変換部Bと、その変換結果を出
力する出力部Cとを含む。
入力部Aは、各ユニット間の結合の強さを示す重み(シ
ナプス)Wを各入カニニットに対して有する。したがっ
て、たとえば、ユニットkからの信号Skは、重みWi
 kが付加された後変換部Bへ伝達される。この重みW
は正、負および0の値をとることができる。
変換部Bは、重みWを付された入力Sの総和netを予
め定められた関数fを通した後に出力する。すなわち、
時刻tにおけるユニットiからの出力Stは、 Ui  (t)=net (i)=ΣWij−8j。
5i=f [Ui  (t)]、 で与えられる。関数fとしては、第11A図に示すしき
い値関数または第11B図に示すシグモイド関数が用い
られることが多い。
第11A図に示すしきい値関数は、入力の総和net(
i)がしきい値(θ)以上となると論理“1”を出力し
、それ以下の値では論理″0”を出力する特性を有する
ユニットステップ関数である。
第11B図に示すシグモイド関数は、 f=1/ [1+exp (−ne t (i))コで
与えられる非線形単調増加関数である。シグモイド関数
の値域は0ないし1であり、入力の総和net(i)が
小さくなるにつれて“0”に近づき、入力の総和net
 (i)が大きくなるにつれて“1”に近づく。このシ
グモイド関数は、入力の総和net(i)が“0”のと
き“0.5”を出力する。
上述のシグモイド関数に対してしきい値θを付加し、 f=1/ [1+exp  (−ne t  (i) 
 十〇))]で表わされる関数が用いられる場合もある
上述の第10図に示すニューロンユニットは、生体細胞
が他のニューロンからの刺激を受け、この刺激の総和が
成る値以上になると出力を発生(発火)するというモデ
ルに従っている。ホップフィールドモデルは、上述のよ
うなニューロンユニットを複数個用いてネットワークを
構成したときのネットワークの動作モデルを与えるもの
である。
前述の式においては、各ニューロンユニットに初期状態
が与えられると、以後の各ニューロンユニットの状態は
、すべてのニューロンユニットに対し前述の2つの力学
方程式を連立させて適用して解くことにより原理的には
すべて決定される。
しかしながら、ユニット数が増大すると、各ユニットの
状態を逐−調べてその状態を把握し、目的とする問題に
対して最適な解を与えるように重みおよびバイアス値を
プログラムする方法はほとんど不可能に近い。そこで、
ホップフィールドは、個々のユニットの状態に代えて、
系にューラルネット)全体の特性を表わす量として E=−(1/2)、Σ、Wij−8i−8j1、J ΣIi・Si で定義されるエネルギ関数Eを導入する。ここで、It
はユニットiに固有の自己バイアス値である。
重み(シナプス荷重)WijがWij=Wjiという対
称性を持つ場合、各ユニットは上述のエネルギ関数Eを
常に最小(正しくは極小二ロ一カルミニマ)にするよう
に自らの状態を変化させていくことをホップフィールド
が示し、このモデルを重みWijのプログラムに適用す
ることを提案した。この前述のエネルギ関数Eに従うモ
デルは、ホップフィールドモデルと呼ばれる。
前述の式は離散的モデルとして、 Ui (n) =IWi j−8j  (n) +I 
i。
St  (n+1)=f [Ui  (n)コとして表
わされることが多い。ここで、nは離散時間を示す。上
述のホップフィールドモデルは、入出力特性を示す関数
fの勾配が急(はとんどの出力が“0”または“1”に
近い値をとるユニットステップ関数に近い関数)の場合
には、特に良い精度で成立することがホップフィールド
自身により示されている。
このホップフィールドモデルに従って神経回路網をVL
SI(大規模集積回路)で構築することが行なわれてお
り、その−例は、たとえばIEEE(インスティチュー
ト・オブ・エレクトリカル・アンド・エレクトロニクス
・エンジニアーズ)発行の“コンピュータ”誌の198
8年3月号の第41頁ないし第49頁に開示されている
第12図に従来の神経回路網集積回路の全体の概略構成
を示す。第12図を参照して、従来の神経回路網集積回
路は、所定の重みを有する抵抗性結合素子がマトリクス
状に配列された抵抗マトリクス100と、抵抗マトリク
ス100に含まれるデータ入力線(図示せず)上の電位
を増幅し、かつこの増幅信号を抵抗性結合素子の入力部
へフィードバックする増幅回路101とを含む。抵抗マ
トリクス100は、後に詳細に説明するが、データ入力
線と、データ入力線と直交する方向に配列されるデータ
出力線とを含む。各データ入力線と各データ出力線との
抵抗性結合素子を介した相互接続はプログラム可能であ
る。
抵抗マトリクス100に含まれる各抵抗性結合素子の状
態(すなわちデータ入力線とデータ出力線との相互接続
状態)をプログラムするために、ロウデコーダ102と
ビットデコーダ103とが設けられる。ロウデコーダ1
02は、抵抗マトリクス100における1行の結合素子
を選択する。
ビットデコーダ103は、抵抗マトリクス100におけ
る1列の結合素子を選択する。
データの入出力を行なうために、入出力データを一時的
にラッチする入出力データレジスター04と、入出力デ
ータレジスター04を、データの書込/読出モードに応
じて抵抗マトリクス100に含まれるデータ入力線およ
びデータ出力線のいずれかに接続するマルチプレクサ1
05と、人出カブ−タレジスター04を装置外部と接続
するためのインタフェース(Ilo)106とが設けら
れる。この神経回路網は半導体チップ200上に集積化
される。第13図に第12図の抵抗マトリクスの構成の
一例を示す。
第13図を参照して、抵抗マトリクス100は、データ
入力線A1〜A4と、データ出力線Bl。
Bl、 B2. B2.  B3. B3.およびB4
.B4を含む。データ入力線A1〜A4とデータ出力線
Bl、Bl〜B4.B4との交点には、対応のデータ入
力線と対応のデータ出力線とを結合する抵抗性結合素子
1が設けられる。この結合素子1は、開放状態、励起状
態および抑制状態の3つの状態をとることができる。各
抵抗性結合素子1の状態は外部から、適用される問題に
応じてプログラム可能である。また、第12図において
は、この抵抗性結合素子1が開放状態の場合は示されて
いないが、各データ入力線と各データ出力線との交点の
すべてに抵抗性結合素子1が配設されている。抵抗性結
合素子1は、それぞれプログラムされた状態に従って対
応のデータ出力線の電位レベルを対応のデータ入力線上
に伝達する。
入力線A1〜A4の各々には、対応のデータ入力線上の
データ信号を増幅して対応のデータ出力線上へ伝達する
反転増幅器2−1〜2−8が設けられる。互いに直列に
接続された2つの反転増幅器は、1本のデータ入力線A
t (i=1〜4)に対する1個の増幅器ユニットCi
  (i=l〜4)として機能する。
反転増幅器2−1は、入力線A1上の電位を反転して出
力線B1上へ伝達する。反転増幅器2−2は入力線A1
上の電位を増幅して出力線肩上へ伝達する。反転増幅器
2−3は入力線A2上の信号電位を反転して出力線B2
上へ伝達し、反転0 増幅器2−4はデータ入力線A2上の信号電位を出力線
B2上へ伝達する。反転増幅器2−5および2−6はデ
ータ入力線A3上の信号電位をデータ出力線B3.B3
上へそれぞれ反転および正転して伝達する。反転増幅器
2−7および2−8は、データ入力線A4上の信号電位
を反転および正転してデータ出力線B4.B4上へそれ
ぞれ伝達する。
結合素子1の各々は、データ出力線をデータ入力線へ固
有の結合度をもって結合しているが、これは言い換える
と、成る増幅器の出力を別の増幅器の入力へ接続するこ
とになる。結合素子1の構成の一例を第14図に示す。
第14図を参照して、抵抗性結合素子1は、抵抗素子R
+、R−と、スイッチング素子SL、S2、S3および
S4と、ランダム・アクセス・メモリ・セル150,1
51を含む。抵抗素子R十はその一方端が電源電位■。
Dに接続される。抵抗素子R−はその一方端が、他方の
電源電位VsSに接続される。スイッチング素子S1は
、反転1 増幅器2bの出力によりそのオン・オフが制御される。
スイッチング素子S2は、ランダム・アクセス・メモリ
・セル150が記憶する情報に従ってオン・オフ状態と
なる。スイッチング素子S3は、ランダム・アクセス・
メモリ・セル151が記憶する情報に従ってそのオン・
オフ状態が設定される。スイッチング素子S4は、反転
増幅器2aの出力によりそのオン・オフが制御される。
ランダム・アクセス・メモリ・セル150および151
は、外部から予め、その出力状態(記憶情報)をプログ
ラムすることが可能であり、したがって、スイッチング
素子32.S3のオン・オフ状態も予めプログラム可能
である。
第14図の構成において増幅回路Cj(反転増幅器2a
、2bから構成される回路)の出力は、スイッチング素
子とSL、S4のオン・オフ状態を制御するだけであり
、この増幅回路Cjの出力は対応のデータ入力線Aiに
直接電流を供給しない構成となっており、これにより増
幅回路Cjの出力負荷容量を軽減する。抵抗素子R+、
R−は2 電流制限抵抗である。
結合素子1は、ランダム・アクセス・メモリ・セル15
0,151のプログラム状態(または記憶情報)により
3状態をとることが可能である。
すなわち、スイッチング素子S2がオン状態(活性状態
)の興奮結合状態、スイッチング素子S3が活性状態(
オン状態)の抑制結合状態、および両スイッチング素子
S2.S3がともに非活性状態(オフ状態)の開放結合
状態の3状態である。
増幅回路Cjの出力線Bj、Bjの電位レベルと、成る
抵抗性結合素子1のプログラムされた結合状態とが一致
すれば、対応のデータ入力線Ai上には電源電位VDD
または他方の電源電位(たとえば接地電位)Vssのど
ちらかから電流が流れる。
抵抗性結合素子1のプログラムされた結合状態が、開放
結合状態の場合には、増幅回路Cjの出力状態にかかわ
らず、入力線Aiには電流は伝達されない。
上述の回路モデルを二ニーロンモデルに対応させれば、
増幅回路はニューロン本体(第10図の3 変換部)に対応する。入力線A1〜A4および出力線B
1〜B4.Bl〜B4は、第10図に示すデータ入力お
よび出力線構造(デンドライトおよびアクソン)にそれ
ぞれ対応する。抵抗性結合素子1は、ニューロン間の重
みづけを付加するシナプス荷重部に対応する。次に動作
について簡単に説明する。
第13図に示すモデルはしばしばコネクショニストモデ
ルと呼ばれる。このモデルにおいては、個々の二ニーロ
ンユニット(増幅回路)は、単に入力信号のしきい値化
(すなわち、予め定められたしきい値に対する入力信号
の大小に応じた信号を出力する)動作を行なうだけであ
る。各抵抗性結合素子1は、成る増幅回路の出力を、他
の増幅回路の入力に接続する。したがって、各増幅回路
Cjの出力状態は、すべての残りの増幅回路C1(i≠
j)の出力状態により決定される。成る増幅回路Cjが
対応の入力線Ajの電流を検出すると、そのときの増幅
回路Cjの出力は、Vouj(j) = j (J:I
i)4 =  I (E (Vout(i) −4in  (i
)) Wij)1 で与えられる。ここで、Vin (i)、Vout(i
)は、データ入力線Aiに接続される増幅回路Ciの入
出力電圧をそれぞれ示し、■iは1個の抵抗性結合素子
1を流れる電流であり、Wijはデータ入力線Aiに接
続される増幅回路Ciとデータ入力線Ajに接続される
増幅回路Cjを接続する抵抗性結合素子のコンダクタン
スである。
各増幅回路Cの出力電圧Voutは、その増幅回路C自
身の伝達特性により決定される。増幅回路C自身は、デ
ータ入力線Aに電流を供給せず、単にスイッチング素子
S1とスイッチング素子S4のオン・オフ動作を制御す
るだけである。これにより、増幅回路Cの出力負荷は、
データ出力線容量にまで低減され、高速性が保証される
。成る増幅回路Ciに対応する入力線Ai上の電圧は、
その入力線Aiに流れ込む電流の総和により与えられる
。この電圧は、この回路網を流れる総電流が零となる値
に調整される。この状態において、この神経回路網の総
エネルギが極小となる。
5 増幅回路Cの各々は、たとえばCMOSインバータで構
成されており、その入力インピーダンスは高く、前述の
ような非線形単調増加型のしきい値開数をその入出力特
性として有している。この場合、上述の総電流が0とな
るという条件より、という関係式が得られる。ここで、
■ijは、入力線Aiに接続される増幅回路Ciの出力
により制御される抵抗性結合素子の抵抗を流れる電流を
示す。Δ■ijは、抵抗性結合素子における電位差であ
り、 ΔVi j=Vin (D−Voo−興奮結合=Vin
 (j)−Vss・−・抑制結合で与えられる。また、
Rljは抵抗性結合素子における抵抗であり、R+また
はR−で与えられる。
したがって、電圧Vin(j)は、データ入力線Ajに
接続される増幅回路のすべての寄与の総和となる。
増幅回路Cは、高利得のしきい値素子として機能する。
この増幅回路Cのしきい値は、電源電位6 VssとvDDの和の約1/2に設定されることが多い
上述の演算はアナログ的な計算である。このアナログ的
な計算は、抵抗マトリクス100内で並列に一度に行な
われる。しかしながら、入力データ信号および出力デー
タ信号はともにデジタルデータである。次に、第13図
を参照して実際の演算動作について説明する。
入力データが、レジスタ10を介して各入力線A1−A
4上に与えられる。各入力線A1〜A4がそれぞれ入力
データに対応する電圧レベルに充電されることにより、
神経回路網の初期設定が完了する。各増幅回路C1〜C
4の出力電位は、まずデータ入力線A1〜A4に与えら
れた充電電位に応じて変化する。このデータ出力線上の
電位変化は、対応の各抵抗性結合素子を介して再びデー
タ入力線A1〜A4にフィードバックされる。各データ
入力線A1〜A4にフィードバックされる電位レベルは
、各抵抗性結合素子1のプログラム状態により規定され
る。すなわち、成る抵抗性結7 合素子1が、興奮結合状態にプログラムされている場合
には、電源電位V。Dからデータ入力線Aiに電流が流
れる。一方、抵抗性結合素子1が抑制結合状態にプログ
ラムされている場合には、接地電位Vssからデータ入
力線Aiに電流が流れ込む。このような動作が、開放結
合状態にある抵抗性結合素子を除いて並列に進行し、成
るデータ入力線Aiに流れ込む電流がアナログ的に加算
されることになり、これにより、データ入力線Aiの電
位が変化する。このデータ入力線Aiの電位変化が、対
応の増幅回路Ciのしきい値電圧を越えると、この増幅
回路Ciの出力電位が変化する。
この状態を繰返し、上述の電流の総和が零となる条件を
満たすように各増幅回路Cの出力電位が変化してゆき、
最終的に、前述の安定状態の式を満足する状態に回路網
の状態が安定化する。この回路網の状態が安定化したと
きは、各増幅回路C1〜C4の出力電圧が出力レジスタ
に格納された後に読出される。
この回路網の安定状態となったか否かの判定は、8 データ入力後の予め定められた時間が経過したか否かに
より行なわれるか、または出力レジスタに格納された時
間的に異なるデータを直接相互に比較し、その出力デー
タの差が所定値以下となったとき回路網が安定状態とな
ったと判定する構成がとられる。
上述の説明から明らかなように、この神経回路網からは
、神経回路網のエネルギが最小値(または極小値)に落
ち着くような出力データが出力される。したがって、抵
抗性結合素子1のプログラム状態に従って、抵抗マトリ
クス100は成るパターンや成るデータを記憶しており
、入力データとこの記憶したパターンまたはデータとの
一致/不一致を判定することができるため、このような
神経回路網は、連想記憶回路としてもまたパターン弁別
器としても機能することができる。
第13図に示す抵抗マトリクス100のデータ出力線か
らデータ入力線へのフィードバック経路をなくした構成
のものは、1層のパーセプトロン回路として知られてい
る。このパーセプトロン回9 路は、学習アルゴリズムの作成が容易であり、また多層
化して柔軟なシステムを構築することも可能である。
また、ホップフィールドモデルにおけるエネルギ関数を
確率変数とみなしホップフィールドのアルゴリズムを確
率系へ拡張することによりボルツマンモデル(ボルツマ
ンマシーン)が得られることが知られている。第15図
にこのボルツマンモデルに従った半導体神経回路網の要
部の構成の一例を示す。この第15図に示す構成は、た
とえばMITプレス発行の論文誌“アドバンスト・リサ
ーチ・イン・VLSI  1987”における第213
頁ないし第237頁の“ニューロモルフイックVLSI
学習システム”に開示されている。
第15図において、ニューロンユニットは2つの相補出
力S、■を有する差動増幅器21〜zjの各々により構
成される。ニューロンが“オン”状態の場合9、出力S
は“1” (5v)であり、ニューロンが“オフ”の場
合、出力Sは“0” (OV)である。二ニーロンユニ
ット(差動増幅器)0 の出力は、各差動入力IN、丁にへ抵抗性素子Rを介し
てフィードバックされる。抵抗性素子Rは、そのコンダ
クタンスが変更可能であり、このコンダクタンスにより
重みWijが規定される。
各入力線IN、INに自己バイアス値−〇を印加するた
めに、自己バイアス部分400が設けられる。この自己
バイアス部分400には、差動増幅器21を介して定常
的に“1”および“0”の相補データが印加される。生
体神経細胞に対応させると、対角線状に配列された差動
増幅器21〜Zjの各々が細胞体に相当し、しきい値処
理を行なう。入力線IN、INが他の細胞からの信号を
受ける樹状突起に対応する。このデータ入力線IN、I
Nはそれぞれが興奮性と抑制性の信号をともに伝えるこ
とができる。出力線S、Tは、成るニューロンからの信
号が次のニューロンへ伝達する軸索に対応する。抵抗性
素子Rは、シナプスに対応し、その抵抗値がニューロン
間の結合容量(シナプス荷重)を示す。
データ入力線IN、INとデータ出力線S、S1 との結合点、すなわちi行j列(i、  Dの位置に配
置される抵抗性素子Rは、ニューロン(差動増幅器)z
jの出力をニューロン(差動増幅器)Ziの入力へ接続
して正の重みWijを与えることができる。この正の重
みWijの場合、出力線Sjが入力線INiへ接続され
かつ相補出力線百jが相補データ入力線INiへ接続さ
れる。負の重みWijの場合には、相補データ出力線S
jがデータ入力線INiへ接続され、データ入力線Sj
が相補データ入力線INiへ接続される。
この神経回路網の初期設定は、抵抗性素子Rの抵抗値を
設定することにより行なわれる。ボルツマンモデルにお
ける問題は、入出力データの確率分布を外部から与えな
いで、“できるだけ正確に”神経回路網自体がこの分布
を実現することができるような重みWklを見い出すこ
とである。このために、各抵抗性素子の重みを設定する
ために、各重みWkl(k行り列に位置する抵抗性結合
素子のコンダクタンス)に対して重み処理装置(図示せ
ず)が設けられている。この重み処理装置は、2 重みデータをラッチするとともにそのラッチデータを隣
接するラッチヘシフトさせる機能を有し、かつ各操作ル
ープ(プラスフェーズ、マイナスフェーズ等)の後、所
定の関係式に従ってそのラッチデータをインクリメント
またはデクリメントする機能を備えている。
ボルツマンモデルのアルゴリズムは操作1(プラスフェ
ーズ)、操作2(マイナスフェーズ)、操作3(重みW
ilの変化)および操作0(出力層の学習)を含む。
操作1は、■焼鈍(アニーリング)過程と■データ収集
過程と■P+を求める過程とを含む。焼鈍過程は、その
振幅が操作が進むにつれて減少するアナログノイズ信号
を外部から各差動増幅器の差動入力へ印加することによ
り行なわれる。これは、高温で焼鈍過程を開始し、この
後、順次低温へ移行し、これにより神経回路網システム
が熱平衡状態の、低いグローバルエネルギ極小値へ安定
化したことを示す。この状態が各差動増幅器Zにおいて
生じ、各差動増幅器Zは自己の状態を評価3 してその状態を“オン”または“オフ”に設定する。デ
ータ収集過程は、結合し有った2つのニューロン(差動
増幅器)のそれぞれの状態がともに“1”になっている
回数を求める過程である。
操作2(マイナスフェーズ)では、入力データに対応し
たニューロン(差動増幅器)の状態のみを“1”に固定
して操作1の前述の3つの過程を実行する。この操作2
において、平均値を求める過程で得られる値がP−であ
ると仮定する。
操作3は操作1および操作2で求められた平均値P+と
P−とにより重みWk見を変化させる過程である。
上述の操作1または操作2の後には、各重みWklは並
列動作により調整されており、各重みに対応して設けら
れた重み処理器がその状態を評価して対応の重みをイン
クリメントまたはデクリメントする。前述のように、デ
ータ入出力線は対をなして配列されているため、重みは
上述の並列アルゴリズムを用いてそれ自身自己の重みを
調整する。
4 第16図に重みWklLを与える抵抗性素子の具体的素
子の一例を示す。第16図において、重み部分は、正お
よび負の結合を与えるために4組のトランジスタ群TR
1,TR2,TR3およびTR4を含む。トランジスタ
群TR1〜TR4は同一の構成を有しており、n個のM
OS)ランジスタTO〜Tn−1とパストランジスタT
Gとを含む。
MOS)ランジスタTo−Tn−1の抵抗比(トランジ
スタの幅/長さの比)は1:2:・・・=2−1に設定
されている。パストランジスタTGは、結合の正および
負を示すための符号ビットT8oN、TsoNのいずれ
かを受けて、対応のデータ入力線とデータ出力線との接
続を行なう。
この場合、対角線上に設けられたトランジスタ群が同時
にデータ入出力線の接続を行なうため、パストランジス
タTGI、TG4のゲートへは正の符号ビットT8oN
が印加され、パストランジスタTG2.TG3へは負の
符号ビットT86Nが印加される。この各トランジスタ
群におけるトラ5 ンジスタTO〜Tn−1をその適当な組合わせでオン状
態とすることにより抵抗性素子Rが与える重みWijを
設定することができる。
[発明が解決しようとする課題] 上述のようなホップフィールドモデルおよびボルツマン
モデルに従う半導体神経回路網においては、シナプス荷
重に対応する重みを表現するために、種々の構成が用い
られているが、それぞれ以下に述べるような問題点を有
している。
第13図および第14図に示すような、単純な構造の基
本セルを用いて結合素子を構成し、この結合素子をデー
タ入力線とデータ出力線との交点に配置する構成の場合
、この結合素子が与える結合状態は、何ら重みづけがさ
れておらず、単に“1”0”および“−1”、すなわち
、“興奮状態”ドント・ケア状態”および“抑制状態”
の3状態が表現可能なだけであり、シナプス結合モデル
が単純化されすぎ、実際の回路動作時において神経回路
網のエネルギ極小状態への収束性が悪化する。
6 神経回路網の収束性を改善するためには、結合素子が与
える結合状態(重み)を多段階表現する必要がある。一
般的に実用に耐える収束性を得るためには、この結合状
態を少なくとも10ビツト(1024ステツプ)表示す
ることが必要とされることが回路シミュレーションによ
り明らかにされている。
この結合状態の多値表現は、たとえば第16図に示す結
合素子構造を用いることにより実現可能である。しかし
、この第16図に示す結合素子構造の場合、1つの基本
結合素子を構成するために、様々なコンダクタンスを有
するトランジスタを用いる必要があるが、この様々なコ
ンダクタンスはトランジスタの寸法(トランジスタのゲ
ート幅とトランジスタの長さの比など)を調整すること
により得られる。したがって、結合素子領域内に、互い
に寸法の異なるトランジスタを数多く設ける必要がある
が、結合素子領域面積が限られていれば、必然的にトラ
ンジスタ寸法も小さくなり、したがってトランジスタ間
の寸法差も小さくなる。
7 このとき、回路製造時において必然的に導入される寸法
誤差または許容寸法誤差がトランジスタの寸法差に及ぼ
す影響が太き(なり、所望のコンダクタンス比を有する
トランジスタを得ることができなくなる。この結果、正
確に多値の重みづけをシナプス結合強度に付加すること
ができなくなるという問題が生じる。
また、同様に、多数のニューロンユニットを1つの半導
体チップ上に形成すれば必然的に結合素子数も増加し、
限られた半導体チップ上に形成される1個の結合素子の
占有面積も減少し、上述と同様の問題が発生する。
十分な収束性を実現するに足る結合素子を得ようとすれ
ば、たとえ、トランジスタの組合わせを用いることによ
り重みを表現するためのトランジスタの数を低減したと
しても、寸法精度の十分制御されたトランジスタを数多
く用いる必要があり、結合素子占有面積低減に対する障
害となり、限られた半導体チップ上に高密度の神経回路
網集積回路装置を形成することができなくなるという問
題8 が発生する。
また、複数のトランジスタを用いて1つの重みを表現す
るのではなく、1個の不揮発性トランジスタのフローテ
ィングゲートに蓄積される電荷量により、複数段階(正
確にはアナログ的)の重みづけを表現する手法も提案さ
れている。しかしながら、このフローティングゲート型
トランジスタを用いる場合、フローティングゲートの電
荷保持特性および蓄積電荷量と重みづけ因子との対応関
係に不安定さが残り、回路動作中に重み(シナプス荷重
)が変化したり、所望の重みづけをシナプス結合強度に
与えることができなくなるなどの問題が発生する。
この場合、重みづけ因子と蓄積電荷量との対応関係が不
安定であったとしても、神経回路網の学習時において、
この対応関係が決定されることになるが、このような不
安定さが残る場合、学習時における収束性が悪くなり、
神経回路網の学習に長時間を要するという問題が発生す
る。
それゆえ、この発明の目的は、少ない占有面積9 および簡易な構成で結合素子の与える結合強度の重みづ
け(重み)を確実に多値化することのできる神経回路網
を提供することである。
[課題を解決するための手段] この発明に係る半導体神経回路網は、データ出力線を複
数のグループに分割し、この各グループにおいて各出力
線上の信号電位に所定の重みづけを行なった後、この重
みづけされた出力信号を加算して出力するようにしたも
のである。
すなわち、本発明に係る半導体神経回路網は、各々に入
力データ信号を伝達する複数の入力線と、これらの複数
の入力線と交差する方向に設けられ、各々が内部出力デ
ータ信号を伝達するとともに、複数のグループに分割さ
れる複数の内部出力線と、この入力線と内部出力線の交
差部の各々に設けられて対応の入力線と対応の内部出力
線とを固有の結合度で結合する複数の結合素子と、内部
出力線グループの各々に対応して設けられ、対応の内部
出力線グループの各内部出力線上の信号電位に所定の重
みを付加し、かっこの重みづけされた信号0 電位をすべて加算して出力する重みづけ加算手段とを備
える。
この重みづけ加算手段は、対応の内部データ出力線に結
合される制御電極と、所定の電位に結合される一方電極
と他方電極とを有し、その電流供給能力が該制御電極上
の電位の1次関数で与えられかつ該素子の寸法に比例す
る複数の増幅素子と、これらの複数の増幅素子の他方電
極出力を共通に受けて加算しかつ増幅する増幅器とを備
える。
複数の結合素子の各々は、該結合素子の結合強度を表現
する情報を記憶する記憶素子を含む。この記憶素子のデ
ータ保持能力は、該結合素子が接続される内部出力線に
付随する重みに応じて設定される。
[作用] 結合素子の各々は、“1”0”、および−1”の状態、
すなわち、“興奮状態”、“ドント・ケア状態”および
“抑制状態”の3状態のうちのいずれかの状態にプログ
ラムされる。したがって、この結合素子により、データ
入力線と内1 部データ出力線とは、重みづけされていない結合度によ
り結合されている。
重みづけ加算手段は、対応のグループ内のデータ出力線
上の信号電位に所定の重みを付加した後、この重みを付
加された信号電位を加算して出力する。この重みづけは
、多値化されており、好ましくは各内部データ出力線ご
とに異なる。したがって、この重みづけ加算手段からは
、結果的に、重みづけされていない“1”0”  −1
”の結合状態が、多値化された重みを付加された結合状
態に変換され、この多値化された結合状態に従った出力
信号が出力される。
より大きな重みに関連する内部出力線はどその処理結果
に対する寄与が大きい。結合素子の結合強度表現情報を
記憶する記憶素子の情報保持能力を該結合素子の信号処
理に対する寄与の大小に応じて設定することにより、電
気的ノイズ、電離放射線等による記憶情報の反転に起因
する神経回路網の誤動作を防止する。
[発明の実施例] 2 第1図に、この発明の一実施例である半導体神経回路網
の要部の構成を示す。この第1図に示す半導体神経回路
網は、ホップフィールド型神経回路網であり、第13図
に示す従来の神経回路網の構造に対応する。
第1図において、結合マトリクス100内において、デ
ータ入力線Ai(第1図においては、代表的に4本のデ
ータ入力線A1〜A4が示される)へフィードバック信
号を伝達するフィードバック信号線(第13図のデータ
出力線に対応する)は、複数のグループGRA、GRB
、・・・に分割される。
ここで、第1図においては代表的にフィードバック線グ
ループGRAと、フィードバック線グループGRBの一
部とが代表的に示される。グループGRAは、相補フィ
ードバック線対B11.B11、B12.B12、B1
3.B13、B14゜B14を含み、グループGRBは
、相補フィードバック線B21.B21、B22.B2
2、・・・を含む。
各相補フィードバック線対Bll、Bll〜B3 14、  B14、B21.  B21、B22.  
B22・・・に対応して、増幅回路C1l〜C14、C
21゜C22・・・が設けられる。増幅回路C11〜C
14、C21、およびC22の各々は、対応のデータ入
力線上の信号電位をその入力として受けるように配置さ
れ、その出力を対応の相補フィードバック線対上へ伝達
する。
ここで、第1図においては、増幅回路C1l〜C14の
各々がデータ入力線A1〜A4上の信号電位を受けるよ
うに示され、増幅回路C21,C22・・・の入力部が
結合されるデータ入力線は図示されていないが、レジス
タ10からは、別の入力データ線が結合マトリクス10
0内へ延びており、この別のデータ入力線に増幅回路C
21,C22の各入力部が結合される。この別のデータ
入力線には、データ入力線A1〜A4上の入力データを
模写した同一の入力データが伝達される構成であっても
よく、また、データ入力線A1〜A4および別のデータ
入力線がそのまま入力データに1対1で対応する構成で
あってもよい。さらには、し4 ジスタ10からのデータ入力線は、4本のデータ入力線
A1〜A4だけであり、各フィードバック線グループ内
において、各増幅回路が異なるデータ入力線上の信号電
位を受けるような構成であってもよい。
増幅回路C1l〜C14,C21,およびC22の各々
は、2段の直列に接続された反転増幅器2aおよび2b
を含む。この構成により、増幅回路C11〜C14,お
よびC21,およびC24の各々から、相補な出力信号
が導出され、対応の相補フィードバック線対上へ伝達さ
れる。
データ入力線とフィードバック線との交点には、結合素
子上が設けられる。この結合素子1は、たとえば第14
図に示す構造を有しており、“興奮状態”ドント・ケア
状態”および“抑制状態”の3状態のうちのいずれかの
結合状態を表現することができる。今、この結合素子1
が与える結合強度は、何ら重みが付加されていない結合
強度と称し、この重みづけされていない結合強度は、“
1” 0”、および“−1”のいずれかの値で5 あり、その中間の値をとることのできない状態を示すも
のとして以下の説明では用いる。
重みづけされていない結合強度に重みを与えるために、
フィードバック線グループGRAおよびGRBの各々に
対応して、重み付加電流加算回路500aおよび500
bが設けられる。
重み付加電流回路500aは、フィードバック線Bll
〜B14に対応して設けられ、対応のフィードバック線
上の信号電位を増幅する増幅素子QAII〜QA14と
、相補フィードバック線B11〜B14の各々に対応し
て設けられ、対応の相補フィードバック線上の電位を増
幅する増幅素子QB11〜QB14と、増幅素子QA1
1〜QA14の出力電流の総和と増幅素子QB11〜Q
B14の出力電流の総和とを差動的に感知して増幅する
センスアンプSAIとを含む。
増幅素子QAII〜QA14の各々は、そのコンダクタ
ンス値および素子サイズが適当な比、たとえば1:2:
4:・・・、2Nの比に選定されたMIS(絶縁ゲート
型)トランジスタにより構成さ6 れて、この絶縁ゲート型トランジスタのゲートに、対応
のフィードバック線が接続される。MIS)ランジスタ
QAII〜QA14は、その一方電極がたとえば接地電
位である所定電位Vssに結合され、その他方電極が共
通ノードNAIに接続され、それぞれのゲートが対応の
フィードバック線に接続される。
MIS)ランジスタQBII〜QB14の各々の一方電
極は所定の電位Vssに接続され、その他方電極が共通
ノードNPIに接続され、そのゲートが、対応の相補フ
ィードバック線に接続される。
対をなす相補フィードバック線対に対応して設けられる
MISトランジスタは、その寸法が同一にされており、
電流供給能力(駆動能力)および増幅率は同一とされる
。第1図に示す例においては、MISトランジスタQA
II〜QA14およびQBII〜QB14は参照数字が
大きくなるにつれて、その素子サイズが大きくされ、電
流供給能力が大きくされるとともに、そのコンダクタン
7 スも大きくされる。
重み付加電流加算回路500bは、同様に、フィードバ
ック線B21.B22に対応して設けられる増幅素子Q
A21およびQA22と、相補フィードバック線B21
.およびB22に対応して設けられる増幅素子QB21
およびQB22と、ノードNA2上に現われる増幅素子
QA21.QA22の総和電流とノードNB2に現われ
る増幅素子QB21.QB22の総和電流とを差動的に
感知し増幅するセンスアンプSA2とを含む。この重み
付加電流加算回路500bにおいても、同様に、各増幅
素子は、MIS)ランジスタにより構成され、そのゲー
トに与えられる電位をそれぞれの素子サイズに応じた増
幅率で増幅してノードNA2.NB2へ伝達する。
次に動作について簡単に説明する。
今、簡単化のために、増幅素子として機能するMISト
ランジスタが与えるべき重みを、そのトランジスタ幅を
調整することにより決定するものと想定する。MISト
ランジスタのドレイン電流8 IDSは、 で与えられる。ここで、Uは電子移動度、COXは酸化
膜の膜厚、Wはトランジスタのゲート幅、Lはトランジ
スタのゲート長さ、■Gsはトランジスタのゲート・ソ
ース間の電圧、vTはトランジスタのしきい値電圧、v
Dsはドレイン・ソース間電圧である。
この式かられかるように、3極間領域(ドレイン電流が
飽和しない領域)において、ドレイン電圧vD8がほぼ
一定であるという条件でMIS)ランジスタを動作させ
ると、ゲート幅(トランジスタ幅)Wに比例、ゲート長
しに反比例、およびゲート電位V。Sの1次関数となる
ドレイン電流■D8が流れる。ここで、神経回路網半導
体チップ内においては、しきい値電圧■1は同一とみな
せる。したがって、増幅素子QAil〜QAiN(1つ
のフィードバック線グループGRiに8本のフィードバ
ック線がある場合)の、各々のゲー9 ト幅Wを、2を公比とする等比数列をなすように設計す
ると、ノードNAiに流れるドレイン電流工。は、正の
フィードバック線の各電圧に重みを付加した電圧の1次
関数で与えられる電流となる。
今、第1図に示すフィードバック線グループGRAを例
にして具体的に説明する。正のフィードバック線Bll
〜B14上の電位をViとし、各増幅素子QAII〜W
A14のゲート幅を1:2:4=8と設定すると、ノー
ドNAIに流れる電流I、は、 =に−ΣWi  −Vi−M !I (°、゛ ΣWi=W・Σ2+−+ =一定)Ij+ で与えられる。ここで、X=u−CoX/Lを示し、B
はドレイン・ソース間電位vD8を示す。
したがって、上式においてKおよびMは定数とみなすこ
とができるため、ノードNAIに現われるドレイン電流
IDは、フィードバック線の信号電位に、この増幅素子
が有するゲート幅を乗算した値の総和の1次関数となる
。このときゲート幅0 Wiが、シナプス結合強度に対する重みづけ因子となる
相補側のフィードバック線に対しても、同様にして、増
幅素子QBil、QBi2.・・・QB iNのゲート
幅に重みをつけ、それらのドレイン電極を共通にノード
NBiに接続すれば、そのときのノードNBiに現われ
るドレイン電流は、相補フィードバック線の各電圧にそ
れぞれ所定の重みをつけ加えた電圧の1次関数となる。
したがって、このノードNA1.NBIを流れる電流ま
たはこの電流に対応する電圧をセンスアンプSAIによ
って差動的に感知増幅するとこのセンスアンプSAIか
らの出力信号B1は、BlccID−I。
で与えられる電位となる。ここで、上式においてI、は
ノードNAIのドレイン電流を示し、■。
′はノードNBIのドレイン電流を示す。また、Viは
正のフィードバック線上の電位を示し、■i′は相補フ
ィードバック線上の電位を示す。す1 なわち、出力信号B1は、4対のフィードバック信号線
の各対における出力電位のうち、VO2に比例する項の
みが残りこの残った項に対応の重み2jを掛けて加えた
総和となる。
したがって、これは従来例において、シナプス入力信号
に結合を示す重みを掛けて、この重みづけされた入力信
号を総和する動作に対応することとなる。
したがって、上述の構成により、簡単な構成を有する、
3値状態すなわち“興奮状態”抑制状態”、および“ド
ント・ケア状態”を示す基本結合素子を多数配列した基
本結合マトリクス100を用いる神経回路網であっても
、この結合マトリクス100外部に重み付加電流加算回
路を設け、各フィードバック線に対応して、所定の重み
づけられた増幅素子を配置することにより、任意の・結
合強度をプログラムしたシナプス結合マトリクスを得る
ことができる。
なお、上述の説明においては、増幅素子の重みづけ因子
を、トランジスタのゲート幅により調整2 したが、これは、ゲート幅およびゲート長の組合わせま
たはゲート長または素子サイズを調整して重みづけ因子
を決定しても上記実施例と同様の効果が得られる。
上述の構成においては、重み付加電流加算回路に含まれ
る増幅素子が与える重みづけ係数は一定とされるが、神
経回路網の学習時に結合マトリクス内の各結合素子が表
現する結合状態が、この増幅素子が有する重みづけ係数
に対して最適となるようにプログラムされる。この学習
時において、シナプス結合強度(重み)が実質的にきめ
細かく多値化されたことになるので、この神経回路網の
エネルギ極小値への収束性が高速化される。
なお、上述の構成において、フィードバック線グループ
の数は、必要とされる出力信号のビット数に合わせて適
当に選択され、必ずしも入力データのビット幅と出力デ
ータのビット幅とを一致させる必要はない。
第2図に、この発明の他の実施例である半導体神経回路
網の全体の構造を概略的に示す。この第3 2図に示す神経回路網は、基本結合素子Tijkとして
、第14図に示す素子を用いており、この基本結合素子
を用いて相互結合のない非ホップフィールド型神経回路
網を構成している。この非ホップフィールド型神経回路
網においては、ニューロンユニットに対応する増幅器出
力が結合マトリクス内へフィードバックされるのではな
く、単にデータ入力線上の信号電位が、結合素子を介し
て内部データ出力線上に伝達されるだけである。
この第14図に示す基本結合素子構造においては、通常
、収束性を改善するなどを目的として、各々が相補な入
力データを伝達する相補入力データ線対構造が用いられ
る。
第2図を参照して、半導体神経回路網は、結合マトリク
ス100は、行および列状に配列された複数の結合素子
T111〜TLMNを備える。この結合素子は複数列ご
とにグループ化されており、L行N列の結合素子アレイ
が1.つのグループを構成している。
この結合素子Ti jkの各々は、前述のごとく4 3値の状態を表現することのできる結合素子により構成
されており、この結合状態を示すために、記憶素子とし
てランダム・アクセス・メモリが設けられている。
この結合素子の結合状態を記憶するランダム・アクセス
・メモリRAMへ結合状態を示す情報を書込むために、
通常のダイナミック・ランダム・アクセス・メモリと同
様にして、ロウデコーダ102、コラムデコーダ103
、センスアンプ111、選択ゲート110が設けられる
。ロウデコーダ102は、外部から与えられる行アドレ
スに応答して、1行のRAMセルを選択する。このとき
、結合素子Tj jkは2つのRAMセルを含んでいる
ため、ロウデコーダ102の出力信号線は2L本となり
、興奮性結合をプログラムするための行選択線WLIP
−WLPおよび抑制性結合状態をプログラムするための
行選択線WLIQ−WLIQを含む。
コラムデコーダ103は、外部からの列アドレスに応答
して、結合マトリクス100における15 列のRAMセルを選択する。
選択ゲート110は、コラムデコーダ103からのコラ
ムデコード信号に応答して、対応のトランスファゲート
対をオン状態とし、センスアンプを内部データ入出力バ
スI10.I10へ接続する。この内部データ入出力バ
スI10.I10へは、RAMl10106を介してプ
ログラム情報が伝達される。ここで、データ入出力バス
がIlo、Iloと相補対を構成し、かつ選択ゲート1
10のトランスファゲートもそれぞれ対をなしているの
は、RAMセルがいわゆる折返しビット線構造に従って
配置されているからである。センスアンプ111は、結
合マトリクス100の各列対応に設けられ、RAMl1
0106から書込まれたプログラム情報をラッチする。
神経回路網動作時において必要な入力データ信号を結合
マトリクス100へ伝達するために、レジスタ104が
設けられる。レジスタ104は、前述のごとく、相補デ
ータ入力線Al、Al〜AL、ALを有しており、この
相補データ入力線対6 を介して所望の入力信号を結合素子マトリクス100内
へ伝達する。
結合素子マトリクスの各グループに対応して重み付加電
流加算回路500−1,50C)−2,・・・および5
00−Mが設けられる。
重み付加電流加算回路500−1は、内部データ出力線
Bll〜BIN上の信号電位をそれぞれそのゲートに受
けるMIS)ランジスタQll〜Q i Nと、このM
IS)ランジスタQ11〜QINの出力電流をノードS
1を介して受けて増幅して出力する増幅器101−1を
含む。トランジスタQ11〜QINはノードS1とノー
ドG1との間に互いに並列に設けられる。ノードG1は
、センスアンプ活性化信号SAEに応答してオン状態と
なるセンスアンプ活性用トランジスタSTIを介して接
地電位Vssに接続される。ノードS1は所定の高電位
(たとえば電源電位)へプルアップ抵抗R1を介して結
合される。このプルアップ抵抗R1によりノードS1の
高レベルが保証される。トランジスタQll〜QINの
サイズ(面積、7 ゲート幅、ゲート長等)が適当な値に調整されており、
それぞれ所定の重み係数を有している。
重み付加電流加算回路500−2も同様の構成を有し、
増幅素子として機能するトランジスタQ21、Q22.
・・・Q2N、プルアップ抵抗R2、センスアンプ活性
化トランジスタT2およびセンスアンプ101−102
を備える。トランジスタQ21〜Q2NはノードS2と
ノードG2との間に互いに並列に接続される。トランジ
スタQ21〜A2Nのゲートには、それぞれ対応の内部
データ出力線の信号電位が与えられる。
重み付加電流加算回路500−Mも同様に、トランジス
タQMI、QM2.・・・QMNと、プルアップ抵抗R
Mと、センスアンプ活性化トランジスタSTMとセンス
アンプ101−Mを備える。このトランジスタQMI〜
QMNはノードSMとノードGMとの間に直列に接続さ
れる。トランジスタQMI〜QMNの各々のゲートには
、対応の内部データ線の電位が伝達される。ノードSM
は、プルアップ抵抗RMを介して所定の電位に結合さ8 れる。
この重み付加電流加算回路500−1〜50〇−Mの各
々の対応するトランジスタQli、Q21、・・・QM
iは同じサイズを有している。
この構成においては、センスアンプ101−1〜101
−Mの各々の入力は、内部データ線B11〜BINが相
補データ線対構造と異なるために、差動信号とはならな
い。しかしながら、この場合、センスアンプ101−1
〜101−Mの各々の参照電位(基準電位)を適当に選
択すれば、十分に対応できる。
結合マトリクス100の結合状態をプログラムするため
に、切換信号MUXに応答してオン状態となり、センス
アンプ111と結合マトリクス100とを接続する転送
ゲート112と、切換信号MUXに応答してオン状態と
なり、ロウデコーダ102出力と結合マトリクス100
とを接続する第2の転送ゲート114と、切換信号MU
Xに応答してオン状態となり、レジスタ104出力を結
合マトリクス100に接続する第3の転送ゲート9 113が設けられる。結合素子の結合状態のプログラム
時においては、転送ゲート112.114がオン状態と
なり、実際の神経回路網の動作時においては、転送ゲー
ト113がオン状態となる。
次に動作について簡単に説明する。
結合マトリクス100における各結合素子Tijkの結
合状態のプログラムは、通常のDRAMにおいて行なわ
れるものと同様にして行なわれる。
すなわち、このプログラム時においては、切換信号MU
X、MUXにより、センスアンプ111およびロウデコ
ーダ102がそれぞれ転送ゲート112および114を
介して結合マトリクス100に接続され、一方レジスタ
104は転送ゲート113により結合マトリクス100
から切り離される。またこのときセンスアンプ活性化信
号SAEは不活性状態の“L”レベルにある。まず外部
から行アドレスがロウデコーダ102へ与えられ、1本
のロウデコーダ出力線が選択され、1行のRAMセルが
選択される。続いてコラムデコーダ103により1列が
選択され、選択ゲート110の0 転送トランジスタがオン状態となる。この選択ゲート1
10がオン状態となるまでに、RAMl10106を介
してプログラム情報が内部データ入出力バスI10.I
10上へ伝達されており、この内部データ入出力バスI
10.I10上の信号電位がセンスアンプ111でラッ
チされた後、選択されたRAMセルへ所望の結合情報が
書込まれる。この動作を結合素子マトリクス100にお
ける各結合素子に対し行なうことにより、結合マトリク
ス100における結合状態がプログラムされる。
実際の神経回路網動作時においては、ロウデコーダ10
2およびセンスアンプ111はそれぞれ切換信号MUX
により結合マトリクス100から切り離される。一方、
レジスタ104は相補切換信号MUXにより結合マトリ
クス100に接続される。この状態でレジスタ104か
らのデータが相補入力信号データの信号線Al、Al〜
AL。
AL上へ伝達され、結合マトリクス100内へ伝達され
る。結合マトリクス100内における多結1 合素子Ti jkは、プログラムされた結合状態に従っ
て入力信号線上の電位を内部データ線Bll〜BIN、
・・・BMI〜BMN上へ伝達する。
次に所定の時刻においてセンスアンプ活性化信号SAE
が立上がり、センスアンプ活性化用トランジスタSTI
、ST2.STMがオン状態となり、ノードGl、  
G2.・・・、GMを接地電位VsSに接続する。これ
により、ノード81.S2゜SMの電位が各増幅素子Q
11〜QIN、Q21〜Q2N、QMI〜QMNの有す
る重み係数に従って変化し、このノードS1〜SM電位
はそれぞれセンスアンプ101−1〜101−Mにより
感知増幅され、出力信号B1〜BMが出力される。
この第2図に示す神経回路網の構成の場合、第1図に示
すような、センスアンプ101−1〜101−Mの入力
は差動信号とはならないが、このセンスアンプ101の
参照電位(基準電位)を適当に選択することにより、内
部データ出力線に接続された基本結合素子のうちで、“
興奮状態”と“抑制状態”の素子の個数の差に相当する
電位変2 化がその内部データ出力線Bij上に発生する。
この内部データ出力線上の電位変化は、重みづけされた
トランジスタのゲート電極へ与えられるため、これらの
トランジスタQijのドレインを共通に結合したノード
Si2には、対応の結合素子のグループにおける、“興
奮状態”抑制状態”にそれぞれの増幅素子が与える結合
強度の重みを乗算し、この乗算された値を加算した電位
(または電流)に対応する電位(または電流)が発生す
る。センスアンプ101−1〜101−Mの各々は、こ
のノードS1〜SMに発生した電位(または電流)を増
幅して出力する。このとき各センスアンプ101−1〜
101−Mの各々の基準電位が適当に選択されていれば
、このセンスアンプ101−」〜101−Mの各々は、
このノードS1〜SMの各々に現われた信号電位を参照
電位と比較して差動的に増幅して出力することになる。
第3図にこの発明のさらに他の実施例である半導体神経
回路網の全体の構成を概略的に示す。この第3図に示す
構成においては、結合マトリクス3 100から相補なニューロン出力信号が出力される。す
なわち、この結合マトリクス100からの内部データ線
は、信号線対Bll、Bll〜BIN、BIN、B21
.B21〜B2N、B丁π、BMI、BMI〜BMN、
BMNの相補な対をなしている。
重み付加電流加算回路500−c〜500−eの各々は
、正側データ線の出力の総和が現われるノードNAiの
電流と負側の内部データ線の電流出力の総和を受けるノ
ードNBi上の電位とを差動的に検知増幅する。
この第3図に示す神経回路網の構成は、第1図に示すも
のと同様であるが、結合マトリクス内へのフィードバッ
ク線が設けられておらず、相互結合を有しない非ホップ
フィールド型である点が第1図の構成と異なっている。
この結合素子Ti jkの各々は、第13図に示す従来
のものと同様である。したがって、第3図に示す構成に
おいて、データ入力線への信号電位を結合マトリクス内
へフィードバックするための4 配線が設けられておらず、したがって増幅回路が設けら
れていない点が第1図の構成と異なっており、その他の
構成は同様である。
この構成の場合、確実に相補信号を導出するために、対
をなす内部データ出力線において一方側に内部データ線
電位を反転して出力する反転増幅回路を設けてノードN
Ai(またはNB i)へ伝達する構成としてもよい。
さらに、第3図に示す構成においては結合マトリクスの
結合状態プログラム時において、この重み付加電流加算
回路500と結合マトリクス100とを切り離すために
、相補切換信号MUXに応答してオン状態となる転送ゲ
ート115が設けられる。
なお、1行分のガータを格納するデータラッチを設け、
このデータラッチから1度に1行の結合素子へプログラ
ム情報を書込む構成としてもよい。
この第3図に示す構成においては、センスアンプ5A−
1〜SA−Mへは差動の入力信号が印加されるため、よ
り正確に、“興奮”抑制”と5 重みづけされた結合強度の積和演算を実行することが可
能となる。
なお、この第3図に示す構成の重み付加電流加算回路に
おいて、第2図に示す構成と同様にノードNAi、NB
iにそれぞれ高レベルを付与するためのプルアップ抵抗
を設けてもよく、またセンスアンプの活性タイミングを
制御するためのトランジスタを設ける構成としてもよい
またこれに代えて、重み付加を行なうトランジスタの一
方端子に接続される電位を動作電源電位■ccレベルと
してもよい。
なお第1図および第3図に示す構成においては、重み付
加電流加算回路におけるセンスアンプは差動入力を受け
ているため、この差動入力を所定の電位にプリチャージ
しかつイコライズしておけば、より正確かつ高速に差動
的な感知増幅を行なうことが可能となる。第4図にこの
ような重みづけ付加電流加算回路の具体的構成例を詳細
に示す。
第4図において、重み付加電流加算回路500は、第1
図、および第3図に示す構成に加えて、6 相補内部データ線Bij、Bijの電位を所定電位にプ
リチャージしかつイコライズするための第1のプリチャ
ージ/イコライズ回路600と、センスアンプ101の
入力ノードNAi、NBiの電位を所定電位Vpにプリ
チャージしかつイコライズするための第2のプリチャー
ジ/イコライズ回路650を含む。
第1のプリチャージ/イコライズ回路600は、プリチ
ャージ/イコライズ指示信号BLEQに応答してオン状
態となり、内部データ出力線を所定電位VPHにプリチ
ャージするプリチャージトランジスタQTIと、プリチ
ャージ/イコライズ信号BLEQに応答してオン状態と
なり、相補内部データ出力線を電位VpBにプリチャー
ジするプリチャージトランジスタQT2と、プリチャー
ジ/イコライズ信号BLEQに応答してオン状態となり
、内部データ出力線を電気的に短絡するイコライズトラ
ンジスタQT3とを含む。
第2のプリチャージ/イコライズ回路650は、ノード
NAiを所定電位Vpにプリチャージする7 ためのプリチャージトランジスタQT4と、ノードNB
iを所定電位Vpにプリチャージするためのプリチャー
ジトランジスタQT5と、ノードNAi、NBiを電気
的に短絡して等電位に保持するためのイコライズトラン
ジスタQT6を含む。
トランジスタQT4.QT5およびQT6は、イコライ
ズ指示信号EQに応答してオン状態となる。
結合マトリクス100からの出力信号に重みを付加し、
この重みづけされた信号を加算する回路部分は、第1図
および第3図に示す構成と同様であり、それぞれ所定の
重みを有するように設計されたトランジスタQAil〜
QAiN、QBil〜QBiNがそれぞれ正側の内部デ
ータ線および相補内部データ線に対応して設けられる。
第5図に、プリチャージ/イコライズ信号B L E 
Q/EQを発生するための回路構成の一例を示す。
第5図を参照して、プリチャージ/イコライズ信号発生
回路は、入力データ信号Aiの変化時点を検出して、入
力変化検知信号ATDを導出する信号変化検出回路70
1と、信号変化検出信号A8 TDに応答して所定のパルス幅を有するワンショット・
パルス信号を発生するB L E Q/E Q発生回路
702と、入力変化検知信号ATDに応答して所定の時
間幅を有するワンショット・パルスを発生するSAE発
生回路703とを備える。
信号変化検出回路701へ与えられる入力信号Aiは、
レジスタ104(第3図参照)へ与えられる外部データ
信号であってもよく、またレジスタ104が導出する内
部データ信号のいずれであってもよい。レジスタ104
が、バッファ機能を有している場合には、できるだけ早
いタイミングで入力変化検知信号ATDを導出するのが
好ましいため、信号変化検出回路701へ与えられる信
号としては、外部入力データ信号が好ましい。
B L E Q/E Q発生回路702から発生される
ワンショット・パルス信号は、プリチャージ/イコライ
ズ信号BLEQおよびEQを与える。SAE発生回路7
03からのワンショット・パルス信号がセンスアンプ活
性化信号SAEとなる。次に、第4図に示す回路の動作
を、その動作波形図であ9 る第6図を参照して説明する。
神経回路網の動作時においては、切換信号MUX、MU
Xに応答して、転送ゲート115が導通状態となり、重
みづけ電流加算回路500と結合マトリクス100とが
接続される。続いて入力データ信号Ai(これは外部デ
ータ信号および内部データ信号いずれであってもよい)
が与えられると、この入力データ信号の変化時点が信号
変化検出回路701により検出され、入力変化検知信号
ATDが出力される。入力変化検知信号ATDは、所定
の時間幅を有するワンショット・パルス信号であり、こ
の信号の立上がりに応答してプリチャージ/イコライズ
信号BLEQ、EQが発生される。これにより、プリチ
ャージ/イコライズ回路600.650が活性化され、
内部データ線対およびノードNAi、NBiをそれぞれ
所定の電位■PB、vpにプリチャージしかつイコライ
ズする。
このプリチャージ/イコライズ回路BLEQ。
EQが立下がると、ノードNAi、NBi上には、0 結合マトリクス100へ与えられた入力データ信号Ai
に対応した電流が流れ込み、それぞれのノード電位に変
化が生じる。このノードNAi、NBi上の微小電位差
(電流差)が現われた後、プリチャージ/イコライズ信
号BLEQ、EQの立下がりに応答して、所定の遅延後
センスアンプ活性化信号SAEが発生され、ノードNA
i、NBi上の信号の電位差(電流差)が差動的に感知
増幅される。これにより、この差動的に感知増幅された
信号Biが出力データ信号として導出される。
入力データ信号Aiが与えられなくなると、これに応答
して入力変化検知信号ATDが再び発生されてこの検知
信号ATDの立上がりに応答してセンスアンプ活性化信
号SAEは不活性状態となる。これにより、神経回路網
動作の1回のサイクルが完了する。
上述のように、ワンショット−パルス信号を用いて、内
部データ信号線対および差動入力ノードNAi、NBi
を等電位化した後に、各信号線対上に現われる微小電位
により差動入力ノードに現1 われた微小電位差を感知増幅して出力データを増幅する
構成とすることにより、高感度、低消費電力、および高
速で動作する回路構成を得ることが可能となる。
なお、第5図および第6図に示す回路構成においては、
内部入力データ信号は外部入力データ信号に対応して発
生されている。この場合、内部入力データ信号が与えら
れる時間幅によっては、内部データ出力線対および差動
入力ノードの電位がフルスイングする場合も考えられる
このような信号線対の電位がフルスイングするのを防止
し、高速動作および低消費電力化を図るために、内部入
力データ信号をワンショット化させて発生する回路構成
を第7図に示す。
第7図を参照して、ワンショット化回路は、外部入力デ
ータExt、Aiの変化時点を検出し、入力変化検知信
号ACDを発生する信号変化検出回路710と、この入
力変化検知信号ACDに応答して活性化され、外部入力
データ信号Ex、Ai等を通過させるゲート回路711
,712を備2 える。このワンショット化ゲート回路711.712は
各々外部入力データ信号に対応して設けられており、ワ
ンショットの入力変化検知信号ACDにより外部人力信
号Ex、Ai等を通過させるため、ワンショット化され
た内部入力データ信号Int、Ai等が得られる。
このワンショット化ゲート回路711〜712等は、第
3図に示すレジスタ104に対応する。
この第7図に示すワンショット化回路を用いて入力デー
タ信号をワンショット化すれば、第8図に示すように信
号線対上に現われる信号電位変化は、入力データ信号が
与えられる時間が短くなるため、フルスイングしなくな
り、このフルスイングしなくなった状態で感知増幅動作
が行なわれるため、高速化および低消費電力化を達成す
ることができる。
ここで、第8図においては、信号線対Bij。
Bijにおける電位変化がフルスイングしなくなってい
る状態を示しているがセンスアンプ101(SA)が活
性化される時間も応じて短くすれば、3 ノードNAi、NBiの電位変化もフルスイングしなく
なり、同時にデータ続出時における高速化および低消費
電力化を得ることができる。
また、このときイコライズ/プリチャージ信号B L 
E Q/E Qおよびセンスアンプ活性化信号SAEは
、このワンショット化された内部データ信号Int、A
iの変化時点を検出して出力するように構成してもよく
、またこの入力変化検知信号ACDに応答して発生する
ように構成してもよい。
なお、第5図および第7図に示す信号変化検出回路70
1.710の具体的回路構成については詳述しないが、
これは、通常半導体記憶装置の1つであるランダム・ア
クセス・メモリにおいて内部動作タイミング信号を発生
するためのアドレス変化検出回路と同様の構成を用いて
実現することができる。
第9図はこの発明のさらに他の実施例である半導体神経
回路網の要部の構成を示す図である。第9図において、
結合素子TijlおよびTijkの構成の一例が示され
る。この第9図に示す結合4 素子の構成は第15図に示す従来の結合素子の構成と対
応している。しかしながら、この結合素子の構成は特に
この構成に限定されず、結合素子の結合度情報がそこに
含まれる記憶素子により記憶されており、その記憶情報
にしたがって入力信号とシナプス結合強度との積演算を
行なう構成であればよい。
結合素子Tijlは結合度情報を記憶するランダム・ア
クセス・メモリからなる記憶素子150aおよび151
aを含む。記憶素子150aおよび151aの記憶情報
に応じてスイッチング素子S2およびS3の導通状態が
設定される。スイッチング素子S1およびS4にはそれ
ぞれ入力信号Ai、Aiが伝達される。
同様に結合素子Ti jkは記憶素子150bおよび1
51bを含む。結合素子Tijlの出力信号は内部出力
線Bjlに伝達され、結合素子Tijkの出力信号は内
部出力線Bjkへ伝達される。
内部出力線BjlはトランジスタQjlのゲートに接続
される。内部出力線Bjkはトランジスタ5 Qjkに接続される。トランジスタQjlのコンダクタ
ンスはトランジスタQjkのそれよりも小さくされてい
る。すなわち内部出力線Bjkに付随する重みづけは内
部出力線Bjlのそれよりも大きくされる。
トランジスタQjlおよびQjkの一方導通端子はノー
ドNjを介して増幅回路101−jの入力部に接続され
る。この増幅回路101−jから出力信号Bjが導出さ
れる。この増幅回路101jは、ノードNj上に現れた
電流または電圧信号をその入力論理しきい値によりしき
い値処理した後増幅して出力する。この結合素子Tij
lおよびTi jkにおいて添字iは神経回路網への入
力信号の番号に対応し、添字jは出力信号Bjの番号に
対応する。さらに、添字におよびlはこの結合素子に付
随する重みづけの度合いに対応し、たとえばそれぞれ重
み2に、2’に対応すると考えることができる。
結合強度の重みづけが大きい結合素子すなわち、結合素
子Tijkにおける記憶素子150bおよ6 び151bの情報保持能力は結合素子Tijlの記憶素
子150aおよび151aのそれよりも大きくされる。
この情報保持能力の設定は、記憶素子の寸法を大きくす
るか、またはこの記憶素子の情報保持部に関連する部分
のみの寸法を大きくすることにより調整される。この記
憶素子の保持能力は、それに関連する内部出力線が有す
る重みづけの成る関数として与えられ、この関数は線形
関数であってもまた非線形関数であってもよい。
すなわち一般に、結合素子マトリクス(T i kl)
において添字kが大きい結合素子の記憶素子150.1
51 (RAMkl、RAMk2)の情報保持能力はそ
の添字kに応じて大きく設定される。
この半導体装置神経回路網の動作は上述の実施例と同様
である。一般に、半導体集積回路の微細化に伴い、そこ
に含まれる記憶素子のサイズも小さくされ、そのデータ
保持特性が、電気的ノイズおよび電離放射線などの影響
により悪化することが知られている。このため、種々の
半導体集積口7 路素子において、微細化の利点である高速動作性および
多機能化などの高性能化、高密度化による多機能化、低
価格化および高歩留り化等を享受しつつ記憶素子のデー
タ保持特性に代表される動作余裕を確保するための方策
が種々模索されている。
半導体神経回路網においても、その動作原理から本質的
には部分的な結合素子の不安定化に伴う誤動作に対する
安定性は高いとされている。しかし、結合強度に対する
重みづけの大きい結合素子(添字kが大きい結合素子)
の記憶情報が反転すると、その結合素子の処理過程に対
する寄与が大きいため、神経回路網動作における致命的
な誤動作が生じる恐れがある。これは、生体の脳におい
ても、同程度の損傷が生じたとしてもその損傷箇所に応
じて機能回復が行なわれる場合と行なわれない場合が生
じるのに類似している。すなわち、脳損傷において、そ
の損傷が脳幹などの重要な箇所におけるものである場合
、この損傷を受けた機能がほぼ永久に回復しないのに類
似している。
この神経回路網において、重みづけが大きい内8 部出力線に接続される結合素子は、その処理過程に対し
重要な機能を果たしていると見なすことができる。した
がって、このような結合素子における記憶情報の反転な
どのようなソフトエラーを防止するのはもとよりその情
報保持特性および動作安定性を保証するのが望ましい。
これにより、低占有面積で簡易な構成により、結合素子
が与える結合強度の重みづけを確実に多値化できる神経
回路網の動作安定性をより確実に保証することができる
[発明の効果] 以上のように、この発明によれば、結合素子マトリクス
外部に設けた重み付加回路によりシナプス結合強度の多
値化を実現したので、結合素子としては単純な構造のも
のを採用することができ、結合マトリクスの高密度化を
実現することができ、小型かつ大容量の半導体神経回路
網を得ることができる。
また、重み付加回路は、トランジスタサイズ(ゲート長
、ゲート幅等)によって所定の重みを9 与えるように構成したので、このトランジスタは、内部
データ線1本に対して1個設けるだけでよいため、十分
な素子面積を得ることができ、これにより簡易な構成で
かつ小占有面積でかつ所定の重みを正確に付加すること
のできる重み付加回路を、神経回路網チップの占有面積
を増大させることなく実現することが可能となる。
また、重みづけが大きい内部出力線に関連する結合素子
に含まれる記憶素子のデータ保持特性および動作安定性
をその寸法調整などにより強化したので、占有面積の増
加を最小に維持しつつ、より高い動作安定性を有する半
導体神経回路網を得ることができる。
【図面の簡単な説明】
第1図はこの発明の一実施例であるホップフィールド型
半導体神経回路網の要部の構成を示す図である。第2図
はこの発明の他の実施例である半導体神経回路網の全体
の構成を示す図である。第3図はこの発明のさらに他の
実施例である半導体神経回路網の全体の構成を示す図で
ある。第4図0 は重み付加電流加算回路の具体的構成の一例を詳細に示
す図である。第5図は第4図に示す回路の制御信号を発
生するための回路を示す図である。 第6図は第4図に示す回路の動作を示す信号波形図であ
る。第7図は内部データ信号をワンショット化するため
の回路構成を概略的に示す図である。 第8図は第7図の回路を用いた際の半導体神経回路網に
おける内部信号のタイミングを示す図である。第9図は
この発明のさらに他の実施例である半導体神経回路網の
結合素子の構成の一例を示す図である。第10図はニュ
ーロンのモデルを概念的に示す図である。第11A図お
よび第11B図はニューロンのしきい値開数の一例を示
す図である。第12図は従来の半導体神経回路網の全体
を概略的に示す図である。第13図は従来のホップフィ
ールド型神経回路網の概略構成を示す図である。第14
図は第13図に示す基本結合素子の構成を概略的に示す
図である。第15図は従来のボルツマンモデルによる神
経回路網の概略構成を示す図である。第16図は第15
図に示す回路の基1 本結合素子の構造を示す図である。 図において、150,150a、  150b、151
a、151bは結合素子に含まれる記憶素子、500a
、500b、500−c、500−d。 500−eは重み付加電流加算回路、NAi(iは任意
の整数)は第1のノード、NBi(iは任意の整数)は
第2のノード、QAi j、QBij(i、  jは任
意の整数)は増幅素子、Ai、 Aiはデータ入力線、
Bij、Bijは内部データ出力線、Ti jkは(’
+  J+  kは任意の整数)は結合素子、5A−1
〜SA−Mはセンスアンプ、101はセンスアンプであ
る。 なお、図中、同一符号は同一または相当部分を示す。 2 ( S)α牢 ( S)Ul;ll?

Claims (3)

    【特許請求の範囲】
  1. (1)各々が、入力データ信号を伝達する複数の入力線
    、 前記複数の入力線と交差する方向に設けられ、各々が、
    内部出力データ信号を伝達する複数の内部出力線、前記
    複数の内部出力線は複数のブロックに分割され、 前記入力線と前記内部出力線の各交差部に設けられ、各
    々が、対応の入力線と対応の内部出力線とを固有の結合
    度で結合して前記対応の入力線と前記対応の内部出力線
    との間で信号の伝達を行なう複数の結合素子、前記複数
    の結合素子の各固有の結合度はプログラム可能であり、
    および 前記複数の内部出力線グループの各々に対応して設けら
    れ、各々が、対応の内部出力線グループ内の各内部出力
    線上の信号に所定の重みを付加しかつこの重みづけされ
    た内部出力データ信号をすべて加算して出力する複数の
    重みづけ加算手段を備える、半導体神経回路網。
  2. (2)前記重みづけ加算手段の各々は、 各々が、対応の内部データ出力線に結合される制御電極
    と、所定の電位を受けるように結合される一方電極と、
    他方電極とを有し、その電流供給能力が前記制御電極上
    の電位の1次関数で与えられかつ該素子のサイズに比例
    する複数の増幅素子、および 前記複数の増幅素子の各前記他方電極に共通に接続され
    る入力端子を有し、この入力端子上の電位を増幅して出
    力する増幅器を備える、請求項第1項記載の半導体神経
    回路網。
  3. (3)前記複数の結合素子の各々は、該結合素子の結合
    強度を表現する情報を格納する記憶素子を含み、前記記
    憶素子のデータ保持能力は、該結合素子が接続される内
    部出力線に付随する重みに応じて設定される、請求項第
    1項記載の半導体神経回路網。
JP2113055A 1989-12-16 1990-04-28 半導体神経回路網 Expired - Fee Related JPH0634248B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2113055A JPH0634248B2 (ja) 1989-12-16 1990-04-28 半導体神経回路網
US07/605,717 US5202956A (en) 1989-12-16 1990-10-30 Semiconductor neural network and operating method thereof
US08/005,454 US5396581A (en) 1989-12-16 1993-01-19 Semiconductor neural network and operating method thereof
US08/292,624 US5475794A (en) 1989-12-16 1994-08-17 Semiconductor neural network and operating method thereof

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP1-326258 1989-12-16
JP32625889 1989-12-16
JP2113055A JPH0634248B2 (ja) 1989-12-16 1990-04-28 半導体神経回路網

Publications (2)

Publication Number Publication Date
JPH03223982A true JPH03223982A (ja) 1991-10-02
JPH0634248B2 JPH0634248B2 (ja) 1994-05-02

Family

ID=26452086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2113055A Expired - Fee Related JPH0634248B2 (ja) 1989-12-16 1990-04-28 半導体神経回路網

Country Status (2)

Country Link
US (3) US5202956A (ja)
JP (1) JPH0634248B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111060779A (zh) * 2019-11-20 2020-04-24 安徽大学 一种基于概率神经网络的电网分区故障诊断方法及系统
JP2021507349A (ja) * 2017-12-13 2021-02-22 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 抵抗処理ユニット・アレイのクロスポイント・デバイスに重みを記憶するための方法、そのクロスポイント・デバイス、ニューラル・ネットワークを実施するためのクロスポイント・アレイ、そのシステム、およびニューラル・ネットワークを実施するための方法
WO2021044821A1 (ja) * 2019-09-02 2021-03-11 ソニー株式会社 演算装置及び積和演算システム

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5404556A (en) * 1992-06-15 1995-04-04 California Institute Of Technology Apparatus for carrying out asynchronous communication among integrated circuits
JP3438241B2 (ja) * 1992-10-29 2003-08-18 直 柴田 半導体神経回路装置
US5491650A (en) * 1993-04-19 1996-02-13 California Institute Of Technology High precision computing with charge domain devices and a pseudo-spectral method therefor
US5504780A (en) * 1994-01-06 1996-04-02 Bell Communications Research Inc. Adaptive equalizer using self-learning neural network
US5625752A (en) * 1994-06-17 1997-04-29 The United States Of America As Represented By The Secretary Of The Navy Artificial neural system with binary weighting by equal resistor network
EP0768610B1 (en) 1995-10-13 2000-08-09 STMicroelectronics S.r.l. Low-voltage, very-low-power neural network
JPH09231189A (ja) * 1996-02-26 1997-09-05 Fuji Xerox Co Ltd 連想記憶装置および連想記憶方法
US5873000A (en) * 1996-07-19 1999-02-16 Compaq Computer Corporation System incorporating hot docking and undocking capabilities without requiring a standby or suspend mode by placing local arbiters of system and base into idle state
US6281831B1 (en) * 1997-05-15 2001-08-28 Yozan Inc. Analog to digital converter
US6094726A (en) * 1998-02-05 2000-07-25 George S. Sheng Digital signal processor using a reconfigurable array of macrocells
US6269354B1 (en) * 1998-11-30 2001-07-31 David W. Arathorn General purpose recognition e-circuits capable of translation-tolerant recognition, scene segmentation and attention shift, and their application to machine vision
US6483732B2 (en) 2000-12-13 2002-11-19 Koninklijke Philips Electronics N.V. Relational content addressable memory
US6889216B2 (en) 2002-03-12 2005-05-03 Knowm Tech, Llc Physical neural network design incorporating nanotechnology
US7392230B2 (en) * 2002-03-12 2008-06-24 Knowmtech, Llc Physical neural network liquid state machine utilizing nanotechnology
US8156057B2 (en) * 2003-03-27 2012-04-10 Knowm Tech, Llc Adaptive neural network utilizing nanotechnology-based components
US20040039717A1 (en) * 2002-08-22 2004-02-26 Alex Nugent High-density synapse chip using nanoparticles
US7412428B2 (en) * 2002-03-12 2008-08-12 Knowmtech, Llc. Application of hebbian and anti-hebbian learning to nanotechnology-based physical neural networks
US9269043B2 (en) 2002-03-12 2016-02-23 Knowm Tech, Llc Memristive neural processor utilizing anti-hebbian and hebbian technology
US7398259B2 (en) 2002-03-12 2008-07-08 Knowmtech, Llc Training of a physical neural network
US7752151B2 (en) * 2002-06-05 2010-07-06 Knowmtech, Llc Multilayer training in a physical neural network formed utilizing nanotechnology
US7827131B2 (en) * 2002-08-22 2010-11-02 Knowm Tech, Llc High density synapse chip using nanoparticles
US7426501B2 (en) * 2003-07-18 2008-09-16 Knowntech, Llc Nanotechnology neural network methods and systems
US20060112028A1 (en) * 2004-11-24 2006-05-25 Weimin Xiao Neural Network and Method of Training
US7502769B2 (en) * 2005-01-31 2009-03-10 Knowmtech, Llc Fractal memory and computational methods and systems based on nanotechnology
US7409375B2 (en) * 2005-05-23 2008-08-05 Knowmtech, Llc Plasticity-induced self organizing nanotechnology for the extraction of independent components from a data stream
US7420396B2 (en) * 2005-06-17 2008-09-02 Knowmtech, Llc Universal logic gate utilizing nanotechnology
US7599895B2 (en) 2005-07-07 2009-10-06 Knowm Tech, Llc Methodology for the configuration and repair of unreliable switching elements
US7930257B2 (en) * 2007-01-05 2011-04-19 Knowm Tech, Llc Hierarchical temporal memory utilizing nanotechnology
DE202008017779U1 (de) * 2008-03-19 2010-07-15 Bruker Daltonik Gmbh Probennehmer von auf Oberflächen sesshaften Substanzen
US10410117B2 (en) 2008-09-21 2019-09-10 Brainchip, Inc. Method and a system for creating dynamic neural function libraries
JP6524933B2 (ja) * 2016-02-03 2019-06-05 富士通株式会社 ボルツマンマシン、ボルツマンマシンの制御方法及びボルツマンマシンを有する情報処理装置
JP6773970B2 (ja) * 2016-09-09 2020-10-21 富士通株式会社 情報処理装置、イジング装置及び情報処理装置の制御方法
JP6708146B2 (ja) * 2017-03-03 2020-06-10 株式会社デンソー ニューラルネットワーク回路
US10679123B2 (en) 2017-04-25 2020-06-09 International Business Machines Corporation Implementation of sigmoid function using non-complementary transistors
WO2019131147A1 (ja) * 2017-12-28 2019-07-04 Tdk株式会社 積和演算器、ニューロモーフィックデバイスおよび積和演算器の使用方法
CN112580790B (zh) * 2019-09-29 2023-06-30 华为技术有限公司 神经网络计算电路、芯片及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4660166A (en) * 1985-01-22 1987-04-21 Bell Telephone Laboratories, Incorporated Electronic network for collective decision based on large number of connections between signals
JPS6280897A (ja) * 1985-10-04 1987-04-14 Mitsubishi Electric Corp 半導体記憶装置
US4901271A (en) * 1987-01-20 1990-02-13 American Telephone And Telegraph Company, At&T Bell Laboratories Computational network
US4807168A (en) * 1987-06-10 1989-02-21 The United States Of America As Represented By The Administrator, National Aeronautics And Space Administration Hybrid analog-digital associative neural network
JP2595051B2 (ja) * 1988-07-01 1997-03-26 株式会社日立製作所 半導体集積回路
JPH02287670A (ja) * 1989-04-27 1990-11-27 Mitsubishi Electric Corp 半導体神経回路網
US4988891A (en) * 1989-05-09 1991-01-29 Mitsubishi Denki Kabushiki Kaisha Semiconductor neural network including photosensitive coupling elements
JPH02310666A (ja) * 1989-05-25 1990-12-26 Mitsubishi Electric Corp 半導体神経回路装置
US5146542A (en) * 1989-06-15 1992-09-08 General Electric Company Neural net using capacitive structures connecting output lines and differentially driven input line pairs
US5101361A (en) * 1989-09-29 1992-03-31 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Analog hardware for delta-backpropagation neural networks

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021507349A (ja) * 2017-12-13 2021-02-22 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 抵抗処理ユニット・アレイのクロスポイント・デバイスに重みを記憶するための方法、そのクロスポイント・デバイス、ニューラル・ネットワークを実施するためのクロスポイント・アレイ、そのシステム、およびニューラル・ネットワークを実施するための方法
US11875249B2 (en) 2017-12-13 2024-01-16 International Business Machines Corporation Counter based resistive processing unit for programmable and reconfigurable artificial-neural-networks
WO2021044821A1 (ja) * 2019-09-02 2021-03-11 ソニー株式会社 演算装置及び積和演算システム
CN111060779A (zh) * 2019-11-20 2020-04-24 安徽大学 一种基于概率神经网络的电网分区故障诊断方法及系统

Also Published As

Publication number Publication date
US5475794A (en) 1995-12-12
JPH0634248B2 (ja) 1994-05-02
US5396581A (en) 1995-03-07
US5202956A (en) 1993-04-13

Similar Documents

Publication Publication Date Title
JPH03223982A (ja) 半導体神経回路網
US5274746A (en) Coupling element for semiconductor neural network device
US5021988A (en) Semiconductor neural network and method of driving the same
JP6477924B2 (ja) メモリスタ神経形態学的回路及びメモリスタ神経形態学的回路をトレーニングするための方法
US4950917A (en) Semiconductor cell for neural network employing a four-quadrant multiplier
US6205556B1 (en) Semiconductor integrated circuit device comprising a memory array and a processing circuit
JP2595051B2 (ja) 半導体集積回路
US5537512A (en) Neural network elements
JP2021185479A (ja) インメモリプロセシングを行う装置、及びそれを含むコンピューティング装置
JP3289748B2 (ja) 半導体装置
US20200202206A1 (en) Artificial neuron for neuromorphic chip with resistive synapses
CN110945535B (zh) 一种在人工神经网络ann中实现的方法
TWI751403B (zh) 具有非揮發性突觸陣列的神經網路電路及神經晶片
JPH0373080A (ja) 半導体神経回路網
US10839898B2 (en) Differential memristive circuit
US5053638A (en) Semiconductor neural circuit device having capacitive coupling and operating method thereof
Farkhani et al. A low-power high-speed spintronics-based neuromorphic computing system using real-time tracking method
TW202205295A (zh) 用於類比矩陣操作的唯讀記憶體架構
JPH0467259A (ja) 情報処理装置
Gunay et al. CMOS winner-take-all circuits: a detailed comparison
Song et al. A 28 nm 16 kb bit-scalable charge-domain transpose 6T SRAM in-memory computing macro
US20210232905A1 (en) Neuromorphic architecture
Schemmel et al. A VLSI implementation of an analog neural network suited for genetic algorithms
WO2020178903A1 (ja) 積和演算器、ニューロモーフィックデバイスおよび積和演算方法
Koosh et al. VLSI neural network with digital weights and analog multipliers

Legal Events

Date Code Title Description
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees