JPH02287670A - 半導体神経回路網 - Google Patents

半導体神経回路網

Info

Publication number
JPH02287670A
JPH02287670A JP1109716A JP10971689A JPH02287670A JP H02287670 A JPH02287670 A JP H02287670A JP 1109716 A JP1109716 A JP 1109716A JP 10971689 A JP10971689 A JP 10971689A JP H02287670 A JPH02287670 A JP H02287670A
Authority
JP
Japan
Prior art keywords
data
data input
input
line
lines
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP1109716A
Other languages
English (en)
Inventor
Koichiro Masuko
益子 耕一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP1109716A priority Critical patent/JPH02287670A/ja
Priority to US07/410,199 priority patent/US5021988A/en
Publication of JPH02287670A publication Critical patent/JPH02287670A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065Analogue means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Logic Circuits (AREA)
  • Dram (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 [産業上の利用分野] この発明は半導体神経回路網に関し、特に、低消費電力
で安定かつ高速な動作を実現する半導体神経回路網チッ
プに関する。
[従来の技術および発明が解決しようとする課題]近年
、人間の神経細胞にニューロン)をモデルとした回路が
各種考案されている。このような二ニーロンモデルの1
つにホップフィールドモデルと呼ばれるものがある。以
下簡単にこのホップフィールドモデルについて説明する
第7図にニューロンをモデルとするユニットの構造の概
略を示す。ユニットiは、他のユニットに、j、Q等か
らの信号を受ける人力部A1与えられた入力を一定の規
則に従って変換する変換部Bおよび変換結果を出力する
出力部Cを含む。入力部Aは、各ユニット間の結合の強
さを示す重み(シナプス)Wを各入カニニットに対して
有する。
したがって、たとえば、ユニットkからの信号Skは、
重みWikが付加されて変換部Bへ伝達される。この重
みWは正、負および0の値をとることができる。変換部
Bは、重みWを付された入力Sの総和netを予め定め
られた関数fを通した後に出力する。すなわち、時刻t
におけるユニットiからの出力Stは、 Ui (t)−net (t)−ΣWijSj。
51=f [Ui (t)]、 で与えられる。開数fとしては、第8A図に示すしきい
値関数または第8B図に示すシグモイド関数が用いられ
ることが多い。
第8A図に示すしきい値関数は、入力の総和net(i
)がしきい値θ以上となると“1゛を出力し、それ以下
の値では“0”を出力する特性を有するユニットステッ
プ関数である。
第8B図に示すシグモイド関数は、 f=1/ [1+exp (−net (i))]で示
される非線形単調増加関数である。シグモイド関数の値
域は0〜1であり、入力の総和net(1)が小さくな
るにつれて“0#に近づき、人力の総和net(i)、
が大きくなるにつれて“1“に近づく。このシグモイド
関数は入力の総和net  (i)が“0″のとき“0
.5”を出力する。
上述のシグモイド関数に対してしきい値θを付加し、 f−1/  [1+exp  (−ne t  N) 
 十〇))]で表わされる関数が用いられる場合もある
。上述のユニットは、生体細胞が他のニューロンからの
刺激を受け、この刺激の総和が成る値以上になると出力
を発生(発火)するというモデルに従っている。ホップ
フィールドモデルは上述のようなニューロンを複数個用
いてネットワークを構成したときのネットワークの動作
モデルを与えるものである。
前述の式においては各ニューロンユニットに初期状態が
与えられると、以後の各二ニーロンユニットの状態は、
すべてのニューロンユニットに対し前述の2つの力学方
程式を連立させて適用して解くことにより原理的にすべ
て決定される。しかしながらユニット数が増大すると、
各ユニットの状態を逐−調べてその状態を把握し、目的
とする問題に対して最適な解を与えるように重みおよび
バイアス値をプログラムする方法はほとんど不可能に近
い。そこでホップフィールドは個々のユニットの状態に
代えて系にューラルネット)全体の特性を表わす量とし
て、 で定義されるエネルギ関数を導入する。ここで1iはユ
ニットlに固有の自己バイアス値である。
重み(シナプス荷重)WijがWijmWjiという対
称性を持つ場合、各ユニットは上述のエネルギ関数を常
に最小(正しくは極小:ローカルミニマ)にするように
自らの状態を変化させていくことをホップフィールドが
示し、このモデルを重みWijのプログラムに適用する
ことを提案した。
前述のエネルギ関数に従うモデルはホップフィールドモ
デルと呼ばれる。前述の式は離散的モデルとして、 Ui(n)−ΣWl jSj (n) +I i。
S i  (n+1) −f [Ui (n) ]とし
て表わされることが多い。ここで、nは離散時間を示す
。上述のホップフィールドモデルは、入出力特性を示す
関数fの勾配が急(はとんどの出力が“0”または“1
”に近い値をとるユニットステップ関数に近い関数)の
場合には特に良い精度で成立することもホップフィール
ド自身により示されている。
このホップフィールドモデルに従って神経回路網をVL
SI(大規模集積回路)で構築することが行なわれてお
り、その−例は、たとえばIEEE(インスティチュー
ト・オブ・エレクトリカル・アンド・エレクトロニクス
・エン、ジニアーズ)発行の“コンピュータ”誌の19
88年3月号の第41頁ないし第49頁に開示されてい
る。
第9図に従来の神経回路網集積回路の全体の概略構成を
示す。第9図を参照して、従来の神経回路網集積回路は
、所定の重みを有する抵抗性結合素子がマトリクス状に
配列された抵抗マトリクス100と、抵抗マトリクス1
00に含まれるデータ入力線上の電位を増幅し、かっこ
の増幅信号を抵抗性結合素子の入力部へフィードバック
する増幅器101とを含む。抵抗アトリクス100は、
後に詳細に説明するが、データ入力線と、データ入力線
と直交する方向に配列されるデータ出力線とを含む。各
データ入力線と各データ出力線との抵抗性結合素子を介
した相互接続はプログラム可能である。
抵抗マトリクス100に含まれる各抵抗性結合素子の状
態(すなわちデータ入力線とデータ出力線との相互接続
状態)をプログラムするために、ロウデコーダ102と
ビットデコーダ103とが設けられる。ロウデコーダ1
02は抵抗マトリクスにおける行を選択する。ビットデ
コーダ103は抵抗マトリクス100における列を選択
する。
データの入出力を行なうために、入出力データを一時的
にラッチする入出力データレジスタ104と、入出力デ
ータレジスタ104を、データの書込み/読出しモード
に応じ抵抗マトリクス100に含まれるデータ入力線お
よびデータ出力線のいずれかに接続するマルチプレクサ
105と、入出力データレジスタ104を装置外部と接
続するためのインターフェイス(Ilo)106とが設
けられる。この神経回路網が半導体チップ200上に集
積化される。第10図に第9図の抵抗マトリクスの構成
の一例を示す。
第10図を参照して抵抗マトリクスは、データ入出力線
A1〜A4と、データ出力線Bl、Bl。
B2.B2.B3.B3.B4. f2rを含む。デー
タ入力線A1〜A4とデータ出力線Bl、Bl〜B4.
B4との交点には抵抗性結合素子1が設けられる。結合
素子1は開放状態、励起状態および抑制状態の3つの状
態をとることができ、各抵抗性結合素子1の状態は外部
から適用される問題に応じてプログラム可能である。ま
た第10図においてはこの抵抗性結合素子がオーブン状
態の場合は示されていないが、各データ入力線とデータ
出力線との交点に抵抗性結合素子が配設されている。抵
抗性結合素子1はそれぞれプログラムされた状態に従っ
て対応のデータ出力線の電位レベルを対応のデータ入力
線上に伝達する。
入力線A1〜A4の各々には、対応のデータ入力線上の
データを増幅して対応のデータ出力線上へ伝達する反転
増幅器2−1〜2−8が設けられる。互いに直列に接続
された2つのインバータは1個の増幅器ユニットとして
機能する。インバータ2−1は入力線Al上の電位を反
転して出力線B1上へ伝達する。インバータ2−2は入
力線A1上のデータを出力線「1上へ伝達する。インバ
−夕2−3は入力線A2上のデータを出力線B2上へ伝
達し、インバータ2−4はデータ入力線A2上のデータ
をデータ出力線「17上へ伝達する。
インバータ2−5および2−6はデータ入力線A3上の
電位をデータ出力線B3.B3上へそれぞれ伝達する。
インバータ2−7.2−8はデータ入力線A4上の電位
をそれぞれデータ出力線B4゜W1上へ伝達する。
結合素子の各々は成る増幅器の出力を他の増幅器の入力
へ接続する。結合素子の構成の一例を第11図に示す。
第11図を参照して抵抗性結合素子1は、抵抗素子R+
、R−と、スイッチング素子Sl、S2゜B3およびB
4と、ランダム・アクセスφメモリ・セル150.15
1を含む。抵抗素子R+はその一方端が電源電位VDD
に接続される。抵抗素子R−は他方の電源電位Vssに
接続される。ス・rツチング素子S1はアンプ(インバ
ータ2b)の出力によりオン働オフが制御される。スイ
ッチング素子S2はランダム脅アクセスやメモリーセル
150によりこのオン・オフが制御される。スイッチン
グ素子S3はランダム・アクセス・メモリ・セル151
によりそのオン・オフ状態が設定される。スイッチング
素子S4はインバータ2aの出力によりそのオン・オフ
が制御される。ランダム拳アクセス・メモリ・セル15
0および151は外部から予めその出力状態をプログラ
ムすることが可能であり、したがってスイッチング素子
S2.B3のオン会オフ状態も予めプログラム可能であ
る。
第11図の構成において増幅回路2(インバータ2a、
2bから構成される回路)の出力は直接には対応の入力
線に電流を供給しない構成となっており、これにより増
幅回路2の出力負荷容量を軽減する。抵抗素子R+、R
−は電流制限抵抗である。
結合素子1はランダム拳アクセス・メモリーセル150
,151のプログラム状態により3状態をとることが可
能である。すなわち、スイッチング素子S2がオン状態
(活性状態)の興奮結合状態、スイッチング素子S3が
活性状態(オン状a)の抑制結合状態、両スイッチング
素子S2.S3がともに非活性状態(オフ状態)のオー
ブン結合状態の3状態である。増幅回路2の出力線Bi
百肩−の電位レベルと成る抵抗性結合素子1のプログラ
ムされた結合状態とが一致すれば、対応の入力線Aiに
は’NRm位VDOまたは他方電源電位(接地電位)V
ssのどちらからか電流が流れる。
抵抗性結合素子1のプログラムされた結合状態がオーブ
ン結合状態の場合には増幅回路2の出力状態にかかわら
ず入力線Atには電流は伝達されない。
上述の回路モデルを二ニーロンモデルに対応させれば、
増幅回路はニューロン本体(第7図の変換部B)に対応
する。配線A1〜A4およびB1〜B4.Bl〜B4は
第7図に示すデータ入力および出力線構造(デンドライ
トおよびアクソン)に対応する。抵抗性結合素子1はニ
ューロン間の重みづけを付加するシナプス荷重部に対応
する。
次に動作について概略的に説明する。
第10図に示すモデルはしばしばコネクショニストモデ
ルと呼ばれる。このモデルでは、個々のニューロンユニ
ット(増幅回路)は単に入力信号のしきい値化(すなわ
ち予め定められたしきい値に対する入力信号の大小に応
じて信号を出力する)を行なうだけである。各抵抗性結
合素子1は成る増幅回路の出力を他の増幅回路の入力に
接続する。
したがって、各増幅回路2の状態はすべての残りの増幅
回路2の状態により決定される。成る増幅回路2が対応
の入力線Aj(j−1〜4)の電流を検出すると、その
ときの増幅回路2の出力は、Vout(j)= f (
Σ11) −f (苓(Vout(1)−Vln(j))Wlj)
で与えられる。ここでVin (i)、Vout(i)
はデータ入力線Aiに接続される増幅回路2の入出力電
圧を示し、工1は1個の抵抗性結合素子1を流れる電流
であり、Wijはデータ入力線Aiに接続される増幅回
路2とデータ入力線Ajに接続される増幅回路を接続す
る抵抗性結合素子のコンダクタンスである。各増幅回路
2の出力電圧Voutはその増幅回路2自身の伝達特性
により与えられる。増幅回路2(インバータ2a。
2b)はデータ入力線に電流を供給せず、単にスイッチ
ング素子S1とスイッチング素子S4のオン・オフ動作
を制御する。これにより増幅回路2の出力負荷はデータ
出力線容量にまで低減される。
成る増幅回路2の入力線Atの電圧はその入力線Aiに
流れ込む電流の総和により与えられる。この電圧は総電
流が0となる値に調整される。すなわち、このときにこ
の電子回路網の総エネルギが極小となる。
増幅回路2の各々はたとえばCMOSインバータで構成
されており、その入力インピーダンスは高く、前述のよ
うな非線型単調増加型のしきい値開数を有している。こ
の場合、上述の総電流が0となるという条件より、 となる。但し!ijは入力線Aiに接続される増幅回路
2の出力により制御される抵抗性結合素子の抵抗を流れ
る電流を示す。ΔVijは抵抗性結合素子の電位差であ
り、 ΔVi j−Vin (j) −Voo −(興奮結合
)−Vin (j)−Vss−(抑制結合)で与えられ
る。また、Rljは抵抗性結合素子の抵抗でありR+ま
たはR−で与えられる。したがって、電圧Vin(j)
はデータ入力線Ajに接続される増幅回路のすべての寄
与の総和となる。
増幅回路2は高利得のしきい鎖素子として機能する。こ
の増幅回路2のしきい値は電源電位VsSとVDDの約
1/2に設定されることが多い。
上述の演算はアナログ的な計算である。このアナログ的
な計算は抵抗マトリクス100内で並列して行なわれる
。しかしながら入力データおよび出力データはともにデ
ジタルデータである。次に第10図を参照して実際の演
算動作について説明する。
入力データがレジスタ10を介して各入力線A1−A4
上に与えられ、各入力線A1〜A4を入力データに対応
する入力電圧レベルに充電することにより神経回路網の
初期設定が行なわれる。各増幅回路C1’〜C4’の出
力電位はまずデータ入力線A1〜A4に与えられた充電
電位に応じて変化する。このデータ出力線上の電位変化
は対応の抵抗性結合素子を介して再びデータ入力線A1
〜A4にフィードバックされる。この各データ入力線A
1〜A4にフィードバックされる電位レベルは各抵抗性
結合素子のプログラム状態により規定される。すなわち
成る抵抗性結合素子が興奮結合にプログラムされている
場合には、電源電位V、。からデータ入力線Atに電流
が流れる。一方、抵抗性結合素子1が抑制結合状態にプ
ログラムされていれば、接地線Vssからデータ入力線
Aiに電流が流れ込む。このような動作がオーブン結合
状態にある抵抗性結合素子を除いて並列に進行し、成る
データ入力線A1に流れ込む電流がアナログ的に加算さ
れることになり、これによりデータ入力線Aiの電位が
変化する。このデータ入力線Atの電位変化が、対応に
設けられた反転増幅回路2のしきい値電圧を越えると、
この増幅回路2の出力電位が変化する。この状態を繰返
し、上述の電流の総和が0となる条件を満たすように各
増幅回路2の出力が変化していき、最終的に上述の安定
状態の式を満足する状態で回路網の状態が安定化する。
この回路網の状態が安定した後は、各増幅回路CI’〜
C4’の出力電圧がレジスタに格納された後に読出され
る。この回路網の安定状態の判定はデータ入力後の予め
定められた時間により設定されるか、またはレジスタの
格納されたデータを直接相互に比較することにより、そ
の出力データの差が所定値以下となったときに回路網が
安定したと判定し、データ出力を得る構成がとられる。
上述の構成から見られるように、回路網のエネルギが最
小値に落ちつくような出力データが出力されることにな
る。したがって、抵抗性結合素子のプログラム状態に従
って抵抗マトリクスは成るパターンや成るデータを記憶
しており、入力データとこの記憶したパターンまたはデ
ータとの一致/不一致を判別することができるため、こ
のような神経回路網は連想記憶回路としてもまたパター
ン弁別器としても機能する。
第10図に示す抵抗マトリクスのデータ出力線からデー
タ入力線へのフィードバックをなくした構成のものは1
層のバーセブトロン回路として知られている。このパー
セブトロン回路は学習アルゴリズムの作成が容易であり
、パーセブトロン回路は多層化して柔軟なシステムを構
築することも可能である。
上述の神経回路網においては、データ出力線を相補線対
Bi、Biで構成し、これにより興奮結合と抑制結合と
を実現して回路網のエネルギの安定状態への収束の高速
化を図っている。
この従来の神経回路網ではデータ入力線At上の電位レ
ベルに応じた電位レベルをデータ出力線Bi、Bi上へ
伝達する増幅回路2はインバータ(反転増幅器)を用い
て構成されている。したがって、ニューロンユニットの
データ変換関数fは、インバータのデータ入出力特性に
より規定される。
また、データ入力線Atの電位のデータ出力線Bi上へ
の伝達時における電位レベルの反転/非反転はインバー
タの入力論理しきい値により決定される。通常、この入
力論理しきい値は電源電位V。。と接地電位Vssの1
/2に設定されることが多い。また、前述のごとくシグ
モイド様の非線形単調増加関数が用いられる場合もある
が、この場合出力データ“0.5”を与える入力の総和
は0となるように決める必要がある。また前述のごとく
シグモイド様の非線形単調増加関数にさらにしきい値を
付加した変換関数が用いられることもある。
通常、反転増幅器がCMOS (金属−絶縁膜一半導体
)構成の場合、反転増幅回路の入力論理しきい値はトラ
ンジスタのサイズすなわちインピーダンス(オン抵抗)
およびトランジスタのしきい値電圧等をパラメータとし
て決定される。
またこの入力論理しきい値電圧がチップ内で発生される
基準電圧により設定され、この基準出力電圧とのデータ
入力線At上の電圧1ノベルとの大小比較によりデータ
伝達時におけるデータの反転/非反転が決定される構成
が用いられることもある。
いずれの構成においても、データを伝達する反転増幅回
路におけるしきい値電圧および感度の設定が神経回路網
の性能を決定する重要な因子となる。したがって、反転
増幅回路におけるしきい値電圧の、チップ間またはチッ
プ内でのばらつきをできるだけなくするのが好ましい。
しかしながら、神経回路網を実現する半導体回路の微細
化および/または大規模化が進むにつれて、製造パラメ
ータ(処理温度、バターニング時におけるマクスの位置
合わせずれ、不純物濃度等)の変動がトランジスタ特性
を変化させ、上述の先行技術のように直列接続された反
転増幅器により増幅回路が実現されている場合、増幅回
路のしきい値電圧および感度をチップ間およびチップ内
でばらつかせることなく一定の値に設定することが困難
になるという欠点が生じる。
また、しきい値を与える比較基準電圧を安定に発生させ
ることができな(なるという問題が発生する。すなわち
、通常、このような比較基準電圧は電源電圧VDI)を
ダイオード接続されたMOS(金属−絶縁膜一半導体)
トランジスタなどを用いて構成された降圧回路により降
圧して発生されることが多い。したがって、前述のよう
にトランジスタ特性(しきい値電圧、オン抵抗等)の変
動および電源電圧VDDの変動により安定な所望の値の
基準電圧を発生することができなくなり、増幅回路のデ
ータの変換特性を設計値通りに設定することができなく
なるという問題が発生する。このような増幅回路のしき
い値電圧の変動および基準電圧の変動は増幅回路の増幅
特性を変化させるため、半導体神経回路網ごとにデータ
の処理速度、入力データと出力データとの対応性などが
異なるなどの誤動作が生じることになり、半導体神経回
路網の信頼性が損なわれるという問題が生じる。
また、ホップフィールドモデルにおけるエネルギ関数を
確率変数とみなし、ホップフィールドのアルゴリズムを
確率系へ拡張することによりボルツマンモデル(ボルツ
マンマシン)が得られることが知られている。第12図
にこのボルツマンモデルに従った半導体神経回路網の要
部の構成の一例を示す。この構成は、例えばMETプレ
ス発行の論文誌“アドバンスト−リサーチ−インφVL
Sl  1987“における第313頁ないし第327
頁の“二二−ロモルフィックvLSI学習システム”に
開示されている。
第12図を参照して、二ニーロンユニットは2つの相補
出力S、Sを有する差動増幅器21〜2jによりそれぞ
れ構成される。ニューロンが“オン″状態の場合、出力
Sは“1” (5V)であり、ニューロンが“オフ”の
場合、出力Sは0”(Ov)である。ニューロンユニッ
ト(差動増幅器)の出力は各差動入力IN、INへ抵抗
性素子Rを介してフィードバックされる。抵抗性素子R
はそのコンダクタンスが変更可能であり、重みWijを
規定する。各入力線IN、INに自己バイアス値−θを
印加するために自己バイアス部分400が設けられる。
この自己バイアス部分400は差動増幅器ZTを介して
定常的に′1”および“0′のデータが印加される。神
経細胞に対応させると、対角線状に配列された差動増幅
器が細胞体に相当し、しきい値処理を行なう。入力線I
N。
INが他の細胞からの信号を受ける樹状突起に対応する
。このデータ入力線IN、INはそれぞれが興奮性と抑
制性の信号を伝える。出力線S、Sが成るニューロンか
らの信号を次のニューロンへ伝える軸索に対応する。抵
抗素子Rはシナプスに対応し、その抵抗値がニューロン
間の結合強度を示す。
データ入力線IN、丁Rとデータ出力線S、Tとの結合
点、すなわち■行J列(t、  j)の位置に配列され
る抵抗素子Rはニューロン(差動増幅器)zjの出力を
ニューロン(差動増幅器)Ziの入力へ接続して正の重
みWijを与えることができる。この正の重みWijの
場合、出力線Sjが入力線INiへ接続されかつ1丁が
データ入力線INiへ接続される。負の重み係数の場合
には、データ出力線百コーがデータ入力線INiへ接続
され、データ入力線Sjがデータ入力線INiへ接続さ
れる。
この神経回路網の初期設定は抵抗素子Rの抵抗値を設定
することにより行なわれる。ボルツマンモデルにおける
問題は、入出力データの確率分布を外部から与えないで
、“できるだけ正確に”神経回路網自体がこの分布を実
現することができるような重みWklllを見い出すこ
とである。このために、各重みWkiに対して重み処理
装置(図示せず)が設けられている。この重み処理装置
は、重みデータをラッチするとともに、そのラッチデー
タをシフトする機能を有し、かつ各操作ループ(+フェ
ーズ、−フェーズ等)後、所定の関係式に従ってそのラ
ッチデータをインクリメントまたはデクリメントする機
能を備えている。
ボルツマンモデルのアルゴリズムは操作1(プラスフェ
ーズ)、操作2(マイナスフェーズ)、操作3(Wku
の変化)および操作0(出力層の学習)を含む。
操作1は■焼鈍(アニーリング)過程と■データ収集過
程と■P+を求める過程とを含む。焼鈍過程は、その振
幅が操作が進むにつれて減少する外部から与えられるア
ナログノイズ信号を各差動増幅器の差動入力へ印加する
ことにより行なわれる。これは高温で焼鈍過程を開始し
、この後順次低温へ移行し、それにより神経回路網シス
テムが熱平衡状態の低いグローバルエネルギ極小値へ安
定化したことを示す。この状態が各差動増幅器Zにおい
て生じ、各差動増幅器2は自己の状態を評価してその状
態を“オン1または“オフ”に設定する。データ収集過
程は結合し合った2つのニューロン(差動増幅器)のそ
れぞれの状態がともに1になっている回数を求める過程
である。P+を求める過程はデータ収集過程で得られた
データの平均値を求める過程である。
操作2(マイナスフェーズ)は、人力データに対応した
ニューロン(差動増幅器)の状態のみを“1°に固定し
て操作1の前述の3つの過程を実行する。この操作2に
おいて平均値を求める過程で得られる値がP−であると
仮定する。
操作3は操作1および操作2で求められた平均値P+と
P−とにより重みWkllを変化させる過程である。
上述の操作1または操作2の後には、各重みWklは並
列動作により調整されており、各重みに対応に設けられ
た重み処理器がその状態を評価してその重みをインクリ
メントまたはデクリメントする。前述のようにデータ入
出力線は対をなして配列されているため重みは上述の並
列アルゴリズムを用いてそれ自身で自己の重みを調整す
る。
第13図に重みWkllを与える抵抗素子の具体的構成
の一例を示す。第13図を参照して、重み部分は、正お
よび負の結合を与えるために4組のトランジスタ群TR
I、TR2,TR3およびTR4を含む。トランジスタ
群TRY〜TR4は同一の構成を有しており、n個のM
OSトランジスタTO〜Tn−1とパストランジスタT
Gとを含む。
MoSトランジスタTO−Tn−1の抵抗比(トランジ
スタの幅/長さの比)は1;2:・・・:2”−’lこ
設定されている。パストランジスタTOは結合の正およ
び負を示すための符号ビットT。
GIJITTGHのいずれかを受けて、対応のデータ入
力線とデータ出力端との接続を行なう。この場合対角線
上に設けられたトランジスタ群が同時データ入出力線の
接続を行なうため、トランスファゲートTGI、TG4
へは正の符号ビットTSGNが印加され、トランスファ
ゲートTG2. TG3へは反転符号ビットTsGNが
印加される。
この各トランジスタ群におけるトランジスタTO〜Tn
−1の適当な組合せでオン状態とすることにより重み係
数Wijを設定することができる。
第14図にニューロンを構成する差動増幅器の具体的構
成の一例を示す。
第14図を参照して差動増幅器は4個のnチャネルMO
SトランジスタNTI、NT2.NT3゜NT4と2個
のpチャネルMoSトランジスタPTl、PT2を含む
。Mo8)ランジスタNTI。
NT2は第1の差動入力を構成し、MOSトランジスタ
NT3.NT4は第2の差動入力を構成する。MOSト
ランジスタNTI、NT2からなる第1の差動入力は雑
音源NSからのノイズを、差動増幅器AZを介して受け
る。このMOSトランジスタNTI、NT2からなる第
1の差動入力はノイズの形態で焼鈍し温度を発生させる
。MOSトランジスタNT3.NT4からなる第2の差
動人力はデータ入力線IN、1π1のデータを差動的に
増幅する。この第2の差動入力は二ニーロンユニット(
差動増幅器)kが“オフ゛の状態とこのニューロンユニ
ットkが“オン”の状態の間のエネルギギャップを計算
する。この雑音源NZを用いることにより、神経回路網
の状態が擬似最適解いわゆるローカル争ミニマムから抜
は出して最適解に収束することが図られている。
MoSトランジスタPTI、PT2からなる差動出力部
は“オン”状態と“オフ”状態との間のいずれかの状態
を示す相補的に対称的な信号を導出する。この場合デー
タ出力線S、Sへ伝達される電位レベルは電源電圧レベ
ルまたは接地電位レベルに設定される。これにより重み
形成部に含まれるパストランジスタTGのオン・オフが
確実に制御される。さらに差動増幅器を一定動作状態と
するために所定のバイアス電位Vbiasをそのゲート
に受けるMo8)ランジスタNT5が設けられる。
差動増幅器Zの正人力(第14図のMOSトランジスタ
NT4)に接続されるコンダクタンスは2種類存在する
。すなわち1つは電圧Vonヘプルアップするコンダク
タンスであり、もう1つは電圧Voffヘプルダウンす
るコンダクタンスである。この正人力におけるプルアッ
プコンダンタクスは、“オン”状態のニューロン(差動
増幅器)からの正の重みと“オフ”状態のニューロン(
差動増幅器)からの負の重みとの総和の絶対値で与えら
れる。プルダウンコンダクタンスは″オン″状態のニュ
ーロン(差動増幅器)からの負の重みと“オフ”状態の
ニューロンからの正の重みとの総和で与えられる。この
関係はニューロン(差動増幅器の負の入力(第14図の
トランジスタNT3)において逆になる。このニューロ
ンを構成する差動増幅器はオン状態のニューロンをδj
−+1、“オフ“状態のニューロンをδJ−−1として
表わすと、 ΣWij・δj〉θi の比較を行なう。ここでθiは第12図に示す各ニュー
ロン対応に設けられた自己バイアス値である。この状態
に従って、各データ入出力の伝達特性が規定される。こ
こで、この比較は差動増幅器ノ正入力トシきい値1/2
 (Von十Vo f f)との比較により行なわれる
。このような比較は完全に整合のとられたトランジスタ
を必要とする。
しかしながら、上述のような差動増幅器を用いることに
より、たとえ高集積化が進み、トランジスタの整合が不
完全となり、動作点がずれたしとても対称的な出力デー
タを導出することができ、かつノイズにも強く正確なデ
ータの比較動作を行なうことが図られている。
しかしながらこの差動増幅器の構成の場合、MOSトラ
ンジスタNT5のゲート電極に一定のバイアス電位Vb
iasが印加されておりニューロンはスタティック型の
増幅器により構成されている。この場合、差動増幅器は
不活性状態とされることがないため、電源投入後は常に
動作状態となり、この差動増幅器で不必要に電力が消費
されるという欠点が生じる。また、このようなスタティ
ック型の差動増幅器は一般に感度がそれほど十分ではな
く、データ入力線IN、IN上の微小な電位差を確実に
検知・増幅して所望の電圧レベルに増幅して出力するこ
とができないという欠点もある。
また、この先行技術の構成の場合、ニューロンはスタテ
ィック型の差動増幅器で構成され、かつデータの入出力
線のリセット(初期設定)が行なわれていないため、入
力データが与えられてから、この与えられた入力データ
に対応してデータ入力線を充電または放電するまでに時
間を要し、神経回路網の初期設定に時間を要するという
欠点が生じる。またさらに同様にデータ出力線がリセッ
トされることがないため、データ出力線の電位が確立す
るまでにも時間が要することになり、このようなスタテ
ィック型差動増幅器をニューロンとして用いた神経回路
網においては、入力データが与えられてから回路網が動
作状態となり安定状態となるまでに時間を要することに
なり、処理速度が遅いという問題が生じる。
また、上述のようなスタティック型差動増幅記を用いて
ニューロンユニットを構成した場合、すべての二ニーロ
ンユニットは非同期的に動作しているため、外部のデー
タ処理装置とこの半導体神経回路網における動作との同
期をとることが困難であり、1つの同期システムを構成
することは困難であるという欠点が生じる。
この発明の目的は、改良された動作特性を有する半導体
神経回路網を提供することである。
この発明の他の目的は、低消費電力で安定かつ高速度動
作が可能な半導体神経回路網を提供することである。
この発明のさらに他の目的は、高感度、高速かつ低消費
電力の差動増幅器により構成されたニューロンユニット
を備える半導体神経回路網を提供することである。
[課題を解決するための手段] この発明に係る半導体神経回路網は、ニューロンユニッ
トとして機能する2人力交差績合型反転増幅回路と、デ
ータ入力線上の電位が入力データに対応して確定した後
にこの交差結合型反転増幅器を活性化する回路とを備え
る。
好ましくは、この活性化回路は高インピーダンスを有し
、この交差結合型反転増幅回路の増幅特性を損なうこと
なくそのデータラッチ能力を弱くする。
さらにこの発明に係る半導体神経回路網はこ好ましくは
この交差結合型反転増幅回路が不活性時にその人力部を
所定電位にプリチャージするイコライズ回路を備える。
[作用] この発明に係る半導体神経回路網においては、ニューロ
ンユニットを構成する2人力交差績合型反転増幅回路は
、データ入力線上の電位差を高速でかつ確実に検知、増
幅してデータ出力線上へ伝達する。また、この2人力交
差績合型反転増幅回路は活性化回路によりダイナミック
型の反転増幅器として機能するため不必要時における電
力消費を除去することができ、消費電力を低減すること
ができる。
またイコライズ回路によりデータ入力線電位を初期化す
ることができるため入力データに対応したデータ入力線
の充放電を高速で行なうことができ、データ入力線の初
期設定を短時間で行なうことができ、データ処理速度を
短縮することができる。
[発明の実施例] 第1図にこの発明の一実施例である半導体神経回路網の
構成の一例を示す。第1図に示す構成においては、結合
マトリクスとそれに関連する部分のみが示される。第1
図を参照して、神経回路網は両法港に配列された内部デ
ータ入力線対AI’AI’ 、A2’ 、A2’ 、A
3.A3’  と、フィードバック線を4にねるデータ
出力線Bl、B了1・・Bn、Bnを備える。内部デー
タ入力線対Ai、At’上には相補入力データが伝達さ
れる。
内部データ入力線Ai’、Ai’ とデータ出力線Bi
、Biとの交点の各々には結合素子1が配設される。結
合素子1は抵抗Rを有し、重み(シナプス荷重)を与え
る。結合素子1はデータ出力線(Bi、BT)上の電位
レベルを対応のデータ入力線Ai(Ai)上へ伝達する
。各結合素子1の結合状態は処理目的に従って予めプロ
グラムされる(ホップフィールドモデルの場合)。
Iノジスタ210でラッチされた入力データを内部デー
タ入力線対Ai’ 、Ai’上に伝達するために、イン
バータ11〜I4と、転送指示信号TGに応答してオン
状態となるトランスファゲートトランジスタlOa〜1
0dおよびlla〜11dが設けられる。トランスファ
ゲートトランジスタ10a〜10dの各々は対応のデー
タ入力線Ai上のデータをその対応の内部データ人力1
1Ai′上へ伝達する。トランスファゲートトランジス
タlla〜lldの各々は対応のインバータIi出力を
対応の内部データ入力線Ai’上へ伝達する。
ニューロンユニットを構成する増幅回路20は、対応の
データ入力線At’、Ai’上の電位を等電位化および
プリチャージするためのイコライズ回路部分と、データ
入力線Ai’ 、Ai’上の電位を検知し増幅するため
の増幅回路部分とを備える。イコライズ回路部分は、r
1チャネルMIS(金属−絶縁膜一半導体)トランジス
タ9a、91〕および9cを備える。nチャネルMIS
トランジスタ9aは所定のプリチャージ電位Vpをデー
タ入力線Al’上に伝達する。nチャネルMISトラン
ジスタ9bはプリチャージ電位Vpをデータ入力線AI
’上に伝達する。nチャネルMISトランジスタ9cは
データ入力線AI’ 、AI’を電気的に短絡する。こ
のMIS)ランジスタ9a、9b、9cはともにイコラ
イズ信号EQに応答してオン状態となる。
増幅回路部分は、2人力交差結合型反転増幅回路により
構成され、pチャネルMIShランジスタ5.6および
nチャネルMISトランジスタ3゜4を含む。pチャネ
ルMISトランジスタ5およびnチャネルMISトラン
ジスタ3は相補接続されて第1のCMOSインバータを
構成する。pチャネルMISトランジスタ6とnチャネ
ルM I Sトランジスタ4とは、相補接続されて第2
のCMOSインバータを構成する。第1のCMOSイン
バータの出力部は内部データ入力線AI’ に接続され
、その人力部が内部データ入力線AI’上に接続される
。第2のCM OSインバータはその出力部が内部デー
タ入力線AI’ に接続されその人力部が内部データ入
力線AI’に接続される。
増幅回路の活性/不活性を制御するために、pチャネル
MISトランジスタ8とnチャネルMISトランジスタ
7が設けられる。pチャネルMISトランジスタ8は活
性化信号SPに応答してオン状態となり所定の電源電位
VDDをpチャネルMISトランジスタ5,6に結合さ
せる。ロチャネルMISトランジスタ7は活性化信号S
Nに応答してオン状態となり、nチャネルMISトラン
ジスタ3.4を他方の71!ti、電位(接地電位)V
sSに接続する。第1および第2のCMOSインバータ
はその人力部と出力部とが交差接続されておリラッチ回
路を形成している。増幅回路20のラッチ能力が強い場
合には、内部データ入力線At、AI’上の電位に応答
してその出力電位を所定の伝達関数に従って変化させた
後に伝達することができない。したがってこのラッチ回
路のラッチ能力を弱く設定する必要がある。このためM
ISトランジスタ7.8の抵抗(インピーダンス)はC
MOSインバータを構成するトランジスタのそれと比べ
て、できるだけ大きな値に設定される。
このMISトランジスタ7.8のインピーダンスとCM
OSインバータを構成するMIS)ランジスタ3〜6の
インピーダンスとの比は各トランジスタのゲート幅/ゲ
ート長を適当な値に設定することにより実現される。
増幅回路20は、各内部データ線対Ai’、τi′に対
応して設けられる。
増幅回路20の出力を対応のデータ出力線Bi。
Biへ伝達するために、第2の転送指示信号TG2に応
答してオン状態となる転送ゲー)12a。
12bが設けられる。
第2図に第1図に示すこの発明の一実施例である半導体
神経回路網の動作を示す信号波形図を示す。以下、第1
および第2図を参照してこの発明の一実施例である半導
体神経回路網の動作について説明する。
時刻t1において信号EQが′L“レベルへ立下がると
、MISトランジスタ9a、9b、9cがオフ状態とな
り、内部データ入力線Ai’、A五′の等電位化動作が
完了し、神経回路網マトリクスが活性化される。
時刻t2において転送指示信号TGが“H″レベル゛立
上がると、レジスタ210にラッチされている信号電圧
がトランスファゲートトランジスタ10a 〜10d、
lla 〜lidを介して内部データ入力線Ai’ 、
At’上へ伝達され、これにより内部データ入力線Ai
’ 、At’上の信号電位が入力データに応じて充放電
される。
時刻t3において内部データ入力線At’、Ai′上の
電位が確定すると、増幅回路20の活性化が行なわれる
。すなわち時刻t3において活性化信号SPが“L°レ
ベルに立下がり、時刻t4において活性化信号SNが″
H°レベルに立上がる。これによりMIS)ランジスタ
3〜6からなる反転増幅回路が活性化され、内部データ
入力線AM、Ai’上の電位レベルを検知増幅しかつラ
ッチする。
時刻t5において第2の転送指示信号TG2が“H”レ
ベルに立上がると、転送ゲート12a。
12bが導通状態となり、増幅回路20で増幅されかつ
ラッチされていたデータが、フィードバック線を兼ねる
データ出力線Bi、Bt上へ伝達される。このデータ出
力線Bi、Bi上へ伝達された電位レベルが結合素子1
を介して内部データ入力線Ai’ 、At’上へフィー
ドバックされる。
この動作は結合マトリクス全体にわたって並列に行なわ
れ、大規模な並列競合プロセスが結合マトリクス全体に
わたって展開される。このフィードバック動作が何回か
繰返されると神経回路網のエネルギ値が一番低い値に落
ちつく。この結合マトリクスで行なわれる競合プロセス
は、統計力学などで使用される運動方程式(たとえばイ
ジングモデル)に類似したアルゴリズムに従って動作す
る。
したがって、予め結合マトリクスを、初期の目的に適う
ようにプログラムしてその結合状態を設定しておけば、
この結合マトリクスから構成される神経回路網は、与え
られた人力信号に対し最も適切な出力信号を高速で発生
させることができる。
特に、増幅回路20が、2人力の交差結合型反転増幅器
とこの反転増幅器を活性化するための活性手段とを有し
、この増幅回路がダイナミック的に動作しているため、
スタティック型の増幅回路に比べて消費電流を低減する
ことができるとともに高感度で内部データ入力線上のデ
ータを検出することができる。
またイコライズ回路(トランジスタ9aないし9c)が
設けられているため、内部データ入力線を所定のプリチ
ャージ電位に等電位化して初期化することができるため
、人力データの初期結合マトリクス内の初期設定および
リセットを行なうことができ、結合マトリクスにおける
データの収束速度を改善することができる。
時刻t7において増幅回路20の入出力状態が安定状態
となると、このデータ出力線Bi、BT上のデータが出
力データとして読出される。この後、トランスファゲー
トトランジスタ10a〜10d、  11 a 〜11
 dが転送指示信号TGの’L”レベルへの移行と同時
にオフ状態となり、また−方転送ゲート12a、12b
および増幅回路20がそれぞれ転送指示信号TG2.増
幅回路活性化信号SP、SNの不活性状態への移行によ
り不活性状態となり、結合マトリクスにおける内部デー
タ入出力線Ai’ 、AL’ 、Bi、Biがフローテ
ィング状態となる。
時刻t8においてイコライズ信号EQが“H゛レベル立
上がるとMISトランジスタ98〜9Cがすべてオン状
態となり、内部データ入力線Ai”  Ai’の等電位
化が行なわれる。
時刻tlOにおいて内部データ入力線At’Ai′およ
びデータ出力線Bi、 Bi’がそれぞれ所定のプリチ
ャージ電位Vpにプリチャージされる。
なお上述の説明においては、データ出力線B1B1上の
イコライズ経路については説明していないが、これは結
合素子1か単純な抵抗性素子であれば容易にこの状態が
実現される(たとえば第13図に示すような構成の場合
)。
また第11図に示すような結合素子が用いられている場
合には、各データ出力線Bi、BT対応にトランジスタ
98〜9Cと同様の接続構成を有するイコライズ回路を
設けておけば容易にこの所定電位へのイコライズは実現
される。
また、上述の構成において、並列競合プロセスが展開す
る場合において各増幅回路はラッチ能力を有しているが
、このラッチ能力は、トランジスタ7.8のインピーダ
ンスが大きくされているために小さく、内部データ入力
線Ai、Ai’上の電位レベルに対応した増幅動作が高
速で行なわれ、この競合プロセスの進行速度を何ら低減
させることはない。
なお第1図および第2図に示す実施例の構成においては
トランスファゲートトランジスタ10a〜10d、ll
a〜lldを導通させる転送指示信号TGは神経回路網
の活性期間を通じて“H”レベルに保持されている。し
たがって神経回路網の活性期間中、レジスタ210の出
力部が内部データ入力線Ai’ 、At’ と接続され
ることになり、競合プロセスの進行時にこのデータ入力
線Ai、Aiをも充放電させる必要が生じるため、消費
電力および動作速度の点からは望ましくない。
したがって、増幅回路20の出力インピーダンスおよび
転送ゲート12a、12bのインピーダンスを最適化し
た場合には、転送指示信号TG2が活性状態になるより
早いタイミングで制御信号TGを“L” レベルに立下
げてトランスファゲートトランジスタ10a〜10dお
よびlla〜11dを非導通状態にする構成の方が、よ
り消費電力を低減することができる。またこの構成の場
合、並列競合プロセスを結合マトリクス内のみに限定す
ることができ、神経回路網における回路設計を容易にす
ることができる。
第3図は転送ゲート12a、12bの具体的構成の一例
を示す図である。第3図を参照して転送ゲート12はp
チャネルMISトランジスタ51゜52と、nチャネル
MISトランジスタ53,54を備える。pチャネルM
ISトランジスタ51の一方導通端子は電源電位VDD
に接続される。
MISトランジスタ54の一方導通端子は他方の電If
A電位(接地電位)Vssに接続される。pチャネル間
XSトランジスタの一方導通端子はMISトランジスタ
51の他方導通端子に接続される。
MISトランジスタ53の一方導通端子はMISトラン
ジスタ54の他方導通端子に接続される。
MIS)ランジスタ52.53は相補接続され、CMO
Sインバータを構成する。MiS)ランジスタ52,5
3のゲートに増幅回路20からの出力が伝達される。M
ISトランジスタ52. 53の出力はデータ出力線B
i(Bi)へ伝達される。
MISトランジスタ51.54のゲートへは第2の転送
指示信号TG2がインバータ110を介して伝達される
。この構成により、転送ゲート12は、転送指示信号T
G2が与えられるまでには確実に増幅回路20出力部と
データ出力線Bi(Bi)と電気的に分離し、かつ転送
指示信号TG2に応答してオン状態となって増幅回路2
0出力を対応のデータ出力線Bi(Bi)上へ伝達する
ことができる。この構成の場合においては前述ののごと
く転送ゲート12のインピーダンスの最適化を、トラン
ジスタサイズの調整により容易に行なうことができる。
第4図に転送ゲート12の他の構成の一例を示す。第4
図を参照して転送ゲート12は、並列に接続されるpチ
ャネルMIS)ランジスタロ1およびnチャネルMis
)ランジスタロ2と、インバータ120とを含む。pチ
ャネルMISトランジスタ62に第2の転送指示信号T
G2が印加され、MIS)ランジスタロ1のゲートに転
送指示信号TG2がインバータ120を介して印加され
る。この転送ゲートは、双方向性スイッチング素子とし
て知られており低抵抗で確実に増幅回路20出力を対応
のデータ出力線Bt(Bi)上へ伝達することができる
第5図はこの発明の他の実施例である半導体神経回路網
の構成を示す図であり、1層のバーセブトロン回路に本
発明を適用した場合の構成を示す。
この第5図に示す構成においては、第1図に示す神経回
路網の構成における転送ゲート12a、12bと、増幅
回路20出力をフィードバックするための経路が削除さ
れる。また、第5図に示す構成において第1図の構成と
対応する部分には同一の参照番号が付されている。この
第5図に示す構成においては、データ出力$lBi、B
iと内部データ入力線Ai’ 、Ai’ との交点に結
合素子1が配設される。第6図に第5図に示す半導体神
経回路網の動作のタイミング信号波形図を示す。次に第
5図および第6図を参照してこの発明の他の実施例であ
る半導体神経回路網の動作について説明する。
時刻t1においてイコライズ信号EQが’L″レベルに
立下がり、神経回路網が活性化される。
データレジスタ210に入力データがラッチされた後に
、転送指示信号TGが′H”レベルに立上がる。このと
き、内部データ入力線Ai’、Ai′上には入力データ
に対応した電位が現われ、かつデータ出力線Bi、Bi
上には内部データ入力線At’ 、Ai’電位と結合素
子1のプログラム状態とに応じた微小電位差が発生する
時刻t3においてこの増幅回路20を活性化する信号S
P、SNが活性状態となり、データ出力線Bi、Bi上
に発生した微小電位差が検知され増幅される。このデー
タ出力線上のBi、Bi上の電位が確定するとデータの
読出しが行なわれ、その後時刻t4.t5において転送
指示信号TGおよび増幅回路活性化信号SP、SNがと
もに不活性状態となり、結合マトリクスがレジスタ10
およびデータ読出部(明確には示さず)と電気的に切り
離され、フローティング状態とされる。
時刻t6において再びイコライズ信号EQが“H”レベ
ルに立上がると内部データ入力線対Ai’ 、Ai’ 
とデータ出力線Bi、Biの等電位化が行なわれ、所定
のプリチャージ電位にプリチャージされる。
上述のような1層のパーセブトロン回路の構成において
も増幅回路として交差結合型反転増幅器を用いているた
め、微小電位差を確実に高速で検知し増幅することが可
能となる。
なお第5図に示す実施例においては1層のバーセブトロ
ン回路が示されているが、データ出力線Bi、Biをレ
ジスタに入力部に接続し、このレジスタにラッチされた
データを第2の結合マトリクスの入力とする構成とすれ
ば容易に2層のバーセブトロン回路網が実現でき、柔軟
な神経回路網構成が得られる。この構成を繰返すことに
より、任意の総数のパーセプトロン半導体回路網が得ら
れる。
なお上記実施例においては、結合素子として、ホップフ
ィールド型のRAMメモリセルを用いた構成およびMO
Sトランジスタのオン抵抗の比により設定する構成等を
一例として説明した。しかしながら、この結合素子の構
成としては、溶断可能なヒユーズ素子を用いるような永
久的なプログラム素子であってもよいし、また電気的に
書き換え可能な記憶素子であってもよく、この結合素子
の形態は特に限定されずどのような形態の結合素子であ
っても上記実施例と同様の効果を得ることができる。ま
た、神経回路網のモデルとしてはホップフィールドモデ
ルに限定されず、ボルツマンモデル等の他のモデルであ
っても本発明は適用可能である。また、上記実施例にお
いては、データ出力線の電位を結合素子のプログラム状
態に従って内部データ入力線へ伝達する構成を示した。
しかしながら、パーセプトロン回路の場合、データ入力
線の電位を結合素子のプログラム状態に従ってデータ出
力線へ伝達する構成としてもよい。
[発明の効果] 以上のようにこの発明によれば、ニューロンユニットを
構成する増幅回路を、2人力交差結合型反転増幅器と、
この反転増幅器を内部データ入力線上にデータが伝達さ
れた後に活性化する回路とにより構成したので、低電力
で高感度かつ高速動作する安定な増幅回路を得ることが
でき、これにより低消費電力で安定、高速で高信頼性の
半導体神経回路網を得ることかできる。
また、内部データ入出力線を神経回路網の不活性時に所
定のプリチャージ電位にプリチャージするイコライズ回
路を設けているため、神経回路網の初期設定化およびデ
ータ入出力線のリセットを行なうことができ、神経解網
の処理速度を改善することができる。
【図面の簡単な説明】
第1図はこの発明の一実施例である半導体神経回路網の
要部の構成を概略的に示す図である。第2図は第1図に
示す半導体神経回路網の動作を示す信号波形図である。 第3図は第1図に示す転送ゲートの構成の一例を示す図
である。第4図は第1図に示す転送ゲートの他の構成例
を示す図である。第5図はこの発明の他の実施例である
半導体神経回路網の構成の要部の構成を示す図である。 第6図は第5図に示す半導体神経回路網の動作を示す信
号波形図である。第7図はニューロンモデルを説明する
ための図である。第8A図および’M 8 B図はニュ
ーロンモデルにおける変換関数の入出力特性を示す図で
あり、第8A図はユニットステップ関数のしきい値開数
を示し、第8B図はシグモイド関数を示す。第9図はこ
の発明が適用される半導体神経回路網チップの全体の構
成の一例を示す図である。第10図は従来の半導体神経
回路網の結合マトリクス部の構成の一例を示す図である
。第11図は第10図に示す結合素子の構成の一例を示
す図である。第12図は従来の半導体神経回路網の結合
マトリクス部の構成の一例を示す図である。第13図は
第12図に示す重み(シナプス荷重)発生部の構成を示
す図である。 第14図は第12図に示す差動増幅器の構成の一例を示
す図である。 図において、3.4. 5.6は交差結合反転増幅回路
20を形成するMITトランジスタ、7゜8は増幅回路
を活性化するためのMITトランジスタ、9a、9b、
9cはイコライズ回路を構成するMITトランジスタ、
10a〜10dおよび11a〜11dはトランスファゲ
ートトランジスタ、12a、12bは転送ゲート、21
0はレジスタである。 なお、図中、同一符号は同一または相当部分を示す。

Claims (2)

    【特許請求の範囲】
  1. (1)生体神経網をモデルとして用いた半導体電子回路
    であって、 各々に入力データが伝達される複数のデータ入力線、前
    記複数のデータ入力線は互いに相補なデータが伝達され
    るデータ入力線が対をなして配列されて複数のデータ入
    力線対を構成し、 前記複数のデータ入力線対の各々に対応して設けられ、
    対応のデータ入力線対上の電位を差動的に増幅する手段
    、前記差動増幅手段は交差結合型反転増幅器を含み、 前記複数のデータ入力線と交差する方向に配列される複
    数のデータ出力線、前記複数のデータ出力線は複数のデ
    ータ出力線対を含み、前記データ出力線対は前記差動増
    幅手段の各々に対応して設けられ、対応の差動増幅手段
    出力が伝達され、前記データ入力線と前記データ出力線
    との交点に設けられ、対応のデータ出力線上の電位レベ
    ルに対応する信号を対応のデータ入力線上に伝達する複
    数の結合素子、前記結合素子の各々はその状態がプログ
    ラム可能であり、かつプログラムされた状態に従って対
    応のデータ出力線上の電位レベルに対応する信号を対応
    のデータ入力線上へ伝達し、および 前記データ入力線へ入力データが伝達された後、前記差
    動増幅手段を活性化する手段を備える、半導体神経回路
    網。
  2. (2)生体神経網をモデルとして用いて構成される半導
    体回路であって、 各々に入力データが伝達される複数のデータ入力線、前
    記複数のデータ入力線は相補な入力データが伝達される
    データ入力線が対をなして配列されて複数のデータ入力
    線対を構成し、 前記複数のデータ入力線と交差する方向に配列される複
    数のデータ出力線、前記複数のデータ出力線は複数のデ
    ータ出力線対を含み、前記複数のデータ出力線対は出力
    データを導出し、 前記データ出力線対の各々に対応して設けられ、対応の
    データ出力線対の電位を差動的に増幅する手段、前記差
    動増幅手段は交差結合型反転増幅器を含み、 前記データ入力線と前記データ出力線との交点に設けら
    れる複数の結合素子、前記複数の結合素子の各々はその
    状態が予めプログラム可能であり、かつこのプログラム
    された状態に従って対応のデータ入力線上の電位レベル
    を対応のデータ出力線上へ伝達または非伝達し、および 前記データ入力線へ入力データが伝達された後、前記差
    動増幅手段を活性化する手段を備える、半導体神経回路
    網。
JP1109716A 1989-04-27 1989-04-27 半導体神経回路網 Pending JPH02287670A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP1109716A JPH02287670A (ja) 1989-04-27 1989-04-27 半導体神経回路網
US07/410,199 US5021988A (en) 1989-04-27 1989-09-21 Semiconductor neural network and method of driving the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1109716A JPH02287670A (ja) 1989-04-27 1989-04-27 半導体神経回路網

Publications (1)

Publication Number Publication Date
JPH02287670A true JPH02287670A (ja) 1990-11-27

Family

ID=14517415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1109716A Pending JPH02287670A (ja) 1989-04-27 1989-04-27 半導体神経回路網

Country Status (2)

Country Link
US (1) US5021988A (ja)
JP (1) JPH02287670A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11468248B2 (en) 2017-04-07 2022-10-11 Nec Corporation Semiconductor device

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5220641A (en) * 1988-10-11 1993-06-15 Kabushiki Kaisha Toshiba Multi-layer perceptron circuit device
US5148514A (en) * 1989-05-15 1992-09-15 Mitsubishi Denki Kabushiki Kaisha Neural network integrated circuit device having self-organizing function
JP2517410B2 (ja) * 1989-05-15 1996-07-24 三菱電機株式会社 学習機能付集積回路装置
JPH0634248B2 (ja) * 1989-12-16 1994-05-02 三菱電機株式会社 半導体神経回路網
JPH0782481B2 (ja) * 1989-12-26 1995-09-06 三菱電機株式会社 半導体神経回路網
JPH03209553A (ja) * 1990-01-11 1991-09-12 Mitsubishi Electric Corp 自己組織化機能を備えた神経回路網装置
JP2746350B2 (ja) * 1990-05-22 1998-05-06 インターナショナル・ビジネス・マシーンズ・コーポレーション 学習機械シナプス・プロセッサ・システム装置
US5103498A (en) * 1990-08-02 1992-04-07 Tandy Corporation Intelligent help system
USRE37431E1 (en) * 1990-08-02 2001-10-30 Ast Research, Inc. Intelligent help system
US5097141A (en) * 1990-12-12 1992-03-17 Motorola, Inc. Simple distance neuron
US5247606A (en) * 1990-12-26 1993-09-21 Intel Corporation Adaptively setting analog weights in a neural network and the like
IT1244912B (it) * 1991-01-31 1994-09-13 Texas Instruments Italia Spa Sistema di apprendimento per rete neuronica di opportuna architettura fisicamente inseribile nel processo di apprendimento.
US5093900A (en) * 1991-02-13 1992-03-03 At&T Bell Laboratories Reconfigurable neural network
US5517596A (en) * 1991-05-17 1996-05-14 International Business Machines Corporation Learning machine synapse processor system apparatus
JPH0827816B2 (ja) * 1991-09-13 1996-03-21 日本電気株式会社 ファジー三段論法推論システム
KR940004429B1 (ko) * 1991-11-01 1994-05-25 한국전기통신공사 가변저항형 mosfet 아날로그 곱셈기
KR940004430B1 (ko) * 1991-11-01 1994-05-25 한국전기통신공사 Mosfet 저항성 제어형 곱셈연산기
GB9123585D0 (en) * 1991-11-06 1992-01-02 Medical Res Council Silicon neuron
US5538915A (en) * 1992-06-05 1996-07-23 The Regents Of The University Of California Process for forming synapses in neural networks and resistor therefor
US5479574A (en) * 1993-04-01 1995-12-26 Nestor, Inc. Method and apparatus for adaptive classification
DE69518326T2 (de) 1995-10-13 2001-01-18 St Microelectronics Srl Niederspannungsneuronalnetzwerk mit sehr niedrigem Leistungsverbrauch
TWI585406B (zh) * 2015-05-06 2017-06-01 國立清華大學 手持式氣體感測裝置及其感測方法
JP7053995B2 (ja) * 2018-04-16 2022-04-13 富士通株式会社 最適化装置及び最適化装置の制御方法
US11687766B2 (en) * 2018-06-19 2023-06-27 Qualcomm Incorporated Artificial neural networks with precision weight for artificial intelligence
US11734328B2 (en) * 2018-08-31 2023-08-22 Accenture Global Solutions Limited Artificial intelligence based corpus enrichment for knowledge population and query response

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4580245A (en) * 1983-07-28 1986-04-01 Sperry Corporation Complementary metal oxide semiconductor dual port random access memory cell
US4660166A (en) * 1985-01-22 1987-04-21 Bell Telephone Laboratories, Incorporated Electronic network for collective decision based on large number of connections between signals
US4782460A (en) * 1987-04-06 1988-11-01 American Telephone And Telegraph Company, At&T Bell Laboratories Computing apparatus comprising a programmable resistor
US4874963A (en) * 1988-02-11 1989-10-17 Bell Communications Research, Inc. Neuromorphic learning networks

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11468248B2 (en) 2017-04-07 2022-10-11 Nec Corporation Semiconductor device

Also Published As

Publication number Publication date
US5021988A (en) 1991-06-04

Similar Documents

Publication Publication Date Title
JPH02287670A (ja) 半導体神経回路網
US5475794A (en) Semiconductor neural network and operating method thereof
US5394511A (en) Coupling element for semiconductor neural network device
Choi et al. A high-precision VLSI winner-take-all circuit for self-organizing neural networks
Holler et al. An electrically trainable artificial neural network (ETANN) with 10240'floating gate'synapses
US4951239A (en) Artificial neural network implementation
US6032140A (en) Low-voltage, very-low-power conductance mode neuron
US5187680A (en) Neural net using capacitive structures connecting input lines and differentially sensed output line pairs
Boahen et al. A heteroassociative memory using current-mode MOS analog VLSI circuits
US5053638A (en) Semiconductor neural circuit device having capacitive coupling and operating method thereof
Arima et al. A self-learning neural network chip with 125 neurons and 10 K self-organization synapses
Schneider et al. Analog CMOS deterministic Boltzmann circuits
Hirotsu et al. An analog neural network chip with random weight change learning algorithm
US5305250A (en) Analog continuous-time MOS vector multiplier circuit and a programmable MOS realization for feedback neural networks
Castro et al. Implementation and performance of an analog nonvolatile neural network
JPH0277871A (ja) 神経回路網
Wu et al. CMOS current-mode neural associative memory design with on-chip learning
Ishii et al. Hardware-backpropagation learning of neuron MOS neural networks
Schemmel et al. A VLSI implementation of an analog neural network suited for genetic algorithms
Koosh et al. VLSI neural network with digital weights and analog multipliers
Nowshin et al. Energy efficient and adaptive analog ic design for delay-based reservoir computing
JPH03209553A (ja) 自己組織化機能を備えた神経回路網装置
JPH02181284A (ja) ニューラルネットワーク
Bo et al. A circuit architecture for analog on-chip back propagation learning with local learning rate adaptation
EP0428716B1 (en) Neural net using differential capacitively coupled input and output lines