JPH0628504A - ニューラル・ネットワーク - Google Patents
ニューラル・ネットワークInfo
- Publication number
- JPH0628504A JPH0628504A JP5135130A JP13513093A JPH0628504A JP H0628504 A JPH0628504 A JP H0628504A JP 5135130 A JP5135130 A JP 5135130A JP 13513093 A JP13513093 A JP 13513093A JP H0628504 A JPH0628504 A JP H0628504A
- Authority
- JP
- Japan
- Prior art keywords
- voltage
- charge
- input
- pulse
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Semiconductor Integrated Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Analysis (AREA)
- Semiconductor Memories (AREA)
Abstract
(57)【要約】
【目的】多くの動作段階で絶対値差の合計を並列計算す
るニューラル・ネットワークを提供する。 【構成】絶対値差を計算するシナプス・セルを用いてい
るニューラル・ネットワークは、ネットワークの内部セ
ル・ノードと列ラインの間に並列に接続した一対の浮遊
ゲート・ディバイスから成る。ネットワークは、ネット
ワークにおけるある列の全シナプス・セルにより生じた
電荷の全てを合計するスイッチト・キャパシタ回路を更
に含んでいる。
るニューラル・ネットワークを提供する。 【構成】絶対値差を計算するシナプス・セルを用いてい
るニューラル・ネットワークは、ネットワークの内部セ
ル・ノードと列ラインの間に並列に接続した一対の浮遊
ゲート・ディバイスから成る。ネットワークは、ネット
ワークにおけるある列の全シナプス・セルにより生じた
電荷の全てを合計するスイッチト・キャパシタ回路を更
に含んでいる。
Description
【０００１】
【産業上の利用分野】本発明は、人工神経回路網（ニュ
ーラル・ネットワーク）の分野に関し、更に詳しくは、
浮遊ゲート・ディバイスを用いてこのようなネットワー
クを電気的に具現する回路および方法に関する。
ーラル・ネットワーク）の分野に関し、更に詳しくは、
浮遊ゲート・ディバイスを用いてこのようなネットワー
クを電気的に具現する回路および方法に関する。
【０００２】
【従来の技術】一般に、ニューラル・ネットワークは、
大規模な並列計算能力がある多層ニューロン（神経細
胞）ディバイスから成っている。このようなネットワー
クには、ネットワークに新し情報を学習させることがで
きるという特長がある。この特性により、命令プログラ
ムを順次実行する一般的なノイマン型コンピュータの処
理能力をはるかに超えた速い計算速度で、情報を並列に
処理することができる。一般に、ニューラル・ネットワ
ークは、生物学的神経系の機能に類似した接続マトリッ
クスの形態を成している。代表的には、電気回路を使用
して、複数の入力と多くの合計素子（たとえば、ニュー
ロン）との間に様々な強さのシナプス結合部を形成して
いる。この相互結合部の強さは、一般にネットワークの
「重み」と呼ばれている。訓練または学習プロセスにお
いて頻繁に変化するシナプスの重みは、基本的には、ネ
ットワークにおける各ニューロンへの電荷または電圧入
力の量を調節する。
大規模な並列計算能力がある多層ニューロン（神経細
胞）ディバイスから成っている。このようなネットワー
クには、ネットワークに新し情報を学習させることがで
きるという特長がある。この特性により、命令プログラ
ムを順次実行する一般的なノイマン型コンピュータの処
理能力をはるかに超えた速い計算速度で、情報を並列に
処理することができる。一般に、ニューラル・ネットワ
ークは、生物学的神経系の機能に類似した接続マトリッ
クスの形態を成している。代表的には、電気回路を使用
して、複数の入力と多くの合計素子（たとえば、ニュー
ロン）との間に様々な強さのシナプス結合部を形成して
いる。この相互結合部の強さは、一般にネットワークの
「重み」と呼ばれている。訓練または学習プロセスにお
いて頻繁に変化するシナプスの重みは、基本的には、ネ
ットワークにおける各ニューロンへの電荷または電圧入
力の量を調節する。
【０００３】従来、浮遊ゲート・ディバイスを用いてい
る電気的なシナプス・セルは、電荷の形で結合部の重み
を記憶するのに使用されてきた。浮遊ゲート・ディバイ
スにおいて、電流は記憶された電荷の値にしたがって調
整される。これらセルでは、与えられた入力電圧に、記
憶された重みを掛けて出力を生じるドット積計算が通常
行なわれる。この出力は、その後、ネットワークにおけ
る他のシナプス出力と合計される。重みを記憶するのに
浮遊ゲート・ディバイスを用いている半導体シナプス・
セルの例としては、米国特許第 4,956,564号および第
4,961,002号が挙げられる。
る電気的なシナプス・セルは、電荷の形で結合部の重み
を記憶するのに使用されてきた。浮遊ゲート・ディバイ
スにおいて、電流は記憶された電荷の値にしたがって調
整される。これらセルでは、与えられた入力電圧に、記
憶された重みを掛けて出力を生じるドット積計算が通常
行なわれる。この出力は、その後、ネットワークにおけ
る他のシナプス出力と合計される。重みを記憶するのに
浮遊ゲート・ディバイスを用いている半導体シナプス・
セルの例としては、米国特許第 4,956,564号および第
4,961,002号が挙げられる。
【０００４】他の種類のニューラル・ネットワークは、
入力値と記憶された重み値の間のユークリッド距離を計
算する。この種のネットワークは、「シティ・ブロッ
ク」差計算と呼ばれている計算を行なう。シティ・ブロ
ック差計算は、セルの記憶された重みと供給された入力
との間の絶対差を得ることにより行なわれる。ドット積
を計算するシナプス・セルの場合と同様に、距離を計算
するシナプスの出力は、通常、ネットワークにおける他
の同様の出力と合計される。乗算形と差計算形のいずれ
のニューラル・ネットワークも、連想メモリやパターン
分類のような計算タスクを同様に解くことができる。
入力値と記憶された重み値の間のユークリッド距離を計
算する。この種のネットワークは、「シティ・ブロッ
ク」差計算と呼ばれている計算を行なう。シティ・ブロ
ック差計算は、セルの記憶された重みと供給された入力
との間の絶対差を得ることにより行なわれる。ドット積
を計算するシナプス・セルの場合と同様に、距離を計算
するシナプスの出力は、通常、ネットワークにおける他
の同様の出力と合計される。乗算形と差計算形のいずれ
のニューラル・ネットワークも、連想メモリやパターン
分類のような計算タスクを同様に解くことができる。
【０００５】
【発明が解決しようとする課題】本発明の目的は、生物
学的シナプスの機能をエミュレートする浮遊ゲート・デ
ィバイスとスイッチト・キャパシタ回路とを用いて、入
力電圧と記憶された重みベクトルとの間の絶対「シティ
・ブロック」差を並列計算する優れたニューラル・ネッ
トワーク・アーキテクチャを提供することである。
学的シナプスの機能をエミュレートする浮遊ゲート・デ
ィバイスとスイッチト・キャパシタ回路とを用いて、入
力電圧と記憶された重みベクトルとの間の絶対「シティ
・ブロック」差を並列計算する優れたニューラル・ネッ
トワーク・アーキテクチャを提供することである。
【０００６】
【課題を解決するための手段】本発明は、絶対差計算を
行なうシナプス・セルを用いたニューラル・ネットワー
クを開示している。ある実施例では、シナプス・セル
は、ネットワークにおける列ラインと内部セル・ノード
との間に並列に接続された一対の浮遊ゲート・ディバイ
スから成っている。列ラインは基準電位に接続し、かつ
内部ノードはキャパシタに接続している。キャパシタの
他の端子は、正方向および負方向遷移を有する電圧パル
スを供給する装置に接続している。一方の電界効果形デ
ィバイスは、入力を供給するネットワークの行ラインに
接続しているゲートを有し、他の電界効果形ディバイス
は、電荷の形でシナプスの重みを記憶する浮遊ゲート部
材を有している。
行なうシナプス・セルを用いたニューラル・ネットワー
クを開示している。ある実施例では、シナプス・セル
は、ネットワークにおける列ラインと内部セル・ノード
との間に並列に接続された一対の浮遊ゲート・ディバイ
スから成っている。列ラインは基準電位に接続し、かつ
内部ノードはキャパシタに接続している。キャパシタの
他の端子は、正方向および負方向遷移を有する電圧パル
スを供給する装置に接続している。一方の電界効果形デ
ィバイスは、入力を供給するネットワークの行ラインに
接続しているゲートを有し、他の電界効果形ディバイス
は、電荷の形でシナプスの重みを記憶する浮遊ゲート部
材を有している。
【０００７】ネットワークは、ネットワークにおけるあ
る列の全てのシナプス・セルにより発生される全ての電
荷を合計する装置をさらに含んでいる。この合計装置
は、一連の供給電圧パルスに応じて動作し、各セルは入
力、重み、または、重みまたは入力の最小値／最大値の
いずれかを表す電荷を発生する。この一連の電圧パルス
に応じて、合計装置は、アレイの１つの列に関する記憶
された重みと入力電圧との間の絶対値の差の合計を表し
ている値を出力する。ネットワークは、多くの個々の位
相における差のこの合計の計算を並列して行なう。
る列の全てのシナプス・セルにより発生される全ての電
荷を合計する装置をさらに含んでいる。この合計装置
は、一連の供給電圧パルスに応じて動作し、各セルは入
力、重み、または、重みまたは入力の最小値／最大値の
いずれかを表す電荷を発生する。この一連の電圧パルス
に応じて、合計装置は、アレイの１つの列に関する記憶
された重みと入力電圧との間の絶対値の差の合計を表し
ている値を出力する。ネットワークは、多くの個々の位
相における差のこの合計の計算を並列して行なう。
【０００８】
【実施例】絶対差を計算するシナプス・セルを用いたニ
ューラル・ネットワークについて説明する。以下の説明
において、特定の電圧、導電形、タイミング関係など様
々な特定の記載は、本発明の理解を助けるためのもので
あって、本発明はこれら記載に限定されないことは当業
者には明白であろう。また、周知の構造や回路につい
は、本発明を不明瞭にしないよう詳細な記載は省略す
る。
ューラル・ネットワークについて説明する。以下の説明
において、特定の電圧、導電形、タイミング関係など様
々な特定の記載は、本発明の理解を助けるためのもので
あって、本発明はこれら記載に限定されないことは当業
者には明白であろう。また、周知の構造や回路につい
は、本発明を不明瞭にしないよう詳細な記載は省略す
る。
【０００９】図１は、動作電源電位ＶS と中間ノード１
３との間に並列に接続された電界効果形ディバイス１
１、１２を含んでいる簡単なソース・フォロワ・ディバ
イスを示している。抵抗ＲX は、ノード１３とグランド
との間に接続している。電界効果形ディバイス１１、１
２は、ゲート電圧ＶA 、ＶB により駆動される。
３との間に並列に接続された電界効果形ディバイス１
１、１２を含んでいる簡単なソース・フォロワ・ディバ
イスを示している。抵抗ＲX は、ノード１３とグランド
との間に接続している。電界効果形ディバイス１１、１
２は、ゲート電圧ＶA 、ＶB により駆動される。
【００１０】本発明の動作をより一層理解するため、図
１の回路について分析する。先ず、ディバイス１１、１
２の固有閾値はゼロで、かつその抵抗および電源電位の
値は、フォロワ動作が得られるような値であると仮定す
る。ディバイス１２の影響を一時的に無視すると、電圧
ＶA がディバイス１１のゲートに生じるたびに、同じ電
圧ＶA が共通ソース・ノード１３に駆動される。言い換
えれば、図１の回路のノード１３は、通常の状態では入
力電圧ＶA に従う。実際には、ディバイス１１のソース
電圧は、ＶA −ＶTHになる。ＶTHはディバイス１１の閾
値電圧である。しかし、上記例では、ディバイス１１の
閾値電圧は、分析を簡単にするためゼロであると仮定し
ている。
１の回路について分析する。先ず、ディバイス１１、１
２の固有閾値はゼロで、かつその抵抗および電源電位の
値は、フォロワ動作が得られるような値であると仮定す
る。ディバイス１２の影響を一時的に無視すると、電圧
ＶA がディバイス１１のゲートに生じるたびに、同じ電
圧ＶA が共通ソース・ノード１３に駆動される。言い換
えれば、図１の回路のノード１３は、通常の状態では入
力電圧ＶA に従う。実際には、ディバイス１１のソース
電圧は、ＶA −ＶTHになる。ＶTHはディバイス１１の閾
値電圧である。しかし、上記例では、ディバイス１１の
閾値電圧は、分析を簡単にするためゼロであると仮定し
ている。
【００１１】ディバイス１２は、ディバイス１１と同様
に動作する。すなわち、ディバイス１１の影響を無視す
ると、ＶB がディバイス１２のゲートに供給される時、
その電圧は内部ノード１３に供給される。ＶA 、ＶB が
図１の各ディバイスに供給される場合について考察す
る。この場合、大きい方の供給ゲート電位を有している
のがどちらのディバイスでも、他のディバイスは無視さ
れる。言い換えると、ノード１３は２つの入力電圧値の
大きい方を取る。たとえば、ＶB がＶA よりも大きい場
合、ディバイス１２は共通ソース・ノード１３を電圧Ｖ
B に駆動する。この高い方の電圧は、他のディバイス、
この場合ディバイス１１を遮断するように機能する。Ｖ
A がＶB よりも大きい場合、逆の状況が生じる。すなわ
ち、ディバイス１１は、ノード１３を電圧ＶA に駆動
し、ディバイス１２はオフになる。したがって、実際に
は、図１のフォロワ・ディバイスは、２つの電圧ＶA ま
たはＶB の高い方を内部ノード１３に接続する。
に動作する。すなわち、ディバイス１１の影響を無視す
ると、ＶB がディバイス１２のゲートに供給される時、
その電圧は内部ノード１３に供給される。ＶA 、ＶB が
図１の各ディバイスに供給される場合について考察す
る。この場合、大きい方の供給ゲート電位を有している
のがどちらのディバイスでも、他のディバイスは無視さ
れる。言い換えると、ノード１３は２つの入力電圧値の
大きい方を取る。たとえば、ＶB がＶA よりも大きい場
合、ディバイス１２は共通ソース・ノード１３を電圧Ｖ
B に駆動する。この高い方の電圧は、他のディバイス、
この場合ディバイス１１を遮断するように機能する。Ｖ
A がＶB よりも大きい場合、逆の状況が生じる。すなわ
ち、ディバイス１１は、ノード１３を電圧ＶA に駆動
し、ディバイス１２はオフになる。したがって、実際に
は、図１のフォロワ・ディバイスは、２つの電圧ＶA ま
たはＶB の高い方を内部ノード１３に接続する。
【００１２】同じ現象を考察する他の方法では、図１の
回路は、電圧ＶA またはＶB と電源電位ＶS との間の最
小値の差を計算する。言い換えれば、ＶB がＶA より大
きい場合、ＶS マイナスＶB は、ＶS マイナスＶA より
小さい。したがって、図１の回路は、２つの量の最大値
または最小値のいずれかを計算する。後述するように、
図１のフォロワ・ディバイスの計算特性は、本発明にお
いて（改変された形態で）２つの量の絶対差の計算に利
用されている。本発明の差計算ニューラル・ネットワー
クでは、アレイにおける各シナプス・セルは、入力電圧
と記憶された重みとの間の絶対差を計算する。この絶対
値差は 入力と重みの最大差の関数として、または基準
電位に関する２つの最小差として、数学的に表現でき
る。このことは、２つの量ＡおよびＢの間の絶対値差を
示した２つの別の式により次のように表示される。
回路は、電圧ＶA またはＶB と電源電位ＶS との間の最
小値の差を計算する。言い換えれば、ＶB がＶA より大
きい場合、ＶS マイナスＶB は、ＶS マイナスＶA より
小さい。したがって、図１の回路は、２つの量の最大値
または最小値のいずれかを計算する。後述するように、
図１のフォロワ・ディバイスの計算特性は、本発明にお
いて（改変された形態で）２つの量の絶対差の計算に利
用されている。本発明の差計算ニューラル・ネットワー
クでは、アレイにおける各シナプス・セルは、入力電圧
と記憶された重みとの間の絶対差を計算する。この絶対
値差は 入力と重みの最大差の関数として、または基準
電位に関する２つの最小差として、数学的に表現でき
る。このことは、２つの量ＡおよびＢの間の絶対値差を
示した２つの別の式により次のように表示される。
【００１３】 ｜Ａ−Ｂ｜＝（Ａ＋Ｂ）−２ｍｉｎ（Ａ，Ｂ） ｜Ａ−Ｂ｜＝２ｍａｘ（Ａ，Ｂ）−（Ａ＋Ｂ）
【００１４】したがって、本発明の主な特徴の１つは、
入力および重みの最小値または最大値のいずれかの関数
として２つの量の差を計算するため、上記関係の一方を
用いていることである。
入力および重みの最小値または最大値のいずれかの関数
として２つの量の差を計算するため、上記関係の一方を
用いていることである。
【００１５】図２は、前述した最小値／最大値計算を行
なうのに有効な電荷ドメイン・シナプス・セルを示して
いる。図２のシナプス・セルは、入力行ライン１８と内
部ノード２０との間に接続したキャパシタ１９を含んで
いる。通常、行ライン１８はアレイの１つの行における
全てのシナプス・セルに接続している。ノード２０は電
界効果形ディバイス１４、１５に共通して接続し、これ
らディバイスはさらに合計ライン１６、１８にそれぞれ
接続している。合計ライン１６、１８（Ｓ1 ，Ｓ2 と示
されている）は一般にアレイにおいて垂直に配置され、
かつネットワークの１つの列において配置された各シナ
プス・セルに接続している。
なうのに有効な電荷ドメイン・シナプス・セルを示して
いる。図２のシナプス・セルは、入力行ライン１８と内
部ノード２０との間に接続したキャパシタ１９を含んで
いる。通常、行ライン１８はアレイの１つの行における
全てのシナプス・セルに接続している。ノード２０は電
界効果形ディバイス１４、１５に共通して接続し、これ
らディバイスはさらに合計ライン１６、１８にそれぞれ
接続している。合計ライン１６、１８（Ｓ1 ，Ｓ2 と示
されている）は一般にアレイにおいて垂直に配置され、
かつネットワークの１つの列において配置された各シナ
プス・セルに接続している。
【００１６】図２の回路は、普通のｎチャネルＭＯＳデ
ィバイスから成るディバイス１４、１５を示している。
しかし、電圧ＶA またはＶB は、浮遊ゲート電位により
簡単に得られる場合がある。より一般的な状況では、電
圧ＶA はアナログ入力電圧として供給され、一方電圧Ｖ
B は浮遊電位により設定される（図２に示した種類のよ
うな電荷ドメイン・シナプス・セルの動作については、
本発明の出願人に譲渡された1991年８月２１日出願の米
国特許願第07/747,640号、発明の名称「電荷ドメイン・
シナプス・セル」に示されている）。
ィバイスから成るディバイス１４、１５を示している。
しかし、電圧ＶA またはＶB は、浮遊ゲート電位により
簡単に得られる場合がある。より一般的な状況では、電
圧ＶA はアナログ入力電圧として供給され、一方電圧Ｖ
B は浮遊電位により設定される（図２に示した種類のよ
うな電荷ドメイン・シナプス・セルの動作については、
本発明の出願人に譲渡された1991年８月２１日出願の米
国特許願第07/747,640号、発明の名称「電荷ドメイン・
シナプス・セル」に示されている）。
【００１７】各ライン１６、１８に供給される電圧ＶS
1，ＶS2が等しいと仮定すると、負方向の電圧遷移（た
とえば、ＶPULSE ）が入力ライン１８に生じる時には、
ノード２０の電圧ＶX は低下する。言い換えれば、キャ
パシタ１９はライン１８の瞬間的な電圧変化を内部ノー
ド２０に接続する。
1，ＶS2が等しいと仮定すると、負方向の電圧遷移（た
とえば、ＶPULSE ）が入力ライン１８に生じる時には、
ノード２０の電圧ＶX は低下する。言い換えれば、キャ
パシタ１９はライン１８の瞬間的な電圧変化を内部ノー
ド２０に接続する。
【００１８】ノード２０は、ライン１８における負方向
遷移に応じて低下した後、トランジスタ１４、１５の一
方または両方を介して再充電し始める。しかし、電圧Ｖ
X はＶA またはＶB のいずれかの最大値を表しているレ
ベルまで再充電するだけである（無論、ＶA およびＶB
は両方ともＶS1＝ＶS2より低いと仮定している）。図２
のシナプス・セルのレスポンスを考察する他の方法で
は、電圧ＶX は、供給されたゲート電圧とライン１６、
１８に供給された基準電圧の間で計算された最小電圧差
まで再充電する。したがって、図２の回路は、供給され
た入力電圧ＶA 、ＶB の最小値（または最大値）を計算
する。一旦、電圧ＶX を再充電させることができたなら
ば、ノード２０に記憶された電荷の量を、シナプス・セ
ルから合計ライン１６または１８のいずれかに転送する
ことができる。このことは、本実施例では、以下に示す
ように別の動作サイクルにおいて生じる。
遷移に応じて低下した後、トランジスタ１４、１５の一
方または両方を介して再充電し始める。しかし、電圧Ｖ
X はＶA またはＶB のいずれかの最大値を表しているレ
ベルまで再充電するだけである（無論、ＶA およびＶB
は両方ともＶS1＝ＶS2より低いと仮定している）。図２
のシナプス・セルのレスポンスを考察する他の方法で
は、電圧ＶX は、供給されたゲート電圧とライン１６、
１８に供給された基準電圧の間で計算された最小電圧差
まで再充電する。したがって、図２の回路は、供給され
た入力電圧ＶA 、ＶB の最小値（または最大値）を計算
する。一旦、電圧ＶX を再充電させることができたなら
ば、ノード２０に記憶された電荷の量を、シナプス・セ
ルから合計ライン１６または１８のいずれかに転送する
ことができる。このことは、本実施例では、以下に示す
ように別の動作サイクルにおいて生じる。
【００１９】図３は、シナプス・セルのアレイから成る
ニューラル・ネットワークの一部を示している。ここで
は、各シナプス・セルは、普通のｎチャネル電界効果形
ディバイス２２に並列に接続した浮遊ゲート・ディバイ
ス２１を含んでいる。両方のディバイスは、列合計ライ
ン２７と内部ノード２４の間に接続している。ライン２
７は、図２に示されている２つの合計ラインＳ1 、Ｓ2
を表している。これら両方の合計ラインは、それぞれ基
準電位ＶREF に共通に接続しているので、図３の回路に
合併して示されている。
ニューラル・ネットワークの一部を示している。ここで
は、各シナプス・セルは、普通のｎチャネル電界効果形
ディバイス２２に並列に接続した浮遊ゲート・ディバイ
ス２１を含んでいる。両方のディバイスは、列合計ライ
ン２７と内部ノード２４の間に接続している。ライン２
７は、図２に示されている２つの合計ラインＳ1 、Ｓ2
を表している。これら両方の合計ラインは、それぞれ基
準電位ＶREF に共通に接続しているので、図３の回路に
合併して示されている。
【００２０】ノード２４はキャパシタ２５を介してライ
ン２８に接続している。ライン２８は一連の電圧パルス
を発生し、かつアレイの１つの列に沿って配置された各
シナプス・セルに接続している。同じように、列合計ラ
イン２７は、電位ＶREF をその列の各セルに関するディ
バイス２１、２２に供給する。ある用途では、ライン２
７は、ホット・エレクトロンの更新を調節するため２つ
の別のラインに分れている。１つはディバイス２１に接
続し、もう一方はディバイス２２に接続している。この
ような改変は、本発明の思想の範囲にあると考えられ
る。
ン２８に接続している。ライン２８は一連の電圧パルス
を発生し、かつアレイの１つの列に沿って配置された各
シナプス・セルに接続している。同じように、列合計ラ
イン２７は、電位ＶREF をその列の各セルに関するディ
バイス２１、２２に供給する。ある用途では、ライン２
７は、ホット・エレクトロンの更新を調節するため２つ
の別のラインに分れている。１つはディバイス２１に接
続し、もう一方はディバイス２２に接続している。この
ような改変は、本発明の思想の範囲にあると考えられ
る。
【００２１】図３に示したネットワークにおけるシナプ
ス・セルの入力は、ディバイス２２、２１のゲートにそ
れぞれ接続したライン３０、３１に沿って供給される。
各ライン３０、３１は、アレイの１つの行に沿って配置
された全シナプス・セルに接続している。前述した原理
にしたがって、図３のニューラル・ネットワークのシナ
プス・セルは、ライン２８に生じた遷移に応じてディバ
イス２１の浮遊ゲートに記憶された電位または入力電圧
ＶA のいずれかの最大値を計算する。電圧ＶA ，ＶB を
適切に調節することにより、上記式で示した絶対値差計
算は、一連のパルス・サイクルにより図３の回路を用い
て行なわれる。これについては後述する。
ス・セルの入力は、ディバイス２２、２１のゲートにそ
れぞれ接続したライン３０、３１に沿って供給される。
各ライン３０、３１は、アレイの１つの行に沿って配置
された全シナプス・セルに接続している。前述した原理
にしたがって、図３のニューラル・ネットワークのシナ
プス・セルは、ライン２８に生じた遷移に応じてディバ
イス２１の浮遊ゲートに記憶された電位または入力電圧
ＶA のいずれかの最大値を計算する。電圧ＶA ，ＶB を
適切に調節することにより、上記式で示した絶対値差計
算は、一連のパルス・サイクルにより図３の回路を用い
て行なわれる。これについては後述する。
【００２２】図３は、列合計ライン２７に接続したスイ
ッチト・キャパシタ・ネットワークをさらに示してい
る。スイッチト・キャパシタ・ネットワークは、基準電
圧（たとえば、ＶREF ）に接続した正の入力とライン２
７に接続した負の入力とを有している演算増幅器から成
っている。増幅器３７は積分器として構成され、キャパ
シタ３８は増幅器３７の負の入力と出力との間に接続し
ている。スイッチング・トランジスタ３９は、キャパシ
タ３８に並列に接続している。トランジスタ３９のゲー
トは、絶対差の量を計算するためネットワークに供給さ
れる一連の電圧パルスに関連した様々なクロック位相を
受け取るよう接続している。
ッチト・キャパシタ・ネットワークをさらに示してい
る。スイッチト・キャパシタ・ネットワークは、基準電
圧（たとえば、ＶREF ）に接続した正の入力とライン２
７に接続した負の入力とを有している演算増幅器から成
っている。増幅器３７は積分器として構成され、キャパ
シタ３８は増幅器３７の負の入力と出力との間に接続し
ている。スイッチング・トランジスタ３９は、キャパシ
タ３８に並列に接続している。トランジスタ３９のゲー
トは、絶対差の量を計算するためネットワークに供給さ
れる一連の電圧パルスに関連した様々なクロック位相を
受け取るよう接続している。
【００２３】増幅器３７の出力は、スイッチング・トラ
ンジスタ４０、４１にも接続している。たとえば、トラ
ンジスタ４０は、増幅器３７の出力と累算器４５の正の
入力との間に接続し、一方、トランジスタ４１は、増幅
器３７の出力と累算器４５の負の入力との間に接続して
いる。累算器４５の出力は、アレイの所定の列に関する
記憶された重みと供給入力との間の絶対差を表す電圧Ｖ
OUT である。
ンジスタ４０、４１にも接続している。たとえば、トラ
ンジスタ４０は、増幅器３７の出力と累算器４５の正の
入力との間に接続し、一方、トランジスタ４１は、増幅
器３７の出力と累算器４５の負の入力との間に接続して
いる。累算器４５の出力は、アレイの所定の列に関する
記憶された重みと供給入力との間の絶対差を表す電圧Ｖ
OUT である。
【００２４】以上のことから、トランジスタ４０のゲー
トは、第１または第２クロック位相のいずれかからのク
ロック信号を受信し、一方、トランジスタ４１は第３ク
ロック位相からのクロック信号を受信するよう接続した
ゲートを有している。本発明の動作に関する様々なクロ
ック位相の関係については簡単に後述する。
トは、第１または第２クロック位相のいずれかからのク
ロック信号を受信し、一方、トランジスタ４１は第３ク
ロック位相からのクロック信号を受信するよう接続した
ゲートを有している。本発明の動作に関する様々なクロ
ック位相の関係については簡単に後述する。
【００２５】本発明は、図４に示されたタイミング波形
図に関して図３のニューラル・ネットワーク・アーキテ
クチャについて考察することによって一層理解すること
ができる。図４は、一連の供給入力電圧に関する本発明
のニューラル・ネットワークのレスポンスを示してい
る。ネットワークの一連の供給入力は、３つの別々のク
ロック位相信号、位相１（ＰＨ1 ），位相２（ＰＨ2
），位相３（ＰＨ3 ）を含んでいる。これら各クロッ
ク・パルスは、絶対値差計算における重要な役割を果た
している。
図に関して図３のニューラル・ネットワーク・アーキテ
クチャについて考察することによって一層理解すること
ができる。図４は、一連の供給入力電圧に関する本発明
のニューラル・ネットワークのレスポンスを示してい
る。ネットワークの一連の供給入力は、３つの別々のク
ロック位相信号、位相１（ＰＨ1 ），位相２（ＰＨ2
），位相３（ＰＨ3 ）を含んでいる。これら各クロッ
ク・パルスは、絶対値差計算における重要な役割を果た
している。
【００２６】各クロック位相信号に関する図３のネット
ワークのレスポンスについて考察する。クロック信号Ｐ
Ｈ1 の第１正方向遷移の前は、ライン２８に接続したパ
ルス制御電圧ＶC は高くなっている。制御信号ＶC が低
に遷移する直前に、電圧入力はライン３０に沿って供給
される。本実施例では、電圧ＶA は、ＶREF マイナスＶ
INの電圧レベルに選択されている。ＶINはネットワーク
の供給入力を表している。この入力電圧は、信号ＶC の
負方向遷移の前に安定化されている。この第１動作段階
において、ライン３１に沿ったディバイス２１の制御ゲ
ートに接続した電圧はグランドされている。これは、電
圧ＶB をゼロ・ボルトにすることにより行なわれ、これ
により、一連の計算において行なわれる第１合計からこ
の入力の影響を除去することができる。
ワークのレスポンスについて考察する。クロック信号Ｐ
Ｈ1 の第１正方向遷移の前は、ライン２８に接続したパ
ルス制御電圧ＶC は高くなっている。制御信号ＶC が低
に遷移する直前に、電圧入力はライン３０に沿って供給
される。本実施例では、電圧ＶA は、ＶREF マイナスＶ
INの電圧レベルに選択されている。ＶINはネットワーク
の供給入力を表している。この入力電圧は、信号ＶC の
負方向遷移の前に安定化されている。この第１動作段階
において、ライン３１に沿ったディバイス２１の制御ゲ
ートに接続した電圧はグランドされている。これは、電
圧ＶB をゼロ・ボルトにすることにより行なわれ、これ
により、一連の計算において行なわれる第１合計からこ
の入力の影響を除去することができる。
【００２７】電圧ＶC の第１負方向遷移が生じると、ノ
ード２４の内部電圧ＶX は、キャパシタ２５の電圧結合
特性により低くなる。しかし、図２のセルの動作に関し
て述べたように、電圧ＶX は、ライン２７の電圧とライ
ン３０の供給入力との間の差に等しい電位まですぐに再
充電する。ライン３０の供給電圧は、ＶREF マイナスＶ
INなので、内部ノード電圧ＶX は、動作電位ＶREF に関
して電圧ＶINまで再充電するだけである。このように、
第１動作段階すなわちサイクルの一部として、図３のニ
ューラル・ネットワークは、入力電圧ＶINに比例した電
荷量を内部ノード２４に生じる。この電荷は、絶対値差
計算の一部として必要な第１項を示している（上記式を
参照）。
ード２４の内部電圧ＶX は、キャパシタ２５の電圧結合
特性により低くなる。しかし、図２のセルの動作に関し
て述べたように、電圧ＶX は、ライン２７の電圧とライ
ン３０の供給入力との間の差に等しい電位まですぐに再
充電する。ライン３０の供給電圧は、ＶREF マイナスＶ
INなので、内部ノード電圧ＶX は、動作電位ＶREF に関
して電圧ＶINまで再充電するだけである。このように、
第１動作段階すなわちサイクルの一部として、図３のニ
ューラル・ネットワークは、入力電圧ＶINに比例した電
荷量を内部ノード２４に生じる。この電荷は、絶対値差
計算の一部として必要な第１項を示している（上記式を
参照）。
【００２８】第１位相信号ＰＨ1 がアクティブである期
間、ノード２４に生じた電荷の量は、アレイの同じ列に
配置された全シナプス・セルに関してこの内部ノードに
生じた他の全ての電荷と統合される。これに関連して、
クロック信号ＰＨ1 が低い場合には、トランジスタ３９
はオンになることに留意しなければならない。実際に
は、これは、キャパシタ３８を放電することにより増幅
器３７の積分機能を不能にする。一方、ＰＨ1 が高に遷
移する時（さしあたりＰＨ2 ，ＰＨ3 の影響を無視す
る）、トランジスタ３９はオフになる。これにより、増
幅器３７とキャパシタ３８は、クロック信号ＰＨ1 の正
方向の遷移が起きる前に、各内部シナプス・ノード２４
に生じた電荷をもう一度統合することができる。この時
点で、（ディバイス２２のゲートに接続した）ワード・
ライン３０を高い正電位に上昇させることによって、ノ
ード２４の電荷をライン２７に転送することができる。
図４に示した矢印５１は、入力電圧ＶA のこの遷移に対
する電圧ＶX のレスポンスを表している。なお、電圧Ｖ
X は、電荷転送プロセスが行なわれる時、基準電位ＶRE
F に再充電する。
間、ノード２４に生じた電荷の量は、アレイの同じ列に
配置された全シナプス・セルに関してこの内部ノードに
生じた他の全ての電荷と統合される。これに関連して、
クロック信号ＰＨ1 が低い場合には、トランジスタ３９
はオンになることに留意しなければならない。実際に
は、これは、キャパシタ３８を放電することにより増幅
器３７の積分機能を不能にする。一方、ＰＨ1 が高に遷
移する時（さしあたりＰＨ2 ，ＰＨ3 の影響を無視す
る）、トランジスタ３９はオフになる。これにより、増
幅器３７とキャパシタ３８は、クロック信号ＰＨ1 の正
方向の遷移が起きる前に、各内部シナプス・ノード２４
に生じた電荷をもう一度統合することができる。この時
点で、（ディバイス２２のゲートに接続した）ワード・
ライン３０を高い正電位に上昇させることによって、ノ
ード２４の電荷をライン２７に転送することができる。
図４に示した矢印５１は、入力電圧ＶA のこの遷移に対
する電圧ＶX のレスポンスを表している。なお、電圧Ｖ
X は、電荷転送プロセスが行なわれる時、基準電位ＶRE
F に再充電する。
【００２９】クロック信号ＰＨ1 が高い間、トランジス
タ４０も、（上記式のＶIN項の合計を表している）全部
の列電荷が正の入力として累算器４５に累算されるよう
に、オンになる。クロック信号ＰＨ1 が低に遷移する
時、計算シーケンスの第１段階は終了する。第２動作段
階において、絶対値差式からの第２項が計算される。本
実施例の場合、この第２項は、アレイのシナプス・セル
におけるある列に関する記憶された重みの合計から成
る。この合計を計算するため、入力電圧ＶA は、制御電
圧ＶCが高い間グランドされている。一方、（トランジ
スタ２１の制御ゲートに接続した）入力電圧ＶB は、デ
ィバイス２１の閾値が記憶された重みを表しているよう
に、基準電位に置かれる。記憶された重みは、ディバイ
ス２１の浮遊ゲートにおける電荷の存在により表され
る。
タ４０も、（上記式のＶIN項の合計を表している）全部
の列電荷が正の入力として累算器４５に累算されるよう
に、オンになる。クロック信号ＰＨ1 が低に遷移する
時、計算シーケンスの第１段階は終了する。第２動作段
階において、絶対値差式からの第２項が計算される。本
実施例の場合、この第２項は、アレイのシナプス・セル
におけるある列に関する記憶された重みの合計から成
る。この合計を計算するため、入力電圧ＶA は、制御電
圧ＶCが高い間グランドされている。一方、（トランジ
スタ２１の制御ゲートに接続した）入力電圧ＶB は、デ
ィバイス２１の閾値が記憶された重みを表しているよう
に、基準電位に置かれる。記憶された重みは、ディバイ
ス２１の浮遊ゲートにおける電荷の存在により表され
る。
【００３０】電圧制御パルスＶC の第２負方向遷移が起
きると、シナプス・ノード電圧ＶXは低下する。その
後、それは、記憶された重みの値に比例した電圧レベル
まですぐに再充電する。このレベルは、図４の電圧ＶWT
により示されている。内部ノード２４に記憶された対応
する電荷は、その後、前述したように各シナプス・セル
から転送される。言い換えると、クロック信号ＰＨ2 が
高い間、行ライン３０のワードライン電圧ＶA は、ノー
ド２４に記憶された電荷を合計ライン２７に転送するの
に十分に高い正の電位まで上昇される。前と同様に、こ
の電荷パケットは、アレイの同じ列における他のセルに
より生じた他の全ての電荷パケットと統合される。図４
の矢印５２は、入力ＶA の変化に対するノード電圧ＶX
のレスポンスを示している。なお、クロック信号ＰＨ2
が高い間、増幅器３７とキャパシタ３８は積分器として
機能する（すなわち、トランジスタ３９はオフであ
る）。これにより、キャパシタ３８は、関連する全ての
セルの電荷パケットを累算することができる。同時に、
トランジスタ４０はオンになり、それにより、その列の
全重みの合計を、累算器４５において正の項として累算
することができる。言い換えれば、キャパシタ３８に蓄
積された電荷は、キャパシタ３８が放電されて第３動作
段階を開始する前に、累算器４５に転送される。
きると、シナプス・ノード電圧ＶXは低下する。その
後、それは、記憶された重みの値に比例した電圧レベル
まですぐに再充電する。このレベルは、図４の電圧ＶWT
により示されている。内部ノード２４に記憶された対応
する電荷は、その後、前述したように各シナプス・セル
から転送される。言い換えると、クロック信号ＰＨ2 が
高い間、行ライン３０のワードライン電圧ＶA は、ノー
ド２４に記憶された電荷を合計ライン２７に転送するの
に十分に高い正の電位まで上昇される。前と同様に、こ
の電荷パケットは、アレイの同じ列における他のセルに
より生じた他の全ての電荷パケットと統合される。図４
の矢印５２は、入力ＶA の変化に対するノード電圧ＶX
のレスポンスを示している。なお、クロック信号ＰＨ2
が高い間、増幅器３７とキャパシタ３８は積分器として
機能する（すなわち、トランジスタ３９はオフであ
る）。これにより、キャパシタ３８は、関連する全ての
セルの電荷パケットを累算することができる。同時に、
トランジスタ４０はオンになり、それにより、その列の
全重みの合計を、累算器４５において正の項として累算
することができる。言い換えれば、キャパシタ３８に蓄
積された電荷は、キャパシタ３８が放電されて第３動作
段階を開始する前に、累算器４５に転送される。
【００３１】第３動作段階は、絶対値差計算における最
終項を計算するのに使用され、入力電圧ＶINまたは記憶
された重みＶWTのいずれかの最小値が決定される。この
計算を行なうため、電圧ＶA は、制御電圧ＶC が高い
間、ＶREF マイナスＶINの電圧に再び置かれる。しか
し、第１動作段階とは異なり、電圧ＶB は、第３段階に
おいて高い基準電位のままである。これは、ディバイス
２１の閾値が、現在、浮遊ゲート部材における記憶され
た重みに正比例していることを意味している。
終項を計算するのに使用され、入力電圧ＶINまたは記憶
された重みＶWTのいずれかの最小値が決定される。この
計算を行なうため、電圧ＶA は、制御電圧ＶC が高い
間、ＶREF マイナスＶINの電圧に再び置かれる。しか
し、第１動作段階とは異なり、電圧ＶB は、第３段階に
おいて高い基準電位のままである。これは、ディバイス
２１の閾値が、現在、浮遊ゲート部材における記憶され
た重みに正比例していることを意味している。
【００３２】ＶC が第３負方向遷移になると、内部ノー
ド電圧ＶX は、再び低に遷移し、その後ＶINまたはＶWT
のいずれかの最小値まで再充電する。これは、第３クロ
ック信号ＰＨ3 が生じる直前に起きることを示してい
る。ＰＨ3 が高に遷移すると、電圧ＶA は、内部ノード
２４に生じた電荷をライン２７に沿ってキャパシタ３８
に転送できるように、高い正電位に再び置かれる。な
お、クロック信号ＰＨ3 が高い間、トランジスタ３９は
オフになり、トランジスタ４０はオンになる。これによ
り、増幅器３７の出力は累算器４５の負の入力に送られ
る。電荷転送プロセスは、図４の矢印５３に示すように
電圧ＶA の変化に応じて行なわれる。
ド電圧ＶX は、再び低に遷移し、その後ＶINまたはＶWT
のいずれかの最小値まで再充電する。これは、第３クロ
ック信号ＰＨ3 が生じる直前に起きることを示してい
る。ＰＨ3 が高に遷移すると、電圧ＶA は、内部ノード
２４に生じた電荷をライン２７に沿ってキャパシタ３８
に転送できるように、高い正電位に再び置かれる。な
お、クロック信号ＰＨ3 が高い間、トランジスタ３９は
オフになり、トランジスタ４０はオンになる。これによ
り、増幅器３７の出力は累算器４５の負の入力に送られ
る。電荷転送プロセスは、図４の矢印５３に示すように
電圧ＶA の変化に応じて行なわれる。
【００３３】絶対値差計算はＶN またはＶWTのいずれか
の最小値の２倍に等しい項を要するので、第３動作段階
において行なわれる計算を、必要ならば第４段階で繰り
返してもよい。または、累算器４５は、負の入力端子に
２倍の乗算係数を含んでいてもよい。後者の場合、乗算
は、第３動作段階において自動的に行なわれる。いずれ
の場合も、累算器４５により生じた最終的な結果は、ニ
ューラル・ネットワーク・アレイの１つの列に関する記
憶された重みと入力電圧との間の絶対値差の合計を表し
ている。すなわち、絶対値計算は、少なくとも３つの各
動作段階で行なわれる。本実施例では、第１動作段階
は、供給された入力電圧の合計を計算する。第１動作段
階において生じた電荷は累算器４５に記憶され、キャパ
シタ３８は放電され、その後、第２動作段階が開始す
る。第２段階において、記憶された重みの合計は、同様
に累算され、かつ入力電圧の合計に加算される。最後
に、記憶された重みまたは供給入力のいずれかの最小値
を決定する第３計算は、最後の動作段階（または最後の
２つの段階）において行なわれる。この最小値項は、あ
らかじめ累算された合計から減算され、最終結果に至
る。
の最小値の２倍に等しい項を要するので、第３動作段階
において行なわれる計算を、必要ならば第４段階で繰り
返してもよい。または、累算器４５は、負の入力端子に
２倍の乗算係数を含んでいてもよい。後者の場合、乗算
は、第３動作段階において自動的に行なわれる。いずれ
の場合も、累算器４５により生じた最終的な結果は、ニ
ューラル・ネットワーク・アレイの１つの列に関する記
憶された重みと入力電圧との間の絶対値差の合計を表し
ている。すなわち、絶対値計算は、少なくとも３つの各
動作段階で行なわれる。本実施例では、第１動作段階
は、供給された入力電圧の合計を計算する。第１動作段
階において生じた電荷は累算器４５に記憶され、キャパ
シタ３８は放電され、その後、第２動作段階が開始す
る。第２段階において、記憶された重みの合計は、同様
に累算され、かつ入力電圧の合計に加算される。最後
に、記憶された重みまたは供給入力のいずれかの最小値
を決定する第３計算は、最後の動作段階（または最後の
２つの段階）において行なわれる。この最小値項は、あ
らかじめ累算された合計から減算され、最終結果に至
る。
【００３４】以上のように、実施例に基づいて本発明を
説明してきたが、本発明は様々な方法で実施することが
できる。したがって、本発明は、これら実施例に限定さ
れず、本発明の思想の範囲で様々に改変できることは当
業者には明白であろう。
説明してきたが、本発明は様々な方法で実施することが
できる。したがって、本発明は、これら実施例に限定さ
れず、本発明の思想の範囲で様々に改変できることは当
業者には明白であろう。
【発明の効果】本発明の回路は、各セルが、入力、重
み、または重みまたは入力の最小値／最大値のいずれか
を表しているように、一連の供給電圧パルスに応じて動
作する。したがって、これら電荷の累算は、アレイの１
つの列に関する記憶された重みおよび入力電圧の絶対値
差の合計を表すことができる。
み、または重みまたは入力の最小値／最大値のいずれか
を表しているように、一連の供給電圧パルスに応じて動
作する。したがって、これら電荷の累算は、アレイの１
つの列に関する記憶された重みおよび入力電圧の絶対値
差の合計を表すことができる。
【図１】一対の入力電圧の最大値を出力するフォロワ・
ディバイスの回路図である。
ディバイスの回路図である。
【図２】本発明のニューラル・ネットワークにおいて使
用される基本的シナプス・セルの回路図である。
用される基本的シナプス・セルの回路図である。
【図３】本発明のニューラル・ネットワークの基本的ア
ーキテクチャを示している。
ーキテクチャを示している。
【図４】図３のニューラル・ネットワークの基本動作を
示したタイミング図である。
示したタイミング図である。
１１ 電界効果形ディバイス １２ 電界効果形ディバイス １３ 内部ノード １４ 電界効果形ディバイス １５ 電界効果形ディバイス １６ 合計ライン １８ 入力行ライン １９ キャパシタ ２０ ノード ２１ 浮遊ゲート・ディバイス ２２ 電界効果形ディバイス ２４ 内部ノード ２５ キャパシタ ２７ 列合計ライン ３７ 演算増幅器 ３８ キャパシタ ３９ スイッチイング・トランジスタ ４０ スイッチイング・トランジスタ ４１ スイッチイング・トランジスタ ４５ 累算器
Claims (3)
- 【請求項１】 入力と記憶された重みとの間の絶対差を
計算するニューラル・ネットワークにおいて、 電圧パルスを上記ネットワークに供給するパルス装置
と、 上記入力、または上記重み、または上記重みまたは上記
入力のいずれかの最小値、または上記重みまたは上記入
力のいずれかの最大値を表している電荷を、上記電圧パ
ルスの遷移に応じて発生するシナプス・セル装置と、 少なくとも第１、第２、第３パルスから成る一連の上記
パルスに関し、上記シナプス・セル装置により発生され
る電荷を合計する装置と、 から成り、上記シナプス・セル装置は、上記第１パルス
に応じて上記入力を表す第１電荷と、上記第２パルスに
応じて上記重みを表す第２電荷と、上記第３パルスに応
じて上記最大値または最小値のいずれかを表す第３電荷
を発生し、上記合計装置は、上記入力と上記重みの間の
絶対値差を表している上記一連のパルスに応じて電圧を
出力することを特徴とするニューラル・ネットワーク。 - 【請求項２】 各セルが、内部ノードに共通に接続した
ソースと基準電位に接続したドレインとを有する第１電
界効果形ディバイスおよびシナプスの重みに相当する閾
値を有する浮遊ゲート・ディバイスから成る第２電界効
果形ディバイスと、上記内部ノードに接続したキャパシ
タとから成る、行および列に配列されたシナプス・セル
のアレイと、 それぞれが、上記キャパシタを介して上記アレイの同じ
列における全てのセルに接続し、正および負の遷移を有
するパルスの流れを供給する複数のパルス・ラインと、 それぞれが、上記電界効果形ディバイスのドレインを介
して同じ列における全てのセルに接続している複数の列
合計ラインと、 同じ行における全てのセルに接続した複数対の行ライン
から成る複数の行ラインと、 上記列合計ラインに接続し、上記シナプス・セルにより
そこに生じた電荷を積分する装置と、 から成り、一対の行ラインの一方は、上記第１電界効果
形ディバイスのゲートに接続した入力電圧を供給し、か
つ上記対の他方は、上記第２電界効果形ディバイスの制
御ゲートに接続した高い正電位を供給し、 上記電荷は上記負の遷移に応じて上記列合計ラインに生
じ、各遷移は、上記基準電位と上記重みまたは上記入力
電圧のいずれかとの間の最小値差に比例した電荷を発生
することを特徴とするニューラル・ネットワーク。 - 【請求項３】 第２サイクルにおいてニューラル・ネッ
トワークを作動する方法において、 アレイにおけるある列の各セルに関し、一対の行ライン
対のもう一方に高い正電位を、かつ上記対の行ラインの
一方にグランド電位を供給する過程と、 重みを表す第２電荷が内部ノードに現れるようにするた
め、上記列のパルス・ラインに負の遷移を供給する過程
と、 上記積分器と累算装置とに上記第２電荷を転送するよう
上記第２クロック信号を供給する過程と、 から成り、上記第２電荷は、上記パルス流の次の正の遷
移の前に転送されることを特徴とするニューラル・ネッ
トワークを作動する方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US884,807 | 1992-05-19 | ||
| US07/884,807 US5329610A (en) | 1992-05-19 | 1992-05-19 | Neural network employing absolute value calculating synapse |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0628504A true JPH0628504A (ja) | 1994-02-04 |
Family
ID=25385439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5135130A Pending JPH0628504A (ja) | 1992-05-19 | 1993-05-14 | ニューラル・ネットワーク |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5329610A (ja) |
| JP (1) | JPH0628504A (ja) |
| DE (1) | DE4315576A1 (ja) |
| GB (1) | GB2267171B (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6186491B1 (en) | 1998-10-02 | 2001-02-13 | Nec Corporation | Sheet feeding apparatus |
| WO2020085607A1 (ko) * | 2018-10-24 | 2020-04-30 | 포항공과대학교산학협력단 | 크로스-포인트 커패시터 기반의 가중치 소자 및 이를 이용한 뉴럴 네트워크 |
| WO2022260413A1 (ko) * | 2021-06-07 | 2022-12-15 | 건국대학교 산학협력단 | 펄스폭 기반 전류 영역 인-메모리 신경망 연산기의 천이 오차 교정 장치 및 방법 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR970007006B1 (ko) * | 1993-08-31 | 1997-05-01 | 한국전자통신연구원 | 인공 신경 회로와 패턴 분리 및 인식용 발진 신경 망의 구조 |
| US5438293A (en) * | 1993-10-04 | 1995-08-01 | Regents Of The University Of California | Low power analog absolute differencing circuit and architecture |
| US8429107B2 (en) * | 2009-11-04 | 2013-04-23 | International Business Machines Corporation | System for address-event-representation network simulation |
| US8583577B2 (en) * | 2011-05-25 | 2013-11-12 | Qualcomm Incorporated | Method and apparatus for unsupervised training of input synapses of primary visual cortex simple cells and other neural circuits |
| US8266085B1 (en) | 2012-02-06 | 2012-09-11 | The United States Of America As Represented By The Secretary Of The Army | Apparatus and method for using analog circuits to embody non-lipschitz mathematics and properties using attractor and repulsion modes |
| US9825132B2 (en) * | 2015-10-13 | 2017-11-21 | University Of Notre Dame Du Lac | Systems and methods for filtering and computation using tunneling transistors |
| US9966137B2 (en) | 2016-08-17 | 2018-05-08 | Samsung Electronics Co., Ltd. | Low power analog or multi-level memory for neuromorphic computing |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0327817B1 (en) * | 1988-01-11 | 1996-08-28 | Yozan Inc. | Associative pattern conversion system and adaptation method thereof |
| US5083285A (en) * | 1988-10-11 | 1992-01-21 | Kabushiki Kaisha Toshiba | Matrix-structured neural network with learning circuitry |
| US5120996A (en) * | 1989-03-10 | 1992-06-09 | Synaptics, Incorporated | Synaptic element and array |
| US4956564A (en) * | 1989-07-13 | 1990-09-11 | Intel Corporation | Adaptive synapse cell providing both excitatory and inhibitory connections in an associative network |
| US4961002A (en) * | 1989-07-13 | 1990-10-02 | Intel Corporation | Synapse cell employing dual gate transistor structure |
| US5115492A (en) * | 1990-12-14 | 1992-05-19 | General Electric Company | Digital correlators incorporating analog neural network structures operated on a bit-sliced basis |
| US5167008A (en) * | 1990-12-14 | 1992-11-24 | General Electric Company | Digital circuitry for approximating sigmoidal response in a neural network layer |
| US5146602A (en) * | 1990-12-26 | 1992-09-08 | Intel Corporation | Method of increasing the accuracy of an analog neural network and the like |
-
1992
- 1992-05-19 US US07/884,807 patent/US5329610A/en not_active Expired - Fee Related
-
1993
- 1993-03-19 GB GB9305775A patent/GB2267171B/en not_active Expired - Fee Related
- 1993-05-11 DE DE4315576A patent/DE4315576A1/de not_active Withdrawn
- 1993-05-14 JP JP5135130A patent/JPH0628504A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6186491B1 (en) | 1998-10-02 | 2001-02-13 | Nec Corporation | Sheet feeding apparatus |
| WO2020085607A1 (ko) * | 2018-10-24 | 2020-04-30 | 포항공과대학교산학협력단 | 크로스-포인트 커패시터 기반의 가중치 소자 및 이를 이용한 뉴럴 네트워크 |
| KR20200046247A (ko) * | 2018-10-24 | 2020-05-07 | 포항공과대학교 산학협력단 | 크로스-포인트 커패시터 기반의 가중치 소자 및 이를 이용한 뉴럴 네트워크 |
| WO2022260413A1 (ko) * | 2021-06-07 | 2022-12-15 | 건국대학교 산학협력단 | 펄스폭 기반 전류 영역 인-메모리 신경망 연산기의 천이 오차 교정 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE4315576A1 (de) | 1993-11-25 |
| GB2267171A (en) | 1993-11-24 |
| GB2267171B (en) | 1995-10-18 |
| GB9305775D0 (en) | 1993-05-05 |
| US5329610A (en) | 1994-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5264734A (en) | Difference calculating neural network utilizing switched capacitors | |
| US9087302B2 (en) | Synapse for function cell of spike timing dependent plasticity (STDP), function cell of STDP, and neuromorphic circuit using function cell of STDP | |
| US4956564A (en) | Adaptive synapse cell providing both excitatory and inhibitory connections in an associative network | |
| US11334787B2 (en) | Neuron circuit | |
| KR20140141778A (ko) | Stdp 동작을 위한 시냅스 회로 및 시냅스 회로를 포함하는 뉴로모픽 시스템 | |
| AU4389193A (en) | A neural network with multiplexed synaptic processing | |
| GB2251328A (en) | Multi-layer neural network employing multiplexed output neurons | |
| US10453527B1 (en) | In-cell differential read-out circuitry for reading signed weight values in resistive processing unit architecture | |
| US5187680A (en) | Neural net using capacitive structures connecting input lines and differentially sensed output line pairs | |
| JPH0628504A (ja) | ニューラル・ネットワーク | |
| Noack et al. | VLSI implementation of a conductance-based multi-synapse using switched-capacitor circuits | |
| Bor et al. | Realization of the CMOS pulsewidth-modulation (PWM) neural network with on-chip learning | |
| US5155377A (en) | Charge domain differential conductance synapse cell for neural networks | |
| CN112585622A (zh) | 开关式人工突触 | |
| Danneville et al. | Sub-0.3 V CMOS neuromorphic technology and its potential application | |
| EP0606213A1 (en) | Charge domain synapse cell | |
| Donald et al. | An adaptive neural processing node | |
| US20050231398A1 (en) | Time-mode analog computation circuits and methods | |
| US20230229870A1 (en) | Cross coupled capacitor analog in-memory processing device | |
| JPH02181284A (ja) | ニューラルネットワーク | |
| Narayanan et al. | Neuromorphic technologies for next-generation cognitive computing | |
| Hansen et al. | A time-multiplexed switched-capacitor circuit for neural network applications | |
| CN217279611U (zh) | 人工神经元的电子电路及人工神经网络 | |
| Wang | A modular analog CMOS LSI for feedforward neural networks with on-chip BEP learning | |
| Mayes et al. | Pulsed VLSI for RBF neural networks |