JPH09198366A - 低電圧、超低電力コンダクタンスモード・ニューロン - Google Patents
低電圧、超低電力コンダクタンスモード・ニューロンInfo
- Publication number
- JPH09198366A JPH09198366A JP8308597A JP30859796A JPH09198366A JP H09198366 A JPH09198366 A JP H09198366A JP 8308597 A JP8308597 A JP 8308597A JP 30859796 A JP30859796 A JP 30859796A JP H09198366 A JPH09198366 A JP H09198366A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- synapse
- neuron
- input
- transistor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Read Only Memory (AREA)
- Semiconductor Memories (AREA)
Abstract
(57)【要約】
【課題】 低電圧、超低電力コンダクタンスモード・ニ
ューロンを提供する。 【解決手段】 個々にプログラム可能なコンダクタンス
を有する複数のメモリセル（１５，１７）と、前記メモ
リセル（１５，１７）と結合されたニューロン（５）と
を含有するニューラル・ネットワーク（１）であって、
個々の前記メモリセル（１５，１７）が、それぞれの入
力信号が供給される入力（１１，１３）を有し、前記ニ
ューロン（５）が、前記メモリセル（１５，１７）の全
コンダクタンスに基づいて出力信号を発生させるコンダ
クタンス測定手段を有することを特徴とするニューラル
・ネットワーク（１）を提供する。
ューロンを提供する。 【解決手段】 個々にプログラム可能なコンダクタンス
を有する複数のメモリセル（１５，１７）と、前記メモ
リセル（１５，１７）と結合されたニューロン（５）と
を含有するニューラル・ネットワーク（１）であって、
個々の前記メモリセル（１５，１７）が、それぞれの入
力信号が供給される入力（１１，１３）を有し、前記ニ
ューロン（５）が、前記メモリセル（１５，１７）の全
コンダクタンスに基づいて出力信号を発生させるコンダ
クタンス測定手段を有することを特徴とするニューラル
・ネットワーク（１）を提供する。
Description
【発明の属する技術分野】本発明は、低電圧、超低電力
コンダクタンスモード・ニューロンに関する。
コンダクタンスモード・ニューロンに関する。
【従来の技術】従来、人工知能システムは、複雑な仕事
を実施するニューラル・ネットワークを特徴としてお
り、特にテクスチュア解析、ファクシミリ送信における
カーネル・フィルタリング、自動車軌道システム、パタ
ーン認識、ニューラルＣＡＤシステムにおけるハードウ
ェア・シミュレーション、光学的認識応用における前処
理に適用されてきた。ニューラル・ネットワークは、生
物学的構成要素と同じ名称のニューロンで知られる単位
を構成要素としており、ニューロンは重み付き入力の加
法および減法を基礎として、それにより様々な数学的形
式が考案されてきた。本発明ではマッカロック−ピッツ
のモデル（ＭｃＣｕｌｌｏｃｈ−Ｐｉｔｔｓ ｍｏｄｅ
ｌ）の２進ニューロンを参照する。このモデルによれ
ば、出力は“０”か“１”の２進値をとると仮定され、
しきい値および重みを決定し、不連続時間で作用する。
個々のニューロンは複数のシナプス入力結合と１つの出
力とを有するプロセス要素から成り、入出力信号は一方
向に送信されている。分類では、ニューラル・ネットワ
ーク・パラメータは定数であり、トポロジーおよびニュ
ーラル・ネットワークの重みの情報により開始される認
識および解析を実行する。図１にマッカロックーピッツ
のモデルの概略図を示す。図中ｘ１，ｘ２，…，ｘｉは
入力、ｗ１，ｗ２，…，ｗｉは重み、Ｏは出力である。
ニューロンはノード定義関数ｆにより示され、重み付き
入力を代入し、以下の式に従って出力を得る。
を実施するニューラル・ネットワークを特徴としてお
り、特にテクスチュア解析、ファクシミリ送信における
カーネル・フィルタリング、自動車軌道システム、パタ
ーン認識、ニューラルＣＡＤシステムにおけるハードウ
ェア・シミュレーション、光学的認識応用における前処
理に適用されてきた。ニューラル・ネットワークは、生
物学的構成要素と同じ名称のニューロンで知られる単位
を構成要素としており、ニューロンは重み付き入力の加
法および減法を基礎として、それにより様々な数学的形
式が考案されてきた。本発明ではマッカロック−ピッツ
のモデル（ＭｃＣｕｌｌｏｃｈ−Ｐｉｔｔｓ ｍｏｄｅ
ｌ）の２進ニューロンを参照する。このモデルによれ
ば、出力は“０”か“１”の２進値をとると仮定され、
しきい値および重みを決定し、不連続時間で作用する。
個々のニューロンは複数のシナプス入力結合と１つの出
力とを有するプロセス要素から成り、入出力信号は一方
向に送信されている。分類では、ニューラル・ネットワ
ーク・パラメータは定数であり、トポロジーおよびニュ
ーラル・ネットワークの重みの情報により開始される認
識および解析を実行する。図１にマッカロックーピッツ
のモデルの概略図を示す。図中ｘ１，ｘ２，…，ｘｉは
入力、ｗ１，ｗ２，…，ｗｉは重み、Ｏは出力である。
ニューロンはノード定義関数ｆにより示され、重み付き
入力を代入し、以下の式に従って出力を得る。
【数１】 一般に、関数ｆは、入力と重みとの積の和をしきい値と
比較し、その結果により出力の２進値を決定する。ニュ
ーラル・ネットワークを実施するため、様々な解法が知
られており、例えば、Ｓ．Ｓａｔｙａｎａｒａｙａｎａ
ｅｔ ａｌ．の“Ａ Ｒｅｃｏｎｆｉｇｕｒａｂｌｅ
ＶＬＳＩ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ” ＩＥＥ
Ｅ Ｊｏｕｒｎａｌ ｏｆ Ｓｏｌｉｄ−Ｓｔａｔｅ
Ｃｉｒｃｕｉｔｓ ２７：１，Ｊａｎ．１９９２、Ｂ．
Ｅ．Ｂｏｓｅｒ ｅｔ ａｌ．の“Ａｎ Ａｎａｌｏｇ
Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒ
ｗｉｔｈ Ｐｒｏｇｒａｍｍａｂｌｅ Ｔｏｐｏ１ｏ
ｇｙ”ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｓｏｌｉｄ−
Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ ２６：１２，Ｄｅｃ．
１９９１、Ａ．Ｋｒａｍｅｒ ｅｔ ａｌ．の“ＥＥＰ
Ｒ０Ｍ Ｄｅｖｉｃｅ Ａｓ ａ Ｒｅｃｏｎｆｉｇｕ
ｒａｂｌｅ Ａｎａ１ｏｇ Ｅｌｅｍｅｎｔ ｆｏｒ
ＮｅｕｒａｌＮｅｔｗｏｒｋｓ”ＩＥＤＭ，１９８９，
ｐｐ．２５９−２６２に記載されている。
比較し、その結果により出力の２進値を決定する。ニュ
ーラル・ネットワークを実施するため、様々な解法が知
られており、例えば、Ｓ．Ｓａｔｙａｎａｒａｙａｎａ
ｅｔ ａｌ．の“Ａ Ｒｅｃｏｎｆｉｇｕｒａｂｌｅ
ＶＬＳＩ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ” ＩＥＥ
Ｅ Ｊｏｕｒｎａｌ ｏｆ Ｓｏｌｉｄ−Ｓｔａｔｅ
Ｃｉｒｃｕｉｔｓ ２７：１，Ｊａｎ．１９９２、Ｂ．
Ｅ．Ｂｏｓｅｒ ｅｔ ａｌ．の“Ａｎ Ａｎａｌｏｇ
Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒ
ｗｉｔｈ Ｐｒｏｇｒａｍｍａｂｌｅ Ｔｏｐｏ１ｏ
ｇｙ”ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｓｏｌｉｄ−
Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ ２６：１２，Ｄｅｃ．
１９９１、Ａ．Ｋｒａｍｅｒ ｅｔ ａｌ．の“ＥＥＰ
Ｒ０Ｍ Ｄｅｖｉｃｅ Ａｓ ａ Ｒｅｃｏｎｆｉｇｕ
ｒａｂｌｅ Ａｎａ１ｏｇ Ｅｌｅｍｅｎｔ ｆｏｒ
ＮｅｕｒａｌＮｅｔｗｏｒｋｓ”ＩＥＤＭ，１９８９，
ｐｐ．２５９−２６２に記載されている。
【発明が解決しようとする課題】ところが、全ての従来
の解法は、電力消費と正確さとの間のトレードオフで、
広い集積面積を必要とし、設計において複雑である。更
に、従来のものは、高電力を必要とするが高速に設計さ
れた解法（電流モード計算法：ｃｕｒｒｅｎｔｍｏｄｅ
ｃｏｍｐｕｔａｔｉｏｎ）と、低速の動作であるが低
電力に設計された解法（電荷モード計算法：ｃｈａｒｇ
ｅ ｍｏｄｅ ｃｏｍｐｕｔａｔｉｏｎ）との間で選択
する必要があった。ニューラル・ネットワーク設計のア
ナログ実施は、ある種の問題に対する標準的なディジタ
ル技術より効果的な計算方法を提供するが、一般に、計
算法の変化により、電流または電荷のどちらかを使用す
ることに基礎をおいている。そこで、本発明の目的は、
コンダクタンスモード計算法の概念を基礎とするアナロ
グ・ニューラル・ネットワーク回路の新しいクラスを提
供することにある。この回路のクラスでは、蓄積される
重み付きの入力はコンダクタンスとして表現され、コン
ダクタンスモード・ニューロンは非線形に適用され出力
する。ニューラル・ネットワークのハードウェア実施に
おいて重要なのは、広範囲の適用に満足する適用性およ
び電力消費について考慮することであり、本発明では、
１つの結合に対して超低電力を消費させ、１つのニュー
ロンに対して多数の結合が可能な回路に重点を置いた。
本発明の他の目的は、コンパクトで低電力であり、高入
力範囲を有するニューラル・ネットワークであって、高
速で動作し、異なる供給電圧（低電圧においても）に対
応し、ディジタル環境にインタフェースする必要がな
く、従って携帯装置で使用可能なニューラル・ネットワ
ークを提供することにある。本発明の前記ならびにその
他の目的と新規な特徴は、本明細書の記述および添付図
面から明らかになるであろう。
の解法は、電力消費と正確さとの間のトレードオフで、
広い集積面積を必要とし、設計において複雑である。更
に、従来のものは、高電力を必要とするが高速に設計さ
れた解法（電流モード計算法：ｃｕｒｒｅｎｔｍｏｄｅ
ｃｏｍｐｕｔａｔｉｏｎ）と、低速の動作であるが低
電力に設計された解法（電荷モード計算法：ｃｈａｒｇ
ｅ ｍｏｄｅ ｃｏｍｐｕｔａｔｉｏｎ）との間で選択
する必要があった。ニューラル・ネットワーク設計のア
ナログ実施は、ある種の問題に対する標準的なディジタ
ル技術より効果的な計算方法を提供するが、一般に、計
算法の変化により、電流または電荷のどちらかを使用す
ることに基礎をおいている。そこで、本発明の目的は、
コンダクタンスモード計算法の概念を基礎とするアナロ
グ・ニューラル・ネットワーク回路の新しいクラスを提
供することにある。この回路のクラスでは、蓄積される
重み付きの入力はコンダクタンスとして表現され、コン
ダクタンスモード・ニューロンは非線形に適用され出力
する。ニューラル・ネットワークのハードウェア実施に
おいて重要なのは、広範囲の適用に満足する適用性およ
び電力消費について考慮することであり、本発明では、
１つの結合に対して超低電力を消費させ、１つのニュー
ロンに対して多数の結合が可能な回路に重点を置いた。
本発明の他の目的は、コンパクトで低電力であり、高入
力範囲を有するニューラル・ネットワークであって、高
速で動作し、異なる供給電圧（低電圧においても）に対
応し、ディジタル環境にインタフェースする必要がな
く、従って携帯装置で使用可能なニューラル・ネットワ
ークを提供することにある。本発明の前記ならびにその
他の目的と新規な特徴は、本明細書の記述および添付図
面から明らかになるであろう。
【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すると、
下記のとおりである。すなわち、本発明のニューラル・
ネットワークは、１組の浮遊ゲートトランジスタを基礎
とする簡単な回路によるシナプスを包含したものであ
り、アナログ乗法および重み記憶を低電力消費、高密
度、高い正確さで提供する。このアナログ乗法および重
み記憶は同時に一組のトランジスタの浮遊ゲートで行わ
れる。
発明のうち、代表的なものの概要を簡単に説明すると、
下記のとおりである。すなわち、本発明のニューラル・
ネットワークは、１組の浮遊ゲートトランジスタを基礎
とする簡単な回路によるシナプスを包含したものであ
り、アナログ乗法および重み記憶を低電力消費、高密
度、高い正確さで提供する。このアナログ乗法および重
み記憶は同時に一組のトランジスタの浮遊ゲートで行わ
れる。
【作用】前記した本発明のコンダクタンスモード計算法
の概念を基礎とするアナログ・ニューラル・ネットワー
ク回路によれば、計算を速くすることができ、これらの
原理に基づいた回路は５〜１０ＭＨｚで計算することが
できる。また、コンダクタンスモード計算法では、２つ
のコンダクタンスを比較するのに最低限の電荷を必要と
するので、そのエネルギー消費はされるべき決定の困難
さに従って正比例する。更に、これらの回路による計算
の正確さは高く、小さなテスト回路の試験では８〜９ビ
ットの本質的な正確さを得た。
の概念を基礎とするアナログ・ニューラル・ネットワー
ク回路によれば、計算を速くすることができ、これらの
原理に基づいた回路は５〜１０ＭＨｚで計算することが
できる。また、コンダクタンスモード計算法では、２つ
のコンダクタンスを比較するのに最低限の電荷を必要と
するので、そのエネルギー消費はされるべき決定の困難
さに従って正比例する。更に、これらの回路による計算
の正確さは高く、小さなテスト回路の試験では８〜９ビ
ットの本質的な正確さを得た。
【発明の実施の形態】本発明では、アナログ記憶および
アナログ計算のため１組のフラッシュＥＥＰＲＯＭを使
用する。基本的に、中心となる計算概念は、プログラム
可能なスイッチトコンダクタンスとして浮遊ゲートを利
用することである。１つのアナログ値を浮遊ゲートのし
きい値として記憶することにより、そして、第２のディ
ジタル値を浮遊ゲートのゲート端子に適用することによ
り、素子のコンダクタンスが０（オフ）または予めプロ
グラムされた値にすることができる。２つのコンダクタ
ンス加法線を含む微分入力法の実行では、重みをコンダ
クタンスの形で記憶する。この重みは“正”か“負”で
ある。そして、コンダクタンス比較ニューロンは“正”
コンダクタンスの合計を“負”コンダクタンスの合計と
比較し、重み入力（コンダクタンス）の合計の極性を決
定する。図３にこのようなニューロン素子の機能を電気
回路により示す。“正”コンダクタンス素子の合計また
は“負”コンダクタンス素子の合計の集合はニューラル
・ネットワークのシナプスを構成する。これらのシナプ
スのコンダクタンスまたは重みはニューロン素子にプロ
グラムされたしきい値電圧（ｖｔ）により決定され、こ
のしきい値電圧に制御され得る正確さはシナプス重みの
効果的なビットに均等な正確さを与える。約６４ｍＶの
正確さで浮遊ゲートのしきい値をプログラムすることが
できる。この正確さは２Ｖ入力駆動に対して５ビット
（３２レベル）に相当する。２つの浮遊ゲートの使用は
ビットの符号を重みあたり合計６ビットにするよう加算
する。本発明ではニューロンとして、ニューロンの“活
性化機能”を与えるようコンダクタンス比較器を使用す
る。本発明では２つのコンダクタンスを比較するので、
非常に小さなエネルギーで計算することができ、全電力
消費を少なくする。図４Ａではニューロン計算を実施す
る回路を示す。この回路はコンダクタンス比較器であ
り、３つの主要ブロック、すなわちバッファ４と、シナ
プス９１と、ニューロン５とを包含する。バッファ４は
シナプス９１をニューロン５から非干渉化し、ニューロ
ンは比較を実施する。この回路にその出力をディジタル
化するようラッチ６を含めてもよい。図４Ｂでは、第１
の興奮（正の重み付き）シナプス２と、第２の抑制（負
の重み付き）シナプス３と、非干渉ステージ（バッフ
ァ）４と、比較ステージ（ニューロン）５と、ラッチ６
とを包含するニューラル・ネットワーク１を示す。シナ
プス２はｎ個の入力信号ｘ１，ｘ２，…，ｘｎを供給さ
れる複数（ｎ）の入力１１と、電流１１を通す出力１２
とを含み、シナプス３は同じｎ個の入力信号を供給され
る同数の入力１３と、電流１２を通す出力１４とを含
む。ここで、個々の入力信号は、興奮シナプス２の入力
１１と抑制シナプス３の入力１３とが並列に供給されて
いる。本実施形態では、シナプス９１が正の重み付きシ
ナプス２と負の重み付きシナプス３とで実施されている
が、本発明の要旨を逸脱しないその他の回路設計として
１種類の重み付きシナプスを使用してもよい。比較モー
ドにおいて正と負のシナプスを使用すると確かな利益を
得るが、これが本発明を利用する全ての実施形態で要求
されるものではない。シナプス２は、入力１１と同数の
メモリセル１５を構成する複数のシナプス重み付き要素
（ここではフラッシュＥＥＰＲＯＭ）を含む。詳述する
と、個々のセル１５はアースされたソース端子と、対応
する入力１１に接続されたゲート端子と、他のセル１５
のドレイン端子に接続されたドレイン端子と、出力１２
を有する。同様に、シナプス３はセル１５と同数のメモ
リセル１７を構成する複数のシナプス重み付き要素を含
み、個々のセル１７はアースされたソース端子と、対応
する入力１３に接続されたゲート端子と、他のセル１７
のドレイン端子に接続されたドレイン端子と、出力１４
を有する。セル１５および１７に使用されるフラッシュ
ＥＥＰＲＯＭは本発明の実施形態の一つである。効果的
な長時間アナログ記憶のための浮遊ゲート技術の使用は
従来、特にニューラル・ネットワーク実施において良く
知られており、例えば、Ａ．Ｋｒａｍｅｒ ｅｔ ａ
ｌ．の“Ｆｌａｓｈ−ｂａｓｅｄ Ｐｒｏｇｒａｍｍａ
ｂｌｅ Ｎｏｎｌｉｎｅａｒ Ｃａｐａｃｉｔｏｒ ｆ
ｏｒ Ｓｗｉｔｃｈ Ｃａｐａｃｉｔｏｒ Ｉｍｐｌｅ
ｍｅｎｔａｔｉｏｎｓ ｆｏｒ Ｎｅｕｒａｌ Ｎｅｔ
ｗｏｒｋ”ＩＥＤＭ，１９９３，ｐｐ．１７．６．１−
１７．６．４を参照されたい。しかし、その他の可能な
メモリセル、例えば、ＥＥＰＲＯＭ）ダイナミック浮遊
ゲート素子、固定非浮遊ゲート素子、またはコンダクタ
ンスを発生させるのに適した他の種のプログラム可能な
要素は他の実施形態で使用される。本発明を基礎とする
概念の一つに、計算を実施するための、そして、アナロ
グ値のコンダクタンス信号を通信に適した２進値の出力
信号に変換するためのコンダクタンス加法の利用があ
る。非干渉ステージすなわちバッファ４は、第１のダイ
オード接続ＮチャネルＭＯＳトランジスタ２０と、第２
および第３のＮチャネルＭＯＳトランジスタ２１，２２
とを含む。詳述すると、第１トランジスタ２０は、電流
Ｉｂを発生する電流源２６を介して供給電圧ＶＤＤの供
給線２５に接続されたドレイン端子と、それ自身のドレ
イン端子およびトランジスタ２１，２２のゲート端子に
接続されたゲート端子（ノードＡ）と、アースされたソ
ース端子とを有する。第２のトランジスタ２１は、シナ
プス２の出力１２に接続されたソース端子と、バッファ
４の第１の出力２７を定義するドレイン端子とを有す
る。第３のトランジスタ２２は、シナプス３の出力１４
に接続されたソース端子と、バッファ４の第２の出力２
８を定義するドレイン端子とを有する。リセットトラン
ジスタ（図ではスイッチ２９で示す）はトランジスタ２
０のゲート端子とソース端子との間に位置しており、制
御入力２９ａの役割を果たしている。この入力２９ａ
（電圧ＶＲ）の制御信号により、スイッチ２９はトラン
ジスタ２０〜２２のゲート端子をアースし、従って、ネ
ットワーク１が使用されていない時、メモリセル１５，
１７のドレイン端子をアースし、メモリセルを通る電流
を切ることができる。ニューロン５は、正および負の重
みに分離されたシナプス２および３の間の差を検知する
コンダクタンス比較器を含む。このコンダクタンスモー
ド・ニューロンは、大規模なアレイを基礎とするアナロ
グ・ニューラル・ネットワークの実施に適するブロック
であり、アナログおよびディジタル部分回路の混合（混
合モード）を用いて設計された。ニューロン回路は、そ
のデータ入出力はディジタルであるが、内部のシリコン
領域および電力消費を減らすようアナログ重みおよびア
ナログ計算を使用する。ディジタルＩ／Ｏ信号の使用に
よりシステムレベルでの集積を格段に簡略化した。本発
明の１つの実施形態ではＩ／Ｏはディジタルであるが、
変形例としてアナログＩ／Ｏを使用してもよい。ニュー
ロン５は、それぞれがバッファ４の出力２７，２８に接
続され、それぞれに互いに接続されている対称な第１お
よび第２の部分３１，３２を含む。部分３１は３つのＰ
チャネルＭＯＳトランジスタ３３〜３５を含み、その全
てのソース端子は供給線２５に接続され、それぞれのゲ
ート端子は互いに接続されている。ダイオード接続トラ
ンジスタ３３はトランジスタ３４，３５とカレントミラ
ー回路を形成し、そのドレイン端子はノード３６に接続
され、バッファ４の出力２７に接続されている。トラン
ジスタ３４のドレイン端子は部分３２のノード３７に接
続され、トランジスタ３５のドレイン端子はニューロン
５の出力３８を形成し、ラッチ６に接続されている。同
様に、部分３２は３つのＰチャネルＭＯＳトランジスタ
４３〜４５を含み、その全てのソース端子は供給線２５
に接続され、それぞれのゲート端子は互いに接続されて
いる。ダイオード接続トランジスタ４３はトランジスタ
４４，４５とカレントミラー回路を形成し、そのドレイ
ン端子はノード３６に接続され、バッファ４の出力２８
に接続されている。トランジスタ４４のドレイン端子は
部分３１のノード３６に接続され、トランジスタ４５の
ドレイン端子はニューロン５の出力３９を形成し、ラッ
チ６に接続されている。リセットトランジスタ（図では
スイッチ４０，４１で示す）はそれぞれ供給線２５とト
ランジスタ３３〜３５およびトランジスタ４３〜４５の
ゲート端子との間に位置しており、制御入力４０ａ，４
１ａの役割を果たしている。この入力４０ａ，４１ａ
（電圧ＶＲ）の制御信号により、スイッチ４０，４１は
それぞれトランジスタ３３〜３５およびトランジスタ４
３〜４５のゲート端子を供給電圧にショートし、従っ
て、ネットワーク１が使用されていない時、トランジス
タを切ることができる。ラッチ６は３つのＮチャネルＭ
ＯＳトランジスタ４７〜４９を含む従来型のものであ
る。詳述すると、トランジスタ４７のソースおよびドレ
イン端子はそれぞれニューロン５の出力３８，３９に接
続され、ゲート端子はイネーブル信号ＥＮを供給する制
御入力５０を形成する。トランジスタ４８のドレイン端
子はニューロン５の出力３８に接続され、ゲート端子は
ニューロン５の出力３９に接続され、ソース端子はアー
スされている。トランジスタ４９のドレイン端子はニュ
ーロン５の出力３９に接続され、ゲート端子はニューロ
ン５の出力３８に接続され、ソース端子はアースされて
いる。個々のシナプスは浮遊ゲート素子により実施され
るコンダクタンス要素である。ここではバッファに対す
るいくつかの設計上の制限を挙げる。第１に、プログラ
ムの妨げを最小にするため、シナプスの浮遊ゲート素子
のドレイン電圧をできるだけ低く（＜１００ｍＶ）維持
することが重要である。第２に、本発明は多数のシナプ
スを使用するものであり、それぞれが２程度の内部ドレ
イン電気容量を有するので、大きな電位差で実施しよう
とすると、シナプスのドレイン端子の反応は遅くなる。
広範囲の出力電圧で高速のニューロンを有するには、シ
ナプスのドレインノードをニューロンから非干渉化する
必要がある。シナプス２または３のメモリセル１５また
は１７の場合、シナプスの数は１〜１０００まで可能で
ある。本発明の目的は、１〜１０００個のシナプスの共
通モード範囲の問題を解決し、低電力消費、小さなシリ
コン領域、および高い正確さを保証することにある。ネ
ットワーク１のシナプス２，３のメモリセル１５，１７
は、重みｗ１に従ってプログラムされるか、または、個
々の入力電圧値に対して所定のコンダクタンスを与える
よう、異なるしきい値レベルにプログラムされてもよ
い。最も簡単な場合、メモリセルは２つの２進数（それ
ぞれ入力１１，１３で所定の入力電圧に対してオンかオ
フか）を定義するようプログラムされ、入力電圧（入力
信号ｘ１，…，ｘｎ）が所定の数の不連続値（例えば４
つ）であってもよい。変形例として、メモリセルは複数
のしきい値を与えるようプログラムされ、入力電圧が、
データ入力信号によりセルの導電率を実際に評価するよ
う所定の範囲内を連続的に変化してもよい。その結果、
入力信号ｘ１，…，ｘｎが入力１１，１３に供給される
と、個々のメモリセル１５，１７を通る電流はセルのコ
ンダクタンスに関係し、個々のノード１２，１４を通る
電流１１，１２はそれぞれのシナプス２，３の全てのセ
ルの電流の和に等しく、また、それはシナプスの全コン
ダクタンスに関係する。バッファ４は非干渉化のために
備えられ、特に、ニューロンがセル１５，１７の全電気
容量ではなく、トランジスタ２１，２２の電気容量（ト
ランジスタ２１，２２のドレイン端子とゲート端子との
間の電気容量およびドレイン端子とソース端子との間の
電気容量）のみを検知するよう保証するために備えられ
ている。供給され得るセル１５，１７の個数が多量（ニ
ューロンあたり１０００個のシナプス重み付き要素の
数）であることから、その全電気容量は極めて高くなり
得るからである。後により詳細に説明するように、この
ことはネットワーク１が格段に速く評価する役割を果た
している。計算時に電力消費を少なくするには、シナプ
スを実行する全ての装置をトリオード両域で動作させる
とよい。しかし、このことはいつも要求されることでは
ない。本発明では、バッファ４はシナプス２，３の出力
１２，１４で低い電圧を維持するよう設けられ、メモリ
セル１５，１７がトリオード領域で作動し、ネットワー
ク１も低供給電圧、低電力で作動する。バッファ４の作
用を興奮シナプス２を参照して数学的に説明するが、同
じことが抑制シナプス３にも適用できる。ＭＯＳトラン
ジスタのソース端子とゲート端子との間の電位差は、し
きい値電圧（トランジスタがオンされたときの最低電
圧）と過電圧（しきい値を越えた電圧）との和に等しい
ので、次の式がトランジスタ２０に当てはまる。
アナログ計算のため１組のフラッシュＥＥＰＲＯＭを使
用する。基本的に、中心となる計算概念は、プログラム
可能なスイッチトコンダクタンスとして浮遊ゲートを利
用することである。１つのアナログ値を浮遊ゲートのし
きい値として記憶することにより、そして、第２のディ
ジタル値を浮遊ゲートのゲート端子に適用することによ
り、素子のコンダクタンスが０（オフ）または予めプロ
グラムされた値にすることができる。２つのコンダクタ
ンス加法線を含む微分入力法の実行では、重みをコンダ
クタンスの形で記憶する。この重みは“正”か“負”で
ある。そして、コンダクタンス比較ニューロンは“正”
コンダクタンスの合計を“負”コンダクタンスの合計と
比較し、重み入力（コンダクタンス）の合計の極性を決
定する。図３にこのようなニューロン素子の機能を電気
回路により示す。“正”コンダクタンス素子の合計また
は“負”コンダクタンス素子の合計の集合はニューラル
・ネットワークのシナプスを構成する。これらのシナプ
スのコンダクタンスまたは重みはニューロン素子にプロ
グラムされたしきい値電圧（ｖｔ）により決定され、こ
のしきい値電圧に制御され得る正確さはシナプス重みの
効果的なビットに均等な正確さを与える。約６４ｍＶの
正確さで浮遊ゲートのしきい値をプログラムすることが
できる。この正確さは２Ｖ入力駆動に対して５ビット
（３２レベル）に相当する。２つの浮遊ゲートの使用は
ビットの符号を重みあたり合計６ビットにするよう加算
する。本発明ではニューロンとして、ニューロンの“活
性化機能”を与えるようコンダクタンス比較器を使用す
る。本発明では２つのコンダクタンスを比較するので、
非常に小さなエネルギーで計算することができ、全電力
消費を少なくする。図４Ａではニューロン計算を実施す
る回路を示す。この回路はコンダクタンス比較器であ
り、３つの主要ブロック、すなわちバッファ４と、シナ
プス９１と、ニューロン５とを包含する。バッファ４は
シナプス９１をニューロン５から非干渉化し、ニューロ
ンは比較を実施する。この回路にその出力をディジタル
化するようラッチ６を含めてもよい。図４Ｂでは、第１
の興奮（正の重み付き）シナプス２と、第２の抑制（負
の重み付き）シナプス３と、非干渉ステージ（バッフ
ァ）４と、比較ステージ（ニューロン）５と、ラッチ６
とを包含するニューラル・ネットワーク１を示す。シナ
プス２はｎ個の入力信号ｘ１，ｘ２，…，ｘｎを供給さ
れる複数（ｎ）の入力１１と、電流１１を通す出力１２
とを含み、シナプス３は同じｎ個の入力信号を供給され
る同数の入力１３と、電流１２を通す出力１４とを含
む。ここで、個々の入力信号は、興奮シナプス２の入力
１１と抑制シナプス３の入力１３とが並列に供給されて
いる。本実施形態では、シナプス９１が正の重み付きシ
ナプス２と負の重み付きシナプス３とで実施されている
が、本発明の要旨を逸脱しないその他の回路設計として
１種類の重み付きシナプスを使用してもよい。比較モー
ドにおいて正と負のシナプスを使用すると確かな利益を
得るが、これが本発明を利用する全ての実施形態で要求
されるものではない。シナプス２は、入力１１と同数の
メモリセル１５を構成する複数のシナプス重み付き要素
（ここではフラッシュＥＥＰＲＯＭ）を含む。詳述する
と、個々のセル１５はアースされたソース端子と、対応
する入力１１に接続されたゲート端子と、他のセル１５
のドレイン端子に接続されたドレイン端子と、出力１２
を有する。同様に、シナプス３はセル１５と同数のメモ
リセル１７を構成する複数のシナプス重み付き要素を含
み、個々のセル１７はアースされたソース端子と、対応
する入力１３に接続されたゲート端子と、他のセル１７
のドレイン端子に接続されたドレイン端子と、出力１４
を有する。セル１５および１７に使用されるフラッシュ
ＥＥＰＲＯＭは本発明の実施形態の一つである。効果的
な長時間アナログ記憶のための浮遊ゲート技術の使用は
従来、特にニューラル・ネットワーク実施において良く
知られており、例えば、Ａ．Ｋｒａｍｅｒ ｅｔ ａ
ｌ．の“Ｆｌａｓｈ−ｂａｓｅｄ Ｐｒｏｇｒａｍｍａ
ｂｌｅ Ｎｏｎｌｉｎｅａｒ Ｃａｐａｃｉｔｏｒ ｆ
ｏｒ Ｓｗｉｔｃｈ Ｃａｐａｃｉｔｏｒ Ｉｍｐｌｅ
ｍｅｎｔａｔｉｏｎｓ ｆｏｒ Ｎｅｕｒａｌ Ｎｅｔ
ｗｏｒｋ”ＩＥＤＭ，１９９３，ｐｐ．１７．６．１−
１７．６．４を参照されたい。しかし、その他の可能な
メモリセル、例えば、ＥＥＰＲＯＭ）ダイナミック浮遊
ゲート素子、固定非浮遊ゲート素子、またはコンダクタ
ンスを発生させるのに適した他の種のプログラム可能な
要素は他の実施形態で使用される。本発明を基礎とする
概念の一つに、計算を実施するための、そして、アナロ
グ値のコンダクタンス信号を通信に適した２進値の出力
信号に変換するためのコンダクタンス加法の利用があ
る。非干渉ステージすなわちバッファ４は、第１のダイ
オード接続ＮチャネルＭＯＳトランジスタ２０と、第２
および第３のＮチャネルＭＯＳトランジスタ２１，２２
とを含む。詳述すると、第１トランジスタ２０は、電流
Ｉｂを発生する電流源２６を介して供給電圧ＶＤＤの供
給線２５に接続されたドレイン端子と、それ自身のドレ
イン端子およびトランジスタ２１，２２のゲート端子に
接続されたゲート端子（ノードＡ）と、アースされたソ
ース端子とを有する。第２のトランジスタ２１は、シナ
プス２の出力１２に接続されたソース端子と、バッファ
４の第１の出力２７を定義するドレイン端子とを有す
る。第３のトランジスタ２２は、シナプス３の出力１４
に接続されたソース端子と、バッファ４の第２の出力２
８を定義するドレイン端子とを有する。リセットトラン
ジスタ（図ではスイッチ２９で示す）はトランジスタ２
０のゲート端子とソース端子との間に位置しており、制
御入力２９ａの役割を果たしている。この入力２９ａ
（電圧ＶＲ）の制御信号により、スイッチ２９はトラン
ジスタ２０〜２２のゲート端子をアースし、従って、ネ
ットワーク１が使用されていない時、メモリセル１５，
１７のドレイン端子をアースし、メモリセルを通る電流
を切ることができる。ニューロン５は、正および負の重
みに分離されたシナプス２および３の間の差を検知する
コンダクタンス比較器を含む。このコンダクタンスモー
ド・ニューロンは、大規模なアレイを基礎とするアナロ
グ・ニューラル・ネットワークの実施に適するブロック
であり、アナログおよびディジタル部分回路の混合（混
合モード）を用いて設計された。ニューロン回路は、そ
のデータ入出力はディジタルであるが、内部のシリコン
領域および電力消費を減らすようアナログ重みおよびア
ナログ計算を使用する。ディジタルＩ／Ｏ信号の使用に
よりシステムレベルでの集積を格段に簡略化した。本発
明の１つの実施形態ではＩ／Ｏはディジタルであるが、
変形例としてアナログＩ／Ｏを使用してもよい。ニュー
ロン５は、それぞれがバッファ４の出力２７，２８に接
続され、それぞれに互いに接続されている対称な第１お
よび第２の部分３１，３２を含む。部分３１は３つのＰ
チャネルＭＯＳトランジスタ３３〜３５を含み、その全
てのソース端子は供給線２５に接続され、それぞれのゲ
ート端子は互いに接続されている。ダイオード接続トラ
ンジスタ３３はトランジスタ３４，３５とカレントミラ
ー回路を形成し、そのドレイン端子はノード３６に接続
され、バッファ４の出力２７に接続されている。トラン
ジスタ３４のドレイン端子は部分３２のノード３７に接
続され、トランジスタ３５のドレイン端子はニューロン
５の出力３８を形成し、ラッチ６に接続されている。同
様に、部分３２は３つのＰチャネルＭＯＳトランジスタ
４３〜４５を含み、その全てのソース端子は供給線２５
に接続され、それぞれのゲート端子は互いに接続されて
いる。ダイオード接続トランジスタ４３はトランジスタ
４４，４５とカレントミラー回路を形成し、そのドレイ
ン端子はノード３６に接続され、バッファ４の出力２８
に接続されている。トランジスタ４４のドレイン端子は
部分３１のノード３６に接続され、トランジスタ４５の
ドレイン端子はニューロン５の出力３９を形成し、ラッ
チ６に接続されている。リセットトランジスタ（図では
スイッチ４０，４１で示す）はそれぞれ供給線２５とト
ランジスタ３３〜３５およびトランジスタ４３〜４５の
ゲート端子との間に位置しており、制御入力４０ａ，４
１ａの役割を果たしている。この入力４０ａ，４１ａ
（電圧ＶＲ）の制御信号により、スイッチ４０，４１は
それぞれトランジスタ３３〜３５およびトランジスタ４
３〜４５のゲート端子を供給電圧にショートし、従っ
て、ネットワーク１が使用されていない時、トランジス
タを切ることができる。ラッチ６は３つのＮチャネルＭ
ＯＳトランジスタ４７〜４９を含む従来型のものであ
る。詳述すると、トランジスタ４７のソースおよびドレ
イン端子はそれぞれニューロン５の出力３８，３９に接
続され、ゲート端子はイネーブル信号ＥＮを供給する制
御入力５０を形成する。トランジスタ４８のドレイン端
子はニューロン５の出力３８に接続され、ゲート端子は
ニューロン５の出力３９に接続され、ソース端子はアー
スされている。トランジスタ４９のドレイン端子はニュ
ーロン５の出力３９に接続され、ゲート端子はニューロ
ン５の出力３８に接続され、ソース端子はアースされて
いる。個々のシナプスは浮遊ゲート素子により実施され
るコンダクタンス要素である。ここではバッファに対す
るいくつかの設計上の制限を挙げる。第１に、プログラ
ムの妨げを最小にするため、シナプスの浮遊ゲート素子
のドレイン電圧をできるだけ低く（＜１００ｍＶ）維持
することが重要である。第２に、本発明は多数のシナプ
スを使用するものであり、それぞれが２程度の内部ドレ
イン電気容量を有するので、大きな電位差で実施しよう
とすると、シナプスのドレイン端子の反応は遅くなる。
広範囲の出力電圧で高速のニューロンを有するには、シ
ナプスのドレインノードをニューロンから非干渉化する
必要がある。シナプス２または３のメモリセル１５また
は１７の場合、シナプスの数は１〜１０００まで可能で
ある。本発明の目的は、１〜１０００個のシナプスの共
通モード範囲の問題を解決し、低電力消費、小さなシリ
コン領域、および高い正確さを保証することにある。ネ
ットワーク１のシナプス２，３のメモリセル１５，１７
は、重みｗ１に従ってプログラムされるか、または、個
々の入力電圧値に対して所定のコンダクタンスを与える
よう、異なるしきい値レベルにプログラムされてもよ
い。最も簡単な場合、メモリセルは２つの２進数（それ
ぞれ入力１１，１３で所定の入力電圧に対してオンかオ
フか）を定義するようプログラムされ、入力電圧（入力
信号ｘ１，…，ｘｎ）が所定の数の不連続値（例えば４
つ）であってもよい。変形例として、メモリセルは複数
のしきい値を与えるようプログラムされ、入力電圧が、
データ入力信号によりセルの導電率を実際に評価するよ
う所定の範囲内を連続的に変化してもよい。その結果、
入力信号ｘ１，…，ｘｎが入力１１，１３に供給される
と、個々のメモリセル１５，１７を通る電流はセルのコ
ンダクタンスに関係し、個々のノード１２，１４を通る
電流１１，１２はそれぞれのシナプス２，３の全てのセ
ルの電流の和に等しく、また、それはシナプスの全コン
ダクタンスに関係する。バッファ４は非干渉化のために
備えられ、特に、ニューロンがセル１５，１７の全電気
容量ではなく、トランジスタ２１，２２の電気容量（ト
ランジスタ２１，２２のドレイン端子とゲート端子との
間の電気容量およびドレイン端子とソース端子との間の
電気容量）のみを検知するよう保証するために備えられ
ている。供給され得るセル１５，１７の個数が多量（ニ
ューロンあたり１０００個のシナプス重み付き要素の
数）であることから、その全電気容量は極めて高くなり
得るからである。後により詳細に説明するように、この
ことはネットワーク１が格段に速く評価する役割を果た
している。計算時に電力消費を少なくするには、シナプ
スを実行する全ての装置をトリオード両域で動作させる
とよい。しかし、このことはいつも要求されることでは
ない。本発明では、バッファ４はシナプス２，３の出力
１２，１４で低い電圧を維持するよう設けられ、メモリ
セル１５，１７がトリオード領域で作動し、ネットワー
ク１も低供給電圧、低電力で作動する。バッファ４の作
用を興奮シナプス２を参照して数学的に説明するが、同
じことが抑制シナプス３にも適用できる。ＭＯＳトラン
ジスタのソース端子とゲート端子との間の電位差は、し
きい値電圧（トランジスタがオンされたときの最低電
圧）と過電圧（しきい値を越えた電圧）との和に等しい
ので、次の式がトランジスタ２０に当てはまる。
【数２】 ここで、ＶＡはノードＡとグラウンドとの間の電位差、
ＶＧＳ，２０，ＶＯＶ，２０，Ｖｔｈ，２０はそれぞれ
トランジスタ２０のゲート端子とソース端子との間の電
位差、過電圧、しきい値電圧である。更に、ＶＢを出力
１２とグラウンドとの間の電位差（セル１５のドレイン
端子とソース端子との間の電位差）とすると、
ＶＧＳ，２０，ＶＯＶ，２０，Ｖｔｈ，２０はそれぞれ
トランジスタ２０のゲート端子とソース端子との間の電
位差、過電圧、しきい値電圧である。更に、ＶＢを出力
１２とグラウンドとの間の電位差（セル１５のドレイン
端子とソース端子との間の電位差）とすると、
【数３】 ここで、ＶＧＳ，２１，ＶＯＶ，２１，Ｖｔｈ，２１は
それぞれトランジスタ２１のゲート端子とソース端子と
の間の電位差、過電圧、しきい値電圧である。同じ技術
を使用して製造されたトランジスタはほぼ同じしきい値
電圧、すなわち、Ｖｔｈ，２０≒Ｖｔｈ，２１であるの
で、（１）を（２）に代入し、簡単な計算により、
それぞれトランジスタ２１のゲート端子とソース端子と
の間の電位差、過電圧、しきい値電圧である。同じ技術
を使用して製造されたトランジスタはほぼ同じしきい値
電圧、すなわち、Ｖｔｈ，２０≒Ｖｔｈ，２１であるの
で、（１）を（２）に代入し、簡単な計算により、
【数４】 トランジスタ２１はトランジスタ２０と比較して無視で
きる大きさの過電圧を有しているとしてもよいので、
（３）は、
きる大きさの過電圧を有しているとしてもよいので、
（３）は、
【数５】 すなわち、セル１５のドレイン端子とソース端子との間
の電位差は、トランジスタ２０の過電圧に等しい。通常
領域で作動するトランジスタ２０に関して、次の式が当
てはまる。
の電位差は、トランジスタ２０の過電圧に等しい。通常
領域で作動するトランジスタ２０に関して、次の式が当
てはまる。
【数６】 ここで、Ｉｂはトランジスタ２０を通る電流であり、電
流源２６により発生する電流に等しく、Ｋは比例定数で
ある。（４）を（５）に代入し、簡単な計算により、
流源２６により発生する電流に等しく、Ｋは比例定数で
ある。（４）を（５）に代入し、簡単な計算により、
【数７】 従って、電流源２６の大きさを適切に測ることにより、
セル１５（そして１７）のドレイン端子とソース端子と
の間の電位差は予め決定され、特にセル１５のゲート端
子とソース端子との間の電位差より小さくされる。ニュ
ーロン５は、シナプス素子に由来する２つの異なるコン
ダクタンスを比較する回路を検知するコンダクタンスで
ある。ニューロン５により、興奮シナプスからの電流１
１と抑制シナプスからの電流１２とを比較することがで
き、更にラッチ６が加わることで、出力Ｏ（ノード３
９）でディジタル信号を発生することができ、そのディ
ジタル信号の値は２つの電流のうちどちらが大きいかを
示している。詳述すると、ニューロン５はフィードバッ
ク電流センサとして機能し、回路がオンされるとトラン
ジェント状態が観察され、その状態の終わりにシナプス
に接続されている部分３１または３２のどちらかに全て
の電流がより大きな出力電流を伴って流れ、他の部分は
実質的にオフにされる。ニューロン５の機能を説明する
と、電流１１および１２が共通の量Ｉｃで表され、微分
量ΔＩだけ異なると仮定する。例えば、興奮シナプス２
が電流１１＝Ｉｃ＋ΔＩを、抑制シナプス３が電流１２
＝Ｉｃを発生すると仮定する。リセット信号ＶＲをスイ
ッチしてバッファ４とニューロン５をショートさせた状
態にすると、セル１５，１７は電流を通し、電流１１お
よび１２は部分３１，３２をオンするよう流れる。とこ
ろが、このトランジェント状態において、２つの部分の
カレントミラー回路は同じ速さでオンされず、低い電気
容量線に接続されたミラー回路（低いコンダクタンスで
大きい電流）の方が速くオンされ、問題となっている例
では、部分３１のトランジスタ３３および３４の方が部
分３２のトランジスタ４３および４４よりも速くオンさ
れ、電流がより速くノード３７に供給される。詳述する
と、トランジスタ３３（従ってトランジスタ３４）は電
流Ｉ１＝Ｉｃ＋ΔＩを通す。ところが、ノード３７から
は電流１２＝Ｉｃしか要求されないので、トランジスタ
３４により供給された過剰な電流がトランジスタ４３に
流れ、このような状態を維持することができず、電流は
消滅し、同時にノード３７の電圧が供給電圧ＶＤＤに上
昇する。一方、トランジスタ４４がオンされると、電流
がノード３６に供給され、トランジスタ３３を通る電流
が減少し、トランジスタ３４によりノード３７に供給さ
れた電流に小さな変化が生じる。部分３１および３２が
互いに接続されているので、ある種のフィードバックが
それらの間で起こり、大きな電流の通るシナプスに接続
された部分（この場合、部分３１）がシナプス２，３に
必要な全電流を実質的に供給し、他の部分（この場合、
部分３２）は実質的にオフにされる。従って、問題とな
っている例では、このトランジェント状態の終わりに、
実質的に全ての電流Ｉｃ＋ΔＩが部分３１に流れ、無視
できる大きさの電流が部分３２に流れる。ニューロンに
クロスミラーおよび正のフィードバックを使用すること
により、本発明は共通モード電流を消去することがで
き、最低コンダクタンスでシナプス線を区別することが
できる。このことは回路が広範囲の入力電流に渡って高
い正確さを得る役割を果たしている。回路の速度は全電
流と共に変化する。従って、速度性能を最適化し、出力
をディジタル化するため、本発明では標準的なラッチ６
を使用する。図７のグラフは、本出願人によるシミュレ
ーションテストで得られたトランジスタ３３，３４，４
３，４４を通る電流を示し、スイッチ２９，４０，４１
の入力でリセット信号ＶＲをスイッチし、ラッチ（ＥＮ
信号）をイネーブルしている。図からわかるように、ト
ランジェント状態の終わりに電流１３３はＩｃ＋ΔＩ
に、電流１３４はＩｃに、電流１４３および１４４はＯ
にそれぞれ等しくなる。また、図６のグラフは出力電圧
Ｏおよびノード３８での電圧（Ｖ３８）を示す。小さな
電流の通るシナプスに接続された部分（部分３２）のオ
フ状態は対応する出力ノード（３９）を供給電圧から絶
縁し、一方、大きな電流の通るシナプスに接続された部
分（部分３１）の高いコンダクタンス状態は対応する出
力ノード（３８）を供給電圧ＶＤＤにラッチする。その
結果、例に示されるとおり、ＥＮ信号をロウにスイッチ
しトランジスタ４７のショートをオフにした状態で、オ
ンにされた部分３１に接続されたゲート端子を有するト
ランジスタ４９はオンにされ、出力Ｏをアースする。そ
して他のトランジスタ４８はオフを維持する。反対に、
抑制シナプス３が興奮シナプス２より低いコンダクタン
ス（大きい電流）である場合、部分３２とトランジスタ
４８はオンにされ、部分３１とトランジスタ４９はオフ
にされ、出力Ｏはハイになりトランジスタ４５を介して
供給電圧Ｖにラッチする。図８はニューロン実行のテス
ト構造を示す。このテスト構造はニューロンに接続され
た２組のトランジスタを含む。１組のトランジスタは非
常に大きく（Ｂ＝８００μｍ／２μｍ）、正および負の
シナプスに共通モード信号を送る。他の組のトランジス
タは最小フラッシュ素子のように小さく（Ｓ＝０．８μ
ｍ／２μｍ）、変化する入力信号を送る。２つの大きい
“共通モード”トランジスタ間のオフセット補正の後、
共通モード電圧が両組のトランジスタに供給され、小さ
いトランジスタの組を介して出力を制御するのに必要な
最小入力信号が測定される。１０００サイクルに対す
る、入力により正確に制御される出力の回数のパーセン
トを求めることを主旨とする測定が行われ、“００１１
００…”入力パターンを使用した。最大共通モード電圧
（Ｖｃｏｍｍｏｎ）を０．９Ｖ（Ｖｔは約１００〜２０
０ｍＶ）に固定して、出力を２つの“小さな”トランジ
スタ間の入力電位差（Ｖｉｎｐｕｔ）の関数として測定
し、その統計を取る。図１０によれば、正確さはＶｉｎ
ｐｕｔ＝１２０ｍＶから減少する。この測定と正確さと
の一致は装置の正確なしきい値電圧に依存し、ｖｔが
０．７Ｖと０．８Ｖとの間を変化するプロセスの場合、
悪くとも８ビット、良くて９ビットの正確さを得る。こ
の解析は製造困難の後、正確な特性にされたドロントラ
ンジスタ次元に基づく。図９では他のテスト構造が実施
され、ニューロン比較器の計算の正確さを評価してい
る。このテスト構造は、シフトレジスタにより制御され
る入力を有する共通モード入力のための複数の１ｋフラ
ッシュ素子（０．８μｍ／２μｍ）と、ラッチにより制
御される入力を有する微分入力のための３２個のフラッ
シュ素子とを含む。テスト構造はまたフラッシュ素子の
ためのプログラムおよび消去ドライバを含む。全ての１
ｋフラッシュ素子は共通モード信号を正および負シナプ
スに送り、１６個の補正フラッシュ素子はプログラムエ
ラーを補正し、残りの１６個の入力フラッシュ素子は入
力信号を適用して全正確さを測定する。全てのフラッシ
ュ素子がＶｔ＝２．５Ｖにプログラムされると、シフト
レジスタは“１”で満たされる。ゲート電圧は全てのフ
ラッシュ素子をＶｔ＋ＬＴＢに固定する。Ｖｔ＋ＬＴＢ
をフラッシュ素子に適用するということは共通モード信
号を正および負のシナプスに送ることである（前述のテ
スト構造の大きいトランジスタによりなされたよう
に）。比較の後、一連の“００１１００…”が１から１
６個の入力に適用され１，０００，０００サイクルに対
する正確な出力をテストする。図１１では正確な出力の
パーセントを、適用された入力の数（１〜１６）の関数
で示した。入力数が増加すると、正確な出力パーセント
も増加し、ＬＳＢ＝３２ｍＶで入力数が６の時１００％
に接近することが明らかである。これは７ビットの正確
さに相当する。図１３では正確さをＬＳＢ電圧の関数で
示し、ＬＳＢが１２８ｍＶに増加すると、１ビットの正
確さが減少する。回路の効果的な正確さは共通モード信
号に依存する。図１２は０．５ｋフラッシュ素子（減少
された共通モード）を使用した同様のテストを示すもの
である。この場合１００％電流出力に必要な入力は２個
であり、効果的な正確さは８ビット付近である。図１４
はニューロン機能の１０ＭＨｚクロックでの測定を示す
ものである。制限は最高速度１０ＭＨｚを有する個々の
ＰＡＤドライバに起因する。シミュレーションではニュ
ーロン計算のピーク速度は３０ＭＨｚである。図１５は
１回の計算あたりのニューロンの電力消費を示す。電力
消費は５Ｖの電源および１．７ＭＨｚの周波数で１６６
ｐＪに等しい。これは入力乗法アキュムレート作動（１
ｋ入力）あたり１６６ｐＪに相当する。以上、本発明者
によってなされた発明を実施形態に基づき具体的に説明
し、例示したが、本発明は前記実施形態に限定されるも
のではなく、その要旨を逸脱しない範囲で、種々変更可
能であることはいうまでもない。
セル１５（そして１７）のドレイン端子とソース端子と
の間の電位差は予め決定され、特にセル１５のゲート端
子とソース端子との間の電位差より小さくされる。ニュ
ーロン５は、シナプス素子に由来する２つの異なるコン
ダクタンスを比較する回路を検知するコンダクタンスで
ある。ニューロン５により、興奮シナプスからの電流１
１と抑制シナプスからの電流１２とを比較することがで
き、更にラッチ６が加わることで、出力Ｏ（ノード３
９）でディジタル信号を発生することができ、そのディ
ジタル信号の値は２つの電流のうちどちらが大きいかを
示している。詳述すると、ニューロン５はフィードバッ
ク電流センサとして機能し、回路がオンされるとトラン
ジェント状態が観察され、その状態の終わりにシナプス
に接続されている部分３１または３２のどちらかに全て
の電流がより大きな出力電流を伴って流れ、他の部分は
実質的にオフにされる。ニューロン５の機能を説明する
と、電流１１および１２が共通の量Ｉｃで表され、微分
量ΔＩだけ異なると仮定する。例えば、興奮シナプス２
が電流１１＝Ｉｃ＋ΔＩを、抑制シナプス３が電流１２
＝Ｉｃを発生すると仮定する。リセット信号ＶＲをスイ
ッチしてバッファ４とニューロン５をショートさせた状
態にすると、セル１５，１７は電流を通し、電流１１お
よび１２は部分３１，３２をオンするよう流れる。とこ
ろが、このトランジェント状態において、２つの部分の
カレントミラー回路は同じ速さでオンされず、低い電気
容量線に接続されたミラー回路（低いコンダクタンスで
大きい電流）の方が速くオンされ、問題となっている例
では、部分３１のトランジスタ３３および３４の方が部
分３２のトランジスタ４３および４４よりも速くオンさ
れ、電流がより速くノード３７に供給される。詳述する
と、トランジスタ３３（従ってトランジスタ３４）は電
流Ｉ１＝Ｉｃ＋ΔＩを通す。ところが、ノード３７から
は電流１２＝Ｉｃしか要求されないので、トランジスタ
３４により供給された過剰な電流がトランジスタ４３に
流れ、このような状態を維持することができず、電流は
消滅し、同時にノード３７の電圧が供給電圧ＶＤＤに上
昇する。一方、トランジスタ４４がオンされると、電流
がノード３６に供給され、トランジスタ３３を通る電流
が減少し、トランジスタ３４によりノード３７に供給さ
れた電流に小さな変化が生じる。部分３１および３２が
互いに接続されているので、ある種のフィードバックが
それらの間で起こり、大きな電流の通るシナプスに接続
された部分（この場合、部分３１）がシナプス２，３に
必要な全電流を実質的に供給し、他の部分（この場合、
部分３２）は実質的にオフにされる。従って、問題とな
っている例では、このトランジェント状態の終わりに、
実質的に全ての電流Ｉｃ＋ΔＩが部分３１に流れ、無視
できる大きさの電流が部分３２に流れる。ニューロンに
クロスミラーおよび正のフィードバックを使用すること
により、本発明は共通モード電流を消去することがで
き、最低コンダクタンスでシナプス線を区別することが
できる。このことは回路が広範囲の入力電流に渡って高
い正確さを得る役割を果たしている。回路の速度は全電
流と共に変化する。従って、速度性能を最適化し、出力
をディジタル化するため、本発明では標準的なラッチ６
を使用する。図７のグラフは、本出願人によるシミュレ
ーションテストで得られたトランジスタ３３，３４，４
３，４４を通る電流を示し、スイッチ２９，４０，４１
の入力でリセット信号ＶＲをスイッチし、ラッチ（ＥＮ
信号）をイネーブルしている。図からわかるように、ト
ランジェント状態の終わりに電流１３３はＩｃ＋ΔＩ
に、電流１３４はＩｃに、電流１４３および１４４はＯ
にそれぞれ等しくなる。また、図６のグラフは出力電圧
Ｏおよびノード３８での電圧（Ｖ３８）を示す。小さな
電流の通るシナプスに接続された部分（部分３２）のオ
フ状態は対応する出力ノード（３９）を供給電圧から絶
縁し、一方、大きな電流の通るシナプスに接続された部
分（部分３１）の高いコンダクタンス状態は対応する出
力ノード（３８）を供給電圧ＶＤＤにラッチする。その
結果、例に示されるとおり、ＥＮ信号をロウにスイッチ
しトランジスタ４７のショートをオフにした状態で、オ
ンにされた部分３１に接続されたゲート端子を有するト
ランジスタ４９はオンにされ、出力Ｏをアースする。そ
して他のトランジスタ４８はオフを維持する。反対に、
抑制シナプス３が興奮シナプス２より低いコンダクタン
ス（大きい電流）である場合、部分３２とトランジスタ
４８はオンにされ、部分３１とトランジスタ４９はオフ
にされ、出力Ｏはハイになりトランジスタ４５を介して
供給電圧Ｖにラッチする。図８はニューロン実行のテス
ト構造を示す。このテスト構造はニューロンに接続され
た２組のトランジスタを含む。１組のトランジスタは非
常に大きく（Ｂ＝８００μｍ／２μｍ）、正および負の
シナプスに共通モード信号を送る。他の組のトランジス
タは最小フラッシュ素子のように小さく（Ｓ＝０．８μ
ｍ／２μｍ）、変化する入力信号を送る。２つの大きい
“共通モード”トランジスタ間のオフセット補正の後、
共通モード電圧が両組のトランジスタに供給され、小さ
いトランジスタの組を介して出力を制御するのに必要な
最小入力信号が測定される。１０００サイクルに対す
る、入力により正確に制御される出力の回数のパーセン
トを求めることを主旨とする測定が行われ、“００１１
００…”入力パターンを使用した。最大共通モード電圧
（Ｖｃｏｍｍｏｎ）を０．９Ｖ（Ｖｔは約１００〜２０
０ｍＶ）に固定して、出力を２つの“小さな”トランジ
スタ間の入力電位差（Ｖｉｎｐｕｔ）の関数として測定
し、その統計を取る。図１０によれば、正確さはＶｉｎ
ｐｕｔ＝１２０ｍＶから減少する。この測定と正確さと
の一致は装置の正確なしきい値電圧に依存し、ｖｔが
０．７Ｖと０．８Ｖとの間を変化するプロセスの場合、
悪くとも８ビット、良くて９ビットの正確さを得る。こ
の解析は製造困難の後、正確な特性にされたドロントラ
ンジスタ次元に基づく。図９では他のテスト構造が実施
され、ニューロン比較器の計算の正確さを評価してい
る。このテスト構造は、シフトレジスタにより制御され
る入力を有する共通モード入力のための複数の１ｋフラ
ッシュ素子（０．８μｍ／２μｍ）と、ラッチにより制
御される入力を有する微分入力のための３２個のフラッ
シュ素子とを含む。テスト構造はまたフラッシュ素子の
ためのプログラムおよび消去ドライバを含む。全ての１
ｋフラッシュ素子は共通モード信号を正および負シナプ
スに送り、１６個の補正フラッシュ素子はプログラムエ
ラーを補正し、残りの１６個の入力フラッシュ素子は入
力信号を適用して全正確さを測定する。全てのフラッシ
ュ素子がＶｔ＝２．５Ｖにプログラムされると、シフト
レジスタは“１”で満たされる。ゲート電圧は全てのフ
ラッシュ素子をＶｔ＋ＬＴＢに固定する。Ｖｔ＋ＬＴＢ
をフラッシュ素子に適用するということは共通モード信
号を正および負のシナプスに送ることである（前述のテ
スト構造の大きいトランジスタによりなされたよう
に）。比較の後、一連の“００１１００…”が１から１
６個の入力に適用され１，０００，０００サイクルに対
する正確な出力をテストする。図１１では正確な出力の
パーセントを、適用された入力の数（１〜１６）の関数
で示した。入力数が増加すると、正確な出力パーセント
も増加し、ＬＳＢ＝３２ｍＶで入力数が６の時１００％
に接近することが明らかである。これは７ビットの正確
さに相当する。図１３では正確さをＬＳＢ電圧の関数で
示し、ＬＳＢが１２８ｍＶに増加すると、１ビットの正
確さが減少する。回路の効果的な正確さは共通モード信
号に依存する。図１２は０．５ｋフラッシュ素子（減少
された共通モード）を使用した同様のテストを示すもの
である。この場合１００％電流出力に必要な入力は２個
であり、効果的な正確さは８ビット付近である。図１４
はニューロン機能の１０ＭＨｚクロックでの測定を示す
ものである。制限は最高速度１０ＭＨｚを有する個々の
ＰＡＤドライバに起因する。シミュレーションではニュ
ーロン計算のピーク速度は３０ＭＨｚである。図１５は
１回の計算あたりのニューロンの電力消費を示す。電力
消費は５Ｖの電源および１．７ＭＨｚの周波数で１６６
ｐＪに等しい。これは入力乗法アキュムレート作動（１
ｋ入力）あたり１６６ｐＪに相当する。以上、本発明者
によってなされた発明を実施形態に基づき具体的に説明
し、例示したが、本発明は前記実施形態に限定されるも
のではなく、その要旨を逸脱しない範囲で、種々変更可
能であることはいうまでもない。
【発明の効果】本出願において開示される発明のうち、
代表的なものによって得られる効果を簡単に説明すれ
ば、下記の通りである。すなわち、プログラムレベルに
より変化するコンダクタンスを有するメモリセルを使用
したシナプスを実施することにより、シナプスは低い出
力電圧（ノード１２，１４）になるようバイアスされ、
ネットワーク１を低電圧状態、従って、携帯装置および
システムにおいて使用することができる。更に、シナプ
スの小さな電流での作動は（１０００個の入力の場合、
１００ｐＪ）ネットワーク全体の低電力作動を可能に
し、従って、電圧および電力が制限されるものに応用さ
れる。セル１５，１７のドレイン端子での電圧の減少
は、セルでのソフト書込を防止または最低限にし、ネッ
トワークの高い信頼性を保証した。低電圧とバッファ４
によるシナプスとニューロンの非干渉化の利益により、
ネットワークの高速評価（３０Ｈｚまで）が可能になっ
た。説明したとおり、ニューロンをフィードバック・コ
ンダクタンス比較器として形成することにより、慎重な
コンダクタンスの比較、すなわちシナプスの微少に異な
るコンダクタンスさえも比較することが可能になった。
特に、オフバランス・ニューロン５そしてラッチ６に使
用された２つのコンダクタンスの微少値により、コンダ
クタンス自身の大きさに比べてほんのわずかな差（１：
１０００の比）のコンダクタンスさえも比較することが
可能となった。また、本発明によるネットワークは広い
入力範囲を与え、１０ビットまで区別することができ、
０．７μｍＣＭＯＳ技術を使用して小さな集積面積（２
００×３２μｍ）にすることができ、容易に集積できる
簡単な構造を有し、ディジタル環境にインタフェースす
る必要がない。更に、本発明は次の利点を有する。開示
されたコンダクタンスモード計算法は、ニューロン決定
するよう加法ノードで最小電流パルスを生じる。更に、
この最小電流パルスおよび高速計算時間により低電力で
作動する。本発明による計算の解は高い正確さを有し、
特に得られた解は９ビットの本質的な正確さおよび７〜
８ビットの測定された正確さを有する。
代表的なものによって得られる効果を簡単に説明すれ
ば、下記の通りである。すなわち、プログラムレベルに
より変化するコンダクタンスを有するメモリセルを使用
したシナプスを実施することにより、シナプスは低い出
力電圧（ノード１２，１４）になるようバイアスされ、
ネットワーク１を低電圧状態、従って、携帯装置および
システムにおいて使用することができる。更に、シナプ
スの小さな電流での作動は（１０００個の入力の場合、
１００ｐＪ）ネットワーク全体の低電力作動を可能に
し、従って、電圧および電力が制限されるものに応用さ
れる。セル１５，１７のドレイン端子での電圧の減少
は、セルでのソフト書込を防止または最低限にし、ネッ
トワークの高い信頼性を保証した。低電圧とバッファ４
によるシナプスとニューロンの非干渉化の利益により、
ネットワークの高速評価（３０Ｈｚまで）が可能になっ
た。説明したとおり、ニューロンをフィードバック・コ
ンダクタンス比較器として形成することにより、慎重な
コンダクタンスの比較、すなわちシナプスの微少に異な
るコンダクタンスさえも比較することが可能になった。
特に、オフバランス・ニューロン５そしてラッチ６に使
用された２つのコンダクタンスの微少値により、コンダ
クタンス自身の大きさに比べてほんのわずかな差（１：
１０００の比）のコンダクタンスさえも比較することが
可能となった。また、本発明によるネットワークは広い
入力範囲を与え、１０ビットまで区別することができ、
０．７μｍＣＭＯＳ技術を使用して小さな集積面積（２
００×３２μｍ）にすることができ、容易に集積できる
簡単な構造を有し、ディジタル環境にインタフェースす
る必要がない。更に、本発明は次の利点を有する。開示
されたコンダクタンスモード計算法は、ニューロン決定
するよう加法ノードで最小電流パルスを生じる。更に、
この最小電流パルスおよび高速計算時間により低電力で
作動する。本発明による計算の解は高い正確さを有し、
特に得られた解は９ビットの本質的な正確さおよび７〜
８ビットの測定された正確さを有する。
【図１】マッカロック−ピッツのモデルによるニューロ
ンの概略図である。
ンの概略図である。
【図２】プログラム可能なスイッチトコンダクタンスと
してのフラッシュ素子機能の理想的な図式概念図であ
る。
してのフラッシュ素子機能の理想的な図式概念図であ
る。
【図３】ニューロン機能の電機回路図である。
【図４Ａ】本発明によるニューラル・ネットワークのブ
ロック図である。
ロック図である。
【図４Ｂ】本発明によるニューラル・ネットワークの全
回路図である。
回路図である。
【図５】リセット信号ＶＲおよびラッチ（ＥＮ信号）の
経時的変化を示すグラフである。
経時的変化を示すグラフである。
【図６】出力電圧Ｏおよびノード１８での電圧（Ｖ３
８）の経時的変化を示すグラフである。
８）の経時的変化を示すグラフである。
【図７】トランジスタ３３，３４，４３，４４を通る電
流Ｉ３３，Ｉ３４，Ｉ４３，Ｉ４４の経時的変化を示す
グラフである。
流Ｉ３３，Ｉ３４，Ｉ４３，Ｉ４４の経時的変化を示す
グラフである。
【図８】１つのテスト構造を示す図である。
【図９】他の１つのテスト構造を示すブロック図であ
る。
る。
【図１０】１つのテスト構造の本質的な正確さのグラフ
である。
である。
【図１１】共通モードの１ｋフラッシュ素子を使用した
正確さのグラフである。
正確さのグラフである。
【図１２】共通モードの０．５ｋフラッシュ素子を使用
した正確さのグラフである。
した正確さのグラフである。
【図１３】共通モードの１ｋフラッシュ素子を使用した
ＬＳＢに対する正確さのグラフである。
ＬＳＢに対する正確さのグラフである。
【図１４】ニューロン機能の１０ＭＨｚクロック図であ
る。
る。
【図１５】５Ｖの電源で９ｋΩの集積された抵抗に電流
を通した電力消費測定図である。
を通した電力消費測定図である。
【符号の説明】 １ ニューラル・ネットワーク ２ 興奮シナプス ３ 抑制シナプス ４ バッファ ５ ニューロン １１，１３ 入力 １５，１７ メモリセル ９１ シナプス
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジャンルーカ・コッリ イタリア国、27039 サンナッツァーロ・ デ・ブルゴンディ、ヴィア・カヴァリエー ル・ポローネ、10 (72)発明者 アラン・クラメール イタリア国、20052 モンツァ、ヴィア・ レオンカヴァーロ、54
Claims (16)
- 【請求項１】 個々にプログラム可能なコンダクタンス
を有する複数のシナプス重み付き要素と、 前記シナプス重み付き要素と結合されたニューロン・ス
テージとを含有するニューラル・ネットワークであっ
て、個々の前記シナプス重み付き要素が、それぞれの入
力信号が供給されるシナプス入力接続を有し、前記ニュ
ーロン・ステージが、前記シナプス重み付き要素の全コ
ンダクタンスに基づいて出力信号を発生させるコンダク
タンス測定手段を有することを特徴とするニューラル・
ネットワーク。 - 【請求項２】 請求項１記載のニューラル・ネットワー
クであって、 前記シナプス重み付き要素は、興奮シナプス重み付き要
素と抑制シナプス重み付き要素を有し、前記コンダクタ
ンス測定手段は、前記抑制シナプス重み付き要素と前記
興奮シナプス重み付き要素のコンダクタンスを比較し、
前記比較の結果に基づいて出力信号を発生させる比較手
段を有することを特徴とするニューラル・ネットワー
ク。 - 【請求項３】 請求項２記載のニューラル・ネットワー
クであって、 前記各シナプス重み付き要素は出力端子を個々に有し、
前記興奮シナプス重み付き要素の前記出力端子はすべて
互いに接続されていると共に前記ニューロン・ステージ
の第１入力と接続されており、前記抑制シナプス重み付
き要素の出力端子はすべて互いに接続されていると共に
前記ニューロン・ステージの第２入力と接続されてお
り、さらに、前記ニューロン・ステージの前記比較手段
は、前記ニューロン・ステージの前記第１および第２入
力におけるコンダクタンスを比較することを特徴とする
ニューラル・ネットワーク。 - 【請求項４】 請求項２記載のニューラル・ネットワー
クであって、 前記シナプス重み付き要素はメモリセルを有することを
特徴とするニューラル・ネットワーク。 - 【請求項５】 請求項４記載のニューラル・ネットワー
クであって、 興奮シナプス重み付き要素の数と抑制シナプス重み付き
要素の数が入力信号の数と等しく、前記メモリセルは第
１および第２端子と制御端子を有し、前記メモリセルの
前記第１端子は第１基準電位ラインに接続され、興奮シ
ナプス重み付き要素を形成する前記セルの第２端子は互
いに接続されると共に前記ニューロン・ステージの前記
第１入力に接続され、抑制シナプス重み付き要素を形成
する前記セルの前記第２端子は互いに接続されると共に
前記ニューロン・ステージの前記第２入力に接続され、
さらに、前記各入力信号は、興奮シナプス重み付き要素
を形成するメモリセルの制御端子と抑制シナプス重み付
き要素を形成するメモリセルの制御端子に並列に供給さ
れることを特徴とするニューラル・ネットワーク。 - 【請求項６】 請求項４記載のニューラル・ネットワー
クであって、 前記メモリセルは、フラッシュＥＥＰＲＯＭであること
を特徴とするニューラル・ネットワーク。 - 【請求項７】 請求項１記載のニューラル・ネットワー
クであって、 前記シナプス重み付き要素と前記ニューロン・ステージ
との間に非干渉ステージをさらに有することを特徴とす
るニューラル・ネットワーク。 - 【請求項８】 請求項７記載のニューラル・ネットワー
クであって、 前記非干渉ステージは、前記シナプス重み付き要素の前
記出力端子のための低電圧バイアス手段を有することを
特徴とするニューラル・ネットワーク。 - 【請求項９】 請求項８記載のニューラル・ネットワー
クであって、 前記低電圧バイアス手段は、前記メモリセルを線形領域
にて動作させることを特徴とするニューラル・ネットワ
ーク。 - 【請求項１０】 請求項８記載のニューラル・ネットワ
ークであって、 前記バイアス手段は、第１および第２基準電位ラインの
間に接続されてバイアスノードを画定するダイオード要
素と、第１および第２端子と制御端子を有する第１およ
び第２トランジスタとを有し、前記第１トランジスタの
前記第１端子は前記興奮シナプス重み付き要素の前記出
力端子と接続され、前記第２トランジスタの前記第１端
子は前記抑制シナプス重み付き要素の前記出力端子と接
続され、前記第１トランジスタの前記第２端子は前記ニ
ューロン・ステージの前記第１入力に接続され、前記第
２トランジスタの前記第２端子は前記ニューロン・ステ
ージの前記第２入力に接続され、さらに、前記第１およ
び第２トランジスタの前記制御端子は前記バイアスノー
ドに接続されることを特徴とするニューラル・ネットワ
ーク。 - 【請求項１１】 請求項９記載のニューラル・ネットワ
ークであって、 前記第１および第２トランジスタと前記ダイオード要素
はＭＯＳトランジスタを有することを特徴とするニュー
ラル・ネットワーク。 - 【請求項１２】 請求項１記載のニューラル・ネットワ
ークであって、 前記ニューロン・ステージは、前記ニューロン・ステー
ジの前記第１入力に接続された第１部分と、前記ニュー
ロン・ステージの前記第２入力に接続された第２部分と
を有し、前記第１および第２部分は、前記第２および第
１入力とそれぞれ接続された第１および第２フィードバ
ックノードをそれぞれ画定するカレントミラー回路をそ
れぞれ有することを特徴とするニューラル・ネットワー
ク。 - 【請求項１３】 請求項１２記載のニューラル・ネット
ワークであって、 前記部分は、第３、第４および第５トランジスタを有
し、前記第１および第２部分の前記第３トランジスタは
ダイオード接続されると共に前記ニューロン・ステージ
の前記第１および第２入力にそれぞれ接続されており、
前記第４トランジスタは前記第３トランジスタにカレン
トミラー回路接続されると共に前記第１および第２フィ
ードバックノードをそれぞれ画定し、さらに、前記第５
トランジスタは前記第３トランジスタにカレントミラー
回路接続されると共に第１および第２出力ノードをそれ
ぞれ画定することを特徴とするニューラル・ネットワー
ク。 - 【請求項１４】 請求項１３記載のニューラル・ネット
ワークであって、 前記ニューロン・ステージの前記第１および第２出力ノ
ードとそれぞれ接続された第１および第２入力を有する
と共に、前記ニューラル・ネットワークの前記出力を画
定するラッチステージをさらに含むことを特徴とするニ
ューラル・ネットワーク。 - 【請求項１５】 請求項２記載のニューラル・ネットワ
ークであって、 前記比較手段は、前記興奮シナプス重み付き要素と接続
された第１入力を有する第１部分と、前記抑制シナプス
重み付き要素と接続された第２入力を有する第２部分と
を有し、前記第１部分および前記第２部分は互いの部分
に対する正のフィードバックを形成するように互いに結
合させるため、前記比較手段は、初期入力電流が大きい
場合には第１部分または第２部分をオンにさせることに
より、また、初期入力電流が小さい場合には他の部分を
オフにさせることにより前記興奮シナプス重み付き要素
のコンダクタンスを前記抑制シナプス重み付き要素のコ
ンダクタンスと比較し、それにより、何れの部分がオン
となっているかに従って前記ディジタル出力信号を出力
することを特徴とするニューラル・ネットワーク。 - 【請求項１６】 請求項１５記載のニューラル・ネット
ワークであって、 前記第１および第２部分はカレントミラー回路を有する
ため、初期入力電流の大きい部分は前記興奮シナプス重
み付き要素および前記抑制シナプス重み付き要素の両方
に対するすべての電流を供給することを特徴とするニュ
ーラル・ネットワーク。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP95830433A EP0768610B1 (en) | 1995-10-13 | 1995-10-13 | Low-voltage, very-low-power neural network |
| IT95830433.9 | 1995-10-13 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09198366A true JPH09198366A (ja) | 1997-07-31 |
Family
ID=8222032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8308597A Pending JPH09198366A (ja) | 1995-10-13 | 1996-10-14 | 低電圧、超低電力コンダクタンスモード・ニューロン |
Country Status (4)
| Country | Link |
|---|---|
| US (3) | US6032140A (ja) |
| EP (1) | EP0768610B1 (ja) |
| JP (1) | JPH09198366A (ja) |
| DE (1) | DE69518326T2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999021105A1 (en) * | 1997-10-20 | 1999-04-29 | Microsoft Corporation | Automatically recognizing the discourse structure of a body of text |
| WO2013111973A1 (ko) * | 2012-01-27 | 2013-08-01 | 한국과학기술원 | 시각신경 회로장치, 시각신경 회로장치를 이용한 시각신경 모방시스템 및 객체탐색 시스템 |
| JP2019053563A (ja) * | 2017-09-15 | 2019-04-04 | 株式会社東芝 | 演算装置 |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69518326T2 (de) * | 1995-10-13 | 2001-01-18 | St Microelectronics Srl | Niederspannungsneuronalnetzwerk mit sehr niedrigem Leistungsverbrauch |
| ITMI990737A1 (it) * | 1999-04-09 | 2000-10-09 | St Microelectronics Srl | Procedimento per aumentare la precisione equivalente di calcolo in una memoria associativa analogica |
| US6580296B1 (en) | 2000-09-22 | 2003-06-17 | Rn2R, L.L.C. | Low power differential conductance-based logic gate and method of operation thereof |
| WO2002069497A2 (en) * | 2001-02-27 | 2002-09-06 | Broadcom Corporation | High speed latch comparators |
| US6501294B2 (en) | 2001-04-26 | 2002-12-31 | International Business Machines Corporation | Neuron circuit |
| US6583651B1 (en) | 2001-12-07 | 2003-06-24 | Stmicroelectronics, Inc. | Neural network output sensing and decision circuit and method |
| US7062476B2 (en) * | 2002-06-17 | 2006-06-13 | The Boeing Company | Student neural network |
| US20080196766A1 (en) * | 2007-02-21 | 2008-08-21 | Wilber Ross Gandy | Breakaway self-sealing safety valve |
| US9760533B2 (en) | 2014-08-14 | 2017-09-12 | The Regents On The University Of Michigan | Floating-gate transistor array for performing weighted sum computation |
| CN105095967B (zh) * | 2015-07-16 | 2018-02-16 | 清华大学 | 一种多模态神经形态网络核 |
| WO2017131632A1 (en) | 2016-01-26 | 2017-08-03 | Hewlett Packard Enterprise Development Lp | Memristive arrays with offset elements |
| US9966137B2 (en) | 2016-08-17 | 2018-05-08 | Samsung Electronics Co., Ltd. | Low power analog or multi-level memory for neuromorphic computing |
| US10483981B2 (en) | 2016-12-30 | 2019-11-19 | Microsoft Technology Licensing, Llc | Highspeed/low power symbol compare |
| US11270194B2 (en) | 2017-07-26 | 2022-03-08 | International Business Machines Corporation | System and method for constructing synaptic weights for artificial neural networks from signed analog conductance-pairs of varying significance |
| US11074499B2 (en) | 2017-11-20 | 2021-07-27 | International Business Machines Corporation | Synaptic weight transfer between conductance pairs with polarity inversion for reducing fixed device asymmetries |
| US11321608B2 (en) | 2018-01-19 | 2022-05-03 | International Business Machines Corporation | Synapse memory cell driver |
| US10217512B1 (en) * | 2018-05-15 | 2019-02-26 | International Business Machines Corporation | Unit cell with floating gate MOSFET for analog memory |
| US10489483B1 (en) * | 2018-09-21 | 2019-11-26 | National Technology & Engineering Solutions Of Sandia, Llc | Circuit arrangement and technique for setting matrix values in three-terminal memory cells |
| EP3654250B1 (en) * | 2018-11-13 | 2023-04-12 | IMEC vzw | Machine learning accelerator |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5155802A (en) * | 1987-12-03 | 1992-10-13 | Trustees Of The Univ. Of Penna. | General purpose neural computer |
| JP2595051B2 (ja) * | 1988-07-01 | 1997-03-26 | 株式会社日立製作所 | 半導体集積回路 |
| JP2823229B2 (ja) * | 1989-04-05 | 1998-11-11 | 株式会社東芝 | 電子回路、差動増幅回路、及びアナログ乗算回路 |
| JPH02287670A (ja) * | 1989-04-27 | 1990-11-27 | Mitsubishi Electric Corp | 半導体神経回路網 |
| US5305250A (en) * | 1989-05-05 | 1994-04-19 | Board Of Trustees Operating Michigan State University | Analog continuous-time MOS vector multiplier circuit and a programmable MOS realization for feedback neural networks |
| US4988891A (en) * | 1989-05-09 | 1991-01-29 | Mitsubishi Denki Kabushiki Kaisha | Semiconductor neural network including photosensitive coupling elements |
| JPH02310666A (ja) * | 1989-05-25 | 1990-12-26 | Mitsubishi Electric Corp | 半導体神経回路装置 |
| JP2662559B2 (ja) * | 1989-06-02 | 1997-10-15 | 直 柴田 | 半導体装置 |
| US5187680A (en) * | 1989-06-15 | 1993-02-16 | General Electric Company | Neural net using capacitive structures connecting input lines and differentially sensed output line pairs |
| US4961002A (en) * | 1989-07-13 | 1990-10-02 | Intel Corporation | Synapse cell employing dual gate transistor structure |
| US4956564A (en) * | 1989-07-13 | 1990-09-11 | Intel Corporation | Adaptive synapse cell providing both excitatory and inhibitory connections in an associative network |
| US5101361A (en) * | 1989-09-29 | 1992-03-31 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Analog hardware for delta-backpropagation neural networks |
| JPH0634248B2 (ja) * | 1989-12-16 | 1994-05-02 | 三菱電機株式会社 | 半導体神経回路網 |
| JPH0782481B2 (ja) * | 1989-12-26 | 1995-09-06 | 三菱電機株式会社 | 半導体神経回路網 |
| US5056037A (en) * | 1989-12-28 | 1991-10-08 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Analog hardware for learning neural networks |
| US5150450A (en) * | 1990-10-01 | 1992-09-22 | The United States Of America As Represented By The Secretary Of The Navy | Method and circuits for neuron perturbation in artificial neural network memory modification |
| US5615305A (en) * | 1990-11-08 | 1997-03-25 | Hughes Missile Systems Company | Neural processor element |
| US5146602A (en) * | 1990-12-26 | 1992-09-08 | Intel Corporation | Method of increasing the accuracy of an analog neural network and the like |
| US5268320A (en) * | 1990-12-26 | 1993-12-07 | Intel Corporation | Method of increasing the accuracy of an analog circuit employing floating gate memory devices |
| IT1244911B (it) * | 1991-01-31 | 1994-09-13 | Texas Instruments Italia Spa | Architettura per rete neuronica fisicamente inseribile nel processo di apprendimento. |
| IT1244910B (it) * | 1991-01-31 | 1994-09-13 | Texas Instruments Italia Spa | Cella convertitrice tensione-corrente, regolabile, realizzata mediante uno stadio differenziale, a transistori mos. in particolare per formare sinapsi di reti neuroniche e combinazione di tali celle per formare il corredo di sinapsi di un nucleo neuronico. |
| US5248956A (en) * | 1991-04-05 | 1993-09-28 | Center For Innovative Technology | Electronically controllable resistor |
| US5422982A (en) * | 1991-05-02 | 1995-06-06 | Dow Corning Corporation | Neural networks containing variable resistors as synapses |
| US5155377A (en) * | 1991-08-20 | 1992-10-13 | Intel Corporation | Charge domain differential conductance synapse cell for neural networks |
| US5302838A (en) * | 1992-06-09 | 1994-04-12 | University Of Cincinnati | Multi-quantum well injection mode device |
| US5256911A (en) * | 1992-06-10 | 1993-10-26 | Intel Corporation | Neural network with multiplexed snyaptic processing |
| US5343555A (en) * | 1992-07-06 | 1994-08-30 | The Regents Of The University Of California | Artificial neuron with switched-capacitor synapses using analog storage of synaptic weights |
| US5298796A (en) * | 1992-07-08 | 1994-03-29 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Nonvolatile programmable neural network synaptic array |
| US5336937A (en) * | 1992-08-28 | 1994-08-09 | State University Of New York | Programmable analog synapse and neural networks incorporating same |
| US5444821A (en) * | 1993-11-10 | 1995-08-22 | United Microelectronics Corp. | Artificial neuron element with electrically programmable synaptic weight for neural networks |
| DE69518326T2 (de) * | 1995-10-13 | 2001-01-18 | St Microelectronics Srl | Niederspannungsneuronalnetzwerk mit sehr niedrigem Leistungsverbrauch |
-
1995
- 1995-10-13 DE DE69518326T patent/DE69518326T2/de not_active Expired - Fee Related
- 1995-10-13 EP EP95830433A patent/EP0768610B1/en not_active Expired - Lifetime
-
1996
- 1996-10-14 JP JP8308597A patent/JPH09198366A/ja active Pending
- 1996-10-15 US US08/731,426 patent/US6032140A/en not_active Expired - Fee Related
-
1999
- 1999-12-14 US US09/461,674 patent/US6269352B1/en not_active Ceased
-
2003
- 2003-07-31 US US10/631,323 patent/USRE41658E1/en not_active Expired - Lifetime
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999021105A1 (en) * | 1997-10-20 | 1999-04-29 | Microsoft Corporation | Automatically recognizing the discourse structure of a body of text |
| US6112168A (en) * | 1997-10-20 | 2000-08-29 | Microsoft Corporation | Automatically recognizing the discourse structure of a body of text |
| WO2013111973A1 (ko) * | 2012-01-27 | 2013-08-01 | 한국과학기술원 | 시각신경 회로장치, 시각신경 회로장치를 이용한 시각신경 모방시스템 및 객체탐색 시스템 |
| US9286566B2 (en) | 2012-01-27 | 2016-03-15 | Korea Advanced Institute Of Science And Technology | Visual cortical circuit apparatus, visual cortical imitation system and object search system using visual cortical circuit apparatus |
| US9798971B2 (en) | 2012-01-27 | 2017-10-24 | Korea Advanced Institute Of Science And Technology | Visual cortical circuit apparatus, visual cortical imitation system and object search system using visual cortical circuit apparatus |
| JP2019053563A (ja) * | 2017-09-15 | 2019-04-04 | 株式会社東芝 | 演算装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0768610B1 (en) | 2000-08-09 |
| DE69518326D1 (de) | 2000-09-14 |
| USRE41658E1 (en) | 2010-09-07 |
| US6032140A (en) | 2000-02-29 |
| EP0768610A1 (en) | 1997-04-16 |
| US6269352B1 (en) | 2001-07-31 |
| DE69518326T2 (de) | 2001-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH09198366A (ja) | 低電圧、超低電力コンダクタンスモード・ニューロン | |
| JP2732826B2 (ja) | 不揮発性半導体メモリ装置とそのワードライン駆動方法 | |
| Liu et al. | A scalable time-based integrate-and-fire neuromorphic core with brain-inspired leak and local lateral inhibition capabilities | |
| KR102542532B1 (ko) | 혼합-신호 연산 시스템 및 방법 | |
| US11880226B2 (en) | Digital backed flash refresh | |
| US8918353B2 (en) | Methods and systems for feature extraction | |
| Boahen et al. | A heteroassociative memory using current-mode MOS analog VLSI circuits | |
| US11861483B2 (en) | Spike neural network circuit including comparator operated by conditional bias current | |
| WO1996030855A1 (fr) | Circuit arithmetique a semiconducteurs | |
| US11138500B1 (en) | General purpose neural processor | |
| EP3654250B1 (en) | Machine learning accelerator | |
| Shah et al. | SoC FPAA hardware implementation of a VMM+ WTA embedded learning classifier | |
| US6041321A (en) | Electronic device for performing convolution operations | |
| EP0758467B1 (en) | Electronic circuits and methods for determination of distances between reference and data points | |
| Zhao et al. | Neural network acceleration and voice recognition with a flash-based in-memory computing SoC | |
| Chen et al. | A programmable calculation unit employing memcapacitor-based neuromorphic circuit | |
| US6160729A (en) | Associative memory and method for the operation thereof | |
| TWI847837B (zh) | 處理系統 | |
| Fabbrizio et al. | Low power, low voltage conductance-mode CMOS analog neuron | |
| US7007255B2 (en) | Integrated circuit design using charge pump modeling | |
| Shoemaker et al. | A hierarchical clustering network based on a model of olfactory processing | |
| Varshavsky et al. | Beta-CMOS artificial neuron and implementability limits | |
| US20240037381A1 (en) | Ternary neural network accelerator device and method of operating the same | |
| KR102594829B1 (ko) | 안정적인 스파이크 신호를 제공하는 스파이크 레귤레이터를 포함하는 뉴로모픽 회로 | |
| US20230147403A1 (en) | Hardware-based artificial neural network device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050927 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060228 |