JP7346579B2 - 深層学習人工ニューラルネットワーク内のアナログニューラルメモリにおいてニューロン電流をニューロン電流ベースの時間パルスに変換するためのシステム - Google Patents

深層学習人工ニューラルネットワーク内のアナログニューラルメモリにおいてニューロン電流をニューロン電流ベースの時間パルスに変換するためのシステム Download PDF

Info

Publication number
JP7346579B2
JP7346579B2 JP2021541295A JP2021541295A JP7346579B2 JP 7346579 B2 JP7346579 B2 JP 7346579B2 JP 2021541295 A JP2021541295 A JP 2021541295A JP 2021541295 A JP2021541295 A JP 2021541295A JP 7346579 B2 JP7346579 B2 JP 7346579B2
Authority
JP
Japan
Prior art keywords
output
array
neuron
cell
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021541295A
Other languages
English (en)
Other versions
JP2022523291A (ja
Inventor
トラン、ヒュー、バン
ティワリ、ビピン
レイテン、マーク
ドー、ナン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Silicon Storage Technology Inc
Original Assignee
Silicon Storage Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Silicon Storage Technology Inc filed Critical Silicon Storage Technology Inc
Publication of JP2022523291A publication Critical patent/JP2022523291A/ja
Application granted granted Critical
Publication of JP7346579B2 publication Critical patent/JP7346579B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G11C16/0425—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing a merged floating gate and select transistor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0466—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells with charge storage in an insulating layer, e.g. metal-nitride-oxide-silicon [MNOS], silicon-oxide-nitride-oxide-silicon [SONOS]
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2216/00—Indexing scheme relating to G11C16/00 and subgroups, for features not directly covered by these groups
    • G11C2216/02—Structural aspects of erasable programmable read-only memories
    • G11C2216/04—Nonvolatile memory cell provided with a separate control gate for erasing the cells, i.e. erase gate, independent of the normal read control gate

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Non-Volatile Memory (AREA)
  • Read Only Memory (AREA)
  • Semiconductor Memories (AREA)
  • Image Processing (AREA)
  • Complex Calculations (AREA)

Description

（優先権の主張）
本出願は、２０１９年３月６日出願の米国特許仮出願第６２／８１４，８１３号、表題「Ｓｙｓｔｅｍ ｆｏｒ Ｃｏｎｖｅｒｔｉｎｇ Ｎｅｕｒｏｎ Ｃｕｒｒｅｎｔ Ｉｎｔｏ Ｎｅｕｒｏｎ Ｃｕｒｒｅｎｔ－Ｂａｓｅｄ Ｔｉｍｅ Ｐｕｌｓｅｓ ｉｎ ａｎ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」、２０１９年１月１８日出願の同第６２／７９４，４９２号、表題「Ｓｙｓｔｅｍ ｆｏｒ Ｃｏｎｖｅｒｔｉｎｇ Ｎｅｕｒｏｎ Ｃｕｒｒｅｎｔ Ｉｎｔｏ Ｎｅｕｒｏｎ Ｃｕｒｒｅｎｔ－Ｂａｓｅｄ Ｔｉｍｅ Ｐｕｌｓｅｓ ｉｎ ａｎ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」、及び２０１９年３月１４日出願の米国特許第１６／３５３，８３０号、表題「Ｓｙｓｔｅｍ ｆｏｒ Ｃｏｎｖｅｒｔｉｎｇ Ｎｅｕｒｏｎ Ｃｕｒｒｅｎｔ Ｉｎｔｏ Ｎｅｕｒｏｎ Ｃｕｒｒｅｎｔ－Ｂａｓｅｄ Ｔｉｍｅ Ｐｕｌｓｅｓ ｉｎ ａｎ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」に対する優先権を主張する。
（発明の分野）
ベクトル行列乗算（vector-by-matrix multiplication、ＶＭＭ）アレイによって出力されるニューロン電流をニューロン電流ベースの時間パルスに変換し、そのようなパルスを人工ニューラルネットワーク内の別のＶＭＭアレイへの入力として提供するために、多数の実施形態が開示される。
人工ニューラルネットワークは、生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）を模倣しており、多数の入力に依存し得、かつ、一般的に未知である関数を推定する又は近似するために使用される。人工ニューラルネットワークは、概して、メッセージを交換する相互接続した「ニューロン」の層を含む。
図１は人工ニューラルネットワークを示しており、図中、円は、入力又はニューロンの層を表す。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいて調整され得る数値の重みを有する。これにより、ニューラルネットワークは入力に適応し、学習可能になる。典型的には、ニューラルネットワークは、複数の入力の層を含む。典型的には、１つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。それぞれのレベルで前記ニューロンは、前記シナプスから受信したデータに基づいて個々に又は合わせて決定を行う。
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題の１つは、適切なハードウェア技術の欠如である。実際には、実用ニューラルネットワークは、非常に多数のシナプスに依拠しており、これによりニューロン間の高い接続性、すなわち、非常に高度な計算処理の並列化が可能となる。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専用ＧＰＵ（グラフィックプロセッシングユニット）クラスタによって実現が可能である。しかしながら、高コストに加え、これらのアプローチはまた、生物学的ネットワークが主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しないのと比較して、エネルギー効率が劣っていることに悩まされている。人工ニューラルネットワークにはＣＭＯＳアナログ回路が使用されてきたが、ほとんどのＣＭＯＳ実装シナプスは、必要な多数のニューロン及びシナプスを前提とすると、嵩高過ぎていた。
出願人は以前に、参照により組み込まれる米国特許公開第２０１７／０３３７４６６号として公開された米国特許出願第１５／５９４，４３９号において、シナプスとして１つ以上の不揮発性メモリアレイを利用する人工（アナログ）ニューラルネットワークを開示した。前記不揮発性メモリアレイは、アナログニューロモーフィックメモリとして動作する。前記ニューラルネットワークデバイスは、第１の複数の入力を受信して、それから第１の複数の出力を生成するように構成された第１の複数のシナプス、及び第１の複数の出力を受信するように構成された第１の複数のニューロンを含む。前記第１の複数のシナプスは複数のメモリセルを含み、各メモリセルは、半導体基板内に形成された、間にチャネル領域が延在している離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に配設され、チャネル領域の第１の部分から絶縁された浮遊ゲートと、チャネル領域の第２の部分の上方に配設され、チャネル領域の第２の部分から絶縁された非浮遊ゲートと、を含む。前記複数のメモリセルのそれぞれは、浮遊ゲートの多くの電子に対応する重み値を格納するように構成される。前記複数のメモリセルは、第１の複数の入力に、格納された重み値を乗算して第１の複数の出力を生成するように構成される。
アナログニューロモーフィックメモリシステムに使用される各不揮発性メモリセルは、消去・プログラムに対応して、浮遊ゲート内に電荷、すなわち電子の数、を非常に特異的かつ正確な量で保持しなければならない。例えば、各浮遊ゲートはＮ個の異なる値のうちの１つを保持しなければならず、ここで、Ｎは、各セルによって示され得る異なる重みの数である。Ｎの例としては、１６、３２、６４、１２８及び２５６が挙げられる。
ＶＭＭアレイを利用するシステムにおける１つの課題は、ＶＭＭアレイの出力を正確に測定し、その出力を別のＶＭＭアレイの入力ブロックなどの別の段階に転送する能力である。多くのアプローチが知られているが、それぞれは、漏れ電流による情報の損失などの特定の欠点を有する。
必要とされるのは、ＶＭＭアレイの出力電流を測定し、その出力電流を、電子機器の別の段階に転送するのにより適した形態に変換するための改善されたシステムである。
ベクトル行列乗算（ＶＭＭ）アレイによって出力されるニューロン電流をニューロン電流ベースの時間パルスに変換し、そのようなパルスを人工ニューラルネットワーク内の別のＶＭＭアレイへの入力として提供するために、多数の実施形態が開示される。
先行技術の人工ニューラルネットワークを示す図である。 先行技術のスプリットゲートフラッシュメモリセルを示す。 別の先行技術のスプリットゲートフラッシュメモリセルを示す。 別の先行技術のスプリットゲートフラッシュメモリセルを示す。 別の先行技術のスプリットゲートフラッシュメモリセルを示す。 別の先行技術のスプリットゲートフラッシュメモリセルを示す。 先行技術の積層ゲートフラッシュメモリセルを示す。 １つ以上の不揮発性メモリアレイを利用する例示的な人工ニューラルネットワークの様々なレベルを示す図である。 ベクトル行列乗算システムを示すブロック図である。 １つ以上のベクトル行列乗算システムを利用する例示的な人工ニューラルネットワークを示すブロック図である。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 先行技術の長・短期記憶システムを示す。 長・短期記憶システムで使用する例示的なセルを示す。 図１７の例示的なセルの一実施形態を示す。 図１７の例示的なセルの別の実施形態を示す。 先行技術のゲート付き回帰型ユニットシステムを示す。 ゲート付き回帰型ユニットシステムで使用する例示的なセルを示す。 図２１の例示的なセルの一実施形態を示す。 図２１の例示的なセルの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ＶＭＭシステムを示す。 フラッシュアナログニューロメモリシステムを示す。 積分アナログ－デジタル変換器を示す。 図３４Ａの積分アナログ－デジタル変換器の電圧特性を示す。 積分アナログ－デジタル変換器を示す。 図３５Ａの積分アナログ－デジタル変換器の電圧特性を示す。 図３４Ａ及び図３５Ａのアナログ－デジタル変換器の動作例の波形を示す。 図３４Ａ及び図３５Ａのアナログ－デジタル変換器の動作例の波形を示す。 タイミング制御回路を示す。 パルス－電圧変換器を示す。 電流－電圧変換器を示す。 電流－電圧変換器を示す。 電流－対数電圧変換器を示す。 電流－対数電圧変換器を示す。 デジタルデータ－電圧変換器を示す。 デジタルデータ－電圧変換器を示す。 基準アレイを示す。 デジタル比較器を示す。 変換器及びデジタル比較器を示す。 アナログ比較器を示す。 変換器及びアナログ比較器を示す。 出力回路を示す。 デジタル化後に活性化される出力の態様を示す。 デジタル化後に活性化される出力の態様を示す。 電荷加算器回路を示す。 電流加算器回路を示す。 デジタル加算器回路を示す。 それぞれ、デジタルビット－パルス行変換器及び波形を示す。 それぞれ、デジタルビット－パルス行変換器及び波形を示す。 電力管理方法を示す。 別の電力管理方法を示す。 別の電力管理方法を示す。
本発明の人工ニューラルネットワークは、ＣＭＯＳ技術及び不揮発性メモリアレイの組み合わせを利用する。
不揮発性メモリセル
デジタル不揮発性メモリは、周知である。例えば、参照により本明細書に組み込まれる、米国特許第５，０２９，１３０号（「’１３０号特許」）は、フラッシュメモリセルの一種である、スプリットゲート型不揮発性メモリセルのアレイを開示する。このようなメモリセル２１０を図２に示す。各メモリセル２１０は、半導体基板１２内に形成されたソース領域１４とドレイン領域１６と、を含み、ソース領域１４とドレイン領域１６の間にはチャネル領域１８がある。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方に形成され、チャネル領域１８の第１の部分から絶縁され（並びに、チャネル領域１８の第１の部分の導電性を制御して）、ソース領域１４の一部分の上方に形成される。ワード線端子２２（典型的には、ワード線に結合される）は、チャネル領域１８の第２の部分の上方に配設され、チャネル領域１８の第２の部分から絶縁された、（並びに、チャネル領域１８の第２の部分の導電性を制御する）第１の部分と、浮遊ゲート２０の上方で上に延在する第２の部分と、を有する。浮遊ゲート２０及びワード線端子２２は、ゲート酸化物によって基板１２から絶縁される。ビット線２４はドレイン領域１６に結合される。
ワード線端子２２に高圧正電圧をかけることによって、メモリセル２１０に対して消去が行われ（電子が浮遊ゲートから除去される）、これによって、浮遊ゲート２０の電子は、浮遊ゲート２０からワード線端子２２までそれらの間にある絶縁体の中をファウラーノルドハイム（Fowler-Nordheim）トンネリングを介して通過する。
メモリセル２１０は、ワード線端子２２に正電圧、及びソース領域１４に正電圧をかけることによってプログラムされる（電子が浮遊ゲートに加えられる）。電子電流は、ソース領域１４からドレイン領域１６に向かって流れる。電子は加速し、ワード線端子２２と浮遊ゲート２０との間の間隙に達すると、発熱する。熱せられた電子の一部が、浮遊ゲート２０からの静電引力に起因して、浮遊ゲート２０にゲート酸化物を介して注入される。
メモリセル２１０は、ドレイン領域１６及びワード線端子２２に正の読み出し電圧をかける（ワード線端子の下方のチャネル領域１８の部分をオンにする）ことによって、読み出される。浮遊ゲート２０が正に帯電する（すなわち、電子を消去する）と、浮遊ゲート２０の下方のチャネル領域１８の部分も同様にオンになり、電流はチャネル領域１８を流れ、これは、消去された状態つまり「１」の状態として検知される。浮遊ゲート２０が負に帯電する（すなわち、電子でプログラムされる）と、浮遊ゲート２０の下方のチャネル領域の部分はほとんど又は完全にオフになり、電流はチャネル領域１８を流れず（又はほとんど流れず）、これは、プログラムされた状態つまり「０」の状態として検出される。
表１は、読み出し、消去、及びプログラム動作を実行するためのメモリセル１１０の端子に印加され得る典型的な電圧範囲を示す。
表１：図２のフラッシュメモリセル２１０の動作
Figure 0007346579000001
図３は、制御ゲート（control gate、ＣＧ）２８を追加した、図２のメモリセル２１０と同様のメモリセル３１０を示す。制御ゲート２８は、プログラミング中に高電圧（例えば、１０Ｖ）、消去中に低又は負電圧（例えば、０ｖ／－８Ｖ）、読み出し中に低又は中程度電圧（例えば、０ｖ／２．５Ｖ）でバイアスされる。他の端子は、図２の端子と同様にバイアスされる。
図４は、ソース領域１４と、ドレイン領域１６と、チャネル領域１８の第１の部分の上方にある浮遊ゲート２０と、チャネル領域１８の第２の部分の上方にある選択ゲート２２（典型的には、ワード線、ＷＬ、に結合される）と、浮遊ゲート２０の上方にある制御ゲート２８と、ソース領域１４の上方にある消去ゲート３０と、を含む４ゲートメモリセル４１０を示す。この構成は、あらゆる目的のため参照により本明細書に組み込まれる、米国特許第６，７４７，３１０号に記載されている。ここで、全てのゲートは、浮遊ゲート２０を除いて、非浮遊ゲートであり、つまり、それらは電圧源に電気的に接続される又は接続可能である。プログラミングは、熱せられた電子がチャネル領域１８から浮遊ゲート２０にその電子自体を注入することによって実行される。消去は、電子が浮遊ゲート２０から消去ゲート３０へトンネリングすることによって実行される。
表２は、読み出し、消去、及びプログラム動作を実行するためのメモリセル３１０の端子に印加され得る典型的な電圧範囲を示す。
表２：図４のフラッシュメモリセル４１０の動作
Figure 0007346579000002
図５は、メモリセル５１０が消去ゲート（erase gate、ＥＧ）を含まないことを除いて、図４のメモリセル４１０と同様のメモリセル５１０を示す。消去は、基板１８を高電圧にバイアスし、制御ゲートＣＧ２８を低電圧又は負電圧にバイアスすることによって行われる。あるいは、ワード線２２を正電圧にバイアスし、制御ゲート２８を負電圧にバイアスすることによって、消去が行われる。プログラミング及び読み出しは、図４のものと同様である。
図６は、別の種類のフラッシュメモリセルである、３ゲートメモリセル６１０を示す。メモリセル６１０は、メモリセル６１０が別個の制御ゲートを有しないことを除いて、図４のメモリセル４１０と同一である。（消去ゲートの使用を通じて消去が起こる）消去動作及び読み出し動作は、制御ゲートバイアスが印加されないことを除いて、図４のものと同様である。プログラミング動作もまた、制御ゲートバイアスなしで行われるため、結果として、プログラム動作中は、制御ゲートバイアスの不足を補償するため、より高い電圧がソース線に印加されなければならない。
表３は、読み出し、消去、及びプログラム動作を実行するためのメモリセル６１０の端子に印加され得る典型的な電圧範囲を示す。
表３：図６のフラッシュメモリセル６１０の動作
Figure 0007346579000003
図７は、別の種類のフラッシュメモリセルである、積層ゲートメモリセル７１０を示す。メモリセル７１０は、浮遊ゲート２０がチャネル領域１８全体の上方に延在し、制御ゲート２２（ワード線に結合される）が絶縁層（図示せず）によって分離されて浮遊ゲート２０の上方に延在することを除いて、図２のメモリセル２１０と同様である。消去、プログラミング、及び読み出し動作は、メモリセル２１０について前述したものと同様の方法で動作する。
表４は、読み出し、消去、及びプログラム動作を実行するためのメモリセル７１０及び基板１２の端子に印加され得る典型的な電圧範囲を示す。
表４：図７のフラッシュメモリセル７１０の動作
Figure 0007346579000004
上記の人工ニューラルネットワークにおける不揮発性メモリセルの種類のうちの１つを含むメモリアレイを利用するために、２つの修正が行われる。第１に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しできるように線を構成する。第２に、メモリセルの連続（アナログ）プログラミングを提供する。
具体的には、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全に消去された状態から完全にプログラムされた状態へ、独立して、かつ他のメモリセルの異常が最小で、連続的に変えることができる。別の実施形態では、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全にプログラムされた状態から完全に消去された状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの異常が最小で、連続的に変えることができる。これはつまり、セル格納がアナログであるか、又は多数の不連続値（１６又は６４の異なる値など）のうちの１つを最低限格納できることを意味し、これにより、メモリアレイ内の全てのセルが非常に正確に、かつ個別に調整可能となり、またメモリアレイは格納に対して理想的になり、ニューラルネットワークのシナプシスの重みに微調整が可能となる。
本明細書に記載される方法及び手段は、ＳＯＮＯＳ（シリコン－酸化物－窒化物－酸化物－シリコン、窒化物中に電荷トラップ）、ＭＯＮＯＳ（金属－酸化物－窒化物－酸化物－シリコン、窒化物中に金属電荷トラップ）、ＲｅＲＡＭ（抵抗ｒａｍ）、ＰＣＭ（相変化メモリ）、ＭＲＡＭ（磁気ｒａｍ）、ＦｅＲＡＭ（強誘電性ｒａｍ）、ＯＴＰ（バイレベル又はマルチレベルワンタイムプログラマブル）、ＣｅＲＡＭ（相関電子ｒａｍ）など他の不揮発性メモリ技術に適用することができる。本明細書に記載される方法及び手段は、限定することなく、ＳＲＡＭ、ＤＲＡＭ、及び／又は揮発性シナプスセルなどのニューラルネットワークに使用される揮発性メモリ技術に適用することができる。
不揮発性メモリセルアレイを使用するニューラルネットワーク
図８は、本実施形態の不揮発性メモリアレイを利用するニューラルネットワークの非限定例を概念的に示す。この例は、顔認識アプリケーション用に不揮発性メモリアレイニューラルネットワークを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の適切なアプリケーションを実施することも可能である。
Ｓ０は入力層であり、この例では、５ビット精度の３２×３２ピクセルＲＧＢ画像である（すなわち、各色Ｒ、Ｇ、及びＢにつき１つずつで３つの３２×３２ピクセルアレイであり、各ピクセルは５ビット精度である）。入力層Ｓ０から層Ｃ１に行くシナプスＣＢ１は、一部のインスタンスには異なる重みのセットを適用し、他のインスタンスには共有の重みを適用し、入力画像を３×３ピクセルの重なり合うフィルタでスキャンし（カーネル）、１ピクセル（又はモデルによっては２ピクセル以上）ずつフィルタをシフトする。具体的には、画像の３×３部分における９ピクセルの値（すなわち、フィルタ又はカーネルと呼ばれる）はシナプスＣＢ１に提供され、そこでこれらの９個の入力値に適切な重みを乗算し、その乗算の出力を合計後、単一の出力値が決定され、特徴マップＣ１の層の１つのピクセルを生成するためにＣＢ１の第１のシナプスによって与えられる。３×３フィルタは次に、入力層Ｓ０内で右側に１ピクセルだけシフトされ（すなわち、３ピクセルの列を右側に追加し、左側で３ピクセルの列をドロップする）、これにより、この新しく位置づけられたフィルタの９ピクセル値はシナプスＣＢ１に提供され、そこでそれらに上記と同じ重みを乗算し、関連するシナプスによって第２の単一の出力値を決定する。このプロセスを、３×３フィルタが入力層Ｓ０の３２×３２ピクセル画像全体にわたって３色全て及び全てのビット（精度値）についてスキャンするまで続ける。プロセスは次に、層Ｃ１の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、Ｃ１の異なる特徴マップを生成する。
本例では、層Ｃ１において、それぞれ３０×３０ピクセルを有する１６個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、２次元アレイであり、したがってこの例では、層Ｃ１は、２次元アレイの１６層を構成する（本明細書で言及される層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な２次元アレイに配向されないことに留意されたい）。層Ｃ１内の１６個の特徴マップの各々は、フィルタスキャンに適用される異なるシナプス重みのセット１６個のうちの１つによって生成される。Ｃ１特徴マップは全て、境界同定など、同じ画像特徴の異なる態様を対象とすることができる。例えば、第１のマップ（この第１のマップを生成するのに使用される全てのスキャンに共有される第１の重みセットを使用して生成される）は、円形エッジを識別することができ、第２のマップ（第１の重みセットと異なる第２の重みセットを使用して生成される）は、方形エッジ又は特定の特徴のアスペクト比などを識別することができる。
層Ｃ１から層Ｓ１へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ１（プーリング）が適用される。プーリング関数の目的は、近隣の位置を平均すること（又はｍａｘ関数を使用することも可能である）、例えばエッジ位置の依存を低減すること、及び次の段階に行く前にデータサイズを低減することである。層Ｓ１において、１６個の１５×１５特徴マップ（すなわち、それぞれ１５×１５ピクセルの異なるアレイ１６個）が存在する。層Ｓ１から層Ｃ２に行くシナプスＣＢ２は、Ｓ１内のマップを４×４フィルタにより１ピクセルのフィルタシフトでスキャンする。層Ｃ２において、２２個の１２×１２特徴マップが存在する。層Ｃ２から層Ｓ２へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ２（プーリング）が適用される。層Ｓ２において、２２個の６×６特徴マップが存在する。層Ｓ２から層Ｃ３へ行くシナプスＣＢ３では活性化関数（プーリング）が適用され、ここで層Ｃ３内の全てのニューロンは、ＣＢ３のそれぞれのシナプスを介して層Ｓ２内の全てのマップに接続する。層Ｃ３において、６４個のニューロンが存在する。層Ｃ３から出力層Ｓ３へと行くシナプスＣＢ４は、Ｃ３をＳ３に完全に接続する、すなわち、層Ｃ３内の全てのニューロンは、層Ｓ３内の全てのニューロンに接続される。Ｓ３における出力は、１０個のニューロンを含み、ここで出力が最も高いニューロンが、クラスを決定する。この出力は、例えば、元の画像の内容の同定又は分類を示すことができる。
シナプスの各層は、不揮発性メモリセルのアレイ又はアレイの一部を使用して実行される。
図９は、その目的のために使用可能なアレイのブロック図である。ベクトル行列乗算（ＶＭＭ）アレイ３２は、不揮発性メモリセルを含み、ある層と次の層との間のシナプス（図６のＣＢ１、ＣＢ２、ＣＢ３、及びＣＢ４など）として利用される。具体的には、ＶＭＭアレイ３２は、不揮発性メモリセルのアレイ３３、消去ゲート及びワード線ゲートデコーダ３４、制御ゲートデコーダ３５、ビット線デコーダ３６、並びにソース線デコーダ３７を含み、それらのデコーダは不揮発性メモリセルアレイ３３に対するそれぞれの入力をデコードする。ＶＭＭアレイ３２への入力は、消去ゲート及びワード線ゲートデコーダ３４から、又は制御ゲートデコーダ３５から行うことができる。この例におけるソース線デコーダ３７はまた、不揮発性メモリセルアレイ３３の出力をデコードする。あるいは、ビット線デコーダ３６が、不揮発性メモリセルアレイ３３の出力をデコードすることができる。
不揮発性メモリセルアレイ３３は、２つの目的を果たす。第１に、ＶＭＭアレイ３２によって使用される重みを格納する。第２に、不揮発性メモリセルアレイ３３は、不揮発性メモリセルアレイ３３に格納された重みによって、入力を有効に乗算して、それらを出力線（ソース線又はビット線）ごとに加算して、出力を生成し、この出力は次の層への入力又は最後の層への入力になる。不揮発性メモリセルアレイ３３が乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性はなくなり、また、メモリ内の計算により電力効率も良い。
不揮発性メモリセルアレイ３３の出力は、不揮発性メモリセルアレイ３３の出力を合計してその畳み込み用の単一の値を作成する、差動加算器（加算オペアンプ又は加算カレントミラーなど）３８に供給される。差動加算器３８は、正の重み及び負の重みの総和を実行するように配置される。
差動加算器３８の合計された出力値は、次に出力を整流する活性化関数回路３９に供給される。活性化関数回路３９は、シグモイド、ｔａｎｈ、又はＲｅＬＵ関数を提供し得る。活性化関数回路３９の整流された出力値は、次の層（例えば図８のＣ１）の特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、不揮発性メモリセルアレイ３３は、複数のシナプスを構成し（ニューロンの前の層から、又は画像データベースなどの入力層から、入力を受信する）、加算器３８及び活性化関数回路３９は、複数のニューロンを構成する。
図９のＶＭＭアレイ３２への入力（ＷＬｘ、ＥＧｘ、ＣＧｘ、及び任意選択的にＢＬｘ及びＳＬｘ）は、アナログレベル、バイナリレベル、デジタルパルス（この場合、パルス－アナログ変換器ＰＡＣは、パルスを適切な入力アナログレベルに変換するのに必要とされ得る）又はデジタルビット（この場合、ＤＡＣは、デジタルビットを適切な入力アナログレベルに変換するのに提供される）であり得、出力は、アナログレベル、バイナリレベル、デジタルパルス、又はデジタルビットであり得る（この場合、出力ＡＤＣは出力アナログレベルをデジタルビットに変換するのに提供される）。
図１０は、図中でＶＭＭアレイ３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅとして標示されたＶＭＭアレイ３２の多数の層の使用を示すブロック図である。図１０に示されるように、入力（Ｉｎｐｕｔｘで示される）は、デジタル－アナログ変換器３１によってデジタルからアナログに変換され、入力ＶＭＭアレイ３２ａに提供される。変換されたアナログ入力は、電圧又は電流であり得る。第１の層の入力Ｄ／Ａ変換は、入力ＶＭＭアレイ３２ａの行列乗算器の適切なアナログレベルに入力Ｉｎｐｕｔｘをマッピングする関数又はＬＵＴ（ルックアップテーブル）を使用することによって行うことができる。入力変換はまた、外部アナログ入力を入力ＶＭＭアレイ３２ａへのマッピングされたアナログ入力に変換するために、アナログ－アナログ（Ａ／Ａ）変換器によって行うこともできる。入力変換はまた、外部デジタル入力を入力ＶＭＭアレイ３２ａへのマッピングされたデジタルパルス（単数又は複数）に変換するために、デジタル－デジタルパルス（Ｄ／Ｐ）変換器によって行うこともできる。
入力ＶＭＭアレイ３２ａによって生成された出力は、次に、次のＶＭＭアレイ（隠しレベル１）３２ｂへの入力として提供され、次に入力ＶＭＭアレイ（隠しレベル２）３２ｃへの入力として提供される出力を生成する、などとなる。ＶＭＭアレイ３２の様々な層は、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）のシナプス及びニューロンの各層として機能する。ＶＭＭアレイ３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅはそれぞれスタンドアローンの物理的不揮発性メモリアレイとすることができ、又は複数のＶＭＭアレイは、同じ物理的不揮発性メモリアレイの異なる部分を利用することができ、又は複数のＶＭＭアレイは、同じ物理的不揮発性メモリアレイの重なり合う部分を利用することができる。各ＶＭＭアレイ３２ａ、３２ｂ、３２ｃ、３２ｄ、及び３２ｅはまた、そのアレイ又はニューロンの様々な部分に対して時間多重化され得る。図１０に示される例は、５つの層（３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ）、すなわち、１つの入力層（３２ａ）、２つの隠れ層（３２ｂ、３２ｃ）、及び２つの完全に接続された層（３２ｄ、３２ｅ）を含む。当業者であれば、これは単なる例示であり、代わりにシステムが２つを超える隠れ層及び２つを超える完全に接続された層を含み得ることを理解するであろう。
ベクトル行列乗算（ＶＭＭ）アレイ
図１１は、図３に示されるメモリセル３１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１１００を示す。ＶＭＭアレイ１１００は、不揮発性メモリセルのメモリアレイ１１０１と、不揮発性基準メモリセルの基準アレイ１１０２（アレイの頂部に位置する）と、を含む。あるいは、別の基準アレイが底部に位置することができる。
ＶＭＭアレイ１１００では、制御ゲート線１１０３などの制御ゲート線が垂直方向に延びており（したがって、行方向の基準アレイ１１０２が、制御ゲート線１１０３に直交する）、消去ゲート線１１０４などの消去ゲート線が水平方向に延びている。ここで、ＶＭＭアレイ１１００への入力は、制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、ＣＧ３）に提供され、ＶＭＭアレイ１１００の出力はソース線（ＳＬ０、ＳＬ１）に現れる。一実施形態では、偶数行のみが使用され、別の実施形態では、奇数行のみが使用される。各ソース線（それぞれＳＬ０、ＳＬ１）に流れる電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
ニューラルネットワークについて本明細書に記載されているように、ＶＭＭアレイ１１００の不揮発性メモリセル、すなわちＶＭＭアレイ１１００のフラッシュメモリは、サブスレッショルド領域で動作するように構成されることが好ましい。
本明細書に記載される不揮発性基準メモリセル及び不揮発性メモリセルは、以下のように弱い反転でバイアスされる：
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/kVt＝ｗ*Ｉｏ*ｅ(Vg)/kVt
式中、ｗ＝ｅ(-Vth)/kVtである。
メモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して入力電流を入力電圧に変換するＩ－Ｖログ変換器を使用した場合：
Ｖｇ＝ｋ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。
ベクトル行列乗算器ＶＭＭアレイとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/kVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/kVt
式中、メモリアレイの各メモリセルのｗａ＝ｗである。
ワード線又は制御ゲートは、入力電圧のためのメモリセルの入力として使用することができる。
あるいは、本明細書に記載されたＶＭＭアレイのフラッシュメモリセルは、線形領域で動作するように構成することができる。
Ｉｄｓ＝β*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ；β＝ｕ*Ｃｏｘ*Ｗ／Ｌ
Ｗ＝α（Ｖｇｓ－Ｖｔｈ）
ワード線又は制御ゲート又はビット線又はソース線は、線形領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、メモリセルの出力として使用することができる。
Ｉ－Ｖ線形変換器用に、線形領域で動作するメモリセル（基準メモリセル又は周辺メモリセルなど）若しくはトランジスタ、又は抵抗器を使用して、入出力電流を入出力電圧に線形変換することができる。
図９のＶＭＭアレイ３２のための他の実施形態は、参照により本明細書に組み込まれる米国特許出願第１５／８２６，３４５号に記載されている。上記出願に記載されているように、ソース線又はビット線は、ニューロン出力（電流和出力）として使用することができる。あるいは、本明細書に記載されたＶＭＭアレイのフラッシュメモリセルは、飽和領域で動作するように構成することができる。
Ｉｄｓ＝α１／２*β*（Ｖｇｓ－Ｖｔｈ）2；β＝ｕ*Ｃｏｘ*Ｗ／Ｌ
Ｗ＝α（Ｖｇｓ－Ｖｔｈ）2
ワード線、制御ゲート、又は消去ゲートは、飽和領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、出力ニューロンの出力として使用することができる。
あるいは、本明細書に記載されるＶＭＭアレイのフラッシュメモリセルは、全ての領域又はそれらの組み合わせ（サブスレッショルド、線形、又は飽和）で使用することができる。
図１２は、図２に示されるメモリセル２１０に特に適したニューロンＶＭＭアレイ１２００を示し、入力層と次の層との間のシナプスとして利用される。ＶＭＭアレイ１２００は、不揮発性メモリセルのメモリアレイ１２０３と、第１の不揮発性基準メモリセルの基準アレイ１２０１と、第２の不揮発性基準メモリセルの基準アレイ１２０２と、を含む。アレイの列方向に配置された基準アレイ１２０１及び１２０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力が流入する状態で、マルチプレクサ１２１４（一部のみ示す）を通してダイオード接続される。基準セルは、標的基準レベルに調整（例えば、プログラム）される。標的基準レベルは、基準ミニアレイマトリックス（図示せず）によって提供される。
メモリアレイ１２０３は、２つの目的を果たす。第１に、ＶＭＭアレイ１２００により使用される重みを、それぞれのメモリセルに格納する。第２に、メモリアレイ１２０３は、メモリセルアレイ１２０３に格納された重みによって、入力（すなわち、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、これを基準アレイ１２０１及び１２０２が入力電圧に変換して、ワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に供給する）を有効に乗算して、次いで、全ての結果（メモリセル電流）を加算して、それぞれのビット線（ＢＬ０～ＢＬＮ）の出力を生成し、この出力は次の層への入力又は最後の層への入力となる。メモリアレイ１２０３が乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性はなくなり、また、電力効率も良い。ここで、電圧入力はワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に提供され、出力は、読み出し（推論）動作中にビット線ＢＬ０～ＢＬＮそれぞれに現れる。各々のビット線ＢＬ０～ＢＬＮに流れる電流は、その特定のビット線に接続された全ての不揮発性メモリセルからの電流の合計関数を実行する。
表５は、ＶＭＭアレイ１２００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線にかけられた電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表５：図１２のＶＭＭアレイ１２００の動作
Figure 0007346579000005
図１３は、図２に示されるメモリセル２１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１３００を示す。ＶＭＭアレイ１３００は、不揮発性メモリセルのメモリアレイ１３０３と、第１の不揮発性基準メモリセルの基準アレイ１３０１と、第２の不揮発性基準メモリセルの基準アレイ１３０２と、を含む。基準アレイ１３０１及び１３０２は、ＶＭＭアレイ１３００の行方向に延びる。ＶＭＭアレイは、ＶＭＭアレイ１３００においてワード線が垂直方向に延びることを除いて、ＶＭＭ１０００と同様である。ここで、入力はワード線（ＷＬＡ０、ＷＬＢ０、ＷＬＡ１、ＷＬＢ２、ＷＬＡ２、ＷＬＢ２、ＷＬＡ３、ＷＬＢ３）に提供され、出力は、読み出し動作中にソース線（ＳＬ０、ＳＬ１）に現れる。各ソース線に流れる電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
表６は、ＶＭＭアレイ１３００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線にかけられた電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表６：図１３のＶＭＭアレイ１３００の動作
Figure 0007346579000006
図１４は、図３に示されるメモリセル３１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１４００を示す。ＶＭＭアレイ１４００は、不揮発性メモリセルのメモリアレイ１４０３と、第１の不揮発性基準メモリセルの基準アレイ１４０１と、第２の不揮発性基準メモリセルの基準アレイ１４０２と、を含む。基準アレイ１４０１及び１４０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力がＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３を通って流入する状態で、マルチプレクサ１４１２（一部のみ示す）を通してダイオード接続される。マルチプレクサ１４１２は、読み出し動作中に第１及び第２の不揮発性基準メモリセルの各々のビット線（ＢＬＲ０など）の一定電圧を確実にするために、それぞれのマルチプレクサ１４０５及びカスコーディングトランジスタ１４０４を各々含む。基準セルは、標的基準レベルに調整される。
メモリアレイ１４０３は、２つの目的を果たす。第１に、ＶＭＭアレイ１４００によって使用される重みを格納する。第２に、メモリアレイ１４０３は、メモリセルアレイに格納された重みによって、入力（端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、基準アレイ１４０１及び１４０２がこれらの電流入力を入力電圧に変換して、制御ゲート（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３に供給する）を有効に乗算して、次いで、全ての結果（セル電流）を加算して出力を生成し、この出力はＢＬ０～ＢＬＮに出現し、次の層への入力又は最後の層への入力となる。メモリアレイが乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性がなくなり、また、電力効率も良い。ここで、入力は制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に提供され、出力は、読み出し動作中にビット線（ＢＬ０～ＢＬＮ）に現れる。各ビット線に流れる電流は、その特定のビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
ＶＭＭアレイ１４００は、メモリアレイ１４０３内の不揮発性メモリセルの一方向調整を実施する。すなわち、各不揮発性メモリセルは消去され、次いで、浮遊ゲートの所望の電荷に達するまで部分的にプログラムされる。これは、例えば、以下に記載される精密プログラミング技術を使用して実行することができる。過度に多くの電荷が浮遊ゲートにかけられる場合（誤った値がセルに格納されるなど）、セルは消去されなければならず、一連の部分的なプログラミング動作をやり直さなければならない。示されるように、同じ消去ゲート（ＥＧ０又はＥＧ１など）を共有する２つの行は、一緒に消去される必要があり（ページ消去として知られる）、その後、各セルは、浮遊ゲートの所望の電荷に達するまで部分的にプログラムされる。
表７は、ＶＭＭアレイ１４００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線にかけられた電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表７：図１４のＶＭＭアレイ１４００の動作
Figure 0007346579000007
図１５は、図３に示されるメモリセル３１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１５００を示す。ＶＭＭアレイ１５００は、不揮発性メモリセルのメモリアレイ１５０３と、基準アレイ１５０１又は第１の不揮発性基準メモリセルと、第２の不揮発性基準メモリセルの基準アレイ１５０２とを含む。ＥＧ線ＥＧＲ０、ＥＧ０、ＥＧ１、及びＥＧＲ１は垂直に延び、ＣＧ線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３並びにＳＬ線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３は水平に延びる。ＶＭＭアレイ１５００は、ＶＭＭアレイ１５００が双方向調整を実装することを除いてＶＭＭアレイ１４００と同様であり、個々のセルはそれぞれ、個別のＥＧ線の使用により、浮遊ゲートの所望の電荷量に達するために、完全に消去され、部分的にプログラムされ、必要に応じて部分的に消去することができる。示されるように、基準アレイ１５０１及び１５０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２及びＢＬＲ３内の入力電流を制御ゲート電圧ＣＧ０、ＣＧ１、ＣＧ２及びＣＧ３に変換し（マルチプレクサ１５１４を介したダイオード接続された基準セルの作用を通じて）、これらの電圧は行方向でメモリセルに印加される。電流出力（ニューロン）は、ビット線ＢＬ０～ＢＬＮ中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。
表８は、ＶＭＭアレイ１５００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線にかけられた電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表８：図１５のＶＭＭアレイ１５００の動作
Figure 0007346579000008
図２４は、図２に示されるメモリセル２１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２４００を示す。ＶＭＭアレイ２４００では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴNは、ビット線ＢＬ0、．．．ＢＬNにそれぞれ受信され、出力ＯＵＴＰＵＴ1、ＯＵＴＰＵＴ2、ＯＵＴＰＵＴ3、及びＯＵＴＰＵＴ4は、ソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3にそれぞれ生成される。
図２５は、図２に示されるメモリセル２１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２５００を示す。この例では、入力ＩＮＰＵＴ0、ＩＮＰＵＴ1、ＩＮＰＵＴ2、及びＩＮＰＵＴ3は、ソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3にそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNに生成される。
図２６は、図２に示されるメモリセル２１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２６００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬM、にそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNに生成される。
図２７は、図３に示されるメモリセル３１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２７００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬM、にそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNに生成される。
図２８は、図４に示されるメモリセル４１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２８００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴnは、ビット線ＢＬ0、．．．、ＢＬNにそれぞれ受信され、出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2は、消去ゲート線ＥＧ0及びＥＧ1に生成される。
図２９は、図４に示されるメモリセル４１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２９００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNにそれぞれ結合されるビット線制御ゲート２９０１－１、２９０１－２、．．．、２９０１－（Ｎ－１）及び２９０１－Ｎのゲートにそれぞれ受信される。例示的な出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2は、消去ゲート線ＳＬ0及びＳＬ1に生成される。
図３０は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ３０００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMに受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNにそれぞれ生成される。
図３１は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ３１００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、制御ゲート線ＣＧ0、．．．、ＣＧMに受信される。出力ＯＵＴＰＵ0、．．．、ＯＵＴＰＵＴNは、ソース線ＳＬ0、．．．、ＳＬNにそれぞれ生成され、各ソース線ＳＬiは、列ｉ内の全てのメモリセルのソース線端子に結合される。
図３２は、ＶＭＭシステム３２００を示す。ＶＭＭシステム３２００は、ＶＭＭアレイ３２０１（ＶＭＭ９００、１０００、１１００、１２００、及び１３２０など、前述したＶＭＭ設計のいずれか、又は他のＶＭＭ設計に基づくことができる）、低電圧行デコーダ３２０２、高電圧行デコーダ３２０３、参照セル低電圧列デコーダ３２０４（列方向に示されており、これは行方向の変換を出力するために入力を提供することを意味する）、ビット線マルチプレクサ３２０５、制御論理３２０６、アナログ回路３２０７、ニューロン出力ブロック３２０８、入力ＶＭＭ回路ブロック３２０９、プリデコーダ３２１０、試験回路３２１１、消去プログラム制御ロジックＥＰＣＴＬ３２１２、アナログ及び高電圧生成回路３２１３、ビット線ＰＥドライバ３２１４、冗長アレイ３２１５及び３２１６、ＮＶＲセクタ３２１７、並びに参照セクタ３２１８を含む。入力回路ブロック３２０９は、外部入力からメモリアレイの入力端子へのインターフェースとして機能する。ニューロン出力ブロック３２０８は、メモリアレイ出力から外部インターフェースへのインターフェースとして機能する。
低電圧行デコーダ３２０２は、読み出し動作及びプログラム動作のためのバイアス電圧を提供し、高電圧行デコーダ３２０３にデコード信号を提供する。高電圧行デコーダ３２０３は、プログラム動作及び消去動作のための高電圧バイアス信号を提供する。参照セル低電圧列デコーダ３２０４は、参照セルのデコード機能を提供する。ビット線ＰＥドライバ３２１４は、プログラム、検証、及び消去動作中のビット線の制御機能を提供する。アナログ及び高電圧生成回路３２１３は、様々なプログラム、消去、プログラム検証、及び読み出し動作に必要な複数の電圧を提供する共有バイアスブロックである。冗長アレイ３２１５及び３２１６は、欠陥のあるアレイ部分を置き換えるためのアレイ冗長性を提供する。ＮＶＲ（不揮発性レジスタ別名情報セクタ）セクタ３２１７は、ユーザ情報、デバイスＩＤ、パスワード、セキュリティキー、トリムビット、構成ビット、製造情報を制限なく格納するために使用されるアレイセクタであるセクタである。
図３３は、アナログニューロメモリシステム３３００を示す。アナログニューロメモリシステム３３００は、マクロブロック３３０１ａ、３３０１ｂ、３３０１ｃ、３３０１ｄ、３３０１ｅ、３３０１ｆ、３３０１ｇ、及び３３０１ｈと、ニューロン出力（加算器回路及びサンプルアンドホールドＳ／Ｈ回路など）ブロック３３０２ａ、３３０２ｂ、３３０２ｃ、３３０２ｄ、３３０２ｅ、３３０２ｆ、３３０２ｇ、及び３３０２ｈと、入力回路ブロック３３０３ａ、３３０３ｂ、３３０３ｃ、３３０３ｄ、３３０３ｅ、３３０３ｆ、３３０３ｇ、及び３３０４ｈと、を含む。マクロブロック３３０１ａ、３３０１ｂ、３３０１ｃ、３３０１ｄ、３３０１ｅ、及び３３０１ｆのそれぞれは、フラッシュメモリセルなどの不揮発性メモリセルの行及び列を含むＶＭＭアレイを含むＶＭＭサブシステムである。ニューロメモリサブシステム３３３３は、マクロブロック３３０１、入力ブロック３３０３、及びニューロン出力ブロック３３０２を含む。ニューロメモリサブシステム３３３３は、それ自体のデジタル制御ブロックを有してもよい。
アナログニューロメモリシステム３３００は、図３６に関して以下で更に詳細に論じられるシステム制御ブロック３３０４、アナログ低電圧ブロック３３０５、高電圧ブロック３３０６、及びタイミング制御回路３６７０を更に備える。
システム制御ブロック３３０４は、一般的な制御機能及び演算動作を処理するためのＡＲＭ／ＭＩＰＳ／ＲＩＳＣ＿Ｖコアなどの１つ以上のマイクロコントローラコアを含んでもよい。システム制御ブロック３３０４はまた、単一の命令を用いて複数のデータで動作するＳＩＭＤ（単一命令多重データ）ユニットを含んでもよい。システム制御ブロック３３０４は、ＤＳＰコアを含んでもよい。システム制御ブロック３３０４は、限定することなく、プール、平均、最小、最大、ソフトマックス、加算、減算、乗算、除算、ログ、アンチログ、ＲｅＬｕ、シグモイド、ｔａｎｈなどの関数、及びデータ圧縮を実行するためのハードウェア又はソフトウェアを含んでもよい。システム制御ブロック３３０４は、活性化の近似器／量子化器／正規化器などの機能を実行するハードウェア又はソフトウェアを含んでもよい。システム制御ブロック３３０４は、入力データの近似器／量子化器／正規化器などの機能を実行する能力を含み得る。システム制御ブロック３３０４は、活性化の近似器／量子化器／正規化器の機能を実行するハードウェア又はソフトウェアを含み得る。ニューロメモリサブシステム３３３３の制御ブロックは、マイクロコントローラコア、ＳＩＭＤコア、ＤＳＰコア、及び他の機能ユニットなどのシステム制御ブロック３３０４の同様の要素を含んでもよい。
一実施形態では、ニューロン出力ブロック３３０２ａ、３３０２ｂ、３３０２ｃ、３３０２ｄ、３３０２ｅ、３３０２ｆ、３３０２ｇ、及び３３０２ｈはそれぞれ、構成可能な長い相互接続を推進できる低インピーダンス出力型バッファ（例えば、オペアンプ）回路を含む。一実施形態では、入力回路ブロック３３０３ａ、３３０３ｂ、３３０３ｃ、３３０３ｄ、３３０３ｅ、３３０３ｆ、３３０３ｇ、及び３３０３ｈはそれぞれ、加算の高インピーダンス電流出力を提供する。別の実施形態では、ニューロン出力ブロック３３０２ａ、３３０２ｂ、３３０２ｃ、３３０２ｄ、３３０２ｅ、３３０２ｆ、３３０２ｇ、及び３３０２ｈはそれぞれ活性化回路を含み、この場合、出力を推進するために追加の低インピーダンスバッファが必要とされる。
一実施形態では、ニューロン出力ブロック３３０２ａ、３３０２ｂ、３３０２ｃ、３３０２ｄ、３３０２ｅ、３３０２ｆ、３３０２ｇ、及び３３０２ｈはそれぞれ、アナログ信号の代わりにデジタルビットを出力するアナログ－デジタル変換ブロックを含む。この実施形態では、入力回路ブロックク３３０３ａ、３３０３ｂ、３３０３ｃ、３３０３ｄ、３３０３ｅ、３３０３ｆ、３３０３ｇ、及び３３０３ｈは各々、それぞれのニューロン出力ブロックからデジタルビットを受信してデジタルビットをアナログ信号に変換するデジタル－アナログ変換ブロックを含む。
したがって、ニューロン出力ブロック３３０２ａ、３３０２ｂ、３３０２ｃ、３３０２ｄ、３３０２ｅ、３３０２ｆ、３３０２ｇ、及び３３０２ｈは、マクロブロック３３０１ａ、３３０１ｂ、３３０１ｃ、３３０１ｄ、３３０１ｅ、及び３３０１ｆからの出力電流を受信し、任意選択的に、その出力電流をアナログ電圧、デジタルビット、又は各パルスの幅若しくはパルスの数が出力電流の値に応じて変化する１つ以上のデジタルパルスに変換する。同様に、入力回路ブロック３３０３ａ、３３０３ｂ、３３０３ｃ、３３０３ｄ、３３０３ｅ、３３０３ｆ、３３０３ｇ、及び３３０３ｈは、任意選択的に、アナログ電流、アナログ電圧、デジタルビット、又は各パルスの幅若しくはパルスの数が出力電流の値に応じて変化するデジタルパルスを受信し、マクロブロック３３０１ａ、３３０１ｂ、３３０１ｃ、３３０１ｄ、３３０１ｅ、及び３３０１ｆにアナログ電流を提供する。入力回路ブロック３３０３ａ、３３０３ｂ、３３０３ｃ、３３０３ｄ、３３０３ｅ、３３０３ｆ、３３０３ｇ、及び３３０３ｈは、任意選択的に、電圧－電流変換器、入力信号におけるデジタルパルスの数若しくは入力信号におけるデジタルパルスの幅の長さを計数するアナログ若しくはデジタルカウンタ、又はデジタル－アナログ変換器を含む。
長・短期メモリ
先行技術は、長・短期メモリ（long short-term memory、ＬＳＴＭ）として知られる概念を含む。ＬＳＴＭユニットは、しばしば、ニューラルネットワーク内で使用される。ＬＳＴＭによって、ニューラルネットワークは所定の任意の期間にわたって情報を記憶し、後続の動作においてその情報を使用することができる。従来のＬＳＴＭユニットは、セル、入力ゲート、出力ゲート、及び忘却ゲートを含む。３つのゲートは、セル内及びセル外への情報の流れ、及び情報がＬＳＴＭ内で記憶される期間を調整する。ＶＭＭは、ＬＳＴＭユニットにおいて特に有用である。
図１６は、例示的なＬＳＴＭ１６００を示す。この例におけるＬＳＴＭ１６００は、セル１６０１、１６０２、１６０３、及び１６０４を含む。セル１６０１は、入力ベクトルｘ0を受け取り、出力ベクトルｈ0及びセル状態ベクトルｃ0を生成する。セル１６０２は、入力ベクトルｘ1と、セル１６０１からの出力ベクトル（隠れ状態）ｈ0と、セル１６０１からのセル状態ｃ0とを受け取り、出力ベクトルｈ1とセル状態ベクトルｃ1とを生成する。セル１６０３は、入力ベクトルｘ2と、セル１６０２からの出力ベクトル（隠れ状態）ｈ1と、セル１６０２からのセル状態ｃ1とを受け取り、出力ベクトルｈ2とセル状態ベクトルｃ2とを生成する。セル１６０４は、入力ベクトルｘ3と、セル１６０３からの出力ベクトル（隠れ状態）ｈ2と、セル１６０３からのセル状態ｃ2とを受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＬＳＴＭは、単なる例である。
図１７は、図１６のセル１６０１、１６０２、１６０３及び１６０４に使用可能なＬＳＴＭセル１７００の例示的な実装を示す。ＬＳＴＭセル１７００は、入力ベクトルｘ（ｔ）と、先行するセルからのセル状態ベクトルｃ（ｔ－１）と、先行するセルからの出力ベクトルｈ（ｔ－１）とを受け取り、セル状態ベクトルｃ（ｔ）及び出力ベクトルｈ（ｔ）を生成する。
ＬＳＴＭセル１７００は、シグモイド関数デバイス１７０１、１７０２、及び１７０３を含み、各々が０～１の数を適用することで、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。ＬＳＴＭセル１７００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス１７０４及び１７０５と、２つのベクトルを乗算するための乗算器デバイス１７０６、１７０７、及び１７０８と、２つのベクトルを加算するための加算器デバイス１７０９と、を含む。出力ベクトルｈ（ｔ）は、システム内の次のＬＳＴＭセルに提供することができ、又は他の目的でアクセスすることができる。
図１８は、ＬＳＴＭセル１７００の一実装例であるＬＳＴＭセル１８００を示す。読者の便宜のために、ＬＳＴＭセル１７００からの同じ採番方法が、ＬＳＴＭセル１８００で使用される。シグモイド関数デバイス１７０１、１７０２、及び１７０３、並びにｔａｎｈデバイス１７０４は各々、複数のＶＭＭアレイ１８０１及び活性化回路ブロック１８０２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＬＳＴＭセルにおいて特に有用であることが理解できる。乗算器デバイス１７０６、１７０７、及び１７０８、並びに加算器デバイス１７０９は、デジタル方式又はアナログ方式で実装される。活性化関数ブロック１８０２は、デジタル方式、又はアナログ方式で実装され得る。
ＬＳＴＭセル１８００の代替例（及びＬＳＴＭセル１７００の実装の別の例）を図１９に示す。図１９では、シグモイド関数デバイス１７０１、１７０２及び１７０３、並びにｔａｎｈデバイス１７０４は、同じ物理ハードウェア（ＶＭＭアレイ１９０１及び活性化関数ブロック１９０２）を、時分割多重化された方式で共有する。ＬＳＴＭセル１９００はまた、２つのベクトルを乗算するための乗算器デバイス１９０３と、２つのベクトルを加算するための加算器デバイス１９０８と、（活性化回路ブロック１９０２を含む）ｔａｎｈデバイス１７０５と、シグモイド関数ブロック１９０２から出力される値ｉ（ｔ）を格納するレジスタ１９０７と、マルチプレクサ１９１０を介して乗算器デバイス１９０３から出力される値ｆ（ｔ）*ｃ（ｔ－１）を格納するレジスタ１９０４と、マルチプレクサ１９１０を介して乗算器デバイス１９０３から出力される値ｉ（ｔ）*ｕ（ｔ）を格納するレジスタ１９０５と、マルチプレクサ１９１０を介して乗算器デバイス１９０３から出力される値ｏ（ｔ）*ｃ～（ｔ）を格納する、レジスタ１９０６と、マルチプレクサ１９０９と、を含む。
ＬＳＴＭセル１８００が複数のＶＭＭアレイ１８０１とそれぞれの活性化関数ブロック１８０２のセットを複数含むのに対し、ＬＳＴＭセル１９００は、ＬＳＴＭセル１９００の実施形態において複数の層を表すために使用されるＶＭＭアレイ１９０１と活性化関数ブロック１９０２のセットを１つのみ含む。ＬＳＴＭセル１９００は、ＬＳＴＭセル１８００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／４で済むので、ＬＳＴＭ１８００よりも必要とするスペースが少ない。
ＬＳＴＭユニットは典型的には複数のＶＭＭアレイを含み、これらは各々、加算器及び活性化回路ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることが更に理解できる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。
ゲート付き回帰型ユニット
アナログＶＭＭ実装は、ゲート付き回帰型ユニット（gated recurrent unit、ＧＲＵ）システムに利用することができる。ＧＲＵは、反復ニューラルネットワーク内のゲート機構である。ＧＲＵは、ＧＲＵセルが一般にＬＳＴＭセルよりも少ない構成要素を含むことを除いて、ＬＳＴＭに類似している。
図２０は、例示的なＧＲＵ２０００を示す。この例におけるＧＲＵ２０００は、セル２００１、２００２、２００３及び２００４を含む。セル２００１は入力ベクトルｘ0を受け取り、出力ベクトルｈ0を生成する。セル２００２は、入力ベクトルｘ1と、セル２００１からの出力ベクトルｈ0とを受け取り、出力ベクトルｈ1を生成する。セル２００３は、入力ベクトルｘ2と、セル２００２からの出力ベクトル（隠れ状態）ｈ1とを受け取り、出力ベクトルｈ2を生成する。セル２００４は、入力ベクトルｘ3と、セル２００３からの出力ベクトル（隠れ状態）ｈ2とを受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＧＲＵは、単なる例である。
図２１は、図２０のセル２００１、２００２、２００３及び２００４に使用可能なＧＲＵセル２１００の例示的な実装を示す。ＧＲＵセル２１００は、入力ベクトルｘ（ｔ）と、先行するＧＲＵセルからの出力ベクトルｈ（ｔ－１）とを受け取り、出力ベクトルｈ（ｔ）を生成する。ＧＲＵセル２１００は、シグモイド関数デバイス２１０１及び２１０２を含み、各々が、出力ベクトルｈ（ｔ－１）及び入力ベクトルｘ（ｔ）からの成分に０～１の数を適用する。ＧＲＵセル２１００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス２１０３と、２つのベクトルを乗算するための乗算器デバイス２１０４、２１０５及び２１０６と、２つのベクトルを加算するための加算器デバイス２１０７と、１から入力を減算して出力を生成するコンプリメンタリデバイス２１０８とを含む。
図２２は、ＧＲＵセル２１００の一実装例であるＧＲＵセル２２００を示す。読者の便宜のために、ＧＲＵセル２１００からの同じ採番方法が、ＧＲＵセル２２００で使用される。図２２から分かるように、シグモイド関数デバイス２１０１及び２１０２、並びにｔａｎｈデバイス２１０３は各々、複数のＶＭＭアレイ２２０１及び活性化関数ブロック２２０２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＧＲＵセルにおいて特に使用されることが理解できる。乗算器デバイス２１０４、２１０５、２１０６、加算器デバイス２１０７、及びコンプリメンタリデバイス２１０８は、デジタル方式又はアナログ方式で実装される。活性化関数ブロック２２０２は、デジタル方式、又はアナログ方式で実装され得る。
ＧＲＵセル２２００の代替例（及びＧＲＵセル２３００の実装の別の例）を図２３に示す。図２３において、ＧＲＵセル２３００は、ＶＭＭアレイ２３０１及び活性化関数ブロック２３０２を使用しており、シグモイド関数として構成された場合には、０～１の数を適用することで、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。図２３では、シグモイド関数デバイス２１０１及び２１０２、並びにｔａｎｈデバイス２１０３は、同じ物理ハードウェア（ＶＭＭアレイ２３０１及び活性化関数ブロック２３０２）を、時分割多重化された方式で共有する。ＧＲＵセル２３００はまた、２つのベクトルを乗算するための乗算器デバイス２３０３と、２つのベクトルを加算するための加算器デバイス２３０５と、１から入力を減算して出力を生成するためのコンプリメンタリデバイス２３０９と、マルチプレクサ２３０４と、マルチプレクサ２３０４を介して乗算器デバイス２３０３から出力される値ｈ（ｔ－１）*ｒ（ｔ）を保持するレジスタ２３０６と、マルチプレクサ２３０４を介して乗算器デバイス２３０３から出力される値ｈ（ｔ－１）*ｚ（ｔ）を保持するレジスタ２３０７と、マルチプレクサ２３０４を介して乗算器デバイス２３０３から出力される値ｈ＾（ｔ）*（１－ｚ（（ｔ））を保持するレジスタ２３０８と、を含む。
ＧＲＵセル２２００がＶＭＭアレイ２２０１と活性化関数ブロック２２０２のセットを複数含むのに対し、ＧＲＵセル２３００は、ＧＲＵセル２３００の実施形態において複数の層を表すために使用されるＶＭＭアレイ２３０１と活性化関数ブロック２３０２のセット１つのみを含む。ＧＲＵセル２３００は、ＧＲＵセル２２００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／３で済むので、ＧＲＵセル２２００よりも必要とするスペースが少ない。
ＧＲＵシステムは典型的には複数のＶＭＭアレイを含み、これらは各々、加算器及び活性化回路ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることが更に理解できる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。
ＶＭＭアレイへの入力は、アナログレベル、バイナリレベル、又はデジタルビット（この場合、デジタルビットを適切な入力アナログレベルに変換するためにＤＡＣが必要とされる）であり、出力はアナログレベル、バイナリレベル、又はデジタルビット（この場合、出力アナログレベルをデジタルビットに変換するために出力ＡＤＣが必要とされる）であり得る。
ＶＭＭアレイ内の各メモリセルに関して、各重みｗは、単一のメモリセルによって、又は差分セルによって、又は２つのブレンドメモリセル（２つのセルの平均）によって実装することができる。差分セルの場合では、重みｗを差分重み（ｗ＝ｗ＋－ｗ－）として実装するために、２つのメモリセルが必要とされる。２つのブレンドメモリセルの場合は、２つのセルの平均として重みｗを実装するために２つのメモリセルが必要とされる。
出力回路
図３４Ａは、出力ニューロン、ＩNEU３４０６に適用されて、出力ニューロン電流をデジタルパルス又はデジタル出力ビットに変換する積分デュアル混合スロープ（integrating dual-mixed slope）アナログ－デジタル変換器（ＡＤＣ）３４００を示す。
一実施形態では、ＡＤＣ３４００は、ニューロン出力ブロック（図３２のニューロン出力ブロック３３０２ａ、３３０２ｂ、３３０２ｃ、３３０２ｄ、３３０２ｅ、３３０２ｆ、３３０２ｇ、及び３３０２ｈなど）内のアナログ出力電流をデジタルパルスに変換し、その幅は、ニューロン出力ブロック内のアナログ出力電流の大きさに比例して変化する。積分オペアンプ３４０１及び積分コンデンサ３４０２を含む積分器は、基準電流ＩＲＥＦ３４０７に対して、メモリアレイ電流ＩNEU３４０６（出力ニューロン電流である）を積分する。
任意選択的に、ＩＲＥＦ３４０７は、０の温度係数、又はニューロン電流ＩNEU３４０６を追跡する温度係数を有するバンドギャップフィルタ含むことができる。後者は、必要に応じて、試験フェーズ中に決定された値を含む基準アレイから得ることができる。
任意選択的に、回路が動作温度以上である間に較正ステップを実行して、アレイ又は制御回路内に存在する任意の漏れ電流をオフセットすることができ、その後はオフセット値を図３４Ｂ又は図３５ＢのＩｎｅｕから差し引くことができる。
初期化フェーズの間、スイッチ３４０８は閉じられる。次いで、ＶＯＵＴ３４０３及び演算増幅器３４０１の負端子への入力は、ＶＲＥＦになる。その後、図３４Ｂに示すように、スイッチ３３４０８は開かれ、一定時間ｔｒｅｆの間、ニューロン電流ＩNEU３４０６は、上積分（up-integrated）される。一定時間ｔｒｅｆの間、Ｖｏｕｔは上昇し、ニューロン電流が変化するにつれてその傾きは変化する。その後、期間ｔｍｅａｓの間、一定基準電流ＩＲＥＦは、時間ｔｍｅａｓ（Ｖｏｕｔが降下する期間）に、下積分（down integrated）され、ｔｍｅａｓは、ＶｏｕｔをＶＲＥＦまで下積分するために必要とされる時間である。
出力ＥＣ３４０５は、ＶＯＵＴ＞ＶＲＥＦＶのときに高くなり、そうでなければ低くなる。したがって、ＥＣ３４０５は、幅が期間ｔｍｅａｓを反映するパルスを生成し、ｔｍｅａｓは次に、電流ＩNEU３４０６に比例する。図３４Ｂでは、ｔｍｅａｓ＝Ｉｎｅｕ１である例の波形３４１０、及びｔｍｅａｓ＝Ｉｎｅｕ２である例の波形３４１２として、ＥＣ３４０５が示されている。したがって、出力ニューロン電流ＩNEU３４０６は、デジタルパルスＥＣ３４０５に変換され、デジタルパルスＥＣ３４０５の幅は、出力ニューロン電流ＩNEU３４０６の大きさに比例して変化する。
電流ＩNEU３４０６は、＝ｔｍｅａｓ／ｔｒｅｆ*ＩＲＥＦである。例えば、１０ビットの所望の出力ビット分解の場合、ｔｒｅｆは、１０２４クロックサイクルに等しい時間である。期間ｔｍｅａｓは、ＩNEU３４０６の値及びＩｒｅｆの値に応じて０クロックサイクルに等しい期間から１０２４クロックサイクルまで変化する。図３４Ｂは、ＩNEU３４０６＝Ｉｎｅｕ１であるもの、及びＩNEU３４０６＝Ｉｎｅｕ２を有するものといった、ＩNEU３４０６の２つの異なる値の例を示す。したがって、ニューロン電流ＩNEU３４０６は、充電の速度及び傾きに影響を及ぼす。
任意選択的に、出力パルスＥＣ３４０５は、別のＶＭＭアレイの入力ブロックなどの、次の回路の段階への送信のために、均一な期間の一連のパルスに変換することができる。期間ｔｍｅａｓの開始時に、出力ＥＣ３４０５は、基準クロック３４４１を用いてＡＮＤゲート３４４０に入力される。出力は、ＶＯＵＴ＞ＶＲＥＦの期間中、パルス系列３４４２（パルス系列３４４２のパルスの周波数はクロック３４４１の周波数と同じである）になる。パルスの数は、期間ｔｍｅａｓに比例し、期間ｔｍｅａｓは、電流ＩNEU３４０６に比例する。
任意選択的に、パルス系列３４４３を、カウンタ３４２０に入力することができ、カウンタ３４２０は、パルス系列３４４２のパルスの数をカウントし、ニューロン電流ＩNEU３４０６に正比例するパルス系列３４４２におけるパルスの数のデジタルカウントであるカウント値３４２１を生成する。カウント値３４２１は、デジタルビットのセットを含む。別の実施形態では、積分デュアルスロープＡＤＣ３４００は、ニューロン電流ＩNEU３４０７をパルスに変換することができ、パルスの幅は、ニューロン電流ＩNEU ３４０７の大きさに反比例している。この反転は、デジタル又はアナログ方式で行うことができ、後続の回路へ出力するための一連のパルス又はデジタルビットに変換することができる。
図３５Ａは、出力ニューロン、ＩNEU３５０４に適用されて、セル電流を変動する幅のデジタルパルス又は一連のデジタル出力ビットへと変換する積分デュアル混合スロープＡＤＣ３５００を示す。例えば、ＡＤＣ３５００を使用して、ニューロン出力ブロック（図３２のニューロン出力ブロック（３３０２ａ、３３０２ｂ、３３０２ｃ、３３０２ｄ、３３０２ｅ、３３０２ｆ、３３０２ｇ、及び３３０２ｈなど）内のアナログ出力電流をデジタル出力ビットのセットに変換することができる。積分オペアンプ３５０１及び積分コンデンサ３５０２を含む積分器は、基準電流ＩＲＥＦ３５０３に対してニューロン電流ＩNEU３５０４を積分する。スイッチ３５０５を閉じて、ＶＯＵＴをリセットすることができる。
初期化フェーズ中に、スイッチ３５０５は閉じられ、ＶＯＵＴが電圧ＶBIASに充電される。
その後、図３５Ｂに示すように、スイッチ３５０５は開かれ、一定時間ｔｒｅｆの間、セル電流ＩNEU３５０４は、上積分される。その後、基準電流ＩＲＥＦ３５０３は、Ｖｏｕｔが接地に降下するまで、時間ｔｍｅａｓの間に下積分される。電流ＩNEU ３５０４＝ｔｍｅａｓ Ｉｎｅｕ／ｔｒｅｆ*ＩＲＥＦ。例えば、１０ビットの所望の出力ビット分解の場合、ｔｒｅｆは、１０２４クロックサイクルに等しい時間である。期間ｔｍｅａｓは、ＩNEU３５０４及びＩｒｅｆの値に応じて０クロックサイクルに等しい期間から１０２４クロックサイクルまで変化する。図３５Ｂは、電流Ｉｎｅｕ１を有するもの、及び電流Ｉｎｅｕ２を有するものといった、２つの異なるＩｎｅｕ値の例を示す。したがって、ニューロン電流ＩNEU３５０４は、充電及び放電の速度及び傾きに影響を及ぼす。
出力３５０６は、ＶＯＵＴ＞ＶＲＥＦのときに高くなり、そうでなければ低くなる。したがって、出力３５０６は、幅が期間ｔｍｅａｓを反映するパルスを生成し、ｔｍｅａｓは次に、電流ＩNEU３４０４に比例する。図３５Ｂでは、ｔｍｅａｓ＝Ｉｎｅｕ１である例の波形３５１２、及びｔｍｅａｓ＝Ｉｎｅｕ２である例の波形３５１５として、出力３５０６が示されている。したがって、出力ニューロン電流ＩNEU３５０４は、パルス、出力３５０６に変換され、パルスの幅は、出力ニューロン電流ＩNEU ３５０４の大きさに比例して変化する。
任意選択的に、出力３５０６は、別のＶＭＭアレイの入力ブロックなどの、次の回路の段階への送信のために、均一な期間の一連のパルスに変換することができる。期間ｔｍｅａｓの開始時に、出力３５０６は、基準クロック３５０７を用いてＡＮＤゲート３５０８に入力される。出力は、ＶＯＵＴ＞ＶＲＥＦの期間中、パルス系列３５０９（パルス系列３５０９のパルスの周波数は基準クロック３５０７の周波数と同じである）になる。パルスの数は、期間ｔｍｅａｓに比例し、期間ｔｍｅａｓは、電流ＩNEU３５０４に比例する。
任意選択的に、パルス系列３５０９を、カウンタ３５１０に入力することができ、カウンタ３５１０は、パルス系列３５０９のパルスの数をカウントし、波形３５１４、３５１７によって示されるように、ニューロン電流ＩNEU ３５０４に正比例するパルス系列３５０９におけるパルスの数のデジタルカウントであるカウント値３５１１を生成する。カウント値３５１１は、デジタルビットのセットを含む。
別の実施形態では、積分デュアルスロープＡＤＣ３５００は、ニューロン電流ＩNEU３５０４をパルスに変換することができ、パルスの幅は、ニューロン電流ＩNEU ３５０４の大きさに反比例している。この反転は、デジタル又はアナログ方式で行うことができ、後続の回路へ出力するための１つ以上のパルス又はデジタルビットに変換することができる。
図３５Ｂは、ＩNEU３５０４について、それぞれ２つのニューロン電流値Ｉｎｅｕ１及びＩｎｅｕ２のカウント値３５１１（デジタルビット）を示す。
図３６Ａ及び図３６Ｂは、動作中にＶＭＭで実行される例示的な方法３６００及び３６５０に関連する波形を示す。各方法３６００及び３６５０において、ワード線ＷＬ０、ＷＬ１、及びＷＬ２は、様々な異なる入力を受信し、これらの入力は任意選択的に、アナログ電圧波形に変換してワード線に印加することができる。これらの実施例では、電圧ＶＣは、第１のＶＭＭの出力ブロック内のＡＤＣ３４００又は３５００内の、それぞれ図３４Ａ及び図３５Ａの積分コンデンサ３４０２又は３５０２の電圧を表し、ＯＴパルス（＝「１」）は、ニューロンの出力（ニューロンの値に比例する）が積分デュアルスロープＡＤＣ３４００又は３５００を使用して捕捉される期間を表す。図３４及び図３５を参照して説明されるように、出力ブロックの出力は、第１のＶＭＭの出力ニューロン電流に比例して変化する幅のパルスであってもよく、又はパルスの数が第１のＶＭＭのニューロン電流に比例して変化する、均一な幅の一連のパルスであってもよい。次いで、これらのパルスは、第２のＶＭＭへの入力として印加され得る。
方法３６００の間、一連のパルス（パルス系列３４４２又はパルス系列３５０９など）、又は一連のパルスから導出されるアナログ電圧は、第２のＶＭＭアレイのワード線に印加される。あるいは、一連のパルス、又は一連のパルスから導出されるアナログ電圧を、第２のＶＭＭアレイ内のセルの制御ゲートに印加することができる。パルスの数（又はクロックサイクル）は、入力の大きさに直接対応する。この特定の例では、ＷＬ１の入力の大きさはＷＬ０の入力の大きさに対して４倍である（４パルス対１パルス）。
方法３６５０の間、様々な幅の単一パルス（ＥＣ３４０５又は出力３５０６など）、又は単一パルスから導出される（derives）アナログ電圧は、第２のＶＭＭアレイのワード線に印加されるが、パルスは可変パルス幅を有する。あるいは、パルス又はパルスから導出されるアナログ電圧を、制御ゲートに印加することができる。単一パルスの幅は、入力の大きさに直接対応する。例えば、ＷＬ１の入力の大きさはＷＬ０の入力の大きさに対して４倍である（ＷＬ１パルス幅は、ＷＬ０パルス幅に対して４倍である）。
更に、図３６Ｃを参照すると、タイミング制御回路３６７０を使用して、ＶＭＭアレイの出力及び入力インターフェースを管理し、様々な出力又は様々な入力の変換を順次分割することによって、ＶＭＭシステムの電力を管理することができる。図５６は、電力管理方法５６００を描く。第１のステップは、ベクトル行列乗算アレイの複数の入力を受信する（ステップ５６０１）。第２のステップは、複数の入力を複数の入力のセットに編成する（ステップ５６０２）。第３のステップは、複数の入力のセットのそれぞれをアレイに順次提供する（ステップ５６０３）。
電力管理方法５６００の一実施形態は、以下である。ＶＭＭシステム（ＶＭＭアレイのワード線又は制御ゲートなど）への入力は、経時的に順次印加することができる。例えば、５１２個のワード線入力を有するＶＭＭアレイの場合、ワード線入力は、４つの群、ＷＬ０～１２７、ＷＬ１２８～２５５、ＷＬ２５６～３８３、及びＷＬ３８３～５１１に分割することができる。各群は、異なる時間に有効化することができ、出力読み出し動作を、図３４～図３６の出力積分回路などによって、４つのワード線群のうちの１つに対応する群に対して実行することができる（ニューロン電流をデジタルビットに変換する）ことができる。次いで、４つの群のそれぞれが順番に読み取られた後、出力デジタルビット結果を一緒に組み合わせる。この動作は、タイミング制御回路３６７０によって制御され得る。
別の実施形態では、タイミング制御回路３６７０は、図３３のアナログニューロメモリシステム３３００などのベクトル行列乗算システムで電力管理を実行する。タイミング制御回路３６７０は、異なる時間に入力回路ブロック３３０３ａ、３３０３ｂ、３３０３ｃ、３３０３ｄ、３３０３ｅ、３３０３ｆ、３３０３ｇ、及び３３０３ｈを有効にすることなどによって、入力を経時的に順次ＶＭＭサブシステム３３３３に印加させることができる。同様に、タイミング制御回路３６７０は、異なる時間にニューロン出力ブロック３３０２ａ、３３０２ｂ、３３０２ｃ、３３０２ｄ、３３０２ｅ、３３０２ｆ、３３０２ｇ、及び３３０２ｈを有効化することなどによって、ＶＭＭサブシステム３３３からの出力を経時的に順次読み出させることができる。
図５７は、電力管理方法５７００を描く。第１のステップは、ベクトル行列乗算アレイから複数の出力を受信する（ステップ５７０１）。次のステップは、アレイからの複数の出力を複数の出力のセットに編成する（ステップ５７０２）。次のステップは、複数の出力のセットのそれぞれを変換器回路に順次提供する（ステップ５７０３）。
電力管理方法５７００の一実施形態は、以下である。電力管理は、異なる時間にニューロン出力群を順次読み出すことによって、つまり、複数のニューロン出力（ビット線）にわたる出力回路（出力ＡＤＣ回路など）を多重化することによって、タイミング制御回路３６７０により実施することができる。ビット線は、異なる群に配置され得、出力回路は、タイミング制御回路３６７０の制御下で、一度に１つの群で順次に動作する。
図５８は、電力管理方法５８００を描く。複数のアレイを含むベクトル行列乗算システムにおいて、第１のステップは、複数の入力を受信する。次の工程は、複数のアレイのうちの１つ以上を順次有効にして、複数の入力のうちのいくつか又は全てを受信する（ステップ５８０２）。
電力管理方法５８００の一実施形態は、以下である。タイミング制御回路３６７０は、一度に１つのニューラルネットワーク層で動作することができる。例えば、１つのニューラルネットワーク層が第１のＶＭＭアレイ内に表され、第２のニューラルネットワーク層が第２のＶＭＭアレイ内に表される場合、出力読み出し動作（ニューロン出力がデジタルビットに変換される場合など）は、一度に１つのＶＭＭアレイで順次に実行され、それによってＶＭＭシステムの電力を管理することができる。
別の実施形態では、タイミング制御回路３６７０は、図３３に示すように、複数のニューロメモリサブシステム３３３３又は複数のマクロ３３０１を順次に有効にすることによって動作することができる。
別の実施形態では、タイミング制御回路３６７０は、非アクティブ期間中（順次有効になるオンとオフとの間の休止期間を意味する）にアレイバイアスを放電することなく、図３３に示すような複数のニューロメモリサブシステム３３３３又は複数のマクロ３３０１を順次有効にすることによって動作することができる（例えば、制御ゲートＣＧに対してワード線ＷＬ及び／若しくはビット線ＢＬを入力として、かつビット線（bitltine）ＢＬを出力としてバイアスするか、又はワード線ＷＬに対して制御ゲートＣＧ及び／若しくはビット線ＢＬを入力として、かつビット線ＢＬを出力としてバイアスする）。これは、１つ以上の読み出し動作中に（例えば、推論又は分類動作中に）複数回使用されるアレイバイアスを、再び不必要な放電及び充電から節電することである。
図３７～図４４は、図３３の入力回路ブロック３３０３ａ、３３０３ｂ、３３０３ｃ、３３０３ｄ、３３０３ｅ、３３０３ｆ、３３０３ｇ、及び３３０３ｈなどのＶＭＭ入力ブロック、又は図３３のニューロン出力ブロック３３０２ａ、３３０２ｂ、３３０２ｃ、３３０２ｄ、３３０２ｅ、３３０２ｆ、３３０２ｇ、及び３３０２ｈなどのニューロン出力ブロック内で使用することができる様々な回路を示す。
図３７は、任意選択的に使用して、積分デュアルスロープＡＤＣ３４００又は３５００によって生成されたデジタルパルスを電圧に変換することができるパルス－電圧変換器３７００を示し、この電圧は、例えば、ＶＭＭメモリアレイの（例えば、ＷＬ線又はＣＧ線の）入力として印加され得る。パルス－電圧変換器３７００は、基準電流ＩＲＥＦを生成する基準電流発生器３７０１、コンデンサ３７０２、及びスイッチ３７０３を備える。入力はスイッチ３７０３を制御するために使用される。パルスが入力に受信されると、スイッチが閉じられ、電荷がコンデンサ３７０２に蓄積され、結果として入力信号が完了した後のコンデンサ３７０２の電圧は、受信されたパルスの数を示すことになる。コンデンサは、任意選択的に、ワード線又は制御ゲート電気容量であり得る。
図３８は、任意選択的に使用して、ニューロン出力電流を電圧に変換することができる電流－電圧変換器３８００を示し、この電圧は、例えば、ＶＭＭメモリアレイの（例えば、ＷＬ線又はＣＧ線の）入力として印加され得る。電流－電圧変換器３８００は、ここでは、受信したニューロン電流、ｉｎｅｕ（又はＩｉｎ）を表す電流発生器３８０１、及び可変抵抗器３８０２を備える。出力Ｖｏｕｔは、ニューロン電流が増加するにつれて、サイズが増大する。可変抵抗器３８０２は、所望に応じて、Ｖｏｕｔの最大範囲を増加又は減少させるように調整することができる。
図３９は、任意選択的に使用して、ニューロン出力電流を電圧に変換することができる電流－電圧変換器３９００を示し、この電圧は、例えば、ＶＭＭメモリアレイの（例えば、ＷＬ線又はＣＧ線の）入力として印加され得る。電流－電圧変換器３９００は、オペアンプ３９０１、コンデンサ３９０２、スイッチ３９０３、スイッチ３９０４、及びここでニューロン電流ＩＣＥＬＬを表す電流源３９０５を備える。動作中、スイッチ３９０３は開かれ、スイッチ３９０４は閉じられる。出力Ｖｏｕｔは、ニューロン電流ＩＣＥＬＬ３９０５の大きさに比例して振幅を増加させる。
図４０は、任意選択的に使用して、ニューロン出力電流を対数電圧に変換することができる電流－対数電圧変換器４０００を示し、この対数電圧は、例えば、ＶＭＭメモリアレイの（例えば、ＷＬ線又はＣＧ線の）入力として印加され得る。電流－対数電圧変換器４０００は、メモリセル４００１、スイッチ４００２（メモリセル４００１のワード線端子を、Ｖｏｕｔを生成するノードに選択的に接続する）、及びここではニューロン電流ＩｉＮを表す電流源４００３を含む。動作中、スイッチ４００２は閉じられ、出力Ｖｏｕｔは、ニューロン電流ｉＩＮの大きさに比例して振幅を増加させる。
図４１は、任意選択的に使用して、ニューロン出力電流を対数電圧に変換することができる電流－対数電圧変換器４１００を示し、この対数電圧は、例えば、ＶＭＭメモリアレイの（例えば、ＷＬ線又はＣＧ線の）入力として印加され得る。電流－対数電圧変換器４１００は、メモリセル４１０１、スイッチ４１０２（メモリセル４１０１の制御ゲート端子を、Ｖｏｕｔを生成するノードに選択的に接続する）、及びここではニューロン電流ＩｉＮを表す電流源４１０３を含む。動作中、スイッチ４１０２は閉じられ、出力Ｖｏｕｔは、ニューロン電流ＩｉＮの大きさに比例して振幅を増加させる。
図４２は、任意選択的に使用して、（すなわち、０及び１の）デジタルデータを電圧に変換することができるデジタルデータ－電圧変換器４２００を示し、この電圧は、例えば、ＶＭＭメモリアレイの（例えば、ＷＬ線又はＣＧ線の）入力として印加され得る。デジタルデータ－電圧変換器４２００は、コンデンサ４２０１、調節可能な電流源４２０２（ここでは、メモリセルの基準アレイからの電流である）、及びスイッチ４２０３を含む。デジタルデータはスイッチ４２０３を制御する。例えば、デジタルデータが「１」であるときにスイッチ４２０３を閉じることができ、デジタルデータが「０」であるときに開くことができる。コンデンサ４２０１上に蓄積された電圧は出力ＯＵＴであり、デジタルデータの値に対応する。任意選択的に、コンデンサは、ワード線又は制御ゲート電気容量であり得る。
図４３は、任意選択的に使用して、（すなわち、０及び１の）デジタルデータを電圧に変換することができるデジタルデータ－電圧変換器４３００を示し、この電圧は、例えば、ＶＭＭメモリアレイの（例えば、ＷＬ線又はＣＧ線の）入力として印加され得る。デジタルデータ－電圧変換器４３００は、可変抵抗器４３０１、調節可能な電流源４３０２（ここでは、メモリセルの基準アレイからの電流である）、及びスイッチ４３０３を含む。デジタルデータはスイッチ４３０３を制御する。例えば、デジタルデータが「１」であるときにスイッチ４３０３を閉じることができ、デジタルデータが「０」であるときに開くことができる。出力電圧は、デジタルデータの値に対応する。
図４４は、図４２及び図４３における調節可能な電流源４２０２及び４３０２の基準電流を提供するために使用することができる基準アレイ４４００を示す。
図４５～図４７は、プログラミング動作後に、ＶＭＭ内のフラッシュメモリセルが、そのフラッシュメモリセルに格納されることが意図されるＷ値に対応する適切な電荷を含むことを検証するための構成要素を示す。
図４５は、デジタル入力としてＷ値の基準セットを受信し、いくつかのプログラムされたフラッシュメモリセルから検知されたＷデジタル値を受信するデジタル比較器４５００を示す。デジタル比較器４５００は、１つ以上のフラッシュメモリセルが正しい値でプログラムされていないことを示す不整合が存在する場合にフラグを生成する。
図４６は、変換器４６００と協働した図４５のデジタル比較器４５００を示す。検知されたＷ値は、変換器４６００の複数のインスタンス化によって提供される。変換器４６００は、フラッシュメモリセルからセル電流ＩＣＥＬＬを受信し、そのセル電流を、ＡＤＣ３４００又は３５００など）前述した変換器のうちの１つ以上を使用して、デジタル比較器４５００に提供され得るデジタルデータに変換する。
図４７は、アナログ入力としてＷ値の基準セットを受信し、いくつかのプログラムされたフラッシュメモリセルから検知されたＷアナログ値を受信するアナログ比較器４７００を示す。アナログ比較器４７００は、１つ以上のフラッシュメモリセルが正しい値でプログラムされていないことを示す不整合が存在する場合にフラグを生成する。
図４８は、変換器４８００と協働した図４７のアナログ比較器４７００を示す。検知されたＷ値は、変換器４８００によって提供される。変換器４８００は、感知されたＷ値のデジタル値を受信し、（パルス－電圧変換器３７００、デジタルデータ－電圧変換器４２００、又はデジタルデータ－電圧変換器４３００など）前述した変換器のうちの１つ以上を使用して、アナログ比較器４７００に提供することができるアナログ信号に変換する。
図４９は、出力回路４９００を示す。（前述の積分デュアルスロープＡＤＣ３４００又は３５００を使用することなどによって）ニューロンの出力がデジタル化される場合は、ニューロン出力に対して活性化関数を実行する必要が依然としてあり得ることを理解されたい。図４９は、ニューロン出力が可変幅のパルス又はパルス系列に変換される前に活性化が生じる実施形態を示す。出力回路４９００は、活性化回路４９０１及び電流－パルス変換器４９０２を備える。活性化回路は、様々なフラッシュメモリセルからＩｎｅｕｒｏｎ値を受信し、受信したＩｎｅｕｒｏｎ値の総和であるＩｎｅｕｒｏｎ＿ａｃｔを生成する。次に、電流－パルス変換器４９０２は、Ｉｎｅｕｒｏｎ＿ａｃｔを一連のデジタルパルス及び／又は一連のデジタルパルスのカウントを表すデジタルデータに変換する。前述した他の変換器（かかる積分デュアルスロープＡＤＣ３４００又は３５００）は、４９０２変換器の代わりに使用することができる。
別の実施形態では、活性化は、デジタルパルスが生成された後に生じ得る。この実施形態では、デジタル出力ビットは、アクティブ化マッピングテーブル又はアクティブ化マッピングユニット５０１０によって実装される機能を使用して、新しいデジタルビットのセットにマッピングされる。このようなマッピングの例は、図５０及び図５１にグラフで示されている。活性化デジタルマッピングは、シグモイド、ｔａｎｈ、ＲｅＬｕ、又は任意の活性化関数をシミュレートすることができる。更に、活性化デジタルマッピングは、出力ニューロンを量子化することができる。
図５２は、プログラミング動作後の検証動作中にＶＭＭの出力を合計して、出力を表す単一のアナログ値を得るために使用できる電荷加算器５２００の例を示しており、この単一のアナログ値は、任意選択的にデジタルビット値に変換することができる。電荷加算器５２００は、電流源５２０１と、スイッチ５２０２及びサンプルアンドホールド（Ｓ／Ｈ）コンデンサ５２０３を含むサンプルアンドホールド回路と、を含む。４ビットのデジタル値の例で示されるように、４つの評価パルスからの値を保持するための４つのＳ／Ｈ回路が存在し、これらの値はプロセスの終了時に合計される。Ｓ／Ｈコンデンサ５２０３は、そのＳ／Ｈコンデンサの２＾ｎ*ＤＩＮｎビット位置に関連付けられる比率で選択され、例えば、Ｃ＿ＤＩＮ３＝ｘ８ Ｃｕ、Ｃ＿ＤＩＮ２＝ｘ４ Ｃｕ、Ｃ＿ＤＩＮ１＝ｘ２ Ｃｕ、ＤＩＮ０＝ｘ１ Ｃｕである。電流源５２０１もまた、それに応じて比率が乗じられる。
図５３は、プログラミング動作後の検証動作中にＶＭＭの出力を合計するために使用できる電流加算器５３００を示す。電流加算器５３００は、電流源５３０１、スイッチ５３０２、スイッチ５３０３及びスイッチ５３０４、並びにスイッチ５３０５を含む。４ビットのデジタル値の例で示されるように、４つの評価パルスからの値を保持するための電流源回路が存在し、これらの値はプロセスの終了時に合計される。電流源は、２＾ｎ*ＤＩＮｎビット位置に基づいて比率が乗じられ、例えば、Ｉ＿ＤＩＮ３＝ｘ８ Ｉｃｅｌｌ単位、Ｉ＿ＤＩＮ２＝ｘ４ Ｉｃｅｌｌ単位、Ｉ＿ＤＩＮ１＝ｘ２ Ｉｃｅｌｌ単位、Ｉ＿ＤＩＮ０＝ｘ１ Ｉｃｅｌｌ単位である。
図５４は、複数のデジタル値を受信し、それらを一緒に合計し、入力の和を表す出力ＤＯＵＴを生成する、デジタル加算器５４００を示す。デジタル加算器５４００は、プログラミング動作後の検証動作中に使用することができる。４ビットのデジタル値の例で示されるように、４つの評価パルスからの値を保持するためのデジタル出力ビットが存在し、これらの値はプロセスの終了時に合計される。デジタル出力は、２＾ｎ*ＤＩＮｎビット位置に基づいてデジタルスケーリングされ、例えば、ＤＯＵＴ３＝ｘ８ ＤＯＵＴ０、＿ＤＯＵＴ２＝ｘ４ ＤＯＵＴ１、Ｉ＿ＤＯＵＴ１＝ｘ２ ＤＯＵＴ０、Ｉ＿ＤＯＵＴ０＝ＤＯＵＴ０である。
図５５Ａ及び図５５Ｂは、入力ブロック、行デコーダ、又は出力ブロック内で使用されるデジタルビット－パルス幅変換器５５００を示す。デジタルビット－パルス幅変換器５５００から出力されるパルス幅は、図３６Ｂに関連して上述したように、その値に比例する。デジタルビット－パルス幅変換器は、バイナリカウンタ５５０１を含む。バイナリカウンタ５５０１の状態Ｑ［Ｎ：０］は、ロードシーケンス内のシリアルデータ又はパラレルデータによってロードされ得る。行制御論理５５１０は、図３４及び図３５の積分ＡＤＣなどのブロックから提供されるデジタルデータ入力の値に比例するパルス幅を有する電圧パルスを出力する。
図５５Ｂは、そのデジタルビット値に比例する幅を有する出力パルス幅の波形を示す。最初に、受信されたデジタルビット内のデータが反転され、反転された桁ビットは、カウンタ５５０１にシリアル又はパラレルのどちらかでロードされる。次いで、行パルス幅は、最大カウンタ値に達するまで、バイナリ方式でカウントすることによって、波形５５２０に示されるように行制御論理５５１０によって生成される。
任意選択的に、パルス系列－パルス変換器を使用して、ＶＭＭアレイ内のワード線又は制御ゲートに印加されるＶＭＭアレイへの入力として使用される、パルス系列（図３４Ｂの信号３４１１又は３４１３、及び図３５Ｂの信号３５１３又は３５１６など、を含む出力を、パルス系列のパルス数に比例して幅が変化する単一パルス（図３６Ｂの信号ＷＬ０、ＷＬ１及びＷＬｅなど）に変換することができる。パルス系列－パルス変換器の例は、制御論理を有するバイナリカウンタである。
例は、４ビットデジタル入力に関して表９に示される通りである。
表９：出力パルス幅へのデジタル入力ビット
Figure 0007346579000009
別の実施形態は、アップバイナリカウンタ及びデジタル比較論理を使用する。すなわち、出力パルス幅は、バイナリカウンタのデジタル出力がデジタル入力ビットと同じになるまで、アップバイナリカウンタをカウントすることによって生成される。
別の実施形態は、ダウンバイナリカウンタを使用する。最初に、ダウンバイナリカウンタは、デジタルデータ入力パターンとシリアル又はパラレルにロードされる。次いで、出力パルス幅は、バイナリカウンタのデジタル出力が最小値、すなわち「０」論理状態に達するまでダウンバイナリカウンタをカウントダウンすることによって生成される。
本明細書で使用される場合、「の上方に（over）」及び「に（on）」という用語は両方とも、「に直接」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「の上に間接的に」（中間材料、要素、又は間隙がそれらの間に配設されている）を包括的に含むことに留意されるべきである。同様に、「隣接した」という用語は、「直接隣接した」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「間接的に隣接した」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「に取り付けられた」は、「に直接取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「に間接的に取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「電気的に結合された」は、「に直接電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にない）、及び「に間接的に電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にある）を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板に直接、中間材料／要素をそれらの間に伴わずに形成すること、及びその要素を基板の上に間接的に１つ以上の中間材料／要素をそれらの間に伴って形成することを含み得る。

Claims (8)

  1. ベクトル行列乗算システムであって、該ベクトル行列乗算システムは、
    行及び列に配置された不揮発性メモリセルのアレイと、
    １つ以上の入力パルスを受信し、前記１つ以上の入力パルスをアナログ電圧に変換し、前記アナログ電圧を、ベクトル行列乗算器動作中に前記アレイ内のワード線又は制御ゲート線に印加するための、前記アレイに結合された入力ブロックと、
    前記ベクトル行列乗算器動作中に前記アレイによって引き込まれるニューロン電流に応答して、様々な幅のデジタルパルスを生成するための、前記アレイに結合された出力ブロックと、を備え、
    前記デジタルパルスの幅は、前記ニューロン電流に比例し、
    前記出力ブロックは、
    反転入力端子と、非反転入力端子と、出力端子と、を備える演算増幅器と、
    前記演算増幅器の前記非反転入力端子に結合されたノードから基準電流を引き込む基準電流源と、
    前記演算増幅器の前記非反転入力端子と接地との間に結合されたコンデンサと、
    前記演算増幅器の前記非反転入力端子をバイアス電圧源に選択的に結合するスイッチと、を備え、
    前記ニューロン電流は前記演算増幅器の前記非反転入力端子に提供され、前記様々な幅のデジタルパルスは前記演算増幅器の前記出力端子に提供される、ベクトル行列乗算システム。
  2. 前記出力ブロックは、
    前記様々な幅のデジタルパルスを一連のパルスに変換するための、前記演算増幅器の前記出力端子に結合された論理回路であって、前記一連のパルス内のパルスの数は、ニューロン電流に比例する、論理回路を備える、請求項１に記載のベクトル行列乗算システム。
  3. 前記１つ以上の入力パルスは、単一パルスを含む、請求項１に記載のベクトル行列乗算システム。
  4. 前記１つ以上の入力パルスは、一連のパルスを含む、請求項１に記載のベクトル行列乗算システム。
  5. 前記入力ブロックは、デジタル－アナログ変換器を備える、請求項１に記載のベクトル行列乗算システム。
  6. 前記デジタル－アナログ変換器は、パルス－電圧変換器を備える、請求項５に記載のベクトル行列乗算システム。
  7. 前記不揮発性メモリセルのアレイ内の各不揮発性メモリセルは、スプリットゲートフラッシュメモリセルである、請求項１に記載のベクトル行列乗算システム。
  8. 前記不揮発性メモリセルのアレイ内の各不揮発性メモリセルは、積層ゲートフラッシュメモリセルである、請求項１に記載のベクトル行列乗算システム。
JP2021541295A 2019-01-18 2019-09-06 深層学習人工ニューラルネットワーク内のアナログニューラルメモリにおいてニューロン電流をニューロン電流ベースの時間パルスに変換するためのシステム Active JP7346579B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962794492P 2019-01-18 2019-01-18
US62/794,492 2019-01-18
US201962814813P 2019-03-06 2019-03-06
US62/814,813 2019-03-06
US16/353,830 US11500442B2 (en) 2019-01-18 2019-03-14 System for converting neuron current into neuron current-based time pulses in an analog neural memory in a deep learning artificial neural network
US16/353,830 2019-03-14
PCT/US2019/049922 WO2020149889A1 (en) 2019-01-18 2019-09-06 System for converting neuron current into neuron current-based time pulses in an analog neural memory in a deep learning artificial neural network

Publications (2)

Publication Number Publication Date
JP2022523291A JP2022523291A (ja) 2022-04-22
JP7346579B2 true JP7346579B2 (ja) 2023-09-19

Family

ID=71608372

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021541296A Active JP7340612B2 (ja) 2019-01-18 2019-09-06 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の電力管理
JP2021541295A Active JP7346579B2 (ja) 2019-01-18 2019-09-06 深層学習人工ニューラルネットワーク内のアナログニューラルメモリにおいてニューロン電流をニューロン電流ベースの時間パルスに変換するためのシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021541296A Active JP7340612B2 (ja) 2019-01-18 2019-09-06 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の電力管理

Country Status (7)

Country Link
US (2) US11500442B2 (ja)
EP (3) EP4235671A3 (ja)
JP (2) JP7340612B2 (ja)
KR (2) KR102599243B1 (ja)
CN (2) CN113316793A (ja)
TW (2) TWI737078B (ja)
WO (2) WO2020149890A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839894B2 (en) * 2018-06-29 2020-11-17 Taiwan Semiconductor Manufacturing Company Ltd. Memory computation circuit and method
US11023559B2 (en) * 2019-01-25 2021-06-01 Microsemi Soc Corp. Apparatus and method for combining analog neural net with FPGA routing in a monolithic integrated circuit
CN112181895B (zh) * 2020-09-02 2023-06-06 上海交通大学 可重构架构、加速器、电路部署和计算数据流方法
DE102020214359A1 (de) 2020-11-16 2022-05-19 Robert Bosch Gesellschaft mit beschränkter Haftung Analog-Digital-Wandler und Matrixschaltungsanordnung
JP7465797B2 (ja) 2020-12-15 2024-04-11 株式会社日立製作所 リザーバー計算機
WO2022146468A1 (en) * 2021-01-01 2022-07-07 Silicon Storage Technology, Inc. Digital output mechanisms for analog neural memory in a deep learning artificial neural network
US20220215239A1 (en) * 2021-01-01 2022-07-07 Silicon Storage Technology, Inc. Digital output mechanisms for analog neural memory in a deep learning artificial neural network
JP2024518884A (ja) * 2021-05-18 2024-05-08 シリコン ストーリッジ テクノロージー インコーポレイテッド 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のスプリットアレイアーキテクチャ
US20220374161A1 (en) * 2021-05-19 2022-11-24 Silicon Storage Technology, Inc. Output circuit for analog neural memory in a deep learning artificial neural network
KR102416605B1 (ko) * 2021-08-17 2022-07-05 한국과학기술원 비트라인 멀티 레벨 전압 센싱 회로
CN113672854B (zh) * 2021-08-25 2024-02-06 恒烁半导体(合肥)股份有限公司 一种基于电流镜和存储单元的存内运算方法、装置及其应用
JP7209068B1 (ja) * 2021-10-19 2023-01-19 ウィンボンド エレクトロニクス コーポレーション 半導体記憶装置
WO2023162632A1 (ja) * 2022-02-28 2023-08-31 ヌヴォトンテクノロジージャパン株式会社 ニューラルネットワーク演算回路、その制御回路、および、その制御方法
US20230317161A1 (en) * 2022-03-31 2023-10-05 Crossbar, Inc. Matrix multiplication with resistive memory circuit having good substrate density
WO2023196002A1 (en) * 2022-04-07 2023-10-12 Silicon Storage Technology, Inc. Vector-by-matrix-multiplication array utilizing analog outputs
WO2023196000A1 (en) * 2022-04-07 2023-10-12 Silicon Storage Technology, Inc. Vector-by-matrix-multiplication array utilizing analog inputs
US20240112003A1 (en) * 2022-09-22 2024-04-04 Silicon Storage Technology, Inc. Output circuit for artificial neural network array
EP4358087A1 (de) 2022-10-20 2024-04-24 Semron GmbH Anordnung einer pulsweiten gesteuerten vektor-matrix multiplikationseinheit mit kapazitiven elementen und verfahren zu dessen ansteuerung
CN116136752B (zh) * 2023-04-19 2023-06-30 上海登临科技有限公司 阵列输入策略的确定方法和系统
CN116185334B (zh) * 2023-04-19 2023-07-04 上海登临科技有限公司 阵列电路的输入控制方法和阵列电路

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005122467A (ja) 2003-10-16 2005-05-12 Canon Inc 演算回路およびその動作制御方法
JP2005175070A (ja) 2003-12-09 2005-06-30 Renesas Technology Corp 半導体装置
JP2008545197A (ja) 2005-06-28 2008-12-11 ニューロサイエンシーズ リサーチ ファンデーション インコーポレイテッド 神経モデリングのためのアドレス機構及び特殊目的プロセッサを使用する脳ベースの装置
WO2017200883A1 (en) 2016-05-17 2017-11-23 Silicon Storage Technology, Inc. Deep learning neural network classifier using non-volatile memory array
US20180004708A1 (en) 2016-07-01 2018-01-04 Hewlett Packard Enterprise Development Lp Vector-matrix multiplications involving negative values
JP2018125713A (ja) 2017-02-01 2018-08-09 日本放送協会 予測装置およびプログラム

Family Cites Families (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6153831A (ja) 1984-08-24 1986-03-17 Mitsubishi Electric Corp アナログ入力回路
FR2603414B1 (fr) 1986-08-29 1988-10-28 Bull Sa Amplificateur de lecture
JPH06103782B2 (ja) 1987-04-17 1994-12-14 日本シイエムケイ株式会社 プリント配線板
US5055897A (en) 1988-07-27 1991-10-08 Intel Corporation Semiconductor cell for neural network and the like
US4904881A (en) 1989-02-10 1990-02-27 Intel Corporation EXCLUSIVE-OR cell for neural network and the like
JP3122756B2 (ja) 1991-01-12 2001-01-09 直 柴田 半導体装置
US5621336A (en) 1989-06-02 1997-04-15 Shibata; Tadashi Neuron circuit
JPH0318985A (ja) 1989-06-16 1991-01-28 Hitachi Ltd 情報処理装置
US4961002A (en) 1989-07-13 1990-10-02 Intel Corporation Synapse cell employing dual gate transistor structure
US5028810A (en) 1989-07-13 1991-07-02 Intel Corporation Four quadrant synapse cell employing single column summing line
KR920010344B1 (ko) 1989-12-29 1992-11-27 삼성전자주식회사 반도체 메모리 어레이의 구성방법
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
US5242848A (en) 1990-01-22 1993-09-07 Silicon Storage Technology, Inc. Self-aligned method of making a split gate single transistor non-volatile electrically alterable semiconductor memory device
EP0486635A1 (en) 1990-05-22 1992-05-27 International Business Machines Corporation Scalable flow virtual learning neurocomputer
US5150450A (en) 1990-10-01 1992-09-22 The United States Of America As Represented By The Secretary Of The Navy Method and circuits for neuron perturbation in artificial neural network memory modification
US5214747A (en) 1990-12-24 1993-05-25 Eastman Kodak Company Segmented neural network with daisy chain control
US5146602A (en) 1990-12-26 1992-09-08 Intel Corporation Method of increasing the accuracy of an analog neural network and the like
US5138576A (en) 1991-11-06 1992-08-11 Altera Corporation Method and apparatus for erasing an array of electrically erasable EPROM cells
US7071060B1 (en) 1996-02-28 2006-07-04 Sandisk Corporation EEPROM with split gate source side infection with sidewall spacers
JP3103908B2 (ja) * 1992-02-28 2000-10-30 ソニー株式会社 デジタル／アナログ変換回路
EP0562737B1 (en) 1992-03-26 1998-06-17 Hitachi, Ltd. Flash memory
US5336936A (en) 1992-05-06 1994-08-09 Synaptics, Incorporated One-transistor adaptable analog storage element and array
US5264734A (en) 1992-05-19 1993-11-23 Intel Corporation Difference calculating neural network utilizing switched capacitors
US5256911A (en) 1992-06-10 1993-10-26 Intel Corporation Neural network with multiplexed snyaptic processing
US5298796A (en) 1992-07-08 1994-03-29 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Nonvolatile programmable neural network synaptic array
JP2852989B2 (ja) * 1992-10-05 1999-02-03 ニッタン株式会社 異常報知システム
US5386132A (en) 1992-11-02 1995-01-31 Wong; Chun C. D. Multimedia storage system with highly compact memory device
JP2835272B2 (ja) 1993-12-21 1998-12-14 株式会社東芝 半導体記憶装置
KR0151623B1 (ko) 1994-12-07 1998-10-01 문정환 이이피롬 셀 및 그 제조방법
US5825063A (en) 1995-03-07 1998-10-20 California Institute Of Technology Three-terminal silicon synaptic device
US6965142B2 (en) 1995-03-07 2005-11-15 Impinj, Inc. Floating-gate semiconductor structures
US5990512A (en) 1995-03-07 1999-11-23 California Institute Of Technology Hole impact ionization mechanism of hot electron injection and four-terminal ρFET semiconductor structure for long-term learning
US5554874A (en) 1995-06-05 1996-09-10 Quantum Effect Design, Inc. Six-transistor cell with wide bit-line pitch, double words lines, and bit-line contact shared among four cells
US5721702A (en) 1995-08-01 1998-02-24 Micron Quantum Devices, Inc. Reference voltage generator using flash memory cells
US5966332A (en) 1995-11-29 1999-10-12 Sanyo Electric Co., Ltd. Floating gate memory cell array allowing cell-by-cell erasure
JP4036896B2 (ja) 1995-12-01 2008-01-23 キネティック リミテッド イメージングシステム
US5748534A (en) 1996-03-26 1998-05-05 Invox Technology Feedback loop for reading threshold voltage
US6389404B1 (en) 1998-12-30 2002-05-14 Irvine Sensors Corporation Neural processing module with input architectures that make maximal use of a weighted synapse array
US6222777B1 (en) 1999-04-09 2001-04-24 Sun Microsystems, Inc. Output circuit for alternating multiple bit line per column memory architecture
US6232180B1 (en) * 1999-07-02 2001-05-15 Taiwan Semiconductor Manufacturing Corporation Split gate flash memory cell
JP3423267B2 (ja) * 2000-01-27 2003-07-07 寛治 大塚 ドライバ回路、レシーバ回路、および信号伝送バスシステム
US6282119B1 (en) 2000-06-02 2001-08-28 Winbond Electronics Corporation Mixed program and sense architecture using dual-step voltage scheme in multi-level data storage in flash memories
US6829598B2 (en) 2000-10-02 2004-12-07 Texas Instruments Incorporated Method and apparatus for modeling a neural synapse function by utilizing a single conventional MOSFET
US6563167B2 (en) 2001-01-05 2003-05-13 Silicon Storage Technology, Inc. Semiconductor memory array of floating gate memory cells with floating gates having multiple sharp edges
US6563733B2 (en) 2001-05-24 2003-05-13 Winbond Electronics Corporation Memory array architectures based on a triple-polysilicon source-side injection non-volatile memory cell
JP2005522071A (ja) 2002-03-22 2005-07-21 ジョージア テック リサーチ コーポレイション 浮遊ゲートアナログ回路
US6747310B2 (en) 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
JP4174297B2 (ja) * 2002-11-06 2008-10-29 キヤノン株式会社 信号処理回路
JP2004171686A (ja) 2002-11-20 2004-06-17 Renesas Technology Corp 不揮発性半導体記憶装置およびそのデータ消去方法
JP4601287B2 (ja) 2002-12-26 2010-12-22 ルネサスエレクトロニクス株式会社 不揮発性半導体記憶装置
US6822910B2 (en) 2002-12-29 2004-11-23 Macronix International Co., Ltd. Non-volatile memory and operating method thereof
US6781186B1 (en) 2003-01-30 2004-08-24 Silicon-Based Technology Corp. Stack-gate flash cell structure having a high coupling ratio and its contactless flash memory arrays
US6856551B2 (en) 2003-02-06 2005-02-15 Sandisk Corporation System and method for programming cells in non-volatile integrated memory devices
US6946894B2 (en) 2003-06-12 2005-09-20 Winbond Electronics Corporation Current-mode synapse multiplier circuit
ATE542176T1 (de) 2003-10-16 2012-02-15 Canon Kk Betriebsschaltung und betriebssteuerverfahren dafür
TWI220560B (en) 2003-10-27 2004-08-21 Powerchip Semiconductor Corp NAND flash memory cell architecture, NAND flash memory cell array, manufacturing method and operating method of the same
JP2005348117A (ja) * 2004-06-03 2005-12-15 Matsushita Electric Ind Co Ltd デジタル／アナログ変換回路
US7315056B2 (en) 2004-06-07 2008-01-01 Silicon Storage Technology, Inc. Semiconductor memory array of floating gate memory cells with program/erase and select gates
US7092290B2 (en) 2004-11-16 2006-08-15 Sandisk Corporation High speed programming system with reduced over programming
TWI270199B (en) 2005-01-31 2007-01-01 Powerchip Semiconductor Corp Non-volatile memory and manufacturing method and operating method thereof
US8443169B2 (en) 2005-03-28 2013-05-14 Gerald George Pechanek Interconnection network connecting operation-configurable nodes according to one or more levels of adjacency in multiple dimensions of communication in a multi-processor and a neural processor
US7304890B2 (en) 2005-12-13 2007-12-04 Atmel Corporation Double byte select high voltage line for EEPROM memory block
US7626868B1 (en) 2007-05-04 2009-12-01 Flashsilicon, Incorporation Level verification and adjustment for multi-level cell (MLC) non-volatile memory (NVM)
KR100910869B1 (ko) * 2007-06-08 2009-08-06 주식회사 하이닉스반도체 테스트시 필요한 채널의 갯수를 줄인 반도체 메모리장치
US7733262B2 (en) 2007-06-15 2010-06-08 Micron Technology, Inc. Quantizing circuits with variable reference signals
US7630246B2 (en) 2007-06-18 2009-12-08 Micron Technology, Inc. Programming rate identification and control in a solid state memory
US20090039410A1 (en) 2007-08-06 2009-02-12 Xian Liu Split Gate Non-Volatile Flash Memory Cell Having A Floating Gate, Control Gate, Select Gate And An Erase Gate With An Overhang Over The Floating Gate, Array And Method Of Manufacturing
US7894267B2 (en) 2007-10-30 2011-02-22 Spansion Llc Deterministic programming algorithm that provides tighter cell distributions with a reduced number of programming pulses
JP5025436B2 (ja) * 2007-11-29 2012-09-12 京セラ株式会社 基地局および無線通信方法
US7746698B2 (en) 2007-12-13 2010-06-29 Spansion Llc Programming in memory devices using source bitline voltage bias
JP4513865B2 (ja) 2008-01-25 2010-07-28 セイコーエプソン株式会社 並列演算装置および並列演算方法
JP2009211153A (ja) * 2008-02-29 2009-09-17 Toshiba Corp メモリ装置、情報処理装置及び電力制御方法
JP2010267341A (ja) 2009-05-15 2010-11-25 Renesas Electronics Corp 半導体装置
US8204927B1 (en) 2010-03-15 2012-06-19 California Institute Of Technology System and method for cognitive processing for data fusion
JP5300773B2 (ja) 2010-03-29 2013-09-25 ルネサスエレクトロニクス株式会社 不揮発性半導体記憶装置
US9665822B2 (en) 2010-06-30 2017-05-30 International Business Machines Corporation Canonical spiking neuron network for spatiotemporal associative memory
US8325521B2 (en) 2010-10-08 2012-12-04 Taiwan Semiconductor Manufacturing Company, Ltd. Structure and inhibited operation of flash memory with split gate
US8473439B2 (en) 2010-12-08 2013-06-25 International Business Machines Corporation Integrate and fire electronic neurons
US8892487B2 (en) 2010-12-30 2014-11-18 International Business Machines Corporation Electronic synapses for reinforcement learning
JP2013041654A (ja) 2011-08-19 2013-02-28 Toshiba Corp 不揮発性記憶装置
US8909576B2 (en) 2011-09-16 2014-12-09 International Business Machines Corporation Neuromorphic event-driven neural computing architecture in a scalable neural network
US8760955B2 (en) 2011-10-21 2014-06-24 Taiwan Semiconductor Manufacturing Company, Ltd. Electrical fuse memory arrays
US9443471B2 (en) 2012-07-31 2016-09-13 Sharp Kabushiki Kaisha Display device and driving method thereof
US9466732B2 (en) 2012-08-23 2016-10-11 Silicon Storage Technology, Inc. Split-gate memory cell with depletion-mode floating gate channel, and method of making same
US9153230B2 (en) 2012-10-23 2015-10-06 Google Inc. Mobile speech recognition hardware accelerator
CN103000218A (zh) 2012-11-20 2013-03-27 上海宏力半导体制造有限公司 存储器电路
US9275748B2 (en) 2013-03-14 2016-03-01 Silicon Storage Technology, Inc. Low leakage, low threshold voltage, split-gate flash cell operation
JP5659361B1 (ja) 2013-07-04 2015-01-28 パナソニックＩｐマネジメント株式会社 ニューラルネットワーク回路、およびその学習方法
US9798751B2 (en) 2013-10-16 2017-10-24 University Of Tennessee Research Foundation Method and apparatus for constructing a neuroscience-inspired artificial neural network
US20150213898A1 (en) 2014-01-27 2015-07-30 Silicon Storage Technololgy, Inc. Byte Erasable Non-volatile Memory Architecture And Method Of Erasing Same
US20150324691A1 (en) 2014-05-07 2015-11-12 Seagate Technology Llc Neural network connections using nonvolatile memory devices
US9418744B2 (en) * 2014-05-12 2016-08-16 Silicon Storage Technology, Inc. System and method to reduce disturbances during programming of flash memory cells
US9286982B2 (en) 2014-08-08 2016-03-15 Silicon Storage Technology, Inc. Flash memory system with EEPROM functionality
US9760533B2 (en) 2014-08-14 2017-09-12 The Regents On The University Of Michigan Floating-gate transistor array for performing weighted sum computation
US9984754B2 (en) 2014-09-29 2018-05-29 Toshiba Memory Corporation Memory device and method for operating the same
US10312248B2 (en) 2014-11-12 2019-06-04 Silicon Storage Technology, Inc. Virtual ground non-volatile memory array
EP3035204B1 (en) * 2014-12-19 2018-08-15 Intel Corporation Storage device and method for performing convolution operations
US9361991B1 (en) 2014-12-23 2016-06-07 Sandisk Technologies Inc. Efficient scanning of nonvolatile memory blocks
CN104615909B (zh) 2015-02-02 2018-02-13 天津大学 基于FPGA的Izhikevich神经元网络同步放电仿真平台
CN105990367B (zh) 2015-02-27 2019-03-12 硅存储技术公司 具有rom单元的非易失性存储器单元阵列
WO2017131653A1 (en) 2016-01-27 2017-08-03 Hewlett Packard Enterprise Development Lp In situ transposition
US20170330070A1 (en) * 2016-02-28 2017-11-16 Purdue Research Foundation Spin orbit torque based electronic neuron
KR102384654B1 (ko) 2016-05-17 2022-04-11 실리콘 스토리지 테크놀로지 인크 개별 메모리 셀 판독, 프로그래밍, 및 소거를 갖는 3-게이트 플래시 메모리 셀들의 어레이
US10269440B2 (en) 2016-05-17 2019-04-23 Silicon Storage Technology, Inc. Flash memory array with individual memory cell read, program and erase
CN107425003B (zh) 2016-05-18 2020-07-14 硅存储技术公司 制造分裂栅非易失性闪存单元的方法
US10042819B2 (en) * 2016-09-29 2018-08-07 Hewlett Packard Enterprise Development Lp Convolution accelerators
US10346347B2 (en) 2016-10-03 2019-07-09 The Regents Of The University Of Michigan Field-programmable crossbar array for reconfigurable computing
CN110574043B (zh) * 2016-12-09 2023-09-15 许富菖 三维神经网络阵列
US10860923B2 (en) 2016-12-20 2020-12-08 Samsung Electronics Co., Ltd. High-density neuromorphic computing element
KR102449586B1 (ko) 2017-02-24 2022-10-04 에이에스엠엘 네델란즈 비.브이. 기계 학습에 의해 공정 모델들을 결정하는 방법들
US10748059B2 (en) 2017-04-05 2020-08-18 International Business Machines Corporation Architecture for an electrochemical artificial neural network
CN110692017A (zh) 2017-05-26 2020-01-14 Asml荷兰有限公司 基于机器学习的辅助特征放置
US10482929B2 (en) 2017-07-13 2019-11-19 Qualcomm Incorporated Non-volative (NV) memory (NVM) matrix circuits employing NVM matrix circuits for performing matrix computations
US10460817B2 (en) 2017-07-13 2019-10-29 Qualcomm Incorporated Multiple (multi-) level cell (MLC) non-volatile (NV) memory (NVM) matrix circuits for performing matrix computations with multi-bit input vectors
US10580492B2 (en) 2017-09-15 2020-03-03 Silicon Storage Technology, Inc. System and method for implementing configurable convoluted neural networks with flash memories
CN109522753B (zh) 2017-09-18 2020-11-06 清华大学 电路结构及其驱动方法、芯片及其认证方法、电子设备
US10303998B2 (en) 2017-09-28 2019-05-28 International Business Machines Corporation Floating gate for neural network inference
US11087207B2 (en) * 2018-03-14 2021-08-10 Silicon Storage Technology, Inc. Decoders for analog neural memory in deep learning artificial neural network
US10699779B2 (en) 2017-11-29 2020-06-30 Silicon Storage Technology, Inc. Neural network classifier using array of two-gate non-volatile memory cells
US11354562B2 (en) 2018-01-03 2022-06-07 Silicon Storage Technology, Inc. Programmable neuron for analog non-volatile memory in deep learning artificial neural network
US10552510B2 (en) 2018-01-11 2020-02-04 Mentium Technologies Inc. Vector-by-matrix multiplier modules based on non-volatile 2D and 3D memory arrays
US10740181B2 (en) * 2018-03-06 2020-08-11 Western Digital Technologies, Inc. Failed storage device rebuild method
US10496374B2 (en) * 2018-03-22 2019-12-03 Hewlett Packard Enterprise Development Lp Crossbar array operations using ALU modified signals
US10217512B1 (en) 2018-05-15 2019-02-26 International Business Machines Corporation Unit cell with floating gate MOSFET for analog memory
US10692570B2 (en) 2018-07-11 2020-06-23 Sandisk Technologies Llc Neural network matrix multiplication in memory cells
US11061646B2 (en) 2018-09-28 2021-07-13 Intel Corporation Compute in memory circuits with multi-Vdd arrays and/or analog multipliers
US10891222B2 (en) * 2018-12-24 2021-01-12 Macronix International Co., Ltd. Memory storage device and operation method thereof for implementing inner product operation
US10741611B1 (en) 2019-02-11 2020-08-11 International Business Machines Corporation Resistive processing units with complementary metal-oxide-semiconductor non-volatile analog memory

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005122467A (ja) 2003-10-16 2005-05-12 Canon Inc 演算回路およびその動作制御方法
JP2005175070A (ja) 2003-12-09 2005-06-30 Renesas Technology Corp 半導体装置
JP2008545197A (ja) 2005-06-28 2008-12-11 ニューロサイエンシーズ リサーチ ファンデーション インコーポレイテッド 神経モデリングのためのアドレス機構及び特殊目的プロセッサを使用する脳ベースの装置
WO2017200883A1 (en) 2016-05-17 2017-11-23 Silicon Storage Technology, Inc. Deep learning neural network classifier using non-volatile memory array
US20180004708A1 (en) 2016-07-01 2018-01-04 Hewlett Packard Enterprise Development Lp Vector-matrix multiplications involving negative values
JP2018125713A (ja) 2017-02-01 2018-08-09 日本放送協会 予測装置およびプログラム

Also Published As

Publication number Publication date
EP3912103A1 (en) 2021-11-24
EP4235671A3 (en) 2023-09-13
US11500442B2 (en) 2022-11-15
CN113302629A (zh) 2021-08-24
EP3912103B1 (en) 2023-07-05
JP7340612B2 (ja) 2023-09-07
KR102599243B1 (ko) 2023-11-06
TWI716222B (zh) 2021-01-11
WO2020149889A1 (en) 2020-07-23
US20200233482A1 (en) 2020-07-23
TW202032562A (zh) 2020-09-01
US11409352B2 (en) 2022-08-09
US20200234111A1 (en) 2020-07-23
EP3912102A1 (en) 2021-11-24
KR102657246B1 (ko) 2024-04-12
TW202032561A (zh) 2020-09-01
KR20210107100A (ko) 2021-08-31
TWI737078B (zh) 2021-08-21
JP2022517810A (ja) 2022-03-10
WO2020149890A1 (en) 2020-07-23
EP3912102B1 (en) 2023-06-14
EP4235671A2 (en) 2023-08-30
JP2022523291A (ja) 2022-04-22
CN113316793A (zh) 2021-08-27
KR20210107101A (ko) 2021-08-31

Similar Documents

Publication Publication Date Title
JP7346579B2 (ja) 深層学習人工ニューラルネットワーク内のアナログニューラルメモリにおいてニューロン電流をニューロン電流ベースの時間パルスに変換するためのシステム
JP7385657B2 (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのプログラミングのための精密な調整
TWI805909B (zh) 用於深度學習人工神經網路中之類比神經記憶體的可組態輸入塊及輸出塊與實體佈局
JP7340694B2 (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのプログラミングのための精密な調整
US11893478B2 (en) Programmable output blocks for analog neural memory in a deep learning artificial neural network
TWI841981B (zh) 深度學習人工神經網路中類比神經記憶體的可程式輸出區塊
JP2024504003A (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の入力及びデジタル出力機構
KR20240029074A (ko) 딥 러닝 인공 신경망에서의 아날로그 신경 메모리를 위한 프로그램 가능 출력 블록
JP2024521006A (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の出力回路
WO2022245384A1 (en) Output circuit for analog neural memory in a deep learning artificial neural network

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221213

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230727

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230906

R150 Certificate of patent or registration of utility model

Ref document number: 7346579

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150