JP7217753B2 - 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリをプログラミングするための方法及び装置 - Google Patents

深層学習人工ニューラルネットワークにおけるアナログニューラルメモリをプログラミングするための方法及び装置 Download PDF

Info

Publication number
JP7217753B2
JP7217753B2 JP2020548820A JP2020548820A JP7217753B2 JP 7217753 B2 JP7217753 B2 JP 7217753B2 JP 2020548820 A JP2020548820 A JP 2020548820A JP 2020548820 A JP2020548820 A JP 2020548820A JP 7217753 B2 JP7217753 B2 JP 7217753B2
Authority
JP
Japan
Prior art keywords
memory cells
cell
program
current
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020548820A
Other languages
English (en)
Other versions
JP2021517706A (ja
Inventor
バン トラン、ヒュー
ティワリ、ビピン
ドー、ナン
レイテン、マーク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Silicon Storage Technology Inc
Original Assignee
Silicon Storage Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Silicon Storage Technology Inc filed Critical Silicon Storage Technology Inc
Publication of JP2021517706A publication Critical patent/JP2021517706A/ja
Priority to JP2023008471A priority Critical patent/JP2023065351A/ja
Application granted granted Critical
Publication of JP7217753B2 publication Critical patent/JP7217753B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/26—Sensing or reading circuits; Data output circuits
    • G11C16/28—Sensing or reading circuits; Data output circuits using differential sensing or reference cells, e.g. dummy cells
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G11C16/107—Programming all cells in an array, sector or block to the same state prior to flash erasing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G11C16/0441—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing multiple floating gate devices, e.g. separate read-and-write FAMOS transistors with connected floating gates
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G11C16/14—Circuits for erasing electrically, e.g. erase voltage switching circuits
    • G11C16/16—Circuits for erasing electrically, e.g. erase voltage switching circuits for erasing blocks, e.g. arrays, words, groups
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G11C16/14—Circuits for erasing electrically, e.g. erase voltage switching circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/34—Determination of programming status, e.g. threshold voltage, overprogramming or underprogramming, retention
    • G11C16/3404—Convergence or correction of memory cell threshold voltages; Repair or recovery of overerased or overprogrammed cells
    • G11C16/3409—Circuits or methods to recover overerased nonvolatile memory cells detected during erase verification, usually by means of a "soft" programming step
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/34—Determination of programming status, e.g. threshold voltage, overprogramming or underprogramming, retention
    • G11C16/3404—Convergence or correction of memory cell threshold voltages; Repair or recovery of overerased or overprogrammed cells
    • G11C16/3413—Circuits or methods to recover overprogrammed nonvolatile memory cells detected during program verification, usually by means of a "soft" erasing step
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/34—Determination of programming status, e.g. threshold voltage, overprogramming or underprogramming, retention
    • G11C16/3418—Disturbance prevention or evaluation; Refreshing of disturbed memory data
    • G11C16/3427—Circuits or methods to prevent or reduce disturbance of the state of a memory cell when neighbouring cells are read or written
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/34—Determination of programming status, e.g. threshold voltage, overprogramming or underprogramming, retention
    • G11C16/3436—Arrangements for verifying correct programming or erasure
    • G11C16/3454—Arrangements for verifying correct programming or for detecting overprogrammed cells
    • G11C16/3459—Circuits or methods to verify correct programming of nonvolatile memory cells
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C27/00—Electric analogue stores, e.g. for storing instantaneous values
    • G11C27/005—Electric analogue stores, e.g. for storing instantaneous values with non-volatile charge storage, e.g. on floating gate or MNOS

Description

（優先権の主張）
本出願は、２０１８年３月１４日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｐｒｏｇｒａｍｍｉｎｇ Ａｎａｌｏｇ Ｎｅｕｒｏｍｏｒｐｈｉｃ Ｍｅｍｏｒｙ ｉｎ ａｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許仮出願第６２／６４２，８７８号、及び２０１８年５月２５日に出願された「Ｍｅｔｈｏｄ Ａｎｄ Ａｐｐａｒａｔｕｓ Ｆｏｒ Ｐｒｏｇｒａｍｍｉｎｇ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ Ｉｎ Ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許出願第１５／９９０，３９５号の優先権を主張する。
（発明の分野）
人工ニューラルネットワークのベクトルマトリクス乗算（vector-by-matrix multiplication、ＶＭＭ）アレイと共に使用するプログラミング装置及び方法の多数の実施形態が開示される。
人工ニューラルネットワークは、多数の入力に依存することができ、概ね未知である機能を推定する又は近似するために使用される生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）を真似ている。人工ニューラルネットワークは、概して、メッセージを交換する相互接続した「ニューロン」の層を含む。
図１は、人工ニューラルネットワークを図示しており、ここで円は、入力又はニューロンの層を表す。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいて調整され得る数値の重みを有する。これは、ニューラルネットワークが入力に適応できるようにし、学習できるようにする。典型的には、ニューラルネットワークは、複数の入力の層を含む。典型的には、１つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。それぞれのレベルでニューロンは、シナプスから受信されたデータに基づいて個々に又は合わせて決定を行う。
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題の１つは、適切なハードウェア技術の欠如である。実際には、実用ニューラルネットワークは、非常に多数のシナプスに頼り、ニューロン間の高い接続性、すなわち、非常に高度な計算的並行処理を可能にする。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専門化したグラフィック処理ユニットクラスタによって実現され得る。しかしながら、高コストに加え、これらのアプローチはまた、主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しない生物学的ネットワークに比べてあまり良くないエネルギー効率に悩まされている。ＣＭＯＳアナログ回路は、人工ニューラルネットワークに使用されてきたが、ほとんどのＣＭＯＳ実装シナプス（CMOS-implemented synapses）は、多数のニューロン及びシナプスを考えると嵩高すぎていた。
出願人は以前に、参照により組み込まれる米国特許出願第１５／５９４，４３９号において、シナプスとして１つ以上の不揮発性メモリアレイを利用する人工（アナログ）ニューラルネットワークを開示した。不揮発性メモリアレイは、アナログニューロモーフィックメモリとして動作する。ニューラルネットワークデバイスは、第１の複数の入力を受信するように、かつそれから第１の複数の出力を生成するように構成された第１の複数のシナプス、及び第１の複数の出力を受信するように構成された第１の複数のニューロンを含む。第１の複数のシナプスは、複数のメモリセルを含み、メモリセルのそれぞれは、半導体基板内に形成された、間にチャネル領域が延在している離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に配設され、チャネル領域の第１の部分から絶縁された浮遊ゲートと、チャネル領域の第２の部分の上方に配設され、チャネル領域の第２の部分から絶縁された非浮遊ゲートと、を含む。複数のメモリセルのそれぞれは、浮遊ゲートの多くの電子に対応する重み値を記憶するように構成される。複数のメモリセルは、第１の複数の入力に、記憶された重み値を乗じて第１の複数の出力を生成するように構成される。
アナログニューロモーフィックメモリシステムに使用される各不揮発性メモリセルは、消去され、浮遊ゲート内に非常に特異的かつ正確な量の電荷を保持するようにプログラムされなければならない。例えば、各浮動ゲートはＮ個の異なる値のうちの１つを保持しなければならず、ここで、Ｎは、各セルによって示され得る異なる重みの数である。Ｎの例としては、１６、３２、及び６４を含む。
ＶＭＭシステムにおける１つの課題は、選択されたセルを、異なる値のＮに必要とされる精度及び粒度でプログラムする能力である。例えば、選択されたセルが６４個の異なる値のうちの１つを含み得る場合は、プログラム動作において極めて高い精度が必要とされる。
必要とされるのは、アナログニューロモーフィックメモリシステムにおいてＶＭＭと共に使用するのに適した改善されたプログラミングシステム及び方法である。
人工ニューラルネットワークのベクトルマトリクス乗算（ＶＭＭ）アレイと共に使用するプログラミングシステム及び方法の多数の実施形態が開示される。それにより、選択されたセルは、Ｎ個の異なる値のうちの１つを保持するために、極めて高い精度でプログラムされることができる。
人工ニューラルネットワークを示す図である。 従来の２ゲート不揮発性メモリセルの横断面図である。 従来の４ゲート不揮発性メモリセルの横断面図である。 従来の３ゲート不揮発性メモリセルの横断面図である。 別の従来の２ゲート不揮発性メモリセルの横断面図である。 不揮発性メモリアレイを利用する異なるレベルの例示的な人工ニューラルネットワークを示す図である。 ベクトル乗算器マトリクスを示すブロック図である。 様々なレベルのベクトル乗算器マトリクスを示すブロック図である。 ベクトル乗算器マトリクスの別の実施形態を示す。 ベクトル乗算器マトリクスの別の実施形態を示す。 図１０のベクトル乗算器マトリクスで動作を実行するための動作電圧を示す。 ベクトル乗算器マトリクスの別の実施形態を示す。 図１２のベクトル乗算器マトリクスで動作を実行するための動作電圧を示す。 ベクトル乗算器マトリクスの別の実施形態を示す。 図１４のベクトル乗算器マトリクスで動作を実行するための動作電圧を示す。 ベクトル乗算器マトリクスの別の実施形態を示す。 図２１６のベクトル乗算器マトリクスで動作を実行するための動作電圧を示す。 ベクトル乗算器マトリクスのプログラミング方法を示す。 ベクトル乗算器マトリクスのプログラミング方法を示す。 図１８Ａ及び図１８Ｂのプログラミングのための波形を示す。 図１８Ａ及び図１８Ｂのプログラミングのための波形を示す。 図１８Ａ及び図１８Ｂのプログラミングのための波形を示す。 ベクトル乗算器マトリクスシステムを示す。 列ドライバを示す。 複数の基準マトリクスを示す。 単一の基準マトリクスを示す。 基準マトリクスを示す。 別の基準マトリクスを示す。 比較回路を示す。 別の比較回路を示す。 別の比較回路を示す。 電流－デジタルビット回路を示す。 図３１の回路のための波形を示す。 電流－スロープ回路を示す。 図３３の回路のための波形を示す。 電流－スロープ回路を示す。 図３５の回路のための波形を示す。
本発明の人工ニューラルネットワークは、ＣＭＯＳ技術及び不揮発性メモリアレイの組み合わせを利用する。
不揮発性メモリセル
デジタル不揮発性メモリは、周知である。例えば、米国特許第５，０２９，１３０号（「’１３０号特許」）は、分割ゲート不揮発性メモリセルのアレイを開示し、あらゆる目的のために参照により本明細書に組み込まれる。このようなメモリセルを図２に示す。各メモリセル２１０は、半導体基板１２内に形成され、チャネル領域１８をその間に有するソース領域１４とドレイン領域１６と、を含む。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方に形成され、チャネル領域１８の第１の部分から絶縁されて（かつチャネル領域１８の第１の部分導電性を制御して）おり、またソース領域１６の一部分の上方に形成される。ワード線端子２２（典型的には、ワード線に結合される）は、チャネル領域１８の第２の部分の上方に配設され、チャネル領域１８の第２の部分から絶縁され、（かつチャネル領域１８の第２の部分の導電性を制御する）第１の部分と、浮遊ゲート２０の上方に延在する第２の部分と、を有する。浮遊ゲート２０及びワード線端子２２は、ゲート酸化物によって基板１２から絶縁される。ビット線２４はドレイン領域１６に結合される。
メモリセル２１０は、ワード線端子２２に高圧正電圧を印加することによって消去され（ここで電子は、浮遊ゲートから除去される）、それにより、ファウラーノルドハイムトンネリングによって浮遊ゲート２０からワード線端子２２まで中間絶縁体を通って浮遊ゲート２０の電子をトンネリングさせる。
メモリセル２１０は、ワード線端子２２に正電圧、及びソース１６に正電圧を印加することによってプログラムされる（ここで電子は、浮遊ゲートに印加される）。電子電流は、ソース１６からドレイン１４に向かって流れることになる。電子は、ワード線端子２２と浮遊ゲート２０との間の間隙に達すると、加速し発熱する。熱せられた電子のいくらかは、浮遊ゲート２０からの静電引力に起因してゲート酸化物２６を通って浮遊ゲート２０のに注入される。
ドレイン１４及びワード線端子２２に正の読み出し電圧を印加する（ワード線端子下のチャネル領域をターンオンする）ことによって、メモリセル２１０が読み出される。浮遊ゲート２０が正に帯電する（すなわち、電子を消去し、ドレイン１６に正に結合する）場合、浮遊ゲート２０下のチャネル領域の部分は、次に同様にオンになり、電流は、チャネル領域１８を流れ、これは、消去された状態つまり「１」の状態として検知される。浮遊ゲート２０が負に帯電する（すなわち、電子でプログラムされる）場合、次に浮遊ゲート２０下のチャネル領域の部分は、ほとんど又は完全にオフになり、電流は、チャネル領域１８を流れず（又はわずかに流れる）、プログラムされた状態又は「０」の状態として検出される。
表１は、読み出し、消去及びプログラム動作を実行するためのメモリセル２１０の端子に印加され得る典型的な電圧範囲を示す。
表１：図２のフラッシュメモリセル２１０の動作
Figure 0007217753000001
他の分割ゲートメモリセル構成が知られている。例えば、図３は、ソース領域１４と、ドレイン領域１６と、チャネル領域１８の第１の部分の上方にある浮遊ゲート２０と、チャネル領域１８の第２の部分の上方にある選択ゲート２８（典型的には、ワード線に結合される）と、浮遊ゲート２０の上方にある制御ゲート２２と、及びソース領域１４の上方にある消去ゲート３０と、を備える４ゲートメモリセル３１０を示す。この構成は、米国特許第６，７４７，３１０号に記載され、この米国特許は、あらゆる目的のため参照により本明細書に組み込まれる。ここで、全てのゲートは、浮遊ゲート２０を除いて、非浮遊ゲートであり、それらは電圧源に電気的に接続される又は接続可能であることを意味する。プログラミングは、浮遊ゲート２０にそれ自体を注入するチャネル領域１８からの熱せられた電子によって示される。消去は、浮遊ゲート２０から消去ゲート３０へトンネリングする電子によって示される。
表２は、読み出し、消去、及びプログラム動作を実行するためのメモリセル３１０の端子に印加され得る典型的な電圧範囲を示す。
表２：図３のフラッシュメモリセル３１０の動作
Figure 0007217753000002
図４は、分割ゲート３ゲートメモリセル４１０を示す。メモリセル４１０は、メモリセル４１０が別個の制御ゲートを有しないことを除いて、図３のメモリセル３１０と同一である。消去動作（消去ゲートを通しての消去）及び読み出し動作は、制御ゲートバイアスがないことを除いて、図３のものと同様である。プログラミング動作もまた、制御ゲートバイアスなしで行われるため、ソース線のプログラム電圧は、制御ゲートバイアスの不足を補償するためにより高い。
表３は、読み出し、消去、及びプログラム動作を実行するためのメモリセル４１０の端子に印加され得る典型的な電圧範囲を示す。
表３：図４のフラッシュメモリセル４１０の動作
Figure 0007217753000003
図５は、積層ゲートメモリセル５１０を示す。メモリセル５１０は、浮遊ゲート２０がチャネル領域１８全体の上方に延在し、制御ゲート２２が絶縁層によって分離された浮遊ゲート２０の上方に延在することを除いて、図２のメモリセル２１０と同様である。消去、プログラミング、及び読み出し動作は、メモリセル２１０について前述したものと同様の方法で動作する。
表４は、読み出し、消去、及びプログラム動作を実行するためのメモリセル５１０の端子に印加され得る典型的な電圧範囲を示す。
表４：図５のフラッシュメモリセル５１０の動作
Figure 0007217753000004
上記の人工ニューラルネットワークにおける不揮発性メモリセルのタイプのうちの１つを含むメモリアレイを利用するために、２つの修正が行われる。第１に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しすることができるように線を構成する。第２に、メモリセルの連続（アナログ）プログラミングを提供する。
具体的には、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全に消去された状態から完全にプログラムされた状態へ、独立して、かつ他のメモリセルの異常が最小で連続的に変更することができる。別の実施形態では、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全にプログラムされた状態から完全に消去された状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの異常が最小で連続的に変更することができる。このことは、セル記憶がアナログであるか、又は多数の別個の値（１６又は６４の異なる値など）のうちの１つを最低限記憶することができ、それは、メモリアレイ内の全てのセルの非常に正確、かつ個々の調整を可能にし、またメモリアレイを記憶に対して理想的にし、ニューラルネットワークのシナプシスの重みに微調整を加えることを意味する。
不揮発性メモリセルアレイを使用するニューラルネットワーク
図６は、不揮発性メモリアレイを利用するニューラルネットワークの非限定実施例を概念的に示す。この例は、顔認識アプリケーションのために不揮発性メモリアレイニューラルネットを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の任意の適切なアプリケーションを実施することができる。
Ｓ０は入力であり、この例では、５ビット精度の３２×３２ピクセルＲＧＢ画像である（すなわち、各色Ｒ、Ｇ、及びＢにつき１つずつの３つの３２×３２ピクセルアレイ、各ピクセルが５ビット精度である）。Ｓ０からＣ１に行くシナプスＣＢ１は、異なる重みのセット及び共有される重みの両方を有し、入力画像を３×３ピクセルの重なり合うフィルタでスキャンし（カーネル）、１ピクセル（又はモデルによって決まるように２ピクセル以上）ずつフィルタをシフトする。具体的には、画像の３×３部分における９ピクセルの値（すなわち、フィルタ又はカーネルと呼ばれる）は、シナプスＣＢ１に提供され、それによってこれらの９個の入力値に適切な重みを乗じ、その乗算の出力の合計後、単一の出力値が決定され、特徴マップＣ１の層の１つのピクセルを生成するためにＣＢ１の第１のニューロンによって与えられる。３×３フィルタは次に右側に１ピクセルだけシフトされ（すなわち、３ピクセルの列を右側に追加し、左側で３ピクセルの列をドロップする）、そのため、この新しく位置づけられたフィルタの９ピクセル値が、シナプスＣＢ１に提供されるため、それらに同じ重みを乗じ、関連するニューロンによって第２の単一の出力値を決定する。このプロセスを、３×３フィルタが３２×３２ピクセル画像全体にわたって３色全て及び全てのビットについてスキャンするまで続ける（精度値）。プロセスは次に、層Ｃ１の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、Ｃ１の異なる特徴マップを生成する。
Ｃ１において、本例では、それぞれ３０×３０ピクセルを有する１６個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、２次元アレイであり、したがってこの例では、シナプスＣＢ１は、２次元アレイの１６層を構成する（本明細書で言及されるニューロン層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な２次元アレイに配向されないことに留意する）。１６個の特徴マップのそれぞれは、フィルタスキャンに適用される１６個の異なるシナプス重みのセットの１つによって生成される。Ｃ１特徴マップは全て、境界同定など同じ画像特徴の異なる態様を対象とすることができる。例えば、第１のマップ（この第１のマップを生成するのに使用される全てのスキャンに共有される第１の重みセットを使用して生成される）は、円形エッジを識別することができ、第２のマップ（第１の重みセットと異なる第２の重みセットを使用して生成される）は、方形エッジ又は特定の特徴のアスペクト比などを識別することができる。
活性化関数Ｐ１（プーリング）は、Ｃ１からＳ１へ行く前に適用され、各特徴マップ中の連続する、重なり合わない２×２領域からの値をプールする。プーリング段階の目的は、平均して近隣の位置にすること（又はｍａｘ関数もまた使用され得る）、例えばエッジ位置の依存を低減すること、及び次の段階に行く前にデータサイズを低減することである。Ｓ１において、１６個の１５×１５特徴マップ（すなわち、１６個のそれぞれ１５×１５ピクセルの異なるアレイ）が存在する。Ｓ１からＣ２へ行くＣＢ２内のシナプス及び関連するニューロンは、Ｓ１内のマップを１ピクセルのフィルタシフトを使用して４×４フィルタでスキャンする。Ｃ２において、２２個の１２×１２特徴マップが存在する。活性化関数Ｐ２（プーリング）は、Ｃ２からＳ２へ行く前に適用され、各特徴マップ中の連続する、重なり合わない２×２領域からの値をプールする。Ｓ２において、２２個の６×６特徴マップが存在する。活性化関数は、Ｓ２からＣ３へ行くシナプスＣＢ３で適用され、ここでＣ３内の全てのニューロンはＳ２内の全てのマップに接続する。Ｃ３において、６４個のニューロンが存在する。Ｃ３から出力Ｓ３へ行くシナプスＣＢ４は、Ｓ３をＣ３と完全に接続する。Ｓ３における出力は、１０個のニューロンを含み、ここで最も高い出力ニューロンは、クラスを決定する。この出力は、例えば、元の画像の内容の同定又は分類を示すことができる。
シナプスの各レベルは、不揮発性メモリセルのアレイ又はアレイの一部を使用して実行される。図７は、不揮発性メモリセルを含み、入力層と次の層との間のシナプスとして利用されるベクトルマトリクス乗算（ＶＭＭ）アレイのブロック図である。具体的には、ＶＭＭ３２は、不揮発性メモリセルのアレイ３３、消去ゲート及びワード線ゲートデコーダ３４、制御ゲートデコーダ３５、ビット線デコーダ３６、並びにソース線デコーダ３７を含み、それらのデコーダはメモリアレイ３３に対する入力をデコードする。この例におけるソース線デコーダ３７はまた、メモリセルアレイの出力をデコードする。あるいは、ビット線デコーダ３６が、メモリアレイの出力をデコードすることができる。メモリアレイは、２つの目的を果たす。第１に、ＶＭＭにより使用される重みを記憶する。第２に、メモリアレイは、効果的に、入力に、メモリアレイに記憶された重みを乗じ、それらを出力線（ソース線又はビット線）ごとに合計して出力を生成し、これは、次の層への入力又は最後の層への入力になる。乗算及び加算の関数を実行することによって、メモリアレイは、別個の乗算及び加算の論理回路の必要性をなくし、また、その場でのメモリ計算により電力効率も良い。
メモリアレイの出力は差動加算器（加算オペアンプなど）３８に供給され、差動加算器はメモリセルアレイの出力を合計してその畳み込み用の単一の値を生成する。差動加算器は、正の入力で正の重みと負の重みとの合計を実現するようなものである。合計された出力値は、次に出力を整流する活性化関数回路３９に供給される。活性化関数には、シグモイド、ｔａｎｈ、又はＲｅＬＵ関数が含まれ得る。整流された出力値は、次の層（例えば上の説明ではＣ１）として特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、メモリアレイは、複数のシナプスを構成し（ニューロンの前の層から、又は画像データベースなどの入力層から入力を受信する）、加算オペアンプ３８及び活性化関数回路３９は、複数のニューロンを構成する。
図８は、様々なレベルのＶＭＭのブロック図である。図８に示されるように、入力は、デジタルアナログ変換器３１によってデジタルからアナログに変換され、入力ＶＭＭ３２ａに提供される。入力ＶＭＭ３２ａによって生成された出力は、次のＶＭＭ（隠しレベル１）３２ｂへの入力として提供され、ＶＭＭ（隠しレベル１）３２ｂは、同様にして、次のＶＭＭ（隠しレベル２）３２ｂへの入力として提供される出力を生成する、などとなる。ＶＭＭの３２の様々な層は、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）のシナプス及びニューロンの異なる層として機能する。各ＶＭＭは、スタンドアローンの不揮発性メモリアレイであり得、又は複数のＶＭＭは、同じ不揮発性メモリアレイの異なる部分を利用することができ、又は複数のＶＭＭは、同じ不揮発性メモリアレイの重なり合う部分を利用することができる。図８に示される例は、５つの層（３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ）、すなわち、１つの入力層（３２ａ）、２つの隠れ層（３２ｂ、３２ｃ）、及び２つの完全に接続された層（３２ｄ、３２ｅ）を含む。当業者であれば、これは単なる例示であり、代わりにシステムが２つを超える隠れ層及び２つを超える完全に接続された層を含み得ることを理解するであろう。
ベクトルマトリクス乗算（ＶＭＭ）アレイ
図９は、図３に示されるタイプのメモリセルに特に適したニューロンＶＭＭ９００を示し、入力層と次の層との間でシナプス及びニューロンの一部として利用される。ＶＭＭ９００は、不揮発性メモリセルのメモリアレイ９０１、及び基準アレイ９０２（アレイの頂部で）を備える。あるいは、別の基準アレイが底部に位置することができる。ＶＭＭ９００では、制御ゲート線９０３などの制御ゲート線が垂直方向に延びており（したがって、行方向の基準アレイ９０２が入力制御ゲート線に直交する）、消去ゲート線９０４などの消去ゲート線が水平方向に延びている。ここで、入力は制御ゲート線に提供され、出力はソース線に現れる。一実施形態では、偶数行のみが使用され、別の実施形態では、奇数行のみが使用される。ソース線の電流は、ソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
ニューラルネットワークについて本明細書に記載されるように、フラッシュセルは、サブ閾値領域で動作するように構成されることが好ましい。
本明細書に記載されたメモリセルは、弱反転にバイアスされる。
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/kVt＝ｗ*Ｉｏ*ｅ(Vg)/kVt
ｗ＝ｅ(-Vth)/kVt
入力電流を入力電圧に変換するためにメモリセルを使用するＩ－Ｖログ変換器について：
Ｖｇ＝ｋ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
ベクトルマトリクス乗算器ＶＭＭとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/kVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/kVt
ワード線又は制御ゲートは、入力電圧のためのメモリセルの入力として使用することができる。
あるいは、フラッシュメモリセルは、線形領域で動作するように構成することができる。
Ｉｄｓ＝β*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ；β＝ｕ*Ｃｏｘ*Ｗ／Ｌ
Ｗ α（Ｖｇｓ－Ｖｔｈ）
Ｉ－Ｖ線形変換器では、線形領域で動作するメモリセルを使用して、入力／出力電流を入力／出力電圧に線形に変換することができる。
ＥＳＦベクトルマトリックス乗算器の他の実施形態は、参照により本明細書に組み込まれる米国特許出願第１５／８２６，３４５号に記載されているとおりである。ソース線又はビット線は、ニューロン出力（電流和出力）として使用することができる。
図１０は、図２に示されるタイプのメモリセルに特に適したニューロンＶＭＭ１０００を示し、入力層と次の層との間のシナプスとして利用される。ＶＭＭ１０００は、不揮発性メモリセルのメモリアレイ１００３、基準アレイ１００１、及び基準アレイ１００２を備える。基準アレイ１００１及び１００２は、アレイの列方向において、端子ＢＬＲ０～３に流れ込む電流入力を電圧入力ＷＬ０～３に変換する役割を果たす。実際には、基準メモリセルは、マルチプレクサを通してそれらの中に流れる電流入力にダイオード接続される。基準セルは、標的基準レベルに調整（例えば、プログラム）される。標的基準レベルは、基準ミニアレイマトリクスによって提供される。メモリアレイ１００３は、２つの目的を果たす。第１に、ＶＭＭ１０００により使用される重みを記憶する。第２に、メモリアレイ１００３は、入力（端子ＢＬＲ０～３に提供される電流入力であって、基準アレイ１００１及び１００２がこれらの電流入力を入力電圧に変換してワード線ＷＬ０～３に供給する）にメモリアレイに記憶された重みを有効に乗算して、出力を生成し、これは次の層への入力又は最終の層への入力となる。乗算関数を実行することによって、メモリアレイは、別個の乗算論理回路の必要性をなくし、また電力効率も良い。ここで、電圧入力はワード線に提供され、出力は読み出し（推論）動作中にビット線に現れる。ビット線の電流は、ビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
図１１は、ＶＭＭ１０００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に印加された電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
図１２は、図２に示されるタイプのメモリセルに特に適したニューロンＶＭＭ１２００を示し、入力層と次の層との間でシナプス及びニューロンの一部として利用される。ＶＭＭ１２００は、不揮発性メモリセルのメモリアレイ１２０３、基準アレイ１２０１、及び基準アレイ１２０２を備える。アレイＶＭＭ１２００の行方向に延びる基準アレイ１２０１及び１２０２は、ＶＭＭ１２００においてワード線が垂直方向に延びることを除いて、ＶＭＭ１０００と同様である。ここで、入力はワード線に提供され、出力は読み出し動作中にソース線に現れる。ソース線の電流は、ソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
図１３は、ＶＭＭ１２００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に印加された電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
図１４は、図３に示されるタイプのメモリセルに特に適したニューロンＶＭＭ１４００を示し、入力層と次の層との間でシナプス及びニューロンの一部として利用される。ＶＭＭ１４００は、不揮発性メモリセルのメモリアレイ１４０３、基準アレイ１４０１、及び基準アレイ１４０２を備える。基準アレイ１４０１及び１４０２は、端子ＢＬＲ０～３に流れ込む電流入力を電圧入力ＣＧ０～３に変換する役割を果たす。実際には、基準メモリセルは、それらに流れ込む電流入力と、カスコーディングマルチプレクサ１４１４を介してダイオード接続される。ｍｕｘ１４１４は、読み出し中の基準セルのビット線に一定の電圧を確保するために、ｍｕｘ１４０５及びカスコーディングトランジスタ１４０４を含む。基準セルは、標的基準レベルに調整される。メモリアレイ１４０３は、２つの目的を果たす。第１に、ＶＭＭ１４００により使用される重みを記憶する。第２に、メモリアレイ１４０３は、メモリアレイに記憶された重みによって、入力（端子ＢＬＲ０～３に提供される電流入力であって、基準アレイ１４０１及び１４０２がこれらの電流入力を入力電圧に変換して制御ゲートＣＧ０～３に供給する）を有効に乗算して、出力を生成し、これは次の層への入力又は最終の層への入力となる。乗算関数を実行することによって、メモリアレイは、別個の乗算論理回路の必要性をなくし、また電力効率も良い。ここで、入力はワード線に提供され、出力は読み出し動作中にビット線に現れる。ビット線の電流は、ビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
ＶＭＭ１４００は、メモリアレイ１４０３内のメモリセルの一方向調整を実施する。すなわち、各セルは消去され、次いで、浮遊ゲートの所望の電荷に達するまで部分的にプログラムされる。過多の電荷が浮遊ゲートにある場合（誤った値がセル内に記憶されるなど）、セルは消去されなければならず、一連の部分的なプログラミング動作をやり直さなければならい。示されるように、同じ消去ゲートを共有する２つの行は、一緒に消去される必要があり（ページ消去として知られる）、その後、各セルは、浮遊ゲートの所望の電荷に達するまで部分的にプログラムされる。
図１５は、ＶＭＭ１４００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に印加された電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
図１６は、図３に示されるタイプのメモリセルに特に適したニューロンＶＭＭ１６００を示し、入力層と次の層との間でシナプス及びニューロンの一部として利用される。ＶＭＭ１６００は、不揮発性メモリセルのメモリアレイ１６０３、基準アレイ１６０１、及び基準アレイ１６０２を備える。ＥＧ線が垂直に延びている一方で、ＣＧ線及びＳＬ線は水平に延びている。ＶＭＭ１６００は、ＶＭＭ１６００が双方向調整を実装することを除いてＶＭＭ１４００と同様であり、各個々のセルは、浮動ゲートの所望の電荷量に達するために、完全に消去され、部分的にプログラムされ、必要に応じて部分的に消去され得る。示されるように、基準アレイ１６０１及び１６０２は、端子ＢＬＲ０～３内の入力電流を制御ゲート電圧ＣＧ０～３に変換し（マルチプレクサを介したダイオード接続された基準セルの作用を通じて）、行方向でメモリセルに印加される。電流出力（ニューロン）は、ビット線に接続されたメモリセルからの全ての電流を合計するビット線内にある。
図１７は、ＶＭＭ１６００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に印加された電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
図１８Ａ及び１８Ｂは、プログラミング方法１８００を示す。最初に、方法は、典型的には受信されるプログラムコマンドに応じて、開始する（工程１８０１）。次に、マスプログラム動作が、全てのセルを「０」状態にプログラムする（工程１８０２）。次いで、ソフト消去が、全てのセルを、中間の弱く消去されたレベル約３～５μＡに消去する（工程１８０３）。これは、全てのセルがデジタル用途で完全消去状態、例えば、～２０～３０μＡのセル電流になる深い消去とは対照的である。次いで、ハードプログラムが、全ての選択されていないセルで実行されて、セルが実際にオフである、すなわち、これらのメモリセルが影響力のない電流を与えることを確実にするために、使用されていないセルに対して非常に深いプログラム状態までセルから電荷を除去する（工程１８０４）。次いで、ソフトプログラムが選択セルで実行されて、粗いアルゴリズムを使用して中間の弱くプログラムされたレベル約０．７～１．５μＡになるまで、セルからいくらかの電荷を除去する（工程１８０５、１８０６、１８０７）。検証動作が後に続く粗いステッププログラムサイクルが行われ、選択セルの電荷が、粗い反復方式で様々な閾値と比較される（工程１８０６及び１８０７）。粗いステッププログラムサイクルは、粗い電圧増分、及び／又は粗いプログラム時間、及び／又は粗いプログラム電流を含み、１つのプログラムステップから次のプログラムステップまでに粗いセル電流変化がもたらされる。次に、精密なプログラミングが行われ（工程１８０８～１８１３）、全てのセルが、細かいステッププログラムアルゴリズムにより、所望のレベルに応じて１００ｐＡ～２０ｎＡの範囲内の標的レベルにプログラムされる。検証動作が後に続く細かいステッププログラムサイクルが行われる（工程１８０９及び１８１０）。細かいステッププログラムサイクルは、粗い及び細かい解像度の電圧増分、及び／又はプログラム時間、及び／又はプログラム電流の組み合わせを含み得、１つのプログラムステップから次のプログラムステップまでに細かいセル電流変化がもたらされ得る。選択されたセルが所望の標的に到達すると、プログラミング動作は完了する（工程１８１１）。そうでない場合は、所望のレベルに達するまで精密プログラミング動作が繰り返される。しかしながら、試行回数が閾値数を超えると（工程１８１２）、プログラミング動作は停止し、選択されたセルは不良セルと見なされる（工程１８１３）。
図１９は、パルス変調を使用してプログラミング動作を実行するための例示的な波形１９００を示す。信号１９０１は、複数のプログラム及び検証サイクルからなる、プログラムサイクルイネーブル信号である。信号１９０２は、個々のパルスプログラムサイクルイネーブル信号である（信号１９０２＝論理「１」はプログラミングを可能にする）。検証サイクルが、個々のパルスプログラムサイクルの後に続く（信号１９０２＝論理「０」は検証を可能にする）。信号１９０３は、特定のビット線のための個々のパルスプログラムサイクルイネーブル信号である。信号１９０３は、別の特定のビット線のための個々のパルスプログラムサイクルイネーブル信号である。示されるように、信号１９０３の幅は、信号１９０４の幅よりも狭い。したがって、信号１９０３は、メモリセルの浮遊ゲートでより小さい電荷が変更されることを可能にし、プログラミングにおいてより小さい電流精度がもたらされる。プログラムサイクル１９０１内では、特定のメモリセルに対して所望のプログラミング精度を達成するために、異なるプログラムパルス幅１９０３を使用することができる。
図２０は、高電圧レベル変調を使用してプログラミング動作を実行するための例示的な波形２０００を示す。信号２００３は、特定のビット線のための個々のパルスプログラムサイクルイネーブル信号である。信号２００４は、別の特定のビット線のための個々のパルスプログラムサイクルイネーブル信号である。信号２００３及び２００４のプログラムパルス幅は、この波形では同じである。信号２００５は、プログラミングのためのソース線又は制御ゲートなどのための高電圧増分である。１つのプログラムパルスから次のプログラムパルスまで増分する。
図２１は、高電圧レベル変調を使用してプログラミング動作を実行するための例示的な波形２１００を示す。信号２１０３は、特定のビット線のための個々のパルスプログラムサイクルイネーブル信号である。信号２１０４は、別の特定のビット線のための個々のパルスプログラムサイクルイネーブル信号である。信号２１０５は、プログラミングのためのソース線又は制御ゲートなどのためのプログラム高電圧増分である。１つのプログラムパルスから次のプログラムパルスまで同じであり得るか、又は増分する。信号２１０３のプログラムパルス幅は、増分高電圧を有する複数のパルスにわたって同じである。信号２１０４のプログラムパルス幅は、同じ高電圧増分の複数のパルスの間で異なっており、例えば、第１のパルスでは狭くなっている。
図２２は、ＶＭＭマトリックス２２０１、列デコーダ２２０２、及び列ドライバ２２０３を含む、ＶＭＭシステム２２００を示す。
図２３は、図２２の列ドライバ２２０３として使用することができる、例示的な列ドライバ２３００を示す。列ドライバ２３００は、図示のように構成された、ラッチ２３０１、インバータ２３０２、ＮＯＲゲート２３０３、ＰＭＯＳトランジスタ２３０４、並びにＮＭＯＳトランジスタ２３０５及び２３０６を含む。ラッチ２３０１は、データ信号ＤＩＮ及びイネーブル信号ＥＮを受信した。ＰＭＯＳトランジスタ２３０４とＮＭＯＳトランジスタ２３０５との間のノードＢＬＩＯは、ビット線入力又は出力信号を含み、ビット線入力又は出力信号は、図２２の列デコーダ２２０２などの列デコーダを介してビット線に選択的に接続される。検知増幅器ＳＡ２３１０は、選択されたメモリセルのセル電流を読み出すように、ノードＢＬＩＯを介してビット線に結合される。検知増幅器ＳＡ２３１０は、消去又はプログラム動作の後など、選択されたメモリセルの所望の電流レベルを検証するために使用される。ＰＭＯＳトランジスタ２３０４は、禁止制御回路２３０１／２３０２／２３０３に応じてビット線をプログラミングにおいて禁止する役割を果たす。ＮＭＯＳトランジスタ２３０６は、ビット線にバイアスプログラム電流を提供する。ＮＭＯＳトランジスタ２３０５は、ビット線へのバイアスプログラム電流を可能にし、したがって、選択されたメモリセルのプログラミングが可能になる。したがって、ＮＭＯＳトランジスタ２３０５のゲートへのプログラム制御信号（図１９の信号１９０２／１９０３、図２０の信号２００３／２００４、図２１の信号２１０３／２１０４など）が、選択されたセルのプログラムを可能にする。
図２４は、基準アレイマトリクス２４０１ａ、２４０１ｂ、２４０１ｃ、及び２４０１ｄ、並びにＶＭＭマトリクス２４０２ａ、２４０２ｂ、２４０２ｃ、及び２４０２ｄを含む、例示的なＶＭＭシステム２４００を示す。各ＶＭＭマトリクスは、独自の基準アレイマトリクスを有する。
図２５は、単一の基準アレイマトリクス２５０１、並びにＶＭＭマトリクス２５０２ａ、２５０２ｂ、２５０２ｃ、及び２５０２ｄを含む、例示的なＶＭＭシステム２５００を示す。単一の基準アレイマトリクス２５０１は、複数のＶＭＭマトリクスにわたって共有される。
図２６は、図２４の基準マトリクス２４０１ａ～ｄ、図２５のマトリクス２５０１、又は図２８及び図２９の基準マトリクス２８０１若しくは２９０１として使用することができる、例示的な基準マトリクス２６００を示す。基準マトリクス２６００は、共通の制御ゲート信号２６０３及びソース線基準信号２６０４に結合された基準メモリセル２６０２ａ、２６０２ｂ、２６０２ｃ、及び２６０２ｘ、並びに、読み出し又は検証動作で使用する複数のビット線基準信号を提供する、ビット線基準デコーダ２６０１を含む。例えば、基準メモリセル２６０２ａ～ｘは、１００ｐＡ／２００ｐＡ／３００ｐＡ／．．．／３０ｎＡの増分電流レベルを提供することができる。又は、基準メモリセル２６０２ａ～ｘは、基準メモリセルごとに１００ｐＡの一定電流レベルを提供することができる。この場合、基準メモリセル２６０２ａ～ｘの組み合わせが、温度計コード方式で１００ｐＡ／２００ｐＡ／３００ｐＡ／などを生成するなど、異なる基準電流レベルを生成するために使用される。所望の基準電流レベルを生成するために、一定及び／又は増分の、基準電流レベルの他の組み合わせを使用することができる。更に、２つの基準セル間の差電流を使用して、１００ｐＡの基準電流＝２５０ｐＡの基準電流－１５０ｐＡの基準電流などの基準メモリセル電流を生成することができる。これは、例えば、温度に対して補償される基準電流を生成するために使用される。
図２７は、図２４の基準マトリクス２４０１ａ～ｄ、図２５のマトリクス２５０１、又は図２８及び図２９の基準マトリクス２８０１若しくは２９０１として使用することができる、例示的な基準マトリクス２７００を示す。基準マトリクス２７００は、共通の制御ゲート基準信号２７０３、消去ゲート基準信号２７０４、及びソース線基準信号２７０５に結合された基準メモリセル２７０２ａ、２７０２ｂ、２７０２ｃ、及び２７０２ｘ、並びに、読み出し又は検証動作で使用する複数のビット線基準信号を提供する、ビット線基準デコーダ２７０１を含む。所望の基準電流レベルを生成するために、一定及び／又は増分の、基準電流レベルの組み合わせを、図２６の場合と同様に使用することができる。
図２８は、Ｉｃｅｌｌ ＰＭＯＳ比較回路２８００を示し、Ｉｃｅｌｌ ＰＭＯＳ比較回路２８００は、示されるように配置された、ＰＭＯＳトランジスタ２８０１及び２８０４、ＮＭＯＳカスコーディングトランジスタ２８０２及び２８０５、ＶＭＭメモリアレイ２８２０からの選択されたメモリセル２８０３、並びに基準マトリクス２８０６（基準マトリクス２５００又は２６００など）を含む。ＮＭＯＳトランジスタ２８０２及び２８０５は、基準ビット線を所望の電圧レベルにバイアスするために使用される。出力電流Ｉｏｕｔは、選択されたメモリセル２８０３に記憶された値を示す電流値である。出力ノード２８１０の電圧レベルは、選択されたメモリセル２８０３内の電流と基準マトリクス２８００６からの基準電流との比較結果を示す。ノード２８０１の電圧は、選択されたメモリセル２８０３内の電流が基準マトリクス２８０６からの基準電流よりも大きい（又は小さい）場合、Ｖｄｄまで上昇する（又は接地まで低下する）。
図２９は、Ｉｃｅｌｌ ＰＭＯＳ比較回路２９００を示し、Ｉｃｅｌｌ ＰＭＯＳ比較回路２９００は、示されるように配置された、ＰＭＯＳトランジスタ２９０１、スイッチ２９０２、２９０３、及び２９０４、ＮＭＯＳカスコーディングトランジスタ２９０５及び２９０７、ＶＭＭメモリアレイ２９２０からの選択されたメモリセル２９０８、基準マトリクス２９０６（基準マトリクス２６００又は２７００など）、並びにコンパレータ２９０９を含む。出力ＣＯＭＰ＿ＯＵＴは、基準電流と比較した選択されたメモリセル２９０８に記憶された値を示す電流値である。Ｉｃｅｌｌ比較回路は、２つのミラーＰＭＯＳトランジスタ間の不整合を排除するために、時間多重化された単一のＰＭＯＳ電流ミラーとして使用することによって機能する。第１の期間では、Ｓ０及びＳ１は閉じており、Ｓ２は開いている。基準メモリマトリクス２９０６からの電流は、ＰＭＯＳトランジスタ２９０１に記憶（保持）される。次の期間では、Ｓ０及びＳ１は開いており、Ｓ２は閉じている。記憶された基準電流は、メモリセル２９０８からの電流と比較され、比較結果は出力ノード２９１０に示される。任意選択的に、コンパレータは、ノード２９０１の電圧を基準電圧ＶＲＥＦと比較して、比較の結果を示すことができる。ここで、基準電流をサンプリングして保持し、選択されたメモリセル２９０２からの電流をサンプリングし、ＰＭＯＳトランジスタ２９０１内に保持して、基準電流と比較する。
別の実施形態では、図３０に示すようなアレイ漏れ補償回路３０５１を単一のＰＭＯＳミラー回路と共に使用して、ＶＭＭアレイ３０２０の漏れをサンプリング（Ｓ３閉鎖）し（全てのワード線がオフであり、ビット線の漏れ電流が保持ＰＭＯＳにサンプリングされる）、保持トランジスタ内の漏れを保持（Ｓ３開放）することができる。次いで、この漏れを比較期間内の選択されたメモリセル内の電流から差し引いて、比較のためのＶＭＭアレイ３０２０からの実際のメモリセル電流を得る。これは、本明細書に記載される全ての比較回路に使用することができる。これは、基準アレイ漏れ補償のために使用することができる。
図３１は、電流源３１０１、スイッチ３１０２、コンデンサ３１０３、コンパレータ３１０４、及びカウンタ３１０５を含む、Ｉｃｅｌｌ－デジタルデータ回路３１００を示す。比較期間の開始時、信号３１１０は接地にプルダウンされる。次いで、信号３１１０は、セル電流３１０１（上述のようにアレイ漏れ補償を有するＶＭＭメモリアレイから抽出される）に応じて上昇を開始する。ランプ速度は、セル電流３１０１及びコンデンサ３１０３に比例する。次いで、コンパレータ３１０４の出力３１１２により、カウンタ３１０５は、デジタル方式のカウントを開始することが可能になる。ノード３１１０の電圧が電圧レベルＶＲＥＦ３１１１に達すると、コンパレータ３１０４は極性を切り替え、カウンタ３１０５を停止させる。デジタル出力Ｑ＜Ｎ：０＞ ３１１３の値は、セル電流３１０１の値を示す。
図３２は、Ｉｃｅｌｌ－デジタルデータ回路３１００の動作のための波形３２００を示す。信号３２０１は、ランプ電圧（図３１の信号３１１０に対応する）である。信号３２０１のランプ速度が、異なるセル電流レベルに対して示される。信号３２０５及び３２０７は、２つの異なるセル電流に対するコンパレータの出力（図３１の信号３１２１に対応する）である。信号３２０６及び３２０８は、上記２つの異なるセル電流に対するデジタル出力Ｑ＜Ｎ：０＞である。
図３３は、メモリセル電流源３３０１、スイッチ３３０２、コンデンサ３３０３、及びコンパレータ３３０４を含む、Ｉｃｅｌｌ－スロープ回路３３００を示す。メモリセル電流は、上述のようにアレイ漏れ補償を有するＶＭＭメモリアレイから抽出される。比較期間の開始時、信号３３１０は接地にプルダウンされる。次いで、信号３３１０は、セル電流３３０１（ＶＭＭメモリアレイから抽出される）に応じて上昇を開始する。ランプ速度は、セル電流３３０１及びコンデンサ３３０３に比例する。固定比較期間後、ノード３３１０の電圧は、コンパレータ３３０４によって基準電圧ＶＲＥＦｘ ３３１１と比較される。ＶＲＥＦｘ ３３１１は、例えば、１６個の基準レベルに対して０．１Ｖ、０．２Ｖ、０．３Ｖ、．．、１．５Ｖ、１．６Ｖである。したがって、各レベルは、１６個の異なる電流レベルのための電流レベルに対応する。コンパレータ３３０４の出力は、セル電流３３０１の値を示す。ノード３３１０の電圧（固定比較期間後にＳ１を遮断することによってコンデンサ３３０３に保持され得る）を１６個の基準レベルと比較するために、１６個の基準レベルと共に１６個のコンパレータが使用されるか、又は１６個の基準レベルについて１６倍多重化された基準レベルと共に１つのコンパレータが使用される。
図３４は、Ｉｃｅｌｌ－スロープ回路３３００の動作のための波形３４００を示す。信号３４０１は、イネーブル信号３４０２の立ち上がりエッジにおいて異なる電圧レベル（Ｖｃｅｌｌｘ）を有する異なるランプ速度を示す。電圧Ｖｃｅｌｌｘは、基準電圧と比較されて、セル電流の値を示す（図３３の基準電圧ＶＲＥＦｘ ３３１１）。
図３５は、メモリセル電流源３５０４、スイッチ３５０２、コンデンサ３５０１、ＮＭＯＳカスコーディングトランジスタ３５０３、及びコンパレータ３５０５を含む、Ｉｃｅｌｌ－スロープ変換回路３５００を示す。メモリセル電流３５０１は、上述のようにアレイ漏れ補償を有するＶＭＭメモリアレイから抽出される。ＮＭＯＳ３５０３は、選択されたメモリセル（Ｉｃｅｌｌ３５０４として示される）のビット線の電圧をバイアスするために使用される。動作は、ランプ方向がランプアップではなくランプダウンであることを除いて、図３１の動作と同様である。
図３６は、Ｉｃｅｌｌ－スロープ回路３５００の動作のための波形３６００を示す。
本明細書で使用される場合、「の上方に（over）」及び「に（on）」という用語は両方とも、「に直接」（中間材料、要素、又は空間がそれらの間に何ら配設されない）、及び「の上に間接的に」（中間材料、要素、又は空間がそれらの間に配設される）を包括的に含むことに留意するべきである。同様に、「隣接した」という用語は、「直接隣接した」（中間材料、要素、又は空間がそれらの間に何ら配設されない）、及び「間接的に隣接した」（中間材料、要素、又は空間がそれらの間に配設される）を含み、「に取り付けられた」は、「に直接取り付けられた」（中間材料、要素、又は空間がそれらの間に何ら配設されない）、及び「に間接的に取り付けられた」（中間材料、要素、又は空間がそれらの間に配設される）を含み、「電気的に結合された」は、「に直接電気的に結合された」（要素を一緒に電気的に連結する中間材料又は要素がそれらの間にない）、及び「に間接的に電気的に結合された」（要素を一緒に電気的に連結する中間材料又は要素がそれらの間にある）を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板に直接、中間材料／要素をそれらの間に何ら伴わずに、形成すること、並びにその要素を基板の上に間接的に、１つ以上の中間材料／要素をそれらの間に伴って、形成することを含み得る。

Claims (13)

  1. フラッシュメモリセルの行及び列を含むベクトルマトリクス乗算アレイ内の選択されたメモリセルをプログラミングする方法であって、該方法は、
    前記アレイ内の複数のフラッシュメモリセルをプログラミングするステップと、
    前記アレイ内の前記複数のフラッシュメモリセルを部分的に消去するステップと、
    前記複数のフラッシュメモリセル内の選択されたセルに対して第１のプログラム動作を実行するステップであって、第１のレベルの電荷は、前記選択されたセルの浮遊ゲートに記憶される、ステップと、
    前記選択されたセルに対して第２のプログラム動作を実行するステップであって、追加のレベルの電荷が、前記選択されたセルの前記浮遊ゲートに記憶される、ステップと、
    前記選択されたセルに所望のレベルの電荷が記憶されるまで、又は前記第２のプログラム動作が最大回数実行されるまで、前記第２のプログラム動作を繰り返すステップと、を含む、方法。
  2. 各第２のプログラム動作の後に検証工程が実行され、前記検証工程が第１の結果をもたらすと、前記繰り返すステップが行われ、前記検証工程が第２の結果をもたらすと、前記繰り返すステップが行われない、請求項１に記載の方法。
  3. 使用されていないメモリセルのためのハードプログラム工程を更に含む、請求項１に記載の方法。
  4. 前記第１のプログラム動作及び前記第２のプログラム動作はパルス変調を利用する、請求項１に記載の方法。
  5. 前記第１のプログラム動作及び前記第２のプログラム動作はプログラム電流変調を利用する、請求項１に記載の方法。
  6. 前記第１のプログラム動作及び前記第２のプログラム動作は、ある選択されたメモリセルにパルス変調を利用し、別の選択されたメモリセルに一定のプログラムパルスを利用する、請求項１に記載の方法。
  7. 前記第１のプログラム動作及び前記第２のプログラム動作は高電圧レベル変調を利用する、請求項１に記載の方法。
  8. 前記検証工程は、前記選択されたセルによって引き込まれた電流を、基準マトリクスによって引き込まれた電流と比較することを含む、請求項２に記載の方法。
  9. 前記メモリセルは、分割ゲートメモリセルである、請求項１に記載の方法。
  10. 前記メモリセルは、積層ゲートメモリセルである、請求項１に記載の方法。
  11. 前記基準マトリクスは、共有された制御ゲート及び共有された消去ゲートを含む、請求項８に記載の方法。
  12. 前記基準マトリクスは、各基準セルに対して共有された制御ゲート及び別個の消去ゲートを含む、請求項８に記載の方法。
  13. 基準電流は、基準マトリクスからの複数の定電流、増分電流、及び差分電流から組み合わされる、請求項１に記載の方法。
JP2020548820A 2018-03-14 2019-01-18 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリをプログラミングするための方法及び装置 Active JP7217753B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023008471A JP2023065351A (ja) 2018-03-14 2023-01-24 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリをプログラミングするための方法及び装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862642878P 2018-03-14 2018-03-14
US62/642,878 2018-03-14
US15/990,395 2018-05-25
US15/990,395 US10910061B2 (en) 2018-03-14 2018-05-25 Method and apparatus for programming analog neural memory in a deep learning artificial neural network
PCT/US2019/014357 WO2019177691A1 (en) 2018-03-14 2019-01-18 Method and apparatus for programming analog neural memory in a deep learning artificial neural network

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023008471A Division JP2023065351A (ja) 2018-03-14 2023-01-24 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリをプログラミングするための方法及び装置

Publications (2)

Publication Number Publication Date
JP2021517706A JP2021517706A (ja) 2021-07-26
JP7217753B2 true JP7217753B2 (ja) 2023-02-03

Family

ID=67904305

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020548820A Active JP7217753B2 (ja) 2018-03-14 2019-01-18 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリをプログラミングするための方法及び装置
JP2023008471A Pending JP2023065351A (ja) 2018-03-14 2023-01-24 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリをプログラミングするための方法及び装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023008471A Pending JP2023065351A (ja) 2018-03-14 2023-01-24 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリをプログラミングするための方法及び装置

Country Status (7)

Country Link
US (2) US10910061B2 (ja)
EP (2) EP4141875A1 (ja)
JP (2) JP7217753B2 (ja)
KR (2) KR102457901B1 (ja)
CN (1) CN111837190A (ja)
TW (2) TWI810613B (ja)
WO (1) WO2019177691A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10956814B2 (en) * 2018-08-27 2021-03-23 Silicon Storage Technology, Inc. Configurable analog neural memory system for deep learning neural network
US10741568B2 (en) * 2018-10-16 2020-08-11 Silicon Storage Technology, Inc. Precision tuning for the programming of analog neural memory in a deep learning artificial neural network
US11755899B2 (en) * 2019-11-11 2023-09-12 Silicon Storage Technology, Inc. Precise programming method and apparatus for analog neural memory in an artificial neural network
US11636322B2 (en) * 2020-01-03 2023-04-25 Silicon Storage Technology, Inc. Precise data tuning method and apparatus for analog neural memory in an artificial neural network
US11393535B2 (en) * 2020-02-26 2022-07-19 Silicon Storage Technology, Inc. Ultra-precise tuning of analog neural memory cells in a deep learning artificial neural network
TWM614073U (zh) * 2020-05-04 2021-07-01 神亞科技股份有限公司 用於執行卷積神經網路運算的處理裝置
US11682459B2 (en) * 2020-05-13 2023-06-20 Silicon Storage Technology, Inc. Analog neural memory array in artificial neural network comprising logical cells and improved programming mechanism
CN111625760B (zh) * 2020-06-01 2022-07-05 山东大学 基于闪存电学特性的存算一体方法
KR102525212B1 (ko) * 2020-12-03 2023-04-21 광운대학교 산학협력단 정전용량을 이용한 가중치 메모리 시스템 및 이의 동작방법
JP2024504003A (ja) * 2020-12-23 2024-01-30 シリコン ストーリッジ テクノロージー インコーポレイテッド 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の入力及びデジタル出力機構

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128625A (ja) 2005-11-07 2007-05-24 Fujitsu Ltd 不揮発性半導体記憶装置及び不揮発性メモリセル消去方法
JP2007520029A (ja) 2004-01-27 2007-07-19 サンディスク　コーポレイション 非揮発性メモリの雑／ファインプログラミングのための可変電流シンキング
JP2011527069A (ja) 2008-07-02 2011-10-20 サンディスク コーポレイション 不揮発性記憶装置のオーバープログラムの訂正
US20160141041A1 (en) 2014-11-18 2016-05-19 Sandisk Technologies Inc. Partial Erase of Nonvolatile Memory Blocks
WO2017200883A1 (en) 2016-05-17 2017-11-23 Silicon Storage Technology, Inc. Deep learning neural network classifier using non-volatile memory array

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
JP3145894B2 (ja) 1995-03-10 2001-03-12 日本電気株式会社 電気的に書込み・消去可能な不揮発性半導体記憶装置
JPH10134587A (ja) * 1996-10-29 1998-05-22 Sony Corp 不揮発性半導体記憶装置
US6153494A (en) * 1999-05-12 2000-11-28 Taiwan Semiconductor Manufacturing Company Method to increase the coupling ratio of word line to floating gate by lateral coupling in stacked-gate flash
EP1436815B1 (en) 2001-09-18 2010-03-03 Kilopass Technology, Inc. Semiconductor memory cell and memory array using a breakdown phenomena in an ultra-thin dielectric
US6724029B2 (en) 2002-02-21 2004-04-20 International Business Machines Corporation Twin-cell flash memory structure and method
US6747310B2 (en) 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
US7630237B2 (en) * 2003-02-06 2009-12-08 Sandisk Corporation System and method for programming cells in non-volatile integrated memory devices
US7002943B2 (en) * 2003-12-08 2006-02-21 Airtight Networks, Inc. Method and system for monitoring a selected region of an airspace associated with local area networks of computing devices
US7474559B1 (en) 2005-08-30 2009-01-06 Xilinx, Inc. Circuit and method for employing unused configuration memory cells as scratchpad memory
KR100984563B1 (ko) * 2005-09-09 2010-10-01 샌디스크 코포레이션 프로그램 혼란이 감소된 ｎａｎｄ 타입 비휘발성 메모리의최종-최초 모드 및 프로그래밍 방법
US7456465B2 (en) 2005-09-30 2008-11-25 Freescale Semiconductor, Inc. Split gate memory cell and method therefor
JP4938020B2 (ja) * 2005-11-10 2012-05-23 サンディスク コーポレイション タイミング情報による逆結合効果
EP1843356A1 (en) 2006-04-03 2007-10-10 STMicroelectronics S.r.l. Method and system for refreshing a memory device during reading thereof
US7466575B2 (en) * 2006-05-12 2008-12-16 Anobit Technologies Ltd. Memory device programming using combined shaping and linear spreading
KR101401558B1 (ko) * 2007-08-20 2014-06-09 삼성전자주식회사 플래시 메모리 장치, 그것의 프로그램 및 소거 방법들,그리고 그것을 포함하는 메모리 시스템 및 컴퓨터 시스템
US7848158B2 (en) 2008-05-05 2010-12-07 Micron Technologies, Inc. Methods and apparatuses for programming flash memory using modulated pulses
US8144511B2 (en) * 2009-08-19 2012-03-27 Sandisk Technologies Inc. Selective memory cell program and erase
TW201225088A (en) * 2010-07-21 2012-06-16 Mosaid Technologies Inc Multipage program scheme for flash memory
US8499227B2 (en) * 2010-09-23 2013-07-30 Micron Technology, Inc. Memory quality monitor based compensation method and apparatus
US8837210B2 (en) * 2012-08-23 2014-09-16 Infineon Technologies Ag Differential sensing method and system for STT MRAM
US9165629B2 (en) 2013-03-12 2015-10-20 Taiwan Semiconductor Manufacturing Co., Ltd. Method and apparatus for MRAM sense reference trimming
US9275014B2 (en) * 2013-03-13 2016-03-01 Qualcomm Incorporated Vector processing engines having programmable data path configurations for providing multi-mode radix-2x butterfly vector processing circuits, and related vector processors, systems, and methods
US10120405B2 (en) * 2014-04-04 2018-11-06 National Instruments Corporation Single-junction voltage reference
KR20160050534A (ko) * 2014-10-30 2016-05-11 에스케이하이닉스 주식회사 누설 전류 감지부를 구비하는 반도체 집적 회로 장치 및 그 구동방법
WO2016068992A1 (en) * 2014-10-31 2016-05-06 Hewlett Packard Enterprise Development Lp Reusing sneak current in accessing memory cells
WO2016099438A1 (en) * 2014-12-15 2016-06-23 Hewlett Packard Enterprise Development Lp Nonvolatile memory cross-bar array
US9361995B1 (en) * 2015-01-21 2016-06-07 Silicon Storage Technology, Inc. Flash memory system using complementary voltage supplies
US9343131B1 (en) * 2015-02-24 2016-05-17 International Business Machines Corporation Mismatch and noise insensitive sense amplifier circuit for STT MRAM
GB2537484B (en) * 2015-03-20 2019-07-03 HGST Netherlands BV Read level grouping for increased flash performance
US10134475B2 (en) 2015-03-31 2018-11-20 Silicon Storage Technology, Inc. Method and apparatus for inhibiting the programming of unselected bitlines in a flash memory system
US9852024B2 (en) * 2016-04-19 2017-12-26 Winbond Electronics Corporation Apparatus and method for read time control in ECC-enabled flash memory
US10269440B2 (en) 2016-05-17 2019-04-23 Silicon Storage Technology, Inc. Flash memory array with individual memory cell read, program and erase
US10120649B2 (en) * 2016-07-29 2018-11-06 Microunity Systems Engineering, Inc. Processor and method for outer product accumulate operations
US9966127B2 (en) * 2016-10-12 2018-05-08 Micron Technology, Inc. Compensating for variations in selector threshold voltages
US10522226B2 (en) * 2018-05-01 2019-12-31 Silicon Storage Technology, Inc. Method and apparatus for high voltage generation for analog neural memory in deep learning artificial neural network

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007520029A (ja) 2004-01-27 2007-07-19 サンディスク　コーポレイション 非揮発性メモリの雑／ファインプログラミングのための可変電流シンキング
JP2007128625A (ja) 2005-11-07 2007-05-24 Fujitsu Ltd 不揮発性半導体記憶装置及び不揮発性メモリセル消去方法
JP2011527069A (ja) 2008-07-02 2011-10-20 サンディスク コーポレイション 不揮発性記憶装置のオーバープログラムの訂正
US20160141041A1 (en) 2014-11-18 2016-05-19 Sandisk Technologies Inc. Partial Erase of Nonvolatile Memory Blocks
WO2017200883A1 (en) 2016-05-17 2017-11-23 Silicon Storage Technology, Inc. Deep learning neural network classifier using non-volatile memory array
JP2019517138A (ja) 2016-05-17 2019-06-20 シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． 不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器

Also Published As

Publication number Publication date
KR20220147698A (ko) 2022-11-03
WO2019177691A1 (en) 2019-09-19
US20210142854A1 (en) 2021-05-13
TWI736845B (zh) 2021-08-21
US20190287621A1 (en) 2019-09-19
TWI810613B (zh) 2023-08-01
KR102457901B1 (ko) 2022-10-21
TW201939516A (zh) 2019-10-01
KR20200101459A (ko) 2020-08-27
JP2021517706A (ja) 2021-07-26
US10910061B2 (en) 2021-02-02
JP2023065351A (ja) 2023-05-12
CN111837190A (zh) 2020-10-27
TW202143243A (zh) 2021-11-16
EP3766072A4 (en) 2021-12-15
EP3766072A1 (en) 2021-01-20
EP3766072B1 (en) 2022-11-30
EP4141875A1 (en) 2023-03-01

Similar Documents

Publication Publication Date Title
JP7217753B2 (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリをプログラミングするための方法及び装置
JP7288461B2 (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリの高電圧生成のための方法及び装置
JP7210585B2 (ja) 人工ニューラルネットワーク内のアナログニューロモーフィックメモリのための高精度かつ高効率な調整機構及びアルゴリズム
JP7281535B2 (ja) 深層学習ニューラルネットワークで使用されるアナログニューラルメモリシステムのメモリセルに対する温度補償及び漏れ補償
JP7270746B2 (ja) ２ゲート不揮発性メモリセルのアレイを使用するニューラルネットワーク分類子
JP7253563B2 (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のデコーダ
JP7266665B2 (ja) ディープラーニング人工ニューラルネットワークにおけるアナログニューロメモリ内の基準トランジスタ及びメモリセルに対する補償
JP7209811B2 (ja) 深層学習ニューラルネットワーク用の構成可能なアナログニューラルメモリシステム
JP2023515679A (ja) 人工ニューラルネットワーク内の差分セル対にシナプシス重みを記憶するアナログニューラルメモリアレイ
KR20210105428A (ko) 사용 빈도에 기초하여 프로그램 상태 간극을 가변시키기 위한 메모리 디바이스 및 방법
JP2023539845A (ja) アナログニューラルメモリにおける書き込みと検証との同時動作
JP7270747B2 (ja) ４ゲート不揮発性メモリセルのアレイを使用するニューラルネットワーク分類器
WO2023196000A1 (en) Vector-by-matrix-multiplication array utilizing analog inputs
WO2023014387A1 (en) Input circuitry for analog neural memory in a deep learning artificial neural network
WO2023018432A1 (en) Hybrid memory system configurable to store neural memory weight data in analog form or digital form
WO2023196002A1 (en) Vector-by-matrix-multiplication array utilizing analog outputs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230124

R150 Certificate of patent or registration of utility model

Ref document number: 7217753

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150