JP7353519B2 - 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのためのワード線及び制御ゲート線タンデムデコーダ - Google Patents

深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのためのワード線及び制御ゲート線タンデムデコーダ Download PDF

Info

Publication number
JP7353519B2
JP7353519B2 JP2022573629A JP2022573629A JP7353519B2 JP 7353519 B2 JP7353519 B2 JP 7353519B2 JP 2022573629 A JP2022573629 A JP 2022573629A JP 2022573629 A JP2022573629 A JP 2022573629A JP 7353519 B2 JP7353519 B2 JP 7353519B2
Authority
JP
Japan
Prior art keywords
decoder
vmm
array
control gate
cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022573629A
Other languages
English (en)
Other versions
JP2023520255A (ja
Inventor
バン トラン、ヒュー
ブー、サン
トリン、ステファン
ホン、スタンレー
リ、アン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Silicon Storage Technology Inc
Original Assignee
Silicon Storage Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Silicon Storage Technology Inc filed Critical Silicon Storage Technology Inc
Publication of JP2023520255A publication Critical patent/JP2023520255A/ja
Priority to JP2023151412A priority Critical patent/JP2023179502A/ja
Application granted granted Critical
Publication of JP7353519B2 publication Critical patent/JP7353519B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/08—Address circuits; Decoders; Word-line control circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G11C16/0425—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing a merged floating gate and select transistor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G11C16/0433—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing a single floating gate transistor and one or more separate select transistors
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0483—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells having several storage transistors connected in series
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/24—Bit-line control circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/26—Sensing or reading circuits; Data output circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Neurology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Non-Volatile Memory (AREA)
  • Read Only Memory (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)

Description

（優先権の主張）
本出願は、２０２０年６月３日に出願された「Ｗｏｒｄ Ｌｉｎｅ ａｎｄ Ｃｏｎｔｒｏｌ Ｇａｔｅ Ｌｉｎｅ Ｔａｎｄｅｍ Ｄｅｃｏｄｅｒ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許仮出願第６３／０３３，９５３号、及び２０２０年１１月２５日に出願された「Ｗｏｒｄ Ｌｉｎｅ ａｎｄ Ｃｏｎｔｒｏｌ Ｇａｔｅ Ｌｉｎｅ Ｔａｎｄｅｍ Ｄｅｃｏｄｅｒ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許出願第１７／１０４，３８５号の優先権を主張する。
（発明の分野）
タンデム行デコーダの様々な実施形態が開示される。タンデム行デコーダの各実施形態は、ワード線デコーダと、ワード線デコーダに交差結合された制御ゲートデコーダと、を備える。タンデム行デコーダは、タンデム行デコーダが有効にされない場合、ワード線又は制御ゲート線にわずかな漏れ電流を示すか又は漏れ電流を示さない。
人工ニューラルネットワークは、生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）を模倣しており、多数の入力に依存し得、かつ、一般的に未知である関数を推定する又は近似するために使用される。人工ニューラルネットワークは、概して、メッセージを交換する相互接続した「ニューロン」の層を含む。
図１は人工ニューラルネットワークを示しており、図中、円は、入力又はニューロンの層を表す。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいてチューニングされ得る数値の重みを有する。これにより、ニューラルネットワークは入力に適応し、学習可能になる。典型的には、ニューラルネットワークは、複数の入力の層を含む。典型的には、１つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。各レベルでニューロンは、シナプスから受信したデータに基づいて個々に又は集合的に決定を行う。
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題の１つは、適切なハードウェア技術の欠如である。実際には、実用ニューラルネットワークは、非常に多数のシナプスに依拠しており、これによりニューロン間の高い接続性、すなわち、非常に高度な計算処理の並列化が可能となる。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専用グラフィックプロセッシングユニットクラスタによって実現が可能である。しかしながら、高コストに加え、これらのアプローチはまた、生物学的ネットワークが主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しないのと比較して、エネルギー効率が劣っていることに悩まされている。人工ニューラルネットワークにはＣＭＯＳアナログ回路が使用されてきたが、ほとんどのＣＭＯＳ実装シナプスは、必要な多数のニューロン及びシナプスを前提とすると、嵩高過ぎていた。
出願人は以前に、参照により組み込まれる米国特許公開第２０１７／０３３７４６６号として公開された米国特許出願第１５／５９４，４３９号において、シナプスとして１つ以上の不揮発性メモリアレイを利用する人工（アナログ）ニューラルネットワークを開示した。不揮発性メモリアレイは、アナログニューラルメモリとして動作する。ニューラルネットワークデバイスは、第１の複数の入力を受信して、それから第１の複数の出力を生成するように構成されている第１の複数のシナプス、及び第１の複数の出力を受信するように構成された第１の複数のニューロンを含む。第１の複数のシナプスは複数のメモリセルを含み、各メモリセルは、半導体基板内に形成された、間にチャネル領域が延在している離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に配設され、チャネル領域の第１の部分から絶縁された浮遊ゲートと、チャネル領域の第２の部分の上方に配設され、チャネル領域の第２の部分から絶縁された非浮遊ゲートと、を含む。複数のメモリセルの各々は、浮遊ゲート上の多くの電子に対応する重み値を記憶するように構成されている。複数のメモリセルは、第１の複数の入力に、記憶された重み値を乗算して第１の複数の出力を生成するように構成される。
＜不揮発性メモリセル＞
デジタル不揮発性メモリは周知である。例えば、参照により本明細書に組み込まれる米国特許第５，０２９，１３０号（「’１３０号特許」）は、フラッシュメモリセルの一種であるスプリットゲート不揮発性メモリセルのアレイを開示する。このようなメモリセル２１０を図２に示す。各メモリセル２１０は、半導体基板１２内に形成されたソース領域１４とドレイン領域１６と、を含み、ソース領域１４とドレイン領域１６の間にはチャネル領域１８がある。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方に絶縁されて形成され（並びに、チャネル領域１８の第１の部分の導電性を制御して）、ソース領域１４の一部分の上方にかけて形成される。ワード線端子２２（典型的には、ワード線に結合される）は、チャネル領域１８の第２の部分の上方に配設され、チャネル領域１８の第２の部分から絶縁された、（並びに、チャネル領域１８の第２の部分の導電性を制御する）第１の部分と、浮遊ゲート２０の上方で上に延在する第２の部分と、を有する。浮遊ゲート２０及びワード線端子２２は、ゲート酸化物によって基板１２から絶縁される。ビット線端子２４はドレイン領域１６に結合される。
ワード線端子２２に高圧正電圧を印加することによって、メモリセル２１０に対して消去が行われ（電子が浮遊ゲートから除去される）、これによって、浮遊ゲート２０の電子は、浮遊ゲート２０からワード線端子２２までそれらの間にある絶縁体の中をファウラーノルドハイム（Fowler-Nordheim）トンネリングを介して通過する。
メモリセル２１０は、ワード線端子２２に正電圧、及びソース領域１４に正電圧を印加することによってプログラムされる（電子が浮遊ゲートに印加される）。電子電流は、ソース領域１４（ソース線端子）からドレイン領域１６に向かって流れる。電子は加速し、ワード線端子２２と浮遊ゲート２０との間の間隙に達すると、発熱する。熱せられた電子の一部が、浮遊ゲート２０からの静電引力に起因して、浮遊ゲート２０にゲート酸化物を介して注入される。
メモリセル２１０は、ドレイン領域１６及びワード線端子２２に正の読み出し電圧を印加する（ワード線端子の下方のチャネル領域１８の部分をオンにする）ことによって、読み出される。浮遊ゲート２０が正に帯電する（すなわち、電子を消去する）と、浮遊ゲート２０の下方のチャネル領域１８の部分も同様にオンになり、電流はチャネル領域１８を流れ、これは、消去された状態つまり「１」の状態として検知される。浮遊ゲート２０が負に帯電する（すなわち、電子でプログラムされる）と、浮遊ゲート２０の下方のチャネル領域の部分はほとんど又は完全にオフになり、電流はチャネル領域１８を流れず（又はほとんど流れず）、これは、プログラムされた状態つまり「０」の状態として検知される。
表１は、読み出し、消去、及びプログラム動作を実行するためのメモリセル１１０の端子に印加され得る典型的な電圧範囲を示す。
Figure 0007353519000001
 「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線端子に出力される読み出しモードである。
図３は、制御ゲート（control gate、ＣＧ）端子２８を追加した、図２のメモリセル２１０と同様のメモリセル３１０を示す。制御ゲート端子２８は、プログラミング中に高電圧（例えば、１０Ｖ）、消去中に低又は負電圧（例えば、０ｖ／－８Ｖ）、読み出し中に低又は中程度電圧（例えば、０ｖ／２．５Ｖ）でバイアスされる。他の端子は、図２の端子と同様にバイアスされる。
図４は、ソース領域１４と、ドレイン領域１６と、チャネル領域１８の第１の部分の上方にある浮遊ゲート２０と、チャネル領域１８の第２の部分の上方にある選択ゲート２２（典型的には、ワード線、ＷＬ、に結合される）と、浮遊ゲート２０の上方にある制御ゲート２８と、ソース領域１４の上方にある消去ゲート３０と、を備える、４ゲートメモリセル４１０を示す。この構成は、あらゆる目的のため参照により本明細書に組み込まれる、米国特許第６，７４７，３１０号に記載されている。ここで、全てのゲートは、浮遊ゲート２０を除いて、非浮遊ゲートであり、つまり、それらは電圧源に電気的に接続される又は接続可能である。プログラミングは、熱せられた電子がチャネル領域１８から浮遊ゲート２０にその電子自体を注入することによって実行される。消去は、電子が浮遊ゲート２０から消去ゲート３０へトンネリングすることによって実行される。
表２は、読み出し、消去、及びプログラム動作を実行するためのメモリセル３１０の端子に印加され得る典型的な電圧範囲を示す。
Figure 0007353519000002
 「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線端子に出力される読み出しモードである。
図５は、メモリセル５１０が消去ゲート（erase gate、ＥＧ）端子を含まないことを除いて、図４のメモリセル４１０と同様のメモリセル５１０を示す。消去は、基板１８を高電圧にバイアスし、制御ゲートＣＧ端子２８を低電圧又は負電圧にバイアスすることによって行われる。代替的に、ワード線端子２２を正電圧にバイアスし、制御ゲート端子２８を負電圧にバイアスすることによって、消去が行われる。プログラミング及び読み出しは、図４のものと同様である。
図６は、別の種類のフラッシュメモリセルである、３ゲートメモリセル６１０を示す。メモリセル６１０は、メモリセル６１０が別個の制御ゲート端子を有しないことを除いて、図４のメモリセル４１０と同一である。（消去ゲート端子の使用を通じて消去が起こる）消去動作及び読み出し動作は、制御ゲートバイアスが印加されないことを除いて、図４のものと同様である。プログラミング動作もまた、制御ゲートバイアスなしで行われるため、結果として、プログラム動作中は、制御ゲートバイアスの不足を補償するため、より高い電圧がソース線端子に印加されなければならない。
表３は、読み出し、消去、及びプログラム動作を実行するためのメモリセル６１０の端子に印加され得る典型的な電圧範囲を示す。
Figure 0007353519000003
 「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線端子に出力される読み出しモードである。
図７は、別の種類のフラッシュメモリセルである、積層ゲートメモリセル７１０を示す。メモリセル７１０は、浮遊ゲート２０がチャネル領域１８全体の上方にわたって延在し、制御ゲート端子２２（ワード線に結合される）が絶縁層（図示せず）によって分離されて浮遊ゲート２０の上方に延在することを除いて、図２のメモリセル２１０と同様である。消去、プログラミング、及び読み出し動作は、メモリセル２１０について前述したものと同様の方法で動作する。
表４は、読み出し、消去、及びプログラム動作を実行するためのメモリセル７１０及び基板１２の端子に印加され得る典型的な電圧範囲を示す。
Figure 0007353519000004
「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線端子に出力される読み出しモードである。任意選択的に、メモリセル２１０、３１０、４１０、５１０、６１０、又は７１０の行及び列を含むアレイでは、ソース線は、メモリセルの１行又はメモリセルの隣接する２行に結合され得る。すなわち、ソース線端子は、メモリセルの隣接する行によって共有され得る。
上記の人工ニューラルネットワークにおける不揮発性メモリセルの種類のうちの１つを含むメモリアレイを利用するために、２つの修正が行われる。第１に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しできるように線を構成する。第２に、メモリセルの連続（アナログ）プログラミングを提供する。
具体的には、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲート上の電荷）を、完全に消去された状態から完全にプログラムされた状態へ、独立して、かつ他のメモリセルの乱れが最小で、連続的に変えることができる。別の実施形態では、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全にプログラムされた状態から完全に消去された状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの乱れが最小で、連続的に変えることができる。これはつまり、セル記憶がアナログであるか、又は多数の不連続値（１６個又は６４個の異なる値など）のうちの１つを最低限記憶することができることを意味し、これにより、メモリアレイ内の全てのセルが非常に正確に、かつ個々にチューニング可能となり、また、メモリアレイが、記憶、及びニューラルネットワークのシナプシスの重みへの微細チューニング調整に対して、理想的なものになる。
本明細書に記載される方法及び手段は、限定することなく、ＳＯＮＯＳ（ｓｉｌｉｃｏｎ－ｏｘｉｄｅ－ｎｉｔｒｉｄｅ－ｏｘｉｄｅ－ｓｉｌｉｃｏｎ，ｃｈａｒｇｅ ｔｒａｐ ｉｎ ｎｉｔｒｉｄｅ）（ケイ素－酸化物－窒化物－酸化物－ケイ素、窒化物中の電荷トラップ）、ＭＯＮＯＳ（ｍｅｔａｌ－ｏｘｉｄｅ－ｎｉｔｒｉｄｅ－ｏｘｉｄｅ－ｓｉｌｉｃｏｎ，ｍｅｔａｌ ｃｈａｒｇｅ ｔｒａｐ ｉｎ ｎｉｔｒｉｄｅ）（金属－酸化物－窒化物－酸化物－ケイ素、窒化物中の金属電荷トラップ）、ＲｅＲＡＭ（ｒｅｓｉｓｔｉｖｅ ｒａｍ）（抵抗変化型メモリ）、ＰＣＭ（ｐｈａｓｅ ｃｈａｎｇｅ ｍｅｍｏｒｙ）（相変化メモリ）、ＭＲＡＭ（ｍａｇｎｅｔｉｃ ｒａｍ），（磁気抵抗メモリ）、ＦｅＲＡＭ（ｆｅｒｒｏｅｌｅｃｔｒｉｃ ｒａｍ）（強誘電体メモリ）、ＯＴＰ（ｂｉ－ｌｅｖｅｌ ｏｒ ｍｕｌｔｉ－ｌｅｖｅｌ ｏｎｅ ｔｉｍｅ ｐｒｏｇｒａｍｍａｂｌｅ）（バイレベル又はマルチレベルの１回のみのプログラムが可能）及びＣｅＲＡＭ（ｃｏｒｒｅｌａｔｅｄ ｅｌｅｃｔｒｏｎ ｒａｍ）（強相関電子メモリ）などの他の不揮発性メモリ技術に適用することができる。本明細書に記載される方法及び手段は、限定することなく、ＳＲＡＭ、ＤＲＡＭ、及び揮発性シナプスセルなどのニューラルネットワークに使用される揮発性メモリ技術に適用することができる。
＜不揮発性メモリセルアレイを使用するニューラルネットワーク＞
図８は、本実施形態の不揮発性メモリアレイを利用するニューラルネットワークの非限定例を概念的に示す。この例は、顔認識アプリケーション用に不揮発性メモリアレイニューラルネットワークを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の適切なアプリケーションを実装することも可能である。
Ｓ０は入力層であり、この例では、５ビット精度の３２×３２ピクセルＲＧＢ画像である（すなわち、各色Ｒ、Ｇ、及びＢにつき１つずつで３つの３２×３２ピクセルアレイであり、各ピクセルは５ビット精度である）。入力層Ｓ０から層Ｃ１に行くシナプスＣＢ１は、一部のインスタンスには異なる重みのセットを適用し、他のインスタンスには共有の重みを適用し、入力画像を３×３ピクセルの重なり合うフィルタ（カーネル）でスキャンし、１ピクセル（又はモデルによっては２ピクセル以上）ずつフィルタをシフトする。具体的には、画像の３×３部分における９ピクセルの値（すなわち、フィルタ又はカーネルと称される）は、シナプスＣＢ１に提供され、そこで、これらの９個の入力値に適切な重みを乗算し、その乗算の出力を合計後、単一の出力値が決定され、特徴マップＣ１の層の１つのピクセルを生成するためにＣＢ１の第１のシナプスによって与えられる。３×３フィルタは次に、入力層Ｓ０内で右側に１ピクセルだけシフトされ（すなわち、３ピクセルの列を右側に追加し、左側で３ピクセルの列をドロップする）、これにより、この新しく位置づけられたフィルタの９ピクセル値はシナプスＣＢ１に提供され、そこでそれらに上記と同じ重みを乗算し、関連するシナプスによって第２の単一の出力値を決定する。このプロセスを、３×３フィルタが入力層Ｓ０の３２×３２ピクセル画像全体にわたって３色全て及び全てのビット（精度値）についてスキャンするまで続ける。プロセスは次に、層Ｃ１の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、Ｃ１の異なる特徴マップを生成する。
本例では、層Ｃ１において、各々３０×３０ピクセルを有する１６個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、２次元アレイであり、したがってこの例では、層Ｃ１は、２次元アレイの１６層を構成する（本明細書で言及される層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な２次元アレイに配向されないことに留意されたい）。層Ｃ１内の１６個の特徴マップの各々は、フィルタスキャンに適用される異なるシナプス重みのセット１６個のうちの１つによって生成される。Ｃ１特徴マップは全て、境界同定など、同じ画像特徴の異なる態様を対象とすることができる。例えば、第１のマップ（この第１のマップを生成するために使用される全てのスキャンに共有される第１の重みセットを使用して生成される）は、円形エッジを識別することができ、第２のマップ（第１の重みセットと異なる第２の重みセットを使用して生成される）は、方形エッジ又は特定の特徴のアスペクト比などを識別することができる。
層Ｃ１から層Ｓ１へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ１（プーリング）が適用される。プーリング関数の目的は、近隣の位置を平均すること（又はｍａｘ関数を使用することも可能である）、例えばエッジ位置の依存性を低減すること、及び次の段階に行く前にデータサイズを低減することである。層Ｓ１において、１６個の１５×１５特徴マップ（すなわち、各々１５×１５ピクセルの異なるアレイ１６個）が存在する。層Ｓ１から層Ｃ２に行くシナプスＣＢ２は、Ｓ１内のマップを４×４フィルタにより１ピクセルのフィルタシフトでスキャンする。層Ｃ２において、２２個の１２×１２特徴マップが存在する。層Ｃ２から層Ｓ２へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ２（プーリング）が適用される。層Ｓ２において、２２個の６×６特徴マップが存在する。層Ｓ２から層Ｃ３へ行くシナプスＣＢ３では活性化関数（プーリング）が適用され、ここで層Ｃ３内の全てのニューロンは、ＣＢ３のそれぞれのシナプスを介して層Ｓ２内の全てのマップに接続する。層Ｃ３において、６４個のニューロンが存在する。層Ｃ３から出力層Ｓ３へと行くシナプスＣＢ４は、Ｃ３をＳ３に完全に接続する、すなわち、層Ｃ３内の全てのニューロンは、層Ｓ３内の全てのニューロンに接続される。Ｓ３における出力は、１０個のニューロンを含み、ここで出力が最も高いニューロンが、クラス（分類）を決定する。この出力は、例えば、元の画像の内容の同定又は分類を示すことができる。
シナプスの各層は、不揮発性メモリセルのアレイ又はアレイの一部を使用して実装される。
図９は、その目的のために使用可能なシステムのブロック図である。ベクトル行列乗算（Vector-by-matrix multiplication、ＶＭＭ）システム３２は、不揮発性メモリセルを含み、ある層と次の層との間のシナプス（図６のＣＢ１、ＣＢ２、ＣＢ３、及びＣＢ４など）として利用される。具体的には、ＶＭＭシステム３２は、行及び列に配置された不揮発性メモリセルを含むＶＭＭアレイ３３、消去ゲート及びワード線ゲートデコーダ３４、制御ゲートデコーダ３５、ビット線デコーダ３６、並びにソース線デコーダ３７を含み、それらのデコーダは不揮発性メモリセルアレイ３３に対するそれぞれの入力をデコードする。ＶＭＭアレイ３３への入力は、消去ゲート及びワード線ゲートデコーダ３４から、又は制御ゲートデコーダ３５から行うことができる。この例におけるソース線デコーダ３７はまた、ＶＭＭアレイ３３の出力をデコードする。代替的に、ビット線デコーダ３６が、ＶＭＭアレイ３３の出力をデコードすることができる。
ＶＭＭアレイ３３は、２つの目的を果たす。第１に、ＶＭＭシステム３２によって使用される重みを記憶する。第２に、ＶＭＭアレイ３３は、効果的に、入力に、ＶＭＭアレイ３３に記憶された重みを乗算し、それらを出力線（ソース線又はビット線）ごとに合計して出力を生成し、これは、次の層への入力又は最後の層への入力になる。乗算及び加算の関数を実行することによって、ＶＭＭアレイ３３は、別個の乗算及び加算の論理回路の必要性をなくし、また、その場でのメモリ計算により電力効率も良い。
ＶＭＭアレイ３３の出力は、ＶＭＭアレイ３３の出力を合計してその畳み込み用の単一の値を作成する、差動加算器（加算オペアンプ又は加算電流ミラーなど）３８に供給される。差動加算器３８は、正の重み入力及び負の重み入力両方の総和を実行して単一の値を出力するように配置される。
差動加算器３８の合計された出力値は、次に出力を整流する活性化関数回路３９に供給される。活性化関数回路３９は、シグモイド関数、ｔａｎｈ関数、ＲｅＬＵ関数、又は任意の他の非線形関数を提供し得る。活性化関数回路３９の整流された出力値は、次の層（例えば図８のＣ１）の特徴マップの要素になり、次いで、次のシナプスに適用されて、次の特徴マップ層又は最後の層を生成する。したがって、この例では、ＶＭＭアレイ３３は、複数のシナプス（それは、ニューロンの前の層から、又は画像データベースなどの入力層から、入力を受信する）を構成し、加算器３８及び活性化関数回路３９は、複数のニューロンを構成する。
図９のＶＭＭシステム３２への入力（ＷＬｘ、ＥＧｘ、ＣＧｘ、及び任意選択的にＢＬｘ及びＳＬｘ）は、アナログレベル、バイナリレベル、デジタルパルス（この場合、パルスを適切な入力アナログレベルに変換するためにパルス－アナログ変換器ＰＡＣが必要とされ得る）又はデジタルビット（この場合、デジタルビットを適切な入力アナログレベルに変換するためにＤＡＣが提供される）であり得、出力は、アナログレベル、バイナリレベル、デジタルパルス、又はデジタルビットであり得る（この場合、出力アナログレベルをデジタルビットに変換するために出力ＡＤＣが提供される）。
図１０は、図中でＶＭＭシステム３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅとして標示されたＶＭＭシステム３２の多数の層の使用を示すブロック図である。図１０に示されるように、Ｉｎｐｕｔｘで示される入力は、デジタル－アナログ変換器３１によってデジタルからアナログに変換され、入力ＶＭＭシステム３２ａに提供される。変換されたアナログ入力は、電圧又は電流であり得る。第１の層の入力Ｄ／Ａ変換は、入力ＶＭＭシステム３２ａの行列乗算器の適切なアナログレベルに入力Ｉｎｐｕｔｘをマッピングする関数又はＬＵＴ（ルックアップテーブル）を使用することによって行うことができる。入力変換はまた、外部アナログ入力を入力ＶＭＭシステム３２ａへのマッピングされたアナログ入力に変換するように、アナログ－アナログ（analog to analog、Ａ／Ａ）変換器によって行うこともできる。入力変換はまた、外部デジタル入力を入力ＶＭＭシステム３２ａへのマッピングされたデジタルパルスに変換するように、デジタル－デジタルパルス（digital-to-digital pules、Ｄ／Ｐ）変換器によって行うこともできる。
入力ＶＭＭシステム３２ａによって生成された出力は、次に、次のＶＭＭシステム（隠しレベル１）３２ｂへの入力として提供され、次に、次のＶＭＭシステム３２ｂが、さらにその次の入力ＶＭＭシステム（隠しレベル２）３２ｃへの入力として提供される出力を生成する、などとなる。ＶＭＭシステム３２の様々な層は、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）のシナプス及びニューロンの各層として機能する。ＶＭＭシステム３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅはそれぞれスタンドアローンの物理的不揮発性メモリアレイとすることができ、又は複数のＶＭＭアレイは、同じ物理的不揮発性メモリアレイの異なる部分を利用することができ、又は複数のＶＭＭシステムは、同じ物理的不揮発性メモリシステムの重なり合う部分を利用することができる。各ＶＭＭシステム３２ａ、３２ｂ、３２ｃ、３２ｄ、及び３２ｅはまた、そのアレイ又はニューロンの様々な部分に対して時間多重化され得る。図１０に示される例は、５つの層（３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ）、すなわち、１つの入力層（３２ａ）、２つの隠れ層（３２ｂ、３２ｃ）、及び２つの全結合層（３２ｄ、３２ｅ）を含む。当業者であれば、これは単なる例示であり、代わりにシステムが２つを超える隠れ層及び２つを超える完全に接続された層を含み得ることを理解するであろう。
＜ＶＭＭアレイ＞
図１１は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１１００を示す。ＶＭＭアレイ１１００は、不揮発性メモリセルのメモリアレイ１１０１と、不揮発性基準メモリセルの基準アレイ１１０２（アレイの頂部に位置する）と、を含む。代替的に、別の基準アレイが底部に位置することができる。
ＶＭＭアレイ１１００では、制御ゲート線１１０３などの制御ゲート線が垂直方向に延びており（したがって、行方向の基準アレイ１１０２が制御ゲート線１１０３に直交する）、消去ゲート線１１０４などの消去ゲート線が水平方向に延びている。ここで、ＶＭＭアレイ１１００への入力は制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、ＣＧ３）に提供され、ＶＭＭアレイ１１００の出力はソース線（ＳＬ０、ＳＬ１）に現れる。一実施形態では偶数行のみが使用され、別の実施形態では奇数行のみが使用される。各ソース線（それぞれＳＬ０、ＳＬ１）に加えられる電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
ニューラルネットワークについて本明細書に記載されているように、ＶＭＭアレイ１１００の不揮発性メモリセル、すなわちＶＭＭアレイ１１００のフラッシュメモリは、サブスレッショルド領域で動作するように構成されることが好ましい。
本明細書に記載される不揮発性基準メモリセル及び不揮発性メモリセルは、以下のように弱い反転でバイアスされる：
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/nVt＝ｗ*Ｉｏ*ｅ(Vg)/nVt
式中、ｗ＝ｅ(-Vth)/nVtであり、
式中、Ｉｄｓはドレイン－ソース間電流であり、Ｖｇはメモリセルのゲート電圧であり、Ｖｔｈはメモリセルのスレッショルド電圧であり、Ｖｔは熱電圧＝ｋ*Ｔ／ｑであり、ｋはボルツマン定数、Ｔはケルビン温度、ｑは電子電荷であり、ｎは傾斜係数＝１＋（Ｃｄｅｐ／Ｃｏｘ）であり、Ｃｄｅｐ＝空乏層の容量、及びＣｏｘはゲート酸化物層の容量であり、Ｉｏは、スレッショルド電圧に等しいゲート電圧におけるメモリセル電流であり、Ｉｏは（Ｗｔ／Ｌ）*ｕ*Ｃｏｘ*（ｎ－１）*Ｖｔ2に比例し、式中、ｕはキャリア移動度であり、Ｗｔ及びＬはそれぞれ、メモリセルの幅及び長さである。
メモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して入力電流Ｉｄｓを入力電圧Ｖｇに変換するＩ－Ｖログ変換器を使用した場合、Ｖｇは以下のとおりである：
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。
ベクトル行列乗算器ＶＭＭアレイとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/nVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/nVt
Ｉｉｎ＝ｗｐ*Ｉｏ*ｅ(Vg)/nVt
式中、メモリアレイの各メモリセルのｗａ＝ｗである。Ｖｔｈｐは周辺メモリセルの有効スレッショルド電圧であり、Ｖｔｈａはメイン（データ）メモリセルの有効スレッショルド電圧である。トランジスタのスレッショルド電圧は基板本体バイアス電圧の関数であり、Ｖｓｂと表される基板本体バイアス電圧は、そのような温度で様々な条件を補償するように変調され得ることに留意されたい。スレッショルド電圧Ｖｔｈは次のように表すことができる。
Ｖｔｈ＝Ｖｔｈ０＋ガンマ（ＳＱＲＴ｜Ｖｓｂ－２*ΦＦ）－ＳＱＲＴ｜２*ΦＦ｜）
式中、Ｖｔｈ０は、ゼロ基板バイアスを有するスレッショルド電圧であり、ΦＦは、表面電位であり、ガンマは、本体効果パラメータである。
ワード線又は制御ゲートは、入力電圧のためのメモリセルの入力として使用することができる。
代替的に、本明細書に記載されたＶＭＭアレイの不揮発性メモリセルは、線形領域で動作するように構成することができる。
Ｉｄｓ＝ベータ*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ； ベータ＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
したがって、Ｗ α （Ｖｇｓ－Ｖｔｈ）、すなわち、線形領域における重みＷは、（Ｖｇｓ－Ｖｔｈ）に比例する。
ワード線又は制御ゲート又はビット線又はソース線は、線形領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、メモリセルの出力として使用することができる。
Ｉ－Ｖ線形変換器用に、線形領域で動作するメモリセル（基準メモリセル又は周辺メモリセルなど）若しくはトランジスタ、又は抵抗器を使用して、入出力電流を入出力電圧に線形変換することができる。
あるいは、本明細書に記載されたＶＭＭアレイのフラッシュメモリセルは、飽和領域で動作するように構成することができる。
Ｉｄｓ＝１／２*ベータ*（Ｖｇｓ－Ｖｔｈ）2； ベータ＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
したがって、Ｗ α （Ｖｇｓ－Ｖｔｈ）2、すなわち、飽和領域における重みＷは、（Ｖｇｓ－Ｖｔｈ）2に比例する。
ワード線、制御ゲート、又は消去ゲートは、飽和領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、出力ニューロンの出力として使用することができる。
代替的に、本明細書に記載されるＶＭＭアレイのメモリセルは、全ての領域又はそれらの組み合わせ（サブスレッショルド、線形、又は飽和）で使用することができる。
図９のＶＭＭアレイ３２のための他の実施形態は、参照により本明細書に組み込まれる米国特許出願第１５／８２６，３４５号に記載されている。上記出願に記載されているように、ソース線又はビット線は、ニューロン出力（電流和出力）として使用することができる。
図１２は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間のシナプスとして利用される、ニューロンＶＭＭアレイ１２００を示す。ＶＭＭアレイ１２００は、不揮発性メモリセルのメモリアレイ１２０３と、第１の不揮発性基準メモリセルの基準アレイ１２０１と、第２の不揮発性基準メモリセルの基準アレイ１２０２と、を含む。アレイの列方向に配置された基準アレイ１２０１及び１２０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力が流入する状態で、マルチプレクサ１２１４（一部のみ示す）を通してダイオード接続される。基準セルは、目標基準レベルにチューニング（例えば、プログラム）される。目標基準レベルは、基準ミニアレイ行列（図示せず）によって提供される。
メモリアレイ１２０３は、２つの目的を果たす。第１に、ＶＭＭアレイ１２００により使用される重みを、それぞれのメモリセルに記憶する。第２に、メモリアレイ１２０３は、メモリアレイ１２０３に記憶された重みによって、入力（すなわち、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、これを基準アレイ１２０１及び１２０２が入力電圧に変換して、ワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に供給する）を有効に乗算して、次いで、全ての結果（メモリセル電流）を加算して、それぞれのビット線（ＢＬ０～ＢＬＮ）の出力を生成し、この出力は次の層への入力又は最後の層への入力となる。メモリアレイ１２０３が乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性はなくなり、また、電力効率も良い。ここで、電圧入力はワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に提供され、出力は、読み出し（推論）動作中にそれぞれのビット線ＢＬ０～ＢＬＮに現れる。各々のビット線ＢＬ０～ＢＬＮに配置された電流は、その特定のビット線に接続された全ての不揮発性メモリセルからの電流の合計関数を実行する。
表５は、ＶＭＭアレイ１２００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示し、ＦＬＴは、浮遊、すなわち電圧が印加されないことを示す。行は、読み出し、消去、及びプログラムの動作を示す。
Figure 0007353519000005
図１３は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１３００を示す。ＶＭＭアレイ１３００は、不揮発性メモリセルのメモリアレイ１３０３と、第１の不揮発性基準メモリセルの基準アレイ１３０１と、第２の不揮発性基準メモリセルの基準アレイ１３０２と、を含む。基準アレイ１３０１及び１３０２は、ＶＭＭアレイ１３００の行方向に延びる。ＶＭＭアレイは、ＶＭＭアレイ１３００においてワード線が垂直方向に延びることを除いて、ＶＭＭ１０００と同様である。ここで、入力はワード線（ＷＬＡ０、ＷＬＢ０、ＷＬＡ１、ＷＬＢ２、ＷＬＡ２、ＷＬＢ２、ＷＬＡ３、ＷＬＢ３）に提供され、出力は、読み出し動作中にソース線（ＳＬ０、ＳＬ１）に現れる。各ソース線に加えられる電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
表６は、ＶＭＭアレイ１３００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
Figure 0007353519000006
図１４は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１４００を示す。ＶＭＭアレイ１４００は、不揮発性メモリセルのメモリアレイ１４０３と、第１の不揮発性基準メモリセルの基準アレイ１４０１と、第２の不揮発性基準メモリセルの基準アレイ１４０２と、を含む。基準アレイ１４０１及び１４０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力がＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３を通って流入する状態で、マルチプレクサ１４１２（一部のみ示す）を通してダイオード接続される。マルチプレクサ１４１２は各々、読み出し動作中に第１及び第２の不揮発性基準メモリセルの各々のビット線（ＢＬＲ０など）の一定電圧を確実にするために、それぞれのマルチプレクサ１４０５及びカスコーディングトランジスタ１４０４を含む。基準セルは、目標基準レベルにチューニングされる。
メモリアレイ１４０３は、２つの目的を果たす。第１に、それはＶＭＭアレイ１４００によって使用される重みを記憶する。第２に、メモリアレイ１４０３は、入力（端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、基準アレイ１４０１及び１４０２がこれらの電流入力を入力電圧に変換して、制御ゲート（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に供給する）に、メモリセルアレイに記憶された重みを掛けて、次いで、全ての結果（セル電流）を加算して出力を生成し、この出力はＢＬ０～ＢＬＮに現れ、次の層への入力又は最後の層への入力となる。メモリアレイが乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性がなくなり、また、電力効率も良い。ここで、入力は制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に提供され、出力は、読み出し動作中にビット線（ＢＬ０～ＢＬＮ）に現れる。各ビット線に加えられる電流は、その特定のビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
ＶＭＭアレイ１４００は、メモリアレイ１４０３内の不揮発性メモリセルの一方向チューニングを実装する。すなわち、各不揮発性メモリセルは消去され、次いで、浮遊ゲート上の所望の電荷に達するまで部分的にプログラムされる。これは、例えば、以下に記載される精密プログラミング技術を使用して実行することができる。過度に多くの電荷が浮遊ゲートに加えられる場合（その場合は誤った値がセルに記憶される）、セルは消去されなければならず、一連の部分的なプログラミング動作をやり直さなければならない。示されるように、同じ消去ゲート（ＥＧ０又はＥＧ１など）を共有する２つの行は、一緒に消去される必要があり（ページ消去として知られる）、その後、各セルは、浮遊ゲート上の所望の電荷に達するまで部分的にプログラムされる。
表７は、ＶＭＭアレイ１４００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
Figure 0007353519000007
図１５は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１５００を示す。ＶＭＭアレイ１５００は、不揮発性メモリセルのメモリアレイ１５０３と、基準アレイ１５０１又は第１の不揮発性基準メモリセルと、第２の不揮発性基準メモリセルの基準アレイ１５０２と、を備える。ＥＧ線ＥＧＲ０、ＥＧ０、ＥＧ１、及びＥＧＲ１は垂直に延び、ＣＧ線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３並びにＳＬ線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３は水平に延びる。ＶＭＭアレイ１５００は、ＶＭＭアレイ１５００が双方向チューニングを実装することを除いてＶＭＭアレイ１４００と同様であり、各個々のセルは、個別のＥＧ線の使用により、浮遊ゲートの所望の電荷量に達するために、完全に消去され、部分的にプログラムされ、必要に応じて部分的に消去することができる。示されるように、基準アレイ１５０１及び１５０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２及びＢＬＲ３内の入力電流を制御ゲート電圧ＣＧ０、ＣＧ１、ＣＧ２及びＣＧ３に変換し（マルチプレクサ１５１４を介したダイオード接続された基準セルの作用を通じて）、これらの電圧は行方向でメモリセルに印加される。電流出力（ニューロン）は、ビット線ＢＬ０～ＢＬＮ中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。
表８は、ＶＭＭアレイ１５００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
Figure 0007353519000008
図２４は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２４００を示す。ＶＭＭアレイ２４００では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNでそれぞれ受信され、出力ＯＵＴＰＵＴ1、ＯＵＴＰＵＴ2、ＯＵＴＰＵＴ3、及びＯＵＴＰＵＴ4は、ソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3でそれぞれ生成される。
図２５は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２５００を示す。この例では、入力ＩＮＰＵＴ0、ＩＮＰＵＴ1、ＩＮＰＵＴ2、及びＩＮＰＵＴ3は、ソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3でそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNで生成される。
図２６は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２６００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMでそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNで生成される。
図２７は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２７００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMでそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNで生成される。
図２８は、図４に示されるメモリセル４１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２８００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴnがそれぞれ垂直制御ゲート線ＣＧ0、．．．、ＣＧNに受信され、出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2がソース線ＳＬ0及びＳＬ1に生成される。
図２９は、図４に示されるメモリセル４１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２９００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNにそれぞれ結合されているビット線制御ゲート２９０１－１、２９０１－２、．．．、２９０１－（Ｎ－１）及び２９０１－Ｎのゲートにそれぞれ受信される。例示的な出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2が、ソース線ＳＬ0及びＳＬ1に生成される。
図３０は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ３０００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMに受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNにそれぞれ生成される。
図３１は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ３１００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、制御ゲート線ＣＧ0、．．．、ＣＧMに受信される。出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、垂直ソース線ＳＬ0、．．．、ＳＬNにそれぞれ生成され、各ソース線ＳＬiは、列ｉ内の全てのメモリセルのソース線に結合されている。
図３２は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ３２００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、制御ゲート線ＣＧ0、．．．、ＣＧMに受信される。出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、垂直ビット線ＢＬ0、．．．、ＢＬNにそれぞれ生成され、各ビット線ＢＬiは、列ｉ内の全てのメモリセルのビット線に結合されている。
長・短期メモリ
先行技術は、長・短期メモリ（long short-term memory、ＬＳＴＭ）として知られる概念を含む。ＬＳＴＭユニットは、しばしば、ニューラルネットワーク内で使用される。ＬＳＴＭによって、ニューラルネットワークは所定の任意の期間にわたって情報を記憶し、後続の動作においてその情報を使用することができる。従来のＬＳＴＭユニットは、セル、入力ゲート、出力ゲート、及び忘却ゲートを含む。３つのゲートは、セル内及びセル外への情報の流れ、及び情報がＬＳＴＭ内で記憶される期間を調節する。ＶＭＭは、ＬＳＴＭユニットにおいて特に有用である。
図１６は、例示的なＬＳＴＭ１６００を示す。この例におけるＬＳＴＭ１６００は、セル１６０１、１６０２、１６０３、及び１６０４を含む。セル１６０１は、入力ベクトルｘ0を受け取り、出力ベクトルｈ0及びセル状態ベクトルｃ0を生成する。セル１６０２は、入力ベクトルｘ1と、セル１６０１からの出力ベクトル（隠れ状態）ｈ0と、セル１６０１からのセル状態ｃ0と、を受け取り、出力ベクトルｈ1と、セル状態ベクトルｃ1と、を生成する。セル１６０３は、入力ベクトルｘ2と、セル１６０２からの出力ベクトル（隠れ状態）ｈ1と、セル１６０２からのセル状態ｃ1と、を受け取り、出力ベクトルｈ2と、セル状態ベクトルｃ2と、を生成する。セル１６０４は、入力ベクトルｘ3と、セル１６０３からの出力ベクトル（隠れ状態）ｈ2と、セル１６０３からのセル状態ｃ2と、を受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＬＳＴＭは、単なる例である。
図１７は、図１６のセル１６０１、１６０２、１６０３、及び１６０４に使用可能なＬＳＴＭセル１７００の例示的な実装を示す。ＬＳＴＭセル１７００は、入力ベクトルｘ（ｔ）と、先行するセルからのセル状態ベクトルｃ（ｔ－１）と、先行するセルからの出力ベクトルｈ（ｔ－１）と、を受け取り、セル状態ベクトルｃ（ｔ）及び出力ベクトルｈ（ｔ）を生成する。
ＬＳＴＭセル１７００は、シグモイド関数デバイス１７０１、１７０２、及び１７０３を含み、各々が０～１の数を適用することで、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。ＬＳＴＭセル１７００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス１７０４及び１７０５と、２つのベクトルを乗算するための乗算器デバイス１７０６、１７０７、及び１７０８と、２つのベクトルを加算するための加算器デバイス１７０９と、を含む。出力ベクトルｈ（ｔ）は、システム内の次のＬＳＴＭセルに提供することができるか、又は他の目的でアクセスすることができる。
図１８は、ＬＳＴＭセル１７００の一実装の一例であるＬＳＴＭセル１８００を示す。読者の便宜のために、ＬＳＴＭセル１７００からの同じ採番方法が、ＬＳＴＭセル１８００で使用される。シグモイド関数デバイス１７０１、１７０２、及び１７０３、並びにｔａｎｈデバイス１７０４は各々、複数のＶＭＭアレイ１８０１及び活性化回路ブロック１８０２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＬＳＴＭセルにおいて特に有用であることが分かる。乗算器デバイス１７０６、１７０７、及び１７０８、並びに加算器デバイス１７０９は、デジタル方式又はアナログ方式で実装される。活性化関数ブロック１８０２は、デジタル方式、又はアナログ方式で実装され得る。
ＬＳＴＭセル１８００の代替例（及びＬＳＴＭセル１７００の一実装の別の例）を図１９に示す。図１９では、シグモイド関数デバイス１７０１、１７０２及び１７０３、並びにｔａｎｈデバイス１７０４は、同じ物理ハードウェア（ＶＭＭアレイ１９０１及び活性化関数ブロック１９０２）を、時分割多重化された方式で共有する。ＬＳＴＭセル１９００はまた、２つのベクトルを乗算するための乗算器デバイス１９０３と、２つのベクトルを加算するための加算器デバイス１９０８と、（活性化回路ブロック１９０２を含む）ｔａｎｈデバイス１７０５と、値ｉ（ｔ）を、ｉ（ｔ）がシグモイド関数ブロック１９０２から出力されるときに記憶するためのレジスタ１９０７と、値ｆ（ｔ）*ｃ（ｔ－１）を、その値がマルチプレクサ１９１０を介して乗算器デバイス１９０３から出力されるときに記憶するためのレジスタ１９０４と、値ｉ（ｔ）*ｕ（ｔ）を、その値がマルチプレクサ１９１０を介して乗算器デバイス１９０３から出力されるときに記憶するためのレジスタ１９０５と、値ｏ（ｔ）*ｃ～（ｔ）を、その値がマルチプレクサ１９１０を介して乗算器デバイス１９０３から出力されるときに記憶するためのレジスタ１９０６と、マルチプレクサ１９０９と、を含む。
ＬＳＴＭセル１８００がＶＭＭアレイ１８０１とそれぞれの活性化関数ブロック１８０２との複数のセットを含むのに対し、ＬＳＴＭセル１９００は、ＬＳＴＭセル１９００の実施形態において複数の層を表すために使用される、ＶＭＭアレイ１９０１と活性化関数ブロック１９０２との１つのセットのみを含む。ＬＳＴＭセル１９００は、ＬＳＴＭセル１８００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／４で済むので、ＬＳＴＭ１８００よりも必要とするスペースが少ない。
ＬＳＴＭユニットは典型的には複数のＶＭＭアレイを含み、これらは各々、加算器及び活性化回路ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることを更に理解することができる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。
＜ゲート付き回帰型ユニット＞
アナログＶＭＭ実装は、ゲート付き回帰型ユニット（gated recurrent unit、ＧＲＵ）システムに利用することができる。ＧＲＵは、反復ニューラルネットワーク内のゲート機構である。ＧＲＵは、ＧＲＵセルが一般にＬＳＴＭセルよりも少ない構成要素を含むことを除いて、ＬＳＴＭに類似している。
図２０は、例示的なＧＲＵ２０００を示す。この例におけるＧＲＵ２０００は、セル２００１、２００２、２００３及び２００４を含む。セル２００１は、入力ベクトルｘ0を受け取り、出力ベクトルｈ0を生成する。セル２００２は、入力ベクトルｘ1と、セル２００１からの出力ベクトルｈ0と、を受け取り、出力ベクトルｈ1を生成する。セル２００３は、入力ベクトルｘ2と、セル２００２からの出力ベクトル（隠れ状態）ｈ1と、を受け取り、出力ベクトルｈ2を生成する。セル２００４は、入力ベクトルｘ3と、セル２００３からの出力ベクトル（隠れ状態）ｈ2と、を受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＧＲＵは単なる例である。
図２１は、図２０のセル２００１、２００２、２００３、及び２００４に使用することができるＧＲＵセル２１００の例示的な実装を示す。ＧＲＵセル２１００は、入力ベクトルｘ（ｔ）と、先行するＧＲＵセルからの出力ベクトルｈ（ｔ－１）と、を受け取り、出力ベクトルｈ（ｔ）を生成する。ＧＲＵセル２１００は、シグモイド関数デバイス２１０１及び２１０２を含み、それらの各々が、出力ベクトルｈ（ｔ－１）及び入力ベクトルｘ（ｔ）からの成分に０～１の数を適用する。ＧＲＵセル２１００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス２１０３と、２つのベクトルを乗算するための複数の乗算器デバイス２１０４、２１０５、及び２１０６と、２つのベクトルを加算するための加算器デバイス２１０７と、１から入力を減算して出力を生成するためのコンプリメンタリデバイス２１０８と、を含む。
図２２は、ＧＲＵセル２１００の一実装の一例であるＧＲＵセル２２００を示す。読者の便宜のために、ＧＲＵセル２１００からの同じ採番方法が、ＧＲＵセル２２００で使用される。図２２から分かるように、シグモイド関数デバイス２１０１及び２１０２、並びにｔａｎｈデバイス２１０３は各々、複数のＶＭＭアレイ２２０１及び活性化関数ブロック２２０２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＧＲＵセルにおいて特に使用されることが分かる。乗算器デバイス２１０４、２１０５、２１０６、加算器デバイス２１０７、及びコンプリメンタリデバイス２１０８は、デジタル方式又はアナログ方式で実装される。活性化関数ブロック２２０２は、デジタル方式、又はアナログ方式で実装され得る。
ＧＲＵセル２２００の代替例（及びＧＲＵセル２３００の一実装の別の例）を図２３に示す。図２３において、ＧＲＵセル２３００は、ＶＭＭアレイ２３０１及び活性化関数ブロック２３０２を利用しており、シグモイド関数として構成された場合には、０～１の数を適用して、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。図２３では、シグモイド関数デバイス２１０１及び２１０２、並びにｔａｎｈデバイス２１０３は、同じ物理ハードウェア（ＶＭＭアレイ２３０１及び活性化関数ブロック２３０２）を、時分割多重化された方式で共有する。ＧＲＵセル２３００はまた、２つのベクトルを乗算するための乗算器デバイス２３０３と、２つのベクトルを加算するための加算器デバイス２３０５と、１から入力を減算して出力を生成するための相補デバイス２３０９と、マルチプレクサ２３０４と、値ｈ（ｔ－１）*ｒ（ｔ）を、その値がマルチプレクサ２３０４を介して乗算器デバイス２３０３から出力されるときに保持するためのレジスタ２３０６と、値ｈ（ｔ－１）*ｚ（ｔ）を、その値がマルチプレクサ２３０４を介して乗算器デバイス２３０３から出力されるときに保持するためのレジスタ２３０７と、値ｈ＾（ｔ）*（１－ｚ（（ｔ））を、その値がマルチプレクサ２３０４を介して乗算器デバイス２３０３から出力されるときに保持するためのレジスタ２３０８と、を備える。
ＧＲＵセル２２００がＶＭＭアレイ２２０１と活性化関数ブロック２２０２との複数のセットを含むのに対し、ＧＲＵセル２３００は、ＧＲＵセル２３００の実施形態において複数の層を表すために使用される、ＶＭＭアレイ２３０１と活性化関数ブロック２３０２の１つのセットのみを含む。ＧＲＵセル２３００は、ＧＲＵセル２２００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／３で済むので、ＧＲＵセル２２００よりも必要とするスペースが少ない。
ＧＲＵシステムは典型的には複数のＶＭＭアレイを含み、これらは各々、加算器及び活性化回路ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることが更に理解できる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。
ＶＭＭアレイへの入力は、アナログレベル、バイナリレベル、又はデジタルビット（この場合、デジタルビットを適切な入力アナログレベルに変換するためにＤＡＣが必要とされる）であり、出力はアナログレベル、バイナリレベル、又はデジタルビット（この場合、出力アナログレベルをデジタルビットに変換するために出力ＡＤＣが必要とされる）であり得る。
ＶＭＭアレイ内の各メモリセルに関して、各重みＷは、単一のメモリセルによって、又は差分セルによって、又は２つのブレンドメモリセル（２つのセルの平均）によって実装することができる。差分セルの場合では、重みＷを差分重み（Ｗ＝Ｗ＋－Ｗ－）として実装するために、２つのメモリセルが必要とされる。２つのブレンドメモリセルの場合は、２つのセルの平均として重みＷを実装するために２つのメモリセルが必要とされる。
アナログニューラルメモリシステムに使用されるそれぞれの不揮発性メモリセルは、消去・プログラムに対応して、浮遊ゲート内に電荷、すなわち電子の数、を非常に特異的かつ正確な量で保持しなければならない。例えば、各浮遊ゲートはＮ個の異なる値のうちの１つを保持しなければならず、ここで、Ｎは、各セルによって示され得る異なる重みの数である。Ｎの例としては、１６、３２、６４、１２８及び２５６が挙げられる。
ベクトル行列乗算（ＶＭＭ）システムにおける１つの課題は、消去、プログラミング、及び読み出し操作のために、特定のセル又はセル群、又は場合によってはセルのアレイ全体を選択する能力である。関連する課題は、漏れがシステムの精度に悪影響を及ぼす可能性があるため、各セルにおける漏れを低減し、好ましくは最小限に抑えることである。
必要とされるのは、アナログニューラルメモリシステム内の不揮発性メモリセルの読み出し動作中の漏れを低減し、好ましくは最小限に抑える、改善されたデコードシステムである。
不揮発性メモリセルを利用するアナログニューラルネットワークシステムについて、読み出し動作中の漏れを低減する、改善されたデコードシステムが開示される。
先行技術の人工ニューラルネットワークを示す図である。 先行技術のスプリットゲートフラッシュメモリセルを示す。 別の先行技術のスプリットゲートフラッシュメモリセルを示す。 別の先行技術のスプリットゲートフラッシュメモリセルを示す。 別の先行技術のスプリットゲートフラッシュメモリセルを示す。 別の先行技術のスプリットゲートフラッシュメモリセルを示す。 先行技術の積層ゲートフラッシュメモリセルを示す。 １つ以上の不揮発性メモリアレイを利用する例示的な人工ニューラルネットワークの様々なレベルを示す図である。 ベクトル行列乗算システムを示すブロック図である。 １つ以上のベクトル行列乗算システムを利用する例示的な人工ニューラルネットワークを示すブロック図である。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 先行技術の長・短期記憶システムを示す。 長・短期記憶システムで使用する例示的なセルを示す。 図１７の例示的なセルの一実施形態を示す。 図１７の例示的なセルの別の実施形態を示す。 先行技術のゲート付き回帰型ユニットシステムを示す。 ゲート付き回帰型ユニットシステムでの使用のための例示的なセルを示す。 図２１の例示的なセルの一実施形態を示す。 図２１の例示的なセルの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの例示的なブロック図を示す。 ベクトル行列乗算システムの例示的なデコードの実施形態を示す。 ベクトル行列乗算システムの別の例示的なデコードの実施形態を示す。 例示的な行デコーダを示す。 ベクトル行列乗算システムの別の例示的なデコードの実施形態を示す。 ベクトル行列乗算システムの別の例示的なデコードの実施形態を示す。 ベクトル行列乗算システムの別の例示的なデコードの実施形態を示す。 低電圧行デコーダの一実施形態を示す。 組み合わせた低電圧行デコーダ及び制御ゲートデコーダの一実施形態を示す。 ビット線デコーダの一実施形態を示す。 ベクトル行列乗算システム及び入力ブロックを示す。 アレイからの出力を受け取り、多重化された形式で１つ以上のアレイに入力を提供するためのマルチプレクサを示す。 ベクトル行列乗算システムの例示的なレイアウトを示す。 ベクトル行列乗算システムの例示的なレイアウトを示す。 ベクトル行列乗算システムの例示的なレイアウトを示す。 ベクトル乗算器行列との使用のためのワード線デコーダ回路、ソース線デコーダ回路、及び高電圧レベルシフタを示す。 ベクトル乗算器行列との使用のための消去ゲートデコーダ回路、制御ゲートデコーダ回路、ソース線デコーダ回路、及び高電圧レベルシフタを示す。 ベクトル乗算器行列との使用のためのワード線ドライバの別の実施形態を示す。 ベクトル乗算器行列との使用のためのワード線ドライバの別の実施形態を示す。 ベクトル行列乗算システムの別の例示的なデコードの実施形態を示す。 ベクトル行列乗算システムの更に別の例示的なデコードの実施形態を示す。 タンデムデコーダの一実施形態を示す。 タンデムデコーダの別の実施形態を示す。 タンデムデコーダの別の実施形態を示す。 タンデムデコーダの別の実施形態を示す。
本発明の人工ニューラルネットワークは、ＣＭＯＳ技術及び不揮発性メモリアレイの組み合わせを利用する。
＜ＶＭＭアレイのためのデコードシステム及び物理レイアウトの実施形態＞
図３３～図５１は、図２～図７に関して、又は他の不揮発性メモリセルに関して前述したメモリセルの種類のいずれかとともに使用することができるＶＭＭアレイのための様々なデコードシステム及び物理レイアウトを開示する。
図３３は、ＶＭＭシステム３３００を示す。ＶＭＭシステム３３００は、ＶＭＭアレイ３３０１（ＶＭＭアレイ１０００、１１００、１２００、１３００、１４００、１５００、２４００、２５００、２６００、２７００、２８００、２９００、３０００、３１００、及び３２００、又は他のＶＭＭ設計など、前述のＶＭＭアレイ設計のいずれかに基づくことができる）、低電圧行デコーダ３３０２、高電圧行デコーダ３３０３、列デコーダ３３０４、列ドライバ３３０５、制御論理３３０６、バイアス回路３３０７、ニューロン出力回路ブロック３３０８、入力ＶＭＭ回路ブロック３３０９、アルゴリズムコントローラ３３１０、高電圧生成装置ブロック３３１１、アナログ回路ブロック３３１５、及び制御論理３３１６を備える。
入力回路ブロック３３０９は、外部入力からメモリアレイ３３０１の入力端子へのインターフェースとして機能する。入力回路ブロック３３０９は、限定することなく、ＤＡＣ（Digital-to-Analog Converter）（デジタル－アナログ変換器）、ＤＰＣ（Digital-to-Pulse Converter）（デジタル－パルス変換器）、ＡＰＣ（Analog-to-Pulse Converter）（アナログ－パルス変換器）、ＩＶＣ（Current-to-Voltage Converter）（電流－電圧変換器）、ＡＡＣ（Analog-to-Analog Converter such as voltage to voltage scaler）（電圧対電圧スケーラなどのアナログ－アナログ変換器）、又はＦＡＣ（Frequency-to-Analog Converter）（周波数－アナログ変換器）を含むことができる。ニューロン出力ブロック３３０８は、メモリアレイ出力から外部インターフェース（図示せず）へのインターフェースとして機能する。ニューロン出力ブロック３３０８は、限定することなく、ＡＤＣ（アナログ－デジタル変換器）、ＡＰＣ（アナログ－パルス変換器）、ＤＰＣ（デジタル－パルス変換器）、ＩＶＣ（電流－電圧変換器）、又はＩＦＣ（電流－周波数変換器）を含み得る。ニューロン出力ブロック３３０８は、限定することなく、アクティブ化機能、正規化回路、及び／又は再スケーリング回路を含んでもよい。
低電圧行デコーダ３３０２は、読み出し動作及びプログラム動作のためのバイアス電圧を提供し、高電圧行デコーダ３３０３にデコード信号を提供する。高電圧行デコーダ３３０３は、プログラム動作及び消去動作のための高電圧バイアス信号を提供する。
アルゴリズムコントローラ３３１０は、プログラム動作、検証動作、及び消去動作中のビット線の制御機能を提供する。
高電圧発生装置ブロック３３１１は、様々なプログラム動作、消去動作、プログラム検証動作、及び読み出し動作に必要とされる複数の電圧を提供するチャージポンプ３３１２、チャージポンプ調整器３３１３、及び高電圧生成回路３３１４を備える。
図３４は、メモリセル４１０として図４に示される種類のメモリセルとの使用に特に適したＶＭＭシステム３４００を示す。ＶＭＭシステム３４００は、ＶＭＭアレイ３４０１、３４０２、３４０２、及び３４０４（それぞれ、ＶＭＭアレイ１０００、１１００、１２００、１３００、１４００、１５００、２４００、２５００、２６００、２７００、２８００、２９００、３０００及び３１０００、又は他のＶＭＭアレイ設計など、前述のＶＭＭアレイ設計のいずれかに基づくことができる）、低電圧行デコーダ３４０５、３４０６、３４０７、及び３４０８、共有高電圧行デコーダ３４０９、ワード線又はワード入力線３４１１、３４１２、３４１３、及び３４１４、ビット線３４２１、３４２２、３４２３、及び３４２４、制御ゲート線３４３２、ソース線３４３４、並びに消去ゲート線３４３４を備える。共有高電圧行デコーダ３４０９は、制御ゲート線３４３２、ソース線３４３４、及び消去ゲート線３４３４を提供する。この構成では、ワード線３４１１、３４１２、３４１３、及び３４１４、並びにビット線３４２１、３４２２、３４２３、及び３４２４は互いに平行である。一実施形態では、ワード線及びビット線は、垂直方向に配置されている。制御ゲート線３４３２、ソース線線３４３４、及び消去ゲート線３４３６は、互いに並行であり、水平方向に配置されており、したがって、ワード線又はワード入力線３４１１、３４１２、３４１３、及び３４１４、並びにビット線３４２１、３４２２、３４２３、及び３４２４に垂直である。
ＶＭＭシステム３４００において、ＶＭＭアレイ３４０１、３４０２、３４０３、及び３４０４は、制御ゲート線３４３２、ソース線線３４３４、消去ゲート線３４３６、及び高電圧行デコーダ３４０９を共有する。しかしながら、アレイのそれぞれは、低電圧行デコーダ３４０５がＶＭＭアレイ３４０１とともに使用され、低電圧行デコーダ３４０６がＶＭＭアレイ３４０２とともに使用され、低電圧行デコーダ３４０７がＶＭＭアレイ３４０３とともに使用され、低電圧行デコーダ３４０８がＶＭＭアレイ３４０４とともに使用されるように、それ自体の低電圧行デコーダを有する。この構成に有利であるのは、ワード線３４１１、３４１２、３４１３、及び３４１４は、ワード線３４１１がＶＭＭアレイ３４０１のみにルーティングされ得、ワード線３４１２がＶＭＭアレイ３４０２のみにルーティングされ得、ワード線３４１３がＶＭＭアレイ３４０３のみにルーティングされ得、ワード線３４１４がＶＭＭアレイ３４０４のみにルーティングされ得るように、垂直方向に配置されているということである。こうしたことは、同じ高電圧デコーダ及び同じ高電圧デコード線を共有する複数のＶＭＭアレイに関して、ワード線が水平方向に配置される従来のレイアウトでは非常に効率が悪くなるであろう。
図３５は、メモリセル４１０として図４に示される種類のメモリセルとの使用に特に適したＶＭＭシステム３５００を示す。ＶＭＭシステム３５００は、ＶＭＭシステム３５００が読み出し動作及びプログラミング動作のための別個のワード線及び低電圧行デコーダを含むことを除いて、図３３のＶＭＭシステム３３００と同様である。
ＶＭＭシステム３５００は、ＶＭＭアレイ３５０１、３５０２、３５０３、及び３５０４（それぞれ、ＶＭＭアレイ１０００、１１００、１２００、１３００、１４００、１５００、２４００、２５００、２６００、２７００、２８００、２９００、３０００、３１００、及び３２００、又は他のＶＭＭアレイ設計など、前述のＶＭＭ設計のいずれかに基づくことができる）、低電圧読み出し行デコーダ３５０５、３５０６、３５０７、及び３５０８、共有低電圧プログラム行デコーダ３５３０、共有高電圧行デコーダ３５０９、読み出しワード線又はワード入力線３５１１、３５１２、３５１３、及び３５１４、プログラムプリデコード行線３５１５、ビット線３５２１、３５２２、３５２３、及び３５２４、制御ゲート線３５３２、ソース線３５３３、並びに消去ゲート線３５３５を備える。共有高電圧行デコーダ３５０９は、制御ゲート線３５３２、ソース線３５３３、及び消去ゲート線３５３５を提供する。このレイアウトでは、読み出しワード線又はワード入力線３５１１、３５１２、３５１３、及び３５１４、プログラムプリデコード行線３５１５、及びビット線３５２１、３５２２、３５２３、及び３５２４は互いに平行であり、垂直方向に配置されている。制御ゲート線３５３２、ソース線３５３３、及び消去ゲート線３５３５は、互いに平行であり、水平方向に配置されており、したがって、読み出しワード線又はワード入力線３５１１、３５１２、３５１３、及び３５１４、プログラムプリデコード行線３５１５、並びにビット線３５２１、３５２２、３５２３、及び３５２４に垂直である。このＶＭＭシステム３５００では、低電圧プログラム行デコーダ３５３０は、複数のＶＭＭアレイにわたって共有される。
ＶＭＭシステム３５００において、ＶＭＭアレイ３５０１、３５０２、３５０３、及び３５０４は、制御ゲート線３５３２、ソース線３５３３、消去ゲート線３５３５、及び高電圧行デコーダ３５０９を共有する。しかしながら、ＶＭＭアレイのそれぞれは、低電圧読み出し行デコーダ３５０５がＶＭＭアレイ３５０１とともに使用され、低電圧読み出し行デコーダ３５０６がＶＭＭアレイ３５０２とともに使用され、低電圧読み出し行デコーダ３５０７がＶＭＭアレイ３５０３とともに使用され、低電圧読み出し行デコーダ３５０８がＶＭＭアレイ３５０４とともに使用されるように、それ自体の低電圧読み出し行デコーダを有する。このレイアウトに有利であるのは、読み出しワード線又はワード入力線３５１１、３５１２、３５１３、及び３５１４は、ワード線３５１１がＶＭＭアレイ３５０１のみにルーティングされ得、ワード線３５１２がＶＭＭアレイ３５０２のみにルーティングされ得、ワード線３５１３がＶＭＭアレイ３５０３のみにルーティングされ得、ワード線３５１４がＶＭＭアレイ３５０４のみにルーティングされ得るように、垂直方向に配置されているということである。こうしたことは、同じ高電圧デコーダ及び同じ高電圧デコード線を共有する複数のアレイに関して、ワード線が水平方向に配置される従来のレイアウトでは非常に効率が悪くなるであろう。特に、プログラムプリデコード行線３５１５は、低電圧プログラム行デコーダ３５３０を介してＶＭＭアレイ３５０１、３５０２、３５０３、及び３５０４のいずれかに接続することができ、その結果、それらのＶＭＭアレイのうちの１つ以上のセルを一度にプログラムすることができる。
図３６は、ＶＭＭシステム３５００の特定の態様に関する更なる詳細、特に、低電圧行デコーダ３６００として例示される低電圧行デコーダ３５０５、３５０６、３５０７、及び３５０８に関する詳細を示す。低電圧読み出し行デコーダ３６００は、ＶＭＭアレイ３６０１、３６０２、３６０３、及び３６０４それぞれのセルの行とワード線を選択的に結合するために示される例示的なスイッチなどの複数のスイッチを備える。低電圧プログラムデコーダ３６３０は、図示のように構成された例示的なＮＡＮＤゲート３６３１及び３６３２、ＰＭＯＳトランジスタ３６３３及び３６３５、並びにＮＭＯＳトランジスタ３６３６及び３６３６を含む。ＮＡＮＤゲート３６３１及び３６３２は、プログラムプリデコード行線ＸＰ３６１５を入力として受容する。プログラム動作中、低電圧読み出し行デコーダ３６０５、３６０５、３６０６、及び３６０８内のスイッチＳｐ（ＣＭＯＳマルチプレクサ又は別の種類のスイッチであり得る）は閉じており、したがってプログラムワード線Ｗｌｐ０－ｎは、プログラミングのための電圧を印加するためにアレイ内のワード線に結合される。読み出し動作中、読み出しワード線又はワード入力線３６１１、３６１２、３６１３、及び３６１４は、低電圧読み出し行デコーダ３６０５、３６０６、３６０７、及び３６０８内のＳｒスイッチ（閉じている）（ＣＭＯＳマルチプレクサ又は別の種類のスイッチであり得る）を使用してアレイ３６０１、３６０２、３６０３、及び３６０４のうちの１つ以上のアレイ内の行のワード線端子に電圧を印加するように選択的に結合される。
図３７は、メモリセル４１０として図４に示される種類のメモリセルとの使用に特に適したＶＭＭシステム３７００を示す。ＶＭＭシステム３７００は、ＶＭＭアレイ３７０１、３７０２、３７０２、及び３７０４（それぞれ、ＶＭＭアレイ１０００、１１００、１２００、１３００、１４００、１５００、２４００、２５００、２６００、２７００、２８００、２９００、３０００及び３１００、又は他のＶＭＭアレイ設計など、前述のＶＭＭ設計のいずれかに基づくことができる）、低電圧行デコーダ３７０５、３７０６、３７０７、及び３７０８、ローカル高電圧行デコーダ３７０９及び３７１０と、グローバル高電圧行デコーダ３７３０、ワード線３７１１、３７１２、３７１３、及び３７１４、ビット線３７２１、３７２２、３７２３、及び３７２４、高電圧及び／又は低電圧（high voltage and/or low voltage、ＨＶ／ＬＶ）プリデコード線３７３２、ソース線３７３３、並びに消去ゲート線３７３４を備える。共有グローバル高電圧行デコーダ３７３０は、ＨＶ／ＬＶプリデコード線３７３２、ソース線線３７３３、及び消去ゲート線３７３４を提供する。このレイアウトでは、ワード線３７１１、３７１２、３７１３、及び３７１４、並びにビット線３７２１、３７２２、３７２３、及び３７２４は互いに平行であり、垂直方向に配置されている。ＨＶ／ＬＶプリデコード線３７３２、ソース線線３７３３、及び消去ゲート線３７３４は、互いに並行であり、水平方向に配置されており、したがって、ワード線３７１１、３７１２、３７１３、及び３７１４、並びにビット線３７２１、３７２２、３７２３、及び３７２４に垂直である。ＨＶ／ＬＶプリデコード線３７３２は、ローカル高電圧デコーダ３７０９及び３７１０に入力される。ローカル高電圧デコーダ３７０９は、ＶＭＭアレイ３７０１及び３７０２用のローカル制御ゲート線を出力する。ローカル高電圧デコーダ３７１０は、ＶＭＭアレイ３７０３及び３７０４用のローカル制御ゲート線を出力する。別の実施形態では、ローカル高電圧デコーダ３７０９及び３７１０は、ＶＭＭアレイ３７０１／３７０２及びＶＭＭアレイ３７０３／３７０４のためのローカルソース線をそれぞれ提供することができる。別の実施形態では、ローカル高電圧デコーダ３７０９及び３７１０は、ＶＭＭアレイ３７０１／３７０２及びＶＭＭアレイ３７０３／３７０４のためのローカル消去ゲート線をそれぞれ提供することができる。
ここで、ローカル高電圧行デコーダ３７０９は、ＶＭＭアレイ３７０１及び３７０２によって共有され、ローカル高電圧行デコーダ３７１０はＶＭＭアレイ３７０３及び３７０４によって共有される。グローバル高電圧デコーダ３７３０は、高電圧及び低電圧のプリデコード信号をローカル高電圧行デコーダ３７０９及び３７１０などのローカル高電圧行デコーダにルーティングする。したがって、高電圧デコード機能は、グローバル高電圧行デコーダ３７３０と、ローカル高電圧デコーダ３７０９及び３７１０などのローカル高電圧デコーダとの間で分割される。
ＶＭＭシステム３７００において、ＶＭＭアレイ３７０１、３７０２、３７０３、及び３７０４は、ＨＶ／ＬＶプリデコード線３７３２、ソース線３７３３、消去ゲート線３７３４、及びグローバル高電圧行デコーダ３７３０を共有する。しかしながら、ＶＭＭアレイのそれぞれは、低電圧行デコーダ３７０５がＶＭＭアレイ３７０１とともに使用され、低電圧行デコーダ３７０６がＶＭＭアレイ３７０２とともに使用され、低電圧行デコーダ３７０７がＶＭＭアレイ３７０３とともに使用され、低電圧行デコーダ３７０８がＶＭＭアレイ３７０４とともに使用されるように、それ自体の低電圧行デコーダを有する。このレイアウトに有利であるのは、ワード線３７１１、３７１２、３７１３、及び３７１４は、ワード線３７１１がＶＭＭアレイ３７０１のみにルーティングされ得、ワード線３７１２がＶＭＭアレイ３７０２のみにルーティングされ得、ワード線３７１３がＶＭＭアレイ３７０３のみにルーティングされ得、ワード線３７１４がＶＭＭアレイ３７０４のみにルーティングされ得るように、垂直方向に配置されているということである。こうしたことは、単一の高電圧デコーダを共有する複数のアレイに関して、ワード線が水平方向に配置される従来のレイアウトでは非常に効率が悪くなるであろう。
図３８は、メモリセル４１０として図４に示される種類のメモリセルとの使用に特に適したＶＭＭシステム３８００を示す。ＶＭＭシステム３８００は、ＶＭＭアレイ３８０１、３８０２、３８０２、及び３８０４（各々、ＶＭＭアレイ１０００、１１００、１２００、１３００、１４００、１５００、２４００、２５００、２６００、２７００、２８００、２９００、３０００、３１００、及び３２００、又は他のＶＭＭアレイ設計など、前述のＶＭＭ設計のいずれかに基づくことができる）、低電圧行デコーダ３８０５、３８０６、３８０７、及び３８０８、ローカル高電圧行デコーダ３８０９及び３８１０、グローバル高電圧行デコーダ３８３０、ビット線３８２１、３８２２、３８２３、及び３８２４、制御ゲート線又は制御ゲート入力線３８１１及び３８１２、ＨＶ／ＬＶプリデコード線３８３３、ソース線３８３４、並びに消去ゲート線３８３５を備える。共有グローバル高電圧行デコーダ３８３０は、ＨＶ／ＬＶプリデコード線３８３３、ソース線線３８３４、及び消去ゲート線３８３５を提供する。ローカル高電圧デコーダ３８０９及び３８１０は、制御ゲート入力ＣＧ３８１１及び３８１２を、それぞれＶＭＭアレイ３８０１、３８０２及び３８０３、３８０４のローカル制御ゲートに結合する。低電圧行デコーダ３８０５、３８０６、３８０７、及び３８０８は、アレイ３８０１、３８０２、３８０３、３８０４それぞれにローカル（水平）ワード線を提供する。このレイアウトでは、制御ゲート線３８１１及び３８１２、並びにビット線３８２１、３８２２、３８２３、及び３８２４は互いに平行であり、垂直方向に配置されている。ソース線３８３４及び消去ゲート線３８３５は、互いに平行であり、水平方向に配置されており、したがって、制御ゲート線３８１１及び３８１２並びにビット線３８２１、３８２２、３８２３、及び３８２４に垂直である。
図３７のＶＭＭシステム３７００と同様に、ローカル高電圧行デコーダ３８０９は、ＶＭＭアレイ３８０１及び３８０２によって共有され、ローカル高電圧行デコーダ３８１０は、ＶＭＭアレイ３８０３及び３８０４によって共有される。グローバル高電圧デコーダ３８３０は、ローカル高電圧行デコーダ３８０９及び３８１０などのローカル高電圧行デコーダに信号をルーティングする。したがって、高電圧デコード機能は、グローバル高電圧行デコーダ３８３０と、ローカル高電圧デコーダ３８０９及び３８１０などのローカル高電圧デコーダ（ローカルソース線線及び／又はローカル消去ゲート線を提供することができる）との間で分割される。
ＶＭＭシステム３８００において、ＶＭＭアレイ３８０１、３８０２、３８０３、及び３８０４は、ＨＶ／ＬＶプリデコード線３８３３、ソース線線３８３４、消去ゲート線３８３５、及びグローバル高電圧行デコーダ３８３０を共有する。しかしながら、ＶＭＭアレイの各々は、低電圧行デコーダ３８０５がＶＭＭアレイ３８０１とともに使用され、低電圧行デコーダ３８０６がＶＭＭアレイ３８０２とともに使用され、低電圧行デコーダ３８０７がＶＭＭアレイ３８０３とともに使用され、低電圧行デコーダ３８０８がＶＭＭアレイ３８０４とともに使用されるように、それ自体の低電圧行デコーダを有する。このレイアウトに有利であるのは、読み出し線又は入力線であり得る制御ゲート線３８１１及び３８１２は、制御ゲート線３８１１が、ＶＭＭアレイ３８０１及び３８０２のみにルーティングされ得、制御ゲート線３８１２が、ＶＭＭアレイ３８０３及び３８０４のみにルーティングされ得るように、垂直方向に配置されているということである。こうしたことは、ワード線が水平方向に配置されている従来のレイアウトでは不可能であろう。
図３９は、メモリセル３１０として図３に、メモリセル４１０として図４に、メモリセル５１０として図５に、又はメモリセル７１０として図７に示される種類のメモリセルとの使用に特に適したＶＭＭシステム３９００を示す。ＶＭＭシステム３９００は、ＶＭＭアレイ３９０１及び３９０２（それぞれ、ＶＭＭアレイ１０００、１１００、１２００、１３００、１４００、１５００、２４００、２５００、２６００、２７００、２８００、２９００、３０００、３１００、及び３２００、又は他のＶＭＭアレイ設計など、前述のＶＭＭ設計のいずれかに基づくことができる）、低電圧行デコーダ３９０３（アレイ３９０１及び３９０２とともに使用される）、ローカル高電圧行デコーダ３９０５、グローバル高電圧行デコーダ３９０４、制御ゲート線３９０８及び３９０９、並びにビット線３９０６及び３９０７を備える。このレイアウトでは、制御ゲート線３９０８は、ＶＭＭアレイ３９０１のみによって使用され、制御ゲート線３９０９は、ＶＭＭアレイ３９０２のみによって使用される。低電圧行デコード線３９１０は、グローバル高電圧行デコーダ３９０４へのデコード入力として使用される。グローバル高電圧行デコード線３９１１は、ローカル高電圧デコーダ３９０５へのデコード入力として使用される。
ローカル高電圧行デコーダ３９０５は、ＶＭＭアレイ３９０１及び３９０２によって共有される。グローバル高電圧デコーダ３９０４は、ＶＭＭシステム３９００のローカル高電圧行デコーダ３９０５などの、複数のＶＭＭシステムのローカル高電圧行デコーダに信号をルーティングする。したがって、高電圧デコード機能は、上述のように、グローバル高電圧行デコーダ３９０４と、ローカル高電圧デコーダ３９０５などのローカル高電圧デコーダとの間で分割される。
ＶＭＭシステム３９００では、ＶＭＭアレイ３９０１及び３９０２は、ワード線（図示せず）、存在する場合はソースゲート線（図示せず）、存在する場合は消去ゲート線（図示せず）、及びグローバル高電圧行デコーダ３９０４を共有する。ここで、ＶＭＭアレイ３９０１及び３９０２は低電圧行デコーダ３９０３を共有する。このレイアウトに有利であるのは、ＶＭＭアレイ３９０１及び３９０２が制御ゲート線を共有しないことで、制御ゲート線３９０８及び３９０９をそれぞれ使用して各アレイが独立してアクセスされることを可能にするということである。
図５１Ａは、メモリセル４１０として図４に示される種類のメモリセルとの使用に特に適したＶＭＭシステム５１００を示す。ＶＭＭシステム５１００は、ＶＭＭアレイ５１０１、５１０２、５１０３、及び５１０４（各々、ＶＭＭアレイ１０００、１１００、１２００、１３００、１４００、１５１０、２４００、２５１０、２６００、２７００、２８００、２９００、３０００、３１００、及び３２００、又は他のＶＭＭアレイ設計など、前述のＶＭＭアレイ設計のいずれかに基づくことができる）、高電圧デコーダ５１３０、ルーティングブロック５１５１及び５１５２、入力ワード線５１１１及び５１１２、ビット線５１２１、５１２２、５１２３、及び５１２４、制御ゲート線５１３２、ソース線５１３３、並びに消去ゲート線５１３４を備える。高電圧デコーダ５１３０は、制御ゲート線５１３２、ソース線５１３３、及び消去ゲート線５１３４に信号を提供する。ルーティングブロック５１５１、５１５２は、垂直に受容される入力ワード線５１１１及び５１１２がそれぞれ、ＶＭＭアレイ５１０１～５１０４の水平に延びるワード線にルーティングされる場所である。あるいは、ルーティングブロック５１５１、５１５２は、ＶＭＭアレイの水平に延びる制御ゲート線５１３２に垂直に受容される制御ゲート入力線５１３２をルーティングしてもよい。
図５１Ｂは、ビット線をアレイの頂部及び底部からルーティングすることができ、制御ゲート（ＣＧ）をアレイの右側から及びアレイの左側からルーティングすることができることを除いて、ＶＭＭシステム５１００とあらゆる点で同一であるＶＭＭシステム５１５０を示す。これは、アレイの両側が、ビット線ルーティング又は制御ゲート（若しくはワード線）ルーティングに使用され得ることを意味する。端子（ＢＬ、ＣＧ、ＷＬ）がルーティングされるアレイの各側でローカルデコーダ又は多重化が必要であり得る。例えば、このルーティング方法は、ニューラル読み出しモード（ニューラルネットワーク推論モード）に必要である。
図４０は、ＮＡＮＤゲート４００１、ＰＭＯＳトランジスタ４００２、及びＮＭＯＳトランジスタ４００３を含む低電圧行デコーダ４０００を示す。ＮＡＮＤゲート４００１は、行アドレス信号４００４を受け取る。ＰＭＯＳトランジスタ４００２は、垂直ワード線入力４００５に結合される。出力は、それぞれのＶＭＭアレイに結合する多くのワード線のうちの１本である水平ワード線４００６にある。この例では、合計１６本のワード線が存在し、したがって、１６本のワード線のうちの１本をそれぞれ出力する行デコーダ４０００の１６個のインスタンスが存在する。したがって、受け取った行アドレス信号に基づいて、ワード線４００６などの１本のワード線は、電圧などのそれぞれの信号を出力し、他のワード線は接地に設定される。
図４１は、ここでＮＡＮＤゲート４１０１、ＰＭＯＳトランジスタ４１０２、ＮＭＯＳトランジスタ４１０３、行アドレス信号４１０４、垂直入力ワード線４１０５、及びＶＭＭアレイのワード線に結合する水平ワード出力線４１０６を備える、図４０のような低電圧行デコーダを含む組み合わせた共選択／選択解除ワード線及び制御ゲートデコーダ（combined co-select/deselect word line and control gate decoder）４１００を示す。組み合わせたワード線及び制御ゲートデコーダ４１００は、インバータ４１０７、スイッチ４１０８及び４１１２、並びに絶縁トランジスタ４１０９を更に含み、制御ゲート入力４１１０ ＣＧＩＮ０を受け取り、制御ゲート線４１１１ ＣＧ０を出力する。ワード線出力４１０６ ＷＬ０及び制御ゲート出力ＣＧ０ ４１１１は、ＮＡＮＤゲート４１０１を制御するデコード論理（図示せず）によって、同時に選択又は選択解除される。
図４２は、ＶＭＭアレイ４２０１及び４２０２で動作するビット線デコーダ４２００を示す。ビット線デコーダ４２００は、（プログラム及び検証のために１本以上のビット線を選択するための、ここで検証動作は、セル電流が同調動作（プログラム又は消去動作）中に特定のターゲットに到達したことを確認するために使用される）列マルチプレクサ４２０３、及び（１本以上のビット線で読み出し動作を実行するための）検知増幅器４２０４を含む。図示のように、ローカルビット線ｍｕｘ ４２０１ｂ及び４２０２ｂは、列マルチプレクサ４２０３に結合されるグローバルビット線４２２０ｘにローカルアレイビット線を多重化する。検知増幅器は、ＡＤＣ又は他のデバイスを含む。したがって、ビット線デコーダ４２００は、複数のアレイにわたって共有される。
図４３は、ＶＭＭシステム４３００を示し、これは、ＶＭＭアレイ４３０１、４３０２、４３０３、及び４３０４、低電圧行デコーダ４３０５及び４３０７、ローカル高電圧行デコーダ４３０６及び４３０８、グローバル高電圧行デコーダ４３０９、デジタルバス入力ＱＩＮ［７：０］４３１１及び４３１２（ここではＶＭＭアレイへの入力である）、並びにビット線４３２１、４３２２、４３２３、及び４３２４を備える。低電圧行デコーダ４３０５などの各低電圧行デコーダは、ワード線で信号４３３３を出力する例示的なデータ入力ブロック４３３１（８個のラッチ又はレジスタからなってもよい）及びブロック４３３２（データ－電圧変換回路又はデータ－パルス変換回路を備え得る）などの、各ワード線用の回路ブロック行デコーダ４３３５を備える。したがって、この低電圧行デコーダへの入力は、適切な制御論理を有するデジタルバスＱＩＮ［７：０］である。各回路ブロック列デコーダ４３３５では、デジタル入力ＱＩＮ［７：０］４３１１及び４３１２は、同期計時手段及び方法によって（例えば、シリアル－パラレル計時インターフェース（serial to parallel clocking interface）などによって）適切にラッチされる。
図４４は、（ＡＤＣからのような）ＶＭＭアレイからの出力を受け取り、それらの出力をグループで多重化された様式で、他のＶＭＭアレイ（ＤＡＣ又はＤＰＣなど）の入力ブロックに提供する、ニューラルネットワークアレイ入出力バスマルチプレクサ４４００を示す。示される例では、入出力バスマルチプレクサ４４００への入力は、２０４８ビット（２５６セット、それぞれ８ビットのＮＥＵ０、．．．、ＮＥＵ２５５）を含み、入出力バスマルチプレクサ４４００は、それらのビットをグループごとに３２ビットの６４個の異なるグループで提供し、時分割多重化の使用などによって、異なるグループ間で多重化する（任意の所与の時点で３２ビットの１グループを提供する）。制御論理４４０１は、入出力バスマルチプレクサ４４００を制御する制御信号４４０２を生成する。
図４５Ａ及び図４５Ｂは、ＶＭＭアレイの例示的なレイアウトを示し、ここでワード線は、垂直方式（図３４又は図３５のような図４５Ｂ）と対比した水平方式（図４５Ａ）でレイアウトされている。
図４６は、ワード線が垂直方式で（図３４又は図３５のような）レイアウトされている、ＶＭＭアレイの例示的なレイアウトを示す。しかしながら、このレイアウトでは、２本のワード線（ワード線４６０１及び４６０２など）は、同じ列を占有することができるが、アレイ内の異なる行にアクセスする（それらの間のギャップに起因する）。
図４７は、図２に示される種類のメモリセルでの使用に適切である、ワード線デコーダ回路４７０１、ソース線デコーダ回路４７０４、及び高電圧レベルシフタ４７０８を含む、ＶＭＭ高電圧デコード回路を示す。
ワード線デコーダ回路４７０１は、図示のように構成された、ＰＭＯＳ選択トランジスタ４７０２（信号ＨＶＯ＿Ｂによって制御される）及びＮＭＯＳ選択解除トランジスタ４７０３（信号ＨＶＯ＿Ｂによって制御される）を含む。
ソース線デコーダ回路４７０４は、図示のように構成された、ＮＭＯＳ監視トランジスタ４７０５（信号ＨＶＯによって制御される）、駆動トランジスタ４７０６（信号ＨＶＯによって制御される）、及び選択解除トランジスタ４７０７（信号ＨＶＯ＿Ｂによって制御される）を含む。
高電圧レベルシフタ４７０８は、イネーブル信号ＥＮを受け取り、高電圧信号ＨＶ及びその補完信号ＨＶＯ＿Ｂを出力する。
図４８は、図３に示される種類のメモリセルでの使用に適切である、消去ゲートデコーダ回路４８０１、制御ゲートデコーダ回路４８０４、ソース線デコーダ回路４８０７、及び高電圧レベルシフタ４８１１を含む、ＶＭＭ高電圧デコード回路を示す。
消去ゲートデコーダ回路４８０１及び制御ゲートデコーダ回路４８０４は、図４７のワード線デコーダ回路４７０１と同じ設計を使用する。
ソース線デコーダ回路４８０７は、図４７のソース線デコーダ回路４７０４と同じ設計を使用する。
高電圧レベルシフタ４８１１は、図４７の高電圧レベルシフタ４７０８と同じ設計を使用する。
図４９は、ワード線ドライバ４９００を示す。ワード線ドライバ４９００は、ワード線（本明細書に示される例示的なワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３など）を選択し、そのワード線にバイアス電圧を提供する。各ワード線は、制御線４９０２によって制御される選択トランジスタ４９０１などの選択絶縁トランジスタに取り付けられている。選択トランジスタ４９０１などの選択トランジスタは、ワード線デコードトランジスタから消去動作中に使用される高電圧（例えば、８～１２Ｖ）を絶縁し、選択トランジスタは低電圧（例えば、１．８Ｖ、３．３Ｖ）で動作するＩＯトランジスタを用いて実装することができる。ここで、任意の動作中に、制御線４９０２が活性化され、選択トランジスタ４９０１に類似した全ての選択トランジスタがオンにされる。例示的バイアストランジスタ４９０３（ワード線デコード回路の一部）は、ワード線を第１のバイアス電圧（３Ｖなど）に選択的に結合させ、例示的なバイアストランジスタ４９０４（ワード線デコード回路の一部）は、ワード線を第２のバイアス電圧（第１のバイアス電圧より低く、接地、接地と第１のバイアス電圧との間のバイアス、又は非使用メモリ行からの漏れを低減するための負電圧バイアスを含む）に選択的に結合させる。ＡＮＮ（アナログニューラルネットワーク）読み出し動作中、全ての使用ワード線が選択され、第１のバイアス電圧に結び付けられる。全ての非使用ワード線は、第２のバイアス電圧に結び付けられる。プログラム動作などの他の動作中に、一方のワード線のみが選択され、他方のワード線が第２のバイアス電圧に結び付けられ、これは、アレイ漏れを低減するために負バイアス（例えば、－０．３～－０．５Ｖ以上）であり得る。
バイアストランジスタ４９０３及び４９０４は、シフトレジスタ４９０５のステージ４９０６の出力に結合される。シフトレジスタ４９０５は、入力データパターン（ＡＮＮ動作の開始時にロードされる）に従って、各行が独立して制御されることを可能にする。
図５０は、ワード線ドライバ５０００を示す。ワード線ドライバ５０００は、各選択トランジスタがコンデンサ５００１などのコンデンサに更に結合されていることを除いて、ワード線ドライバ４９００と同様である。コンデンサ５００１は、線５００３上の電圧をサンプリングするためにトランジスタ５００２によって有効にされた、動作の開始時のワード線にプリチャージ又はバイアスを提供することができる。コンデンサ５００１は、各ワード線に対する入力電圧をサンプリング及び保持（sample and hold、Ｓ／Ｈ）するように作用する。トランジスタ５００４及び５００５は、ＶＭＭアレイのＡＮＮ動作（アレイ電流加算器及び活性化関数）中にオフであり、Ｓ／Ｈコンデンサ５００１上の電圧がそれぞれのワード線の（浮遊）電圧源として機能することを意味する。あるいは、コンデンサ５００１は、ＶＭＭアレイからのワード線（又は入力が制御ゲートにある場合には制御ゲート静電容量として）静電容量によって提供することができる。
タンデム行デコーダ
図５２～図５５は、タンデムデコーダの実施形態を示す。タンデムデコーダは、アレイ漏れを低減し、好ましくは最小限に抑える。ニューラル読み出し中、未使用の行は、好ましくは、アレイ漏れを低減するために遮断される。先行技術では、ワード線デコーダは、典型的には、制御ゲートデコーダを駆動するために使用され、制御ゲートの切り替えは、未使用のセルをオフに切り替えるために使用される。これは、電流ディケード／ＶＣＧ Ｉ－Ｖ（例えば、２電流ディケード／１Ｖ）曲線特性の数に起因して、高電流レベルには最適ではない。すなわち、制御ゲート線の電流は、制御ゲートＣＧ電圧が１Ｖだけ低減したときに、約１００ｎＡ～１ｎＡ変化する。タンデムデコーダは、先行技術のこの制限を克服する。
検証動作中に続く例では、ワード線デコーダが、制御ゲートデコーダをオーバードライブすることが所望され、これは、制御ゲート状態が、ワード線状態が変化するまで、変化しないことを意味する。読み出しニューラル動作中、制御ゲートデコーダは、ワード線デコーダをオーバードライブし、これは、ワード線状態が、制御ゲート線状態が変化するまで、変化しないことを意味する。
図５２は、制御ゲートデコーダ５２０２に結合されたワード線デコーダ５２０１を含むタンデム行デコーダ５２００を示す。この例では、タンデム行デコーダ５２００は、アレイ内の行０に使用される。アレイ内の他の行の全ては、それに割り当てられた同様のタンデム行デコーダを有する。
ワード線デコーダ５２０１は、示されるように構成された、インバータとして配置された、ＰＭＯＳトランジスタ５２０３及びＮＭＯＳトランジスタ５２０４、ＮＡＮＤゲート５２０５、ＮＡＮＤゲート５２０６、及びインバータ５２０７を含む。制御ゲートデコーダ５２０２は、示されるように構成された、ＮＡＮＤゲート５２０８、インバータ５２０９、ＮＡＮＤゲート５２１０、インバータ５２１１、スイッチ５２１２、スイッチ５２１３、並びにインバータ５２１１とスイッチ５２１２及び５２１３からの論理信号からの）パスゲート（ゲートがＶｄｄなどの中間電圧に接続された絶縁トランジスタとして機能して、不揮発性動作において、ＣＧの高電圧レベルを絶縁し、高電圧レベルが高電圧回路から供給される）として作用する絶縁ＮＭＯＳトランジスタ５２１４を含む。
ワード線ＷＬ０が、（検証動作中など）制御ゲートＣＧ０を（無効又は有効にするために）オーバードライブすることが所望されるモードに入ると、ＮＡＮＤゲート５２０８の１つの入力に供給される制御信号ＣＦＧ＿ＥＮＷＬは、「１」に設定され、ＮＡＮＤゲート５２０６の１つの入力に供給されるＣＦＧ＿ＥＮＣＧは、「０」に設定される。制御ゲート線ＣＧ０が、（読み出しニューラル動作中など）ワード線ＷＬ０を（無効又は有効にするために）オーバードライブすることが所望されるモードに入ると、制御信号ＣＦＧ＿ＥＮＣＧは、「１」に設定され、ＣＦＧ＿ＥＮＷＬは、「０」に設定される。行０が全く使用されていないモードに入ると、ＣＦＧ＿ＥＮＷＬ及びＣＦＧ＿ＥＮＣＧは両方とも「０」に設定され、これはタンデムデコーダ５２００が有効にされないことを意味する。行０が全く使用されていないモードでは、各ワード線ＷＬデコーダ及び各制御ゲートＣＧデコーダは、個別に（別々に）有効／無効にされる必要がある。
第１に、タンデムデコーダ５２００が有効にされないモード（すなわち、ＣＦＧ＿ＥＮＷＬ及びＣＦＧ＿ＥＮＣＧ＝「０」）について考察する。ＣＦＧ＿ＥＮＣＧ及びＣＦＧ＿ＥＮＷＬが「０」である場合、ＮＡＮＤゲート５２０６及び５２０８の出力は各々、各ＮＡＮＤゲートの他の入力の値に関係なく「１」である。行０がアドレス指定されていないため、ＮＡＮＤゲート５２０５の出力は、事前にデコードされたアドレス線ＥＮＸ０．．．ＥＮＸｎがアサートされないため、「１」である。したがって、ＰＭＯＳトランジスタ５２０３がオフにされ、ＮＭＯＳトランジスタがオンにされ、それにより、ＷＬ０が「０」である。入力ＣＦＧ＿ＥＮＷＬが「０」であるため、ＮＡＮＤゲート５２０８の出力は「１」であり、行０がアドレス指定されていないため、ＮＡＮＤゲート５２１０の出力は、事前にデコードされた線ＥＮＧ０．．．ＥＮＧｎがアサートされないため、「１」である。したがって、スイッチ５２１３は閉鎖される。インバータ５２１１の出力は、スイッチ５２１２を開放する「０」である。スイッチ５２１３は、閉状態において、パスゲート５２１４への入力を下に引き、出力ＣＧ０は「０」である。したがって、事前にデコードされた線がアサートされていないこのモードでは、ＷＬ０及びＣＧ０は「０」に引かれ、これは、タンデムデコーダ５２００が使用されていないため、所望の状態である。特に、メモリセルは、それぞれ、プルダウントランジスタ５２０４及びスイッチ５２１３（典型的には、ＮＭＯＳトランジスタも）を通して、端子ＷＬ０及びＣＧ０の両方が接地に引かれるため、いかなる認識可能な漏れ電流も示さない。
第２に、タンデムデコーダ５２００が有効にされ、ワード線ＷＬ０が制御ゲートＣＧ０を（有効又は無効にするために）オーバードライブするモードについて考察する。ＣＦＧ＿ＥＮＣＧは、「０」に設定され、ＣＦＧ＿ＥＮＷＬは、「１」に設定される。ＮＡＮＤゲート５２０６の出力は、他の入力で受信された値に関係なく「１」である。この場合、行０に対応するアドレスが受信されることが想定されるため、ＮＡＮＤ５２０５への入力ＥＮＸ０．．．ＥＮＸｎは各々、「１」であり、これは、ＮＡＮＤ５２０５の出力が「０」であることを意味する。ＰＭＯＳトランジスタ５２０３はオンになり、ＮＭＯＳトランジスタ５２０４はオフになり、ＷＬ０は、特にワード線バイアス電圧ＷＬＢＩＡＳに向かって「１」に引かれる。インバータ５２０９への入力は「１」であり、インバータ５２０９の出力は「０」であり、ＮＡＮＤゲート５２０８の出力は「１」である。この場合、行０に対応するアドレスが受信されることが想定されるため、ＮＡＮＤ５２１０への入力ＥＮＧ０．．．ＥＮＧｎは各々、「１」である、これは、ＮＡＮＤゲート５２１０の出力が、スイッチ５２１３を開放する「０」であることを意味する。上記のように、インバータ５２１１の出力は「１」であり、スイッチ５２１２は閉鎖され（有効にされ）、スイッチ５２１３は開放され（無効にされ）、パスゲート５２１４は既にオンであり、制御ゲートＣＧ０は入力ＣＧＩＮ０に引かれる。ＣＧ０は、ＷＬ０が「０」から「１」に切り替わるまで、「０」から制御ゲートバイアス電圧ＣＧＩＮ０に切り替わらない、なぜなら、それが起こるまでＮＡＮＤゲート５２０８が「０」を出力するためである。
第３に、タンデムデコーダ５２００が有効にされ、ＥＮＣＧＩＮを有効にする制御ゲート又は制御ゲートＣＧ０が、ワード線ＷＬ０を（有効又は無効にするために）オーバードライブするモードについて考察する。ＣＦＧ＿ＥＮＣＧは、「１」に設定され、ＣＦＧ＿ＥＮＷＬは、「０」に設定される。ＮＡＮＤゲート５２０８の出力は、他の入力で受信された値に関係なく「１」である。この場合、行０に対応するアドレスが受信されることが想定されるため、ＮＡＮＤ５２１０への入力ＥＮＧ０．．．ＥＮＧｎは各々、「１」であり、これは、ＮＡＮＤ５２１０の出力が「０」であることを意味する。インバータ５２１１の出力は「１」であり、スイッチ５２１２は閉鎖され、スイッチ５２１３は開放され、ＣＧ０は入力ＣＧＩＮ０に駆動される。インバータ５２０７への入力は「１」であり、インバータ５２０７の出力は「０」であり、ＮＡＮＤゲート５２０６の出力は「１」に切り替わる。この場合、行０に対応するアドレスが受信されることが想定されるため、ＮＡＮＤ５２０５への入力ＥＮＸ０．．．ＥＮＸｎは各々「１」であり、これは、ＮＡＮＤ５２０５の出力が、ＮＡＮＤゲート５２０６の出力がアサートされていることを想定して「０」であることを意味する（すなわち、＝「１」）。ＰＭＯＳトランジスタ５２０３はオンになり、ＮＭＯＳトランジスタ５２０４はオフになり、その結果、出力ＷＬ０が「１」である。この第３のモード（ＣＧデコードがＷＬデコードをオーバードライブする）では、ＷＬ０は、ＣＧ０が「０」から「１」に切り替わるまで「０」から「１」に切り替わらず、なぜなら、それが起こるまで、ＮＡＮＤゲート５２０６が「０」を出力するためである。
モードに応じて示されるように、ＷＬ０（ＷＬデコード）は、ＣＧ０（ＣＧデコード）を有効／無効にするために使用され、逆線様式（ＷＬ０相互接続線及びＣＧ０相互接続線）では、逆も同様である。
図５３は、制御ゲートデコーダ５３０２に結合されたワード線デコーダ５３０１を含むタンデム行デコーダ５３００を示す。この例では、タンデム行デコーダ５３００は、アレイ内の行０に使用される。アレイ内の他の行の全ては、それに割り当てられた同様のタンデム行デコーダを有する。ワード線デコーダ５３０１は、図５２のワード線デコーダ５２０１と同一である。制御ゲートデコーダ５３０２は、制御ゲートデコーダ５３０２からインバータ５２０７への結合が、スイッチ５２１２の上流（図５２に示すように）から出力ノードＣＧ０に移動されたことを除いて、図５２の制御ゲートデコーダ５２０２と同一であり、これにより、ＣＧ０が、「０」から、「ＣＧＩＮ０」が、基準レベル、例えば０．５Ｖ以上などの高い十分な電圧レベルである、制御ゲートバイアス電圧「ＣＧＩＮ０」に切り替わるまで、ＷＬ０が「０」から「１」に切り替わらないことを確実にする。タンデム行デコーダ５３００は、そうでなければ、タンデム行デコーダ５２００と同じ方法で動作する。インバータ５２０７は、トリップ点が電源のほぼ半分であるコンパレータとして機能し、ＣＧ０が＜約０．５Ｖｄｄである場合、その出力＝「１」を意味する。入力電圧レベルＩＮ（すなわち、ＣＧ０）＜基準電圧レベルＶＲＥＦ（例えば、０．５Ｖ）の場合、その出力ＯＵＴ＝「１」であるコンパレータ５２０７Ｂを有する別の実施形態が、インサートに示されている。同様に、インバータ５２０９は、コンパレータ５２０７Ｂと同様のコンパレータとして実装することができる。
図５４は、ワード線デコーダ５４０１及び制御ゲートデコーダ５４０２を含むタンデム行デコーダ５４００を示す。この例では、タンデム行デコーダ５４００は、アレイ内の行０に使用される。アレイ内の他の行の全ては、それに割り当てられた同様のタンデム行デコーダを有する。行デコーダ５４００は、各ワード線又は各制御ゲート線を有効又は無効にするためのそれぞれのローカルラッチを使用する。代替的に、１つのラッチを使用して、各ワード線及び制御ゲート線をタンデムで一緒に有効／無効にすることができる。
ソース線デコーダ５４０１は、示されるように構成された、ＰＭＯＳトランジスタ５４０３、ＮＭＯＳトランジスタ５４０４、ＮＡＮＤゲート５４０５、及びラッチ５４０６を備える。制御ゲートデコーダ５４０２は、示されるように構成された、ＮＡＮＤゲート５４０８、ラッチ５４０９、インバータ５４１０、スイッチ５４１１、スイッチ５４１２、及びパスゲート５４１３を備える。
タンデム行デコーダ５４００は、ＥＮ＿ＬＡＴＷＬ／ＥＮ＿ＬＡＴＣＧ及びＤＩＮＬＡＴを「１」に設定することによって有効にされ、これは、ワード線デコーダ５４０１及び制御ゲートデコーダ５４０２を有効にする。この例では、行０が選択されているため、デコードアドレス信号ＥＮＸ０．．．ＥＮＸｎ及びＥＮＧ０．．．ＥＮＧｎは、全て「１」である。これが起こると、ラッチ５４０６の出力が「１」に設定され、ＮＡＮＤゲート５４０５の出力は「０」であり、ＰＭＯＳトランジスタ５４０３はオンにされ、ＮＭＯＳトランジスタ５４０４はオフにされる。ＷＬ０は、「１」であるＷＬＢＩＡＳまで高く駆動される。ＥＮ＿ＬＡＴＣＧ及びＤＩＮＬＡＴが「１」に設定されると、ラッチ５４０９の出力は「１」に設定され、ＮＡＮＤゲート５４０８の出力は「０」であり、インバータ５４１０の出力は「１」であり、スイッチ５４１１は閉鎖され、スイッチ５４１２は開放される。ＣＧＯは、ＣＧＩＮ０レベルを入力するように駆動される。
タンデム行デコーダ５４００が有効にされない場合、ＥＮ＿ＬＡＴＷＬ／ＥＮ＿ＬＡＴＣＧは「１」に設定され、ＤＩＮＬＡＴは「０」に設定され、その結果、ワード線デコーダ５４０１及び制御ゲートデコーダは有効にされない。受信されたアドレス信号及びＥＮ０の状態に関係なく、ラッチ５４０６の出力は「０」であり、ＮＡＮＤゲート５４０５の出力は「１」であり、ＮＭＯＳトランジスタ５４０３はオフにされ、ＮＭＯＳトランジスタ５４０４はオンにされ、「０」である接地にＷＬ０を引き下げる。ラッチ５４０９の出力はまた「０」であり、ＮＡＮＤゲート５４０８の出力は「１」であり、インバータ５４１０の出力は「０」であり、スイッチ５４１１は開放され、スイッチ５４１２は閉鎖され、ＣＧ０はスイッチ５４１２を介して、「０」である接地に引き下げられる。特に、端子ＷＬ０及びＣＧ０の両方がプルダウントランジスタ５４０４及びスイッチ５４１２（典型的にはＮＭＯＳトランジスタでもある）を通して接地に引かれるため、ＷＬ０又はＣＧ０に起因するメモリセルには明らかな漏れ電流はない。
図５５は、ワード線デコーダ５５０１及び制御ゲートデコーダ５５０２を含むタンデム行デコーダ５５００を示す。この例では、タンデム行デコーダ５５００は、アレイ内の行０に使用される。アレイ内の他の行の全ては、それに割り当てられた同様のタンデム行デコーダを有する。このデコーダは、例えば、高電源Ｖｄｄ（ＷＬＢＩＡＳＨ＞Ｖｄｄ）又は接地レベル（ＷＬＢＩＡＳＬ＜０Ｖ、メモリセル漏れを更にもっと低減するための、－０．４Ｖ～－１Ｖなどの負のレベル）などの出力の電圧範囲を拡張するために、出力のレベルシフタを使用する。
ワード線デコーダ５５０１は、示されるように構成された、レベルシフタ５５０３、ＮＡＮＤゲート５５０４、ＮＡＮＤゲート５５０５、インバータ５５０６、及びインバータ５５０７を備える。制御ゲートデコーダ５５０２は、ＮＡＮＤゲート５５０８、インバータ５５０９、ＮＡＮＤゲート５５１０、レベルシフタ５５１１、スイッチ５５１２、スイッチ５５１３、パスゲート５５１４、及びインバータ５５１５を備える。
ワード線ＷＬ０が、制御ゲートＣＧ０をオーバードライブすることが所望されるモードに入ると、制御信号ＣＦＧ＿ＥＮＷＬは、「１」に設定され、ＣＦＧ＿ＥＮＣＧは、「０」に設定される。制御ゲート線ＣＧ０が、ワード線ＷＬ０をオーバードライブすることが所望されるモードに入ると、制御信号ＣＦＧ＿ＥＮＣＧは「１」に設定され、ＣＦＧ＿ＥＮＷＬは「０」に設定される。行０が行デコーダタンデムモードで使用されていない場合、ＣＦＧ＿ＥＮＷＬ及びＣＦＧ＿ＥＮＣＧは、両方とも「０」に設定され、これは、デコーダ５５００が、それ自体の入力に応じてＷＬ及びＣＧに対して個別に有効にされることを意味する。
本明細書で使用される場合、「～の上方に（over）」及び「～に（on）」という用語は両方とも、「上に直接」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「上に間接的に」（中間材料、要素、又は間隙がそれらの間に配設されている）を包括的に含むことに留意されるべきである。同様に、「隣接した」という用語は、「直接隣接した」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「間接的に隣接した」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「に取り付けられた」は、「に直接取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「に間接的に取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「に電気的に結合された」は、「に直接電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にない）、及び「に間接的に電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にある）を含む。例えば、要素を「基板の上方に」形成することは、その要素を直接基板に、中間材料／要素をそれらの間に伴わずに形成すること、及びその要素を基板に間接的に１つ以上の中間材料／要素をそれらの間に伴って形成することを含み得る。

Claims (9)

  1. アレイ内の不揮発性メモリセルの行に結合されたワード線及び制御ゲート線を制御するためのタンデム行デコーダであって、
    前記ワード線を駆動するためのワード線デコーダと、
    前記制御ゲート線を駆動するための制御ゲートデコーダと、を備え、
    第１のモードでは、前記タンデム行デコーダが有効にされず、前記ワード線デコーダが前記ワード線を接地に引き、前記制御ゲートデコーダが前記制御ゲート線を接地に引き、
    第２のモードでは、前記タンデム行デコーダが有効にされ、前記ワード線デコーダが有効にされ、前記制御ゲートデコーダが、前記ワード線デコーダが有効にされた後に、有効にされる、タンデム行デコーダ。
  2. 第３のモードでは、前記タンデム行デコーダが有効にされ、前記制御ゲートデコーダが有効にされ、前記ワード線デコーダが、前記制御ゲートデコーダが有効にされた後に、有効にされる、請求項１に記載のタンデム行デコーダ。
  3. 第３のモードでは、前記タンデム行デコーダが有効にされ、前記制御ゲートデコーダが有効にされ、前記ワード線デコーダが、前記制御ゲートデコーダが有効にされた後に、前記ワード線を高く引く、請求項１に記載のタンデム行デコーダ。
  4. 前記アレイがニューラルアナログメモリである、請求項１に記載のタンデム行デコーダ。
  5. 前記不揮発性メモリセルがスプリットゲートメモリセルを含む、請求項１に記載のタンデム行デコーダ。
  6. 前記ワード線デコーダが、前記ワード線デコーダの出力を生成するためのレベルシフタを含む、請求項１に記載のタンデム行デコーダ。
  7. 前記ワード線デコーダの前記出力が高レベル又は低レベルを含み、前記高レベルが前記行デコーダの動作電圧Ｖｄｄよりも大きく、前記低レベルが接地よりも小さい、請求項６に記載のタンデム行デコーダ。
  8. 前記制御ゲートデコーダが、前記制御ゲートデコーダの出力を生成するためのレベルシフタを含む、請求項１に記載のタンデム行デコーダ。
  9. 前記制御ゲートデコーダの前記出力が高レベル又は低レベルを含み、前記高レベルが前記行デコーダの動作電圧Ｖｄｄよりも大きく、前記低レベルが接地よりも小さい、請求項８に記載のタンデム行デコーダ。
JP2022573629A 2020-06-03 2020-11-27 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのためのワード線及び制御ゲート線タンデムデコーダ Active JP7353519B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023151412A JP2023179502A (ja) 2020-06-03 2023-09-19 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのためのワード線及び制御ゲート線タンデムデコーダ

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063033953P 2020-06-03 2020-06-03
US63/033,953 2020-06-03
US17/104,385 US11289164B2 (en) 2020-06-03 2020-11-25 Word line and control gate line tandem decoder for analog neural memory in deep learning artificial neural network
US17/104,385 2020-11-25
PCT/US2020/062500 WO2021247072A1 (en) 2020-06-03 2020-11-27 Word line and control gate line tandem decoder for analog neural memory in deep learning artificial neural network

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023151412A Division JP2023179502A (ja) 2020-06-03 2023-09-19 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのためのワード線及び制御ゲート線タンデムデコーダ

Publications (2)

Publication Number Publication Date
JP2023520255A JP2023520255A (ja) 2023-05-16
JP7353519B2 true JP7353519B2 (ja) 2023-09-29

Family

ID=78817792

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022573629A Active JP7353519B2 (ja) 2020-06-03 2020-11-27 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのためのワード線及び制御ゲート線タンデムデコーダ
JP2023151412A Pending JP2023179502A (ja) 2020-06-03 2023-09-19 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのためのワード線及び制御ゲート線タンデムデコーダ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023151412A Pending JP2023179502A (ja) 2020-06-03 2023-09-19 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのためのワード線及び制御ゲート線タンデムデコーダ

Country Status (7)

Country Link
US (2) US11289164B2 (ja)
EP (1) EP4162491B1 (ja)
JP (2) JP7353519B2 (ja)
KR (1) KR102630992B1 (ja)
CN (2) CN118098307A (ja)
TW (1) TWI784508B (ja)
WO (1) WO2021247072A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220246212A1 (en) * 2021-02-02 2022-08-04 Macronix International Co., Ltd. Memory device and operation method thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019177698A1 (en) 2018-03-14 2019-09-19 Silicon Storage Technology, Inc. Decoders for analog neural memory in deep learning artificial neural network
WO2020040893A1 (en) 2018-08-21 2020-02-27 Silicon Storage Technology, Inc. Analog neural memory system for deep learning neural network comprising multiple vector-by-matrix multiplication arrays and shared components

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
KR100280395B1 (ko) * 1997-07-18 2001-03-02 김영환 워드라인제어회로
EP1274093A3 (en) * 2001-07-06 2004-12-08 Halo Lsi Design and Device Technology Inc. A control gate decoder for twin MONOS memory with two bit erase capability
US6747310B2 (en) 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
US7567458B2 (en) * 2005-09-26 2009-07-28 Silicon Storage Technology, Inc. Flash memory array having control/decode circuitry for disabling top gates of defective memory cells
US7978518B2 (en) * 2007-12-21 2011-07-12 Mosaid Technologies Incorporated Hierarchical common source line structure in NAND flash memory
CN103077742B (zh) * 2012-12-21 2017-02-08 上海华虹宏力半导体制造有限公司 行译码电路及存储器
WO2014153174A2 (en) * 2013-03-14 2014-09-25 Silicon Storage Technology, Inc. Non-volatile memory program algorithm device and method
KR102182583B1 (ko) 2016-05-17 2020-11-24 실리콘 스토리지 테크놀로지 인크 비휘발성 메모리 어레이를 사용하는 딥러닝 신경망 분류기
US9953719B2 (en) * 2016-05-18 2018-04-24 Silicon Storage Technology, Inc. Flash memory cell and associated decoders
US10431265B2 (en) * 2017-03-23 2019-10-01 Silicon Storage Technology, Inc. Address fault detection in a flash memory system
US10748630B2 (en) 2017-11-29 2020-08-18 Silicon Storage Technology, Inc. High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019177698A1 (en) 2018-03-14 2019-09-19 Silicon Storage Technology, Inc. Decoders for analog neural memory in deep learning artificial neural network
WO2020040893A1 (en) 2018-08-21 2020-02-27 Silicon Storage Technology, Inc. Analog neural memory system for deep learning neural network comprising multiple vector-by-matrix multiplication arrays and shared components

Also Published As

Publication number Publication date
US20210383869A1 (en) 2021-12-09
CN115668378A (zh) 2023-01-31
TWI784508B (zh) 2022-11-21
JP2023520255A (ja) 2023-05-16
CN115668378B (zh) 2024-03-22
JP2023179502A (ja) 2023-12-19
US20220172781A1 (en) 2022-06-02
EP4162491B1 (en) 2024-04-17
US11289164B2 (en) 2022-03-29
US11935594B2 (en) 2024-03-19
KR20220158851A (ko) 2022-12-01
EP4162491A1 (en) 2023-04-12
TW202147322A (zh) 2021-12-16
KR102630992B1 (ko) 2024-01-29
WO2021247072A1 (en) 2021-12-09
CN118098307A (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
JP7464623B2 (ja) アナログニューラルメモリシステム
JP7399153B2 (ja) 複数のベクトルマトリックス乗算アレイ及び共有構成要素を備える、深層学習ニューラルネットワーク用のアナログニューラルメモリシステム
JP7253563B2 (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のデコーダ
JP7209811B2 (ja) 深層学習ニューラルネットワーク用の構成可能なアナログニューラルメモリシステム
JP7153802B2 (ja) 深層学習人工ニューラルネットワークのアナログニューラルメモリにおいて不揮発性メモリセルのプログラミング動作中に格納された値を検証するためのアルゴリズム及び回路
JP2023518469A (ja) 人工ニューラルネットワークにおけるアナログニューラルメモリアレイのための不揮発性メモリセルのページ又はワードの精密チューニング及び関連する高電圧回路
JP2023179502A (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのためのワード線及び制御ゲート線タンデムデコーダ
JP2023539845A (ja) アナログニューラルメモリにおける書き込みと検証との同時動作
JP2023533719A (ja) 人工ニューラルネットワークにおけるアナログニューラルメモリアレイの適応バイアスデコーダ
US20240112729A1 (en) Multiple Row Programming Operation In Artificial Neural Network Array
JP2024518884A (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のスプリットアレイアーキテクチャ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230116

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230919

R150 Certificate of patent or registration of utility model

Ref document number: 7353519

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150