JP2024518884A - 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のスプリットアレイアーキテクチャ - Google Patents
深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のスプリットアレイアーキテクチャ Download PDFInfo
- Publication number
- JP2024518884A JP2024518884A JP2023563861A JP2023563861A JP2024518884A JP 2024518884 A JP2024518884 A JP 2024518884A JP 2023563861 A JP2023563861 A JP 2023563861A JP 2023563861 A JP2023563861 A JP 2023563861A JP 2024518884 A JP2024518884 A JP 2024518884A
- Authority
- JP
- Japan
- Prior art keywords
- array
- coupled
- rows
- columns
- row
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000015654 memory Effects 0.000 title claims abstract description 235
- 230000001537 neural effect Effects 0.000 title claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 title abstract description 35
- 238000013135 deep learning Methods 0.000 title abstract description 6
- 239000002184 metal Substances 0.000 claims description 3
- 210000004027 cell Anatomy 0.000 description 330
- 239000013598 vector Substances 0.000 description 79
- 230000006870 function Effects 0.000 description 64
- 210000002569 neuron Anatomy 0.000 description 57
- 238000003491 array Methods 0.000 description 56
- 210000000225 synapse Anatomy 0.000 description 38
- 238000007667 floating Methods 0.000 description 34
- 239000011159 matrix material Substances 0.000 description 32
- 230000004913 activation Effects 0.000 description 27
- 239000000463 material Substances 0.000 description 10
- 239000000758 substrate Substances 0.000 description 10
- 102100036301 C-C chemokine receptor type 7 Human genes 0.000 description 7
- 102100031658 C-X-C chemokine receptor type 5 Human genes 0.000 description 7
- 101000716065 Homo sapiens C-C chemokine receptor type 7 Proteins 0.000 description 7
- 101000922405 Homo sapiens C-X-C chemokine receptor type 5 Proteins 0.000 description 7
- 238000000034 method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000306 recurrent effect Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000006403 short-term memory Effects 0.000 description 4
- 239000003990 capacitor Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007787 long-term memory Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005641 tunneling Effects 0.000 description 3
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- 102100023226 Early growth response protein 1 Human genes 0.000 description 2
- 241000288105 Grus Species 0.000 description 2
- 101001049697 Homo sapiens Early growth response protein 1 Proteins 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 239000002784 hot electron Substances 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 150000004767 nitrides Chemical class 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 230000000946 synaptic effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 1
- 229920005591 polysilicon Polymers 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
- G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Neurology (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Read Only Memory (AREA)
- Non-Volatile Memory (AREA)
Abstract
深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ内の不揮発性メモリセルのアレイを複数の部分に分割するための多数の実施形態が開示される。アレイの各部分は、その部分に専用の特定の回路及びアレイの1つ以上の他の部分と共有される他の回路と相互作用する。【選択図】図32
Description
(優先権の主張)
本出願は、2021年5月18日に出願された「Split Array Architecture for Analog Neural Memory in a Deep Learning Artificial Neural Network」と題する米国特許仮出願第63/190,228号、及び2021年8月30日に出願された「Split Array Architecture for Analog Neural Memory in a Deep Learning Artificial Neural Network」と題する米国特許出願第17/461,901号の優先権を主張し、これらは参照により本明細書に組み込まれる。
本出願は、2021年5月18日に出願された「Split Array Architecture for Analog Neural Memory in a Deep Learning Artificial Neural Network」と題する米国特許仮出願第63/190,228号、及び2021年8月30日に出願された「Split Array Architecture for Analog Neural Memory in a Deep Learning Artificial Neural Network」と題する米国特許出願第17/461,901号の優先権を主張し、これらは参照により本明細書に組み込まれる。
(発明の分野)
深層学習人工ニューラルネットワーク内のアナログニューラルメモリにおいてアレイを複数の部分に分割するための多数の実施形態が開示され、各部分は、その部分に専用の特定の回路及び1つ以上の他の部分と共有される他の回路と相互作用する。
深層学習人工ニューラルネットワーク内のアナログニューラルメモリにおいてアレイを複数の部分に分割するための多数の実施形態が開示され、各部分は、その部分に専用の特定の回路及び1つ以上の他の部分と共有される他の回路と相互作用する。
人工ニューラルネットワークは、生物学的ニューラルネットワーク(動物の中枢神経系、特に脳)を模倣しており、多数の入力に依存し得、かつ、一般的に未知である関数を推定する又は近似するために使用される。人工ニューラルネットワークは、概して、お互いの間でメッセージを交換する相互接続した「ニューロン」の層を含む。
図1は人工ニューラルネットワークを示しており、図中、円は、入力又はニューロンの層を表す。接続(シナプスと呼ばれる)は、矢印によって表され、経験に基づいてチューニングされ得る数値の重みを有する。これにより、ニューラルネットワークは入力に適応し、学習可能になる。典型的には、ニューラルネットワークは、複数の入力の層を含む。典型的には、1つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。各レベルでニューロンは、シナプスから受信したデータに基づいて個々に又は集合的に決定を行う。
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題のうちの1つは、適切なハードウェア技術の欠如である。実際には、実用ニューラルネットワークは、非常に多数のシナプスに依拠しており、これによりニューロン間の高い接続性、すなわち、非常に高度な計算処理の並列化が可能となる。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専用グラフィックプロセッシングユニットクラスタによって実現が可能である。しかしながら、高コストに加え、これらのアプローチはまた、生物学的ネットワークが主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しないのと比較して、エネルギー効率が劣っていることに悩まされている。人工ニューラルネットワークにはCMOSアナログ回路が使用されてきたが、ほとんどのCMOS実装シナプスは、多数のニューロン及びシナプスを前提とすると、嵩高過ぎていた。
出願人は以前に、参照により組み込まれる米国特許出願第15/594,439号において、シナプスとして1つ以上の不揮発性メモリアレイを利用する人工(アナログ)ニューラルネットワークを開示した。不揮発性メモリアレイは、アナログニューロモーフィックメモリとして動作する。ニューラルネットワークデバイスは、第1の複数の入力を受け取って、それから第1の複数の出力を生成するように構成されている第1の複数のシナプス、及び第1の複数の出力を受け取るように構成された第1の複数のニューロンを含む。第1の複数のシナプスは複数のメモリセルを含み、メモリセルの各々は、半導体基板内に形成された、間にチャネル領域が延在する離間したソース領域及びドレイン領域と、チャネル領域の第1の部分の上方に絶縁されて配設される浮遊ゲートと、チャネル領域の第2の部分の上方に絶縁されて配設される非浮遊ゲートと、を含む。複数のメモリセルの各々は、浮遊ゲートの多くの電子に対応する重み値を記憶するように構成されている。複数のメモリセルは、第1の複数の入力に、記憶された重み値を乗算して、第1の複数の出力を生成するように構成される。
不揮発性メモリセル
不揮発性メモリセル
不揮発性メモリは、周知である。例えば、参照により本明細書に組み込まれる、米国特許第5,029,130号(「’130号特許」)は、フラッシュメモリセルの一種である、スプリットゲート不揮発性メモリセルのアレイを開示する。このようなメモリセル210を図2に示す。各メモリセル210は、半導体基板12内に形成されたソース領域14及びドレイン領域16を含み、ソース領域14とドレイン領域16との間にはチャネル領域18がある。浮遊ゲート20は、チャネル領域18の第1の部分の上方に絶縁されて形成され(並びに、チャネル領域18の第1の部分の導電性を制御して)、ソース領域14の一部分の上方にかけて形成される。ワード線端子22(典型的には、ワード線に結合される)は、チャネル領域18の第2の部分の上方に絶縁されて配設される、(並びに、チャネル領域18の第2の部分の導電性を制御する)第1の部分と、浮遊ゲート20の上方で上に延在する第2の部分と、を有する。浮遊ゲート20及びワード線端子22は、ゲート酸化物によって基板12から絶縁される。ビット線24は、ドレイン領域16に結合される。
ワード線端子22に高圧正電圧を加えることによって、メモリセル210に対して消去が行われ(電子が浮遊ゲートから除去される)、これによって、浮遊ゲート20の電子は、浮遊ゲート20からワード線端子22までそれらの間にある絶縁体の中をファウラーノルドハイム(Fowler-Nordheim、FN)トンネリングを介して通過する。
メモリセル210は、ワード線端子22に正電圧、及びソース領域14に正電圧を加えることによって、ホットエレクトロンによるソースサイド注入(source side injection、SSI)によって、プログラムされる(電子が浮遊ゲートに加えられる)。電子電流は、ドレイン領域16からソース領域14に向かって流れる。電子は加速し、ワード線端子22と浮遊ゲート20との間の間隙に達すると、発熱する。熱せられた電子の一部は、浮遊ゲート20からの静電引力に起因して、浮遊ゲート20にゲート酸化物を介して注入される。
メモリセル210は、ドレイン領域16及びワード線端子22に正の読み出し電圧を加える(ワード線端子の下方のチャネル領域18の部分をオンにする)ことによって、読み出される。浮遊ゲート20が正に帯電する(すなわち、電子を消去する)と、浮遊ゲート20の下方のチャネル領域18の部分も同様にオンになり、電流はチャネル領域18を流れ、これは、消去された状態つまり「1」の状態として検知される。浮遊ゲート20が負に帯電する(すなわち、電子でプログラムされる)と、浮遊ゲート20の下方のチャネル領域の部分はほとんど又は完全にオフになり、電流はチャネル領域18を流れず(又はほとんど流れず)、これは、プログラムされた状態つまり「0」の状態として検知される。
他の種類のフラッシュメモリセルとして、他のスプリットゲート型メモリセル構成も知られている。例えば、図3は、ソース領域14と、ドレイン領域16と、チャネル領域18の第1の部分の上方にある浮遊ゲート20と、チャネル領域18の第2の部分の上方にある選択ゲート22(典型的には、ワード線、WL、に結合される)と、浮遊ゲート20の上方にある制御ゲート28と、ソース領域14の上方にある消去ゲート30と、を含む4ゲートメモリセル310を示す。この構成は、あらゆる目的のため参照により本明細書に組み込まれる、米国特許第6,747,310号に記載されている。ここで、全てのゲートは、浮遊ゲート20を除いて、非浮遊ゲートであり、つまり、それらは電圧源に電気的に接続される又は接続可能である。プログラミングは、熱せられた電子がチャネル領域18から浮遊ゲート20にその電子自体を注入することによって実行される。消去は、電子が浮遊ゲート20から消去ゲート30へトンネリングすることによって実行される。
図4は、別の種類のフラッシュメモリセルである、3ゲートメモリセル410を示す。メモリセル410は、メモリセル410が別個の制御ゲートを有しないことを除いて、図3のメモリセル310と同一である。(消去ゲートの使用を通じて消去が起こる)消去動作及び読み出し動作は、制御ゲートバイアスが印加されないことを除いて、図3のものと同様である。プログラミング動作もまた、制御ゲートバイアスなしで行われるため、結果として、プログラム動作中は、制御ゲートバイアスの不足を補償するため、より高い電圧がソース線に印加されなければならない。
図5は、別の種類のフラッシュメモリセルである、積層ゲートメモリセル510を示す。メモリセル510は、浮遊ゲート20がチャネル領域18全体の上方に延在し、制御ゲート22(ここでワード線に結合される)が絶縁層(図示せず)によって分離されて浮遊ゲート20の上方に延在することを除いて、図2のメモリセル210と同様である。消去は、FGから基板への電子のFNトンネリングによって行われ、プログラミングは、チャネル18とドレイン領域16との間の領域でのチャネルホットエレクトロン(channel hot electron、CHE)注入によって、ソース領域14からドレイン領域16に向かって流れる電子によって、及びより高い制御ゲート電圧を有するメモリセル210の読み出し動作と同様である読み出し動作によって行われる。
本明細書に記載される方法及び手段は、限定されないが、FINFETスプリットゲートフラッシュ又はスタックゲートフラッシュメモリ、NANDフラッシュ、SONOS(ケイ素-酸化物-窒化物-酸化物-ケイ素、窒化物中の電荷トラップ)、MONOS(金属-酸化物-窒化物-酸化物-ケイ素、窒化物中の金属電荷トラップ)、ReRAM(抵抗変化型メモリ)、PCM(相変化メモリ)、MRAM(磁気抵抗メモリ)、FeRAM(強誘電体メモリ)、CT(電荷トラップ)メモリ、CN(カーボンチューブ)メモリ、OTP(バイレベル又はマルチレベルの1回のみのプログラムが可能)及びCeRAM(強相関電子メモリ)などの他の不揮発性メモリ技術に適用され得る。
上記の人工ニューラルネットワークにおける不揮発性メモリセルの種類のうちの1つを含むメモリアレイを利用するために、2つの修正が行われる。第一に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しできるように線を構成する。第二に、メモリセルの連続(アナログ)プログラミングを提供する。
具体的には、アレイ内の各メモリセルのメモリ状態(すなわち、浮遊ゲートの電荷)を、完全に消去された状態から完全にプログラムされた状態へ、独立して、かつ他のメモリセルの乱れが最小で、連続的に変えることができる。別の実施形態では、アレイ内の各メモリセルのメモリ状態(すなわち、浮遊ゲートの電荷)を、完全にプログラムされた状態から完全に消去された状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの乱れが最小で、連続的に変えることができる。これはつまり、セル記憶がアナログであるか、又は多数の不連続値(16個又は64個の異なる値など)のうちの1つを最低限記憶することができることを意味し、これにより、メモリアレイ内の全てのセルが非常に精密に、かつ個々にチューニング可能となり、また、メモリアレイが、記憶、及びニューラルネットワークのシナプシスの重みへの微細チューニング調整に対して、理想的なものになる。
不揮発性メモリセルアレイを使用するニューラルネットワーク
不揮発性メモリセルアレイを使用するニューラルネットワーク
図6は、本実施形態の不揮発性メモリアレイを利用するニューラルネットワークの非限定例を概念的に例解する。この例は、顔認識アプリケーション用に不揮発性メモリアレイニューラルネットワークを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の適切なアプリケーションを実装することも可能である。
S0は入力層であり、この例では、5ビット精度の32×32ピクセルRGB画像である(すなわち、各色R、G、及びBにつき1つずつで3つの32×32ピクセルアレイであり、各ピクセルは5ビット精度である)。入力層S0から層C1に行くシナプスCB1は、一部のインスタンスには異なる重みのセットを適用し、他のインスタンスには共有の重みを適用し、入力画像を3×3ピクセルの重なり合うフィルタでスキャンし(カーネル)、1ピクセル(又はモデルによっては2ピクセル以上)ずつフィルタをシフトする。具体的には、画像の3×3部分における9ピクセルの値(すなわち、フィルタ又はカーネルと称される)は、シナプスCB1に提供され、そこで、これらの9個の入力値に適切な重みを乗算し、その乗算の出力を合計後、単一の出力値が決定され、層C1の特徴マップのうちの1つのピクセルを生成するためにCB1の第1のシナプスによって与えられる。3×3フィルタは次に、入力層S0内で右側に1ピクセルだけシフトされ(すなわち、3ピクセルの列を右側に追加し、左側で3ピクセルの列をドロップする)、これにより、この新しく位置づけられたフィルタの9ピクセル値はシナプスCB1に提供され、そこでそれらに上記と同じ重みを乗算し、関連するシナプスによって第2の単一の出力値を決定する。このプロセスを、3×3フィルタが入力層S0の32×32ピクセル画像全体にわたって3色全て及び全てのビット(精度値)についてスキャンするまで続ける。プロセスは次に、層C1の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、層C1の異なる特徴マップを生成する。
本例では、層C1において、各々30×30ピクセルを有する16個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、二次元アレイであり、したがってこの例では、層C1は、二次元アレイの16層を構成する(本明細書で言及される層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な二次元アレイに配向されないことに留意されたい)。層C1内の16個の特徴マップの各々は、フィルタスキャンに適用される異なるシナプス重みのセット16個のうちの1つによって生成される。C1特徴マップは全て、境界同定など、同じ画像特徴の異なる態様を対象とすることができる。例えば、第1のマップ(この第1のマップを生成するために使用される全てのスキャンに共有される第1の重みセットを使用して生成される)は、円形エッジを識別することができ、第2のマップ(第1の重みセットと異なる第2の重みセットを使用して生成される)は、長方形エッジ又はある特定の特徴のアスペクト比などを識別することができる。
層C1から層S1へ行く前には、各特徴マップ内の重なり合わずに連続する2×2領域からの値をプールする活性化関数P1(プーリング)が適用される。プーリング関数P1の目的は、近隣の位置を平均すること(又はmax関数を使用することも可能である)、例えばエッジ位置の依存を低減すること、及び次の段階に行く前にデータサイズを低減することである。層S1において、16個の15×15特徴マップ(すなわち、各々15×15ピクセルの異なるアレイ16個)が存在する。層S1から層C2に行くシナプスCB2は、層S1内のマップを4×4フィルタにより1ピクセルのフィルタシフトでスキャンする。層C2において、22個の12×12特徴マップが存在する。層C2から層S2へ行く前には、各特徴マップ内の重なり合わずに連続する2×2領域からの値をプールする活性化関数P2(プーリング)が適用される。層S2において、22個の6×6特徴マップが存在する。層S2から層C3へ行くシナプスCB3では活性化関数(プーリング)が適用され、ここで層C3内の全てのニューロンは、CB3のそれぞれのシナプスを介して層S2内の全てのマップに接続する。層C3において、64個のニューロンが存在する。層C3から出力層S3へと行くシナプスCB4は、C3をS3に完全に接続する、すなわち、層C3内の全てのニューロンは、層S3内の全てのニューロンに接続される。S3における出力は、10個のニューロンを含み、ここで出力が最も高いニューロンが、クラスを決定する。この出力は、例えば、元の画像の内容の同定又は分類(クラス)を示すことができる。
シナプスの各層は、不揮発性メモリセルのアレイ又はアレイの一部を使用して実装される。
図7は、その目的のために使用可能なアレイのブロック図である。ベクトルマトリックス乗算(vector-by-matrix multiplication、VMM)アレイ32は、不揮発性メモリセルを含み、ある層と次の層との間のシナプス(図6のCB1、CB2、CB3、及びCB4など)として利用される。具体的には、VMMアレイ32は、不揮発性メモリセルのアレイ33、消去ゲート及びワード線ゲートデコーダ34、制御ゲートデコーダ35、ビット線デコーダ36、並びにソース線デコーダ37を含み、それらのデコーダは不揮発性メモリセルアレイ33に対するそれぞれの入力をデコードする。VMMアレイ32への入力は、消去ゲート及びワード線ゲートデコーダ34から、又は制御ゲートデコーダ35から行うことができる。この例におけるソース線デコーダ37はまた、不揮発性メモリセルアレイ33の出力をデコードする。代替的に、ビット線デコーダ36が、不揮発性メモリセルアレイ33の出力をデコードすることができる。
不揮発性メモリセルアレイ33は、2つの目的を果たす。第一に、不揮発性メモリセルアレイ33は、VMMアレイ32によって使用される重みを記憶する。第二に、不揮発性メモリセルアレイ33は、不揮発性メモリセルアレイ33に格納された重みを、入力に有効に乗算して、それらを出力線(ソース線又はビット線)ごとに加算して、出力を生成し、この出力は次の層への入力又は最後の層への入力になる。不揮発性メモリセルアレイ33が乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性はなくなり、また、メモリ内の計算により電力効率も良い。
不揮発性メモリセルアレイ33の出力は、不揮発性メモリセルアレイ33の出力を合計してその畳み込み用の単一の値を作成する、差動合計器(合計オペアンプ又は合計カレントミラーなど)38に供給される。差動合計器38は、正の重み及び負の重みの総和を実行するように配置される。
差動合計器38の合計された出力値は、次に出力を整流する活性化関数ブロック39に供給される。活性化関数ブロック39は、シグモイド、tanh、又はReLU関数を提供し得る。活性化関数ブロック39の整流された出力値は、次の層(例えば図6のC1)として特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、不揮発性メモリセルアレイ33は、複数のシナプスを構成し(ニューロンの前の層から、又は画像データベースなどの入力層から、入力を受け取る)、合計オペアンプ38及び活性化関数ブロック39は、複数のニューロンを構成する。
図7のVMMアレイ32への入力(WLx、EGx、CGx、及び任意選択的にBLx及びSLx)は、アナログレベル、バイナリレベル、又はデジタルビット(この場合、DACは、デジタルビットを適切な入力アナログレベルに変換するために提供される)であり得、出力は、アナログレベル、バイナリレベル、又はデジタルビットであり得る(この場合、出力ADCは出力アナログレベルをデジタルビットに変換するために提供される)。
図8は、図中でVMMアレイ32a、32b、32c、32d及び32eとして標示されたVMMアレイ32の多数の層の使用を示すブロック図である。図8に示されるように、入力(Inputxで示される)は、デジタル-アナログ変換器31によってデジタルからアナログに変換され、入力VMMアレイ32aに提供される。変換されたアナログ入力は、電圧又は電流であり得る。第1の層の入力D/A変換は、入力VMMアレイ32aのマトリックス乗算器の適切なアナログレベルに入力Inputxをマッピングする関数又はLUT(ルックアップテーブル)を使用することによって行うことができる。入力変換はまた、外部アナログ入力を入力VMMアレイ32aへのマッピングされたアナログ入力に変換するために、アナログ-アナログ(analog to analog、A/A)変換器によって行うこともできる。
入力VMMアレイ32aによって生成された出力は、次に、次のVMMアレイ(隠しレベル1)32bへの入力として提供され、次に入力VMMアレイ(隠しレベル2)32cへの入力として提供される出力を生成する、などとなる。VMMアレイ32の様々な層は、畳み込みニューラルネットワーク(convolutional neural network、CNN)のシナプス及びニューロンの各層として機能する。各VMMアレイ32a、32b、32c、32d及び32eは、スタンドアローンの物理的不揮発性メモリアレイとすることができ、又は複数のVMMアレイは、同じ物理的不揮発性メモリアレイの異なる部分を利用することができ、又は複数のVMMアレイは、同じ物理的不揮発性メモリアレイの重なり合う部分を利用することができる。図8に示される例は、5つの層(32a、32b、32c、32d、32e):1つの入力層(32a)と、2つの隠れ層(32b、32c)と、2つの完全接続層(32d、32e)とを含む。当業者であれば、これは単なる例示であり、代わりにシステムが2つを超える隠れ層及び2つを超える完全接続層を含み得ることを理解するであろう。
ベクトルマトリックス乗算(VMM)アレイ
ベクトルマトリックス乗算(VMM)アレイ
図9は、図3に示されるメモリセル310に特に適しており、かつ入力層と次の層との間のシナプス及びニューロンの一部として利用される、ニューロンVMMアレイ900を示す。VMMアレイ900は、不揮発性メモリセルのメモリアレイ901と、不揮発性基準メモリセルの基準アレイ902(アレイの頂部に位置する)と、を含む。代替的に、別の基準アレイが底部に位置することができる。
VMMアレイ900では、制御ゲート線903などの制御ゲート線が垂直方向に延びており(したがって、行方向の基準アレイ902が、制御ゲート線903に直交する)、消去ゲート線904などの消去ゲート線が水平方向に延びている。ここで、VMMアレイ900への入力は、制御ゲート線(CG0、CG1、CG2、CG3)に提供され、VMMアレイ900の出力は、ソース線(SL0、SL1)に現れる。一実施形態では、偶数行のみが使用され、別の実施形態では、奇数行のみが使用される。各ソース線(それぞれSL0、SL1)の電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
ニューラルネットワークについて本明細書に記載されているように、VMMアレイ900の不揮発性メモリセル、すなわちVMMアレイ900のメモリセル310は、サブスレッショルド領域で動作するように構成されることが好ましい。
本明細書に記載される不揮発性基準メモリセル及び不揮発性メモリセルは、以下のように弱反転(サブスレッショルド領域)でバイアスされる:
Ids=Io*e(Vg-Vth)/nVt=w*Io*e(Vg)/nVt
式中、w=e(-Vth)/nVtであり、
式中、Idsはドレイン-ソース間電流であり、Vgはメモリセルのゲート電圧であり、Vthはメモリセルのスレッショルド電圧であり、Vtは熱電圧=k*T/qであり、kはボルツマン定数、Tはケルビン温度、qは電子電荷であり、nは傾斜係数=1+(Cdep/Cox)であり、Cdep=空乏層の容量、そしてCoxはゲート酸化物層の容量であり、Ioは、スレッショルド電圧に等しいゲート電圧におけるメモリセル電流であり、Ioは、(Wt/L)*u*Cox*(n-1)*Vt2に比例し、式中、uはキャリア移動度であり、Wt及びLはそれぞれ、メモリセルの幅及び長さである。
Ids=Io*e(Vg-Vth)/nVt=w*Io*e(Vg)/nVt
式中、w=e(-Vth)/nVtであり、
式中、Idsはドレイン-ソース間電流であり、Vgはメモリセルのゲート電圧であり、Vthはメモリセルのスレッショルド電圧であり、Vtは熱電圧=k*T/qであり、kはボルツマン定数、Tはケルビン温度、qは電子電荷であり、nは傾斜係数=1+(Cdep/Cox)であり、Cdep=空乏層の容量、そしてCoxはゲート酸化物層の容量であり、Ioは、スレッショルド電圧に等しいゲート電圧におけるメモリセル電流であり、Ioは、(Wt/L)*u*Cox*(n-1)*Vt2に比例し、式中、uはキャリア移動度であり、Wt及びLはそれぞれ、メモリセルの幅及び長さである。
メモリセル(基準メモリセル又は周辺メモリセルなど)又はトランジスタを使用して入力電流を入力電圧に変換するI-Vログ変換器を使用した場合:
Vg=n*Vt*log[Ids/wp*Io]
式中、wpは、基準又は周辺メモリセルのwである。
Vg=n*Vt*log[Ids/wp*Io]
式中、wpは、基準又は周辺メモリセルのwである。
電流入力を伴うベクトルマトリックス乗算器VMMアレイとして使用されるメモリアレイについて、出力電流は以下である:
Iout=wa*Io*e(Vg)/nVt、すなわち
Iout=(wa/wp)*Iin=W*Iin
W=e(Vthp-Vtha)/nVt
式中、wa=メモリアレイの各メモリセルのwである。
Vthpは周辺メモリセルの有効スレッショルド電圧であり、Vthaはメイン(データ)メモリセルの有効スレッショルド電圧である。トランジスタのスレッショルド電圧は基板本体バイアス電圧の関数であり、Vsbと表される基板本体バイアス電圧は、そのような温度で様々な条件を補償するように変調され得ることに留意されたい。スレッショルド電圧Vthは、次のように表すことができる。
Vth=Vth0+ガンマ(SQRT|Vsb-2*φF)-SQRT|2*φF|)
式中、Vth0は、ゼロ基板バイアスを有するスレッショルド電圧であり、φFは表面電位であり、ガンマは本体効果パラメータである。
Iout=wa*Io*e(Vg)/nVt、すなわち
Iout=(wa/wp)*Iin=W*Iin
W=e(Vthp-Vtha)/nVt
式中、wa=メモリアレイの各メモリセルのwである。
Vthpは周辺メモリセルの有効スレッショルド電圧であり、Vthaはメイン(データ)メモリセルの有効スレッショルド電圧である。トランジスタのスレッショルド電圧は基板本体バイアス電圧の関数であり、Vsbと表される基板本体バイアス電圧は、そのような温度で様々な条件を補償するように変調され得ることに留意されたい。スレッショルド電圧Vthは、次のように表すことができる。
Vth=Vth0+ガンマ(SQRT|Vsb-2*φF)-SQRT|2*φF|)
式中、Vth0は、ゼロ基板バイアスを有するスレッショルド電圧であり、φFは表面電位であり、ガンマは本体効果パラメータである。
ワード線又は制御ゲートは、入力電圧のためのメモリセルの入力として使用することができる。
代替的に、本明細書に記載されたVMMアレイのフラッシュメモリセルは、線形領域で動作するように構成することができる。
Ids=ベータ*(Vgs-Vth)*Vds;ベータ=u*Cox*Wt/L
W=α(Vgs-Vth)
すなわち、直線領域における重みWは、(Vgs-Vth)に比例する。
Ids=ベータ*(Vgs-Vth)*Vds;ベータ=u*Cox*Wt/L
W=α(Vgs-Vth)
すなわち、直線領域における重みWは、(Vgs-Vth)に比例する。
ワード線又は制御ゲート又はビット線又はソース線は、線形領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、メモリセルの出力として使用することができる。
I-V線形変換器用に、線形領域で動作するメモリセル(基準メモリセル又は周辺メモリセルなど)又はトランジスタを使用して、入出力電流を入出力電圧に線形変換することができる。
代替的に、本明細書に記載されたVMMアレイのメモリセルは、飽和領域で動作するように構成することができる。
Ids=1/2*ベータ*(Vgs-Vth)2;ベータ=u*Cox*Wt/L
W ∝ (Vgs-Vth)2、すなわち重みWは、(Vgs-Vth)2に比例する。
Ids=1/2*ベータ*(Vgs-Vth)2;ベータ=u*Cox*Wt/L
W ∝ (Vgs-Vth)2、すなわち重みWは、(Vgs-Vth)2に比例する。
ワード線、制御ゲート、又は消去ゲートは、飽和領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、出力ニューロンの出力として使用することができる。
代替的に、本明細書に記載されるVMMアレイのメモリセルは、ニューラルネットワークの各層又は多層に対して全ての領域又はそれらの組み合わせ(サブスレッショルド、線形、又は飽和)で使用され得る。
図7のVMMアレイ32のための他の実施形態は、参照により本明細書に組み込まれる米国特許出願第15/826,345号に記載されている。上記出願に記載されているように、ソース線又はビット線は、ニューロン出力(電流和出力)として使用することができる。
図10は、図2に示されるメモリセル210に特に適しており、かつ入力層と次の層との間でシナプスとして利用される、ニューロンVMMアレイ1000を示す。VMMアレイ1000は、不揮発性メモリセルのメモリアレイ1003と、第1の不揮発性基準メモリセルの基準アレイ1001と、第2の不揮発性基準メモリセルの基準アレイ1002と、を含む。アレイの列方向に配置された基準アレイ1001及び1002は、端子BLR0、BLR1、BLR2、及びBLR3に流入する電流入力を電圧入力WL0、WL1、WL2、及びWL3に変換するように機能する。実際には、第1及び第2の不揮発性基準メモリセルは、電流入力が流入する状態で、マルチプレクサ1014(一部のみ示す)を通してダイオード接続される。基準セルは、目標基準レベルにチューニング(例えば、プログラム)される。目標基準レベルは、基準ミニアレイマトリックス(図示せず)によって提供される。
メモリアレイ1003は、2つの目的を果たす。第一に、メモリアレイ1003は、VMMアレイ1000によって使用される重みを、それぞれのメモリセルに記憶する。第二に、メモリアレイ1003は、メモリアレイ1003に記憶された重みを、入力(すなわち、端子BLR0、BLR1、BLR2、及びBLR3に提供された電流入力であり、これを基準アレイ1001及び1002が入力電圧に変換して、ワード線WL0、WL1、WL2、及びWL3に供給する)に有効に乗算して、次いで、全ての結果(メモリセル電流)を加算して、それぞれのビット線(BL0~BLN)の出力を生成し、この出力は次の層への入力又は最後の層への入力となる。乗算及び加算の関数を実行することで、メモリアレイ1003は、別個の乗算及び加算の論理回路の必要性をなくし、また、電力効率も良い。ここで、電圧入力はワード線WL0、WL1、WL2、及びWL3に提供され、出力は、読み出し(推論)動作中にそれぞれのビット線BL0~BLNに現れる。ビット線BL0~BLNの各々の電流は、その特定のビット線に接続された全ての不揮発性メモリセルからの電流の合計関数を実行する。
表5は、VMMアレイ1000の動作電圧及び電流を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表5:図10のVMMアレイ1000の動作
図11は、図2に示されるメモリセル210に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンVMMアレイ1100を示す。VMMアレイ1100は、不揮発性メモリセルのメモリアレイ1103と、第1の不揮発性基準メモリセルの基準アレイ1101と、第2の不揮発性基準メモリセルの基準アレイ1102と、を含む。基準アレイ1101及び1102は、VMMアレイ1100の行方向に延びる。VMMアレイは、VMMアレイ1100においてワード線が垂直方向に延びることを除いて、VMM1000と同様である。ここで、入力はワード線(WLA0、WLB0、WLA1、WLB2、WLA2、WLB2、WLA3、WLB3)に提供され、出力は、読み出し動作中にソース線(SL0、SL1)に現れる。各ソース線の電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
表6は、VMMアレイ1100の動作電圧及び電流を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
図12は、図3に示されるメモリセル310に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンVMMアレイ1200を示す。VMMアレイ1200は、不揮発性メモリセルのメモリアレイ1203と、第1の不揮発性基準メモリセルの基準アレイ1201と、第2の不揮発性基準メモリセルの基準アレイ1202と、を含む。基準アレイ1201及び1202は、端子BLR0、BLR1、BLR2、及びBLR3に流入する電流入力を電圧入力CG0、CG1、CG2、及びCG3に変換するように機能する。実際には、第1及び第2の不揮発性基準メモリセルは、電流入力がBLR0、BLR1、BLR2、及びBLR3を通って流入する状態で、マルチプレクサ1212(一部のみ示す)を通してダイオード接続される。マルチプレクサ1212は、読み出し動作中に第1及び第2の不揮発性基準メモリセルの各々のビット線(BLR0など)の一定電圧を確実にするために、対応のマルチプレクサ1205及びカスコーディングトランジスタ1204をそれぞれ含む。基準セルは、目標基準レベルにチューニングされる。
メモリアレイ1203は、2つの目的を果たす。第一に、メモリアレイ1203は、VMMアレイ1200によって使用される重みを記憶する。第二に、メモリアレイ1203は、メモリアレイに記憶された重みを、入力(端子BLR0、BLR1、BLR2、及びBLR3に提供された電流入力であり、基準アレイ1201及び1202がこれらの電流入力を入力電圧に変換して、制御ゲート(CG0、CG1、CG2、及びCG3)に供給する)に有効に乗算して、次いで、全ての結果(セル電流)を加算して出力を生成し、この出力はBL0~BLNに現れ、次の層への入力又は最後の層への入力となる。メモリアレイが乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性がなくなり、また、電力効率も良い。ここで、入力は制御ゲート線(CG0、CG1、CG2、及びCG3)に提供され、出力は、読み出し動作中にビット線(BL0~BLN)に現れる。各ビット線の電流は、その特定のビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
VMMアレイ1200は、メモリアレイ1203内の不揮発性メモリセルの一方向チューニングを実装する。すなわち、各不揮発性メモリセルは消去され、次いで、浮遊ゲートの所望の電荷に達するまで部分的にプログラムされる。過度に多くの電荷が浮遊ゲートに加えられる場合(誤った値がセルに記憶される場合など)、セルは消去され、一連の部分的なプログラミング動作が最初からやり直される。示されるように、同じ消去ゲート(EG0又はEG1など)を共有する2つの行は、一緒に消去され(ページ消去として知られる)、その後、各セルは、浮遊ゲートの所望の電荷に達するまで部分的にプログラムされる。
表7は、VMMアレイ1200の動作電圧及び電流を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
図13は、図3に示されるメモリセル310に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンVMMアレイ1300を示す。VMMアレイ1300は、不揮発性メモリセルのメモリアレイ1303と、基準アレイ1301又は第1の不揮発性基準メモリセルと、第2の不揮発性基準メモリセルの基準アレイ1302と、を備える。EG線EGR0、EG0、EG1、及びEGR1は垂直に延び、CG線CG0、CG1、CG2、及びCG3並びにSL線WL0、WL1、WL2、及びWL3は水平に延びる。VMMアレイ1300は、VMMアレイ1300が双方向チューニングを実装することを除いてVMMアレイ1400と同様であり、各個々のセルは、個別のEG線の使用により、浮遊ゲートの所望の電荷量に達するために、完全に消去され、部分的にプログラムされ、必要に応じて部分的に消去することができる。示されるように、基準アレイ1301及び1302は、端子BLR0、BLR1、BLR2及びBLR3における入力電流を制御ゲート電圧CG0、CG1、CG2及びCG3に変換し(マルチプレクサ1314を介したダイオード接続された基準セルの作用を通じて)、これらの電圧は行方向でメモリセルに印加される。電流出力(ニューロン)は、ビット線BL0~BLN中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。
表8は、VMMアレイ1300の動作電圧及び電流を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
図22は、図2に示されるメモリセル210に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンVMMアレイ2200を示す。VMMアレイ2200では、入力INPUT0....、INPUTNは、ビット線BL0、...BLNでそれぞれ受信され、出力OUTPUT1、OUTPUT2、OUTPUT3、及びOUTPUT4は、ソース線SL0、SL1、SL2、及びSL3でそれぞれ生成される。
図23は、図2に示されるメモリセル210に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンVMMアレイ2300を示す。この例では、入力INPUT0、INPUT1、INPUT2、及びINPUT3は、ソース線SL0、SL1、SL2、及びSL3でそれぞれ受信され、出力OUTPUT0、...OUTPUTNは、ビット線BL0、...、BLNで生成される。
図24は、図2に示されるメモリセル210に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンVMMアレイ2400を示す。この例では、入力INPUT0、...、INPUTMは、ワード線WL0、...、WLMでそれぞれ受信され、出力OUTPUT0、...OUTPUTNは、ビット線BL0、...、BLNで生成される。
図25は、図3に示されるメモリセル310に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンVMMアレイ2500を示す。この例では、入力INPUT0、...、INPUTMは、ワード線WL0、...、WLMでそれぞれ受信され、出力OUTPUT0、...OUTPUTNは、ビット線BL0、...、BLNで生成される。代替的に、入力は、制御ゲートCG0、...、CGMに受信され得る。
図26Aは、図4に示されるメモリセル410に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンVMMアレイ2600を示す。この例では、入力INPUT0、...、INPUTnがそれぞれ垂直制御ゲート線CG0、...、CGNに受信され、出力OUTPUT1及びOUTPUT2がソース線SL0及びSL1に生成される。
図26Bは、ワード線が水平ではなく垂直であるVMMアレイ2600の代替設計である、ニューロンVMMアレイ2620を示す。このインスタンスでは、入力は垂直ワード線WL0、WL1に受信され得、出力OUTPUT1及びOUTPUT2は水平ソース線SL0及びSL1に生成される。
図26Cは、消去ゲート線が水平ではなく垂直であるVMMアレイ2600の代替設計である、ニューロンVMMアレイ2640を示す。このインスタンスでは、入力は垂直消去ゲート線EG0、EG1に受信され得、出力OUTPUT1及びOUTPUT2は水平ソース線SL0及びSL1に生成される。そして、出力OUTPUT1及びOUTPUT2は、水平ソース線SL0及びSL1に生成される。
図27は、図4に示されるメモリセル410に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンVMMアレイ2700を示す。この例では、入力INPUT0、...、INPUTNは、ビット線BL0、...、BLNにそれぞれ結合されているビット線制御ゲート2701-1、2701-2、...、2701-(N-1)及び2701-Nのゲートにそれぞれ受信される。例示的な出力OUTPUT1及びOUTPUT2が、ソース線SL0及びSL1に生成される。
図28は、図3に示されるメモリセル310、図5に示されるメモリセル510、及び図7に示されるメモリセル710に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンVMMアレイ2800を示す。この例では、入力INPUT0、...、INPUTMは、ワード線WL0、...、WLMに受信され、出力OUTPUT0、...、OUTPUTNは、ビット線BL0、...、BLNにそれぞれ生成される。代替的に、入力は、制御ゲートCG0、...、CGMに受信され得る。
図29は、図3に示されるメモリセル310、図5に示されるメモリセル510、及び図7に示されるメモリセル710に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンVMMアレイ2900を示す。この例では、入力INPUT0、...、INPUTMは、制御ゲート線CG0、...、CGMに受信される。出力OUTPUT0、...、OUTPUTNは、垂直ソース線SL0、...、SLNにそれぞれ生成され、各ソース線SLiは、列i内の全てのメモリセルのソース線に結合されている。代替的に、入力は、ワード線WL0、...、WLMに受信され得る。
図30は、図3に示されるメモリセル310、図5に示されるメモリセル510、及び図7に示されるメモリセル710に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンVMMアレイ3000を示す。この例では、入力INPUT0、...、INPUTMは、制御ゲート線CG0、...、CGMに受信される。出力OUTPUT0、...、OUTPUTNは、垂直ビット線BL0、...、BLNにそれぞれ生成され、各ビット線BLiは、列i内の全てのメモリセルのビット線に結合されている。
長・短期メモリ
長・短期メモリ
先行技術は、長・短期メモリ(long short-term memory、LSTM)として知られる概念を含む。LSTMユニットは、しばしば、ニューラルネットワーク内で使用される。LSTMによって、ニューラルネットワークは所定の任意の期間にわたって情報を記憶し、後続の動作においてその情報を使用することができる。従来のLSTMユニットは、セル、入力ゲート、出力ゲート、及び忘却ゲートを含む。3つのゲートは、セル内及びセル外への情報の流れ、及び情報がLSTM内で記憶される期間を調節する。VMMは、LSTMユニットにおいて特に有用である。
図14は、例示的なLSTM1400を示す。この例におけるLSTM1400は、セル1401、1402、1403及び1404を含む。セル1401は、入力ベクトルx0を受け取り、出力ベクトルh0及びセル状態ベクトルc0を生成する。セル1402は、入力ベクトルx1と、セル1401からの出力ベクトル(隠れ状態)h0と、セル1401からのセル状態c0と、を受け取り、出力ベクトルh1と、セル状態ベクトルc1と、を生成する。セル1403は、入力ベクトルx2と、セル1402からの出力ベクトル(隠れ状態)h1と、セル1402からのセル状態c1と、を受け取り、出力ベクトルh2と、セル状態ベクトルc2と、を生成する。セル1404は、入力ベクトルx3と、セル1403からの出力ベクトル(隠れ状態)h2と、セル1403からのセル状態c2と、を受け取り、出力ベクトルh3を生成する。追加のセルも使用可能であり、4つのセルを有するLSTMは、単なる例である。
図15は、図14のセル1401、1402、1403、及び1404に使用可能なLSTMセル1500の例示的な実装を示す。LSTMセル1500は、入力ベクトルx(t)と、先行するセルからのセル状態ベクトルc(t-1)と、先行するセルからの出力ベクトルh(t-1)と、を受け取り、セル状態ベクトルc(t)及び出力ベクトルh(t)を生成する。
LSTMセル1500は、シグモイド関数デバイス1501、1502、及び1503を含み、各々が0~1の数を適用して、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。LSTMセル1500はまた、入力ベクトルに双曲線正接関数を適用するためのtanhデバイス1504及び1505と、2つのベクトルを乗算するための乗算器デバイス1506、1507、及び1508と、2つのベクトルを加算するための加算器デバイス1509と、を含む。出力ベクトルh(t)は、システム内の次のLSTMセルに提供することができるか、又は他の目的でアクセスすることができる。
図16は、LSTMセル1500の一実装の一例であるLSTMセル1600を示す。読者の便宜のために、LSTMセル1500からの同じ採番方法が、LSTMセル1600で使用される。シグモイド関数デバイス1501、1502、及び1503、並びにtanhデバイス1504は各々、複数のVMMアレイ1601及び活性化関数回路ブロック1602ブロック1602を含む。したがって、VMMアレイは、特定のニューラルネットワークシステムで使用されるLSTMセルにおいて特に有用であることが分かる。乗算器デバイス1506、1507、及び1508、並びに加算器デバイス1509は、デジタル方式又はアナログ方式で実装される。活性化関数ブロック1602は、デジタル方式、又はアナログ方式で実装され得る。
LSTMセル1600の代替例(及びLSTMセル1500の一実装の別の例)を図17に示す。図17では、シグモイド関数デバイス1501、1502及び1503、並びにtanhデバイス1504は、同じ物理ハードウェア(VMMアレイ1701及び活性化関数ブロック1702)を、時分割多重化された方式で共有する。LSTMセル1700はまた、2つのベクトルを乗算するための乗算器デバイス1703と、2つのベクトルを加算するための加算器デバイス1708と、(活性化関数ブロック1702を含む)tanhデバイス1505と、値i(t)を、i(t)がシグモイド関数ブロック1702から出力されるときに記憶するためのレジスタ1707と、値f(t)*c(t-1)を、その値がマルチプレクサ1710を介して乗算器デバイス1703から出力されるときに記憶するためのレジスタ1704と、値i(t)*u(t)を、その値がマルチプレクサ1710を介して乗算器デバイス1703から出力されるときに記憶するためのレジスタ1705と、値o(t)*c~(t)を、その値がマルチプレクサ1710を介して乗算器デバイス1703から出力されるときに記憶するためのレジスタ1706と、マルチプレクサ1709と、を含む。
LSTMセル1600がVMMアレイ1601とそれぞれの活性化関数ブロック1602との複数のセットを含むのに対し、LSTMセル1700は、LSTMセル1700の実施形態において複数の層を表すために使用される、VMMアレイ1701及び活性化関数ブロック1702の1つのセットのみを含む。LSTMセル1700は、LSTMセル1600と比較して、VMM及び活性化関数ブロックのために必要とするスペースは1/4で済むので、LSTMセル1700は、LSTM1600より必要とするスペースが少ない。
LSTMユニットは典型的には複数のVMMアレイを含み、これらは各々、加算器及び活性化関数ブロック及び高電圧生成ブロックなどの、VMMアレイの外側の特定の回路ブロックによって提供される機能を必要とすることを更に理解することができる。各VMMアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。したがって、後述の実施形態では、VMMアレイ自体の外側に必要とされる回路の最小化を試みる。
ゲート付き回帰型ユニット
ゲート付き回帰型ユニット
アナログVMM実装は、ゲート付き回帰型ユニット(gated recurrent unit、GRU)システムに利用することができる。GRUは、反復ニューラルネットワーク内のゲート機構である。GRUは、GRUセルが一般にLSTMセルよりも少ない構成要素を含むことを除いて、LSTMに類似している。
図18は、例示的なGRU1800を示す。この例におけるGRU1800は、セル1801、1802、1803及び1804を含む。セル1801は、入力ベクトルx0を受け取り、出力ベクトルh0を生成する。セル1802は、入力ベクトルx1と、セル1801からの出力ベクトルh0と、を受け取り、出力ベクトルh1を生成する。セル1803は、入力ベクトルx2と、セル1802からの出力ベクトル(隠れ状態)h1と、を受け取り、出力ベクトルh2を生成する。セル1804は、入力ベクトルx3と、セル1803からの出力ベクトル(隠れ状態)h2と、を受け取り、出力ベクトルh3を生成する。追加のセルも使用可能であり、4つのセルを有するGRUは、単なる例である。
図19は、図18のセル1801、1802、1803、及び1804に使用することができるGRUセル1900の例示的な実装を示す。GRUセル1900は、入力ベクトルx(t)と、先行するGRUセルからの出力ベクトルh(t-1)と、を受け取り、出力ベクトルh(t)を生成する。GRUセル1900は、シグモイド関数デバイス1901及び1902を含み、それらの各々が、出力ベクトルh(t-1)及び入力ベクトルx(t)からの成分に0~1の数を適用する。GRUセル1900はまた、入力ベクトルに双曲線正接関数を適用するためのtanhデバイス1903と、2つのベクトルを乗算するための複数の乗算器デバイス1904、1905、及び1906と、2つのベクトルを加算するための加算器デバイス1907と、1から入力を減算して出力を生成するための相補デバイス1908と、を含む。
図20は、GRUセル1900の一実装の一例であるGRUセル2000を示す。読者の便宜のために、GRUセル1900からの同じ採番方法が、GRUセル2000で使用される。図20から分かるように、シグモイド関数デバイス1901及び1902、並びにtanhデバイス1903は各々、複数のVMMアレイ2001及び活性化関数ブロック2002を含む。したがって、VMMアレイは、特定のニューラルネットワークシステムで使用されるGRUセルにおいて特に使用されることが分かる。乗算器デバイス1904、1905、1906、加算器デバイス1907、及び相補デバイス1908は、デジタル方式又はアナログ方式で実装される。活性化関数ブロック2002は、デジタル方式、又はアナログ方式で実装され得る。
GRUセル2000の代替例(且つ、GRUセル1900の一実装の別の例)を図21に示す。図21において、GRUセル2100は、VMMアレイ2101及び活性化関数ブロック2102を利用しており、シグモイド関数として構成された場合には、0~1の数を適用して、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。図21では、シグモイド関数デバイス1901及び1902、並びにtanhデバイス1903は、同じ物理ハードウェア(VMMアレイ2101及び活性化関数ブロック2102)を、時分割多重化された方式で共有する。GRUセル2100はまた、2つのベクトルを乗算するための乗算器デバイス2103と、2つのベクトルを加算するための加算器デバイス2105と、1から入力を減算して出力を生成するための相補デバイス2109と、マルチプレクサ2104と、値h(t-1)*r(t)を、その値がマルチプレクサ2104を介して乗算器デバイス2103から出力されるときに保持するためのレジスタ2106と、値h(t-1)*z(t)を、その値がマルチプレクサ2104を介して乗算器デバイス2103から出力されるときに保持するためのレジスタ2107と、値h^(t)*(1-z((t))を、その値がマルチプレクサ2104を介して乗算器デバイス2103から出力されるときに保持するためのレジスタ2108と、を備える。
GRUセル2000がVMMアレイ2001及び活性化関数ブロック2002の複数のセットを含むのに対し、GRUセル2100は、GRUセル2100の実施形態において複数の層を表すために使用される、VMMアレイ2101及び活性化関数ブロック2102の1つのセットのみを含む。GRUセル2100は、GRUセル2000と比較して、VMM及び活性化関数ブロックのために必要とするスペースは1/3で済むので、GRUセル2100は、GRUセル2000よりも必要とするスペースが少ない。
GRUシステムは典型的には複数のVMMアレイを含み、これらは各々、合計器及び活性化関数ブロック及び高電圧生成ブロックなどの、VMMアレイの外側の特定の回路ブロックによって提供される機能を必要とすることが更に理解できる。各VMMアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。したがって、後述の実施形態では、VMMアレイ自体の外側に必要とされる回路の最小化を試みる。
VMMアレイへの入力は、アナログレベル、バイナリレベル、パルス、時間変調パルス、又はデジタルビット(この場合、デジタルビットを適切な入力アナログレベルに変換するためにDACが必要とされる)であり、出力は、アナログレベル、バイナリレベル、タイミングパルス、パルス、又はデジタルビット(この場合、出力アナログレベルをデジタルビットに変換するために出力ADCが必要とされる)であり得る。
VMMアレイ内の各メモリセルに関して、各重みWは、単一のメモリセルによって、又は差分セルによって、又は2つのブレンドメモリセル(2つのセルの平均)によって実装することができる。差分セルの場合では、重みWを差分重み(W=W+ - W-)として実装するために、2つのメモリセルが必要とされる。2つのブレンドメモリセルの場合は、2つのセルの平均として重みWを実装するために2つのメモリセルが必要とされる。
アナログニューロモーフィックメモリシステムに使用される各不揮発性メモリセルは、消去・プログラムに対応して、浮遊ゲート内に電荷、すなわち電子の数、を非常に具体的かつ精確な量で保持しなければならない。例えば、各浮遊ゲートはN個の異なる値のうちの1つを保持しなければならず、ここで、Nは、各セルによって示され得る異なる重みの個数である。Nの例としては、16、32、64、128及び256が挙げられる。
VMMシステムでは、メモリセル及びサポート回路に必要とされる空間の全体量を削減しながら、可能な限りスループットを増加させ、レイテンシを減少させる必要がある。
深層学習人工ニューラルネットワーク内のアナログニューラルメモリにおいてアレイを複数の部分に分割するための多数の実施形態が開示され、各部分は、その部分に専用の特定の回路及び、1つ以上の他の部分と共有される他の回路と、相互作用する。
本発明の人工ニューラルネットワークは、CMOS技術及び不揮発性メモリアレイの組み合わせを利用する。
VMMシステムの概要
VMMシステムの概要
図31は、VMMシステム3100のブロック図を示す。VMMシステム3100は、VMMアレイ3101、行デコーダ3102、高電圧デコーダ3103、列デコーダ3104、ビット線ドライバ3105、入力回路3106、出力回路3107、制御論理3108、及びバイアス生成器3109を備える。VMMシステム3100は、チャージポンプ3111、チャージポンプレギュレータ3112、及び高電圧レベル生成器3113を含む、高電圧生成ブロック3110を更に備える。VMMシステム3100は、(プログラム/消去、又は別名重み調整)アルゴリズムコントローラ3114、アナログ回路3115、制御エンジン3116(それは、算術機能、起動機能、埋め込みマイクロコントローラ論理などの特殊機能を含み得る)、及びテスト制御論理3117を更に備える。以下に記載されるシステム及び方法は、VMMシステム3100に実装され得る。
入力回路3106は、DAC(デジタル-アナログ変換器)、DPC(デジタル-パルス変換器、デジタル-時間変調パルス変換器)、AAC(電流-電圧変換器などのアナログ-アナログ変換器、対数変換器)、PAC(パルス-アナログレベル変換器)、又は任意の他の種類の変換器などの回路を含み得る。入力回路3106は、正規化、線形若しくは非線形アップ/ダウンスケーリング関数、又は算術関数を実装し得る。入力回路3106は、入力レベルのための温度補償関数を実装し得る。入力回路3106は、ReLU又はシグモイドなどの活性化関数を実装し得る。出力回路3107は、ADC(ニューロンアナログ出力をデジタルビットに変換するための、アナログ-デジタル変換器)、AAC(電流-電圧変換器などのアナログ-アナログ変換器、対数変換器)、APC(アナログ-パルス変換器、アナログ-時間変調パルス変換器)、電流-電圧変換器、又は任意の他の種類の変換器などの回路を含み得る。出力回路3107は、ReLU又はシグモイドなどの活性化関数を実装し得る。出力回路3107は、ニューロン出力の統計的正規化、正則化、アップ/ダウンスケーリング/ゲイン関数、統計的丸め、又は算術関数(例えば、加算、減算、除算、乗算、シフト、ログ)を実装し得る。出力回路3107は、アレイの電力消費をほぼ一定に保つために、又はIVの傾斜をほぼ同じに保つことになどによってアレイ(ニューロン)出力の精度を高めるために、ニューロン出力又はアレイ出力(ビット線出力など)のための温度補償関数を実装し得る。
図32~図36は、VMMシステム3100といくつかの共通性を含むが、いくつかの修正も含むVMMシステムの実施形態を示す。
図32は、VMMシステム3200を示す。VMMシステム3200は、アレイ3201、共有行デコーダ3202、共有高電圧デコーダ3203、列デコーダ3204及び3205、(行)入力回路3220、出力回路3206及び3207、並びに共有ビット線ドライバ3208を備える。共有行デコーダ3202は、アレイ3201内の全ての行に結合され、選択された行に電圧を印加する。共有高電圧デコーダ3203は、アレイ3201内の全ての行に選択的に結合され得る。共有高電圧デコーダ3203は、任意選択的に、アレイ内の全ての行に選択的に結合され得る制御ゲート高電圧デコーダ3231と、アレイ内の全ての行に選択的に結合され得る共有消去ゲート高電圧デコーダ3232とを備える。入力回路3220は、例えば、図31の入力回路3106と同様である。出力回路3206及び3207の回路及び機能は各々、例えば、図31の出力回路3107の回路及び機能と同様である。VMMシステム3100とは異なり、VMMシステム3200では、特定の動作が異なる回路のセット間で分割される。具体的には、アレイ3201内の列の半分(例えば、全ての奇数列)が列デコーダ3204及び出力回路3206によって動作され、アレイ3201内の列の他の半分(例えば、全ての偶数列)が列デコーダ3205及び出力回路3207によって動作される。したがって、出力回路3206は、読み出し動作中に列の第1の半分における1つ以上の列から第1の出力を生成するために列デコーダ3204に結合され、出力回路3207は、読み出し動作中に列の第2の半分における1つ以上の列から第2の出力を生成するために列デコーダ3207に結合される。この実施形態では、プログラム動作又は消去動作中に、全ての列が複数の共有ビット線ドライバ3208に結合される。これは、複数のビット線が併行して読み出されることを可能にする。つまり、列デコーダ3204及び出力回路3206に結合された複数のビット線と、列デコーダ3205及び出力回路3207に結合された複数のビット線とが、読み出し動作のために、複数の共有ビット線ドライバ3208によって同時に有効にされる。したがって、これは、アレイ3201を読み出すためのスループットを増加させる。代替的に、読み出し動作は同時である必要はない。
任意選択的に、図39を更に参照すると、連続拡散を、アレイの上半分と下半分との間で実装することができる。
図33は、VMMシステム3300を示す。VMMシステム3300は、アレイ3301a及び3301b、行デコーダ3302、共有高電圧デコーダ3303、列デコーダ3304及び3305、入力回路3320、電流-電圧変換器回路3306及び3307、共有アナログ-デジタル変換器(ADC)3308、並びに共有ビット線ドライバ3309を備える。電流-電圧変換器回路3306又は3307、及び共有ADC回路3308は、図32の出力回路3207の一部である。
VMMシステム3100とは異なり、VMMシステム3300では、特定の動作が異なる回路のセット間で分割される。具体的には、アレイ3301aは列デコーダ3304及び電流-電圧変換器3306によって動作され、アレイ3301bは列デコーダ3305及び電流-電圧変換器3307によって動作される。これは、複数の読み出し動作及び/又はプログラム動作が同時に実行されることを可能にし、読み出し動作又はプログラム動作は、アレイ3301a内の1つ以上のセル及びアレイ3301b内の1つ以上のセルに対して併行して実行され得る。
電流-電圧変換器回路3306及び3307は両方とも、読み出し動作中に時分割多重化方式で使用される共有アナログ-デジタル変換器3308と、プログラム動作及び消去動作中に使用される共有ビット線ドライバ3309とに結合される。例えば、読み出し動作では、アレイ3301aは有効にされて、かつ列デコーダ3304及び電流-電圧変換器回路3306に結合される一方で、同時に、アレイ3301bは有効にされて、かつ列デコーダ3305及び電流-電圧変換器回路3307に結合される。電流-電圧変換器回路3306及び3307からの出力電圧は、例えば、共有ADC3308内のS/Hコンデンサによってサンプルアンドヘルド(S/H)され、これらのアレイ出力電圧は、時分割多重化された共有ADC3308によってデジタル化(変換)される(電流-電圧変換器回路3306と3307との間で共有されるため)。例えば、2つの電流-電圧変換器回路間で共有される1つのADCに対して、2セットのS/Hコンデンサが使用される。別の実施形態では、1つのADCをN個の電流-電圧変換器回路に使用することができ、この場合、NセットのS/Hコンデンサが使用される。
2つの電流-電圧変換器回路間の共有ADCの使用は、図34/図35/図36にも適用することができる。
図34は、VMMシステム3400を示す。VMMシステム3400は、アレイ3401a及び3401b、共有行デコーダ3402、共有高電圧デコーダ3403、列デコーダ3404及び3405、入力回路3420、出力回路3406及び3407、並びに共有ビット線ドライバ3408を備える。VMMシステム3100とは異なり、VMMシステム3400では、特定の動作が異なる回路のセット間で分割される。具体的には、アレイ3401aは列デコーダ3404及び出力回路3406によって動作され、アレイ3401bは列デコーダ3405及び出力回路3407によって動作される。これは、複数の読み出し動作/又は及びプログラム動作が同時に実行されることを可能にし、読み出し動作又はプログラム動作は、アレイ3401a内の1つ以上のセル及びアレイ3401b内の1つ以上のセルに対して併行して実行され得る。アレイ3401a及び3401bは両方とも、プログラム動作及び消去動作中に使用される共有ビット線ドライバ3408に結合される。
図35は、VMMシステム3500を示す。VMMシステム3500は、アレイ3501a、3501b、3501c、及び3501d、行デコーダ3502及び3503、共有高電圧デコーダ3504、列デコーダ3505、3506、3507、及び3508、入力回路3520、出力回路3509、3510、3511、及び3512、並びに共有ビット線ドライバ3513及び3514を備える。共有高電圧デコーダ3504は、アレイ3501a、3501b、3501c、及び3501d内の全ての行に選択的に結合され得る。行デコーダ3502は、アレイ3501a及び3501bによって共有され、これらのアレイ内の全ての行に結合され、かつ選択された行に電圧を印加し、行デコーダ3503は、アレイ3501c及び3501dによって共有され、これらのアレイ内の全ての行に結合され、かつ選択された行に電圧を印加する。
VMMシステム3500では、特定の動作は、異なる回路のセット間で分割される。具体的には、アレイ3501aは列デコーダ3505及び出力回路3509によって動作され、アレイ3501bは列デコーダ3507及び出力回路3511によって動作され、アレイ3501cは列デコーダ3506及び出力回路3510によって動作され、アレイ3501dは列デコーダ3508及び出力回路3512によって動作される。これは、複数の読み出し動作/又は及びプログラム動作が4つのアレイ全てにおいて一度に同時に実行されることを可能にし、読み出し動作又はプログラム動作は、アレイ3501a内の1つ以上のセル、アレイ3501b内の1つ以上のセル、アレイ3501c内の1つ以上のセル、及びアレイ3501d内の1つ以上のセルに対して併行して実行され得る。アレイ3501a及び3501bは両方とも、プログラム動作及び消去動作中に共有ビット線ドライバ3513に選択的に結合される。アレイ3501c及び3501dは両方とも、プログラム動作及び消去動作中に共有ビット線ドライバ3514に選択的に結合される。
例えば、列デコーダ3505及び出力回路3509がアレイ3501a内の1つ以上の行から第1の出力を生成する第1の読み出し動作を実行することができ、列デコーダ3506及び出力回路3510がアレイ3501c内の1つ以上の行から第2の出力を生成する第2の読み出し動作を実行することができ、列デコーダ3507及び出力回路3511がアレイ3501b内の1つ以上の行から第3の出力を生成する第3の読み出し動作を実行することができ、列デコーダ3508及び出力回路3512がアレイ3501d内の1つ以上の行から第4の出力を生成する第4の読み出し動作を実行することができる。任意選択的に、第1及び第3の読み出し動作は併行して行うことができる。任意選択的に、第2及び第4の読み出し動作は併行して行うことができる。
図36は、VMMシステム3600を示す。VMMシステム3600は、アレイ3601a、3601b、3601c、及び3601d、行デコーダ3621、制御ゲートデコーダ3602及び3603、共有高電圧デコーダ3604、列デコーダ3605、3606、3607、及び3608、出力回路3609、3610、3611、及び3612、並びに共有ビット線ドライバ3613及び3614を備える。VMMシステム3600では、特定の動作は、異なる回路のセット間で分割される。具体的には、アレイ3601aは列デコーダ3605及び出力回路3609によって動作され、アレイ3601bは列デコーダ3607及び出力回路3611によって動作され、アレイ3601cは列デコーダ3606及び出力回路3610によって動作され、アレイ3601dは列デコーダ3608及び出力回路3612によって動作される。これは、複数の読み出し動作及び/又はプログラム動作が4つのアレイ全てにおいて一度に同時に実行されることを可能にし、読み出し動作又はプログラム動作は、アレイ3601a内の1つ以上のセル、アレイ3601b内の1つ以上のセル、アレイ3601c内の1つ以上のセル、及びアレイ3601d内の1つ以上のセルに対して併行して実行され得る。アレイ3601a及び3601bは両方とも、プログラム動作及び消去動作中に共有ビット線ドライバ3613に選択的に結合される。アレイ3601c及び3601dは両方とも、プログラム動作及び消去動作中に共有ビット線ドライバ3614に選択的に結合される。
図32~図36は、読み出しが制御ゲートの行入力によって行われることを示す。代替的に、読み出しはワード線又は消去ゲートで行うことができる。図32の入力回路3220、図33の入力回路3320、図34の入力回路3420、図35の入力回路3520、及び図36の入力回路3620は、図31の入力回路3106と同様である。図32の出力回路3206/3207、及び図34の3406/4307、図35の3507/3508/3509/3510、及び図36の3607/3608/3609/3610は、図31の出力回路3107と同様である。
図37は、VMMアレイ3700の一部を示す。VMMアレイ3700は、行3701、3702、3703、3704、3705、3706、3707、及び3708を備える。行3701、3702、3705、及び3706は、消去ゲート線(EG0)及びソース線(SL0)を共有し、行3703、3704、3707、及び3708は、消去ゲート線(EG1)及びソース線(SL1)を共有する。加えて、行3701及び3703は、制御ゲート線(CG0/CG2)を共有し、行3702及び3704は、制御ゲート線(CG1/CG3)を共有し、行3705及び3707は、制御ゲート線(CG4/CG6)を共有し、行3706及び3708は、制御ゲート線(CG5/CG7)を共有する。これらの結合は、異なる行がデコーダ回路を共有することを可能にする。アレイ端子は、選択されていないセルに対する消去又はプログラム電圧ストレスの量を低減することによってプログラム又は消去ディスターブが低減されるように共有される。
図37及び図38のアレイ(以下に記載)では、ニューラル読み出し動作(複数の行及び複数のビット線が同時にオンである)のためのVMMアレイ3700及び3800のための行入力は、ワード線にある。ニューラル読み出しのための入力が制御ゲートにある場合、制御ゲートは、同じサブアレイ又はアレイバンク内の複数の行間で共有することができない。
図38は、アレイ3800の一部を示す。アレイ3800は、セクタ3809及び3819を備える。セクタ3809は、行3801、3802、3803、3804、3805、3806、3807、及び3808を備える。セクタ3819は、行3811、3812、3813、3814、3815、3816、3817、及び3818を備える。
行3801(第1の行)及び行3811(第2の行)は、制御ゲート線(CG0)を共有し(つまり、これらの行内の各セルの制御ゲート端子が同じ制御ゲート線に結合される)、行3802及び3812は、制御ゲート線(CG1)を共有し(つまり、これらの行内の各セルの制御ゲート端子が同じ制御ゲート線に結合される)、行3803及び3813は、制御ゲート線(CG2)を共有し(つまり、これらの行内の各セルの制御ゲート端子が同じ制御ゲート線に結合される)、行3804及び3814は、制御ゲート線(CG3)を共有し(つまり、これらの行内の各セルの制御ゲート端子が同じ制御ゲート線に結合される)、行3805及び3815は、制御ゲート線(CG4)を共有し(つまり、これらの行内の各セルの制御ゲート端子が同じ制御ゲート線に結合される)、行3806及び3816は、制御ゲート線(CG5)を共有し(つまり、これらの行内の各セルの制御ゲート端子が同じ制御ゲート線に結合される)、行3807及び3817は、制御ゲート線(CG6)を共有し(つまり、これらの行内の各セルの制御ゲート端子が同じ制御ゲート線に結合される)、行3808及び3818は、制御ゲート線(CG7)を共有する(つまり、これらの行内の各セルの制御ゲート端子が同じ制御ゲート線に結合される)。つまり、制御ゲートがセクタ間で共有される。これらの結合は、異なる行がデコーダ回路を共有することを可能にする。アレイ端子は、選択されていないセルに対する消去又はプログラム電圧ストレスの量を低減することによってプログラム又は消去ディスターブが低減されるように共有される。
行3801(第1の行)、行3802(第3の行)、行3805、及び行3806は、消去ゲート線(EG0)(つまり、これらの行内の各セルの消去ゲート端子が同じ消去ゲート線に結合される)及びソース線(SL0)(つまり、これらの行内の各セルのソース線端子が同じソース線に結合される)を共有し、行3803、3084、3807、及び3808は、消去ゲート線(EG1)(つまり、これらの行内の各セルの消去ゲート端子が同じ消去ゲート線に結合される)及びソース線(SL1)(つまり、これらの行内の各セルのソース線端子が同じソース線に結合される)を共有し、行3811、3812、3815、及び3816は、消去ゲート線(EG0)(つまり、これらの行内の各セルの消去ゲート端子が同じ消去ゲート線に結合される)及びソース線(SL0)(つまり、これらの行内の各セルのソース線端子が同じソース線に結合される)を共有し、行3813、3114、3817、及び行3818は、消去ゲート線(EG1)(つまり、これらの行内の各セルの消去ゲート端子が同じ消去ゲート線に結合される)及びソース線(SL1)(つまり、これらの行内の各セルのソース線端子が同じソース線に結合される)を共有する。
図39は、単一のアレイ3901(図31のアレイ3101及び図32のアレイ3201など)及びスプリットアレイ3902(図33のアレイ3301a及び3301b、図34のアレイ3401a及び3401b、図35のアレイ3501a、3501b、3501c、及び3501d、並びに図36のアレイ3601a、3601b、3601c、及び3601dなど)の一部の例示的なレイアウトを示す。スプリットアレイ3902は、特定の接点及び金属接続3904が除去され(又は形成されず)、サブアレイ3903a及び3903bを作成することを除いて、アレイ3901と同じ設計に従う。界面における少数のダミー行は、ワード線及び制御ゲートを接地することなどによって無効にされる。これは、フロントエンド層によるプロセス均一性(すなわち、列内の連続列拡散及びソース線内の連続行拡散)を維持し、ポリシリコンは、不揮発性メモリセルの2つのアレイ間(電気的に分離されたアレイ間)で連続的かつ均一である。これはまた、異なるアレイの物理的分離と比較して、面積オーバーヘッドの低減をもたらす。
本明細書で使用される場合、「の上方に(over)」及び「に(on)」という用語は両方とも、「に直接」(中間材料、要素、又は間隙がそれらの間に配設されていない)、及び「に間接的に」(中間材料、要素、又は間隙がそれらの間に配設されている)を包括的に含むことに留意されるべきである。同様に、「隣接した」という用語は、「直接隣接した」(中間材料、要素、又は間隙がそれらの間に配設されていない)、及び「間接的に隣接した」(中間材料、要素、又は間隙がそれらの間に配設されている)を含み、「に取り付けられた」は、「に直接取り付けられた」(中間材料、要素、又は間隙がそれらの間に配設されていない)、及び「に間接的に取り付けられた」(中間材料、要素、又は間隙がそれらの間に配設されている)を含み、「電気的に結合された」は、「に直接電気的に結合された」(要素を一緒に電気的に接続する中間材料又は要素がそれらの間にない)、及び「に間接的に電気的に結合された」(要素を一緒に電気的に接続する中間材料又は要素がそれらの間にある)を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板に直接、中間材料/要素をそれらの間に伴わずに形成すること、及びその要素を基板に間接的に1つ以上の中間材料/要素をそれらの間に伴って形成することを含み得る。
図11は、図2に示されるメモリセル210に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンVMMアレイ1100を示す。VMMアレイ1100は、不揮発性メモリセルのメモリアレイ1103と、第1の不揮発性基準メモリセルの基準アレイ1101と、第2の不揮発性基準メモリセルの基準アレイ1102と、を含む。基準アレイ1101及び1102は、VMMアレイ1100の行方向に延びる。VMMアレイは、VMMアレイ1100においてワード線が垂直方向に延びることを除いて、VMM1000と同様である。ここで、入力はワード線(WLA0、WLB0、WLA1、WLB1、WLA2、WLB2、WLA3、WLB3)に提供され、出力は、読み出し動作中にソース線(SL0、SL1)に現れる。各ソース線の電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
図13は、図3に示されるメモリセル310に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンVMMアレイ1300を示す。VMMアレイ1300は、不揮発性メモリセルのメモリアレイ1303と、第1の不揮発性基準メモリセルの基準アレイ1301と、第2の不揮発性基準メモリセルの基準アレイ1302と、を備える。EG線EGR0、EG0、EG1、及びEGR1は垂直に延び、CG線CG0、CG1、CG2、及びCG3並びにSL線WL0、WL1、WL2、及びWL3は水平に延びる。VMMアレイ1300は、VMMアレイ1300が双方向チューニングを実装することを除いてVMMアレイ1400と同様であり、各個々のセルは、個別のEG線の使用により、浮遊ゲートの所望の電荷量に達するために、完全に消去され、部分的にプログラムされ、必要に応じて部分的に消去することができる。示されるように、基準アレイ1301及び1302は、端子BLR0、BLR1、BLR2及びBLR3における入力電流を制御ゲート電圧CG0、CG1、CG2及びCG3に変換し(マルチプレクサ1314を介したダイオード接続された基準セルの作用を通じて)、これらの電圧は行方向でメモリセルに印加される。電流出力(ニューロン)は、ビット線BL0~BLN中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。
図16は、LSTMセル1500の一実装の一例であるLSTMセル1600を示す。読者の便宜のために、LSTMセル1500からの同じ採番方法が、LSTMセル1600で使用される。シグモイド関数デバイス1501、1502、及び1503、並びにtanhデバイス1504は各々、複数のVMMアレイ1601及び活性化関数回路ブロック1602を含む。したがって、VMMアレイは、特定のニューラルネットワークシステムで使用されるLSTMセルにおいて特に有用であることが分かる。乗算器デバイス1506、1507、及び1508、並びに加算器デバイス1509は、デジタル方式又はアナログ方式で実装される。活性化関数ブロック1602は、デジタル方式、又はアナログ方式で実装され得る。
図32~図36は、読み出しが制御ゲートの行入力によって行われることを示す。代替的に、読み出しはワード線又は消去ゲートで行うことができる。図32の入力回路3220、図33の入力回路3320、図34の入力回路3420、図35の入力回路3520、及び図36の入力回路3620は、図31の入力回路3106と同様である。図32の出力回路3206/3207、及び図34の3406/3407、図35の3511/3512/3509/3510、及び図36の3611/3612/3609/3610は、図31の出力回路3107と同様である。
行3801(第1の行)、行3802(第3の行)、行3805、及び行3806は、消去ゲート線(EG0)(つまり、これらの行内の各セルの消去ゲート端子が同じ消去ゲート線に結合される)及びソース線(SL0)(つまり、これらの行内の各セルのソース線端子が同じソース線に結合される)を共有し、行3803、3804、3807、及び3808は、消去ゲート線(EG1)(つまり、これらの行内の各セルの消去ゲート端子が同じ消去ゲート線に結合される)及びソース線(SL1)(つまり、これらの行内の各セルのソース線端子が同じソース線に結合される)を共有し、行3811、3812、3815、及び3816は、消去ゲート線(EG0)(つまり、これらの行内の各セルの消去ゲート端子が同じ消去ゲート線に結合される)及びソース線(SL0)(つまり、これらの行内の各セルのソース線端子が同じソース線に結合される)を共有し、行3813、3814、3817、及び行3818は、消去ゲート線(EG1)(つまり、これらの行内の各セルの消去ゲート端子が同じ消去ゲート線に結合される)及びソース線(SL1)(つまり、これらの行内の各セルのソース線端子が同じソース線に結合される)を共有する。
Claims (27)
- アナログニューラルメモリであって、
複数の行及び複数の列に配置された複数の不揮発性メモリセルのアレイと、
前記アレイ内の前記複数の列の第1の半分に結合された第1の列デコーダと、
前記アレイ内の前記複数の列の第2の半分に結合された第2の列デコーダと、
前記第1の列デコーダに結合され、第1の読み出し動作中に前記列の前記第1の半分における1つ以上の列から第1の出力を生成するための第1の出力回路と、
前記第2の列デコーダに結合され、第2の読み出し動作中に前記列の前記第2の半分における1つ以上の列から第2の出力を生成するための第2の出力回路と、を備える、アナログニューラルメモリ。 - 前記第1の読み出し動作及び前記第2の読み出し動作は併行して行われる、請求項1に記載のアナログニューラルメモリ。
- プログラム動作中に前記第1の列デコーダ及び前記第2の列デコーダに結合される共有ビット線ドライバ、
を更に備える、請求項1に記載のアナログニューラルメモリ。 - 共有高電圧デコーダは、前記アレイ内の全ての行に選択的に結合されている、請求項1に記載のアナログニューラルメモリ。
- 共有制御ゲート高電圧デコーダが、前記アレイ内の全ての行に選択的に結合されている、請求項1に記載のアナログニューラルメモリ。
- 共有消去ゲート高電圧デコーダが、前記アレイ内の全ての行に選択的に結合されている、請求項1に記載のアナログニューラルメモリ。
- 共有行デコーダが、前記アレイ内の全ての行に結合されている、請求項1に記載のアナログニューラルメモリ。
- 連続列拡散が、前記複数の列の前記第1の半分及び前記複数の列の前記第2の半分における列間で行われる、請求項1に記載のアナログニューラルメモリ。
- アナログニューラルメモリであって、
複数の行及び複数の列に配置された複数の不揮発性メモリセルの第1のアレイと、
複数の行及び複数の列に配置された複数の不揮発性メモリセルの第2のアレイと、
複数の行及び複数の列に配置された複数の不揮発性メモリセルの第3のアレイと、
複数の行及び複数の列に配置された複数の不揮発性メモリセルの第4のアレイと、
前記第1のアレイ及び前記第2のアレイの複数の行に結合された第1の行デコーダと、
前記第3のアレイ及び前記第4のアレイの複数の行に結合された第2の行デコーダと、
前記第1のアレイに結合された第1の列デコーダと、
前記第2のアレイに結合された第2の列デコーダと、
前記第3のアレイに結合された第3の列デコーダと、
前記第4のアレイに結合された第4の列デコーダと、
前記第1の列デコーダに結合され、第1の読み出し動作中に前記第1のアレイにおける1つ以上の行から第1の出力を生成するための第1の出力回路と、
前記第2の列デコーダに結合され、第1の読み出し動作中に前記第2のアレイにおける1つ以上の行から第2の出力を生成するための第2の出力回路と、
前記第3の列デコーダに結合され、第2の読み出し動作中に前記第3のアレイにおける1つ以上の行から第3の出力を生成するための第3の出力回路と、
前記第4の列デコーダに結合され、前記第2の読み出し動作中に前記第4のアレイにおける1つ以上の行から第4の出力を生成するための第4の出力回路と、を備える、アナログニューラルメモリ。 - 前記第1の読み出し動作及び前記第3の読み出し動作は併行して行われる、請求項9に記載のアナログニューラルメモリ。
- 前記第2の読み出し動作及び前記第4の読み出し動作は併行して行われる、請求項9に記載のアナログニューラルメモリ。
- プログラム動作中に前記第1の列デコーダ及び前記第2の列デコーダに結合される第1の共有ビット線ドライバと、
プログラム動作中に前記第3の列デコーダ及び前記第4の列デコーダに結合される第2の共有ビット線ドライバと、
を更に備える、請求項9に記載のアナログニューラルメモリ。 - 前記第1の出力回路、前記第2の出力回路、前記第3の出力回路、及び前記第4の出力回路の各々は、電流-電圧変換器を備える、請求項9に記載のアナログニューラルメモリ。
- 前記第1の出力回路、前記第2の出力回路、前記第3の出力回路、及び前記第4の出力回路の各々は、前記電流-電圧変換器に結合されたアナログ-デジタル変換器を更に備える、請求項13に記載のアナログニューラルメモリ。
- 共有高電圧デコーダが、前記アレイ内の全ての行に選択的に結合されている、請求項9に記載のアナログニューラルメモリ。
- 前記第1のアレイ、前記第2のアレイ、前記第3のアレイ、及び前記第4のアレイは各々、列間の連続列拡散を含む、請求項9に記載のアナログニューラルメモリ。
- 前記第1のアレイ、前記第2のアレイ、前記第3のアレイ、及び前記第4のアレイは、1つの物理アレイから形成されており、金属接点のない前記物理アレイの一部によって互いに分割されている、請求項9に記載のアナログニューラルメモリ。
- アナログニューラルメモリであって、
複数の行及び複数の列に配置された複数の不揮発性メモリセルのアレイと、
前記アレイ内の前記複数の列の第1の半分に結合され、第1の読み出し動作中に前記複数の列の前記第1の半分における1つ以上の列から第1の出力を生成するための第1の出力回路と、
前記複数の列の第2の半分に結合され、第2の読み出し動作中に前記複数の列の前記第2の半分における1つ以上の列から第2の出力を生成するための第2の出力回路と、を備える、アナログニューラルメモリ。 - 前記第1の読み出し動作及び前記第2の読み出し動作は併行して行われる、請求項18に記載のアナログニューラルメモリ。
- 共有高電圧デコーダが、前記アレイ内の全ての行に選択的に結合されている、請求項18に記載のアナログニューラルメモリ。
- 共有制御ゲート高電圧デコーダが、前記アレイ内の全ての行に選択的に結合されている、請求項18に記載のアナログニューラルメモリ。
- 共有消去ゲート高電圧デコーダが、前記アレイ内の全ての行に選択的に結合されている、請求項18に記載のアナログニューラルメモリ。
- 共有ワード線デコーダが、前記アレイ内の全ての行に選択的に結合されている、請求項18に記載のアナログニューラルメモリ。
- 前記アレイは、前記複数の列の前記第1の半分及び前記複数列の前記第2の半分における列間の連続列拡散を含む、請求項18に記載のアナログニューラルメモリ。
- アナログニューラルメモリであって、
複数の行及び複数の列に配置された複数の不揮発性メモリセルのアレイであって、各不揮発性メモリセルは、制御ゲート端子、ワード線端子、ソース線端子、及び消去ゲート端子を備える、不揮発性メモリセルのアレイと、
複数の制御ゲート線であって、各制御ゲート線は、複数の不揮発性メモリセルの行の複数の制御ゲート端子に結合されている、複数の制御ゲート線と、
複数のワード線であって、各ワード線は、複数の不揮発性メモリセルの行の複数のワード線端子に結合されている、複数のワード線と、
複数のソース線であって、各ソース線は、不揮発性メモリセルの2つの隣接した行のソース線端子に結合されている、複数のソース線と、
複数の消去ゲート線であって、各消去ゲート線は、複数の不揮発性メモリセルの行の複数の消去ゲート端子に結合されている、複数の消去ゲート線と、を備え、
第1の行の制御ゲート線は第2の行の制御ゲート線に結合されており、前記第1の行の消去ゲート線は第3の行の消去ゲート線に結合されており、前記第1の行のソース線は前記第3の行のソース線に結合されている、アナログニューラルメモリ。 - 前記第1の行及び前記第2の行は異なるセクタにある、請求項25に記載のアナログニューラルメモリ。
- 前記第1の行及び前記第3の行は異なるセクタにある、請求項25に記載のアナログニューラルメモリ。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163190228P | 2021-05-18 | 2021-05-18 | |
US63/190,228 | 2021-05-18 | ||
US17/461,901 | 2021-08-30 | ||
US17/461,901 US20220374696A1 (en) | 2021-05-18 | 2021-08-30 | Split array architecture for analog neural memory in a deep learning artificial neural network |
PCT/US2021/048864 WO2022245382A1 (en) | 2021-05-18 | 2021-09-02 | Split array architecture for analog neural memory in a deep learning artificial neural network |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024518884A true JP2024518884A (ja) | 2024-05-08 |
Family
ID=77951848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023563861A Pending JP2024518884A (ja) | 2021-05-18 | 2021-09-02 | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のスプリットアレイアーキテクチャ |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP4341934A1 (ja) |
JP (1) | JP2024518884A (ja) |
KR (1) | KR20230150848A (ja) |
TW (1) | TW202312035A (ja) |
WO (1) | WO2022245382A1 (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5029130A (en) | 1990-01-22 | 1991-07-02 | Silicon Storage Technology, Inc. | Single transistor non-valatile electrically alterable semiconductor memory device |
US6747310B2 (en) | 2002-10-07 | 2004-06-08 | Actrans System Inc. | Flash memory cells with separated self-aligned select and erase gates, and process of fabrication |
US11308383B2 (en) * | 2016-05-17 | 2022-04-19 | Silicon Storage Technology, Inc. | Deep learning neural network classifier using non-volatile memory array |
US11361215B2 (en) * | 2017-11-29 | 2022-06-14 | Anaflash Inc. | Neural network circuits having non-volatile synapse arrays |
US11074318B2 (en) * | 2018-12-14 | 2021-07-27 | Western Digital Technologies, Inc. | Hardware accelerated discretized neural network |
US11409352B2 (en) * | 2019-01-18 | 2022-08-09 | Silicon Storage Technology, Inc. | Power management for an analog neural memory in a deep learning artificial neural network |
CN114586019A (zh) * | 2019-08-13 | 2022-06-03 | 纽罗布拉德有限公司 | 基于存储器的处理器 |
-
2021
- 2021-09-02 EP EP21778651.6A patent/EP4341934A1/en active Pending
- 2021-09-02 JP JP2023563861A patent/JP2024518884A/ja active Pending
- 2021-09-02 WO PCT/US2021/048864 patent/WO2022245382A1/en active Application Filing
- 2021-09-02 KR KR1020237032814A patent/KR20230150848A/ko unknown
-
2022
- 2022-05-13 TW TW111117950A patent/TW202312035A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
TW202312035A (zh) | 2023-03-16 |
EP4341934A1 (en) | 2024-03-27 |
WO2022245382A1 (en) | 2022-11-24 |
KR20230150848A (ko) | 2023-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7464623B2 (ja) | アナログニューラルメモリシステム | |
TWI790551B (zh) | 人工神經網路中於差異單元對中儲存有突觸權重的類比神經記憶體陣列 | |
TWI784642B (zh) | 類比神經記憶體中之同時寫入及驗證操作 | |
JP7474871B2 (ja) | 論理セル及び改善されたプログラミング機構を備える人工ニューラルネットワーク内のアナログニューラルメモリアレイ | |
TWI785574B (zh) | 具有源極線下拉機制之人工神經網路中之類比神經記憶體陣列 | |
JP2024518884A (ja) | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のスプリットアレイアーキテクチャ | |
US11989440B2 (en) | Hybrid memory system configurable to store neural memory weight data in analog form or digital form | |
US20220374696A1 (en) | Split array architecture for analog neural memory in a deep learning artificial neural network | |
US20230229903A1 (en) | Split array architecture for analog neural memory in a deep learning artificial neural network | |
US20230244903A1 (en) | Artificial neural network comprising an analog array and a digital array | |
US20230048411A1 (en) | Input circuitry for analog neural memory in a deep learning artificial neural network | |
CN117178324A (zh) | 用于深度学习人工神经网络中模拟神经存储器的分裂阵列架构 | |
JP2024521006A (ja) | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の出力回路 | |
WO2023146567A1 (en) | Artificial neural network comprising an analog array and a digital array | |
CN117751406A (zh) | 可配置为以模拟形式或数字形式存储神经存储器权重数据的混合存储器系统 | |
WO2023195999A1 (en) | Artificial neural network comprising reference array for i-v slope configuration | |
WO2023196002A1 (en) | Vector-by-matrix-multiplication array utilizing analog outputs | |
WO2023196000A1 (en) | Vector-by-matrix-multiplication array utilizing analog inputs | |
WO2022245384A1 (en) | Output circuit for analog neural memory in a deep learning artificial neural network | |
CN117716427A (zh) | 用于深度学习人工神经网络中的模拟神经存储器的输入电路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231208 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231208 |