JP2024529617A - 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の出力回路 - Google Patents

深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の出力回路 Download PDF

Info

Publication number
JP2024529617A
JP2024529617A JP2024501685A JP2024501685A JP2024529617A JP 2024529617 A JP2024529617 A JP 2024529617A JP 2024501685 A JP2024501685 A JP 2024501685A JP 2024501685 A JP2024501685 A JP 2024501685A JP 2024529617 A JP2024529617 A JP 2024529617A
Authority
JP
Japan
Prior art keywords
output
current
block
bias
cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2024501685A
Other languages
English (en)
Inventor
バン トラン、ヒュー
ブー、サン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Silicon Storage Technology Inc
Original Assignee
Silicon Storage Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Silicon Storage Technology Inc filed Critical Silicon Storage Technology Inc
Publication of JP2024529617A publication Critical patent/JP2024529617A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/26—Sensing or reading circuits; Data output circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/26—Sensing or reading circuits; Data output circuits
    • G11C16/28—Sensing or reading circuits; Data output circuits using differential sensing or reference cells, e.g. dummy cells
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1051—Data output circuits, e.g. read-out amplifiers, data output buffers, data output registers, data output level conversion circuits
    • G11C7/1069—I/O lines read out arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1006—Data managing, e.g. manipulating data before writing or reading out, data bus switches or control circuits therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Read Only Memory (AREA)
  • Non-Volatile Memory (AREA)
  • Feedback Control In General (AREA)

Abstract

深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の出力回路の多数の実施形態が開示される。いくつかの実施形態では、コモンモード回路が、重みＷを一緒に記憶する差動セルＷ＋及びＷ－と共に使用される。コモンモード回路は、コモンモード電圧バイアスを導入するための構造の一部として、電流源、可変抵抗器、又はトランジスタを利用し得る。【選択図】図３７Ａ

Description

（優先権の主張）
本出願は、２０２１年８月２日に出願された「Ｏｕｔｐｕｔ Ｃｉｒｃｕｉｔｒｙ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許仮出願第６３／２２８，５２９号、及び２０２１年１１月８日に出願された「Ｏｕｔｐｕｔ Ｃｉｒｃｕｉｔｒｙ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題する米国特許出願第１７／５２１，７７２号の優先権を主張する。
（発明の分野）
深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の出力回路のための多数の実施形態が開示される。
人工ニューラルネットワークは、生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）を模倣しており、多数の入力に依存し得、かつ、一般的に未知である関数を推定する又は近似するために使用される。人工ニューラルネットワークは、概して、お互いの間でメッセージを交換する相互接続した「ニューロン」の層を含む。
図１は人工ニューラルネットワークを示しており、図中、円は、入力又はニューロンの層を例解する。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいてチューニングされ得る数値の重みを有する。これにより、ニューラルネットワークは入力に適応し、学習可能になる。典型的には、ニューラルネットワークは、複数の入力の層を含む。典型的には、１つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。各レベルでニューロンは、シナプスから受信したデータに基づいて個々に又は集合的に決定を行う。
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題のうちの１つは、適切なハードウェア技術の欠如である。実際には、実用ニューラルネットワークは、非常に多数のシナプスに依拠しており、これによりニューロン間の高い接続性、すなわち、非常に高度な計算処理の並列化が可能となる。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専用グラフィックプロセッシングユニットクラスタによって実現が可能である。しかしながら、高コストに加え、これらのアプローチはまた、生物学的ネットワークが主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しないのと比較して、エネルギー効率が劣っていることに悩まされている。人工ニューラルネットワークにはＣＭＯＳアナログ回路が使用されてきたが、ほとんどのＣＭＯＳ実装シナプスは、多数のニューロン及びシナプスを前提とすると、嵩高過ぎていた。
出願人は以前に、参照により組み込まれる米国特許出願第１５／５９４，４３９号において、シナプスとして１つ以上の不揮発性メモリアレイを利用する人工（アナログ）ニューラルネットワークを開示した。不揮発性メモリアレイは、アナログニューラルメモリとして動作する。ニューラルネットワークデバイスは、第１の複数の入力を受け取って、それから第１の複数の出力を生成するように構成されている第１の複数のシナプス、及び第１の複数の出力を受け取るように構成された第１の複数のニューロンを含む。第１の複数のシナプスは複数のメモリセルを含み、メモリセルの各々は、半導体基板内に形成された、間にチャネル領域が延在する離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に絶縁されて配設される浮遊ゲートと、チャネル領域の第２の部分の上方に絶縁されて配設される非浮遊ゲートと、を含む。複数のメモリセルの各々は、浮遊ゲートの多くの電子に対応する重み値を記憶するように構成されている。複数のメモリセルは、第１の複数の入力に、記憶された重み値を乗算して第１の複数の出力を生成するように構成される。
不揮発性メモリセル
不揮発性メモリは、周知である。例えば、参照により本明細書に組み込まれる、米国特許第５，０２９，１３０号（「’１３０号特許」）は、フラッシュメモリセルの一種である、スプリットゲート不揮発性メモリセルのアレイを開示する。このようなメモリセル２１０を図２に示す。各メモリセル２１０は、半導体基板１２内に形成されたソース領域１４及びドレイン領域１６を含み、ソース領域１４とドレイン領域１６との間にはチャネル領域１８がある。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方に絶縁されて形成され（並びに、チャネル領域１８の第１の部分の導電性を制御して）、ソース領域１４の一部分の上方にかけて形成される。ワード線端子２２（典型的には、ワード線に結合される）は、チャネル領域１８の第２の部分の上方に絶縁されて配設される、（並びに、チャネル領域１８の第２の部分の導電性を制御する）第１の部分と、浮遊ゲート２０の上方で上に延在する第２の部分と、を有する。浮遊ゲート２０及びワード線端子２２は、ゲート酸化物によって基板１２から絶縁される。ビット線２４はドレイン領域１６に結合される。
ワード線端子２２に高圧正電圧を加えることによって、メモリセル２１０に対して消去が行われ（電子が浮遊ゲートから除去される）、これによって、浮遊ゲート２０の電子は、浮遊ゲート２０からワード線端子２２まで、それらの間にある絶縁体の中をファウラーノルドハイム（Fowler-Nordheim、ＦＮ）トンネリングを介して通過する。
メモリセル２１０は、ワード線端子２２に正電圧、及びソース領域１４に正電圧を加えることによって、ホットエレクトロンによるソースサイド注入（source side injection、ＳＳＩ）によって、プログラムされる（電子が浮遊ゲートに加えられる）。電子流は、ドレイン領域１６からソース領域１４に向かって流れる。電子は加速し、ワード線端子２２と浮遊ゲート２０との間の間隙に達すると、発熱する。熱せられた電子の一部は、浮遊ゲート２０からの静電引力に起因して、浮遊ゲート２０にゲート酸化物を介して注入される。
メモリセル２１０は、ドレイン領域１６及びワード線端子２２に正の読み出し電圧を加える（ワード線端子の下方のチャネル領域１８の部分をオンにする）ことによって、読み出される。浮遊ゲート２０が正に帯電する（すなわち、電子を消去する）と、浮遊ゲート２０の下方のチャネル領域１８の部分も同様にオンになり、電流はチャネル領域１８を流れ、これは、消去された状態つまり「１」の状態として検知される。浮遊ゲート２０が負に帯電する（すなわち、電子でプログラムされる）と、浮遊ゲート２０の下方のチャネル領域の部分はほとんど又は完全にオフになり、電流はチャネル領域１８を流れず（又はほとんど流れず）、これは、プログラムされた状態つまり「０」の状態として検知される。
表１は、読み出し動作、消去動作、及びプログラム動作を実行するためにメモリセル１１０の端子に適用され得る典型的な電圧／電流範囲を示す。
表１：図３のフラッシュメモリセル２１０の動作
Figure 2024529617000002
他の種類のフラッシュメモリセルである、他のスプリットゲート型メモリセル構成も知られている。例えば、図３は、ソース領域１４と、ドレイン領域１６と、チャネル領域１８の第１の部分の上方にある浮遊ゲート２０と、チャネル領域１８の第２の部分の上方にある選択ゲート２２（典型的には、ワード線、ＷＬ、に結合される）と、浮遊ゲート２０の上方にある制御ゲート２８と、ソース領域１４の上方にある消去ゲート３０と、を含む４ゲートメモリセル３１０を示す。この構成は、あらゆる目的のため参照により本明細書に組み込まれる、米国特許第６，７４７，３１０号に記載されている。ここで、全てのゲートは、浮遊ゲート２０を除いて、非浮遊ゲートであり、つまり、それらは電圧源に電気的に接続される又は接続可能である。プログラミングは、熱せられた電子がチャネル領域１８から浮遊ゲート２０にその電子自体を注入することによって実行される。消去は、電子が浮遊ゲート２０から消去ゲート３０へトンネリングすることによって実行される。
表２は、読み出し動作、消去動作、及びプログラム動作を実行するためにメモリセル３１０の端子に適用され得る典型的な電圧／電流範囲を示す。
表２：図３のフラッシュメモリセル３１０の動作
Figure 2024529617000003
図４は、別の種類のフラッシュメモリセルである、３ゲートメモリセル４１０を示す。メモリセル４１０は、メモリセル４１０が別個の制御ゲートを有しないことを除いて、図３のメモリセル３１０と同一である。（消去ゲートの使用を通じて消去が起こる）消去動作及び読み出し動作は、制御ゲートバイアスが適用されないことを除いて、図３のものと同様である。プログラミング動作もまた、制御ゲートバイアスなしで行われるため、結果として、プログラム動作中は、制御ゲートバイアスの不足を補償するため、より高い電圧がソース線に適用されなければならない。
表３は、読み出し動作、消去動作、及びプログラム動作を実行するためにメモリセル４１０の端子に適用され得る典型的な電圧／電流範囲を示す。
表３：図４のフラッシュメモリセル４１０の動作
Figure 2024529617000004
図５は、別の種類のフラッシュメモリセルである、積層ゲートメモリセル５１０を示す。メモリセル５１０は、浮遊ゲート２０がチャネル領域１８全体の上方に延在し、制御ゲート２２（ここでワード線に結合される）が絶縁層（図示せず）によって分離されて浮遊ゲート２０の上方に延在することを除いて、図２のメモリセル２１０と同様である。消去は、ＦＧから基板への電子のＦＮトンネリングによって行われ、プログラミングは、チャネル１８とドレイン領域１６との間の領域でのチャネルホットエレクトロン（channel hot electron、ＣＨＥ）注入によって、ソース領域１４からドレイン領域１６に向かって流れる電子によって、及びより高い制御ゲート電圧を有するメモリセル２１０の読み出し動作と同様である読み出し動作によって行われる。
表４は、読み出し動作、消去動作、及びプログラム動作を実行するためのメモリセル５１０及び基板１２の端子に適用され得る典型的な電圧範囲を示す。
表４：図５のフラッシュメモリセル５１０の動作
Figure 2024529617000005
本明細書に記載される方法及び手段は、限定されないが、ＦＩＮＦＥＴスプリットゲートフラッシュ又はスタックゲートフラッシュメモリ、ＮＡＮＤフラッシュ、ＳＯＮＯＳ（silicon-oxide-nitride-oxide-silicon、ケイ素－酸化物－窒化物－酸化物－ケイ素、窒化物中の電荷トラップ）、ＭＯＮＯＳ（metal-oxide-nitride-oxide-silicon、金属－酸化物－窒化物－酸化物－ケイ素、窒化物中の金属電荷トラップ）、ＲｅＲＡＭ（resistive ram、抵抗変化型メモリ）、ＰＣＭ（phase change memory、相変化メモリ）、ＭＲＡＭ（magnetic ram、磁気抵抗メモリ）、ＦｅＲＡＭ（ferroelectric ram、強誘電体メモリ）、ＣＴ（charge trap、電荷トラップ）メモリ、ＣＮ（carbon-tube、カーボンチューブ）メモリ、ＯＴＰ（one time programmable、バイレベル又はマルチレベルの１回のみのプログラムが可能）及びＣｅＲＡＭ（correlated electron ram、強相関電子メモリ）などの他の不揮発性メモリ技術に適用され得る。
上記の人工ニューラルネットワークにおける不揮発性メモリセルの種類のうちの１つを含むメモリアレイを利用するために、２つの修正が行われる。第１に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しできるように線を構成する。第２に、メモリセルの連続（アナログ）プログラミングを提供する。
具体的には、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全に消去された状態から完全にプログラムされた状態へ、独立して、かつ他のメモリセルの乱れが最小で、連続的に変えることができる。別の実施形態では、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全にプログラムされた状態から完全に消去された状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの乱れが最小で、連続的に変えることができる。これはつまり、セル記憶がアナログであるか、又は多数の不連続値（１６個又は６４個の異なる値など）のうちの１つを最低限記憶することができることを意味し、これにより、メモリアレイ内の全てのセルが非常に精密に、かつ個々にチューニング可能となり、また、メモリアレイが、記憶、及びニューラルネットワークのシナプシスの重みへの微細チューニング調整に対して、理想的なものになる。
不揮発性メモリセルアレイを使用するニューラルネットワーク
図６は、本実施形態の不揮発性メモリアレイを利用するニューラルネットワークの非限定例を概念的に例解する。この例は、顔認識アプリケーション用に不揮発性メモリアレイニューラルネットワークを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の適切なアプリケーションを実装することも可能である。
Ｓ０は入力層であり、この例では、５ビット精度の３２×３２ピクセルＲＧＢ画像である（すなわち、各色Ｒ、Ｇ、及びＢにつき１つずつで３つの３２×３２ピクセルアレイであり、各ピクセルは５ビット精度である）。入力層Ｓ０から層Ｃ１に行くシナプスＣＢ１は、一部のインスタンスには異なる重みのセットを適用し、他のインスタンスには共有の重みを適用し、入力画像を３×３ピクセルの重なり合うフィルタ（カーネル）でスキャンし、１ピクセル（又はモデルによっては２ピクセル以上）ずつフィルタをシフトする。具体的には、画像の３×３部分における９ピクセルの値（すなわち、フィルタ又はカーネルと称される）は、シナプスＣＢ１に提供され、そこで、これらの９個の入力値に適切な重みを乗算し、その乗算の出力を合計後、単一の出力値が決定され、層Ｃ１の特徴マップのうちの１つのピクセルを生成するためにＣＢ１の第１のシナプスによって与えられる。３×３フィルタは次に、入力層Ｓ０内で右側に１ピクセルだけシフトされ（すなわち、３ピクセルの列を右側に追加し、左側で３ピクセルの列をドロップする）、これにより、この新しく位置づけられたフィルタの９ピクセル値はシナプスＣＢ１に提供され、そこでそれらに上記と同じ重みを乗算し、関連するシナプスによって第２の単一の出力値を決定する。このプロセスを、３×３フィルタが入力層Ｓ０の３２×３２ピクセル画像全体にわたって３色全て及び全てのビット（精度値）についてスキャンするまで続ける。プロセスは次に、層Ｃ１の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、層Ｃ１の異なる特徴マップを生成する。
本例では、層Ｃ１において、各々３０×３０ピクセルを有する１６個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、二次元アレイであり、したがってこの例では、層Ｃ１は、二次元アレイの１６層を構成する（本明細書で言及される層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な二次元アレイに配向されないことに留意されたい）。層Ｃ１内の１６個の特徴マップの各々は、フィルタスキャンに適用される異なるシナプス重みのセット１６個のうちの１つによって生成される。Ｃ１特徴マップは全て、境界同定など、同じ画像特徴の異なる態様を対象とすることができる。例えば、第１のマップ（この第１のマップを生成するために使用される全てのスキャンに共有される第１の重みセットを使用して生成される）は、円形エッジを識別することができ、第２のマップ（第１の重みセットと異なる第２の重みセットを使用して生成される）は、長方形エッジ又はある特定の特徴のアスペクト比などを識別することができる。
層Ｃ１から層Ｓ１へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ１（プーリング）が適用される。プーリング関数Ｐ１の目的は、近隣の位置を平均すること（又はｍａｘ関数を使用することも可能である）、例えばエッジ位置の依存性を低減すること、及び次の段階に行く前にデータサイズを低減することである。層Ｓ１において、１６個の１５×１５特徴マップ（すなわち、各々１５×１５ピクセルの異なるアレイ１６個）が存在する。層Ｓ１から層Ｃ２に行くシナプスＣＢ２は、層Ｓ１内のマップを４×４フィルタにより１ピクセルのフィルタシフトでスキャンする。層Ｃ２において、２２個の１２×１２特徴マップが存在する。層Ｃ２から層Ｓ２へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ２（プーリング）が適用される。層Ｓ２において、２２個の６×６特徴マップが存在する。層Ｓ２から層Ｃ３へ行くシナプスＣＢ３では活性化関数（プーリング）が適用され、ここで層Ｃ３内の全てのニューロンは、ＣＢ３のそれぞれのシナプスを介して層Ｓ２内の全てのマップに接続する。層Ｃ３において、６４個のニューロンが存在する。層Ｃ３から出力層Ｓ３へと行くシナプスＣＢ４は、Ｃ３をＳ３に完全に接続する、すなわち、層Ｃ３内の全てのニューロンは、層Ｓ３内の全てのニューロンに接続される。Ｓ３における出力は、１０個のニューロンを含み、ここで出力が最も高いニューロンが、クラスを決定する。この出力は、例えば、元の画像の内容の同定又は分類（クラス分け）を示すことができる。
シナプスの各層は、不揮発性メモリセルのアレイ又はアレイの一部を使用して実装される。
図７は、その目的のために使用可能なアレイのブロック図である。ベクトルマトリックス乗算（Vector-by-matrix multiplication、ＶＭＭ）アレイ３２は、不揮発性メモリセルを含み、ある層と次の層との間のシナプス（図６のＣＢ１、ＣＢ２、ＣＢ３、及びＣＢ４など）として利用される。具体的には、ＶＭＭアレイ３２は、不揮発性メモリセルのアレイ３３、消去ゲート及びワード線ゲートデコーダ３４、制御ゲートデコーダ３５、ビット線デコーダ３６、並びにソース線デコーダ３７を含み、それらのデコーダは不揮発性メモリセルアレイ３３に対するそれぞれの入力をデコードする。ＶＭＭアレイ３２への入力は、消去ゲート及びワード線ゲートデコーダ３４から、又は制御ゲートデコーダ３５から行うことができる。この例におけるソース線デコーダ３７はまた、不揮発性メモリセルアレイ３３の出力をデコードする。代替的に、ビット線デコーダ３６が、不揮発性メモリセルアレイ３３の出力をデコードすることができる。
不揮発性メモリセルアレイ３３は、２つの目的を果たす。第１に、それは、ＶＭＭアレイ３２によって使用される重みを記憶する。第２に、不揮発性メモリセルアレイ３３は、不揮発性メモリセルアレイ３３に格納された重みを、入力に有効に乗算して、それらを出力線（ソース線又はビット線）ごとに加算して、出力を生成し、この出力は次の層への入力又は最後の層への入力になる。不揮発性メモリセルアレイ３３が乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性はなくなり、また、メモリ内の計算により電力効率も良い。
不揮発性メモリセルアレイ３３の出力は、不揮発性メモリセルアレイ３３の出力を合計してその畳み込み用の単一の値を作成する、差動合計器（合計オペアンプ又は合計カレントミラーなど）３８に供給される。差動合計器３８は、正の重み及び負の重みの総和を実行するように配置される。
差動加算器３８の合計された出力値は、次に出力を整流する活性化関数ブロック３９に供給される。活性化関数ブロック３９は、シグモイド、ｔａｎｈ、又はＲｅＬＵ関数を提供し得る。活性化関数ブロック３９の整流された出力値は、次の層（例えば図６のＣ１）として特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、不揮発性メモリセルアレイ３３は、複数のシナプスを構成し（ニューロンの前の層から、又は画像データベースなどの入力層から、入力を受け取る）、合計オペアンプ３８及び活性化関数ブロック３９は、複数のニューロンを構成する。
図７のＶＭＭアレイ３２への入力（ＷＬｘ、ＥＧｘ、ＣＧｘ、及び任意選択的にＢＬｘ及びＳＬｘ）は、アナログレベル、バイナリレベル、又はデジタルビット（この場合、ＤＡＣが、デジタルビットを適切な入力アナログレベルに変換するために提供される）であり得、出力は、アナログレベル、バイナリレベル、又はデジタルビットであり得る（この場合、出力ＡＤＣが出力アナログレベルをデジタルビットに変換するために提供される）。
図８は、図中でＶＭＭアレイ３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅとして標示されたＶＭＭアレイ３２の多数の層の使用を示すブロック図である。図８に示されるように、入力（Ｉｎｐｕｔｘで示される）は、デジタル－アナログ変換器３１によってデジタルからアナログに変換され、入力ＶＭＭアレイ３２ａに提供される。変換されたアナログ入力は、電圧又は電流であり得る。第１の層の入力Ｄ／Ａ変換は、入力ＶＭＭアレイ３２ａのマトリックス乗算器の適切なアナログレベルに入力Ｉｎｐｕｔｘをマッピングする関数又はＬＵＴ（look up table、ルックアップテーブル）を使用することによって行うことができる。入力変換はまた、外部アナログ入力を入力ＶＭＭアレイ３２ａへのマッピングされたアナログ入力に変換するために、アナログ－アナログ（analog to analog、Ａ／Ａ）変換器によって行うこともできる。
入力ＶＭＭアレイ３２ａによって生成された出力は、次に、次のＶＭＭアレイ（隠しレベル１）３２ｂへの入力として提供され、次に入力ＶＭＭアレイ（隠しレベル２）３２ｃへの入力として提供される出力を生成する、などとなる。ＶＭＭアレイ３２の様々な層は、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）のシナプス及びニューロンの各層として機能する。各ＶＭＭアレイ３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅは、スタンドアローンの物理的不揮発性メモリアレイとすることができ、又は複数のＶＭＭアレイは、同じ物理的不揮発性メモリアレイの異なる部分を利用することができ、又は複数のＶＭＭアレイは、同じ物理的不揮発性メモリアレイの重なり合う部分を利用することができる。図８に示される例は、５つの層（３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ）、すなわち、１つの入力層（３２ａ）、２つの隠れ層（３２ｂ、３２ｃ）、及び２つの全接続層（３２ｄ、３２ｅ）を含む。当業者であれば、これは単なる例示であり、代わりにシステムが２つを超える隠れ層及び２つを超える完全接続層を含み得ることを理解するであろう。
ベクトルマトリックス乗算（ＶＭＭ）アレイ
図９は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ９００を示す。ＶＭＭアレイ９００は、不揮発性メモリセルのメモリアレイ９０１と、不揮発性基準メモリセルの基準アレイ９０２（アレイの頂部に位置する）と、を含む。代替的に、別の基準アレイが底部に位置することができる。
ＶＭＭアレイ９００では、制御ゲート線９０３などの制御ゲート線が垂直方向に延びており（したがって、行方向の基準アレイ９０２が、制御ゲート線９０３に直交する）、消去ゲート線９０４などの消去ゲート線が水平方向に延びている。ここで、ＶＭＭアレイ９００への入力は、制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、ＣＧ３）に提供され、ＶＭＭアレイ９００の出力は、ソース線（ＳＬ０、ＳＬ１）に現れる。一実施形態では、偶数行のみが使用され、別の実施形態では、奇数行のみが使用される。各ソース線（それぞれＳＬ０、ＳＬ１）の電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
ニューラルネットワークについて本明細書に記載されているように、ＶＭＭアレイ９００の不揮発性メモリセル、すなわちＶＭＭアレイ９００のメモリセル３１０は、サブ閾値領域で動作するように構成されることが好ましい。
本明細書に記載される不揮発性基準メモリセル及び不揮発性メモリセルは、以下のように弱反転（サブ閾値領域）でバイアスされる：
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/nVt＝ｗ*Ｉｏ*ｅ(Vg)/nVt
式中、ｗ＝ｅ(-Vth)/nVtであり、
Ｉｄｓはドレイン－ソース間電流であり、Ｖｇはメモリセルのゲート電圧であり、Ｖｔｈはメモリセルの閾値電圧であり、Ｖｔは熱電圧＝ｋ*Ｔ／ｑであり、ｋはボルツマン定数、Ｔはケルビン温度、ｑは電子電荷であり、ｎは傾斜係数＝１＋（Ｃｄｅｐ／Ｃｏｘ）であり、Ｃｄｅｐ＝空乏層の容量、そして、Ｃｏｘはゲート酸化物層の容量であり、Ｉｏは、閾値電圧に等しいゲート電圧におけるメモリセル電流であり、Ｉｏは、（Ｗｔ／Ｌ）*ｕ*Ｃｏｘ*（ｎ－１）*Ｖｔ2に比例し、式中、ｕはキャリア移動度であり、Ｗｔ及びＬはそれぞれ、メモリセルの幅及び長さである。
メモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して入力電流を入力電圧に変換するＩ－Ｖログ変換器を使用した場合：
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。
電流入力を伴うベクトルマトリックス乗算器ＶＭＭアレイとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/nVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/nVt
ここで、ｗａ＝メモリアレイの各メモリセルのｗである。
Ｖｔｈｐは周辺メモリセルの有効閾値電圧であり、Ｖｔｈａはメイン（データ）メモリセルの有効閾値電圧である。トランジスタの閾値電圧は基板本体バイアス電圧の関数であり、Ｖｓｂと表される基板本体バイアス電圧は、そのような温度で様々な条件を補償するように変調され得ることに留意されたい。閾値電圧Ｖｔｈは次のように表すことができる。
Figure 2024529617000006
ワード線又は制御ゲートは、入力電圧のためのメモリセルの入力として使用することができる。
代替的に、本明細書に記載されたＶＭＭアレイのフラッシュメモリセルは、線形領域で動作するように構成することができる。
Ｉｄｓ＝ベータ*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ；ベータ＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ ∝ （Ｖｇｓ－Ｖｔｈ）
すなわち、直線領域における重みＷは、（Ｖｇｓ－Ｖｔｈ）に比例する
ワード線又は制御ゲート又はビット線又はソース線は、線形領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、メモリセルの出力として使用することができる。
Ｉ－Ｖ線形変換器用に、線形領域で動作するメモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して、入出力電流を入出力電圧に線形変換することができる。
代替的に、本明細書に記載されたＶＭＭアレイのメモリセルは、飽和領域で動作するように構成することができる。
Ｉｄｓ＝１／２*ベータ*（Ｖｇｓ－Ｖｔｈ）2；ベータ＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ ∝ （Ｖｇｓ－Ｖｔｈ）2、すなわち、重みＷは（Ｖｇｓ－Ｖｔｈ）2に比例する
ワード線、制御ゲート、又は消去ゲートは、飽和領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、出力ニューロンの出力として使用することができる。
代替的に、本明細書に記載されるＶＭＭアレイのメモリセルは、ニューラルネットワークの各層又は多層に対して全ての領域又はそれらの組み合わせ（サブ閾値、線形、又は飽和）で使用され得る。
図７のＶＭＭアレイ３２のための他の実施形態は、参照により本明細書に組み込まれる米国特許第１０，７４８，６３０号に記載されている。上記出願に記載されているように、ソース線又はビット線は、ニューロン出力（電流和出力）として使用することができる。
図１０は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間のシナプスとして利用される、ニューロンＶＭＭアレイ１０００を示す。ＶＭＭアレイ１０００は、不揮発性メモリセルのメモリアレイ１００３と、第１の不揮発性基準メモリセルの基準アレイ１００１と、第２の不揮発性基準メモリセルの基準アレイ１００２と、を含む。アレイの列方向に配置された基準アレイ１００１及び１００２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力が流入する状態で、マルチプレクサ１０１４（部分的にのみ示される）を通してダイオード接続される。基準セルは、目標基準レベルにチューニング（例えば、プログラム）される。目標基準レベルは、基準ミニアレイマトリックス（図示せず）によって提供される。
メモリアレイ１００３は、２つの目的を果たす。第１に、メモリアレイ１００３は、ＶＭＭアレイ１０００により使用される重みを、それぞれのメモリセルに記憶する。第２に、メモリアレイ１００３は、メモリアレイ１００３に記憶された重みを、入力（すなわち、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、基準アレイ１００１及び１００２がこれらの電流入力を入力電圧に変換して、ワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に供給する）に有効に乗算し、次いで、全ての結果（メモリセル電流）を加算してそれぞれのビット線（ＢＬ０～ＢＬＮ）に出力を生成し、この出力は次の層への入力又は最後の層への入力となる。乗算及び加算の関数を実行することで、メモリアレイ１００３は、別個の乗算及び加算の論理回路の必要性をなくし、また、電力効率も良い。ここで、電圧入力はワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に提供され、出力は、読み出し（推論）動作中にそれぞれのビット線ＢＬ０～ＢＬＮに現れる。ビット線ＢＬ０～ＢＬＮの各々の電流は、その特定のビット線に接続された全ての不揮発性メモリセルからの電流の合計関数を実行する。
表５は、ＶＭＭアレイ１０００の動作電圧及び電流を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表５：図１０のＶＭＭアレイ１０００の動作
Figure 2024529617000007
図１１は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１１００を示す。ＶＭＭアレイ１１００は、不揮発性メモリセルのメモリアレイ１１０３と、第１の不揮発性基準メモリセルの基準アレイ１１０１と、第２の不揮発性基準メモリセルの基準アレイ１１０２と、を含む。基準アレイ１１０１及び１１０２は、ＶＭＭアレイ１１００の行方向に延びる。ＶＭＭアレイは、ＶＭＭアレイ１１００においてワード線が垂直方向に延びることを除いて、ＶＭＭ１０００と同様である。ここで、入力はワード線（ＷＬＡ０、ＷＬＢ０、ＷＬＡ１、ＷＬＢ２、ＷＬＡ２、ＷＬＢ２、ＷＬＡ３、ＷＬＢ３）に提供され、出力は、読み出し動作中にソース線（ＳＬ０、ＳＬ１）に現れる。各ソース線の電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
表６は、ＶＭＭアレイ１１００の動作電圧及び電流を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表６：図１１のＶＭＭアレイ１１００の動作
Figure 2024529617000008
図１２は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１２００を示す。ＶＭＭアレイ１２００は、不揮発性メモリセルのメモリアレイ１２０３と、第１の不揮発性基準メモリセルの基準アレイ１２０１と、第２の不揮発性基準メモリセルの基準アレイ１２０２と、を含む。基準アレイ１２０１及び１２０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力がＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３を通って流入する状態で、マルチプレクサ１２１２（一部のみ示す）を通してダイオード接続される。マルチプレクサ１２１２は、各々読み出し動作中に第１及び第２の不揮発性基準メモリセルのそれぞれのビット線（ＢＬＲ０など）の一定電圧を確実にするために、対応のマルチプレクサ１２０５及びカスコーディングトランジスタ１２０４を含む。基準セルは、目標基準レベルにチューニングされる。
メモリアレイ１２０３は、２つの目的を果たす。第１に、メモリアレイ１２０３は、ＶＭＭアレイ１２００によって使用される重みを記憶する。第２に、メモリアレイ１２０３は、メモリアレイに記憶された重みを、入力（端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、基準アレイ１２０１及び１２０２がこれらの電流入力を入力電圧に変換して、制御ゲート（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に供給する）に有効に乗算して、次いで、全ての結果（セル電流）を加算して出力を生成し、この出力はＢＬ０～ＢＬＮに現れ、次の層への入力又は最後の層への入力となる。メモリアレイが乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性がなくなり、また、電力効率も良い。ここで、入力は制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に提供され、出力は、読み出し動作中にビット線（ＢＬ０～ＢＬＮ）に現れる。各ビット線の電流は、その特定のビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
ＶＭＭアレイ１２００は、メモリアレイ１２０３内の不揮発性メモリセルの一方向チューニングを実装する。すなわち、各不揮発性メモリセルは消去され、次いで、浮遊ゲートの所望の電荷に達するまで部分的にプログラムされる。過度に多くの電荷が浮遊ゲートに加えられる場合（誤った値がセルに記憶される場合など）、セルは消去され、一連の部分的なプログラミング動作が最初からやり直される。示されるように、同じ消去ゲート（ＥＧ０又はＥＧ１など）を共有する２つの行は、一緒に消去され（ページ消去として知られる）、その後、各セルは、浮遊ゲートの所望の電荷に達するまで部分的にプログラムされる。
表７は、ＶＭＭアレイ１２００の動作電圧及び電流を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。

表７：図１２のＶＭＭアレイ１２００の動作
Figure 2024529617000009
図１３は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１３００を示す。ＶＭＭアレイ１３００は、不揮発性メモリセルのメモリアレイ１３０３と、基準アレイ１３０１又は第１の不揮発性基準メモリセルと、第２の不揮発性基準メモリセルの基準アレイ１３０２と、を備える。ＥＧ線ＥＧＲ０、ＥＧ０、ＥＧ１、及びＥＧＲ１は垂直に延び、ＣＧ線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３並びにＳＬ線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３は水平に延びる。ＶＭＭアレイ１３００は、ＶＭＭアレイ１３００が双方向チューニングを実装することを除いてＶＭＭアレイ１４００と同様であり、各個々のセルは、個別のＥＧ線の使用により、浮遊ゲートの所望の電荷量に達するために、必要に応じて完全に消去され、部分的にプログラムされ、部分的に消去され得る。示されるように、基準アレイ１３０１及び１３０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２及びＢＬＲ３における入力電流を制御ゲート電圧ＣＧ０、ＣＧ１、ＣＧ２及びＣＧ３に変換し（マルチプレクサ１３１４を介したダイオード接続された基準セルの作用を通じて）、これらの電圧は行方向でメモリセルに適用される。電流出力（ニューロン）は、ビット線ＢＬ０～ＢＬＮ中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。
表８は、ＶＭＭアレイ１３００の動作電圧及び電流を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。

表８：図１３のＶＭＭアレイ１３００の動作
Figure 2024529617000010
図２２は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２２００を示す。ＶＭＭアレイ２２００では、入力ＩＮＰＵＴ0．．．、ＩＮＰＵＴNは、それぞれ、ビット線ＢＬ0、．．．ＢＬNで受信され、出力ＯＵＴＰＵＴ1、ＯＵＴＰＵＴ2、ＯＵＴＰＵＴ3、及びＯＵＴＰＵＴ4は、それぞれ、ソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3で生成される。
図２３は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２３００を示す。この例では、入力ＩＮＰＵＴ0、ＩＮＰＵＴ1、ＩＮＰＵＴ2、及びＩＮＰＵＴ3は、それぞれ、ソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3で受信され、出力ＯＵＴＰＵＴ0、．．．ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNで生成される。
図２４は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２４００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、それぞれ、ワード線ＷＬ0、．．．、ＷＬMで受信され、出力ＯＵＴＰＵＴ0、．．．ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNで生成される。
図２５は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２５００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、それぞれ、ワード線ＷＬ0、．．．、ＷＬMで受信され、出力ＯＵＴＰＵＴ0、．．．ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNで生成される。
図２６は、図４に示されるメモリセル４１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２６００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴnが、それぞれ、垂直制御ゲート線ＣＧ0、．．．、ＣＧNに受信され、出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2がソース線ＳＬ0及びＳＬ1に生成される。
図２７は、図４に示されるメモリセル４１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２７００を示す。この例では、それぞれ、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴNは、それぞれ、ビット線ＢＬ0、．．．、ＢＬNに結合されているビット線制御ゲート２７０１－１、２７０１－２、．．．、２７０１－（Ｎ－１）及び２７０１－Ｎのゲートに受信される。例示的な出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2が、ソース線ＳＬ0及びＳＬ1に生成される。
図２８は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２８００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、それぞれ、ワード線ＷＬ0、．．．、ＷＬMに受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNに生成される。
図２９は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ２９００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、制御ゲート線ＣＧ0、．．．、ＣＧMに受信される。出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、それぞれ、垂直ソース線ＳＬ0、．．．、ＳＬNに生成され、各ソース線ＳＬiは、列ｉ内の全てのメモリセルのソース線に結合されている。
図３０は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ３０００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、制御ゲート線ＣＧ0、．．．、ＣＧMに受信される。出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、それぞれ、垂直ビット線ＢＬ0、．．．、ＢＬNに生成され、各ビット線ＢＬiは、列ｉ内の全てのメモリセルのビット線に結合されている。
長・短期メモリ
先行技術は、長・短期メモリ（long short-term memory、ＬＳＴＭ）として知られる概念を含む。ＬＳＴＭユニットは、しばしば、ニューラルネットワーク内で使用される。ＬＳＴＭによって、ニューラルネットワークは所定の任意の期間にわたって情報を記憶し、後続の動作においてその情報を使用することができる。従来のＬＳＴＭユニットは、セル、入力ゲート、出力ゲート、及び忘却ゲートを含む。３つのゲートは、セル内及びセル外への情報の流れ、及び情報がＬＳＴＭ内で記憶される期間を調節する。ＶＭＭは、ＬＳＴＭユニットにおいて特に有用である。
図１４は、例示的なＬＳＴＭ１４００を示す。この例におけるＬＳＴＭ１４００は、セル１４０１、１４０２、１４０３及び１４０４を含む。セル１４０１は、入力ベクトルｘ0を受け取り、出力ベクトルｈ0及びセル状態ベクトルｃ0を生成する。セル１４０２は、入力ベクトルｘ1と、セル１４０１からの出力ベクトル（隠れ状態）ｈ0と、セル１４０１からのセル状態ｃ0と、を受け取り、出力ベクトルｈ1と、セル状態ベクトルｃ1と、を生成する。セル１４０３は、入力ベクトルｘ2と、セル１４０２からの出力ベクトル（隠れ状態）ｈ1と、セル１４０２からのセル状態ｃ1と、を受け取り、出力ベクトルｈ2と、セル状態ベクトルｃ2と、を生成する。セル１４０４は、入力ベクトルｘ3と、セル１４０３からの出力ベクトル（隠れ状態）ｈ2と、セル１４０３からのセル状態ｃ2と、を受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＬＳＴＭは、単なる例である。
図１５は、図１４のセル１４０１、１４０２、１４０３、及び１４０４に使用可能なＬＳＴＭセル１５００の例示的な実装を示す。ＬＳＴＭセル１５００は、入力ベクトルｘ（ｔ）と、先行するセルからのセル状態ベクトルｃ（ｔ－１）と、先行するセルからの出力ベクトルｈ（ｔ－１）と、を受け取り、セル状態ベクトルｃ（ｔ）及び出力ベクトルｈ（ｔ）を生成する。
ＬＳＴＭセル１５００は、シグモイド関数デバイス１５０１、１５０２、及び１５０３を含み、それらの各々が０～１の数を適用して、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。ＬＳＴＭセル１５００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス１５０４及び１５０５と、２つのベクトルを乗算するための乗算器デバイス１５０６、１５０７、及び１５０８と、２つのベクトルを加算するための加算器デバイス１５０９と、を含む。出力ベクトルｈ（ｔ）は、システム内の次のＬＳＴＭセルに提供することができるか、又は他の目的のためにアクセスすることができる。
図１６は、ＬＳＴＭセル１５００の一実装の一例であるＬＳＴＭセル１６００を示す。読者の便宜のために、ＬＳＴＭセル１５００からの同じ採番方法が、ＬＳＴＭセル１６００で使用される。シグモイド関数デバイス１５０１、１５０２、及び１５０３、並びにｔａｎｈデバイス１５０４は各々、複数のＶＭＭアレイ１６０１及び活性化関数ブロック１６０２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＬＳＴＭセルにおいて特に有用であることが分かる。乗算器デバイス１５０６、１５０７、及び１５０８、並びに加算器デバイス１５０９は、デジタル方式又はアナログ方式で実装される。活性化関数ブロック１６０２は、デジタル方式、又はアナログ方式で実装され得る。
ＬＳＴＭセル１６００の代替例（及びＬＳＴＭセル１５００の一実装の別の例）を図１７に示す。図１７では、シグモイド関数デバイス１５０１、１５０２及び１５０３、並びにｔａｎｈデバイス１５０４は、同じ物理ハードウェア（ＶＭＭアレイ１７０１及び活性化関数ブロック１７０２）を、時分割多重化された方式で共有する。ＬＳＴＭセル１７００はまた、２つのベクトルを乗算するための乗算器デバイス１７０３と、２つのベクトルを加算するための加算器デバイス１７０８と、（活性化関数ブロック１７０２を含む）ｔａｎｈデバイス１５０５と、値ｉ（ｔ）を、ｉ（ｔ）がシグモイド関数ブロック１７０２から出力されるときに記憶するためのレジスタ１７０７と、値ｆ（ｔ）*ｃ（ｔ－１）を、その値がマルチプレクサ１７１０を介して乗算器デバイス１７０３から出力されるときに記憶するためのレジスタ１７０４と、値ｉ（ｔ）*ｕ（ｔ）を、その値がマルチプレクサ１７１０を介して乗算器デバイス１７０３から出力されるときに記憶するためのレジスタ１７０５と、値ｏ（ｔ）*ｃ～（ｔ）を、その値がマルチプレクサ１７１０を介して乗算器デバイス１７０３から出力されるときに記憶するためのレジスタ１７０６と、マルチプレクサ１７０９と、を含む。
ＬＳＴＭセル１６００がＶＭＭアレイ１６０１とそれぞれの活性化関数ブロック１６０２との複数のセットを含むのに対し、ＬＳＴＭセル１７００は、ＬＳＴＭセル１７００の実施形態において複数の層を表すために使用される、ＶＭＭアレイ１７０１及び活性化関数ブロック１７０２の１つのセットのみを含む。ＬＳＴＭセル１７００は、ＬＳＴＭセル１６００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／４で済むので、ＬＳＴＭセル１７００は、ＬＳＴＭ１６００より必要とするスペースが少ない。
ＬＳＴＭユニットは典型的には複数のＶＭＭアレイを含み、これらの各々は、加算器及び活性化関数ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることを更に理解することができる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。したがって、以下に記載される実施形態は、ＶＭＭアレイ自体の外側に必要とされる回路を削減する。
ゲート付き回帰型ユニット
アナログＶＭＭ実装は、ゲート付き回帰型ユニット（gated recurrent unit、ＧＲＵ）システムに利用することができる。ＧＲＵは、反復ニューラルネットワーク内のゲート機構である。ＧＲＵは、ＧＲＵセルが一般にＬＳＴＭセルよりも少ない構成要素を含むことを除いて、ＬＳＴＭに類似している。
図１８は、例示的なＧＲＵ１８００を示す。この例におけるＧＲＵ１８００は、セル１８０１、１８０２、１８０３及び１８０４を含む。セル１８０１は、入力ベクトルｘ0を受け取り、出力ベクトルｈ0を生成する。セル１８０２は、入力ベクトルｘ1と、セル１８０１からの出力ベクトルｈ0と、を受け取り、出力ベクトルｈ1を生成する。セル１８０３は、入力ベクトルｘ2と、セル１８０２からの出力ベクトル（隠れ状態）ｈ1と、を受け取り、出力ベクトルｈ2を生成する。セル１８０４は、入力ベクトルｘ3と、セル１８０３からの出力ベクトル（隠れ状態）ｈ2と、を受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＧＲＵは、単なる例である。
図１９は、図１８のセル１８０１、１８０２、１８０３、及び１８０４に使用され得るＧＲＵセル１９００の例示的な実装を示す。ＧＲＵセル１９００は、入力ベクトルｘ（ｔ）と、先行するＧＲＵセルからの出力ベクトルｈ（ｔ－１）と、を受け取り、出力ベクトルｈ（ｔ）を生成する。ＧＲＵセル１９００は、シグモイド関数デバイス１９０１及び１９０２を含み、それらの各々が、出力ベクトルｈ（ｔ－１）及び入力ベクトルｘ（ｔ）からの成分に０～１の数を適用する。ＧＲＵセル１９００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス１９０３と、２つのベクトルを乗算するための複数の乗算器デバイス１９０４、１９０５、及び１９０６と、２つのベクトルを加算するための加算器デバイス１９０７と、１から入力を減算して出力を生成するための相補デバイス１９０８と、を含む。
図２０は、ＧＲＵセル１９００の一実装の一例であるＧＲＵセル２０００を示す。読者の便宜のために、ＧＲＵセル１９００からの同じ採番方法が、ＧＲＵセル２０００で使用される。図２０から分かるように、シグモイド関数デバイス１９０１及び１９０２、並びにｔａｎｈデバイス１９０３は各々、複数のＶＭＭアレイ２００１及び活性化関数ブロック２００２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＧＲＵセルにおいて特に使用されることが分かる。乗算器デバイス１９０４、１９０５、１９０６、加算器デバイス１９０７、及びコンプリメンタリデバイス１９０８は、デジタル方式又はアナログ方式で実装される。活性化関数ブロック２００２は、デジタル方式、又はアナログ方式で実装され得る。
ＧＲＵセル２０００の代替例（及びＧＲＵセル１９００の一実装の別の例）を図２１に示す。図２１において、ＧＲＵセル２１００は、ＶＭＭアレイ２１０１及び活性化関数ブロック２１０２を利用しており、シグモイド関数として構成された場合には、０～１の数を適用して、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。図２１では、シグモイド関数デバイス１９０１及び１９０２、並びにｔａｎｈデバイス１９０３は、同じ物理ハードウェア（ＶＭＭアレイ２１０１及び活性化関数ブロック２１０２）を、時分割多重化された方式で共有する。ＧＲＵセル２１００はまた、２つのベクトルを乗算するための乗算器デバイス２１０３と、２つのベクトルを加算するための加算器デバイス２１０５と、１から入力を減算して、出力を生成するためのコンプリメンタリデバイス２１０９と、マルチプレクサ２１０４と、値ｈ（ｔ－１）*ｒ（ｔ）を、その値がマルチプレクサ２１０４を介して乗算器デバイス２１０３から出力されるときに保持するためのレジスタ２１０６と、値ｈ（ｔ－１）*ｚ（ｔ）を、その値がマルチプレクサ２１０４を介して乗算器デバイス２１０３から出力されるときに保持するためのレジスタ２１０７と、値ｈ＾（ｔ）*（１－ｚ（（ｔ））を、その値がマルチプレクサ２１０４を介して乗算器デバイス２１０３から出力されるときに保持するためのレジスタ２１０８と、を含む。
ＧＲＵセル２０００がＶＭＭアレイ２００１及び活性化関数ブロック２００２の複数のセットを含むのに対し、ＧＲＵセル２１００は、ＧＲＵセル２１００の実施形態において複数の層を表すために使用される、ＶＭＭアレイ２１０１及び活性化関数ブロック２１０２の１つのセットのみを含む。ＧＲＵセル２１００は、ＧＲＵセル２０００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／３で済むので、ＧＲＵセル２１００は、ＧＲＵセル２０００よりも必要とするスペースが少ない。
ＧＲＵシステムは典型的には複数のＶＭＭアレイを含み、これらの各々は、加算器及び活性化関数ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることが更に理解することができる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。したがって、以下に記載される実施形態は、ＶＭＭアレイ自体の外側に必要とされる回路を削減する。
ＶＭＭアレイへの入力は、アナログレベル、バイナリレベル、パルス、時間変調パルス、又はデジタルビット（この場合、デジタルビットを適切な入力アナログレベルに変換するためにＤＡＣが必要とされる）であり、出力は、アナログレベル、バイナリレベル、タイミングパルス、パルス、又はデジタルビット（この場合、出力アナログレベルをデジタルビットに変換するために出力ＡＤＣが必要とされる）であり得る。
ＶＭＭアレイ内の各メモリセルに関して、各重みＷは、単一のメモリセルによって、又は差動セルによって、又は２つのブレンドメモリセル（２つのセルの平均）によって実装することができる。差分セルの場合では、重みＷを差分重み（Ｗ＝Ｗ＋－Ｗ－）として実装するために、２つのメモリセルが必要とされる。２つのブレンドメモリセルの場合は、２つのセルの平均として重みＷを実装するために２つのメモリセルが必要とされる。
図３１は、ＶＭＭシステム３１００を示す。いくつかの実施形態では、ＶＭＭアレイに記憶された重みＷは、差動対、Ｗ＋（正の重み）及びＷ－（負の重み）、として記憶され、式中Ｗ＝（Ｗ＋）－（Ｗ－）である。ＶＭＭシステム３１００において、ビット線の半分はＷ＋線として指定され、すなわち、正の重みＷ＋を記憶するメモリセルに接続するビット線であり、ビット線の他の半分はＷ－線として指定され、すなわち、負の重みＷ－を実装するメモリセルに接続するビット線である。Ｗ－線は、Ｗ＋線の間に交互に散在される。減算演算は、加算回路３１０１及び３１０２のような、Ｗ＋線及びＷ－線から電流を受け取る加算回路によって実行される。Ｗ＋線の出力及びＷ－線の出力を一緒に組み合わせて、（Ｗ＋、Ｗ－）線の全ての対の（Ｗ＋、Ｗ－）セルの各対に対して効果的にＷ＝Ｗ＋－Ｗ－を与える。これまでＷ＋線間に交互に散在するＷ－線に関して説明してきたが、他の実施形態では、Ｗ＋線及びＷ－線は、アレイ内のどこにでも任意に配置され得る。
図３２は、別の実施形態を示す。ＶＭＭシステム３２１０において、正の重みＷ＋は第１のアレイ３２１１に実装され、負の重みＷ－は第２のアレイ３２１２内に実装され、第２のアレイ３２１２は第１のアレイとは別個であり、結果として生じる重みは、加算回路３２１３によって適切に一緒に組み合わされる。
図３３は、ＶＭＭシステム３３００を示す。ＶＭＭアレイに記憶された重みＷは、差動対、Ｗ＋（正の重み）及びＷ－（負の重み）として記憶され、式中、Ｗ＝（Ｗ＋）－（Ｗ－）である。ＶＭＭシステム３３００は、アレイ３３０１及びアレイ３３０２を備える。アレイ３３０１及び３３０２の各々におけるビット線の半分は、Ｗ＋線として指定され、すなわち、正の重みＷ＋を記憶するメモリセルに接続するビット線であり、アレイ３３０１及び３３０２の各々におけるビット線の他の半分はＷ－線として指定され、すなわち、負の重みＷ－を実装するメモリセルに接続するビット線である。Ｗ－線は、Ｗ＋線の間に交互に散在される。減算演算は、加算回路３３０３、３３０４、３３０５及び３３０６のような、Ｗ＋線及びＷ－線から電流を受け取る加算回路によって実行される。各アレイ３３０１、３３０２からのＷ＋線の出力及びＷ－線の出力をそれぞれ一緒に組み合わせて、（Ｗ＋、Ｗ－）線の全ての対の（Ｗ＋、Ｗ－）セルの各対に対して効果的にＷ＝Ｗ＋－Ｗ－を与える。加えて、各アレイ３３０１及び３３０２からのＷ値は、各Ｗ値がアレイ３３０１からのＷ値からアレイ３３０２からのＷ値を引いた結果であり、加算回路３３０７及び３３０８からの最終結果が２つの差分値のうちの１つの差分値であることを意味するように、加算回路３３０７及び３３０８を介して更に組み合わされ得る。
アナログニューラルメモリシステムに使用される各不揮発性メモリセルは、消去・プログラムに対応して、浮遊ゲート内に電荷、すなわち電子の数、を非常に具体的かつ精確な量で保持する。例えば、各浮遊ゲートはＮ個の異なる値のうちの１つを保持しなければならず、ここで、Ｎは、各セルによって示され得る異なる重みの数である。Ｎの例としては、１６、３２、６４、１２８及び２５６が挙げられる。
同様に、読み出し動作は、Ｎ個の異なるレベル間を正確に識別することができなければならない。
ＶＭＭシステムにおいて、アレイからの出力を迅速かつ正確に受け取り、それらの出力によって表される値を識別することができる改善された出力ブロックが必要とされている。
深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の出力回路のための多数の実施形態が開示される。
人工ニューラルネットワークを例解する図である。 先行技術のスプリットゲートフラッシュメモリセルを示す。 別の先行技術のスプリットゲートフラッシュメモリセルを示す。 別の先行技術のスプリットゲートフラッシュメモリセルを示す。 別の先行技術のスプリットゲートフラッシュメモリセルを示す。 １つ以上の不揮発性メモリアレイを利用する例示的な人工ニューラルネットワークの様々なレベルを例解する図である。 ベクトルマトリックス乗算システムを例解するブロック図である。 １つ以上のベクトルマトリックス乗算システムを利用する例示的な人工ニューラルネットワークを例解するブロック図である。 ベクトルマトリックス乗算システムの別の実施形態を示す。 ベクトルマトリックス乗算システムの別の実施形態を示す。 ベクトルマトリックス乗算システムの別の実施形態を示す。 ベクトルマトリックス乗算システムの別の実施形態を示す。 ベクトルマトリックス乗算システムの別の実施形態を示す。 先行技術の長・短期メモリシステムを示す。 長・短期メモリシステムで使用する例示的なセルを示す。 図１５の例示的なセルの一実施形態を示す。 図１５の例示的なセルの別の実施形態を示す。 先行技術のゲート付き回帰型ユニットシステムを示す。 ゲート付き回帰型ユニットシステムでの使用のための例示的なセルを示す。 図１９の例示的なセルの一実施形態を示す。 図１９の例示的なセルの別の実施形態を示す。 ベクトルマトリックス乗算システムの別の実施形態を示す。 ベクトルマトリックス乗算システムの別の実施形態を示す。 ベクトルマトリックス乗算システムの別の実施形態を示す。 ベクトルマトリックス乗算システムの別の実施形態を示す。 ベクトルマトリックス乗算システムの別の実施形態を示す。 ベクトルマトリックス乗算システムの別の実施形態を示す。 ベクトルマトリックス乗算システムの別の実施形態を示す。 ベクトルマトリックス乗算システムの別の実施形態を示す。 ベクトルマトリックス乗算システムの別の実施形態を示す。 ベクトルマトリックス乗算システムの別の実施形態を示す。 ベクトルマトリックス乗算システムの別の実施形態を示す。 ベクトルマトリックス乗算システムの別の実施形態を示す。 ベクトルマトリックス乗算システムの別の実施形態を示す。 出力ブロックの実施形態を示す。 出力ブロックの実施形態を示す。 出力ブロックの実施形態を示す。 出力ブロックの実施形態を示す。 出力ブロックの実施形態を示す。 出力ブロックの実施形態を示す。 出力回路の別の実施形態を示す。 出力ブロックの別の実施形態を示す。 出力ブロックの別の実施形態を示す。 出力ブロックの別の実施形態を示す。 出力ブロックの別の実施形態を示す。 可変抵抗器レプリカを示す。 電流－電圧変換器の一実施形態を示す。 差動出力増幅器を示す。 オフセット較正方法を示す。 別のオフセット較正方法を示す。
本発明の人工ニューラルネットワークは、ＣＭＯＳ技術及び不揮発性メモリアレイの組み合わせを利用する。
ＶＭＭシステムの概要
図３４は、ＶＭＭシステム３４００のブロック図を示す。ＶＭＭシステム３４００は、ＶＭＭアレイ３４０１、行デコーダ３４０２、高電圧デコーダ３４０３、列デコーダ３４０４、ビット線ドライバ３４０５、入力回路３４０６、出力回路３４０７、制御論理３４０８、及びバイアス生成器３４０９を備える。ＶＭＭシステム３４００は、チャージポンプ３４１１、チャージポンプレギュレータ３４１２、及び高電圧アナログ精度レベル生成器３４１３を含む、高電圧生成ブロック３４１０を更に備える。ＶＭＭシステム３４００は、（プログラム／消去、又は重み調整）アルゴリズムコントローラ３４１４、アナログ回路３４１５、制御エンジン３４１６（限定するものではないが、算術機能、起動機能、埋め込みマイクロコントローラ論理などの特殊機能を含み得る）、及びテスト制御論理３４１７を更に備える。以下に記載されるシステム及び方法は、ＶＭＭシステム３４００に実装され得る。
入力回路３４０６は、ＤＡＣ（digital to analog converter、デジタル－アナログ変換器）、ＤＰＣ（digital to pulses converter、デジタル－パルス変換器、digital to time modulated pulse converter、デジタル－時間変調パルス変換器）、ＡＡＣ（analog to analog converter、電流－電圧変換器、対数変換器などのアナログ－アナログ変換器）、ＰＡＣ（pulse to analog level converter、パルス－アナログレベル変換器）、又は任意の他の種類の変換器などの回路を含み得る。入力回路３４０６は、正規化、線形若しくは非線形アップ／ダウンスケーリング関数、又は算術関数を実装し得る。入力回路３４０６は、入力レベルのための温度補償関数を実装し得る。入力回路３４０６は、ＲｅＬＵ又はシグモイドなどの活性化関数を実装し得る。出力回路３４０７は、ＡＤＣ（analog to digital converter、ニューロンアナログ出力をデジタルビットに変換するための、アナログ－デジタル変換器）、ＡＡＣ（analog to analog converter、電流－電圧変換器、対数変換器などのアナログ－アナログ変換器）、ＡＰＣ（analog to pulses converter、アナログ－パルス変換器、analog to time modulated pulse converter、アナログ－時間変調パルス変換器）、又は任意の他の種類の変換器などの回路を含み得る。
出力回路３４０７は、整流化線形活性関数（rectified linear activation function、ＲｅＬＵ）又はシグモイドなどの活性化関数を実装し得る。出力回路３４０７は、ニューロン出力の統計的正規化、正則化、アップ／ダウンスケーリング／ゲイン関数、統計的丸め、又は算術関数（例えば、加算、減算、除算、乗算、シフト、ログ）を実装し得る。出力回路３４０７は、アレイの電力消費をほぼ一定に保つために、又はＩＶの傾斜をほぼ同じに保つことになどによってアレイ（ニューロン）出力の精度を高めるために、ニューロン出力又はアレイ出力（ビット線出力など）のための温度補償関数を実装し得る。
図３５Ａは、出力ブロック３５００を示す。出力ブロック３５００は、電流－電圧変換器（差動入力及び差動出力を有するＩＴＶ、current-to-voltage converter）３５０１－１～３５０１－ｉ（ｉは、出力ブロック３５００が受け取るビット線Ｗ＋及びＷ－の対の数である）と、マルチプレクサ３５０２と、サンプルホールド回路３５０３－１～３５０３－ｋと、チャネルマルチプレクサ３５０４と、差動入力アナログーデジタル変換器（ＡＤＣ）３５０５と、を含む。出力ブロック３５００は、アレイ内のビット線対から差動重み出力Ｗ＋及びＷ－を受け取り、最終的に、ＡＤＣ３５０５（差動入力を有するＡＤＣ）からのビット線対（例えば、Ｗ＋線及びＷ－線）のうちの１つの出力を表すデジタル出力、ＤＯＵＴｘを生成する。
電流－電圧（ＩＴＶ）変換器３５０１－１～３５０１－ｉは、各々アナログビット線電流信号ＢＬｗ＋及びＢＬｗ－（それぞれ、入力並びに記憶されたＷ＋重み及びＷ－重みに応答して生成されるビット線出力である）を受け取り、それらをそれぞれの差動電圧ＩＴＶＯ＋及びＩＴＶＯ－に変換する。
次いで、差動電圧ＩＴＶＯ＋及びＩＴＶＯ－はマルチプレクサ３５０２によって受け取られ、このマルチプレクサは、電流－電圧変換器３５０１－１～３５０１－ｉからの出力をサンプルホールド（sample and hold、Ｓ／Ｈ）回路３５０３－１～３５０３ｋに時分割多重化し、ここで、ｋはｉと同じであるか又は異なり得る。
Ｓ／Ｈ回路３５０３－１～３５０３－ｋは各々、その受け取った差動電圧をサンプリングし、それらを差動出力として保持する。
チャネルマルチプレクサ３５０４は、制御信号を受信して、ビット線Ｗ＋チャネル及びＷ－チャネルのうちの１つ、すなわち、ビット線対のうちの１つを選択し、それぞれのサンプルホールド回路３５０３によって保持された差動電圧をＡＤＣ３５０５に出力し、このＡＤＣは、それぞれのサンプルホールド回路３５０３によって出力されたアナログ差動電圧を１組のデジタルビット、ＤＯＵＴｘに変換する。単一のＳ／Ｈ ３５０３は、複数のＩＴＶ変換器３５０１にわたって共有され得る。ＡＤＣ３５０５は、時間多重化方式で複数のＩＴＶ変換器に対して動作し得る。各Ｓ／Ｈ３５０３は、単なるコンデンサであるか又はバッファ（例えば、演算増幅器）が後続するコンデンサであり得る。
ＩＴＶ変換器３５０１は、図４０の電流－電圧変換器４０００と組み合わされた、それぞれ、図３７Ａ、図３７Ｂ、図３８Ａ、及び図３８Ｂからの出力電流ニューロン回路３７００、３７５０、３８００、又は３８２０を備え得る。そのようなインスタンスでは、ＩＴＶ変換器３５０１への入力は、２つの電流入力（図３５Ａ～図３５Ｅ、図３７Ａ、図３７Ｂ、図３８Ａ、又は図３８ＢのＢＬＷ＋及びＢＬＷ－など）であり、ＩＴＶ変換器の出力は、差動出力（図４０のＶＯＰ及びＶＯＮ、又は図３５Ａ～図３５ＤのＩＴＶＯ＋及びＩＴＶＯ－など）である。
ＡＤＣ３５０５は、ハイブリッドＡＤＣアーキテクチャとすることができ、これは、変換を実行するために２つ以上のＡＤＣアーキテクチャを有することを意味する。例えば、ＤＯＵＴｘが８ビット出力である場合、ＡＤＣ３５０５は、ビットＢ７～Ｂ４を生成するためのＡＤＣサブアーキテクチャと、差動入力ＩＴＶＳＨ＋及びＩＴＶＳＨ－からビットＢ３～Ｂ０を生成するための別のＡＤＣサブアーキテクチャと、を含み得る。すなわち、ＡＤＣ回路３５０５は、複数のＡＤＣサブアーキテクチャを含み得る。
任意選択で、あるＡＤＣサブアーキテクチャは、全てのチャネル間で共有され得るが、別のＡＤＣサブアーキテクチャは、全てのチャネル間で共有されない。
別の実施形態では、チャネルマルチプレクサ３５０４及びＡＤＣ３５０５は除去され得、代わりに、出力は、演算増幅器によってバッファリングされ得る、Ｓ／Ｈ３５０３からのアナログ差動電圧であり得る。例えば、アナログ電圧の使用は、全アナログニューラルネットワーク（すなわち、ニューラルメモリアレイのためにデジタル出力又はデジタル入力が必要とされないもの）において実装され得る。
図３５Ｂは、出力ブロック３５５０を示す。出力ブロックは、電流－電圧変換器（ＩＴＶ）３５５１－１～３５５１－ｉ（ｉは、出力ブロック３５５０が受け取るビット線Ｗ＋及びＷ－の対の数である）と、マルチプレクサ３５５２と、差動－シングルエンド変換器Ｄｉｆｆ－ｔｏ－Ｓ変換器３５５３－１～３５５３－ｋと、サンプルホールド回路３５５４－１～３５５４－ｋ（ｋは、ｉと同じか又は異なる）と、チャネルマルチプレクサ３５５５と、アナログ－デジタル変換器（ＡＤＣ）３５５６と、を含む。Ｄｉｆｆ－ｔｏ－Ｓ変換器３５５３は、ｍｕｘ３５５２によって提供されたＩＴＶ３５５１信号からの差動出力、すなわちＩＴＶＯＭＸ＋及びＩＴＶＯＭＸ－をシングルエンド出力ＩＴＶＳＯＭＸ＋に変換するために使用される。シングルエンド出力ＩＴＶＳＯＭＸ＋は、次いで、Ｓ／Ｈ３５５４、マルチプレクサ３５５５、及びＡＤＣ３５５６に入力される。
図３５Ｃは、出力ブロック３５６０を示す。出力ブロック３５６０は、電流－電圧変換器（ＩＴＶ）３５６１－１～３５６１－ｉ（ｉは、出力ブロック３５６０が受け取るビット線Ｗ＋及びＷ－の対の数である）と、差動入力アナログ－デジタル変換器（ＡＤＣ）３５６６－１～３５６６－ｉと、を備える。
図３５Ｄは、出力ブロック３５７０を示す。出力ブロック３５７０は、電流－電圧変換器（ＩＴＶ）３５７１－１～３５７１－ｉ（ｉは、出力ブロック３５７０が受け取るビット線Ｗ＋及びＷ－の対の数である）と、単一入力アナログ－デジタル変換器（ＡＤＣ）３５７６－１～３５７６－ｉと、を備える。この場合、差動出力ＩＴＶの１つの出力のみが使用され、ＩＴＶは、差動入力及び単一出力で使用される。
図３５Ｅは、出力ブロック３５８０を示す。出力ブロック３５８０は、電流－電圧変換器（ＩＴＶ）３５８１－１～３５８１－ｉ（ｉは、出力ブロック３５８０が受け取るビット線Ｗ＋及びＷ－の対の数である）と、差動入力アナログ－デジタル変換器（ＡＤＣ）３５８６－１～３５８６－ｉと、を備える。ＩＴＶブロック３５８１－１～３５８１－ｉは、それぞれ、コモンモード入力回路３５８２－１～３５８２－ｉと、それぞれ、差動演算増幅器３５８３－１～３５８３－Ｉと、を備え、フィードバックは、それぞれ、可変抵抗器３５８４－１～３５８４－ｉ及び３５８５－１～３５８５－ｉによって提供される。
図３５Ｆは、図３５Ｅのコモンモード入力回路３５８２－１～３５８２－ｉのために使用され得る出力ブロック３５９０を示す。出力ブロック３５９１は、２つの電流入力ＢＬｗ＋及びＢＬｗ－に接続された２つの等しい可変電流源Ｉｂｉａｓ＋及びＩｂｉａｓ－を備える。
図３６は、出力ブロック３６００を示す。出力ブロックは、加算回路３６０１－１～３６０１－ｉ（カレントミラー回路など）であって、ｉは、出力ブロック３６００が受け取るビット線ＢＬｗ＋及びＢＬｗ－の対の数である、加算回路３６０１－１～３６０１－ｉと、電流－電圧変換器回路（ＩＴＶ）３６０２－１～３６０２－ｉと、マルチプレクサ３６０３と、サンプルホールド回路３６０４－１～３６０４－ｋと（ｋはｉと同じであるか又は異なる）、チャネルマルチプレクサ３６０５と、ＡＤＣ３６０６と、を含む。出力ブロック３６００は、アレイ内のビット線対から差動重み出力ＢＬｗ＋及びＢＬｗ－を受け取り、最終的に、一度にビット線対のうちの１つの出力を表す、ＡＤＣ３６０６からのデジタル出力、ＤＯＵＴｘを生成する。
電流加算回路３６０１－１～３６０１－ｉは、各々、ビット線対から電流を受け取り、ＢＬｗ＋からＢＬｗ－値を減算し、その結果を加算電流ＩＷＯとして出力する。
電流－電圧変換器３６０２－１～３６０２－ｉは、出力加算電流ＩＷＯを受け取り、それぞれの加算電流を差動電圧ＩＴＶＯ＋及びＩＴＶＯ－に変換し、次いで、差動電圧は、マルチプレクサ３６０３によって受け取られ、サンプルホールド回路３６０４－１～３６０４－ｋに選択的に提供される。差動電圧は、差動入力ＡＤＣ（ブロック３６０６）によってデジタル化される（デジタル出力ビットに変換される）ことになり、これは、（クロックフィードスルーなどからの）入力雑音低減及び（ＳＡＲ ＡＤＣにおけるような）より正確な比較動作などの様々な利点を有する。
各サンプルホールド回路３６０４は、差動電圧ＩＴＶＯＭＸ＋及びＩＴＶＯＭＸ－を受け取り、受け取った差動電圧をサンプリングし、それらを差動電圧出力ＯＳＨ＋及びＰＳＨ－として保持する。
チャネルマルチプレクサ３６０５は、ビット線対のうちの１つ、すなわち、チャネルＢＬｗ＋及びＢＬｗ－を選択するための制御信号を受信し、それぞれのサンプルホールド回路３６０４によって保持された電圧を差動入力ＡＤＣ３６０６に出力し、ＡＤＣ３６０６は、電圧をＤＯＵＴｘとして１組のデジタルビットに変換する。
図３７Ａは、図３５の出力ブロック３５００又は図３６の出力ブロック３６００に任意選択で含まれ得る出力電流ニューロン回路３７００を示す。
出力電流ニューロン回路３７００は、第１の可変電流源３７０１と、第２の可変電流源３７０２と、バイアス回路３７０３と、を備える。バイアス回路３７０３は、ＢＬＷ＋とＶＲＥＦ又はＢＬＷ－とＶＲＥＦとの比較に基づいて制御電圧Ｖｂｉａｓを生成する。第１の可変電流源３７０１は、制御電圧Ｖｂｉａｓによって変化する出力電流Ｉｂｉａｓ＋を生成し（すなわち、出力電流Ｉｂｉａｓ＋の量はＶｂｉａｓの値に応答する）、第１のビット線ＢＬＷ＋に結合される。第２の可変電流源３７０２は、Ｖｂｉａｓによって変化する出力電流Ｉｂｉａｓ－を生成し（すなわち、出力電流Ｉｂｉａｓ－の量はＶｂｉａｓの値に応答する）、第２のビット線ＢＬＷ－に結合される。ＢＬＷ＋は、列デコーダ（図示せず）によって選択され、読み出し動作中にＷ＋値を記憶するセルから第１の電流を受け取り、ＢＬＷ－は、列デコーダによって選択され、読み出し動作中にＷ－値を記憶するセルから第２の電流を受け取る。Ｗ＋値及び関連するＷ－値は、重み値Ｗを表す。電流源３７０１及び３７０２の出力Ｉｂｉａｓ＋及びＩｂｉａｓ－は、任意の所与の時間において同一である。
ＶＲＥＦは、入力コモンモード電圧として適用され、Ｖｂｉａｓ電圧を生成して、可変電流源３７０１及び３７０２を制御し、コモンモード電圧をＢＬＷ＋及びＢＬＷ－に適用し、入力コモンモード電圧は、読み出し動作中にビット線上の基準読み出し電圧として作用する。出力電流ニューロン回路３７００の出力はＩｏｕｔ＋及びＩｏｕｔ－であり、これらは、差動信号を形成する。Ｉｏｕｔ＋は、Ｖｂｉａｓが適用されてＩｂｉａｓ＋を生成した後のビット線ＢＬＷ＋からの出力電流であり、Ｉｏｕｔ－は、Ｖｂｉａｓが適用されてＩｂｉａｓ－を生成した後のビット線ＢＬＷ－からの出力電流であり、ここで、Ｉｏｕｔ＋＝Ｉｂｉａｓ＋－ＩＢＬＷ＋であり、Ｉｏｕｔ－＝Ｉｂｉａｓ－－ＩＢＬＷ－である。
図３７Ｂは、ＰＭＯＳトランジスタ３７１１及び３７１２を使用する可変電流源３７０１及び３７０２の一実施形態を示す出力電流ニューロン回路３７５０を示す。
図３８Ａは、図３５の出力ブロック３５００、図３５Ｂの出力ブロック３５５０、又は図３６の出力ブロック３６００に任意選択で含まれ得る出力電流ニューロン回路３８００を示す。
出力電流ニューロン回路３８００は、第１の端部及び第２の端部を備える第１の可変抵抗器３８０１（第１のデバイス）であって、第２の端部は、読み出し動作中に選択されるビット線ＢＬＷ＋に結合される、第１の可変抵抗器と、第３の端部及び第４の端部を備える第２の可変抵抗器３８０２（第２のデバイス）であって、ビット線ＢＬＷ－に結合された第４の端部が、読み出し動作中に選択され、ＢＬＷ＋が、Ｗ＋値を記憶するメモリアレイ内のセルに接続され、ＢＬＷ－が、関連するＷ－を記憶するメモリアレイ内のセルに接続される、第２の可変抵抗器と、可変電流源３８０３と、値がＢＬＷ＋（又は代替的にＢＬＷ－）とＶＲＥＦとの間の差を表すバイアス電圧Ｖｂｉａｓを生成するバイアス回路オペアンプ３８０４と、を備える。第１の可変抵抗器３８０１の第１の端部及び第２の可変抵抗器３８０２の第３の端部は、可変電流源３８０３に結合される。
ＶＲＥＦは、可変電流源３８０３に適用されるＶｂｉａｓ電圧を生成して、入力コモンモード電圧をビット線ＢＬＷ＋及びＢＬＷ－に適用するために使用され、入力コモンモード電圧は、読み出し動作中にビット線上の読み出し基準電圧として作用する。出力電流ニューロン回路３８００の出力は、第１の可変抵抗器３８０１からのＩｏｕｔ＋（第１の出力電流）及び第２の可変抵抗器３８０２からのＩｏｕｔ－（第２の出力電流）であり、これらは、差動電流信号を形成する。Ｉｏｕｔ＋は、Ｖｂｉａｓが適用されてＩｂｉａｓを生成した後のビット線ＢＬＷ＋からの出力電流であり、Ｉｏｕｔ－は、Ｖｂｉａｓが適用されてＩｂｉａｓを生成した後のビット線ＢＬＷ－からの出力電流であり、Ｉｏｕｔ＋＝Ｉｂｉａｓ－ＩＢＬＷ＋及びＩｏｕｔ－＝Ｉｂｉａｓ－ＩＢＬＷ－に従う。
図３８Ｂは、図３５の出力ブロック３５００、図３５Ｂの出力ブロック３５５０、ブロック、又は図３６の出力ブロック３６００に任意選択で含まれ得る出力電流ニューロン回路３８２０を示す。この回路は、オペアンプ３８０４の出力が２つの可変抵抗器３８０１及び３８０２の２つの端子に直接駆動されることを除いて、図３８Ａの回路と同様である。
図３９は、図３８の可変抵抗器３８０１及び／又は可変抵抗器３８０２の代わりに任意選択で使用され得る可変抵抗器レプリカ３９００を示す。可変抵抗器レプリカ３９００は、ＮＭＯＳトランジスタ３９０１を備える。ＮＭＯＳトランジスタ３９０１の１つの端子は、バイアス回路３８０４に結合される。ＮＭＯＳトランジスタ３９０１の別の端子は、ＢＬＷ＋又はＢＬＷ－のいずれかに結合される。ＮＭＯＳトランジスタ３９０１のゲートは、ＮＭＯＳトランジスタ３９０１によって提供される抵抗を調整する制御信号ＶＧＣを生成する比較器３９０２に結合される。したがって、ＮＭＯＳ３９０１の抵抗は、＝ＶＲＥＦ／ＩＢＩＡＳである。ＶＲＥＦ又はＩＢＩＡＳを変化させることによって、ＮＭＯＳ３９０１の等価抵抗を変化させることができる。
図４０は、図３５Ａの電流－電圧変換器３５０１、図３５Ｂの電流－電圧変換器３５１１、又は図３６の電流－電圧変換器３６０２に使用され得る電流－電圧変換器４０００を示す。
電流－電圧変換器４０００は、示されるように構成されて、差動増幅器４００１と、可変積分抵抗器４００２及び４００３と、制御スイッチ４００４、４００５、４００６、及び４００７と、可変サンプルホールドコンデンサ４００８及び４００９と、を含む。
電流－電圧コンバータ４０００は、差動電流ＩＯＵＴ＋及びＩＯＵＴ－及び出力電圧ＶＯＰ及びＶＯＮを受け取る。出力電圧ＶＯＰ＝ＩＯＵＴ＋*Ｒ及び出力電圧ＶＯＮ＝ＩＯＵＴ－*Ｒであり、抵抗器４００２及び４００３は、各々がＲに等しい値を有する。出力ニューロンのスケーリングは、抵抗器４００２及び４００３の値の変化によって提供される。例えば、抵抗器４００２及び４００４は、各々が、抵抗器レプリカ回路３９００によって提供され得る。コンデンサ４００８及び４００９は、ホールドＳ／Ｈコンデンサとして機能し、抵抗器４００２及び４００３並びに入力電流が遮断されると出力電圧を保持する。制御回路（図示せず）は、スイッチ４００４、４００５、４００６、及び４００７の開閉を制御して、積分時間を提供する。
動作の別のモードでは、可変コンデンサ４００８及び４００９は、差動出力電流ＩＯＵＴ＋及びＩＯＵＴ－を積分するために使用される。この場合、抵抗器４００２及び４００３は無効にされる（使用されない）。したがって、出力電圧ＶＯＰは、Ｉｏｕｔ＋*Ｔｉｍｅ／Ｃに比例し、出力電圧ＶＯＮは、Ｉｏｕｔ－*Ｔｉｍｅ／Ｃに比例する。値Ｔｉｍｅは、パルス４０１０ Ｔのパルス幅によって制御される。Ｃ値は、コンデンサ４００８及び４００９によって提供される。次いで、出力ニューロン値のスケーリングは、この例では、パルス幅Ｔの変化又はコンデンサ４００８及び４００９のコンデンサ値の変化によって提供される。
差動電流ＩＯＵＴ＋及びＩＯＵＴ－は、第１のビット線電流ＢＬＷ＋及び第２のビット線電流ＢＬＷ－から導出される。ＩＯＵＴ＋及びＩＯＵＴ－は、相補的な値（一方が正で他方が負であり、同じ大きさ）を有する。ＩＯＵＴ＋＝（（ＢＬＷ－の電流）－（ＢＬＷ＋の電流））／２であり、ＩＯＵＴ－＝（（ＢＬＷ＋の電流）－（ＢＬＷ－の電流））／２である。例えば、ＢＬＷ＋の電流が１μａであり、ＢＬＷ－の電流が３１μａである場合、Ｉｏｕｔ＋＝（３１μＡ－１μＡ）／２＝１５μＡであり、Ｉｏｕｔ－＝－１５μＡである。
図４１は、図３５Ａの出力ブロック３５００、図３５Ｂの出力ブロック３５５０、又は図３６の出力ブロック３６００に任意選択で含まれ得る差動増幅器４１００を示す。差動出力増幅器４１００は、示されるように構成され、ＰＭＯＳトランジスタ４１０１、４１０２、４１０３、４１０４、４１０５、４１０６、４１０７、及び４１０８、並びにＮＭＯＳトランジスタ４１０９、４１１０、４１１１、４１１２、及び４１１３を備える。差動出力増幅器４１００は、入力ＶＩＮＰ及びＶＩＮＮを受信し、出力ＶＯＵＴＰ及びＶＯＵＴＮを生成する。ＶＰＢＩＡＳは、ＰＭＯＳトランジスタ４１０２、４１０４、４１０６、及び４１０８のゲートに適用され、ＶＮＢＩＡＳは、ＮＭＯＳトランジスタ４１１１及び４１１３のゲートに適用される。ＶＩＮＰ＞ＶＩＮＮである場合、ＶＯＵＴＰはハイであり、ＶＯＵＴＮはローとなる。ＶＩＮＰ＜ＶＩＮＮである場合、ＶＯＵＴＰはローであり、ＶＯＵＴＮはハイとなる。出力コモンモードのためのコモンモードフィードバック回路は示されていない。
図４２は、上記の出力ブロック３５００、３５５０、３５６０、３５７０、３５８０、３５９０、又は３６００などの出力ブロックのためのオフセット較正方法４２００を示す。この方法は、ＩＴＶブロック又はＡＤＣブロックなどによって、出力ブロックのサブ回路ブロック内で実行され得る。
まず、公称バイアスが入力ノードに適用される。公称バイアスは、０値又は平均値（ＢＬｗ＋及びＢＬｗ－の入力に対する目標入力範囲の平均など）などの中点オフセットトリム設定とすることができる（ステップ４２０２）。
第２に、増加したオフセットトリム設定が、（ＩＴＶ又はＡＤＣなど）出力ブロックのサブ回路ブロックのうちの１つに適用される。（ステップ４２０３）。
第３に、出力ブロック全体の新しいトリム出力値が測定され、予想出力値と比較されて、その値が公称出力値の目標値内にあるかどうかが調べられる（ステップ４２０４）。真である場合、方法は、ステップ４２０７に進む。真でない場合、ステップ４２０３及び４２０４が繰り返され、サブ回路ブロックに適用されるオフセットトリム設定は、出力ブロック全体の新しいトリム出力値が予想出力値の範囲内になるまで毎回増加し、その時点でステップ４２０７に進む。
（閾値Ｔによって設定される）所定の回数の試行の後、出力ブロック全体の新しいトリム出力値が、予想出力値としての目標内にない場合、オフセットトリム設定は、公称オフセットトリム設定に戻され、オフセットトリム設定は、公称設定から減少する（ステップ４２０５）。
出力ブロック全体の新しいトリム出力値が測定され、出力ブロック全体の予想出力値と比較されて、その値が予想出力値の目標値内にあるかどうかが調べられる（ステップ４２０６）。真である場合、方法は、ステップ４２０７に進む。真でない場合、ステップ４２０５及び４２０６が繰り返され、入力ノードに適用されるオフセットトリム設定は、新しいトリム出力値が予想出力値の目標値内になるまで毎回減少し、その時点で、ステップ４２０７に進む。
ステップ４２０７において、出力値を予想出力値の目標値内にさせたトリム値が、記憶されたトリム値として記憶される。これは、出力ブロックによる最小オフセットをもたらすトリム値である。
ステップ４２０８において、任意で、記憶されたトリム値は、全ての動作中に出力ブロックのサブ回路ブロックにバイアスとして適用される。
したがって、オフセット較正方法４２００は、出力ブロックのサブ回路ブロックをトリミングすることによって、出力ブロック全体に対してトリム動作を実行する。
図４３は、上記の出力ブロック３５００、３５５０、３５６０、３５７０、３５８０、３５９０、又は３６００などの出力ブロックのためのオフセット較正方法４３００を示す。この方法は、ＩＴＶブロック又はＡＤＣブロックなどによって、サブ回路ブロック内で実行され得る。
最初に、基準バイアスが、出力ブロックのサブ回路ブロックの入力ノード（ＢＬｗ＋及びＢＬｗ－に対する入力など）に適用される（ステップ４３０１）。
次に、出力ブロックの出力値が測定され、目標オフセット値と比較される（ステップ４３０２）。
測定された出力値＞目標オフセット値である場合、オフセットトリム値のシーケンスにおける次のオフセットトリム値が適用され（ステップ４３０３）、ステップ４３０２が繰り返される。オフセットトリムは、（ＩＴＶ又はＡＤＣなど）出力ブロックのサブ回路ブロックのうちの１つに適用される。
ステップ４３０３及びステップ４３０２が、測定された出力値≦目標オフセット値になるまで繰り返され、その時点でオフセットトリム値が、記憶される（ステップ４３０４）。これは、オフセットの許容可能なレベルをもたらすトリム値である。
任意選択で、記憶されたオフセットトリム値は、全ての動作中に出力ブロックのサブ回路ブロックにバイアスとして適用される（ステップ４３０５）。
代替的な実施形態では、図３５Ｅ又は図４０Ｂの可変抵抗器は、抵抗が等しくない。この場合、ＩＴＶからの出力電圧又は電流は抵抗値に比例する。例えば、図３５Ｅにおいて、抵抗３５８５－１は非常に大きくすることができ、その場合、２つのビット線（ＩＢＬｗ＋－ＩＢＬｗ－）からの電流の大部分は、抵抗３５８４－１を通って流れる。図３５Ｅの別の例では、抵抗３５８５－１が切断され、次いで、２つのビット線（ＩＢＬｗ＋－ＩＢＬｗ－）からの電流の全てが、抵抗３５８４－１を通って流れる。
本明細書で使用される場合、「の上方に（over）」及び「に（on）」という用語は両方とも、「に直接」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「に間接的に」（中間材料、要素、又は間隙がそれらの間に配設されている）を包括的に含むことに留意されるべきである。同様に、「隣接した」という用語は、「直接隣接した」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「間接的に隣接した」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「に取り付けられた」は、「に直接取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「に間接的に取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「電気的に結合された」は、「に直接電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にない）、及び「に間接的に電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にある）を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板に直接、中間材料／要素をそれらの間に伴わずに形成すること、及びその要素を基板に間接的に１つ以上の中間材料／要素をそれらの間に伴って形成することを含み得る。
図１１は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１１００を示す。ＶＭＭアレイ１１００は、不揮発性メモリセルのメモリアレイ１１０３と、第１の不揮発性基準メモリセルの基準アレイ１１０１と、第２の不揮発性基準メモリセルの基準アレイ１１０２と、を含む。基準アレイ１１０１及び１１０２は、ＶＭＭアレイ１１００の行方向に延びる。ＶＭＭアレイは、ＶＭＭアレイ１１００においてワード線が垂直方向に延びることを除いて、ＶＭＭ１０００と同様である。ここで、入力はワード線（ＷＬＡ０、ＷＬＢ０、ＷＬＡ１、ＷＬＢ１、ＷＬＡ２、ＷＬＢ２、ＷＬＡ３、ＷＬＢ３）に提供され、出力は、読み出し動作中にソース線（ＳＬ０、ＳＬ１）に現れる。各ソース線の電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
図１３は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１３００を示す。ＶＭＭアレイ１３００は、不揮発性メモリセルのメモリアレイ１３０３と、第１の不揮発性基準メモリセルの基準アレイ１３０１と、第２の不揮発性基準メモリセルの基準アレイ１３０２と、を備える。ＥＧ線ＥＧＲ０、ＥＧ０、ＥＧ１、及びＥＧＲ１は垂直に延び、ＣＧ線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３並びにＳＬ線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３は水平に延びる。ＶＭＭアレイ１３００は、ＶＭＭアレイ１３００が双方向チューニングを実装することを除いてＶＭＭアレイ１４００と同様であり、各個々のセルは、個別のＥＧ線の使用により、浮遊ゲートの所望の電荷量に達するために、必要に応じて完全に消去され、部分的にプログラムされ、部分的に消去され得る。示されるように、基準アレイ１３０１及び１３０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２及びＢＬＲ３における入力電流を制御ゲート電圧ＣＧ０、ＣＧ１、ＣＧ２及びＣＧ３に変換し（マルチプレクサ１３１４を介したダイオード接続された基準セルの作用を通じて）、これらの電圧は行方向でメモリセルに適用される。電流出力（ニューロン）は、ビット線ＢＬ０～ＢＬＮ中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。
次いで、差動電圧ＩＴＶＯ＋及びＩＴＶＯ－はマルチプレクサ３５０２によって受け取られ、このマルチプレクサは、電流－電圧変換器３５０１－１～３５０１－ｉからの出力をサンプルホールド（sample and hold、Ｓ／Ｈ）回路３５０３－１～３５０３－ｋに時分割多重化し、ここで、ｋはｉと同じであるか又は異なり得る。
図３５Ｅは、出力ブロック３５８０を示す。出力ブロック３５８０は、電流－電圧変換器（ＩＴＶ）３５８１－１～３５８１－ｉ（ｉは、出力ブロック３５８０が受け取るビット線Ｗ＋及びＷ－の対の数である）と、差動入力アナログ－デジタル変換器（ＡＤＣ）３５８６－１～３５８６－ｉと、を備える。ＩＴＶブロック３５８１－１～３５８１－ｉは、それぞれ、コモンモード入力回路３５８２－１～３５８２－ｉと、それぞれ、差動演算増幅器３５８３－１～３５８３－ｉと、を備え、フィードバックは、それぞれ、可変抵抗器３５８４－１～３５８４－ｉ及び３５８５－１～３５８５－ｉによって提供される。
各サンプルホールド回路３６０４は、差動電圧ＩＴＶＯＭＸ＋及びＩＴＶＯＭＸ－を受け取り、受け取った差動電圧をサンプリングし、それらを差動電圧出力ＯＳＨ＋及びＯＳＨ－として保持する。
図３７Ａは、図３５Ａの出力ブロック３５００又は図３６の出力ブロック３６００に任意選択で含まれ得る出力電流ニューロン回路３７００を示す。
図３８Ａは、図３５Ａの出力ブロック３５００、図３５Ｂの出力ブロック３５５０、又は図３６の出力ブロック３６００に任意選択で含まれ得る出力電流ニューロン回路３８００を示す。
図３８Ｂは、図３５Ａの出力ブロック３５００、図３５Ｂの出力ブロック３５５０、ブロック、又は図３６の出力ブロック３６００に任意選択で含まれ得る出力電流ニューロン回路３８２０を示す。この回路は、オペアンプ３８０４の出力が２つの可変抵抗器３８０１及び３８０２の２つの端子に直接駆動されることを除いて、図３８Ａの回路と同様である。
測定された出力値＞目標オフセット値である場合、オフセットトリム値のシーケンスにおける次のオフセットトリム値が適用され（ステップ４３０３）、ステップ４３０２が繰り返される。オフセットトリム値は、（ＩＴＶ又はＡＤＣなど）出力ブロックのサブ回路ブロックのうちの１つに適用される。

Claims (33)

  1. 出力電流ニューロン回路であって、
    メモリアレイ内のＷ＋セルに結合され、読み出し動作中に第１の電流を引き込む第１のビット線と、
    前記メモリアレイ内のＷ－セルに結合され、読み出し動作中に第２の電流を引き込む第２のビット線であって、前記Ｗ＋セルに記憶された値と前記Ｗ－セルに記憶された値との間の差が重み値Ｗである、第２のビット線と、
    コモンモードバイアス電圧を生成するバイアス回路と、
    前記コモンモードバイアス電圧に応答して、前記第１のビット線にコモンモードバイアス電流を適用して、第１の出力を生成する第１の可変電流源と、
    前記コモンモードバイアス電圧に応答して、前記第２ビット線に前記コモンモードバイアス電流を適用して、第２の出力を生成する第２可変電流源と、を備え、
    前記第１の出力は、前記コモンモードバイアス電流から前記第１の電流を減算したものに等しく、前記第２の出力は、前記コモンモードバイアス電流から前記第２の電流を減算したものに等しい、出力電流ニューロン回路。
  2. 前記第１の可変電流源は、第１のＰＭＯＳトランジスタを備える、請求項１に記載の出力電流ニューロン回路。
  3. 前記第２の可変電流源は、第２のＰＭＯＳトランジスタを備える、請求項２に記載の出力電流ニューロン回路。
  4. 出力電流ニューロン回路であって、
    電流源と、
    前記電流源に制御電圧を適用するためのバイアス回路と、
    第１の端部及び第２の端部を含み、前記第１の端部が前記電流源に結合された第１の可変抵抗器と、
    第３の端部及び第４の端部を含み、前記第３の端部が前記電流源に結合され、前記電流源が、コモンモード電圧を生成するように前記第１の可変抵抗器及び前記第２の可変抵抗器にバイアス電流を提供する、第２の可変抵抗器と、
    読み出し動作中にＷ＋セルに結合された第１のビット線と、
    前記読み出し動作中にＷ－セルに結合された第２のビット線であって、前記Ｗ＋セルに記憶された値と前記Ｗ－セルに記憶された値との間の差が重み値Ｗである、第２のビット線と、
    前記第１の可変抵抗器の前記第２の端部及び前記第１のビット線に結合されて、第１の出力電流を提供する第１の出力と、
    前記第２の可変抵抗器の前記第４の端部及び前記第２のビット線に結合されて、第２の出力電流を提供する第２の出力であって、前記第１の出力及び前記第２の出力が、コモンモード差動電流信号を形成する、第２の出力と、を備える、出力電流ニューロン回路。
  5. 前記第１の可変抵抗器がＮＭＯＳトランジスタを備え、前記ＮＭＯＳトランジスタのゲートに適用される電圧が前記ＮＭＯＳトランジスタの抵抗を決定する、請求項４に記載の回路。
  6. 前記第２の可変抵抗器がＮＭＯＳトランジスタを含み、前記ＮＭＯＳトランジスタのゲートに適用される電圧が前記ＮＭＯＳトランジスタの前記抵抗を決定する、請求項５に記載の回路。
  7. 出力電流ニューロン回路であって、
    メモリアレイから第１の電流を受け取るための第１の出力ノードと、
    メモリアレイから第２の電流を受け取るための第２の出力ノードと、
    バイアス電流を生成するバイアス回路と、
    前記バイアス電流から減算された前記第１の電流に等しい第１の出力電流を生成する第１のデバイスと、
    前記バイアス電流から減算された前記第２の電流に等しい第２の出力電流を生成する第２のデバイスと、を備える、出力電流ニューロン回路。
  8. 前記第１の出力電流が、１つ以上のＷ＋セルに結合されたビット線の読み出し動作から生成される、請求項７に記載の出力電流ニューロン回路。
  9. 前記第１の出力電流が、１つ以上のＷ－セルに結合されたビット線の読み出し動作から生成される、請求項８に記載の出力電流ニューロン回路。
  10. 出力電流ニューロン回路であって、
    メモリアレイから第１の電流を受け取るための第１の出力ノードと、
    メモリアレイから第２の電流を受け取るための第２の出力ノードと、
    バイアスノードにおいてバイアス電圧を生成するバイアス回路と、
    前記バイアスノードと前記第１の出力ノードとの間に結合された第１の可変抵抗器と、
    前記バイアスノードと前記第２の出力ノードとの間に結合された第２の可変抵抗器と、を備える、出力電流ニューロン回路。
  11. 電流－電圧変換器であって、
    Ｗ＋セルの読み出し動作中に生成された第１の電流を受け取るための第１のビット線と、
    Ｗ－セルの読み出し動作中に生成された第２の電流を受け取るための第２のビット線であって、前記Ｗ＋セルに記憶された値と前記Ｗ－セルに記憶された値との間の差が重み値Ｗである、第２のビット線と、
    前記第１の電流及び前記第２の電流を受け取り、第１の電圧出力及び第２の電圧出力を含む差動出力電圧を生成するための差動増幅器と、を備える、電流－電圧変換器。
  12. 出力ブロックであって、
    各々がビット線差動対を受け取り、差動電圧出力を生成する複数の電流－電圧変換器と、
    複数の差動入力アナログ－デジタル変換器であって、各々が、前記複数の電流－電圧変換器のうちの１つから差動電圧出力を受け取り、１組のデジタル出力ビットを生成する、複数の差動入力アナログ－デジタル変換器と、を備える、出力ブロック。
  13. 出力ブロックであって、
    各々がビット線差動対を受け取り、電圧出力を生成する複数の電流－電圧変換器と、
    複数の差動入力アナログ－デジタル変換器であって、各々が、前記複数の電流－電圧変換器のうちの１つから電圧出力を受け取り、１組のデジタル出力ビットを生成する、複数の差動入力アナログ－デジタル変換器と、を備える、出力ブロック。
  14. 出力ブロックであって、
    ビット線差動対を受信するための電流－電圧変換器であって、
    第１の入力及び第２の入力並びに第１の出力及び第２の出力を備え、前記第１の入力及び前記第２の入力が、前記ビット線差動対に結合された差動演算増幅器と、
    前記第１の入力と前記第１の出力との間に結合された第１の可変抵抗器と、
    前記第２の入力と前記第２の出力との間に結合された第２の可変抵抗器と、
    前記第１の入力と前記第２の入力との間に結合されたコモンモード入力回路と、を備える電流－電圧変換器と、
    前記第１の出力及び前記第２の出力を受け取り、１組のデジタル出力ビットを生成するための差動入力アナログ－デジタル変換器と、を備える、出力ブロック。
  15. 前記コモンモード入力回路が、前記第１の入力に結合された第１の可変電流源と、前記第２の入力に結合された第２の可変電流源と、を備え、前記第１の可変電流源及び前記第２の可変電流源が等しい電流を生成する、請求項１４に記載の出力ブロック。
  16. 出力ブロックであって、前記出力ブロックは、
    出力電流ニューロン回路であって、
    メモリアレイ内のＷ＋セルに結合され、読み出し動作中に第１の電流を引き込む第１のビット線と、
    前記メモリアレイ内のＷ－セルに結合され、第２の電流を引き込む第２のビット線と、前記第１のビット線に結合された第１のバイアス電流と、
    前記第２のビット線に結合された第２のバイアス電流と、を含む、出力電流ニューロン回路を備え、前記第１のバイアス電流及び前記第２のバイアス電流が、前記第１のバイアス電流と同じ値を有する、前記同じ値を有する、出力ブロック。
  17. 出力ブロックであって、前記出力ブロックは、
    出力電流ニューロン回路であって、
    メモリアレイ内のＷ＋セルに結合され、読み出し動作中に第１の電流を引き込む第１のビット線と、
    前記メモリアレイ内のＷ－セルに結合され、前記読み出し動作中に第２の電流を引き込む第２のビット線と、を含む出力電流ニューロン回路と、
    前記第１のビット線に結合された第１のバイアス電流と、
    前記第１の電流及び前記第２の電流の差に比例する第１の出力電流と、を備える、出力ブロック。
  18. 前記第１の出力電流は、前記第１の電流及び前記第２の電流の前記差の半分に等しい、請求項１７に記載の出力ブロック。
  19. 前記第１の出力電流と相補的である第２の出力電流を更に含む、請求項１７に記載の出力ブロック。
  20. 出力ブロックのためのオフセット較正方法であって、
    前記出力ブロックのサブ回路ブロックの入力ノードに公称バイアスを適用するステップと、
    前記出力ブロックの出力が目標値の閾値内になるまで、前記出力ブロック内の前記サブ回路ブロックに増加又は減少したオフセットトリム設定を適用するステップと、を含む、方法。
  21. 前記サブ回路ブロックは、電流－電圧回路である、請求項２０に記載の方法。
  22. 前記サブ回路ブロックは、アナログ－デジタル変換器回路のものである、請求項２０に記載の方法。
  23. 前記出力ブロックによって、ニューロンからの出力を提供するステップを更に含む、請求項２０に記載の方法。
  24. 前記ニューロンは、ニューラルネットワーク内のニューラルメモリアレイの一部分である、請求項２３に記載の方法。
  25. 出力ブロックのためのオフセット較正方法であって、
    増加したオフセットトリム設定に応答して、前記出力ブロックの新しいトリム出力を測定するステップと、
    前記新しいトリム出力と公称バイアス出力とを比較するステップであって、
    前記新しいトリム出力が前記公称バイアス出力に等しいときに、前記適用するステップと、前記測定するステップと、及び前記比較するステップとを繰り返すステップと、
    前記新しいトリム出力が前記公称バイアス出力と異なるときに、前記新しいトリム出力をトリム値として記憶するステップと、を有する比較するステップと、
    動作中に前記出力ブロック内の前記サブ回路ブロックに前記トリム値を適用するステップと、を含む、方法。
  26. 前記出力ブロックによって、ニューロンからの出力を提供するステップを更に含む、請求項２５に記載の方法。
  27. 前記ニューロンは、ニューラルネットワーク内のニューラルメモリアレイの一部分である、請求項２６に記載の方法。
  28. 出力ブロックのためのオフセット較正方法であって、
    前記出力ブロックのサブ回路ブロックの入力ノードに公称バイアスを適用するステップと、
    前記公称バイアスに応答して、前記出力ブロックの公称バイアス出力を測定するステップと、
    減少したオフセットトリム設定を前記入力ノードに適用するステップと、
    増加したオフセットトリム設定に応答して、前記出力ブロックの新しいトリム出力を測定するステップと、
    前記新しいトリム出力と前記公称バイアス出力とを比較するステップであって、
    前記新しいトリム出力が前記公称バイアス出力に等しいときに、適用するステップと、前記測定するステップと、及び前記比較するステップとを繰り返すステップと、
    前記新しいトリム出力が前記公称バイアス出力と異なるときに、前記新しいトリム出力をトリム値として記憶するステップと、を有する比較するステップと、
    動作中に、前記出力ブロックの前記サブ回路ブロックに前記トリム値を適用するステップと、を含む、方法。
  29. 前記出力ブロックによって、ニューロンからの出力を提供するステップを更に含む、請求項２８に記載の方法。
  30. 前記ニューロンは、ニューラルネットワーク内のニューラルメモリアレイの一部分である、請求項２９に記載の方法。
  31. 出力ブロックのためのオフセット較正方法であって、
    入力値を前記出力ブロックのサブ回路ブロックの入力ノードに適用するステップと、
    前記入力値に応答して、出力値を測定するステップと、
    前記出力値を目標オフセット値と比較するステップであって、
    前記出力値が前記目標オフセット値を超えるときに、次の入力値を用いて前記適用するステップと、前記測定するステップと、及び前記比較するステップとを繰り返すステップと、
    前記出力値が前記目標オフセット値以下であるときに、前記入力値をトリム値として記憶するステップと、を有する比較するステップと、
    前記出力ブロックの動作中に、前記出力ブロックの前記サブ回路ブロックに前記トリム値を適用するステップと、を含む、方法。
  32. 前記出力ブロックによって、ニューロンからの出力を提供するステップを更に含む、請求項３１に記載の方法。
  33. 前記ニューロンは、ニューラルネットワーク内のニューラルメモリアレイの一部分である、請求項３２に記載の方法。
JP2024501685A 2021-08-02 2021-11-13 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の出力回路 Pending JP2024529617A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163228529P 2021-08-02 2021-08-02
US63/228,529 2021-08-02
US17/521,772 2021-11-08
US17/521,772 US20230049032A1 (en) 2021-08-02 2021-11-08 Output circuitry for analog neural memory in a deep learning artificial neural network
PCT/US2021/059281 WO2023014386A1 (en) 2021-08-02 2021-11-13 Output circuitry for analog neural memory in a deep learning artificial neural network

Publications (1)

Publication Number Publication Date
JP2024529617A true JP2024529617A (ja) 2024-08-08

Family

ID=78828110

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024501685A Pending JP2024529617A (ja) 2021-08-02 2021-11-13 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の出力回路

Country Status (6)

Country Link
US (1) US20230049032A1 (ja)
EP (1) EP4381504A1 (ja)
JP (1) JP2024529617A (ja)
KR (1) KR20240025634A (ja)
TW (2) TWI822198B (ja)
WO (1) WO2023014386A1 (ja)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
US6747310B2 (en) 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
US9893688B1 (en) * 2016-10-21 2018-02-13 Stmicroelectronics, Inc. Offset calibration circuit and method for an amplifier circuit
US11361215B2 (en) * 2017-11-29 2022-06-14 Anaflash Inc. Neural network circuits having non-volatile synapse arrays
US10748630B2 (en) 2017-11-29 2020-08-18 Silicon Storage Technology, Inc. High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks
US11354562B2 (en) * 2018-01-03 2022-06-07 Silicon Storage Technology, Inc. Programmable neuron for analog non-volatile memory in deep learning artificial neural network
JP7306725B2 (ja) * 2018-03-19 2023-07-11 ミシック，インコーポレイテッド 混合信号コンピューティングのためのシステムおよび方法
TWI799588B (zh) * 2018-07-13 2023-04-21 日商索尼股份有限公司 積和運算裝置、積和運算電路、積和運算系統及積和運算方法
US11144824B2 (en) * 2019-01-29 2021-10-12 Silicon Storage Technology, Inc. Algorithms and circuitry for verifying a value stored during a programming operation of a non-volatile memory cell in an analog neural memory in deep learning artificial neural network
US11587612B2 (en) * 2019-07-03 2023-02-21 Micron Technology, Inc. Neural network memory with an array of variable resistance memory cells

Also Published As

Publication number Publication date
TW202314712A (zh) 2023-04-01
TWI822198B (zh) 2023-11-11
TW202403758A (zh) 2024-01-16
WO2023014386A1 (en) 2023-02-09
TWI842636B (zh) 2024-05-11
EP4381504A1 (en) 2024-06-12
US20230049032A1 (en) 2023-02-16
KR20240025634A (ko) 2024-02-27

Similar Documents

Publication Publication Date Title
TWI805909B (zh) 用於深度學習人工神經網路中之類比神經記憶體的可組態輸入塊及輸出塊與實體佈局
JP7404542B2 (ja) 人工ニューラルネットワークにおけるアナログニューラルメモリのための精密なデータ調整方法及び装置
KR102616977B1 (ko) 딥 러닝 인공 신경망에서의 아날로그 신경 메모리 내의 기준 트랜지스터들 및 메모리 셀들에 대한 보상
TWI814383B (zh) 深度學習人工神經網路中類比神經記憶體的輸出電路
JP2024502798A (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のデジタル出力機構
WO2022245384A1 (en) Output circuit for analog neural memory in a deep learning artificial neural network
TWI842636B (zh) 深度學習人工神經網路中類比神經記憶體的輸出電路
JP2024532008A (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の入力回路
JP2024533939A (ja) ニューラルメモリ重みデータをアナログ形式又はデジタル形式で記憶するように構成可能なハイブリッドメモリシステム
CN117813653A (zh) 用于深度学习人工神经网络中的模拟神经存储器的输出电路
KR20240141782A (ko) 아날로그 입력을 활용한 벡터와 행렬 간 승산 어레이
KR20240148895A (ko) 아날로그 출력을 활용한 벡터와 행렬 간 승산 어레이
KR20240137066A (ko) I-v 기울기 구성을 위한 기준 어레이를 포함하는 인공 신경망
KR20240052994A (ko) 신경망에서 하나 이상의 메모리 셀에 인가할 바이어스 전압 결정
WO2023196000A1 (en) Vector-by-matrix-multiplication array utilizing analog inputs
WO2024063792A1 (en) Verification method and system in artificial neural network array
JP2024518884A (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のスプリットアレイアーキテクチャ
TW202431252A (zh) 決定施加至神經網路中的一或多個記憶體胞元的偏壓
CN117751406A (zh) 可配置为以模拟形式或数字形式存储神经存储器权重数据的混合存储器系统
CN117716427A (zh) 用于深度学习人工神经网络中的模拟神经存储器的输入电路
CN118043889A (zh) 要施加到神经网络中的一个或多个存储器单元的偏置电压的确定
CN118633126A (zh) 深度学习人工神经网络中的电参数的校准

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240307

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240307