JP2024504003A - 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の入力及びデジタル出力機構 - Google Patents

Abstract

人工ニューラルネットワークにおけるベクトル行列乗算（ＶＭＭ）アレイ内で選択されたメモリセルに記憶された値を読み出し又は検証するための多数の実施形態が開示されている。一実施形態では、入力は、選択されたメモリセルの端子に印加される一連の入力信号をもたらす入力ビットのセットを含み、更に、デジタル化され、入力ビットのセット内の対応する入力ビットのビットロケーションに基づいてシフトされ、選択されたメモリセルに記憶された値を示す出力を生成するために加算される一連の出力信号をもたらす。【選択図】図６

Description

（優先権の主張）
本出願は、２０２０年１２月２３日に出願され、「Ｉｎｐｕｔ ａｎｄ Ｄｉｇｉｔａｌ Ｏｕｔｐｕｔ Ｍｅｃｈａｎｉｓｍｓ ｆｏｒ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題された米国特許出願第１７／１３３，３９５号の優先権を主張し、この米国特許出願は、２０２０年７月２日に出願され、「Ｐｒｅｃｉｓｉｏｎ Ｔｕｎｉｎｇ ｆｏｒ ｔｈｅ Ｐｒｏｇｒａｍｍｉｎｇ ｏｆ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題された米国特許出願第１６／９１９，６９７号の一部継続出願であり、この米国特許出願は、２０１８年１２月２１日に出願され、「Ｐｒｅｃｉｓｉｏｎ Ｔｕｎｉｎｇ ｆｏｒ ｔｈｅ Ｐｒｏｇｒａｍｍｉｎｇ ｏｆ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ ｉｎ ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題された米国特許出願第１６／２３１，２３１号の継続出願であり、この米国特許出願は、２０１８年１０月１６日に出願され、「Ｐｒｅｃｉｓｉｏｎ Ｔｕｎｉｎｇ Ｆｏｒ ｔｈｅ Ｐｒｏｇｒａｍｍｉｎｇ Ｏｆ Ａｎａｌｏｇ Ｎｅｕｒａｌ Ｍｅｍｏｒｙ Ｉｎ Ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」と題された米国仮特許出願第６２／７４６，４７０号の優先権を主張し、これらの全ては、参照により本明細書に組み込まれる。

（発明の分野）
人工ニューラルネットワークにおけるベクトル行列乗算（vector-by-matrix multiplication、ＶＭＭ）アレイ内の不揮発性メモリセルを読み出し又は検証するための入力及び出力機構の多数の実施形態が開示される。

人工ニューラルネットワークは、生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）を模倣しており、多数の入力に依存し得、かつ、一般的に未知である関数を推定する又は近似するために使用される。人工ニューラルネットワークは、概して、お互いの間でメッセージを交換する相互接続した「ニューロン」の層を含む。

図１は人工ニューラルネットワークを示しており、図中、円は、入力又はニューロンの層を表す。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいてチューニングされ得る数値の重みを有する。これにより、ニューラルネットワークは入力に適応し、学習可能になる。典型的には、ニューラルネットワークは、複数の入力の層を含む。典型的には、１つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。各レベルでニューロンは、シナプスから受信したデータに基づいて個々に又は集合的に決定を行う。

高性能情報処理用の人工ニューラルネットワークの開発における主要な課題のうちの１つは、適切なハードウェア技術の欠如である。実際には、実用ニューラルネットワークは、非常に多数のシナプスに依拠しており、これによりニューロン間の高い接続性、すなわち、非常に高度な計算処理の並列化が可能となる。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専用グラフィックプロセッシングユニットクラスタによって実現が可能である。しかしながら、高コストに加え、これらのアプローチはまた、生物学的ネットワークが主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しないのと比較して、エネルギー効率が劣っていることに悩まされている。人工ニューラルネットワークにはＣＭＯＳアナログ回路が使用されてきたが、ほとんどのＣＭＯＳ実装シナプスは、多数のニューロン及びシナプスを前提とすると、嵩高過ぎていた。

出願人は以前に、参照により組み込まれる米国特許出願第１５／５９４，４３９号において、シナプスとして１つ以上の不揮発性メモリアレイを利用する人工（アナログ）ニューラルネットワークを開示した。不揮発性メモリアレイは、アナログニューロモーフィックメモリとして動作する。ニューラルネットワークデバイスは、第１の複数の入力を受信して、それから第１の複数の出力を生成するように構成されている第１の複数のシナプス、及び第１の複数の出力を受信するように構成された第１の複数のニューロンを含む。第１の複数のシナプスは複数のメモリセルを含み、メモリセルの各々は、半導体基板内に形成された、間にチャネル領域が延在する離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に絶縁されて配設される浮遊ゲートと、チャネル領域の第２の部分の上方に絶縁されて配設される非浮遊ゲートと、を含む。複数のメモリセルの各々は、浮遊ゲートのある個数の電子に対応する重み値を記憶するように構成されている。複数のメモリセルは、第１の複数の入力に、記憶された重み値を乗算して第１の複数の出力を生成するように構成される。

アナログニューロモーフィックメモリシステムに使用される各不揮発性メモリセルは、消去・プログラムに対応して、浮遊ゲート内に電荷、すなわち電子の数、を非常に具体的かつ精確な量で保持しなければならない。例えば、各浮遊ゲートはＮ個の異なる値のうちの１つを保持しなければならず、ここで、Ｎは、各セルによって示され得る異なる重みの数である。Ｎの例としては、１６、３２、６４、１２８及び２５６が挙げられる。

１つのＶＭＭの出力はしばしば別のＶＭＭに適用される必要があるので、ＶＭＭシステムにおいては、ＶＭＭの出力をビットに変換し、入力ビットを別のＶＭＭに適用できることが望ましい。次に、ＶＭＭシステムのビット符号化機構をどのようにして最良に実装するかに関する課題が生じる。

必要とされるのは、アナログニューロモーフィックメモリシステムにおいてＶＭＭとの使用に適した入力ビット及び出力ビットを利用する改善されたプログラミング、検証、及び読み出しシステム並びに方法である。

人工ニューラルネットワークにおけるベクトル行列乗算（ＶＭＭ）アレイ内で選択されたメモリセルに記憶された値を読み出し又は検証するための多数の実施形態が開示されている。一実施形態では、入力は、選択されたメモリセルの端子に印加される一連の入力信号をもたらす入力ビットのセットを含み、更に、デジタル化され、入力ビットのセット内の対応する入力ビットのビットロケーションに基づいてシフトされ、選択されたメモリセルに記憶された値を示す出力を生成するために加算される一連の出力信号をもたらす。

人工ニューラルネットワークを例解する図である。 先行技術のスプリットゲートフラッシュメモリセルを示す。 別の先行技術のスプリットゲートフラッシュメモリセルを示す。 別の先行技術のスプリットゲートフラッシュメモリセルを示す。 別の先行技術のスプリットゲートフラッシュメモリセルを示す。 １つ以上の不揮発性メモリアレイを利用する例示的な人工ニューラルネットワークの様々なレベルを例解する図である。 ベクトル行列乗算システムを例解するブロック図である。 １つ以上のベクトル行列乗算システムを利用する例示的な人工ニューラルネットワークを例解するブロック図である。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 先行技術の長・短期記憶システムを示す。 長・短期記憶システムでの使用のための例示的なセルを示す。 図１５の例示的なセルの一実施形態を示す。 図１５の例示的なセルの別の実施形態を示す。 先行技術のゲート付き回帰型ユニットシステムを示す。 ゲート付き回帰型ユニットシステムでの使用のための例示的なセルを示す。 図１９の例示的なセルの一実施形態を示す。 図１９の例示的なセルの別の実施形態を示す。 不揮発性メモリセルをプログラミングする方法の一実施形態を示す。 不揮発性メモリセルをプログラミングする方法の別の実施形態を示す。 粗プログラミング方法の一実施形態を示す。 不揮発性メモリセルのプログラミングで使用される例示的なパルスを示す。 不揮発性メモリセルのプログラミングで使用される例示的なパルスを示す。 セルの傾斜特性に基づいてプログラミングパラメータを調整する、不揮発性メモリセルのプログラミングのための較正アルゴリズムを示す。 図２６の較正アルゴリズムで使用される回路を示す。 不揮発性メモリセルのプログラミングのための較正アルゴリズムを示す。 図２８の較正アルゴリズムで使用される回路を示す。 プログラミング動作中に不揮発性メモリセルの制御ゲートに印加される電圧の例示的な進行を示す。 プログラミング動作中に不揮発性メモリセルの制御ゲートに印加される電圧の例示的な進行を示す。 ベクトル乗算行列システム内の不揮発性メモリセルのプログラミング中にプログラミング電圧を印加するためのシステムを示す。 電荷加算器回路を示す。 電流加算器回路を示す。 デジタル加算器回路を示す。 ニューロン出力用の積分型アナログ－デジタル変換器の一実施形態を示す。 図３６Ａの積分型アナログ－デジタル変換器の経時的な電圧出力を示すグラフを示す。 ニューロン出力用の積分型アナログ－デジタル変換器の別の実施形態を示す。 図３６Ｃの積分型アナログ－デジタル変換器の経時的な電圧出力を示すグラフを示す。 ニューロン出力用の積分型アナログ－デジタル変換器の別の実施形態を示す。 ニューロン出力用の積分型アナログ－デジタル変換器の別の実施形態を示す。 ニューロン出力用の逐次比較型アナログ－デジタル変換器を示す。 ニューロン出力用の逐次比較型アナログ－デジタル変換器を示す。 シグマデルタ型アナログ－デジタル変換器の一実施形態を示す。 出力ブロックを示す。

本発明の人工ニューラルネットワークは、ＣＭＯＳ技術及び不揮発性メモリアレイの組み合わせを利用する。
不揮発性メモリセル

デジタル不揮発性メモリは、周知である。例えば、参照により本明細書に組み込まれる、米国特許第５，０２９，１３０号（「’１３０号特許」）は、フラッシュメモリセルの一種である、スプリットゲート不揮発性メモリセルのアレイを開示する。このようなメモリセル２１０を図２に示す。各メモリセル２１０は、半導体基板１２内に形成されたソース領域１４及びドレイン領域１６を含み、ソース領域１４とドレイン領域１６との間にはチャネル領域１８がある。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方に絶縁されて形成され（並びに、チャネル領域１８の第１の部分の導電性を制御して）、ソース領域１４の一部分の上方にかけて形成される。ワード線端子２２（典型的には、ワード線に結合される）は、チャネル領域１８の第２の部分の上方に絶縁されて配設される、（且つ、チャネル領域１８の第２の部分の導電性を制御する）第１の部分と、浮遊ゲート２０の上方で上に延在する第２の部分と、を有する。浮遊ゲート２０及びワード線端子２２は、ゲート酸化物によって基板１２から絶縁される。ビット線２４はドレイン領域１６に結合される。

ワード線端子２２に高圧正電圧を加えることによって、メモリセル２１０に対して消去が行われ（電子が浮遊ゲートから除去される）、これによって、浮遊ゲート２０の電子は、浮遊ゲート２０からワード線端子２２までそれらの間にある絶縁体の中をファウラーノルドハイム（Fowler-Nordheim）トンネリングを介して通過する。

メモリセル２１０は、ワード線端子２２に正電圧、及びソース領域１４に正電圧を加えることによってプログラムされる（電子が浮遊ゲートに供給される）。電子電流は、ソース領域１４からドレイン領域１６に向かって流れることになる。電子は加速し、ワード線端子２２と浮遊ゲート２０との間の間隙に達すると、加熱される。熱せられた電子の一部は、浮遊ゲート２０からの静電引力に起因して、浮遊ゲート２０にゲート酸化物を介して注入される。

メモリセル２１０は、ドレイン領域１６及びワード線端子２２に正の読み出し電圧を加える（ワード線端子の下方のチャネル領域１８の部分をオンにする）ことによって、読み出される。浮遊ゲート２０が正に帯電する（すなわち、電子を消去する）と、浮遊ゲート２０の下方のチャネル領域１８の部分も同様にオンになり、電流はチャネル領域１８を流れ、これは、消去された状態つまり「１」の状態として検知される。浮遊ゲート２０が負に帯電する（すなわち、電子でプログラムされる）と、浮遊ゲート２０の下方のチャネル領域の部分はほとんど又は完全にオフになり、電流はチャネル領域１８を流れず（又はほとんど流れず）、これは、プログラムされた状態つまり「０」の状態として検知される。

表１は、読み出し、消去、及びプログラム動作を実行するためのメモリセル１１０の端子に印加され得る典型的な電圧範囲を示す。
表１：図３のフラッシュメモリセル２１０の動作

他の種類のフラッシュメモリセルとして、他のスプリットゲート型メモリセル構成も知られている。例えば、図３は、ソース領域１４と、ドレイン領域１６と、チャネル領域１８の第１の部分の上方にある浮遊ゲート２０と、チャネル領域１８の第２の部分の上方にある選択ゲート２２（典型的には、ワード線、ＷＬ、に結合される）と、浮遊ゲート２０の上方にある制御ゲート２８と、ソース領域１４の上方にある消去ゲート３０と、を含む４ゲートメモリセル３１０を示す。この構成は、あらゆる目的のため参照により本明細書に組み込まれる、米国特許第６，７４７，３１０号に記載されている。ここで、全てのゲートは、浮遊ゲート２０を除いて、非浮遊ゲートであり、つまり、それらは電圧源に電気的に接続される又は接続可能である。プログラミングは、熱せられた電子がチャネル領域１８から浮遊ゲート２０にその電子自体を注入することによって実行される。消去は、電子が浮遊ゲート２０から消去ゲート３０へトンネリングすることによって実行される。

表２は、読み出し、消去、及びプログラム動作を実行するためのメモリセル３１０の端子に印加され得る典型的な電圧範囲を示す。
表２：図３のフラッシュメモリセル３１０の動作

図４は、別の種類のフラッシュメモリセルである、３ゲートメモリセル４１０を示す。メモリセル４１０は、メモリセル４１０が別個の制御ゲートを有しないことを除いて、図３のメモリセル３１０と同一である。（消去ゲートの使用を通じて消去が起こる）消去動作及び読み出し動作は、制御ゲートバイアスが印加されないことを除いて、図３のものと同様である。プログラミング動作もまた、制御ゲートバイアスなしで行われるため、結果として、プログラム動作中は、制御ゲートバイアスの不足を補償するため、より高い電圧がソース線に印加されなければならない。

表３は、読み出し、消去、及びプログラム動作を実行するためのメモリセル４１０の端子に印加され得る典型的な電圧範囲を示す。
表３：図４のフラッシュメモリセル４１０の動作

図５は、別の種類のフラッシュメモリセルである、積層ゲートメモリセル５１０を示す。メモリセル５１０は、浮遊ゲート２０がチャネル領域１８全体の上方に延在し、制御ゲート２２（ここでワード線に結合される）が絶縁層（図示せず）によって分離されて浮遊ゲート２０の上方に延在することを除いて、図２のメモリセル２１０と同様である。消去、プログラミング、及び読み出し動作は、メモリセル２１０について前述したものと同様の方法で動作する。

表４は、読み出し、消去、及びプログラム動作を実行するためのメモリセル５１０及び基板１２の端子に印加され得る典型的な電圧範囲を示す。
表４：図５のフラッシュメモリセル５１０の動作

上記の人工ニューラルネットワークにおける不揮発性メモリセルの種類のうちの１つを含むメモリアレイを利用するために、２つの修正が行われる。第一に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しできるように線を構成する。第二に、メモリセルの連続（アナログ）プログラミングを提供する。

具体的には、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全に消去された状態から完全にプログラムされた状態へ、独立して、かつ他のメモリセルの異常が最小で、連続的に変えることができる。別の実施形態では、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全にプログラムされた状態から完全に消去された状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの異常が最小で、連続的に変えることができる。これはつまり、セル記憶がアナログであるか、又は多数の不連続値（１６又は６４の異なる値など）のうちの１つを最低限記憶することができることを意味し、これにより、メモリアレイ内の全てのセルが非常に精確に、かつ個々にチューニング可能となり、また、メモリアレイが、記憶、及びニューラルネットワークのシナプシスの重みへの微細チューニング調整に対して、理想的なものになる。
不揮発性メモリセルアレイを使用するニューラルネットワーク

図６は、本実施形態の不揮発性メモリアレイを利用するニューラルネットワークの非限定例を概念的に例解する。この例は、顔認識アプリケーション用に不揮発性メモリアレイニューラルネットワークを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の適切なアプリケーションを実装することも可能である。

Ｓ０は入力層であり、この例では、５ビット精度の３２×３２ピクセルＲＧＢ画像である（すなわち、各色Ｒ、Ｇ、及びＢにつき１つずつで３つの３２×３２ピクセルアレイであり、各ピクセルは５ビット精度である）。入力層Ｓ０から層Ｃ１に行くシナプスＣＢ１は、一部のインスタンスには異なる重みのセットを適用し、他のインスタンスには共有の重みを適用し、入力画像を３×３ピクセルの重なり合うフィルタ（カーネル）でスキャンし、１ピクセル（又はモデルによっては２ピクセル以上）ずつフィルタをシフトする。具体的には、画像の３×３部分における９ピクセルの値（すなわち、フィルタ又はカーネルと称される）は、シナプスＣＢ１に提供され、そこで、これらの９個の入力値に適切な重みを乗算し、その乗算の出力を合計後、単一の出力値が決定され、特徴マップＣ１の層のうちの１つのピクセルを生成するためにＣＢ１の第１のシナプスによって与えられる。３×３フィルタは次に、入力層Ｓ０内で右側に１ピクセルだけシフトされ（すなわち、３ピクセルの列を右側に追加し、左側で３ピクセルの列をドロップする）、これにより、この新しく位置づけられたフィルタの９ピクセル値はシナプスＣＢ１に提供され、そこでそれらに上記と同じ重みを乗算し、関連するシナプスによって第２の単一の出力値を決定する。このプロセスを、３×３フィルタが入力層Ｓ０の３２×３２ピクセル画像全体にわたって３色全て及び全てのビット（精度値）についてスキャンするまで続ける。プロセスは次に、層Ｃ１の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、Ｃ１の異なる特徴マップを生成する。

本例では、層Ｃ１において、各々３０×３０ピクセルを有する１６個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、二次元アレイであり、したがってこの例では、層Ｃ１は、二次元アレイの１６層を構成する（本明細書で言及される層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な二次元アレイに配向されないことに留意されたい）。層Ｃ１内の１６個の特徴マップの各々は、フィルタスキャンに適用される異なるシナプス重みのセット１６個のうちの１つによって生成される。Ｃ１特徴マップは全て、境界同定など、同じ画像特徴の異なる態様を対象とすることができる。例えば、第１のマップ（この第１のマップを生成するために使用される全てのスキャンに共有される第１の重みセットを使用して生成される）は、円形エッジを識別することができ、第２のマップ（第１の重みセットと異なる第２の重みセットを使用して生成される）は、長方形エッジ又はある特定の特徴のアスペクト比などを識別することができる。

層Ｃ１から層Ｓ１へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ１（プーリング）が適用される。プーリング関数の目的は、近隣の位置を平均すること（又はｍａｘ関数を使用することも可能である）、例えばエッジ位置の依存を低減すること、及び次の段階に行く前にデータサイズを低減することである。層Ｓ１において、１６個の１５×１５特徴マップ（すなわち、各々１５×１５ピクセルの異なるアレイ１６個）が存在する。層Ｓ１から層Ｃ２に行くシナプスＣＢ２は、Ｓ１内のマップを４×４フィルタにより１ピクセルのフィルタシフトでスキャンする。層Ｃ２において、２２個の１２×１２特徴マップが存在する。層Ｃ２から層Ｓ２へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ２（プーリング）が適用される。層Ｓ２において、２２個の６×６特徴マップが存在する。層Ｓ２から層Ｃ３へ行くシナプスＣＢ３では活性化関数（プーリング）が適用され、ここで層Ｃ３内の全てのニューロンは、ＣＢ３のそれぞれのシナプスを介して層Ｓ２内の全てのマップに接続する。層Ｃ３において、６４個のニューロンが存在する。層Ｃ３から出力層Ｓ３へと行くシナプスＣＢ４は、Ｃ３をＳ３に完全に接続する、すなわち、層Ｃ３内の全てのニューロンは、層Ｓ３内の全てのニューロンに接続される。Ｓ３における出力は、１０個のニューロンを含み、ここで出力が最も高いニューロンが、クラスを決定する。この出力は、例えば、元の画像の内容の同定又は分類（クラス分け）を示すことができる。

シナプスの各層は、不揮発性メモリセルのアレイ又はアレイの一部を使用して実装される。

図７は、その目的のために使用可能なアレイのブロック図である。ベクトル行列乗算（ＶＭＭ）アレイ３２は、不揮発性メモリセルを含み、ある層と次の層との間のシナプス（図６のＣＢ１、ＣＢ２、ＣＢ３、及びＣＢ４など）として利用される。具体的には、ＶＭＭアレイ３２は、不揮発性メモリセルのアレイ３３、消去ゲート及びワード線ゲートデコーダ３４、制御ゲートデコーダ３５、ビット線デコーダ３６、並びにソース線デコーダ３７を含み、それらのデコーダは不揮発性メモリセルアレイ３３に対するそれぞれの入力をデコードする。ＶＭＭアレイ３２への入力は、消去ゲート及びワード線ゲートデコーダ３４から、又は制御ゲートデコーダ３５から行うことができる。この例におけるソース線デコーダ３７はまた、不揮発性メモリセルアレイ３３の出力をデコードする。あるいは、ビット線デコーダ３６が、不揮発性メモリセルアレイ３３の出力をデコードすることができる。

不揮発性メモリセルアレイ３３は、２つの目的を果たす。第一に、不揮発性メモリセルアレイ３３は、ＶＭＭアレイ３２によって使用される重みを記憶する。第二に、不揮発性メモリセルアレイ３３は、不揮発性メモリセルアレイ３３に格納された重みによって、入力を有効に乗算して、それらを出力線（ソース線又はビット線）ごとに加算して、出力を生成し、この出力は次の層への入力又は最後の層への入力になる。不揮発性メモリセルアレイ３３が乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性はなくなり、また、メモリ内の計算により電力効率も良い。

不揮発性メモリセルアレイ３３の出力は、不揮発性メモリセルアレイ３３の出力を合計してその畳み込み用の単一の値を作成する、差動加算器（加算オペアンプ又は加算カレントミラーなど）３８に供給される。差動加算器３８は、正の重み及び負の重みの総和を実行するように配置される。

差動加算器３８の合計された出力値は、次に出力を整流する活性化関数回路３９に供給される。活性化関数回路３９は、シグモイド、ｔａｎｈ、又はＲｅＬＵ関数を提供し得る。活性化関数回路３９の整流された出力値は、次の層（例えば図６のＣ１）として特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、不揮発性メモリセルアレイ３３は、複数のシナプス（それらは、ニューロンの前の層から、又は画像データベースなどの入力層から、入力を受信する）を構成し、加算オペアンプ３８及び活性化関数回路３９は、複数のニューロンを構成する。

図７のＶＭＭアレイ３２への入力（ＷＬｘ、ＥＧｘ、ＣＧｘ、及び任意選択的にＢＬｘ及びＳＬｘ）は、アナログレベル、バイナリレベル、又はデジタルビット（この場合、ＤＡＣは、デジタルビットを適切な入力アナログレベルに変換するために提供される）であり得、出力は、アナログレベル、バイナリレベル、又はデジタルビット（この場合、出力ＡＤＣは出力アナログレベルをデジタルビットに変換するために提供される）であり得る。

図８は、図中でＶＭＭアレイ３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅとして標示されたＶＭＭアレイ３２の多数の層の使用を示すブロック図である。図８に示されるように、入力（Ｉｎｐｕｔｘで示される）は、デジタル－アナログ変換器３１によってデジタルからアナログに変換され、入力ＶＭＭアレイ３２ａに提供される。変換されたアナログ入力は、電圧又は電流であり得る。第１の層の入力Ｄ／Ａ変換は、入力ＶＭＭアレイ３２ａの行列乗算器の適切なアナログレベルに入力Ｉｎｐｕｔｘをマッピングする関数又はＬＵＴ（ルックアップテーブル）を使用することによって行うことができる。入力変換はまた、外部アナログ入力を入力ＶＭＭアレイ３２ａへのマッピングされたアナログ入力に変換するように、アナログ－アナログ（analog to analog、Ａ／Ａ）変換器によって行うこともできる。

入力ＶＭＭアレイ３２ａによって生成された出力は、次に、次のＶＭＭアレイ（隠しレベル１）３２ｂへの入力として提供され、次に、ＶＭＭアレイ３２ｂは、入力ＶＭＭアレイ（隠しレベル２）３２ｃへの入力として提供される出力を生成する、などとなる。ＶＭＭアレイ３２の様々な層は、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）のシナプス及びニューロンの各層として機能する。ＶＭＭアレイ３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅはそれぞれスタンドアローンの物理的不揮発性メモリアレイとすることができ、又は複数のＶＭＭアレイは、同じ物理的不揮発性メモリアレイの異なる部分を利用することができ、又は複数のＶＭＭアレイは、同じ物理的不揮発性メモリアレイの重なり合う部分を利用することができる。図８に示される例は、５つの層（３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ）、すなわち、１つの入力層（３２ａ）、２つの隠れ層（３２ｂ、３２ｃ）、及び２つの全接続層（３２ｄ、３２ｅ）を含む。当業者であれば、これは単なる例示であり、代わりにシステムが２つを超える隠れ層及び２つを超える完全接続層を含み得ることを理解するであろう。
ベクトル行列乗算（ＶＭＭ）アレイ

図９は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ９００を示す。ＶＭＭアレイ９００は、不揮発性メモリセルのメモリアレイ９０１と、不揮発性基準メモリセルの基準アレイ９０２（アレイの頂部に位置する）と、を含む。代替的に、別の基準アレイが底部に位置することができる。

ＶＭＭアレイ９００では、制御ゲート線９０３などの制御ゲート線が垂直方向に延びており（したがって、行方向の基準アレイ９０２が、制御ゲート線９０３に直交する）、消去ゲート線９０４などの消去ゲート線が水平方向に延びている。ここで、ＶＭＭアレイ９００への入力は、制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、ＣＧ３）に提供され、ＶＭＭアレイ９００の出力は、ソース線（ＳＬ０、ＳＬ１）に現れる。一実施形態では、偶数行のみが使用され、別の実施形態では、奇数行のみが使用される。各ソース線（それぞれＳＬ０、ＳＬ１）の電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。

ニューラルネットワークについて本明細書に記載されているように、ＶＭＭアレイ９００の不揮発性メモリセル、すなわちＶＭＭアレイ９００のフラッシュメモリは、サブスレッショルド領域で動作するように構成されることが好ましい。

本明細書に記載される不揮発性基準メモリセル及び不揮発性メモリセルは、以下のように弱い反転でバイアスされる：
Ｉｄｓ＝Ｉｏ^*ｅ^(Vg-Vth)/kVt＝ｗ^*Ｉｏ^*ｅ^(Vg)/kVt
式中、ｗ＝ｅ^(-Vth)/kVtである。

メモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して入力電流を入力電圧に変換するＩ－Ｖログ変換器を使用した場合：
Ｖｇ＝ｋ^*Ｖｔ^*ｌｏｇ［Ｉｄｓ／ｗｐ^*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。

ベクトルマトリックス乗算器ＶＭＭアレイとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ^*Ｉｏ^*ｅ^(Vg)/kVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）^*Ｉｉｎ＝Ｗ^*Ｉｉｎ
Ｗ＝ｅ^{(Vthp-Vtha)/kVt}
式中、ｗａ＝メモリアレイの各メモリセルのｗである。

ワード線又は制御ゲートは、入力電圧のためのメモリセルの入力として使用することができる。

あるいは、本明細書に記載されたＶＭＭアレイのフラッシュメモリセルは、線形領域で動作するように構成することができる。
Ｉｄｓ＝ベータ^*（Ｖｇｓ－Ｖｔｈ）^*Ｖｄｓ、ベータ＝ｕ^*Ｃｏｘ^*Ｗｔ／Ｌ
Ｗ＝α（Ｖｇｓ－Ｖｔｈ）

ワード線又は制御ゲート又はビット線又はソース線は、線形領域内で動作するメモリセルの入力として使用することができる。

Ｉ－Ｖ線形変換器用に、線形領域で動作するメモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して、入出力電流を入出力電圧に線形変換することができる。

図７のＶＭＭアレイ３２のための他の実施形態は、参照により本明細書に組み込まれる米国特許出願第１５／８２６，３４５号に記載されている。上記出願に記載されているように、ソース線又はビット線は、ニューロン出力（電流和出力）として使用することができる。

図１０は、図２に示されるメモリセル２１０に特に適したニューロンＶＭＭアレイ１０００を示し、入力層と次の層との間のシナプスとして利用される。ＶＭＭアレイ１０００は、不揮発性メモリセルのメモリアレイ１００３と、第１の不揮発性基準メモリセルの基準アレイ１００１と、第２の不揮発性基準メモリセルの基準アレイ１００２と、を含む。アレイの列方向に配置された基準アレイ１００１及び１００２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力が流入する状態で、マルチプレクサ１０１４（一部のみ示す）を通してダイオード接続される。基準セルは、目標基準レベルにチューニング（例えば、プログラム）される。目標基準レベルは、基準ミニアレイマトリックス（図示せず）によって提供される。

メモリアレイ１００３は、２つの目的を果たす。第一に、メモリアレイ１００３は、ＶＭＭアレイ１０００により使用される重みを、それぞれのメモリセルに記憶する。第二に、メモリアレイ１００３は、入力（すなわち、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、これを基準アレイ１００１及び１００２が入力電圧に変換して、ワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に供給する）に、メモリアレイ１００３に記憶された重みを有効に乗算して、次いで、全ての結果（メモリセル電流）を加算して、それぞれのビット線（ＢＬ０～ＢＬＮ）の出力を生成し、この出力は次の層への入力又は最後の層への入力となる。乗算及び加算の関数を実行することで、メモリアレイ１００３は、別個の乗算及び加算の論理回路の必要性をなくし、また、電力効率も良い。ここで、電圧入力はワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に提供され、出力は、読み出し（推論）動作中にそれぞれのビット線ＢＬ０～ＢＬＮに現れる。ビット線ＢＬ０～ＢＬＮの各々の電流は、その特定のビット線に接続された全ての不揮発性メモリセルからの電流の合計関数を実行する。

表５は、ＶＭＭアレイ１０００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表５：図１０のＶＭＭアレイ１０００の動作

図１１は、図２に示されるメモリセル２１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１１００を示す。ＶＭＭアレイ１１００は、不揮発性メモリセルのメモリアレイ１１０３と、第１の不揮発性基準メモリセルの基準アレイ１１０１と、第２の不揮発性基準メモリセルの基準アレイ１１０２と、を含む。基準アレイ１１０１及び１１０２は、ＶＭＭアレイ１１００の行方向に延びる。ＶＭＭアレイは、ＶＭＭアレイ１１００においてワード線が垂直方向に延びることを除いて、ＶＭＭ１０００と同様である。ここで、入力はワード線（ＷＬＡ０、ＷＬＢ０、ＷＬＡ１、ＷＬＢ２、ＷＬＡ２、ＷＬＢ２、ＷＬＡ３、ＷＬＢ３）に提供され、出力は、読み出し動作中にソース線（ＳＬ０、ＳＬ１）に現れる。各ソース線の電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。

表６は、ＶＭＭアレイ１１００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表６：図１１のＶＭＭアレイ１１００の動作

図１２は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１２００を示す。ＶＭＭアレイ１２００は、不揮発性メモリセルのメモリアレイ１２０３と、第１の不揮発性基準メモリセルの基準アレイ１２０１と、第２の不揮発性基準メモリセルの基準アレイ１２０２と、を含む。基準アレイ１２０１及び１２０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力がＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３を通って流入する状態で、マルチプレクサ１２１２（一部のみ示す）を通してダイオード接続される。マルチプレクサ１２１２は、読み出し動作中に第１及び第２の不揮発性基準メモリセルの各々のビット線（ＢＬＲ０など）の一定電圧を確実にするために、対応のマルチプレクサ１２０５及びカスコーディングトランジスタ１２０４をそれぞれ含む。基準セルは、目標基準レベルにチューニングされる。

メモリアレイ１２０３は、２つの目的を果たす。第一に、メモリアレイ１２０３は、ＶＭＭアレイ１２００によって使用される重みを記憶する。第二に、メモリアレイ１２０３は、入力（端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、基準アレイ１２０１及び１２０２がこれらの電流入力を入力電圧に変換して、制御ゲート（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に供給する）に、メモリアレイに記憶された重みを有効に乗算して、次いで、全ての結果（セル電流）を加算して出力を生成し、この出力はＢＬ０～ＢＬＮに現れ、次の層への入力又は最後の層への入力となる。メモリアレイが乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性がなくなり、また、電力効率も良い。ここで、入力は制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に提供され、出力は、読み出し動作中にビット線（ＢＬ０～ＢＬＮ）に現れる。各ビット線の電流は、その特定のビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。

ＶＭＭアレイ１２００は、メモリアレイ１２０３内の不揮発性メモリセルの一方向チューニングを実装する。すなわち、各不揮発性メモリセルは消去され、次いで、浮遊ゲートの所望の電荷に達するまで部分的にプログラムされる。これは、例えば、以下に記載される新規の精密プログラミング技術を使用して実行することができる。過度に多くの電荷が浮遊ゲートに加えられる場合（誤った値がセルに記憶されるなど）、セルは消去されなければならず、一連の部分的なプログラミング動作をやり直さなければならない。示されるように、同じ消去ゲート（ＥＧ０又はＥＧ１など）を共有する２つの行は、一緒に消去される必要があり（ページ消去として知られる）、その後、各セルは、浮遊ゲートの所望の電荷に達するまで部分的にプログラムされる。

表７は、ＶＭＭアレイ１２００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表７：図１２のＶＭＭアレイ１２００の動作

図１３は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１３００を示す。ＶＭＭアレイ１３００は、不揮発性メモリセルのメモリアレイ１３０３と、基準アレイ１３０１又は第１の不揮発性基準メモリセルと、第２の不揮発性基準メモリセルの基準アレイ１３０２と、を備える。ＥＧ線ＥＧＲ０、ＥＧ０、ＥＧ１、及びＥＧＲ１は垂直に延び、ＣＧ線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３並びにＳＬ線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３は水平に延びる。ＶＭＭアレイ１３００は、ＶＭＭアレイ１３００が双方向チューニングを実装することを除いてＶＭＭアレイ１４００と同様であり、各個々のセルは、個別のＥＧ線の使用により、浮遊ゲートの所望の電荷量に達するために、完全に消去され、部分的にプログラムされ、必要に応じて部分的に消去することができる。示されるように、基準アレイ１３０１及び１３０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２及びＢＬＲ３における入力電流を制御ゲート電圧ＣＧ０、ＣＧ１、ＣＧ２及びＣＧ３に変換し（マルチプレクサ１３１４を介したダイオード接続された基準セルの作用を通じて）、これらの電圧は行方向でメモリセルに印加される。電流出力（ニューロン）は、ビット線ＢＬ０～ＢＬＮ中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。

表８は、ＶＭＭアレイ１３００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの動作を示す。
表８：図１３のＶＭＭアレイ１３００の動作

長・短期メモリ

先行技術は、長・短期メモリ（long short-term memory、ＬＳＴＭ）として知られる概念を含む。ＬＳＴＭユニットは、しばしば、ニューラルネットワーク内で使用される。ＬＳＴＭによって、ニューラルネットワークは所定の任意の期間にわたって情報を記憶し、後続の動作においてその情報を使用することができる。従来のＬＳＴＭユニットは、セル、入力ゲート、出力ゲート、及び忘却ゲートを含む。３つのゲートは、セル内及びセル外への情報の流れ、及び情報がＬＳＴＭ内で記憶される期間を調節する。ＶＭＭは、ＬＳＴＭユニットにおいて特に有用である。

図１４は、例示的なＬＳＴＭ１４００を示す。この例におけるＬＳＴＭ１４００は、セル１４０１、１４０２、１４０３及び１４０４を含む。セル１４０１は、入力ベクトルｘ₀を受け取り、出力ベクトルｈ₀及びセル状態ベクトルｃ₀を生成する。セル１４０２は、入力ベクトルｘ₁と、セル１４０１からの出力ベクトル（隠れ状態）ｈ₀と、セル１４０１からのセル状態ｃ₀と、を受け取り、出力ベクトルｈ₁と、セル状態ベクトルｃ₁と、を生成する。セル１４０３は、入力ベクトルｘ₂と、セル１４０２からの出力ベクトル（隠れ状態）ｈ₁と、セル１４０２からのセル状態ｃ₁と、を受け取り、出力ベクトルｈ₂と、セル状態ベクトルｃ₂と、を生成する。セル１４０４は、入力ベクトルｘ₃と、セル１４０３からの出力ベクトル（隠れ状態）ｈ₂と、セル１４０３からのセル状態ｃ₂と、を受け取り、出力ベクトルｈ₃を生成する。追加のセルも使用可能であり、４つのセルを有するＬＳＴＭは、単なる例である。

図１５は、図１４のセル１４０１、１４０２、１４０３、及び１４０４に使用可能なＬＳＴＭセル１５００の例示的な実装を示す。ＬＳＴＭセル１５００は、入力ベクトルｘ（ｔ）と、先行するセルからのセル状態ベクトルｃ（ｔ－１）と、先行するセルからの出力ベクトルｈ（ｔ－１）と、を受け取り、セル状態ベクトルｃ（ｔ）及び出力ベクトルｈ（ｔ）を生成する。

ＬＳＴＭセル１５００は、シグモイド関数デバイス１５０１、１５０２、及び１５０３を含み、各々が０～１の数を適用して、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。ＬＳＴＭセル１５００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス１５０４及び１５０５と、２つのベクトルを乗算するための乗算器デバイス１５０６、１５０７、及び１５０８と、２つのベクトルを加算するための加算器デバイス１５０９と、を含む。出力ベクトルｈ（ｔ）は、システム内の次のＬＳＴＭセルに提供することができるか、又は他の目的でアクセスすることができる。

図１６は、ＬＳＴＭセル１５００の一実装の一例であるＬＳＴＭセル１６００を示す。読者の便宜のために、ＬＳＴＭセル１５００からの同じ採番方法が、ＬＳＴＭセル１６００で使用される。シグモイド関数デバイス１５０１、１５０２、及び１５０３、並びにｔａｎｈデバイス１５０４は各々、複数のＶＭＭアレイ１６０１及び活性化回路ブロック１６０２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＬＳＴＭセルにおいて特に有用であることが分かる。

ＬＳＴＭセル１６００の代替例（及びＬＳＴＭセル１５００の一実装の別の例）を図１７に示す。図１７では、シグモイド関数デバイス１５０１、１５０２及び１５０３、並びにｔａｎｈデバイス１５０４は、同じ物理ハードウェア（ＶＭＭアレイ１７０１及び活性化関数ブロック１７０２）を、時分割多重化された方式で共有する。ＬＳＴＭセル１７００はまた、２つのベクトルを乗算するための乗算器デバイス１７０３と、２つのベクトルを加算するための加算器デバイス１７０８と、（活性化回路ブロック１７０２を含む）ｔａｎｈデバイス１５０５と、値ｉ（ｔ）を、ｉ（ｔ）がシグモイド関数ブロック１７０２から出力されるときに記憶するためのレジスタ１７０７と、値ｆ（ｔ）^*ｃ（ｔ－１）を、その値がマルチプレクサ１７１０を介して乗算器デバイス１７０３から出力されるときに記憶するためのレジスタ１７０４と、値ｉ（ｔ）^*ｕ（ｔ）を、その値がマルチプレクサ１７１０を介して乗算器デバイス１７０３から出力されるときに記憶するためのレジスタ１７０５と、値ｏ（ｔ）^*ｃ～（ｔ）を、その値がマルチプレクサ１７１０を介して乗算器デバイス１７０３から出力されるときに記憶するためのレジスタ１７０６と、マルチプレクサ１７０９と、を含む。

ＬＳＴＭセル１６００がＶＭＭアレイ１６０１とそれぞれの活性化関数ブロック１６０２との複数のセットを含むのに対し、ＬＳＴＭセル１７００は、ＬＳＴＭセル１７００の実施形態において複数の層を表すために使用される、ＶＭＭアレイ１７０１及び活性化関数ブロック１７０２の１つのセットのみを含む。ＬＳＴＭセル１７００は、ＬＳＴＭセル１６００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／４で済むので、ＬＳＴＭセル１７００は、ＬＳＴＭ１６００よりも必要とするスペースが少ない。

ＬＳＴＭユニットは典型的には複数のＶＭＭアレイを含み、これらは各々、加算器及び活性化回路ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることを更に理解することができる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。したがって、以下に記載される実施形態では、ＶＭＭアレイ自体の外側に必要とされる回路の最小化を試みる。
ゲート付き回帰型ユニット

アナログＶＭＭ実装は、ゲート付き回帰型ユニット（gated recurrent unit、ＧＲＵ）システムに利用することができる。ＧＲＵは、反復ニューラルネットワーク内のゲート機構である。ＧＲＵは、ＧＲＵセルが一般にＬＳＴＭセルよりも少ない構成要素を含むことを除いて、ＬＳＴＭに類似している。

図１８は、例示的なＧＲＵ１８００を示す。この例におけるＧＲＵ１８００は、セル１８０１、１８０２、１８０３及び１８０４を含む。セル１８０１は、入力ベクトルｘ₀を受け取り、出力ベクトルｈ₀を生成する。セル１８０２は、入力ベクトルｘ₁と、セル１８０１からの出力ベクトルｈ₀と、を受け取り、出力ベクトルｈ₁を生成する。セル１８０３は、入力ベクトルｘ₂と、セル１８０２からの出力ベクトル（隠れ状態）ｈ₁と、を受け取り、出力ベクトルｈ₂を生成する。セル１８０４は、入力ベクトルｘ₃と、セル１８０３からの出力ベクトル（隠れ状態）ｈ₂と、を受け取り、出力ベクトルｈ₃を生成する。追加のセルも使用可能であり、４つのセルを有するＧＲＵは、単なる例である。

図１９は、図１８のセル１８０１、１８０２、１８０３、及び１８０４に使用することができるＧＲＵセル１９００の例示的な実装を示す。ＧＲＵセル１９００は、入力ベクトルｘ（ｔ）と、先行するＧＲＵセルからの出力ベクトルｈ（ｔ－１）と、を受け取り、出力ベクトルｈ（ｔ）を生成する。ＧＲＵセル１９００は、シグモイド関数デバイス１９０１及び１９０２を含み、それらの各々が、出力ベクトルｈ（ｔ－１）及び入力ベクトルｘ（ｔ）からの成分に０～１の数を適用する。ＧＲＵセル１９００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス１９０３と、２つのベクトルを乗算するための複数の乗算器デバイス１９０４、１９０５、及び１９０６と、２つのベクトルを加算するための加算器デバイス１９０７と、１から入力を減算して出力を生成するための相補デバイス１９０８と、を含む。

図２０は、ＧＲＵセル１９００の一実装の一例であるＧＲＵセル２０００を示す。読者の便宜のために、ＧＲＵセル１９００からの同じ採番方法が、ＧＲＵセル２０００で使用される。図２０から分かるように、シグモイド関数デバイス１９０１及び１９０２、並びにｔａｎｈデバイス１９０３は各々、複数のＶＭＭアレイ２００１及び活性化関数ブロック２００２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＧＲＵセルにおいて特に使用されることが分かる。

ＧＲＵセル２０００の代替例（及びＧＲＵセル１９００の一実装の別の例）を図２１に示す。図２１において、ＧＲＵセル２１００は、ＶＭＭアレイ２１０１及び活性化関数ブロック２１０２を利用しており、シグモイド関数として構成された場合には、０～１の数を適用して、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。図２１では、シグモイド関数デバイス１９０１及び１９０２、並びにｔａｎｈデバイス１９０３は、同じ物理ハードウェア（ＶＭＭアレイ２１０１及び活性化関数ブロック２１０２）を、時分割多重化された方式で共有する。ＧＲＵセル２１００はまた、２つのベクトルを乗算するための乗算器デバイス２１０３と、２つのベクトルを加算するための加算器デバイス２１０５と、１から入力を減算して、出力を生成するための相補デバイス２１０９と、マルチプレクサ２１０４と、値ｈ（ｔ－１）^*ｒ（ｔ）を、その値がマルチプレクサ２１０４を介して乗算器デバイス２１０３から出力されるときに保持するためのレジスタ２１０６と、値ｈ（ｔ－１）^*ｚ（ｔ）を、その値がマルチプレクサ２１０４を介して乗算器デバイス２１０３から出力されるときに保持するためのレジスタ２１０７と、値ｈ＾（ｔ）^*（１－ｚ（（ｔ））を、その値がマルチプレクサ２１０４を介して乗算器デバイス２１０３から出力されるときに保持するためのレジスタ２１０８と、を備える。

ＧＲＵセル２０００がＶＭＭアレイ２００１及び活性化関数ブロック２００２の複数のセットを含むのに対し、ＧＲＵセル２１００は、ＧＲＵセル２１００の実施形態において複数の層を表すために使用される、ＶＭＭアレイ２１０１及び活性化関数ブロック２１０２の１つのセットのみを含む。ＧＲＵセル２１００は、ＧＲＵセル２０００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／３で済むので、ＧＲＵセル２１００は、ＧＲＵセル２０００よりも必要とするスペースが少ない。

ＧＲＵシステムは典型的には複数のＶＭＭアレイを含み、これらは各々、加算器及び活性化回路ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることが更に理解できる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。したがって、以下に記載される実施形態では、ＶＭＭアレイ自体の外側に必要とされる回路の最小化を試みる。

ＶＭＭアレイへの入力は、アナログレベル、バイナリレベル、又はデジタルビット（この場合、デジタルビットを適切な入力アナログレベルに変換するためにＤＡＣが必要とされる）であり、出力はアナログレベル、バイナリレベル、又はデジタルビット（この場合、出力アナログレベルをデジタルビットに変換するために出力ＡＤＣが必要とされる）であり得る。

ＶＭＭアレイ内の各メモリセルに関して、各重みｗは、単一のメモリセルによって、又は差分セルによって、又は２つのブレンドメモリセル（２つのセルの平均）によって実装することができる。差分セルの場合では、重みｗを差分重み（ｗ＝ｗ＋－ｗ－）として実装するために、２つのメモリセルが必要とされる。２つのブレンドメモリセルの場合は、２つのセルの平均として重みｗを実装するために２つのメモリセルが必要とされる。
ＶＭＭ内のセルの精密プログラミングのための実施形態

図２２Ａは、プログラミング方法２２００を示す。最初に、方法は、典型的には受信されるプログラムコマンドに応じて、開始する（ステップ２２０１）。次に、一斉プログラム動作が、全てのセルを「０」状態にプログラムする（ステップ２２０２）。次いで、各セルが読み出し動作中に約３～５μＡの電流を引き込むように、ソフト消去動作が、全てのセルに対して中間弱消去レベルに消去を行う（ステップ２２０３）。これは、読み出し動作中に各セルが約２０～３０μＡの電流を引き込む、深く消去されたレベルとは対照的である。次いで、全ての非選択セルで非常に深いプログラムされた状態までセルの浮遊ゲートに電子を追加するハードプログラムが実行されて（ステップ２２０４）、それらのセルが本当に「オフ」であることを確実にし、すなわち、それらのセルは読み出し動作中に無視できる量の電流しか引き込まない。

次いで、粗プログラミング方法が、選択されたセルで実行され（ステップ２２０５）、続いて精密プログラミング方法が、選択されたセルで実行されて（ステップ２２０６）、各選択されたセルに所望される精密な値をプログラムする。

図２２Ｂは、プログラミング方法２２００と同様の別のプログラミング方法２２１０を示す。しかしながら、方法が開始した（ステップ２２０１）後、図２２Ａのステップ２２０２でのように全てのセルを「０」状態にプログラムするプログラム動作の代わりに、消去動作が使用されて、全てのセルに対して消去を行って「１」状態にする（ステップ２２１２）。次いで、各セルが読み出し動作中に約３～５μＡの電流を引き込むように、ソフトプログラム動作（ステップ２２１３）が使用されて、全てのセルを中間状態（レベル）にプログラムする。その後、図２２Ａの場合と同様に、粗プログラミング方法及び精密プログラミング方法が続く。図２２Ｂの実施形態の変形は、ソフトプログラミング方法（ステップ２２１３）を完全に除去する。

図２３は、検索及び実行方法２３００である、粗プログラミング方法２２０５の第１の実施形態を示す。最初に、ルックアップテーブル検索を実行して、選択されたセルの粗標的電流値（Ｉ_CT）を、その選択されたセルに記憶されることが意図される値に基づいて決定する（ステップ２３０１）。選択されたセルは、Ｎ個の可能な値（例えば、１２８、６４、３２など）のうちの１つを記憶するようにプログラムできるとする。Ｎ個の値のそれぞれは、選択されたセルによって読み出し動作中に引き込まれる異なる所望の電流値（Ｉ_D）に対応し得る。一実施形態では、ルックアップテーブルは、検索及び実行方法２３００中に選択されたセルに対する粗標的電流値Ｉ_CTとして使用するためのＭ個の可能な電流値を含み得、Ｍは、Ｎより小さい整数である。例えば、Ｎが８である場合、Ｍは４であり得、これは、選択されたセルが記憶し得る８個の可能な値が存在することを意味し、４つの粗標的電流値のうちの１つは、検索及び実行方法２３００の粗標的として選択されることになる。すなわち、検索及び実行方法２３００（繰り返しになるが、粗プログラミング方法２２０５の実施形態である）は、選択されたセルを、所望の値（Ｉ_D）に幾分近い値（Ｉ_CT）に迅速にプログラムすることを意図しており、次いで、精密プログラミング方法２２０６は、所望の値（Ｉ_D）に極めて近くなるように、選択されたセルをより精密にプログラムすることを意図する。

セル値、所望の電流値、及び粗標的電流値の例を、Ｎ＝８及びＭ＝４の単純な例について表９及び１０に示す。
表９：Ｎ＝８の場合のＮ個の所望の電流値の例

表１０：Ｍ＝４の場合のＭ個の標的電流値の例

オフセット値Ｉ_CTOFFSETxは、粗調整中に所望の電流値をオーバーシュートしてしまうのを防止するために使用される。

粗標的電流値Ｉ_CTが選択されると、選択されたセルは、選択されたセルのセルアーキテクチャタイプ（例えば、メモリセル２１０、３１０、４１０、又は５１０）に基づいた、選択されたセルの適切な端子に電圧ｖ₀を印加することによってプログラムされる（ステップ２３０２）。選択されたセルが図３のメモリセル３１０のタイプである場合、電圧ｖ₀は制御ゲート端子２８に印加され、ｖ₀は粗標的電流値Ｉ_CTに応じて５～７Ｖであり得る。ｖ₀の値は、任意選択的に、粗標的電流値Ｉ_CTと対応させてｖ₀を記憶する電圧ルックアップテーブルから決定することができる。

次に、選択されたセルは、電圧ｖ_i＝ｖ_i-1＋ｖ_incrementを印加することによってプログラムされ、式中、ｉは１で開始し、このステップが繰り返されるたびに増分し、ｖ_incrementは、所望される変化の粒度に見合う程度のプログラミングを引き起こす小さい電圧である（ステップ２３０３）。したがって、第１の時間ステップ２３０３はｉ＝１で実行され、ｖ₁は、ｖ₀＋ｖ_incrementである。次いで、選択されたセルで読み出し動作が実行され、選択されたセルを通って引き込まれる電流（Ｉ_cell）が測定される、検証動作が行われる（ステップ２３０４）。Ｉ_cellがＩ_CT（ここでは第１のスレッショルド値である）以下である場合、検索及び実行方法２３００は完了し、精密プログラミング方法２２０６が開始し得る。Ｉ_cellがＩ_CT以下でない場合、ステップ２３０３が繰り返され、ｉは増分される。

したがって、粗プログラミング方法２２０５が終了し、精密プログラミング方法２２０６が開始する時点で、電圧ｖ_iは、選択されたセルをプログラムするために使用される最後の電圧であり、選択されたセルは、粗標的電流値Ｉ_CTに関連付けられた値を記憶することになる。精密プログラミング方法２２０６の目標は、選択されたセルを、読み出し動作中に選択されたセルが電流Ｉ_D（５０ｐＡ以下などの許容可能な量の偏差を加減する）を引き込む点にプログラムすることであり、この電流は、選択されたセルに記憶されることが意図される値に関連付けられている所望の電流値である。

図２４は、精密プログラム方法２２０６中に、選択されたメモリセルの制御ゲートに印加することができる異なる電圧進行の例を示す。

第１のアプローチ下では、選択されたメモリセルを更にプログラムするために、増加する電圧が制御ゲートに漸次印加される。開始点はｖ_iであり、これは粗プログラミング方法２２０５中に印加された最後の電圧である。増分ｖ_p1がｖ₁に加えられ、次いで、電圧ｖ₁＋ｖ_p1が使用されて、選択されたセルをプログラムする（進行２４０１において左から２番目のパルスによって示される）。ｖ_p1は、ｖ_increment（粗プログラミング方法２２０５の間に使用される電圧増分）より小さい増分である。各プログラミング電圧が印加された後、ＩｃｅｌｌがＩ_PT1（第１の精密標的電流値であり、ここでは第２のスレッショルド値である）以下であるかどうかの判定が行われる、検証ステップ（ステップ２３０４と同様）が実行され、Ｉ_PT1＝Ｉ_D＋Ｉ_PT1OFFSETであり、Ｉ_PT1OFFSETは、プログラムオーバーシュートを防止するために加算されるオフセット値である。判定が否である場合、別の増分ｖ_p1が、前に印加されたプログラミング電圧に加えられ、プロセスが繰り返される。Ｉ_cellがＩ_PT1以下である時点で、プログラミングシーケンスのこの部分は停止する。任意選択的に、Ｉ_PT1がＩ_Dに等しいか、又は十分な精度でＩ_Dにほぼ等しい場合、選択されたメモリセルは正常にプログラムされている。

Ｉ_PT1がＩ_Dに十分に近接していない場合は、より小さい粒度の更なるプログラミングを行うことができる。ここで、進行２４０２が使用される。進行２４０２の開始点は、進行２４０１下のプログラミングに使用された最後の電圧である。増分Ｖ_p2（ｖ_p1よりも小さい）がその電圧に加えられ、組み合わされた電圧が印加されて、選択されたメモリセルをプログラムする。各プログラミング電圧が印加された後、Ｉ_cellがＩ_PT2（第２の精密標的電流値であり、ここでは第３のスレッショルド値である）以下であるかどうかの判定が行われる、検証ステップ（ステップ２３０４と同様）が実行され、Ｉ_PT2＝ＩＤ＋Ｉ_PT2OFFSETであり、Ｉ_PT2OFFSETは、プログラムオーバーシュートを防止するために加算されるオフセット値である。判定が否である場合、別の増分Ｖ_p2が、前に印加されたプログラミング電圧に加えられ、プロセスが繰り返される。Ｉ_cellがＩ_PT2以下である時点で、プログラミングシーケンスのこの部分は停止する。ここで、標的値が十分な精度で達成されているので、Ｉ_PT2はＩ_Dに等しいか、又はプログラミングが停止できるほどＩ_Dに十分に近接していると想定される。当業者は、使用されるプログラミング増分が段々と小さくなって追加の進行が適用され得ることを理解することができる。例えば、図２５では、２つだけではなく、３つの進行（２５０１、２５０２、及び２５０３）が適用される。

第２のアプローチが、進行２４０３に示される。ここで、選択されたメモリセルのプログラミング中に印加される電圧を増加させる代わりに、増加する期間の持続時間に対して同じ電圧が印加される。進行２４０１におけるｖ_p1及び進行２４０３におけるｖ_p2などの増分電圧を加える代わりに、各印加パルスが、前に印加されたパルスよりもｔ_p1だけ長くなるように、追加の時間増分ｔ_p1がプログラミングパルスに加えられる。各プログラミングパルスが印加された後、進行２４０１について前述したのと同じ検証ステップが実行される。任意選択的に、プログラミングパルスに加えられる追加の時間増分が前の使用された進行よりも短い持続時間である、追加の進行を、印加することができる。１つの時間的な進行のみが示されているが、当業者は、任意の数の異なる時間的進行が印加され得ることを理解するであろう。

ここで、粗プログラミング方法２２０５の２つの更なる実施形態について、更なる詳細が提供される。

図２６は、適応較正方法２６００である、粗プログラミング方法２２０５の第２の実施形態を示す。方法が開始する（ステップ２６０１）。セルは、デフォルトの出発値ｖ₀でプログラムされる（ステップ２６０２）。検索及び実行方法２３００とは異なり、ここでｖ₀は、ルックアップテーブルから得られず、代わりに比較的小さい初期値とすることができる。セルの制御ゲート電圧は、第１の電流値ＩＲ１（例えば、１００ｎａ）及び第２の電流値ＩＲ２（例えば、１０ｎａ）で測定され、サブスレッショルド傾斜は、それらの測定値に基づいて決定され（例えば、３６０ｍＶ／ｄｅｃ）、記憶される（ステップ２６０３）。

新しい所望の電圧ｖ_iが決定される。このステップが最初に実行されるとき、ｉ＝１であり、ｖ₁は、以下のようなサブスレッショルド式を使用して、記憶されたサブスレッショルド傾斜値並びに電流標的及びオフセット値に基づいて決定される。
Ｖｉ＝Ｖｉ－１＋Ｖｉｎｃｒｅｍｅｎｔ、
Ｖｉｎｃｒｅｍｅｎｔは、傾斜Ｖｇに比例する
Ｖｇ＝ｋ^*Ｖｔ^*ｌｏｇ［Ｉｄｓ／ｗａ^*Ｉｏ］
ここで、ｗａはメモリセルのｗであり、Ｉｄｓは電流標的プラスオフセット値である。

記憶された傾斜値が比較的急勾配である場合、比較的小さい電流オフセット値を使用することができる。記憶された傾斜値が比較的平坦である場合、比較的高い電流オフセット値を使用することができる。したがって、傾斜情報を決定することは、問題の特定のセルにカスタマイズされている電流オフセット値が選択されることを可能にする。これは、最終的に、プログラミングプロセスをより短くする。このステップが繰り返されると、ｉはインクリメントされ、ｖ_i＝ｖ_i-1＋ｖ_incrementである。次いで、セルは、ｖｉを使用してプログラムされる。ｖ_incrementは、標的電流値と対応させてｖ_incrementの値を記憶するルックアップテーブルから決定することができる。

次に、選択されたセルで読み出し動作が実行され、選択されたセルを通って引き込まれる電流（Ｉ_cell）が測定される、検証動作が行われる（ステップ２６０５）。Ｉ_cellがＩ_CT（ここでは粗標的スレッショルド値である）以下である場合（Ｉ_CT＝Ｉ_D＋Ｉ_CTOFFSETに設定され、Ｉ_CTOFFSETは、プログラムオーバーシュートを防止するために追加されるオフセット値である）、適応較正方法２６００は完了し、精密プログラミング方法２２０６が開始され得る。Ｉ_cellがＩ_CT以下でない場合、ステップ２６０４～２６０５が繰り返され、ｉは増分される。

図２７は、適応較正方法２６００の態様を示す。ステップ２６０３中、例示的な電流値ＩＲ１及びＩＲ２を選択されたセル（ここではメモリセル２７０２）に印加するために電流源２７０１が使用され、次いで、メモリセル２７０２の制御ゲートにおける電圧（ＩＲ１に対するＣＧＲ１及びＩＲ２に対するＣＧＲ２）が測定される。傾斜は、（ＣＧＲ２－ＣＧＲ１）／ｄｅｃである。

図２８は、絶対較正方法２８００である、粗プログラミング方法２２０５の第２の実施形態を示す。方法が開始する（ステップ２８０１）。セルは、デフォルトの出発値Ｖ₀でプログラムされる（ステップ２８０２）。セル（ＶＣＧＲｘ）の制御ゲート電圧は、電流値Ｉｔａｒｇｅｔで測定され、記憶される（ステップ２８０３）。新しい所望の電圧ｖ₁は、記憶された制御ゲート電圧並びに電流標的及びオフセット値Ｉｏｆｆｓｅｔ＋Ｉｔａｒｇｅｔに基づいて決定される（ステップ２８０４）。例えば、新しい所望の電圧ｖ₁は、以下のように計算することができる：ｖ₁＝ｖ₀＋（ＶＣＧＢＩＡＳ－記憶されたＶＣＧＲ）、式中、ＶＣＧＢＩＡＳ＝約１．５Ｖであり、これは、最大標的電流でのデフォルトの読み出し制御ゲート電圧であり、記憶されたＶＣＧＲは、ステップ２８０３の測定された読み出し制御ゲート電圧である。

次いで、セルは、ｖ_iを使用してプログラムされる。ｉ＝１のとき、ステップ２８０４からの電圧ｖ₁が使用される。ｉ＞＝２のとき、電圧ｖ_i＝ｖ_i-1＋Ｖ_incrementが使用される。ｖ_incrementは、標的電流値と対応させてｖ_incrementの値を記憶するルックアップテーブルから決定することができる。次に、検証動作が行われ、ここで、選択されたセルで読み出し動作が実行され、選択されたセルを通って引き込まれる電流（Ｉ_cell）が測定される（ステップ２８０６）。Ｉ_cellがＩ_CT（ここではスレッショルド値である）以下である場合、絶対較正方法２８００は完了し、精密プログラミング方法２２０６が開始され得る。Ｉ_cellがＩ_CT以下でない場合、ステップ２８０５～２８０６が繰り返され、ｉは増分される。

図２９は、絶対較正方法２８００のステップ２８０３を実装するための回路２９００を示す。電圧源（図示せず）はＶＣＧＲを生成し、これは、初期電圧で開始し、上昇する。ここで、ｎ＋１個の異なる電流源２９０１（２９０１－０、２９０１－１、２９０１－２、．．．、２９０１－ｎ）は、大きさが増加していく異なる電流ＩＯ０、ＩＯ１、ＩＯ２、．．．ＩＯｎを生成する。各電流源２９０１は、インバータ２９０２（２９０２－０、２９０２－１、２９０２－２、．．．、２９０２－ｎ）及びメモリセル２９０３（２９０３－０、２９０３－１、２９０３－２、．．．２９０３－ｎ）に接続されている。ＶＣＧＲが上昇するにつれて、各メモリセル２９０３は、増加する量の電流を引き込み、各インバータ２９０２への入力電圧は減少する。ＩＯ０＜ＩＯ１＜ＩＯ２＜．．．＜ＩＯｎであるため、ＶＣＧＲが増加するにつれて、最初にインバータ２９０２－０の出力が低から高に切り替わる。次にインバータ２９０２－１の出力が低から高に切り替わり、次いでインバータ２９０２－２の出力が同様に切り替わり、以下インバータ２９０２－ｎの出力が低から高に切り替わるまで同様である。各インバータ２９０２は、スイッチ２９０４（２９０４－０、２９０４－１、２９０４－２、．．．、２９０４－ｎ）を制御し、その結果、インバータ２９０２の出力が高であるとき、スイッチ２９０４は閉じられ、これは、ＶＣＧＲがコンデンサ２９０５（２９０５－０、２９０５－１、２９０５－２、．．．、２９０５－ｎ）によってサンプリングされることを引き起こす。したがって、スイッチ２９０４及びコンデンサ２９０５は、サンプルアンドホールド回路を形成する。ＩＯ０、ＩＯ１、ＩＯ２、．．．、ＩＯｎの値は、Ｉｔａｒｇｅｔの可能な値として使用され、それぞれのサンプリングされた電圧は、図２８の絶対較正方法２８００において関連する値ＶＣＧＲｘとして使用される。グラフ２９０６は、経時的に上昇するＶＣＧＲ、並びに様々な時間において低から高に切り替わるインバータ２９０２－０、２９０２－１、及び２９０２－ｎの出力を示す。

図３０は、適応較正方法２６００又は絶対較正方法２８００中に、選択されたセルをプログラミングするための例示的な進行３０００を示す。一実施形態では、電圧Ｖｃｇｐは、選択された行のメモリセルの制御ゲートに印加される。選択された行内の選択されたメモリセルの数は、例えば、３２個のセルである。したがって、選択された行内の最大３２個のメモリセルが、並行してプログラムされ得る。各メモリセルは、ビット線イネーブル信号によって、プログラミング電流Ｉｐｒｏｇに結合することが可能になる。ビット線イネーブル信号が非アクティブである場合（選択されたビット線に正電圧が印加されていることを意味する）、メモリセルはインヒビット状態である（プログラムされない）。図３０に示されるように、ビット線有効化信号Ｅｎ＿ｂｌｘ（ｘは１～ｎで変化し、ｎはビット線の数である）は、異なる時間に、そのビット線に所望されるＶｃｇｐ電圧レベルで（したがって、上記ビット線上の選択されたメモリに対して）有効化される。別の実施形態では、選択されたセルの制御ゲートに印加される電圧は、ビット線でのイネーブル信号を使用して制御することができる。各ビット線イネーブル信号により、そのビット線に対応する所望の電圧（図２８に記載のｖｉなど）がＶｃｇｐとして印加される。ビット線イネーブル信号はまた、ビット線に流れ込むプログラミング電流を制御することもできる。この例では、後続の制御ゲート電圧Ｖｃｇｐはそれぞれ、その前の電圧よりも高い。あるいは、後続の制御ゲート電圧はそれぞれ、その前の電圧より低くても、高くてもよい。Ｖｃｇｐの後続の増分はそれぞれ、その前の増分と等しいか又は等しくないかのいずれでもよい。

図３１は、適応較正方法２６００又は絶対較正方法２８００中に、選択されたセルをプログラミングするための例示的な進行３１００を示す。一実施形態では、ビット線イネーブル信号は、選択されたビット線（上記ビット線内の選択されたメモリセルを意味する）が、対応するＶｃｇｐ電圧レベルでプログラムされることを可能にする。別の実施形態では、選択されたセルの増分上昇を行う制御ゲートに印加される電圧は、ビット線イネーブル信号を使用して制御することができる。各ビット線イネーブル信号により、そのビット線に対応する所望の電圧（図２８に記載のｖｉなど）が制御ゲート電圧に印加される。この例では、後続の増分はそれぞれ、その前の増分と等しい。

図３２は、ＶＭＭアレイで読み出し又は検証するための入力及び出力方法を実装するためのシステムを示す。入力関数回路３２０１は、デジタルビット値を受信し、それらのデジタル値をアナログ信号に変換して使用することで、制御ゲートデコーダ３２０２を介して決定した、アレイ３２０４内の選択されたセルの制御ゲートに電圧を印加する。同時に、ワード線デコーダ３２０３もまた、選択されたセルが位置する行を選択するために使用される。出力ニューロン回路ブロック３２０５は、アレイ３２０４内のセルの各列（ニューロン）の出力作用を実行する。出力回路ブロック３２０５は、積分型アナログ－デジタル変換器（analog-to-digital converter、ＡＤＣ）、逐次比較型（successive approximation、ＳＡＲ）ＡＤＣ、又はシグマデルタ型ＡＤＣを使用して実装することができる。

一実施形態では、入力関数回路３２０１に提供されるデジタル値は、例として４つのビット（ＤＩＮ３、ＤＩＮ２、ＤＩＮ１、及びＤＩＮ０）を含み、様々なビット値は、制御ゲートに印加される異なる数の入力パルスに対応する。パルスの数が大きいほど、セルの出力値（電流）は大きくなる。ビット値及びパルス値の例を表１１に示す。
表１１：デジタルビット入力と生成パルス数

上記の例では、セル値を読み出すための４ビットのデジタル値に対して最大１６個のパルスが存在する。各パルスは、１単位のセル値（電流）に等しい。例えば、Ｉｃｅｌｌ単位＝１ｎＡの場合、ＤＩＮ［３～０］＝０００１では、Ｉｃｅｌｌ＝１^*１ｎＡ＝１ｎＡであり、ＤＩＮ［３～０］＝１１１１では、Ｉｃｅｌｌ＝１５^*１ｎＡ＝１５ｎＡである。

別の実施形態では、デジタルビット入力は、表１２に示すように、セル値を読み出すためにデジタルビット位置加算を使用する。ここで、４ビットのデジタル値を評価するのに、４つのパルスのみが必要である。例えば、第１のパルスはＤＩＮ０を評価するために使用され、第２のパルスはＤＩＮ１を評価するために使用され、第３のパルスはＤＩＮ２を評価するために使用され、第４のパルスはＤＩＮ３を評価するために使用される。その後、４つのパルスからの結果は、ビット位置に応じて加算される。実現されるデジタルビット加算式は、以下のものである：出力＝２＾０^*ＤＩＮ０＋２＾１^*ＤＩＮ１＋２＾２^*ＤＩＮ２＋２＾３^*ＤＩＮ３）^*Ｉｃｅｌｌ単位。

例えば、Ｉｃｅｌｌ単位＝１ｎＡの場合、ＤＩＮ［３～０］＝０００１では、Ｉｃｅｌｌ合計＝０＋０＋０＋１^*１ｎＡ＝１ｎＡであり、ＤＩＮ［３～０］＝１１１１では、Ｉｃｅｌｌ合計＝８^*１ｎＡ＋４^*１ｎＡ＋２^*１ｎＡ＋１^*１ｎＡ＝１５ｎＡである。
表１２：デジタルビット入力加算

図３３は、検証動作中にＶＭＭの出力を合計して、出力を表す単一のアナログ値を得るために使用できる電荷加算器３３００の例を示しており、この単一のアナログ値は、任意選択的にデジタルビット値に変換することもできる。電荷加算器３３００は、電流源３３０１と、スイッチ３３０２及びサンプルアンドホールド（sample-and-hold、Ｓ／Ｈ）コンデンサ３３０３を含むサンプルアンドホールド回路と、を含む。４ビットのデジタル値の例で示されるように、４つの評価パルスからの値を保持するための４つのＳ／Ｈ回路が存在し、そこで、これらの値はプロセスの終了時に合計される。Ｓ／Ｈコンデンサ３３０３は、そのＳ／Ｈコンデンサの２＾ｎ^*ＤＩＮｎビット位置に関連付けられる比率で選択され、例えば、Ｃ＿ＤＩＮ３＝ｘ８ Ｃｕ、Ｃ＿ＤＩＮ２＝ｘ４ Ｃｕ、Ｃ＿ＤＩＮ１＝ｘ２ Ｃｕ、ＤＩＮ０＝ｘ１ Ｃｕである。電流源３３０１もまた、それに応じて比率が乗じられる。

図３４は、検証動作中にＶＭＭの出力を合計するために使用できる電流加算器３４００を示す。電流加算器３４００は、電流源３４０１、スイッチ３４０２、スイッチ３４０３及びスイッチ３４０４、並びにスイッチ３４０５を含む。４ビットのデジタル値の例で示されるように、４つの評価パルスからの値を保持するための電流源回路が存在し、これらの値はプロセスの終了時に合計される。電流源は、２＾ｎ^*ＤＩＮｎビット位置に基づいて比率が乗じられ、例えば、Ｉ＿ＤＩＮ３＝ｘ８ Ｉｃｅｌｌ単位、＿Ｉ＿ＤＩＮ２＝ｘ４ Ｉｃｅｌｌ単位、Ｉ＿ＤＩＮ１＝ｘ２ Ｉｃｅｌｌ単位、Ｉ＿ＤＩＮ０＝ｘ１ Ｉｃｅｌｌ単位である。

図３９は、出力ブロック３９００（図３２の出力ブロック３２０５の実施形態である）を示す。出力ブロック３９００は、ここではＩＣＥＬＬ ３９０１として示されるＶＭＭ（図３２のアレイ３２０４など）から出力電流を受け取る。出力ブロック３９００は、Ｄ／Ａ変換器３９０２、シフタ３９０３、アダー３９０４、及び出力レジスタ３９０５を備える。

ここで、ＶＭＭの入力ブロック（図３２の入力ブロック３２０１など）への入力はｄｉｎ＿ｎであると仮定され、ｎはビット数であり、０からｉ－１までの合計ｉビットが存在する。例えば、ｉ＝４の場合、入力は、ｄｉｎ＿３、ｄｉｎ＿２、ｄｉｎ＿１、及びｄｉｎ＿０の４ビットとなる。各入力ビットｄｉｎ＿ｎは、一度にＶＭＭ ３２０４の入力ブロック３２０１に適用される。

入力ブロック３２０１は、ｄｉｎ＿ｎを、アレイ３２０４内の選択されたセルの端子に印加される入力信号に（本明細書で説明される実施形態のうちの１つ又は他の既知の技法を使用して）変換する。一実施形態では、入力信号は、表１３に示すように例示的な４ビット入力に対するパルスである。
表１３．４ビット入力とパルスの例示的な表

別の実施形態では、入力信号は、表１４Ａに示すように例示的な４ビット入力に対するアナログバイアス電圧である。
表１４Ａ：４ビット入力とアナログバイアスレベルの例示的な表

特定の行に対する４ビット入力ＤＩＮ［３：０］は、１６個のレベル（例えば、ＶＣＧＩＮ０、．．．、又はＶＣＧＩＮ１５）のうちの１つのアナログレベルを選択させ、ＶＭＭアレイの行に適用させる。この演算は、同時に入力において４つのデータに行われる。代替的な実施形態は、入力において一度に１つのデータを演算すること（入力ビットごとの演算）であり、入力における各データに対する結果は、次いで、アナログ領域（図３３、図３４）又はデジタル領域（図３５、図３９）において一緒に加算（合計）される。結果の加算は、アナログバイアスレベル（ＶＣＧＩＮ［１５：０］）が入力ビットにおける全てのデータに対して同じ電圧値を有する場合、各入力ビットに対するバイナリ重みに対して調整される（図３９におけるシフト及び加算）。アナログバイアスレベル（ＶＣＧＩＮ［１５：０］）がデータ入力ビットのバイナリ値に等しい電圧値を有する場合、入力ビットのデータに対してバイナリ重み調整は必要ない。

別の実施形態では、アレイの入力ブロックへの入力信号は、一定のアナログバイアス電圧を伴う入力ビットごとの演算（例えば、演算は、ＤＩＮ０、次いでＤＩＮ１、次いでＤＩＮ２、次いでＤＩＮ３入力に対して行われる）のための表１４Ｂに示される例示的な４ビット入力である。
表１４Ｂ：４ビット入力と入力ビットごとの演算を伴う単一アナログバイアスレベルの例示的な表

入力ビットＤＩＮごとのバイナリ加重結果は、（図３４の電流加算器を使用することによってなど）アナログ領域において、又は（図３５又は図３９の実施形態を使用することによってなど）デジタル領域において、合計される。

別の実施形態では、アレイの入力ブロックへの入力信号は、２つのアナログバイアスレベルの例を伴う入力マルチビットごとの演算（例えば、ＤＩＮ３及びＤＩＮ２を合わせて、並びにＤＩＮ１及びＤＩＮ０を合わせて）のための表１４Ｃに示されるような例示的な４ビット入力である。
表１４Ｃ：４ビット入力と入力マルチビットごとの演算を伴うアナログバイアスレベルの例示的な表

マルチビットごとのバイナリ加重結果ＤＩＮ［１：０］及びＤＩＮ［３：２］は、アナログ領域（図３４の電流加算器のような）又はデジタル領域（図３５、図３９）において合計される。

別の実施形態では、入力信号は、アナログバイアス供給及びパルスを伴う例示的な４ビット入力に対して表１５に示されるような、パルス成分（アナログバイアス供給変調パルス幅）が加えられたアナログバイアス電圧成分を含むハイブリッド信号である。
表１５：４ビット入力とアナログバイアスレベル及びパルスのハイブリッド入力のための例示的な表

このハイブリッドシステムでは、表１５に示すように、入力パルスのタイミングが半分に短縮される。入力データは複数の入力データ入力セットに分割され、各データ入力セットは特定のバイアスレベル成分に割り当てられる。例えば、８ビット入力ＤＩＮ［７：０］の場合、データ入力セットＤＩＮ［３：０］内の入力データは、行電源ＶＣＧＩＮ１を受け取り、データ入力セットＤＩＮ［７：４］内の入力データは、ＶＣＧＩＮ１とは異なる別の行電源ＶＣＧＩＮ２を受け取る。２つのバイナリ入力セット分割のこの例示的な実施形態では、（第２のデータ入力セットＤＩＮ［７：４］のための）アナログバイアス電源ＶＣＧＩＮ２は、（第１のデータ入力セットＤＩＮ［３：０］のための）アナログバイアス電源ＶＣＧＩＮ１によって生成されるセル電流の２倍であるセル電流を生成し、第２のデータ入力セットＤＩＮ［７：４］のためのパルスは、第１のデータ入力セットＤＩＮ［３：０］のためのパルスと同じ値である。例えば、ＶＣＧＩＮ２／ＶＣＧＩＮ１の比率は、線形領域で動作するセルについては２倍である。この実施形態の変形例では、入力データ入力セットに対して２つの分割があり、各々が異なるアナログバイアス電圧に対応する。例えば、必要な入力パルスの幅を４分の１に減少させるために、各々が異なるＶＣＣＧＩＮバイアスレベルを有する４つの分割があり得る。

再び図３９を参照すると、次に、出力ブロック３９００は、入力ｄｉｎ＿ｎに応答してＶＭＭから出力電流ＩＣＥＬＬを受け取る。Ｄ／Ａ変換器３９０２は、ＩＣＥＬＬを、ｄｉｎ＿ｎに応答して生成された出力のデジタル値を表すデジタル形式ｄｏｕｔ＿ｎに変換し、各ｄｏｕｔ＿ｎは１つ以上のビットのセットである。

シフタ３９０３、アダー３９０４、及びレジスタ３９０５は、各入力ビットＤＩＮ＿ｎに応答して生成される各出力ＤＯＵＴ＿ｎに異なる重みを適用するように動作する。ｎ＝４である単純な例では、シフタ３９０２、アダー３９０４、及びレジスタ３９０５は以下の作用を実行する。
（１）ＤＩＮ＿０に応答して、シフタ３９０３はＤＯＵＴ＿０を受信し、それをシフトせず、（１）の結果を生成する。
（２）ＤＩＮ＿１に応答して、シフタ３９０３はＤＯＵＴ＿１を受信し、それを左に１ビットシフトし、アダーはその結果を（１）の結果に加算して（２）の結果を生成する。
（３）ＤＩＮ＿２に応答して、シフタ３９０３はＤＯＵＴ＿２を受信し、それを左に２ビットシフトし、アダー３９０４はその結果を（２）の結果に加算して（３）の結果を生成する。
（４）ＤＩＮ＿３に応答して、シフタは、ＤＯＵＴ＿３を受信し、それを左に３ビットシフトし、アダー３９０４は、その結果を（３）の結果に加算して、（４）の結果、すなわち最終結果を生成する。

ＤＩＮ［ｎ：０］入力が、各データ入力のバイナリ重みを表すようにアナログ電圧レベルと組み合わされる場合、加算のみが必要とされ、このハイブリッド入力ビットごとの演算のためにシフトすることはない。出力レジスタ３９０５は、（４）の結果をＤＯＵＴとして出力する。

図３５は、複数のデジタル値を受信し、それらを一緒に合計し、入力の和を表す出力ＤＯＵＴを生成する、デジタル加算器３５００を示す。デジタル加算器３５００は、検証動作中に使用することができる。４ビットのデジタル値の例で示されるように、４つの評価パルスからの値を保持するためのデジタル出力ビットが存在し、これらの値はプロセスの終了時に合計される。デジタル出力は、２＾ｎ^*ＤＩＮｎビット位置に基づいてデジタルスケーリングされ、例えば、ＤＯＵＴ３＝ｘ８ ＤＯＵＴ０、＿ＤＯＵＴ２＝ｘ４ ＤＯＵＴ１、Ｉ＿ＤＯＵＴ１＝ｘ２ ＤＯＵＴ０、Ｉ＿ＤＯＵＴ０＝ＤＯＵＴ０である。

図３６Ａは、セル電流をデジタル出力ビットに変換するために出力ニューロンに適用される二重傾斜積分型ＡＤＣ ３６００を示す。積分オペアンプ３６０１及び積分コンデンサ３６０２からなる積分器は、基準電流ＩＲＥＦに対してセル電流ＩＣＥＬＬを積分する。図３６Ｂに示されるように、固定時間ｔ１の間、セル電流は上方に積分され（Ｖｏｕｔが上昇する）、次いで、基準電流が、時間ｔ２にわたって下方に積分される（Ｖｏｕｔが降下する）ように印加される。電流Ｉｃｅｌｌは、＝ｔ２／ｔ１^*ＩＲＥＦである。例えば、ｔ１に対して、１０ビットのデジタルビット解像度では、１０２４サイクルが使用され、ｔ２に対するサイクル数は、Ｉｃｅｌｌ値に応じて０～１０２４サイクルに変化する。

図３６Ｃは、セル電流をデジタル出力ビットに変換するために出力ニューロンに適用される単一傾斜積分型ＡＤＣ ３６６０を示す。積分オペアンプ３６６１及び積分コンデンサ３６６２からなる積分器は、セル電流ＩＣＥＬＬを積分する。図３６Ｄに示されるように、時間ｔ１の間、セル電流が上方に積分され（ＶｏｕｔがＶｒｅｆ２に達するまで上昇する）、時間ｔ２の間、別のセル電流が上方に積分される。セル電流Ｉ ｃｅｌｌ＝Ｃｉｎｔ^*Ｖｒｅｆ２／ｔである。パルスカウンタは、積分時間ｔの間のパルス（デジタル出力ビット）数をカウントするために使用される。例えば、図示されるように、ｔ１に対するデジタル出力ビットは、ｔ２のデジタル出力ビットよりも少なく、これは、ｔ１の間のセル電流がｔ２積分中のセル電流よりも大きいことを意味する。初期較正は、積分コンデンサ値を基準電流及び固定時間で較正するために行われ、Ｃｉｎｔ＝Ｔｒｅｆ^*Ｉｒｅｆ／Ｖｒｅｆ２である。

図３６Ｅは、セル電流をデジタル出力ビットに変換するために出力ニューロンに適用される二重傾斜積分型ＡＤＣ ３６８０を示す。二重傾斜積分型ＡＤＣ ３６８０は、積分オペアンプを利用しない。セル電流又は基準電流は、コンデンサ３６８２で直接積分される。パルスカウンタは、積分時間の間のパルス（デジタル出力ビット）をカウントするために使用される。電流Ｉｃｅｌｌは、＝ｔ２／ｔ１^*ＩＲＥＦである。

図３６Ｆは、セル電流をデジタル出力ビットに変換するために出力ニューロンに適用される単一傾斜積分型ＡＤＣ ３６９０を示す。単一傾斜積分型ＡＤＣ ３６８０は、積分オペアンプを利用しない。セル電流は、コンデンサ３６９２で直接積分される。パルスカウンタは、積分時間の間のパルス（デジタル出力ビット）をカウントするために使用される。セル電流Ｉ ｃｅｌｌ＝Ｃｉｎｔ^*Ｖｒｅｆ２／ｔである。

図３７Ａは、セル電流をデジタル出力ビットに変換するために出力ニューロンに適用されるＳＡＲ（逐次比較型）ＡＤＣを示す。セル電流は、抵抗器を通して降下させて、ＶＣＥＬＬに変換することができる。あるいは、セル電流は、Ｓ／Ｈコンデンサをチャージアップして、ＶＣＥＬＬに変換することもできる。ＭＳＢビット（最上位ビット）から始まるビットを計算するために、二分探索が使用される。ＳＡＲ３７０１からのデジタルビットに基づいて、適切なアナログ基準電圧をコンパレータ３７０３に設定するために、ＤＡＣ３７０２が使用される。コンパレータ３７０３の出力は、次のアナログレベルを選択するために、ＳＡＲ３７０１に順番にフィードバックされる。図３７Ｂに示されるように、４ビットのデジタル出力ビットの例では、４つの評価期間が存在し、アナログレベルを中間に設定することによってＤＯＵＴ３を評価するための第１のパルス、次いで、アナログレベルを上半分の中間又は下半分の中間に設定することによってＤＯＵＴ２を評価するための第２のパルスなどがある。

図３８は、セル電流をデジタル出力ビットに変換するために出力ニューロンに適用されるシグマデルタ型ＡＤＣ ３８００を示す。オペアンプ３８０１及びコンデンサ３８０５からなる積分器は、選択されたセル電流からの電流と、１ビット電流ＤＡＣ ３８０４からもたらされる基準電流との総和を積分する。コンパレータ３８０２は、基準電圧に対して積分出力電圧を比較する。クロックドＤＦＦ ３８０３は、コンパレータ３８０２の出力に応じてデジタル出力ストリームを提供する。デジタル出力ストリームは、典型的には、デジタル出力ビットに出力される前にデジタルフィルタに進む。

本明細書で使用される場合、「の上方に（over）」及び「に（on）」という用語は両方とも、「に直接」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「に間接的に」（中間材料、要素、又は間隙がそれらの間に配設されている）を包括的に含むことに留意されるべきである。同様に、「隣接した」という用語は、「直接隣接した」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「間接的に隣接した」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「に取り付けられた」は、「に直接取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「に間接的に取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「電気的に結合された」は、「に直接電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にない）、及び「に間接的に電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にある）を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板に直接、中間材料／要素をそれらの間に伴わずに形成すること、及びその要素を基板に間接的に１つ以上の中間材料／要素をそれらの間に伴って形成することを含み得る。

図１３は、図３に示されるメモリセル３１０に特に適しており、かつ入力層と次の層との間でシナプス及びニューロンの一部として利用される、ニューロンＶＭＭアレイ１３００を示す。ＶＭＭアレイ１３００は、不揮発性メモリセルのメモリアレイ１３０３と、第１の不揮発性基準メモリセルの基準アレイ１３０１と、第２の不揮発性基準メモリセルの基準アレイ１３０２と、を備える。ＥＧ線ＥＧＲ０、ＥＧ０、ＥＧ１、及びＥＧＲ１は垂直に延び、ＣＧ線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３並びにＳＬ線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３は水平に延びる。ＶＭＭアレイ１３００は、ＶＭＭアレイ１３００が双方向チューニングを実装することを除いてＶＭＭアレイ１４００と同様であり、各個々のセルは、個別のＥＧ線の使用により、浮遊ゲートの所望の電荷量に達するために、完全に消去され、部分的にプログラムされ、必要に応じて部分的に消去することができる。示されるように、基準アレイ１３０１及び１３０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２及びＢＬＲ３における入力電流を制御ゲート電圧ＣＧ０、ＣＧ１、ＣＧ２及びＣＧ３に変換し（マルチプレクサ１３１４を介したダイオード接続された基準セルの作用を通じて）、これらの電圧は行方向でメモリセルに印加される。電流出力（ニューロン）は、ビット線ＢＬ０～ＢＬＮ中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。

図２６は、適応較正方法２６００である、粗プログラミング方法２２０５の第２の実施形態を示す。方法が開始する（ステップ２６０１）。セルは、デフォルトの出発値ｖ₀でプログラムされる（ステップ２６０２）。検索及び実行方法２３００とは異なり、ここでｖ₀は、ルックアップテーブルから得られず、代わりに比較的小さい初期値とすることができる。セルの制御ゲート電圧は、第１の電流値ＩＲ１（例えば、１００ｎＡ）及び第２の電流値ＩＲ２（例えば、１０ｎＡ）で測定され、サブスレッショルド傾斜は、それらの測定値に基づいて決定され（例えば、３６０ｍＶ／ｄｅｃ）、記憶される（ステップ２６０３）。

Claims (40)

1. 選択された不揮発性メモリセルを読み出す方法であって、前記方法は、
   複数の入力ビットを入力回路に順次提供するステップと、
   前記複数の入力ビットの各々に対して、
   前記入力回路によって、前記入力ビットに応答して入力信号を生成するステップと、
   前記入力信号を前記選択された不揮発性メモリセルの端子に印加するステップと、
   出力回路によって、前記入力ビットに応答して生成された出力を受信するステップと、
   前記出力をデジタル出力に変換するステップと、
   シフトされた結果を生成するために、前記複数の入力ビット内の前記入力ビットのビットロケーションに基づいて前記デジタル出力をシフトするステップと、
   デジタル出力を生成するために、前記複数の入力ビットの全てについて前記シフトされた結果を加算するステップと、を含む、方法。
2. 前記選択された不揮発性メモリセルは、スプリットゲート型フラッシュメモリセルである、請求項１に記載の方法。
3. 前記端子は、制御ゲート端子である、請求項２に記載の方法。
4. 前記選択された不揮発性メモリセルは、ニューラルメモリの一部である、請求項１に記載の方法。
5. 前記入力信号は、パルスを含む、請求項１に記載の方法。
6. 前記入力信号は、アナログバイアス信号を含む、請求項１に記載の方法。
7. 前記入力信号は、アナログバイアス信号及びパルスを含む、請求項１に記載の方法。
8. 前記複数の入力ビットのうちの１つは、前記アナログバイアス信号として符号化される、請求項７に記載の方法。
9. ニューロモーフィックメモリシステムであって、
   複数の選択されたメモリセルを含むアレイと、
   各選択されたメモリセルに、一連の入力ビットに応答して、前記選択されたメモリセルの端子に一連の入力信号を印加するように構成された入力ブロックと、
   前記選択されたメモリセルの出力を生成するための出力ブロックであって、前記出力ブロックは、前記選択されたメモリセルからの電流をデジタル値に変換するためのアナログ－デジタル変換器、シフタ、アダー、及びレジスタを備える、出力ブロックと、を備え、
   前記シフタ、アダー、及びレジスタは、前記一連の入力ビットに応答して一連のデジタル値を受信し、前記一連の入力ビット内の前記入力ビットのビットロケーションに基づいて前記一連のデジタル値内の各デジタル値をシフトし、前記シフト演算の結果を加算して、前記選択されたメモリセル内に記憶された値を示す出力を生成するように構成されている、ニューロモーフィックメモリシステム。
10. 前記選択された不揮発性メモリセルは、スプリットゲート型フラッシュメモリセルである、請求項９に記載の方法。
11. 前記端子は、制御ゲート端子である、請求項１０に記載の方法。
12. 前記選択された不揮発性メモリセルは、ニューラルメモリの一部である、請求項９に記載の方法。
13. 前記入力信号は、パルスを含む、請求項９に記載の方法。
14. 前記入力信号は、アナログバイアス信号を含む、請求項９に記載の方法。
15. 前記入力信号は、アナログバイアス信号及びパルスを含む、請求項９に記載の方法。
16. 前記複数の入力ビットのうちの１つは、前記アナログバイアス信号として符号化される、請求項１５に記載の方法。
17. 選択された不揮発性メモリセルを読み出す方法であって、前記方法は、
    複数の入力ビットを入力回路に順次提供するステップと、
    前記複数の入力ビットの各々に対して、
    前記入力回路によって、前記入力ビットに応答して入力信号を生成するステップであって、前記入力信号は、アナログバイアスレベル成分及びパルス幅成分を含む、生成するステップと、
    前記入力信号を前記選択された不揮発性メモリセルの端子に印加するステップと、
    出力回路によって、前記入力ビットに応答して生成された出力を受信するステップと、
    前記出力をデジタル出力に変換するステップと、を含む、方法。
18. シフトされた結果を生成するために、前記複数の入力ビット内の前記入力ビットのビットロケーションに基づいて前記デジタル出力をシフトするステップと、
    デジタル出力を生成するために、前記複数の入力ビットの全てについて前記シフトされた結果を加算するステップを更に含む、請求項１７に記載の方法。
19. 前記出力は、電流加算器を使用して生成される、請求項１７に記載の方法。
20. 前記アナログバイアスレベル成分は、バイナリ加重値である、請求項１７に記載の方法。
21. 前記出力値は、前記パルス幅変調入力のみに基づいて生成される、請求項１７に記載の方法。
22. 前記選択された不揮発性メモリセルは、ニューラルメモリの一部である、請求項１７に記載の方法。
23. 選択された不揮発性メモリセルを読み出す方法であって、前記方法は、
    複数の入力ビットを入力回路に順次提供するステップと、
    前記複数の入力ビットの各々に対して、
    前記入力回路によって、前記入力ビットのマルチビットに応答して入力信号を生成するステップであって、前記入力信号は、アナログバイアスレベルである、生成するステップと、
    前記入力信号を前記選択された不揮発性メモリセルの端子に印加するステップと、
    出力回路によって、前記入力ビットに応答して生成された出力を受信するステップと、を含む、方法。
24. 前記出力をデジタル出力に変換するステップ、を更に含む、請求項２３に記載の方法。
25. デジタル出力を生成するために、前記複数の入力ビットの全てについて前記結果を加算するステップ、を更に含む、請求項２４に記載の方法。
26. シフトされた結果を生成するために、前記複数の入力ビット内の前記入力ビットのビットロケーションに基づいて前記デジタル出力をシフトするステップと、
    デジタル出力を生成するために、前記複数の入力ビットの全てについて前記シフトされた結果を加算するステップと、を更に含む、請求項２４に記載の方法。
27. 前記出力は、電流加算器を使用して生成される、請求項２５に記載の方法。
28. 前記アナログバイアスレベルは、バイナリインデックス値である、請求項２３に記載の方法。
29. 前記アナログバイアスレベルは、結果として生じるセル出力値が、前記パルス幅変調入力のみに基づいて生成される出力値であるようなレベルである、請求項２３に記載の方法。
30. 前記選択された不揮発性メモリセルは、ニューラルメモリの一部である、請求項２３に記載の方法。
31. ニューロモーフィックメモリシステムであって、
    選択されたメモリセルを含むアレイと、
    各選択されたメモリセルについて、一連の入力ビットに応答して、前記選択されたメモリセルの端子に一連の入力信号を印加するように構成された入力ブロックと、
    前記選択されたメモリセルの出力を生成するための出力ブロックであって、前記出力ブロックは、前記一連の入力ビットに応答して、前記アレイから受信された出力を加算するためのアダーを備える、出力ブロックと、を備える、ニューロモーフィックメモリシステム。
32. 前記選択された不揮発性メモリセルは、スプリットゲート型フラッシュメモリセルである、請求項３１に記載の方法。
33. 前記端子は、制御ゲート端子である、請求項３２に記載の方法。
34. 前記選択された不揮発性メモリセルは、ニューラルメモリの一部である、請求項３１に記載の方法。
35. 前記入力信号は、パルスを含む、請求項３１に記載の方法。
36. 前記入力信号は、アナログバイアス信号を含む、請求項３１に記載の方法。
37. 前記入力信号は、アナログバイアス信号及びパルスを含む、請求項３１に記載の方法。
38. 前記アダーは、出力電流加算器を備える、請求項３１に記載の方法。
39. 前記アダーは、出力電荷加算器を備える、請求項３１に記載の方法。
40. 前記アダーは、デジタル論理アダーを備える、請求項３１に記載の方法。

Images