本発明の人工ニューラルネットワークは、CMOS技術及び不揮発性メモリアレイの組み合わせを利用する。
[不揮発性メモリセル]
デジタル不揮発性メモリは、周知である。例えば、参照により本明細書に組み込まれる、米国特許第5,029,130号(「’130号特許」)は、フラッシュメモリセルの一種である、スプリットゲート型不揮発性メモリセルのアレイを開示する。このようなメモリセル210を図2に示す。各メモリセル210は、半導体基板12内に形成されたソース領域14とドレイン領域16と、を含み、ソース領域14とドレイン領域16の間にはチャネル領域18がある。浮遊ゲート20は、チャネル領域18の第1の部分の上方に形成され、チャネル領域18の第1の部分から絶縁され(並びに、チャネル領域18の第1の部分の導電性を制御して)、ソース領域14の一部分の上方にかけて形成される。ワード線端子22(典型的には、ワード線に結合される)は、チャネル領域18の第2の部分の上方に配設され、チャネル領域18の第2の部分から絶縁された、(並びに、チャネル領域18の第2の部分の導電性を制御する)第1の部分と、上に向かって浮遊ゲート20の上方にかけて延在する第2の部分と、を有する。浮遊ゲート20及びワード線端子22は、ゲート酸化物によって基板12から絶縁される。ビット線端子24はドレイン領域16に結合される。
ワード線端子22に高圧正電圧を印加することによって、メモリセル210に対して消去が行われ(電子が浮遊ゲートから除去される)、これによって、浮遊ゲート20の電子は、浮遊ゲート20からワード線端子22までそれらの間にある絶縁体の中をファウラーノルドハイム(Fowler-Nordheim)トンネリングを介して通過する。
メモリセル210は、ワード線端子22に正電圧、及びソース領域14に正電圧を印加することによってプログラムされる(電子が浮遊ゲートに印加される)。電子電流は、ソース領域14(ソース線端子)からドレイン領域16に向かって流れる。電子は加速し、ワード線端子22と浮遊ゲート20との間の間隙に達すると、加熱される。熱せられた電子の一部が、浮遊ゲート20からの静電引力に起因して、浮遊ゲート20にゲート酸化物を介して注入される。
メモリセル210は、ドレイン領域16及びワード線端子22に正の読み出し電圧を印加する(ワード線端子の下方のチャネル領域18の部分をオンにする)ことによって、読み出される。浮遊ゲート20が正に帯電する(すなわち、電子を消去する)と、浮遊ゲート20の下方のチャネル領域18の部分も同様にオンになり、電流はチャネル領域18を流れ、これは、消去された状態つまり「1」の状態として検知される。浮遊ゲート20が負に帯電する(すなわち、電子でプログラムされる)と、浮遊ゲート20の下方のチャネル領域の部分はほとんど又は完全にオフになり、電流はチャネル領域18を流れず(又はほとんど流れず)、これは、プログラムされた状態つまり「0」の状態として検知される。
表1は、読み出し、消去、及びプログラム動作を実行するためのメモリセル110の端子に印加され得る典型的な電圧範囲を示す。
表1:図2のフラッシュメモリセル210の動作
「読み出し1」は、セル電流がビット線に出力される読み出しモードである。「読み出し2」は、セル電流がソース線端子の出力である読み出しモードである。
図3は、制御ゲート(control gate、CG)端子28を追加した、図2のメモリセル210と同様のメモリセル310を示す。制御ゲート端子28は、プログラミング中に高電圧(例えば、10V)、消去中に低又は負電圧(例えば、0v/-8V)、読み出し中に低又は中程度電圧(例えば、0v/2.5V)でバイアスされる。他の端子は、図2の端子と同様にバイアスされる。
図4は、ソース領域14と、ドレイン領域16と、チャネル領域18の第1の部分の上方にある浮遊ゲート20と、チャネル領域18の第2の部分の上方にある選択ゲート22(典型的には、ワード線、WL、に結合される)と、浮遊ゲート20の上方にある制御ゲート28と、ソース領域14の上方にある消去ゲート30と、を含む4ゲートメモリセル410を示す。この構成は、あらゆる目的のため参照により本明細書に組み込まれる、米国特許第6,747,310号に記載されている。ここで、全てのゲートは、浮遊ゲート20を除いて、非浮遊ゲートであり、つまり、それらは電圧源に電気的に接続される又は接続可能である。プログラミングは、熱せられた電子がチャネル領域18から浮遊ゲート20にその電子自体を注入することによって実行される。消去は、電子が浮遊ゲート20から消去ゲート30へトンネリングすることによって実行される。
表2は、読み出し、消去、及びプログラム動作を実行するためのメモリセル410の端子に印加され得る典型的な電圧範囲を示す。
表2:図4のフラッシュメモリセル410の動作
「読み出し1」は、セル電流がビット線に出力される読み出しモードである。「読み出し2」は、セル電流がソース線端子の出力である読み出しモードである。
図5は、メモリセル510が消去ゲート(erase gate、EG)端子を含まないことを除いて、図4のメモリセル410と同様のメモリセル510を示す。消去は、基板18を高電圧にバイアスし、制御ゲートCG端子28を低電圧又は負電圧にバイアスすることによって行われる。あるいは、ワード線端子22を正電圧にバイアスし、制御ゲート端子28を負電圧にバイアスすることによって、消去が行われる。プログラミング及び読み出しは、図4のものと同様である。
図6は、別の種類のフラッシュメモリセルである、3ゲートメモリセル610を示す。メモリセル610は、メモリセル610が別個の制御ゲート端子を有しないことを除いて、図4のメモリセル410と同一である。(消去ゲート端子の使用を通じて消去が起こる)消去動作及び読み出し動作は、制御ゲートバイアスが印加されないことを除いて、図4のものと同様である。プログラミング動作もまた、制御ゲートバイアスなしで行われるため、結果として、プログラム動作中は、制御ゲートバイアスの不足を補償するため、より高い電圧がソース線端子に印加されなければならない。
表3は、読み出し、消去、及びプログラム動作を実行するためのメモリセル610の端子に印加され得る典型的な電圧範囲を示す。
表3:図6のフラッシュメモリセル610の動作
「読み出し1」は、セル電流がビット線に出力される読み出しモードである。「読み出し2」は、セル電流がソース線端子の出力である読み出しモードである。
図7は、別の種類のフラッシュメモリセルである、積層ゲートメモリセル710を示す。メモリセル710は、浮遊ゲート20がチャネル領域18全体の上方にわたって延在し、制御ゲート端子22(ワード線に結合される)が絶縁層(図示せず)によって分離されて浮遊ゲート20の上方に延在することを除いて、図2のメモリセル210と同様である。消去、プログラミング、及び読み出し動作は、メモリセル210について前述したものと同様の方法で動作する。
表4は、読み出し、消去、及びプログラム動作を実行するためのメモリセル710及び基板12の端子に印加され得る典型的な電圧範囲を示す。
表4:図7のフラッシュメモリセル710の動作
「読み出し1」は、セル電流がビット線に出力される読み出しモードである。「読み出し2」は、セル電流がソース線端子の出力である読み出しモードである。任意選択的に、メモリセル210、310、410、510、610、又は710の行及び列を含むアレイでは、ソース線は、メモリセルの1行又はメモリセルの隣接する2行に結合され得る。すなわち、ソース線端子は、メモリセルの隣接する行によって共有され得る。
上記の人工ニューラルネットワークにおける不揮発性メモリセルの種類のうちの1つを含むメモリアレイを利用するために、2つの修正が行われる。第1に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しできるように線を構成する。第2に、メモリセルの連続(アナログ)プログラミングを提供する。
具体的には、アレイ内の各メモリセルのメモリ状態(すなわち、浮遊ゲート上の電荷)を、完全に消去された状態から完全にプログラムされた状態へ、独立して、かつ他のメモリセルの乱れが最小で、連続的に変えることができる。別の実施形態では、アレイ内の各メモリセルのメモリ状態(すなわち、浮遊ゲートの電荷)を、完全にプログラムされた状態から完全に消去された状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの乱れが最小で、連続的に変えることができる。これはつまり、セル格納がアナログであるか、又は多数の不連続値(16又は64の異なる値など)のうちの1つを最低限格納できることを意味し、これにより、メモリアレイ内の全てのセルが非常に正確に、かつ個別に調整可能となり、またメモリアレイは格納に対して理想的になり、ニューラルネットワークのシナプシスの重みに微調整が可能となる。
本明細書に記載される方法及び手段は、限定することなく、SONOS(ケイ素-酸化物-窒化物-酸化物-ケイ素、窒化物中の電荷トラップ)、MONOS(金属-酸化物-窒化物-酸化物-ケイ素、窒化物中の金属電荷トラップ)、ReRAM(抵抗変化型メモリ)、PCM(相変化メモリ)、MRAM(磁気抵抗メモリ)、FeRAM(強誘電体メモリ)、OTP(バイレベル又はマルチレベルの1回のみのプログラムが可能)及びCeRAM(強相関電子メモリ)などの他の不揮発性メモリ技術に適用することができる。本明細書に記載される方法及び手段は、限定することなく、SRAM、DRAM、及び他の揮発性シナプスセルなどのニューラルネットワークに使用される揮発性メモリ技術に適用することができる。
[不揮発性メモリセルアレイを使用するニューラルネットワーク]
図8は、本実施形態の不揮発性メモリアレイを利用するニューラルネットワークの非限定例を概念的に示す。この例は、顔認識アプリケーション用に不揮発性メモリアレイニューラルネットワークを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の適切なアプリケーションを実施することも可能である。
S0は入力層であり、この例では、5ビット精度の32×32ピクセルRGB画像である(すなわち、各色R、G、及びBにつき1つずつで3つの32×32ピクセルアレイであり、各ピクセルは5ビット精度である)。入力層S0から層C1に行くシナプスCB1は、一部のインスタンスには異なる重みのセットを適用し、他のインスタンスには共有の重みを適用し、入力画像を3×3ピクセルの重なり合うフィルタ(カーネル)でスキャンし、1ピクセル(又はモデルによっては2ピクセル以上)ずつフィルタをシフトする。具体的には、画像の3×3部分における9ピクセルの値(すなわち、フィルタ又はカーネルと呼ばれる)はシナプスCB1に提供され、そこでこれらの9個の入力値に適切な重みを乗算し、その乗算の出力を合計後、単一の出力値が決定され、特徴マップC1の層の1つのピクセルを生成するためにCB1の第1のシナプスによって与えられる。3×3フィルタは次に、入力層S0内で右側に1ピクセルだけシフトされ(すなわち、3ピクセルの列を右側に追加し、左側で3ピクセルの列をドロップする)、これにより、この新しく位置づけられたフィルタの9ピクセル値はシナプスCB1に提供され、そこでそれらに上記と同じ重みを乗算し、関連するシナプスによって第2の単一の出力値を決定する。このプロセスを、3×3フィルタが入力層S0の32×32ピクセル画像全体にわたって3色全て及び全てのビット(精度値)についてスキャンするまで続ける。プロセスは次に、層C1の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、C1の異なる特徴マップを生成する。
本例では、層C1において、それぞれ30×30ピクセルを有する16個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、2次元アレイであり、したがってこの例では、層C1は、2次元アレイの16層を構成する(本明細書で言及される層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な2次元アレイに配向されないことに留意されたい)。層C1内の16個の特徴マップの各々は、フィルタスキャンに適用される異なるシナプス重みのセット16個のうちの1つによって生成される。C1特徴マップは全て、境界同定など、同じ画像特徴の異なる態様を対象とすることができる。例えば、第1のマップ(この第1のマップを生成するのに使用される全てのスキャンに共有される第1の重みセットを使用して生成される)は、円形エッジを識別することができ、第2のマップ(第1の重みセットと異なる第2の重みセットを使用して生成される)は、長方形エッジ又は特定の特徴のアスペクト比などを識別することができる。
層C1から、各特徴マップ内の重なり合わずに連続する2×2領域からの値をプールする層S1へ行く前には、活性化関数P1(プーリング)が適用される。プーリング関数の目的は、近隣の位置を平均すること(又はmax関数を使用することも可能である)、例えばエッジ位置の依存を低減すること、及び次の段階に行く前にデータサイズを低減することである。層S1において、16個の15×15特徴マップ(すなわち、それぞれ15×15ピクセルの異なるアレイ16個)が存在する。層S1から層C2に行くシナプスCB2は、S1内のマップを4×4フィルタにより1ピクセルのフィルタシフトでスキャンする。層C2において、22個の12×12特徴マップが存在する。層C2から、各特徴マップ内の重なり合わずに連続する2×2領域からの値をプールする層S2へ行く前には、活性化関数P2(プーリング)が適用される。層S2において、22個の6×6特徴マップが存在する。層S2から層C3へ行くシナプスCB3では活性化関数(プーリング)が適用され、ここで層C3内の全てのニューロンは、CB3のそれぞれのシナプスを介して層S2内の全てのマップに接続する。層C3において、64個のニューロンが存在する。層C3から出力層S3へと行くシナプスCB4は、C3をS3に完全に接続する、すなわち、層C3内の全てのニューロンは、層S3内の全てのニューロンに接続される。S3における出力は、10個のニューロンを含み、ここで出力が最も高いニューロンが、クラスを決定する。この出力は、例えば、元の画像の内容の同定又は分類(クラス分け)を示すことができる。
シナプスの各層は、不揮発性メモリセルのアレイ又はアレイの一部を使用して実行される。
図9は、その目的のために使用可能なシステムのブロック図である。ベクトル行列乗算(VMM)システム32は、不揮発性メモリセルを含み、ある層と次の層との間のシナプス(図8のCB1、CB2、CB3、及びCB4など)として利用される。具体的には、VMMシステム32は、行及び列に配置された不揮発性メモリセルを含むVMMアレイ33、消去ゲート及びワード線ゲートデコーダ34、制御ゲートデコーダ35、ビット線デコーダ36、並びにソース線デコーダ37を含み、それらのデコーダは不揮発性メモリセルアレイ33に対するそれぞれの入力をデコードする。VMMアレイ33への入力は、消去ゲート及びワード線ゲートデコーダ34から、又は制御ゲートデコーダ35から行うことができる。この例におけるソース線デコーダ37はまた、VMMアレイ33の出力をデコードする。代替的に、ビット線デコーダ36が、VMMアレイ33の出力をデコードすることができる。
VMMアレイ33は、2つの目的を果たす。第1に、それは、VMMシステム32によって使用される重みを格納する。第2に、VMMアレイ33は、効果的に、入力に、VMMアレイ33に格納された重みを乗算し、それらを出力線(ソース線又はビット線)ごとに合計して出力を生成し、これは、次の層への入力又は最後の層への入力になる。乗算及び加算の関数を実行することによって、VMMアレイ33は、別個の乗算及び加算の論理回路の必要性をなくし、また、その場でのメモリ計算により電力効率も良い。
VMMアレイ33の出力は、VMMアレイ33の出力を合計してその畳み込み用の単一の値を作成する、差動加算器(加算オペアンプ又は加算カレントミラーなど)38に供給される。差動加算器38は、正の重み入力及び負の重み入力両方の総和を実行して単一の値を出力するように配置される。
差動加算器38の合計された出力値は、次に出力を整流する活性化関数回路39に供給される。活性化関数回路39は、シグモイド関数、tanh関数、ReLU関数、又は任意の他の非線形関数を提供し得る。活性化関数回路39の整流された出力値は、次の層(例えば図8のC1)の特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、VMMアレイ33は、複数のシナプス(それらは、ニューロンの前の層から、又は画像データベースなどの入力層から、入力を受信する)を構成し、加算器38及び活性化関数回路39は、複数のニューロンを構成する。
図9のVMMシステム32への入力(WLx、EGx、CGx、及び任意選択的にBLx及びSLx)は、アナログレベル、バイナリレベル、デジタルパルス(この場合、パルスを適切な入力アナログレベルに変換するために、パルス-アナログ変換器PACが必要とされ得る)又はデジタルビット(この場合、デジタルビットを適切な入力アナログレベルに変換するためにDACが提供される)であり得、出力は、アナログレベル、バイナリレベル、デジタルパルス、又はデジタルビットであり得る(この場合、出力アナログレベルをデジタルビットに変換するために出力ADCが提供される)。
図10は、図中でVMMシステム32a、32b、32c、32d及び32eとして標示されたVMMシステム32の多数の層の使用を示すブロック図である。図10に示されるように、入力(Inputxで示される)は、デジタル-アナログ変換器31によってデジタルからアナログに変換され、入力VMMシステム32aに提供される。変換されたアナログ入力は、電圧又は電流であり得る。第1の層の入力D/A変換は、入力VMMシステム32aの行列乗算器の適切なアナログレベルに入力Inputxをマッピングする関数又はLUT(ルックアップテーブル)を使用することによって行うことができる。入力変換はまた、外部アナログ入力を入力VMMシステム32aへのマッピングされたアナログ入力に変換するように、アナログ-アナログ(A/A)変換器によって行うこともできる。入力変換はまた、外部デジタル入力を入力VMMシステム32aへのマッピングされたデジタルパルス(単数又は複数)に変換するように、デジタル-デジタルパルス(D/P)変換器によって行うこともできる。
入力VMMシステム32aによって生成された出力は、次に、次のVMMシステム(隠しレベル1)32bへの入力として提供され、次に、次のVMNシステム32bは、入力VMMシステム(隠しレベル2)32cへの入力として提供される出力を生成する、などとなる。VMMシステム32の様々な層は、畳み込みニューラルネットワーク(convolutional neural network、CNN)のシナプス及びニューロンの各層として機能する。VMMシステム32a、32b、32c、32d及び32eはそれぞれ、対応の不揮発性メモリアレイを含むスタンドアローンの物理的システムとすることができ、又は複数のVMMシステムは、同じ物理的不揮発性メモリアレイの異なる部分を利用することができ、又は複数のVMMシステムは、同じ物理的不揮発性メモリアレイの重なり合う部分を利用することができる。それぞれのVMMシステム32a、32b、32c、32d、及び32eはまた、そのアレイ又はニューロンの様々な部分に対して時間多重化され得る。図10に示される例は、5つの層(32a、32b、32c、32d、32e)、すなわち、1つの入力層(32a)、2つの隠れ層(32b、32c)、及び2つの完全に接続された層(32d、32e)を含む。当業者であれば、これは単なる例示であり、代わりにシステムが2つを超える隠れ層及び2つを超える完全に接続された層を含み得ることを理解するであろう。
[VMMアレイ]
図11は、図3に示されるメモリセル310に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ1100を示す。VMMアレイ1100は、不揮発性メモリセルのメモリアレイ1101と、不揮発性基準メモリセルの基準アレイ1102(アレイの頂部に位置する)と、を含む。あるいは、別の基準アレイが底部に位置することができる。
VMMアレイ1100では、制御ゲート線1103などの制御ゲート線が垂直方向に延びており(したがって、行方向の基準アレイ1102が、制御ゲート線1103に直交する)、消去ゲート線1104などの消去ゲート線が水平方向に延びている。ここで、VMMアレイ1100への入力は、制御ゲート線(CG0、CG1、CG2、CG3)に提供され、VMMアレイ1100の出力はソース線(SL0、SL1)に現れる。一実施形態では、偶数行のみが使用され、別の実施形態では、奇数行のみが使用される。各ソース線(それぞれSL0、SL1)に加えられる電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
ニューラルネットワークについて本明細書に記載されているように、VMMアレイ1100の不揮発性メモリセル、すなわちVMMアレイ1100のフラッシュメモリは、サブスレッショルド領域で動作するように構成されることが好ましい。
本明細書に記載される不揮発性基準メモリセル及び不揮発性メモリセルは、以下のように弱い反転でバイアスされる:
Ids=Io*e(Vg-Vth)/nVt=w*Io*e(Vg)/nVt
式中、w=e(-Vth)/nVtであり、
式中、Idsはドレイン-ソース間電流であり、Vgは、メモリセルのゲート電圧であり、Vthは、メモリセルの閾値電圧であり、Vtは、熱電圧=k*T/qであり、kはボルツマン定数、Tはケルビン温度、qは電子電荷とし、nは、傾斜係数=1+(Cdep/Cox)であり、Cdep=空乏層の容量、及びCoxはゲート酸化物層の容量とし、Ioは、閾値電圧に等しいゲート電圧におけるメモリセル電流であり、Ioは、(Wt/L)*u*Cox*(n-1)*Vt2に比例し、式中、uはキャリア移動度であり、Wt及びLはそれぞれ、メモリセルの幅及び長さである。
メモリセル(基準メモリセル又は周辺メモリセルなど)又はトランジスタを使用して入力電流Idsを入力電圧Vgに変換するI-Vログ変換器を使用した場合:
Vg=n*Vt*log[Ids/wp*Io]
式中、wpは、基準又は周辺メモリセルのwである。
メモリセル(基準メモリセル又は周辺メモリセルなど)又はトランジスタを使用して入力電流Idsを入力電圧Vgに変換するI-Vログ変換器を使用した場合:
Vg=n*Vt*log[Ids/wp*Io]
式中、wpは、基準又は周辺メモリセルのwである。
ベクトル行列乗算器VMMアレイとして使用されるメモリアレイについて、出力電流は以下である:
Iout=wa*Io*e(Vg)/nVt、すなわち
Iout=(wa/wp)*Iin=W*Iin
W=e(Vthp-Vtha)/nVt
Iin=wp*Io*e(Vg)/nVt
式中、メモリアレイの各メモリセルのwa=wである。
ワード線又は制御ゲートは、入力電圧のためのメモリセルの入力として使用することができる。
あるいは、本明細書に記載されたVMMアレイの不揮発性メモリセルは、線形領域で動作するように構成することができる。
Ids=β*(Vgs-Vth)*Vds; β=u*Cox*Wt/L
W α (Vgs-Vth)
すなわち、直線領域における重量Wは、(Vgs-Vth)に比例する。
ワード線又は制御ゲート又はビット線又はソース線は、線形領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、メモリセルの出力として使用することができる。
I-V線形変換器用に、線形領域で動作するメモリセル(基準メモリセル又は周辺メモリセルなど)若しくはトランジスタ、又は抵抗器を使用して、入出力電流を入出力電圧に線形変換することができる。
あるいは、本明細書に記載されたVMMアレイのメモリセルは、飽和領域で動作するように構成することができる。
Ids=1/2*β*(Vgs-Vth)2; β=u*Cox*Wt/L
W α (Vgs-Vth)2、すなわち重みWは、(Vgs-Vth)2に比例する。
ワード線、制御ゲート、又は消去ゲートは、飽和領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、出力ニューロンの出力として使用することができる。
あるいは、本明細書に記載されるVMMアレイのメモリセルは、全ての領域又はそれらの組み合わせ(サブスレッショルド、線形、又は飽和)で使用することができる。
図9のVMMアレイ33のための他の実施形態は、参照により本明細書に組み込まれる米国特許出願第15/826,345号に記載されている。上記出願に記載されているように、ソース線又はビット線は、ニューロン出力(電流和出力)として使用することができる。
図12は、図2に示されるメモリセル210に特に適したニューロンVMMアレイ1200を示し、入力層と次の層との間のシナプスとして利用される。VMMアレイ1200は、不揮発性メモリセルのメモリアレイ1203と、第1の不揮発性基準メモリセルの基準アレイ1201と、第2の不揮発性基準メモリセルの基準アレイ1202と、を含む。アレイの列方向に配置された基準アレイ1201及び1202は、端子BLR0、BLR1、BLR2、及びBLR3に流入する電流入力を電圧入力WL0、WL1、WL2、及びWL3に変換するように機能する。実際には、第1及び第2の不揮発性基準メモリセルは、電流入力が流入する状態で、マルチプレクサ1214(一部のみ示す)を通してダイオード接続される。基準セルは、標的基準レベルに調整(例えば、プログラム)される。標的基準レベルは、基準ミニアレイマトリックス(図示せず)によって提供される。
メモリアレイ1203は、2つの目的を果たす。第1に、VMMアレイ1200により使用される重みを、それぞれのメモリセルに格納する。第2に、メモリアレイ1203は、メモリセルアレイ1203に格納された重みによって、入力(すなわち、端子BLR0、BLR1、BLR2、及びBLR3に提供された電流入力であり、これを基準アレイ1201及び1202が入力電圧に変換して、ワード線WL0、WL1、WL2、及びWL3に供給する)を有効に乗算して、次いで、全ての結果(メモリセル電流)を加算して、それぞれのビット線(BL0~BLN)の出力を生成し、この出力は次の層への入力又は最後の層への入力となる。メモリアレイ1203が乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性はなくなり、また、電力効率も良い。ここで、電圧入力はワード線WL0、WL1、WL2、及びWL3に提供され、出力は、読み出し(推論)動作中にビット線BL0~BLNそれぞれに現れる。各々のビット線BL0~BLNに配置された電流は、その特定のビット線に接続された全ての不揮発性メモリセルからの電流の合計関数を実行する。
表5は、VMMアレイ1200の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示し、FLTは、浮遊、すなわち電圧が印可されないことを示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表5:図12のVMMアレイ1200の動作
図13は、図2に示されるメモリセル210に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ1300を示す。VMMアレイ1300は、不揮発性メモリセルのメモリアレイ1303と、第1の不揮発性基準メモリセルの基準アレイ1301と、第2の不揮発性基準メモリセルの基準アレイ1302と、を含む。基準アレイ1301及び1302は、VMMアレイ1300の行方向に延びる。VMMアレイは、VMMアレイ1300においてワード線が垂直方向に延びることを除いて、VMM 1000と同様である。ここで、入力はワード線(WLA0、WLB0、WLA1、WLB2、WLA2、WLB2、WLA3、WLB3)に提供され、出力は、読み出し動作中にソース線(SL0、SL1)に現れる。各ソース線に加えられる電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
表6は、VMMアレイ1300の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表6:図13のVMMアレイ1300の動作
図14は、図3に示されるメモリセル310に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ1400を示す。VMMアレイ1400は、不揮発性メモリセルのメモリアレイ1403と、第1の不揮発性基準メモリセルの基準アレイ1401と、第2の不揮発性基準メモリセルの基準アレイ1402と、を含む。基準アレイ1401及び1402は、端子BLR0、BLR1、BLR2、及びBLR3に流入する電流入力を電圧入力CG0、CG1、CG2、及びCG3に変換するように機能する。実際には、第1及び第2の不揮発性基準メモリセルは、電流入力がBLR0、BLR1、BLR2、及びBLR3を通って流入する状態で、マルチプレクサ1412(一部のみ示す)を通してダイオード接続される。マルチプレクサ1412は、読み出し動作中に第1及び第2の不揮発性基準メモリセルの各々のビット線(BLR0など)の一定電圧を確実にするために、それぞれのマルチプレクサ1405及びカスコーディングトランジスタ1404を各々含む。基準セルは、標的基準レベルに調整される。
メモリアレイ1403は、2つの目的を果たす。第1に、VMMアレイ1400によって使用される重みを格納する。第2に、メモリアレイ1403は、入力(端子BLR0、BLR1、BLR2、及びBLR3に提供された電流入力であり、基準アレイ1401及び1402がこれらの電流入力を入力電圧に変換して、制御ゲート(CG0、CG1、CG2、及びCG3)に供給する)に、メモリセルアレイに格納された重みを有効に掛けて、次いで、全ての結果(セル電流)を加算して出力を生成し、この出力はBL0~BLNに出現し、次の層への入力又は最後の層への入力となる。メモリアレイが乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性がなくなり、また、電力効率も良い。ここで、入力は制御ゲート線(CG0、CG1、CG2、及びCG3)に提供され、出力は、読み出し動作中にビット線(BL0~BLN)に現れる。各ビット線に加えられる電流は、その特定のビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
VMMアレイ1400は、メモリアレイ1403内の不揮発性メモリセルの一方向調整を実施する。すなわち、各不揮発性メモリセルは消去され、次いで、浮遊ゲート上の所望の電荷に達するまで部分的にプログラムされる。これは、例えば、以下に記載される精密プログラミング技術を使用して実行することができる。過度に多くの電荷が浮遊ゲートに加えられる場合(誤った値がセルに格納されるなど)、セルは消去されなければならず、一連の部分的なプログラミング動作をやり直さなければならない。示されるように、同じ消去ゲート(EG0又はEG1など)を共有する2つの行は、一緒に消去される必要があり(ページ消去として知られる)、その後、各セルは、浮遊ゲート上の所望の電荷に達するまで部分的にプログラムされる。
表7は、VMMアレイ1400の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表7:図14のVMMアレイ1400の動作
図15は、図3に示されるメモリセル310に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ1500を示す。VMMアレイ1500は、不揮発性メモリセルのメモリアレイ1503と、第1の不揮発性基準メモリセルの基準アレイ1501と、第2の不揮発性基準メモリセルの基準アレイ1502とを含む。EG線EGR0、EG0、EG1、及びEGR1は垂直に延び、CG線CG0、CG1、CG2、及びCG3並びにSL線WL0、WL1、WL2、及びWL3は水平に延びる。VMMアレイ1500は、VMMアレイ1500が双方向調整を実装することを除いてVMMアレイ1400と同様であり、個々のセルはそれぞれ、個別のEG線の使用により、浮遊ゲートの所望の電荷量に達するために、完全に消去され、部分的にプログラムされ、必要に応じて部分的に消去することができる。示されるように、基準アレイ1501及び1502は、端子BLR0、BLR1、BLR2及びBLR3内の入力電流を制御ゲート電圧CG0、CG1、CG2及びCG3に変換し(マルチプレクサ1514を介したダイオード接続された基準セルの作用を通じて)、これらの電圧は行方向でメモリセルに印加される。電流出力(ニューロン)は、ビット線BL0~BLN中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。
表8は、VMMアレイ1500の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表8:図15のVMMアレイ1500の動作
図16は、図2に示されるメモリセル210に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ1600を示す。VMMアレイ1600では、入力INPUT0、...、INPUTNは、ビット線BL0、...、BLNでそれぞれ受信され、出力OUTPUT1、OUTPUT2、OUTPUT3、及びOUTPUT4は、ソース線SL0、SL1、SL2、及びSL3にそれぞれ生成される。
図17は、図2に示されるメモリセル210に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ1700を示す。この例では、入力INPUT0、INPUT1、INPUT2、及びINPUT3は、ソース線SL0、SL1、SL2、及びSL3でそれぞれ受信され、出力OUTPUT0、...、OUTPUTNは、ビット線BL0、...、BLNに生成される。
図18は、図2に示されるメモリセル210に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ1800を示す。この例では、入力INPUT0、...、INPUTMは、ワード線WL0、...、WLMでそれぞれ受信され、出力OUTPUT0、...、OUTPUTNは、ビット線BL0、...、BLNに生成される。
図19は、図3に示されるメモリセル310に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ1900を示す。この例では、入力INPUT0、...、INPUTMは、ワード線WL0、...、WLMでそれぞれ受信され、出力OUTPUT0、...、OUTPUTNは、ビット線BL0、...、BLNに生成される。
図20は、図4に示されるメモリセル410に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ2000を示す。この例では、入力INPUT0、...、INPUTnがそれぞれ垂直制御ゲート線CG0、...、CGNで受信され、出力OUTPUT1及びOUTPUT2がソース線SL0及びSL1に生成される。
図21は、図4に示されるメモリセル410に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ2100を示す。この例では、入力INPUT0、...、INPUTNは、ビット線BL0、...、BLNにそれぞれ結合されているビット線制御ゲート2901-1、2901-2、...、2901-(N-1)及び2901-Nのゲートでそれぞれ受信される。例示的な出力OUTPUT1及びOUTPUT2が、ソース線SL0及びSL1に生成される。
図22は、図3に示されるメモリセル310、図5に示されるメモリセル510、及び図7に示されるメモリセル710に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ2200を示す。この例では、入力INPUT0、...、INPUTMは、ワード線WL0、...、WLMで受信され、出力OUTPUT0、...、OUTPUTNは、ビット線BL0、...、BLNにそれぞれ生成される。
図23は、図3に示されるメモリセル310、図5に示されるメモリセル510、及び図7に示されるメモリセル710に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ2300を示す。この例では、入力INPUT0、...、INPUTMは、制御ゲート線CG0、...、CGMで受信される。出力OUTPUT0、...、OUTPUTNは、垂直ソース線SL0、...、SLNにそれぞれ生成され、各ソース線SLiは、列i内の全てのメモリセルのソース線に結合されている。
図24は、図3に示されるメモリセル310、図5に示されるメモリセル510、及び図7に示されるメモリセル710に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ2400を示す。この例では、入力INPUT0、...、INPUTMは、制御ゲート線CG0、...、CGMで受信される。出力OUTPUT0、...、OUTPUTNは、垂直ビット線BL0、...、BLNにそれぞれ生成され、各ビット線BLiは、列i内の全てのメモリセルのビット線に結合されている。
[長・短期メモリ]
先行技術は、長・短期メモリ(long short-term memory、LSTM)として知られる概念を含む。LSTMユニットは、しばしば、ニューラルネットワーク内で使用される。LSTMによって、ニューラルネットワークは所定の任意の期間にわたって情報を記憶し、後続の動作においてその情報を使用することができる。従来のLSTMユニットは、セル、入力ゲート、出力ゲート、及び忘却ゲートを含む。3つのゲートは、セル内及びセル外への情報の流れ、及び、情報がLSTM内で記憶される期間を調整する。VMMは、LSTMユニットにおいて特に有用である。
図25は、例示的なLSTM 2500を示す。この例におけるLSTM 2500は、セル2501、2502、2503、及び2504を含む。セル2501は、入力ベクトルx0を受け取り、出力ベクトルh0及びセル状態ベクトルc0を生成する。セル2502は、入力ベクトルx1と、セル2501からの出力ベクトル(隠れ状態)h0と、セル2501からのセル状態c0とを受け取り、出力ベクトルh1とセル状態ベクトルc1とを生成する。セル2503は、入力ベクトルx2と、セル2502からの出力ベクトル(隠れ状態)h1と、セル2502からのセル状態c1とを受け取り、出力ベクトルh2とセル状態ベクトルc2とを生成する。セル2504は、入力ベクトルx3と、セル2503からの出力ベクトル(隠れ状態)h2と、セル2503からのセル状態c2とを受け取り、出力ベクトルh3を生成する。追加のセルも使用可能であり、4つのセルを有するLSTMは、単なる例である。
図26は、図25のセル2501、2502、2503及び2504に使用可能なLSTMセル2600の例示的な実装を示す。LSTMセル2600は、入力ベクトルx(t)と、先行するセルからのセル状態ベクトルc(t-1)と、先行するセルからの出力ベクトルh(t-1)とを受け取り、セル状態ベクトルc(t)及び出力ベクトルh(t)を生成する。
LSTMセル2600は、シグモイド関数デバイス2601、2602、及び2603を含み、各々が0~1の数を適用することで、入力ベクトルのそれぞれの成分が出力ベクトルに寄与する程度を制御する。LSTMセル2600はまた、入力ベクトルに双曲線正接関数を適用するためのtanhデバイス2604及び2605と、2つのベクトルを乗算するための乗算器デバイス2606、2607、及び2608と、2つのベクトルを加算するための加算器デバイス2609と、を含む。出力ベクトルh(t)は、システム内の次のLSTMセルに提供することができ、又は他の目的でアクセスすることができる。
図27は、LSTMセル2600の一実装例であるLSTMセル2700を示す。読者の便宜のために、LSTMセル2600からの同じ採番方法が、LSTMセル2700で使用される。シグモイド関数デバイス2601、2602、及び2603、並びにtanhデバイス2604は各々、複数のVMMアレイ2701及び活性化回路ブロック2702を含む。したがって、VMMアレイは、特定のニューラルネットワークシステムで使用されるLSTMセルにおいて特に有用であることが理解できる。
LSTMセル2700の代替例(及びLSTMセル2600の実装の別の例)を図28に示す。図28では、シグモイド関数デバイス2601、2602及び2603、並びにtanhデバイス2604は、同じ物理ハードウェア(VMMアレイ2801及び活性化関数ブロック2802)を、時分割多重化された方式で共有し得る。LSTMセル2800はまた、2つのベクトルを乗算するための乗算器デバイス2803と、2つのベクトルを加算するための加算器デバイス2808と、(活性化回路ブロック2802を含む)tanhデバイス2605と、シグモイド関数ブロック2802から出力される値i(t)を格納するレジスタ2807と、マルチプレクサ2810を介して乗算器デバイス2803から出力される値f(t)*c(t-1)を格納するレジスタ2804と、マルチプレクサ2810を介して乗算器デバイス2803から出力される値i(t)*u(t)を格納するレジスタ2805と、マルチプレクサ2810を介して乗算器デバイス2803から出力される値o(t)*c~(t)を格納するレジスタ2806と、マルチプレクサ2809と、を含む。
LSTMセル2700がVMMアレイ2701とそれぞれの活性化関数ブロック2702との複数のセットを含むのに対し、LSTMセル2800は、LSTMセル2800の実施形態において複数の層を表すために使用される、VMMアレイ2801と活性化関数ブロック2802との1つのセットのみ含む。LSTMセル2800は、LSTMセル2700と比較して、VMM及び活性化関数ブロックのために必要とするスペースは1/4で済むので、LSTM2700よりも必要とするスペースが少ない。
LSTMユニットは典型的には複数のVMMアレイを含み、これらは各々、加算器及び活性化回路ブロック及び高電圧生成ブロックなどの、VMMアレイの外側の特定の回路ブロックによって提供される機能を必要とすることが更に理解できる。各VMMアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。したがって、以下に記載される実施形態では、VMMアレイ自体の外側に必要とされる回路の最小化を試みる。
[ゲート付き回帰型ユニット]
アナログVMM実装は、ゲート付き回帰型ユニット(gated recurrent unit、GRU)システムに利用することができる。GRUは、反復ニューラルネットワーク内のゲート機構である。GRUは、GRUセルが一般にLSTMセルよりも少ない構成要素を含むことを除いて、LSTMに類似している。
図29は、例示的なGRU2900を示す。この例におけるGRU2900は、セル2901、2902、2903及び2904を含む。セル2901は入力ベクトルx0を受け取り、出力ベクトルh0を生成する。セル2902は、入力ベクトルx1と、セル2901からの出力ベクトルh0とを受け取り、出力ベクトルh1を生成する。セル2903は、入力ベクトルx2と、セル2902からの出力ベクトル(隠れ状態)h1とを受け取り、出力ベクトルh2を生成する。セル2904は、入力ベクトルx3と、セル2903からの出力ベクトル(隠れ状態)h2とを受け取り、出力ベクトルh3を生成する。追加のセルも使用可能であり、4つのセルを有するGRUは、単なる例である。
図30は、図29のセル2901、2902、2903及び2904に使用可能なGRUセル3000の例示的な実装を示す。GRUセル3000は、入力ベクトルx(t)と、先行するGRUセルからの出力ベクトルh(t-1)とを受け取り、出力ベクトルh(t)を生成する。GRUセル3000は、シグモイド関数デバイス3001及び3002を含み、各々が、出力ベクトルh(t-1)及び入力ベクトルx(t)からの成分に0~1の数を適用する。GRUセル3000はまた、入力ベクトルに双曲線正接関数を適用するためのtanhデバイス3003と、2つのベクトルを乗算するための複数の乗算器デバイス3004、3005及び3006と、2つのベクトルを加算するための加算器デバイス3007と、1から入力を減算して出力を生成するためのコンプリメンタリデバイス3008とを含む。
図31は、GRUセル3000の一実装例であるGRUセル3100を示す。読者の便宜のために、GRUセル3000からの同じ採番方法が、GRUセル3100で使用される。図31から分かるように、シグモイド関数デバイス3001及び3002、並びにtanhデバイス3003は各々、複数のVMMアレイ3101及び活性化関数ブロック3102を含む。したがって、VMMアレイは、特定のニューラルネットワークシステムで使用されるGRUセルにおいて特に使用されることが理解できる。
GRUセル3100の代替例(及びGRUセル3000の実装の別の例)を図32に示す。図32において、GRUセル3200は、VMMアレイ3201及び活性化関数ブロック3202を使用しており、シグモイド関数として構成された場合には、0~1の数を適用することで、入力ベクトルのそれぞれの成分が出力ベクトルに寄与する程度を制御する。図32では、シグモイド関数デバイス3001及び3002、並びにtanhデバイス3003は、同じ物理ハードウェア(VMMアレイ3201及び活性化関数ブロック3202)を、時分割多重化された方式で共有する。GRUセル3200はまた、2つのベクトルを乗算するための乗算器デバイス3203と、2つのベクトルを加算するための加算器デバイス3205と、1から入力を減算して出力を生成するためのコンプリメンタリデバイス3209と、マルチプレクサ3204と、マルチプレクサ3204を介して乗算器デバイス3203から出力される値h(t-1)*r(t)を保持するレジスタ3206と、マルチプレクサ3204を介して乗算器デバイス3203から出力される値h(t-1)*z(t)を保持するレジスタ3207と、マルチプレクサ3204を介して乗算器デバイス3203から出力される値h^(t)*(1-z((t))を保持するレジスタ3208と、を含む。
GRUセル3100がVMMアレイ3101と活性化関数ブロック3102との複数のセットを含むのに対し、GRUセル3200は、GRUセル3200の実施形態において複数の層を表すために使用されるVMMアレイ3201と活性化関数ブロック3202の1つのセットのみを含む。GRUセル3200は、GRUセル3100と比較して、VMM及び活性化関数ブロックのために必要とするスペースは1/3で済むので、GRUセル3100よりも必要とするスペースが少ない。
GRUシステムは典型的には複数のVMMアレイを含み、これらは各々、加算器及び活性化回路ブロック及び高電圧生成ブロックなどの、VMMアレイの外側の特定の回路ブロックによって提供される機能を必要とすることが更に理解できる。各VMMアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。したがって、以下に記載される実施形態では、VMMアレイ自体の外側に必要とされる回路の最小化を試みる。
VMMアレイへの入力は、アナログレベル、バイナリレベル、タイミングパルス、又はデジタルビットであり得、出力はアナログレベル、バイナリレベル、タイミングパルス、又はデジタルビットであり得る(この場合、出力アナログレベルの電流又は電圧をデジタルビットに変換するために出力ADCが必要とされる)。
VMMアレイ内のそれぞれのメモリセルに関して、それぞれの重みwは、単一のメモリセルによって、又は差分セルによって、又は2つのブレンドメモリセル(2つ以上のセルの平均)によって実装することができる。差分セルの場合では、重みwを差分重み(w=w+-w-)として実装するために、2つのメモリセルが必要とされる。2つのブレンドメモリセルの場合は、2つのセルの平均として重みwを実装するために2つのメモリセルが必要とされる。
[VMM内のセルの精密プログラミングのための実施形態]
図33Aは、プログラミング方法3300を示す。最初に、方法は、典型的には受信されるプログラムコマンドに応じて、開始する(ステップ3301)。次に、一斉プログラム動作が、全てのセルを「0」状態にプログラムする(ステップ3302)。次いで、それぞれのセルが、読み出し動作中に例えば約3~5μAの電流を引き込むように、ソフト消去動作が、全てのセルに対して中間弱消去レベルに消去を行う(ステップ3303)。これは、読み出し動作中に各セルが約20~30μAの電流を引き込む、深く消去されたレベルとは対照的である。次いで、全ての非選択セルで非常に深いプログラムされた状態までセルの浮遊ゲートに電子を追加するハードプログラムが実行されて(ステップ3304)、それらのセルが本当に「オフ」であることを確実にし、すなわち、それらのセルは読み出し動作中に無視できる量の電流しか引き込まない。
次いで、粗プログラミング方法(セルを標的にかなり近づける、例えば、標的の2倍~100倍)が、選択されたセルで実行され(ステップ3305)、続いて精密プログラミング方法が、選択されたセルで実行されて(ステップ3306)、選択されたそれぞれのセルに所望される精密な値をプログラムする。
図33Bは、プログラミング方法3300と同様の別のプログラミング方法3310を示す。しかしながら、方法が開始した後(ステップ3301)、図33Aのステップ3302でのように全てのセルを「0」状態にプログラムするプログラム動作の代わりに、消去動作が使用されて、全てのセルに対して消去を行って「1」状態にする(ステップ3312)。次いで、それぞれのセルが読み出し動作中に約3~5uAの電流を引き込むように、ソフトプログラム動作(ステップ3313)が使用されて、全てのセルを中間状態(レベル)にプログラムする。その後、図33Aの場合と同様に、粗プログラミング方法及び精密プログラミング方法が続く。図33Bの実施形態の変形は、ソフトプログラミング方法(ステップ3313)を完全に除去する。
図34は、検索及び実行方法3400である、粗プログラミング方法3305の第1の実施形態を示す。最初に、ルックアップテーブル検索を実行して、選択されたセルの粗標的電流値(ICT)を、その選択されたセルに記憶されることが意図される値に基づいて決定する(ステップ3401)。このテーブルは、例えば、ケイ素特性評価によって、又はウェハ試験の較正から作成される。選択されたセルは、N個(例えば、128個、64個、32個など)の可能な値のうちの1つの値を記憶するようにプログラムできるとする。N個の値のそれぞれは、選択されたセルによって読み出し動作中に引き込まれる異なる所望の電流値(ID)に対応し得る。一実施形態では、ルックアップテーブルは、検索及び実行方法3400中に選択されたセルに対する粗標的電流値ICTとして使用するためのM個の可能な電流値を含み得、Mは、Nより小さい整数である。例えば、Nが8である場合、Mは4であり得、これは、選択されたセルが記憶し得る8個の可能な値が存在することを意味し、4つの粗標的電流値のうちの1つは、検索及び実行方法3400の粗標的として選択されることになる。すなわち、検索及び実行方法3400(繰り返しになるが、粗プログラミング方法3305の実施形態である)は、選択されたセルを、所望の値(ID)に幾分近い値(ICT)に迅速にプログラムすることを意図しており、次いで、精密プログラミング方法3306は、所望の値(ID)に極めて近くなるように、選択されたセルをより精密にプログラムすることを意図する。
セル値、所望の電流値、及び粗標的電流値の例を、N=8及びM=4の単純な例について表9及び10に示す。
表9:N=8の場合のN個の所望の電流値の例
表10:M=4の場合のM個の標的電流値の例
オフセット値I
CTOFFSETxは、粗調整中に所望の電流値をオーバーシュートしてしまうのを防止するために使用される。
粗標的電流値ICTが選択されると、選択されたセルは、選択されたセルのセルアーキテクチャタイプ(例えば、メモリセル210、310、410、又は510)に基づいた、選択されたセルの適切な端子に電圧v0を印加することによってプログラムされる(ステップ3402)。選択されたセルが図3のメモリセル310のタイプである場合、電圧v0は制御ゲート端子28に印加され、v0は粗標的電流値ICTに応じて5~7Vであり得る。v0の値は、任意選択的に、粗標的電流値ICTと対応させてv0を記憶する電圧ルックアップテーブルから決定することができる。
次に、選択されたセルは、電圧vi=vi-1+vincrementを印加することによってプログラムされ、式中、iは1で開始し、このステップが繰り返されるたびに増分し、vincrementは、所望される変化の粒度に見合う程度のプログラミングを引き起こす小さい微弱電圧である(ステップ3403)。したがって、第1の時間ステップ3403はi=1で実行され、v1は、v0+vincrementである。次いで、検証動作が行われ(ステップ3404)、ここで、選択されたセルで読み出し動作が実行され、選択されたセルを通って引き込まれる電流(Icell)が測定される。IcellがICT(ここでは第1のスレッショルド値である)以下である場合、検索及び実行方法3400は完了し、精密プログラミング方法3306を開始することが可能となる。IcellがICT以下でない場合、ステップ3403が繰り返され、iは増分される。
したがって、粗プログラミング方法3305が終了し、精密プログラミング方法3306が開始する時点で、電圧viは、選択されたセルをプログラムするために使用される最後の電圧であり、選択されたセルは、粗標的電流値ICTに関連付けられた値を記憶することになる。精密プログラミング方法3306の目標は、選択されたセルを、読み出し動作中に選択されたセルが電流ID(+/-50pA又は+/-30%以下などの許容可能な量の偏差を加減する)を引き込む点にプログラムすることであり、この電流は、選択されたセルに記憶されることが意図される値に関連付けられている所望の電流値である。
図35は、粗及び/又は精密プログラム方法3306中に、選択されたメモリセルの制御ゲートに印加することができる異なる電圧進行の例を示す。
第1のアプローチ下では、選択されたメモリセルを更にプログラムするために、増加する電圧が制御ゲートに漸次印加される。開始点はviであり、これは粗プログラミング方法3305中に印加された最後の電圧である。増分vp1がv1に加えられ、次いで、電圧v1+vp1が使用されて、選択されたセルをプログラムする(進行3501において左から2番目のパルスによって示される)。vp1は、vincrement(粗プログラミング方法3305の間に使用される電圧増分)より小さい増分である。それぞれのプログラミング電圧が印加された後、IcellがIPT1(第1の精密標的電流値であり、ここでは第2のスレッショルド値である)以下であるかどうかの判定が行われる、検証ステップ(ステップ3404と同様)が実行され、IPT1=ID+IPT1OFFSETであり、IPT1OFFSETは、プログラムオーバーシュートを防止するために加算されるオフセット値である。判定が否である場合、別の増分vp1が、前に印加されたプログラミング電圧に加えられ、プロセスが繰り返される。IcellがIPT1以下である時点で、プログラミングシーケンスのこの部分は停止する。任意選択的に、IPT1がIDに等しいか、又は十分な精度でIDにほぼ等しい場合、選択されたメモリセルは正常にプログラムされている。
IPT1がIDに十分に近接していない場合は、より小さい粒度の更なるプログラミングを行うことができる。ここで、進行3502が使用される。進行3502の開始点は、進行3501下のプログラミングに使用された最後の電圧である。増分Vp2(vp1よりも小さい)がその電圧に加えられ、組み合わされた電圧が印加されて、選択されたメモリセルをプログラムする。それぞれのプログラミング電圧が印加された後、IcellがIPT2(第2の精密標的電流値であり、ここでは第3のスレッショルド値である)以下であるかどうかの判定が行われる、検証ステップ(ステップ3404と同様)が実行され、IPT2=ID+IPT2OFFSETであり、IPT2OFFSETは、プログラムオーバーシュートを防止するために加算されるオフセット値である。判定が否である場合、別の増分Vp2が、前に印加されたプログラミング電圧に加えられ、プロセスが繰り返される。IcellがIPT2以下である時点で、プログラミングシーケンスのこの部分は停止する。ここで、標的値が十分な精度で達成されているので、IPT2はIDに等しいか、又はプログラミングが停止できるほどIDに十分に近接していると想定される。当業者は、使用されるプログラミング増分が段々と小さくなって追加の進行が適用され得ることを理解することができる。例えば、図36では、2つだけではなく、3つの進行(3601、3602、及び3603)が適用される。
第2のアプローチが、進行3503に示される。ここで、選択されたメモリセルのプログラミング中に印加される電圧を増加させる代わりに、増加する期間の持続時間に対して同じ電圧が印加される。進行3501におけるvp1及び進行3502におけるvp2などの増分電圧を加える代わりに、それぞれの印加パルスが、前に印加されたパルスよりもtp1だけ長くなるように、追加の時間増分tp1がプログラミングパルスに加えられる。それぞれのプログラミングパルスが印加された後、進行3501について前述したのと同じ検証ステップが実行される。任意選択的に、プログラミングパルスに加えられる追加の時間増分が前の使用された進行よりも短い持続時間である、追加の進行を、印加することができる。1つの時間的な進行のみが示されているが、当業者は、任意の数の異なる時間的進行が印加され得ることを理解するであろう。
ここで、粗プログラミング方法3305の3つの更なる実施形態について、更なる詳細が提供される。
図37は、適応較正方法3700である、粗プログラミング方法3305の第1の実施形態を示す。方法が開始する(ステップ3701)。セルは、デフォルトの出発値v0でプログラムされる(ステップ3702)。検索及び実行方法3400とは異なり、ここでv0は、ルックアップテーブルから得られず、代わりに比較的小さい初期値とすることができる。セルの制御ゲート電圧は、第1の電流値IR1(例えば、100na)及び第2の電流値IR2(例えば、10na)で測定され、サブスレッショルド傾斜は、それらの測定値に基づいて決定され(例えば、360mV/dec)、記憶される(ステップ3703)。
新しい所望の電圧viが決定される。このステップが最初に実行されるとき、i=1であり、v1は、例えば以下のようなサブスレッショルド式を使用して、記憶されたサブスレッショルド傾斜値並びに電流標的及びオフセット値に基づいて決定される。
Vi=Vi-1+Vincrement、
Vincrementは、Vgの傾斜に比例する
Vg=n*Vt*log[Ids/wa*Io]
ここで、waはメモリセルのwであり、Idsは電流標的プラスオフセット値である。
記憶された傾斜値が比較的急勾配である場合、比較的小さい電流オフセット値を使用することができる。記憶された傾斜値が比較的平坦である場合、比較的高い電流オフセット値を使用することができる。したがって、傾斜情報を決定することは、問題の特定のセルにカスタマイズされている電流オフセット値が選択されることを可能にする。これは、最終的に、プログラミングプロセスをより短くする。このステップが繰り返されると、iはインクリメントされ、vi=vi-1+vincrementである。次いで、セルは、viを使用してプログラムされる。vincrementは、標的電流値と対応させてvincrementの値を記憶するルックアップテーブルから決定することができる。
次に、選択されたセルで読み出し動作が実行され、選択されたセルを通って引き込まれる電流(Icell)が測定される、検証動作が行われる(ステップ3705)。IcellがICT(ここでは粗標的スレッショルド値である)以下である場合(ICT=ID+ICTOFFSETに設定され、ICTOFFSETは、プログラムオーバーシュートを防止するために追加されるオフセット値である)、適応較正方法3700は完了し、精密プログラミング方法3306が開始され得る。IcellがICT以下でない場合、ステップ3704~3705が繰り返され、iは増分される。
図38は、適応較正方法3700の態様を示す。ステップ3703中、例示的な電流値IR1及びIR2を選択されたセル(ここではメモリセル3802)に印加するために電流源3801が使用され、次いで、メモリセル3802の制御ゲートにおける電圧(IR1に対するCGR1及びIR2に対するCGR2)が測定される。傾斜は、(CGR2-CGR1)/decである。
図39は、適応較正方法3900である、プログラミング方法3305の第2の実施形態を示す。方法が開始する(ステップ3901)。セルは、デフォルトの出発値V0でプログラムされる(ステップ3902)。V0は、シリコン特性評価から作成されたものなどのルックアップテーブルから得られ、テーブル値は、プログラムされた標的をオーバーシュートしないようにオフセットされる。
次のステップ3903で、次のプログラミング電圧を予測するのに使用されるI-V傾斜パラメータが作成され、第1の制御ゲート読み出し電圧VCGR1が選択されたセルに印加され、結果として生じるセル電流IR1が測定される。次いで、第2の制御ゲート読み出し電圧VCGR2が選択されたセルに印加され、結果として生じるセル電流IR2が測定される。傾斜は、それらの測定値に基づいて決定され、例えば、サブスレッショルド領域(サブスレッショルドで動作するセル)における次の等式に従って記憶される:
傾斜=(VCGR1-VCGR2)/(LOG(IR1)-LOG (IR2))
(ステップ3903)。VCGR1及びVCGR2の値の例は、それぞれ1.5V及び1.3Vである。
傾斜情報を決定することは、問題の特定のセルにカスタマイズされているVincrement値が選択されることを可能にする。これは、最終的に、プログラミングプロセスをより短くする。
ステップ3904が繰り返されると、iが増分され、新しい所望のプログラミング電圧Viは、記憶された傾斜値並びに電流標的及びオフセット値に基づき、次のような等式を使用して決定される。
Vi=Vi-1+Vincrement
式中、i-1の場合、Vincrement=α*傾斜*(LOG(IR1)-LOG(ICT))であり、
ICTは標的電流であり、αは、オーバーシュートを防止するための所定の定数<1(プログラミングオフセット値)、例えば0.9である。例えば、Viは、VSLP若しくはVCGP、ソース線若しくは制御ゲートのプログラミング電圧である。
次いで、セルは、Viを使用してプログラムされる。(ステップ3904)
次に、選択されたセルで読み出し動作が実行され、選択されたセルを通って引き込まれる電流(Icell)が測定される、検証動作が行われる(ステップ3906)。IcellがICT(ここでは粗標的スレッショルド値である)以下である場合(ICT=ID+ICTOFFSETに設定され、ICTOFFSETは、プログラムオーバーシュートを防止するために追加されるオフセット値である)、プロセスはステップ3907に進む。そうでない場合、プロセスはステップ3904に戻り、iは増分される。
ステップ3907において、Icellは、ICTより小さいスレッショルド値CT2と比較される。この目的は、オーバーシュートが発生したかどうかを確認することである。すなわち、目標は、IcellがICT未満になることであるが、IcellがICTをはるかに下回っている場合、オーバーシュートが発生しており、記憶された値は、実際には誤った値に対応している可能性がある。IcellがICT2以下でない場合、オーバーシュートは発生しておらず、適応較正方法3900が完了しており、その時点でプロセスは精密プログラミング方法3306に進む。IcellがICT2以下である場合、オーバーシュートが発生している。その場合、選択されたセルは消去され(ステップ3908)、プログラミングプロセスはステップ3902で再開する。任意選択的に、ステップ3908が所定の回数より多く実行される場合、選択されたセルは、使用されるべきではない不良セルと見なされ得る。
精密プログラム方法3306は、複数の検証及びプログラムサイクルからなるものであり、次のパルスに向かって、パルス幅が固定されてプログラム電圧が一定の微細電圧によって増分されるか、又はプログラム電圧が固定されてプログラムパルス幅が変化するか若しくは一定である。
任意選択的に、読み出し動作又は検証動作中に選択された不揮発性メモリセルを通る電流が第1のスレッショルド電流値以下であるかどうかを判定するステップは、不揮発性メモリセルの端子に固定バイアスを印加し、選択された不揮発性メモリセルによって引き込まれた電流を測定及びデジタル化してデジタル出力ビットを生成し、デジタル出力ビットを、第1のスレッショルド電流を表すデジタルビットと比較することによって、実行され得る。
任意選択的に、読み出し動作又は検証動作中に選択された不揮発性メモリセルを通る電流が第1のスレッショルド電流値以下であるかどうかを判定するステップは、不揮発性メモリセルの端子に入力を印加し、選択された不揮発性メモリセルによって引き込まれた電流を出力パルスで変調して変調出力を生成し、変調出力をデジタル化してデジタル出力ビットを生成し、デジタル出力ビットを、第1のスレッショルド電流を表すデジタルビットと比較することによって、実行され得る。
図40は、絶対較正方法4000である、プログラミング方法3305の第3の実施形態を示す。方法が開始する(ステップ4001)。セルは、デフォルトの出発値V0でプログラムされる(ステップ4002)。セル(VCGRx)の制御ゲート電圧は、電流値Itargetで測定され、記憶される(ステップ4003)。新しい所望の電圧v1は、記憶された制御ゲート電圧並びに電流標的及びオフセット値Ioffset+Itargetに基づいて決定される(ステップ4004)。例えば、新しい所望の電圧v1は、以下のように計算することができる:v1=v0+(VCGBIAS-記憶されたVCGR)、式中、VCGBIAS=~1.5Vであり、これは、最大標的電流でのデフォルトの読み出し制御ゲート電圧であり、記憶されたVCGRは、ステップ4003の測定された読み出し制御ゲート電圧である。
次いで、セルは、viを使用してプログラムされる。i=1のとき、ステップ4004からの電圧v1が使用される。i>=2のとき、電圧vi=vi-1+Vincrementが使用される。vincrementは、標的電流値と対応させてvincrementの値を記憶するルックアップテーブルから決定することができる。次に、選択されたセルで読み出し動作が実行され、選択されたセルを通って引き込まれる電流(Icell)が測定される、検証動作が行われる(ステップ4006)。IcellがICT(ここではスレッショルド値である)以下である場合、絶対較正方法4000は完了し、精密プログラミング方法3306が開始され得る。IcellがICT以下でない場合、ステップ4005~4006が繰り返され、iは増分される。
図41は、絶対較正方法4000のステップ4003を実装するための回路4100を示す。電圧源(図示せず)はVCGRを生成し、これは、初期電圧で開始し、上昇する。ここで、n+1個の異なる電流源4101(4101-0、4101-1、4101-2、...、4101-n)は、大きさが増加していく異なる電流IO0、IO1、IO2、...IOnを生成する。それぞれの電流源4101は、インバータ4102(4102-0、4102-1、4102-2、...、4102-n)及びメモリセル4103(4103-0、4103-1、4103-2、...4103-n)に接続されている。VCGRが上昇するにつれて、それぞれのメモリセル4103は、増加する量の電流を引き込み、それぞれのインバータ4102への入力電圧は低下する。IO0<IO1<IO2<...<IOnであるため、VCGRが上昇するにつれて、最初にインバータ4102-0の出力が低から高に切り替わる。次にインバータ4102-1の出力が低から高に切り替わり、次いでインバータ4102-2の出力が同様に切り替わり、以下インバータ4102-nの出力が低から高に切り替わるまで同様である。それぞれのインバータ4102は、スイッチ4104(4104-0、4104-1、4104-2、...、4104-n)を制御し、その結果、インバータ4102の出力が高であるとき、スイッチ4104は閉じられ、これにより、VCGRがコンデンサ4105(4105-0、4105-1、4105-2、...、4105-n)によってサンプリングされる。したがって、スイッチ4104及びコンデンサ4105は、サンプルアンドホールド回路を形成する。IO0、IO1、IO2、...、IOnの値は、Itargetの可能な値として使用され、それぞれのサンプリングされた電圧は、図40の絶対較正方法4000において関連する値VCGRxとして使用される。グラフ4106は、経時的に上昇するVCGR、並びに様々な時間において低から高に切り替わるインバータ4102-0、4102-1、及び4102-nの出力を示す。
図42は、適応較正方法3700又は絶対較正方法4000中に、選択されたセルをプログラムするための例示的な進行4200を示す。一実施形態では、電圧Vcgpは、選択された行のメモリセルの制御ゲートに印加される。選択された行内の選択されたメモリセルの数は、例えば、32である。したがって、選択された行内の最大32個のメモリセルが、並行してプログラムされ得る。各メモリセルは、ビット線イネーブル信号によって、プログラミング電流Iprogに結合することが可能になる。ビット線イネーブル信号が非アクティブである場合(選択されたビット線に正電圧が印加されていることを意味する)、メモリセルはインヒビット(プログラムされない)状態である。図42に示されるように、ビット線有効化信号En_blx(xは1~nで変化し、nはビット線の数である)は、異なる時間に、そのビット線に所望されるVcgp電圧レベルで(したがって、上記ビット線上の選択されたメモリに対して)有効化される。別の実施形態では、選択されたセルの制御ゲートに印加される電圧は、ビット線でのイネーブル信号を使用して制御することができる。それぞれのビット線イネーブル信号により、そのビット線に対応する所望の電圧(図40に記載のviなど)がVcgpとして印加される。ビット線イネーブル信号はまた、ビット線に流れ込むプログラミング電流を制御することもできる。この例では、後続の制御ゲート電圧Vcgpはそれぞれ、その前の電圧よりも高い。あるいは、後続の制御ゲート電圧はそれぞれ、その前の電圧より低くても、高くてもよい。Vcgpの後続の増分はそれぞれ、その前の増分と等しいか又は等しくないかのいずれでもよい。
図43は、適応較正方法3700又は絶対較正方法4000中に、選択されたセルをプログラムするための例示的な進行4300を示す。一実施形態では、ビット線イネーブル信号は、選択されたビット線(上記ビット線内の選択されたメモリセルを意味する)が、対応するVcgp電圧レベルでプログラムされることを可能にする。別の実施形態では、選択されたセルの増分上昇を行う制御ゲートに印加される電圧は、ビット線イネーブル信号を使用して制御することができる。それぞれのビット線イネーブル信号により、そのビット線に対応する所望の電圧(図40に記載のviなど)が制御ゲート電圧に印加される。この例では、後続の増分はそれぞれ、その前の増分と等しい。
図44は、VMMアレイで読み出し又は検証するための入力及び出力方法を実装するためのシステムを示す。入力関数回路4401は、デジタルビット値を受信し、それらのデジタル値をアナログ信号に変換して使用することで、制御ゲートデコーダ4402を介して決定した、アレイ4404内の選択されたセルの制御ゲートに電圧を印加する。同時に、ワード線デコーダ4403もまた、選択されたセルが位置する行を選択するために使用される。出力ニューロン回路ブロック4405は、アレイ4404内のセルのそれぞれの列(ニューロン)の出力作用を実行する。出力回路ブロック4405は、積分型アナログ-デジタル変換器(ADC)、逐次比較型(SAR)ADC、シグマデルタ型ADC、又は任意の他のADCスキームを使用して実装することができる。
一実施形態では、入力関数回路4401に提供されるデジタル値は、例として4つのビット(DIN3、DIN2、DIN1、及びDIN0)を含み、各種ビット値は、制御ゲートに印加される異なる数の入力パルスに対応する。パルスの数が大きいほど、セルの出力値(電流)は大きくなる。ビット値及びパルス値の例を表11に示す。
表11:デジタルビット入力と生成パルス数
上記の例では、セル値を読み出すための4ビットのデジタル値に対して最大15個のパルスが存在する。各パルスは、1単位のセル値(電流)に等しい。例えば、Icell単位=1nAの場合、DIN[3~0]=0001では、Icell=1*1nA=1nAであり、DIN[3~0]=1111では、Icell=15*1nA=15nAである。
別の実施形態では、デジタルビット入力は、表12に示すように、セル又はニューロン(例えば、ビット線出力の値)値を読み出すためにデジタルビット位置加算を使用する。ここで、4つのパルス又は4つの固定された同一バイアス入力(例えば、ワード線又は制御ゲートの入力)のみが、4ビットのデジタル値を評価するために必要とされる。例えば、第1のパルス又は第1の固定バイアスは、DIN0を評価するために使用され、第1の値と同じ値を有する第2のパルス又は第2の固定バイアスは、DIN1を評価するために使用され、第1の値と同じ値を有する第3のパルス又は第3の固定バイアスは、DIN2を評価するために使用され、第1の値と同じ値を有する第4のパルス又は第4の固定バイアスは、DIN3を評価するために使用される。次いで、表13に示すように、それぞれの出力結果が2^n(nはデジタルビット位置)である乗算係数で乗算(スケーリング)された、4つのパルスからの結果が加算される。実現されるデジタルビット加算式は、以下のものである:出力=2^0*DIN0+2^1*DIN1+2^2*DIN2+2^3*DIN3)*Icell単位。
例えば、Icell単位=1nAの場合、DIN[3~0]=0001では、Icell合計=0+0+0+1
*1nA=1nAであり、DIN[3~0]=1111では、Icell合計=8
*1nA+4
*1nA+2
*1nA+1
*1nA=26nAである。
表12:デジタルビット入力加算
表13:デジタル入力ビットDnの総和と2^n出力乗算係数
複数のデジタル入力パルス範囲及び入力デジタル範囲の総和を有するハイブリッド入力を用いた別の実施形態を、例示的な4ビットデジタル入力について表14に示す。この実施形態では、DINn-0をm個の異なるグループに分割することができ、それぞれのグループが評価され、出力は、グループのバイナリ位置による乗算係数でスケーリングされる。例えば、4ビットDIN3-0の場合、グループはDIN3-2及びDIN1-0であり得、DIN1-0の出力は1でスケーリングされ(X1)、DIN3-2の出力は4でスケーリングされる(X4)。
表14:複数の入力範囲を有するハイブリッド入出力の総和
別の実施形態は、ハイブリッド入力範囲をハイブリッドスーパーセルと組み合わせる。ハイブリッドスーパーセルは、複数の物理xビットセルを含み、xセル出力を2^nバイナリ位置でスケーリングした論理nビットセルを実装する。例えば、8ビットの論理セルを実装するために、2つの4ビットセル(セル1、セル0)が使用される。セル0の出力は、1でスケーリングされ(X1)、セル1の出力は、4でスケーリングされる(X、2^2)。8ビットの論理セルを実装するための2つの2ビット物理セル及び1つの4ビット物理セルなど、nビット論理セルを実装するための物理xセルの他の組み合わせが可能である。
図45は、デジタルビット入力がデジタルビット位置加算を使用して、デジタル入力ビット位置に従って設計された出力パルス幅を用いてモジュレータ4510によって変調されたセル又はニューロン(例えば、ビット線出力の値)電流を読み出すこと(例えば、電流を出力電圧(V=電流*パルス幅/容量)に変換するため)を除き、図44のシステムに類似する別の実施形態を示す。例えば、第1のバイアス(ワード線又は制御ゲートのような入力に印加される)は、DIN0を評価するために使用され、電流(セル又はニューロン)出力は、モジュレータ4510によって、1(x1)単位であるDIN0ビット位置に比例する単位パルス幅で変調され、第2の入力バイアスは、DIN1を評価するために使用され、電流出力は、モジュレータ4510によって、2(x2)単位であるDIN1ビット位置に比例するパルス幅で変調され、第3の入力バイアスは、DIN2を評価するために使用され、電流出力は、モジュレータ4510によって、4(x4)単位であるDIN2ビット位置に比例するパルス幅で変調され、第4の入力バイアスは、DIN3を評価するために使用され、電流出力は、モジュレータ4510によって、8(x8)単位であるDIN3ビット位置に比例するパルス幅で変調される。次いで、変換されたそれぞれの電圧は、デジタル入力ビットごとにADC(アナログ-デジタル変換器)4511によってデジタルビットに変換される。次いで、総出力は、DIN0-3入力から生成された4つのデジタル出力の総和として加算器4512によって出力される。
図46は、検証動作中又は出力ニューロンのアナログ-デジタル変換中にVMMの出力を合計して、出力を表す単一のアナログ値を得るために使用できる電荷加算器4600の例を示しており、単一のアナログ値は、次いで任意選択的にデジタルビット値に変換することができる。電荷加算器4600は、例えば、加算器4512として使用され得る。電荷加算器4600は、電流源4601と、スイッチ4602及びサンプルアンドホールド(S/H)コンデンサ4603を含むサンプルアンドホールド回路と、を含む。4ビットのデジタル値の例で示されるように、4つの評価パルスからの値を保持するための4つのS/H回路が存在し、これらの値はプロセスの終了時に合計される。S/Hコンデンサ4603は、そのS/Hコンデンサの2^n*DINnビット位置に関連付けられる比率で選択され、例えば、C_DIN3=x8 Cu、C_DIN2=x4 Cu、C_DIN1=x2 Cu、DIN0=x1 Cuである。電流源4601もまた、それに応じて比率が乗じられる。
図47は、検証動作中又は出力ニューロンのアナログ-デジタル変換中にVMMの出力を合計するために使用できる電流加算器4700を示す。電流加算器4700は、電流源4701、スイッチ4702、スイッチ4703及びスイッチ4704、並びにスイッチ4705を含む。4ビットのデジタル値の例で示されるように、4つの評価パルスからの値を保持するための電流源回路が存在し、これらの値はプロセスの終了時に合計される。電流源は、2^n*DINnビット位置に基づいて比率が乗じられ、例えば、I_DIN3=x8 Icell単位、_I_DIN2=x4 Icell単位、I_DIN1=x2 Icell単位、I_DIN0=x1 Icell単位である。
図48は、複数のデジタル値を受信し、それらを一緒に合計し、入力の和を表す出力DOUTを生成する、デジタル加算器4800を示す。デジタル加算器4800は、検証動作中又は出力ニューロンのアナログ-デジタル変換中に使用され得る。4ビットのデジタル値の例で示されるように、4つの評価パルスからの値を保持するためのデジタル出力ビットが存在し、これらの値はプロセスの終了時に合計される。デジタル出力は、2^n*DINnビット位置に基づいてデジタルスケーリングされ、例えば、DOUT3=x8 DOUT0、_DOUT2=x4 DOUT1、I_DOUT1=x2 DOUT0、I_DOUT0=DOUT0である。
図49Aは、セル電流をデジタル出力ビットに変換するために出力ニューロンに適用される二重傾斜積分型ADC 4900を示す。積分オペアンプ4901及び積分コンデンサ4902からなる積分器は、基準電流IREFに対してセル電流ICELLを積分する。図49Bに示されるように、固定時間t1の間、セル電流は上方に積分され(Voutが上昇する)、次いで、基準電流が、時間t2にわたって下方に積分される(Voutが降下する)ように印加される。電流Icellは、=t2/t1*IREFである。例えば、t1に対して、10ビットのデジタルビット解像度では、1024サイクルが使用され、t2に対するサイクル数は、Icell値に応じて0~1024サイクルに変化する。
図49Cは、セル電流をデジタル出力ビットに変換するために出力ニューロンに適用される単一傾斜積分型ADC 4960を示す。積分オペアンプ4961及び積分コンデンサ4962からなる積分器は、セル電流ICELLを積分する。図49Dに示されるように、時間t1の間、セル電流が上方に積分され(VoutがVref2に達するまで上昇する)、時間t2の間、別のセル電流が上方に積分される。セル電流Icell=Cint*Vref2/tである。積分時間tの間のパルス(デジタル出力ビット)数をカウントするために、パルスカウンタが使用される。例えば、図示されるように、t1に対するデジタル出力ビットは、t2のデジタル出力ビットよりも少なく、これは、t1の間のセル電流がt2積分中のセル電流よりも大きいことを意味する。初期較正は、積分コンデンサ値を基準電流及び固定時間で較正するために行われ、Cint=Tref*Iref/Vref2である。
図49Eは、セル電流をデジタル出力ビットに変換するために出力ニューロンに適用される二重傾斜積分型ADC 4980を示す。二重傾斜積分型ADC 4980は、積分オペアンプを利用しない。セル電流又は基準電流は、コンデンサ4982で直接積分される。積分時間の間のパルス(デジタル出力ビット)をカウントするために、パルスカウンタが使用される。電流Icellは、=t2/t1*IREFである。
図49Fは、セル電流をデジタル出力ビットに変換するために出力ニューロンに適用される単一傾斜積分型ADC 4990を示す。単一傾斜積分型ADC 4980は、積分オペアンプを利用しない。セル電流は、コンデンサ4992で直接積分される。積分時間の間のパルス(デジタル出力ビット)をカウントするために、パルスカウンタが使用される。セル電流Icell=Cint*Vref2/tである。
図50Aは、セル電流をデジタル出力ビットに変換するために出力ニューロンに適用されるSAR(逐次比較型)ADCを示す。セル電流は、抵抗器を通して降下させて、VCELLに変換することができる。あるいは、セル電流は、S/Hコンデンサをチャージアップして、VCELLに変換することができる。MSBビット(最上位ビット)から始まるビットを計算するために、二分探索が使用される。SAR5001からのデジタルビットに基づいて、適切なアナログ基準電圧をコンパレータ5003に設定するために、DAC5002が使用される。コンパレータ5003の出力は、次のアナログレベルを選択するために、SAR5001に順番にフィードバックされる。図50Bに示されるように、4ビットのデジタル出力ビットの例では、4つの評価期間が存在し、アナログレベルを中間に設定することによってDOUT3を評価するための第1のパルス、次いで、アナログレベルを上半分の中間又は下半分の中間に設定することによってDOUT2を評価するための第2のパルスなどがある。
サイクリック型(アルゴリズム型)ADCなどの修正された二分探索は、セル調整(例えば、プログラミング)検証又は出力ニューロン変換に使用され得る。スイッチトキャップ(SC)電荷再分配ADCなどの修正された二分探索(Modified Binary Search)は、セル調整(例えば、プログラミング)検証又は出力ニューロン変換に使用され得る。
図51は、セル電流をデジタル出力ビットに変換するために出力ニューロンに適用されるシグマデルタ型ADC 5100を示す。オペアンプ5101及びコンデンサ5105からなる積分器は、選択されたセル電流からの電流と、1ビット電流DAC 5104からもたらされる基準電流との総和を積分する。コンパレータ5102は、基準電圧に対して積分出力電圧を比較する。クロックドDFF 5103は、コンパレータ5102の出力に応じてデジタル出力ストリームを提供する。デジタル出力ストリームは、典型的には、デジタル出力ビットに出力される前にデジタルフィルタに進む。
図52Aは、電流源5201(受け取られたニューロン電流Ineuを表す)と、スイッチ5202と、可変構成可能コンデンサ5203と、比較器5204であって、可変構成可能コンデンサ5203をはさんで生じるVneuと示された電圧を非反転入力として受け取り、構成可能基準電圧Vreframpを反転入力として受け取り、出力Coutを生成する、比較器5204と、を含む、ランプ型アナログ-デジタル変換器5200を示す。Vreframpは、比較クロックサイクルごとに離散的なレベルでランプアップされる。比較器5204は、VneuをVreframpと比較し、結果として、出力CoutはVneu>Vreframpのときに「1」となり、そうでなければ「0」となる。このように、出力Coutは、Ineuに応答して幅が変化するパルスとなる。Ineuが大きいほどCoutが「1」となる期間は長くなり、その結果、出力Coutのパルス幅は広くなる。デジタルカウンタ5220は、それぞれOT1A及びOT2Aと印された2つの異なるIneu電流について、図52Bに示すように出力Coutのそれぞれのパルスをデジタル出力ビットに変換する。代替的に、ランプ電圧Vreframpは、図52Bのグラフ5250に示される連続ランプ電圧5255である。粗-微細ランプ変換アルゴリズムを利用することによって変換時間を短縮するための、複数ランプの実施形態を図52Cに示す。第1の粗基準ランプ基準電圧5271を、それぞれのIneuの部分範囲を求めるために高速でランプさせる。次に、部分範囲ごとの微細基準ランプ基準電圧5272、すなわちVreframp1及びVreframp2をそれぞれ使用して、対応の部分範囲内のIneu電流を変換する。図示のように、微細基準ランプ電圧の2つの部分範囲が存在する。2つ以上の粗/微細ステップ又は2つの部分範囲が可能である。
図53は、スイッチ5301、スイッチ5302、サンプルホールド(S/H)回路5303、1ビットアナログ-デジタル変換器(ADC)5304、1ビットデジタル-アナログ変換器(DAC)5305、加算器5306、及び2残差演算増幅器(2xオペアンプ)5307のゲインを含む、アルゴリズム型アナログ-デジタル出力変換器5300を示す。アルゴリズム型アナログ-デジタル出力変換器5300は、アナログ入力Vin並びにスイッチ5302及び5302に適用される制御信号に応答して、変換デジタル出力5308を生成する。アナログ入力Vinで受信された入力(例えば、図52のVneu)は、スイッチ5302によってS/H回路5303で最初にサンプリングされ、次いでNビットに対してNクロックサイクルで変換が行われる。それぞれの変換クロックサイクルに対して、1ビットADC 5304は、S/H電圧5309を基準電圧(例えば、VREF/2であり、VREFは、Nビットのフルスケール電圧である)と比較し、デジタルビット(例えば、入力<=VREF/2の場合は「0」、入力>VREF/2の場合は「1」)を出力する。デジタル出力信号5308であるこのデジタルビットは、次に、1ビットDAC5305によってアナログ電圧(例えば、VREF/2又は0Vのいずれか)に変換され、加算器5306に供給されてS/H電圧5309から減算される。次いで、2×残差オペアンプ5307は、加算器差電圧出力を増幅して変換残差電圧5310とし、変換残差電圧5310は、次のクロックサイクルのためにスイッチ5301を介してS/H回路5303に供給される。この1ビット(すなわち、2レベル)アルゴリズム型ADCの代わりに、1.5ビット(すなわち、3レベル)アルゴリズム型ADCを使用して、ADC 5304及び残差オペアンプ5307などからのオフセットの影響を低減することができる。1.5ビットアルゴリズム型ADCには、1.5ビット又は2ビット(すなわち、4レベル)DACが必要とされる。
別の実施形態では、ハイブリッド型ADCを使用することができる。例えば、9ビットのADCについて、最初の4ビットはSAR ADCによって生成され得、残りの5ビットは、傾斜型ADC又はランプ型ADCを使用して生成され得る。
本明細書で使用される場合、「の上方に(over)」及び「に(on)」という用語は両方とも、「の上に直接」(中間材料、要素、又は間隙がそれらの間に配設されていない)、及び「の上に間接的に」(中間材料、要素、又は間隙がそれらの間に配設されている)を包括的に含むことに留意されるべきである。同様に、「隣接した」という用語は、「直接隣接した」(中間材料、要素、又は間隙がそれらの間に配設されていない)、及び「間接的に隣接した」(中間材料、要素、又は間隙がそれらの間に配設されている)を含み、「に取り付けられた」は、「に直接取り付けられた」(中間材料、要素、又は間隙がそれらの間に配設されていない)、及び「に間接的に取り付けられた」(中間材料、要素、又は間隙がそれらの間に配設されている)を含み、「電気的に結合された」は、「に直接電気的に結合された」(要素を一緒に電気的に接続する中間材料又は要素がそれらの間にない)、及び「に間接的に電気的に結合された」(要素を一緒に電気的に接続する中間材料又は要素がそれらの間にある)を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板に直接、中間材料/要素をそれらの間に伴わずに形成すること、及びその要素を基板の上に間接的に1つ以上の中間材料/要素をそれらの間に伴って形成することを含み得る。