JP7041654B2 - メモリ内積和演算のためのnandブロックアーキテクチャ - Google Patents

メモリ内積和演算のためのnandブロックアーキテクチャ Download PDF

Info

Publication number
JP7041654B2
JP7041654B2 JP2019166959A JP2019166959A JP7041654B2 JP 7041654 B2 JP7041654 B2 JP 7041654B2 JP 2019166959 A JP2019166959 A JP 2019166959A JP 2019166959 A JP2019166959 A JP 2019166959A JP 7041654 B2 JP7041654 B2 JP 7041654B2
Authority
JP
Japan
Prior art keywords
nand
bit
block
line
coupled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019166959A
Other languages
English (en)
Other versions
JP2020098658A (ja
Inventor
函庭 呂
弘昇 張
▲逸▼青 劉
Original Assignee
旺宏電子股▲ふん▼有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 旺宏電子股▲ふん▼有限公司 filed Critical 旺宏電子股▲ふん▼有限公司
Publication of JP2020098658A publication Critical patent/JP2020098658A/ja
Application granted granted Critical
Publication of JP7041654B2 publication Critical patent/JP7041654B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C16/00Erasable programmable read-only memories
    • G11C16/02Erasable programmable read-only memories electrically programmable
    • G11C16/06Auxiliary circuits, e.g. for writing into memory
    • G11C16/26Sensing or reading circuits; Data output circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/52Multiplying; Dividing
    • G06F7/523Multiplying only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/5443Sum of products
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C11/00Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/56Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency
    • G11C11/5621Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency using charge storage in a floating gate
    • G11C11/5628Programming or writing circuits; Data input circuits
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C16/00Erasable programmable read-only memories
    • G11C16/02Erasable programmable read-only memories electrically programmable
    • G11C16/04Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0483Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells having several storage transistors connected in series
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C16/00Erasable programmable read-only memories
    • G11C16/02Erasable programmable read-only memories electrically programmable
    • G11C16/06Auxiliary circuits, e.g. for writing into memory
    • G11C16/08Address circuits; Decoders; Word-line control circuits
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C16/00Erasable programmable read-only memories
    • G11C16/02Erasable programmable read-only memories electrically programmable
    • G11C16/06Auxiliary circuits, e.g. for writing into memory
    • G11C16/10Programming or data input circuits
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C16/00Erasable programmable read-only memories
    • G11C16/02Erasable programmable read-only memories electrically programmable
    • G11C16/06Auxiliary circuits, e.g. for writing into memory
    • G11C16/24Bit-line control circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2207/00Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F2207/38Indexing scheme relating to groups G06F7/38 - G06F7/575
    • G06F2207/48Indexing scheme relating to groups G06F7/48 - G06F7/575
    • G06F2207/4802Special implementations
    • G06F2207/4818Threshold devices
    • G06F2207/4824Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Read Only Memory (AREA)
  • Memory System (AREA)

Description

本発明は積和演算を実行するために使用することができる回路に関する。
線形代数に基づくいくつかの種類の計算に使用される神経形態学的コンピューティングシステム、機械学習システムおよび回路では、積和関数が重要な要素となり得る。関数は、以下のように表し得る。
Figure 0007041654000001
この数式では、各積項は、変数入力Xiと重みWiの積である。重みWiは、例えば変数入力Xiの係数に対応して、項間で変化し得る。
積和関数は、アレイのセルの電気的特性が機能を生じさせるクロスポイントアレイアーキテクチャを使用する回路動作として実現することができる。
高速実装のためには、多くの演算が並列に実行され得るように、または非常に大きな積和列が実行され得るように、非常に大きなアレイを有することが望ましい。システムによっては、非常に多数の入力および出力が存在し得るため、合計の消費電流が大きくなり得る。
また、人工知能AI機能は、マルチビット重みを用いた積和演算MACステップ(すなわち積和)を含む大規模な行列の積を含み、非常に高密度のメモリ、および広帯域幅のデータ通信を必要し得る。
AIハードウェアにおける近年の進歩は、高性能かつ低電力の解決策に関するものである。これらの需要を満たすために、「インメモリ計算」または「プロセッサインメモリ」の実装が提案されている。これらの技術は、電力と待ち時間を節約するためにデータ移動要件を軽減し得る。
大規模アレイでの実装に適し、柔軟かつ大容量でエネルギー効率がよい積和演算のための構造を提供することが望まれている。
大規模な積和演算のための積和演算技術は、複数のNANDブロックを使用するインメモリ計算に基づいて説明される。本明細書に記載の例で使用されるNANDブロックは、3D NANDフラッシュ技術を使用して実装することができる。
NANDブロック内のNANDストリングの組を、ビット線の組内のそれぞれのビット線に接続し、ビット線の組からNANDストリングのそれぞれの組を通るソース線上の電流の合計を検出するため、複数のNANDブロックのうちの1つのNANDブロックに結合された複数のビット線の組に入力信号を印加するための手段が記載されている。NANDストリングの組のコンダクタンス(またはその逆数、抵抗)は、NANDストリング上のメモリセルに記憶されているデータによって決定される。
本明細書に記載の実施形態における複数のNANDブロック内のNANDブロックは、複数のビット線の組内のビット線とNANDブロックのソース線との間に配置された複数のNANDストリングを含む。NANDストリングは、NANDストリングを対応するビット線に選択的に接続するストリング選択スイッチを有する。NANDストリングは、ストリング選択スイッチと接地選択スイッチとの間に直列に配置された複数のメモリセルを含み、それによりNANDストリングはソース線に接続される。ワード線は、NANDブロックの対応するワード線レベル内のメモリセルのゲートに結合されている。同様に、ストリング選択線は、NANDストリングの対応する行内のストリング選択スイッチのゲートに結合されている。
特定のNANDブロックについて、複数のビット線の組はB個のメンバーを含み得、そしてNANDブロックは少なくともS個のメンバーを有するストリング選択線の組を含み得る。この構成では、NANDブロックは、B列およびS行のNANDストリングを含むB×S個のNANDストリングのアレイを含む。NANDブロックの列内のS個のNANDストリング(各行から1つずつ)を複数のビット線の組内の各ビット線に接続するために、1組のストリング選択ドライバが計算モードで動作可能である。このように、ソース線上の計算モード電流はB個の積項の和であり、各積項は複数のビット線の組内の1つのビット線上の入力信号と、ビット線に接続されたS個のNANDストリングのコンダクタンスの積の関数である。
それぞれ計算モードおよび記憶モードで動作可能な複数のNANDブロックを含む回路が説明される。バスシステムが複数のNANDブロックの入力および出力に接続され、それにより積和演算の入力データがNANDブロックに適用され得、積和演算の係数がNANDブロックに格納され得る。
計算および記憶モードで使用される入力および出力回路は共有することができ、場合により、異なるモードに異なる回路を使用しても良い。所定のNANDブロックの計算モード入力は、所定のNANDブロックのビット線に並列に入力データを印加するビット線ドライバの組を含むことができる。所定のNANDブロックの計算モード出力は、所定のNANDブロックのソース線上の出力データを検出するためのマルチビットのセンス増幅器を含むことができる。所定のNANDブロックの記憶モード入力は、計算モード用の入力ドライバを含み得るか、または別個の回路とし得る、ページバッファ回路を含むことができる。
本技術の他の態様では、積和演算アクセラレータでの使用に適したNANDブロックの構造が説明される。また、本技術の他の態様では、各タイルが上述の複数のNANDブロックを含む、複数の積和タイルを含む集積回路が説明される。
以下の構成を含む、積和のインメモリ計算の方法が記載される。
a)ビット線BL(i)に結合されたストリング選択線SSL(j)上の、NANDストリングの列C(i)のNANDブロックのレベルL(k)のセル内に積項X(i)×W(i)の係数データw(i、j)を、iは1からB、jは1からS、kは選択されたワード線レベルに等しい場合に、記憶する。
b)入力X(i)をビット線BL(1)~BL(B)に、ストリング選択電圧をストリング選択線SSL(1)~SSL(S)に、ワード線計算電圧を選択されたワード線レベルのセルに、(同時にまたは検出のためにセルにバイアスをかけるために時間的に重なる組み合わせで)印加する。
c)NANDブロックのためのソース線上のビット線BL(1)~BL(B)に接続されたNANDストリングの列C(1)~C(B)を通る電流を組み合わせる。
d)積和を表す出力信号を生成するためにソース線上の電流の大きさを検出する。
本明細書に記載されるように配置されたNANDブロックのアレイは、パイプライン方式で動作し得、機械学習システムの推論モード動作に使用可能なものなど、高スループット動作を支援する。
本明細書に記載の技術を適用して、高密度でエネルギー効率の良い積和アクセラレータが提供される。実施形態は、1ワット当たりテラ演算TOPSのオーダーで実行するように構成し得る。
本発明の他の態様および利点は、添付の図面、以下の詳細な説明および特許請求の範囲を検討することによって理解することができる。
図1は、積和演算の図である。
図2は、本明細書に記載の記憶モードおよび計算モードに構成可能なNANDブロックの回路図である。
図3は、図2のような複数のNANDブロックを示す回路図である。
図4は、本明細書に記載のNANDブロックでの使用に適した他のNANDストリングの実装形態を示す図である。
図5は、本明細書に記載のNANDブロックの簡略図である。
図6は、記憶モードと計算モードとを有し、複数のNANDブロックを含む集積回路を示す図である。
図7は、複数のタイルを含む大規模集積回路を示す図であり、各タイルは、本明細書に記載のNANDブロックアレイを含む。
図8は、NANDブロックアレイMACアクセラレータを備える集積回路の簡略ブロック図である。
図9は、本明細書に記載のNANDブロックアレイを含み得る、積和アクセラレータアレイを含むシステムの構成の図である。
図10は、本明細書に記載のNANDブロックアレイを含み得る、積和アクセラレータアレイを含むシステムの他の構成の図である。
図11は、本明細書に記載されるインメモリ積和演算の方法のフローチャートである。
以下の説明は、典型的には特定の構造的実施形態および方法に関する。本技術を、具体的に開示された実施形態および方法に限定する意図はなく、本技術は他の特徴、要素、方法および実施形態を用いて実施されても良いことが理解されるべきである。好ましい実施形態は、本技術を説明するために記載されており、特許請求の範囲によって定義される範囲を限定するものではない。当業者は、以下の説明において様々な均等な変更を認識し得る。
本明細書で使用されるとき、「結合された」という用語は、動作可能に結合されたことを意味する。この意味で結合されている構成は直接接続されている必要はなく、結合されている構成間に介在する構成があってもよい。
図1は、積和演算の図であり、ここで、和の項は、入力Xiと重みWiの積であり、この例では、iは1から7になる。重みWiは、和の項により異なり得る。動作中、重みは一組の係数として、次に、入力が変化するにつれて変化する和を計算するために印加される入力として割り当てられることができる。また、学習手順を実行するアルゴリズムでは、学習手順が、使用可能な結果を達成する和から学習するために係数を変更するにつれて、重みは刻々と変更されることができる。
図示の例では、0と1の間のような最小と最大の間の非線形の範囲の出力を生成するために、和の出力はシグモイド関数に適用される。ロジット関数、整流関数など、他の活性化関数を用いても良い。積和演算は、神経形態学的ではない、または神経系をモデル化するために他の方法で考慮されていない構成にも同様に適用することができる。
畳み込みニューラルネットワークおよび他の種類のニューラルネットワークを含むニューラルネットワークは、多くの場合、層状に構造化されたロジックを含み、各層は、場合によっては活性化関数が適用された前の層の出力を入力として受け取ることができ、数百または数千の積和演算を並列に実行し、その出力は後続の活性化関数または他の論理装置に適用される。
図2は、行および列に配置された垂直なNANDストリングのアレイを含むNANDブロックの概略図である。説明の目的のため、NANDブロック内の行は、共通のストリング選択線と共通のワード線とを有し、それぞれが共通のストリング選択線に応じて異なるビット線に結合され、共通のストリング選択線およびワード線に沿って一行に論理的に配置されるNANDストリングの組である。説明の目的のため、NANDブロック内の列は、共通のビット線に沿って列状に論理的に配置されるように、異なるストリング選択線にそれぞれ結合された共通のビット線を有するNANDストリングの組である。物理的レイアウトでは、適用される製造方法に応じて、列または行をねじったり、ハニカム状に配置したり、あるいは高密度または他の理由のためにレイアウトしても良い。図において、アレイの第1列のNANDストリング200およびNANDストリング201は、第1ビット線BL(1)およびブロックのソース線SL1に結合されている。また、アレイの第2列のNANDストリング202およびNANDストリング203は、第2ビット線BL(2)およびブロックのソース線SL1に結合されている。図示の例では、図を簡単にするために2本のビット線が示されている。所定のNANDブロックは、所定の実施形態では数十、数百または数千のビット線を含む、iが1からBの多くのビット線BL(i)に、NANDストリングのアレイ内の対応する数のNANDストリングの列とともに、結合され得る。
NANDストリングのアレイ内の各NANDストリングは、対応するストリング選択線SSL(1)およびSSL(S)に結合されたストリング選択スイッチを含み、これは対応するNANDストリングをそのビット線に接続および切断するために使用される。アレイの第1行内のNANDストリング200およびNANDストリング202は、ブロックの第1ストリング選択線SSL(1)に結合されている。NANDストリング201とNANDストリング203とアレイのS番目の行はS番目のストリング選択線SSL(S)に結合される。図示の例では、図を簡単にするために2本のストリング選択線が示されている。所定の実装形態では、所定のNANDブロックは、NANDストリングのアレイ内の対応する数のNANDストリングの行とともに、多くのストリング選択線に結合することができると考えられる。
NANDストリングのアレイ内の各NANDストリングは、ブロックの接地選択線GSL1に結合された接地選択スイッチを含み、これはNANDストリングのアレイ内の対応するNANDストリングをブロックのソース線SL1に接続するために使用される。いくつかの実施形態では、対応するNANDストリング上の接地選択スイッチは、本明細書で説明される記憶モードおよび計算モードを支援する適切な復号回路を有する別々の接地選択線によって制御され得る。
NANDストリングのアレイ内の各NANDストリングは、対応するワード線に結合された、ストリング選択スイッチと接地選択スイッチとの間に直列に配置された複数のメモリセルを含む。この例では、NANDブロックの所定のレベル内の全てのワード線は、単一のワード線導体に、または単一のワード線デコーダによって共通に制御される別々のワード線導体に共通に結合され、NANDブロックの所定のレベル内の全ての、または選択された複数の、メモリセルの行は、同じワード線信号を受け取ることができる。この例では、NANDブロックのNANDストリングは、32本のワード線WL0~WL31に結合された32レベルのメモリセルを含む垂直NANDストリングである。
記憶モードの動作では、ブロックの複数のビット線に結合されたページバッファ(図示せず)によって支援されるプログラムおよび消去動作を使用して、データを個々のメモリセルに書き込むことができる。記憶モードの動作では、通常、NANDストリングのアレイ内のNANDストリングの行のうちの1つが、選択されたストリング選択線を使用して選択される。この場合、NANDストリングのアレイの各列内のNANDストリングのうちの1つは、ビット線のうちの1つに結合される。ページバッファを利用して、データパターンを、NANDブロックの各レベルで、複数のビット線に並列に結合されたNANDストリングのアレイの選択された行内の個々のNANDストリングにプログラムすることができる。また、記憶モードのページバッファを利用して、NANDブロックの各レベルで、NANDストリングのアレイの選択された行内のメモリセルに記憶されているデータを読み取ることができる。
記憶モードでは、積和演算の係数をNANDブロックに格納し得る。NANDブロック内のNANDセルは、セル当たり単一ビット技術またはセル当たり複数ビット技術を使用して実装することができる。いくつかの実施形態では、後述するように、係数が複数のNANDストリングにわたって分散される方法で格納されるので、セル当たり単一ビット技術が好ましい場合がある。他の実施形態では、NANDブロックへの係数のプログラミングにおいて、さらに高い精度を提供するために、セル当たり複数ビット技術を使用しても良い。
図1の図を参照すると、入力信号X1およびX2は、ビット線BL(1)およびBL(2)に印加される電圧VBL(1)およびVBL(2)によって表すことができる。係数W1は、第1のビット線BL(1)に結合されたストリング選択スイッチの対応するストリング選択線によって選択された、1または複数の選択されたNANDストリングの導電率によって表すことができる。係数W2は、第2のビット線BL(2)に結合されたストリング選択スイッチの対応するストリング選択線によって選択された、1または複数の選択されたNANDストリングの導電率によって表すことができる。
選択されたNANDストリングの導電率は、NANDブロックの選択されたレベルにおいて、メモリセルに記憶されたデータによって決定される。図では、ワード線WL(1)のレベルのNANDストリングが選択されている。従って、図示のように、積項W1×X1の第1の係数W1は、全てのS個のストリング選択線がそれらの対応するNANDストリングを第1のビット線BL(1)に接続するように駆動される場合、係数値w(1-1):w(1-S)の組み合わせに対応する。積項W2×X2の第2の係数W2は、全てのS個のストリング選択線がそれらの対応するNANDストリングを第2ビット線BL(2)に接続するように駆動される場合、係数値w(2-1):w(2-S)の組合せに対応する。
本明細書に記載の計算モードの動作では、NANDブロックの積和演算の結果として生成される信号OUTPUT Y1が、ブロックのソース線SL1上に提供される。NANDストリングのアレイ内のN個のストリング選択線およびN行のNANDストリングと共に、NANDストリングのアレイ内に2本のビット線と2列のNANDストリングを含む、図2に示す例では、出力OUTPUT Y1は、NANDブロック内のNANDストリングの電流の合計に対応する電流経路290によって蓄積された電流である。
図示のように、電流経路290は、NANDストリング200からソース線SL1を通るビット線BL(1)上の電流と、NANDストリング201からソース線SL1を通るビット線BL(1)上の電流と、NANDストリング202からソース線SL1を通るビット線BL(2)上の電流と、NANDストリング203からソース線SL1を通るビット線BL(2)上の電流と、を含む。
経路290から蓄積された電流は、積和項W1×X1およびW2×X2に対応する。係数W1は、ワード線WL(1)およびビット線BL(1)に結合されたメモリセルの列におけるデータ値w(1-1):w(1-S)の関数であり、係数W2は、ワード線WL(2)およびビット線BL(2)に結合されたメモリセルの列におけるデータ値w(2-1):w(2-S)の関数である。積項の係数を表すために、所定のビット線に結合されたメモリセルの各列のS個のメモリセルを使用することは、係数を表すために(例えば、複数の有効桁を有する)高精度データの使用を可能にする。計算モード動作中にストリング選択線によって同時に選択される行数、およびそれにより係数を表すために使用されるメモリセルの数を制御することにより、係数の精度は特定の実施形態の必要に応じて変化し得る。したがって、S個のストリング選択線を含むブロックに対して、単一の係数は、入力データ値が単一のビット線上の電圧によって表される場合、1から4の範囲のいくつかのメモリセルに記憶されたデータによって表すことができる。
本明細書に記載のNANDブロック内の単一のNANDストリングにおいて、計算モード中に生成される電流は、比較的小さい可能性がある。したがって、NANDブロックのNANDストリングのアレイ内の全てのNANDストリングからの電流の組み合わせは、ブロックのソース線SL1に結合された電流検出センス増幅器を使用して効率的に検出される電流値の範囲内に留まり得る。
本明細書に記載のNANDブロックは、3D NANDメモリ技術を使用して実装することができる。この技術分野で周知の様々な代替案の中でも、垂直NANDストリングを含むNANDブロックのいくつかの例が、2017年7月4日に発行された、Lueによる、VERTICAL THIN CHANNELL MEMORYと題された米国特許第9,698,156号、および2016年12月20日に発行された、Lueによる、U-SHAPED VERTICAL THIN CHANNEL MEMORYと題された米国特許第9,524,980号に記載され、そのような特許は、あたかも完全に本明細書に記載されているかのように参照により組み込まれる。実装は、NANDブロックが複数の2D NANDアレイにわたって論理的に定義される2D NAND技術を使用して行っても良い。
図3は、図1のような複数のNANDブロックを含む回路が、ニューラルネットワークに使用可能な大規模積和計算の目的とする積和アクセラレータとして、NANDブロックの単一のアレイに相互接続され得る一例を示す概略図である。図3では、ブロック1は、図2に関して上述した方法で実装される。同様に、ブロック2も同様の方法で実施される。ブロックはビット線を共有する。したがって、ビット線BL(1)は、ブロック1のNANDストリングのアレイ内のNANDストリングの第1列、およびブロック2のNANDストリングのアレイ内のNANDストリングの第1列に結合される。同様に、ビット線BL(2)は、ブロック1のNANDストリングのアレイ内のNANDストリングの第2列と、およびブロック2のNANDストリングのアレイ内のNANDストリングの第2列とに結合される。積和演算を目的として、NANDブロックを順番に動作させることができる。したがって、ビット線BL(1)およびBL(2)上の入力X1およびX2は、ストリング選択線および接地選択線により有効とされるように、ブロック1を使用して積和演算に使用することができる。続いて、ビット線BL(1)およびBL(2)上の入力X1およびX2は、ブロック2を用いた積和演算に使用することができる。ワード線は、ブロックごとに別々に動作および復号することができる。
図示の例では、ブロック1に記憶されている係数W1は、ブロックの選択されたレベルにあるNANDストリングの列内のメモリセルに記憶されているデータ値によって表される。したがって、ブロック1では、ワード線WL(1)のレベルの選択されたレベルについて、ブロック1、ビット線BL(1)、およびストリング選択線SSL(1):SSL(N)の係数w1は、データ値w(1-1、1):w(1-N、1)の組み合わせに対応する。同様に、ワード線WL(1)のレベルの選択されたレベルについて、ブロック1、ビット線BL(2)、およびストリング選択線SSL(1):SSL(N)の係数W2は、データ値w(2-1、1):w(2-N、1)の組み合わせに対応する。ブロック2では、ワード線WL(1)のレベルの選択されたレベルについて、ブロック2、ビット線BL(1)およびストリング選択線SSL(1):SSL(N)の係数W1は、データ値w(1-1、2):w(1-N、2)の組み合わせに対応する。同様に、ワード線WL(1)のレベルの選択されたレベルについて、ブロック2、ビット線BL(2)、およびストリング選択線SSL(1):SSL(N)における係数W2は、データ値w(2-1、2):w(2-N、2)の組み合わせに対応する。
図3に示すNANDブロックのパターンは、実用的な数のNANDブロックに対してビット線に沿って、そして実用的な数のNANDブロックに対してワード線に沿って繰り返し得る。このようにして、積和演算の大規模計算を目的として、多数のNANDブロックを含む回路を実現することができる。
図4は、本明細書に記載のNANDブロックで使用することができる代替のNANDストリング構成を示す。図2および図3において、NANDストリングは一直線のNANDストリングであり、ストリング選択ゲートはNANDストリングの上部でビット線に結合され、接地選択ゲートはNANDストリングの下部でソース線に結合されている。図4に示す代替形態では、U字型のNANDストリングが示されている。U字型のNANDストリングを使用して、ソース線およびビット線をNANDストリングの3Dブロックの上に配線することができる。したがって、図4に示すように、ビット線401は、ストリング選択スイッチ405によりU字型のNANDストリングの第1の側に結合されている。U字型のNANDストリングの第1の側面の底部にあるアシストゲート403は、U字型のNANDストリングの第2の側面に結合されている。U字型のNANDストリングの第2の側の頂部では、接地選択スイッチ406がNANDストリングをソース線402に接続する。ビット線およびソース線は、集積回路上のパターン化された金属の異なる層上に配線されることができる。
図5は、本明細書に記載のように構成されたNANDブロックの概念図である。図1に示すような複数の垂直なNANDストリングを含む、NANDブロックBLOCK1が表されている。メモリセルのレベルにおけるNANDブロックの深さは、ワード線レベルWL(1:L)の数Lに対応する。NANDブロック内のNANDストリングの列数は、ビット線BL(1:B)の数Bに対応する。NANDブロック内のNANDストリングの行数は、ストリング選択線SSL(1:S)の数Sに対応する。
ページバッファおよび入力ドライバ510は、複数のビット線BL(1:B)に結合されている。ページバッファは、複数のビット線内のビット線に結合されたビット線ドライバと、複数のビット線内のビット線に結合されたセンス増幅器とを含む。ページバッファ/入力ドライバ510は、記憶モードにおいて、係数をブロックに書き込むために使用されるデータを保持するために使用される。記憶モードでは、ページバッファは、例えばNANDフラッシュアレイにおいて、プログラム及び消去動作中にビット線電圧を印加する目的で使用される。計算モードでは、入力ドライバは、積和演算の入力データに対応するビット線電圧を印加するために使用される。いくつかの実施形態では、ページバッファは、入力データ値のデータパターンを定義するための手段として、計算モードで利用することができる。他の実施形態では、入力データ値は、代替のメモリ経路およびデコーダを使用して入力ドライバに印加することができる。同様に、いくつかの実施形態では、計算モードで使用される入力ドライバを、記憶モードで使用されるページバッファ内のビット線ドライバに含めることができる。他の実施形態では、記憶モード用のビット線ドライバは、計算モード用の入力ドライバとは異なる。
ワード線およびストリング選択線/接地選択線デコーダ512は、複数のワード線と、NANDブロックの複数のストリング選択線および接地選択線とに結合されている。デコーダ512は、NANDストリングを対応するビット線に接続するために、複数のストリング選択線のうちの1または複数を選択するように動作可能である。また、デコーダ512は、ブロックの特定のレベルで選択されたワード線WL(SEL)を駆動することにより、メモリセルのレベルを選択するように動作可能である。記憶モードでは、デコーダ512は、通常、ページ読み取りまたはページ書き込み動作のために、1つのストリング選択線と1つのワード線とを選択する。計算モードでは、デコーダ512は、全てのストリング選択線を含む複数のストリング選択線と、積和演算のための1つのワード線とを選択して、アレイ内の選択されたNANDストリングのコンダクタンスの合計に対応する電流をソース線515上に生成する。
ソース線515はセンス増幅器514に結合され、ソース線515上の電流をデジタル出力値Y1に変換する。センス増幅器514は、記憶モード中は無効にすることができる。ページバッファ/入力ドライバ510およびセンス増幅器514は、大規模な積和演算のために、NANDブロック間において入力および出力データの経路を設定するために、データバスシステム520に結合することができる。記憶モード動作および計算モード動作のために、図示されていないシーケンスコントローラを使用して、デコーダ512、ページバッファ/入力ドライバ510、およびセンス増幅器514の動作を調整することができる。
これらの要素510、512、および514、ならびに本明細書に記載の様々な実施形態は、NANDブロック内のNANDストリングの組をビット線の組内のそれぞれのビット線に接続し、ビット線の組からNANDストリングのそれぞれの組を通る電流の合計を感知するため、複数のNAND内のNANDブロックに結合された複数のビット線内の複数のビット線の組に入力信号を印加するための手段を備える。
図5は単一のNANDブロックを示す。図6は、NANDブロックのアレイ600を含む回路タイル650のブロック図である。この例では、NANDブロックのアレイ600は、8×8アレイに64個のブロックを含む。ワード線およびストリング選択線デコーダ612は、タイル内に配置されている。個々のブロックに対するワード線デコーダおよびワード線は、独立して制御することができる。また、個々のブロックに対するストリング選択デコーダおよびストリング選択線は、別々の回路として実現することができ、独立して制御することができる。
いくつかの実施形態では、ワード線デコーダおよびワード線、ならびにストリング選択線デコーダおよびストリング選択線は、水平レーン内のNANDブロックのいくつかまたはすべてが、同じワード線導体およびワード線デコーダ、および同じストリング選択線およびストリング選択線デコーダを共有するように、水平レーンに配置され得る。この8×8アレイでは、例えば、8水平レーンのNANDブロックがあっても良い。
タイルのビット線は、大規模NAND記憶デバイスに使用されるような一組の回路に結合される。一組の回路は、ビット線上でプログラムおよび消去動作の支援に使用するためにビット線に結合された高電圧スイッチ622を含む。また、一組の回路は、積和演算の入力値に対応するビット線電圧を含む、ビット線に電圧を印加するように構成された、計算モード中のロジック入力用のビット線入力ドライバ621を含む。1組の回路はまた、プログラム検証動作中にデータを記憶するために使用され、メモリアレイからのデータの転送のための読み出し動作に使用され、およびプログラム動作用のデータの組を定義するために使用されるページバッファ620を含む。また、ページバッファ620は、所定の積和演算の複数のビット線上で計算モード中に印加される電圧レベルを選択するために、ロジック経路の一部として利用することができる。
ページバッファ620、ビット線入力ドライバ621、および高電圧スイッチ622は、垂直レーン内のすべてのNANDブロックが同じビット線および関連する回路を共有するように、複数の垂直レーンに配置することができる。1の実施形態では、NANDブロックのアレイ600は、この例では、8個のNANDブロックの列に結合された、8の1Kレーンのビット線に構成された、8Kビット線を含むことができる。
センス増幅器614は、NANDブロックのアレイ600に結合されている。例えば、それぞれがアレイ600の複数のNANDブロック内の64個のNANDブロックのうちの1つに結合された、64個の電流検出センス増幅器であっても良い。他の実施形態では、一組のセンス増幅器614は、アレイ600の各水平レーンに一つのセンス増幅器を含むことができる。他の実施形態では、一組のセンス増幅器614は、各垂直レーンに一つのセンス増幅器を含むことができる。
図6に示すように、デジタル入出力データを搬送するデータ経路(XデジタルIO)は、ページバッファ620およびビット線入力ドライバ621に結合されデータバスシステムまたは、タイルが実装される集積回路上の入出力IO回路に接続することができる。同様に、センス増幅器614からのデジタル出力(Y nビット出力)を搬送するデータ経路は、データバスシステム、またはタイルが実施される集積回路上のI/O回路に接続することができる。
図7は、図6に示すようなタイルを複数含む実施形態を示す。したがって、3×3グリッドに配置されたタイルTILE1からTILE9を含む集積回路700が示されている。集積回路700上のタイル間バスシステム750は、複数の積和アクセラレータタイル上のデータ経路に結合されている。シーケンスコントローラ703は、バスシステム750を介してタイルのグリッドに結合され、複数のタイル間のデータフローを制御し、例えば、バスシステム750によって配信される記憶モード動作および計算モード動作について、コマンドシーケンスを使用してタイルの動作を設定する。入出力インターフェース705は、例えば、大容量DDR DRAMインターフェース、大容量シリアルインターフェース、大容量PCIeインターフェース、および大量のデータをグリッドに出し入れするための他の業界標準またはカスタムインターフェース、を含む複数の入力インターフェース710を含み得るシーケンスコントローラ703に結合される。
図8は、図6および図9に示す様々な実施形態において例えば図2に示すように実施された、フラッシュメモリセルのNANDブロックアレイ860を備えるMACアクセラレータメモリアレイを含む集積回路装置800の他の実施形態の簡略化されたチップブロック図である。この例の装置800は、上述したように、例えば記憶モードでのメモリ動作のための状態機械および計算モードにおけるMACアクセラレータまたは積和演算を含む、コントローラ810を含む。また、この例におけるコントローラ810は、NANDブロックアレイ860を含む大規模AI機能におけるデバイス800の使用、およびデバイスの内外のデータフロー動作を制御するためのシーケンサを含む。
集積回路装置800は、アレイ860内の対応するNANDブロックに結合された一組のソース線855と、アレイ860内の対応するNANDブロックに結合された一組のビット線865とを含む。
一組のワード線が、対応するNANDブロックのレベルでメモリセルのゲートに結合され、一組のワード線内のワード線上の信号がそれぞれのレベルのメモリセルを選択する。ワード線ドライバ840は、一組のワード線845に結合されている。
一組の検出回路850は、一組のソース線内のそれぞれのソース線に結合される。アレイを使用した積和演算のために、ソース線検出回路850は、メモリアレイ860からソース線855における電流を検出することができる。一組のソース線内の特定のソース線で検出された電流は、上述したように積和を表し得る。ソース線検出回路850からの検出データは、データ線853を介して入出力回路891に供給される。
回路内のビット線ドライバ870は、ページバッファ875とビット線865とに結合されている。アレイを使用した積和演算のために、回路内のビット線ドライバ870は、選択された各ビット線について入力x(m)を生成することができる。
アドレスは、制御ロジック(コントローラ)810からページバッファ875、回路内のビット線ドライバ870、およびワード線ドライバ840へ、バス830上で供給される。ページバッファ875、回路内のビット線ドライバ870、およびソース線検出回路850は、線853、885により、入力/出力回路891に結合されている。
入力/出力回路891は、データを集積回路装置800の外部の宛先に送る。入出力データおよび制御信号は、データバス805を介して、入出力回路891、制御ロジック810、および集積回路装置800の入出力ポート、または、例えば、汎用プロセッサまたは特殊用途のアプリケーション回路、あるいはメモリアレイ860により支援されるシステムオンチップ機能を提供するモジュールの組み合わせなど、集積回路装置800の内外の他のデータソースとの間を移動する。
図8に示す例では、バイアス配置状態機械を使用して、制御ロジック810は、計算モードでは積和演算のため、記憶モードでは読み書き(プログラムと消去)動作のために、ブロック820において、1または複数の電圧供給を通じて生成または提供される供給電圧の印加を制御する。
制御ロジック810は、本技術分野で知られている専用ロジック回路を使用して実施することができる。他の実施形態では、制御ロジックは、同じ集積回路上に実装可能な汎用プロセッサを含み、汎用プロセッサはコンピュータプログラムを実行して装置の動作を制御する。さらに他の実施形態では、専用ロジック回路と汎用プロセッサの組み合わせを制御ロジックの実装に使用することができる。
制御ロジック810はまた、装置の計算モードでパイプライン動作を支援する回路を実装し得る。たとえば、次の表は、ブロックの出力を受および処理するロジックにより支援されるSRAMを使用した3ブロックのパイプライン操作を示す。
Figure 0007041654000002
図9は、データ経路コントローラ903を使用して線911により外部バスシステム910に相互接続された、積和演算アクセラレータアレイ901(またはMACアクセラレータ)を備えた第1の集積回路900を含むシステムの構成を示す。積和演算アクセラレータアレイ901は、上述のように、NANDブロックのアレイまたはNANDブロックのアレイのタイルのアレイを使用して実装することができる。第2の集積回路950は、コントローラとして機能し、積和演算アクセラレータアレイ901と連携して使用するバッファ905および支援ロジック906を含む。第2の集積回路950は、線912によりバスシステム910に結合されている。第2の集積回路950内のバッファ905は、SRAMアレイ、DRAMアレイ、NORフラッシュアレイ、または積和演算アクセラレータアレイ901と連携して使用することができる他の種類のメモリを含み得る。ロジック906は、ニューラルネットワークの動作を管理するシーケンスロジックを含むことができる。ロジック906はまた、起動機能ロジックおよびデバイスの計算モードを支援する他のロジックを含むことができる。また、ロジック906は、デジタル積和演算および大規模ニューラルネットワークを支援する他の演算を形成する大規模プロセッサを備えることができる。
第1の集積回路900および第2の集積回路950は、マルチチップモジュール、または他のコンパクト構成では、積層されたチップ構成で搭載することができ、いくつかの実施形態では、バスシステム910、911、912内の相互接続線は、例えば、シリコン貫通ビア、ボールグリッド接続などを含むチップ間接続を含む。
図10は、単一の集積回路1000上にコントローラを有する積和演算アクセラレータアレイ1001を含む他の実施形態を示す。この例では、データ経路コントローラ1003は積和演算アクセラレータアレイ1001と共に集積回路上に実装される。データ経路1005は、データ経路コントローラをバッファ1006に結合し、バッファ1006は、次に同じ集積回路1000上のロジック1008に結合される。図10に示すように、バッファ1006からのデータは、データ経路コントローラ1003を使用して制御され得る直接データ経路を使用して、積和演算アクセラレータアレイ1001に転送することができる。
図11は、本明細書に記載のNANDブロックを使用して積和を計算する方法を示すフローチャートである。図8の例における制御ロジック810は、この方法をサポートする状態機械を含むことができる。図11の方法は、単一のNANDブロックに適用される。この方法は、大規模な積和演算を支援するために、上述したようにNANDブロックのアレイおよびタイルのアレイに拡張することができる。
したがって、B個の積項について積和を計算するために、この方法は、B個のビット線、S個のストリング選択線に結合され、L個のワード線レベルを有するNANDブロックを選択することを含む(1100)。NANDブロックを記憶モードで動作させて、計算を設定するために、この方法は、積項W(i)×X(i)の係数データw(i、j)を、ビット線のインデックスiが1からB、ストリング選択線のインデックスjが1からS、ワード線レベルのインデックスkは一定の選択されたレベルにある場合に、ビット線BL(i)に結合されたストリング選択線SSL(j)上のNANDストリングの列C(i)のレベルL(k)における1組のメモリセルに記憶することを含む。NANDページプログラミング動作を使用して、係数データは、単一のストリング選択線SSL(i)に結合されたNANDストリング上のメモリセルに記憶され得る。NANDページプログラミング動作は、ストリング選択線の組SSL(1)からSSL(S)内の各ストリング選択線について繰り返される(1101)。
このようにして、係数W(i)は、ストリング選択線SSL(1)~(S)上のストリング選択スイッチに結合されたNANDストリングの列C(i)内のワード線レベルkにおいて、メモリセルの組に記憶されたS個のデータ値(jが1からSになるw(i、j))によって表される。
一般に、数Sは、ストリング選択線の物理的な数に等しくなり得る。いくつかの実施形態では、特定の係数を格納するために使用される数Sは、1からストリング選択線の最大物理数までの任意の数であり得る。同様に、ビット線の数Bは、NANDブロック内で合計される積項の数に対応する。数Bは、ブロックに結合されたビット線の最大物理数、または特定の数の積項に対して選択されたビット線の数に等しくなり得る。
データが記憶されると、装置は計算モードに入ることができる。計算モードでは、ビット線電圧VBLiにより表される入力X(i)は、iが1からBの場合に、ビット線BL(i)に並列に印加され、同時にビット線に印加することができる。また、ビット線を対応するNANDストリングに接続するストリング選択スイッチをオンにするように設定されたストリング選択線選択電圧が、jが1からSの場合に、同時かつ並列にすべてのストリング選択線SSL(j)に印加される。また、ワード線電圧は、ワード線または計算される特定の積項に対応するワード線レベルkのワード線に印加される(1102)。
これは、S個のNANDストリングを、各ビット線BL(i)に並列に接続し、ワード線または計算される特定の積項に対応するワード線レベルkのワード線に、計算レベルワード線電圧を印加する効果を有する。同時に、接地選択線が選択電圧レベルに設定され、NANDストリングをソース線に接続する接地選択スイッチをオンにする。選択されたワード線レベルのセル内のデータ値は、記憶された係数に従ってNANDストリングのコンダクタンスを設定する効果を有する。
また、計算モードでは、ビット線BL(1)~BL(B)に接続されたNANDストリングの列C(1)~C(B)内のS個のNANDストリングを流れる電流が、NANDブロックのソース線において合成される。(1103)。
結果として、ソース線上の電流は、計算されているB個の積項の合計に対応する。
最後に計算モードでは、ソース線上の電流の大きさを検出することによって積和出力が生成される(1104)。この出力は、実行されている一連の計算に従って経路の設定を行うためにバスシステムに供給されるマルチビットデジタル出力とすることができる。
フローチャートは、本明細書で説明されているメモリコントローラまたはメモリデバイスによって実行されるロジックを示している。ロジックは、プロセッサ、フィールドプログラマブル集積回路を含む専用ロジックハードウェア、および専用ロジックハードウェアとコンピュータプログラムの組み合わせによって実行可能かつコンピュータシステムにアクセス可能なメモリに格納されたコンピュータプログラムを使用してプログラムされたプロセッサ、によって実行され得る。達成される機能に影響を与えることなく、ステップの多くを組み合わせ、並行して実行し、または異なるシーケンスで実行し得ることが理解されたい。場合によっては、読者が理解するように、他の特定の変更が同様になされた場合にのみ、ステップの再配置は同じ結果を達成する。他の場合には、読者が理解するように、特定の条件が満たされる場合にのみ、ステップの再配置は同じ結果を達成する。さらに、フローチャートは、技術の理解に関連するステップのみを示しており、他の機能を達成するための多数の追加のステップが、示されたものの前、後および間に実行され得ることを理解されたい。
一般に、高性能、低電力積和演算アクセラレータ回路が説明されている。アクセラレータ回路の実装は、積和演算の大容量計算用に構成された3D NANDフラッシュブロックを含むことができる。本明細書に記載の構造を利用して、積和演算に必要な電流の大きさは非常に小さくかつ厳密に制御することができる。本明細書に記載の実施形態では、高スループット、低電力積和演算を支援するために、何千および何万ものセルを一緒に動作させることができる。
本明細書に記載の例では、各ブロックは、複数のビット線上の多数のNANDストリングおよびストリング選択線から、同時に電流を収集することができる別々のソース線を有する。ソース線上の電流は、マルチビット検出(例えば、2ビット、3ビット、4ビット)を有し、ブロック当たりの平均電流が平均10μAから100μAの範囲で広いダイナミックレンジを有する電流検出センス増幅器に結合され得る。1ストリング当たり50ナノアンペア未満の範囲内など、適切な閾値電圧および駆動電圧を可能な限り小さく設定することにより、ストリング当たりの電流をトリミングすることができ、単一のセンス増幅器において1000~10,000ストリングの並列検知を可能とする。例えば、ワード線は、フラッシュメモリセルの消去状態のプログラム検証の間の中央近くにバイアスすることができ、ビット線電圧は、ストリング当たりの電流を小さくするために0.3V未満のレベルに低減することができる。
NANDブロックに並列に入力するために使用されるビット線および係数を記憶する目的のために使用されるストリング選択線の数は、特定の実施のために要望通りに設定することができる。また、所定の計算に使用されるビット線およびストリング選択線の数は、動作の各サイクルにおいて論理的に決定することができる。
複数のストリング選択線を使用し、それによって単一のビット線に並列に結合された複数のNANDストリングを使用することから、各積項の係数または重みは、NANDブロック内の複数のメモリセルに分配することができる。これにより、NANDフラッシュプログラミング動作を使用して各セルを個々に高精度にトリミングすることができるので、係数の高分解能、または実質的なアナログ重み値を可能にする。結果として、計算の信頼性は非常に高くなり得る。
本発明は、上に詳述された好ましい実施形態および実施例を参照することによって開示されているが、これらの実施例は限定的な意味ではなく例示的なものを意図していることを理解されたい。当業者であれば変更および組み合わせを容易に思い付くであろうと考えられ、その変更および組み合わせは本発明の要旨および添付の特許請求の範囲の範囲内であろう。

Claims (20)

  1. 対応するソース線を各NANDブロックに有する複数のNANDブロックであって、前記複数のNANDブロック内の特定のNANDブロックは、複数のビット線の組と、前記特定のブロックの対応する前記ソース線との間に配置されたNANDストリングを含み、前記各NANDブロックは、複数の列および複数の行のNANDストリングを含む前記複数のNANDブロックと、
    前記複数のNANDブロックに結合された前記複数のビット線の組に入力信号を印加する入力回路と、
    前記NANDブロック内の前記複数の列および複数の行のNANDストリングによって共有されるソース線に結合された検出回路を有し、前記複数のビット線の組から選択されたNANDブロック内の前記複数の列および複数の行のNANDストリングを通る前記選択されたNANDブロック内の前記ソース線上の前記複数の列および複数の行のNANDストリングの電流の合計を検出する前記検出回路と、
    を有する回路。
  2. 前記複数のビット線の組を含む前記複数のNANDブロックに結合された複数のビット線を含み、
    前記入力回路は、前記複数のビット線内のビット線に結合されたページバッファを含む、
    請求項1に記載の回路。
  3. 前記複数のビット線の中のそれぞれのビット線に結合されたNANDストリングをプログラムするための手段を含む、請求項2に記載の回路。
  4. 前記複数のNANDブロック内のNANDブロックは、
    その複数のビットラインの組とそのソース線との間の複数のNANDストリングであって、前記NANDストリングを、前記複数のビット線の組内の対応するビット線と、直列に配置された複数のメモリセルと、に選択的に接続するストリング選択スイッチを有し、当該複数のビット線の組内のビット線は、前記複数のNANDストリング内のNANDストリングの組のそれぞれに結合する前記NANDストリングと、
    前記NANDブロックの対応するワード線レベル内のメモリセルのゲートに結合されたワード線と、
    前記複数のNANDストリング内のNANDストリングの対応する行においてストリング選択スイッチのゲートに結合されたストリング選択線と、
    を有する請求項1~3いずれか一項に記載の回路。
  5. 前記NANDブロックについて、前記複数のビット線の組はB個のメンバーを含み、前記NANDブロックは少なくともS個のメンバーを有するストリング選択線の組を含み、
    ストリング選択ドライバは、前記NANDブロックの列内のS個のNANDストリングを、前記複数のビット線の組のそれぞれに接続するように動作可能であり、
    前記NANDブロックの前記ソース線上の電流は、B個の積項の合計であり、各積項は、前記複数のビット線の組内の1の前記ビット線上の入力信号と、当該1のビット線に接続されたS個のNANDストリングのコンダクタンスの積の関数である請求項4に記載の回路
  6. 前記入力回路は、前記所定のNANDブロックのビット線に並列に入力データを印加する1組のビット線ドライバを含み、
    前記検出回路は、対応するソース線上の出力データを検出するマルチビットセンス増幅器を含む請求項1~5いずれか一項に記載の回路
  7. 前記複数のNANDブロック内の各NANDブロックは、計算モード入力および出力を有し、それぞれが記憶モード入力および出力を有し、
    さらに、前記複数のNANDブロックの前記計算モード入力および出力、および記憶モード入力および出力に接続されるバスシステムを有する請求項1~6いずれか一項に記載の回路。
  8. 前記複数のNANDブロック内の所定のNANDブロックの記憶モード入力は、前記所定のNANDブロックのビット線を介してデータを読み書きするページバッファ回路を含む請求項7に記載の回路。
  9. 前記複数のNANDブロック内のブロックはそれぞれ、
    B列およびS行のNANDストリングと、L個のレベルのメモリセルと、を含むB×S個のNANDストリングであって、B、SおよびLは整数であり、L個のレベルの各レベルにおいて直列なL個のメモリセルを含む前記NANDストリングと、
    B個のビット線の組の対応するビット線に結合されるB列の各列のS個のNANDストリングの組と、
    S個のストリング選択線の組内の対応するストリング選択線に結合されたS行内の各行におけるB個のNANDストリングの組内のストリング選択スイッチと、
    前記L個のレベル内の対応する1または複数のワード線に動作可能に結合された前記L個のレベルの各レベルにおけるB×S個のメモリセルの組と、
    前記ブロック内の前記B×S個のNANDストリングに動作可能に結合されたソース線と、
    を有する請求項1~8いずれか一項に記載の回路。
  10. パイプライン方式で前記複数のNANDブロックを動作させるコントローラを含む、請求項1~9いずれか一項に記載の回路。
  11. B列およびS行のNANDストリングと、L個のレベルのメモリセルとを含み、B、SおよびLは整数であり、前記NANDストリングは、前記L個のレベルの各レベルにおいて直列なL個のメモリセルを含む、NANDストリングのブロックと
    B列の各列のS個のNANDストリングに結合されたB個のビット線と、
    S行内の各行のB個のNANDストリングに結合されたS個のストリング選択線と、
    L個のレベルの各レベルのB×S個のメモリセルに動作可能に結合されたW個のワード線と、
    前記ブロック内のNANDストリングに動作可能に結合されたソース線と、
    複数のストリング選択線上のNANDストリングを対応するビット線に同時に接続するストリング選択電圧を供給するためにS個のストリング選択線に結合されたストリング選択線ドライバと、
    選択されたレベルの1または複数のワード線にワード線電圧を印加するように結合されたワード線ドライバと、
    入力データ信号を複数の前記B個のビット線に印加するために前記B個のビット線内のビット線に結合された複数のビット線ドライバと、
    前記ソース線に結合された電流検出回路と、
    を有する回路。
  12. プログラムモードで前記ブロック内の前記NANDストリングをプログラムするために入力データ信号を印加するために、前記B個のビット線内のビット線に動作可能に結合されたページバッファを含む、請求項11に記載の回路。
  13. ビット線BL(i)に結合されたストリング選択線SSL(j)上の、NANDストリングの列C(i)のNANDブロックのレベルL(k)のセル内に積項X(i)×W(i)の係数データw(i、j)を、iは1からB、jは1からS、kは選択されたワード線レベルに等しい場合に、記憶すし、
    入力X(i)をビット線BL(1)~BL(B)に、ストリング選択電圧をストリング選択線SSL(1)~SSL(S)に、ワード線計算電圧を選択されたワード線レベルのセルに、同時に印加し、
    NANDブロックのためのソース線上のビット線BL(1)~BL(B)に接続されたNANDストリングの列C(1)~C(B)を通る電流を組み合わせ、
    積和を表す出力信号を生成するためにソース線上の電流の大きさを検出する、
    積和のインメモリ計算方法。
  14. 集積回路内の複数の積和アクセラレータタイルを含み、
    各タイルは、
    それぞれが入力および出力を有し、各NANDブロックは、複数の列および複数の行のNANDストリングを含む複数のNANDブロックと、
    対応する前記NANDブロック内の前記複数の列および複数の行のNANDストリングにそれぞれ結合され、前記NANDブロック内の前記複数の列および複数の行のNANDストリングによって共有されるソース線上の前記複数の列および複数の行のNANDストリングの電流の合計が前記タイルによって検出される複数のソース線と、
    入力および出力に接続されたデータ経路と、
    前記複数の積和アクセラレータタイルの前記データ経路に結合された前記集積回路上のタイル間バスシステムと、
    前記タイル間バスシステムに結合された集積回路上の入力/出力回路と、
    を有する回路。
  15. 前記複数のタイル間のデータフローを制御するシーケンサロジックを含む、請求項14に記載の回路。
  16. 各タイルは、
    前記複数のNANDブロックに結合された複数のビット線を含み、
    前記複数のビット線内のビット線に結合された入力ドライバと、
    前記複数のソース線内のソース線に結合されたセンス増幅器と、
    前記複数のビット線内のビット線に結合されたページバッファと、
    を有する請求項14又は15に記載の回路。
  17. 各タイルは、
    前記複数のNANDブロックに接続された複数のビット線を含み、前記複数のビット線内の複数のビット線の組は、前記複数のNANDブロックのそれぞれに結合され、
    前記複数のNANDブロック内のNANDブロックは、
    その複数のビット線の組とそのソース線との間の複数のNANDストリングであって、当該複数のビット線の組内の対応するビット線と、直列に配置されたメモリセルと、にNANDストリングを選択的に接続するストリング選択セルを有するNANDストリングを有し、当該複数のビット線の組のビット線は、前記複数のNANDストリングのNANDストリングの組のそれぞれに結合され、
    前記複数のNANDブロック内のNANDブロックは、
    前記NANDブロックの対応するワード線レベル内のメモリセルのゲートに結合されたワードラインと、
    前記複数のNANDストリング内のNANDストリングの対応する行内のストリング選択セルのゲートに結合されたストリング選択線と、
    を有する請求項14又は15に記載の回路。
  18. 前記NANDブロックについて、前記複数のビット線の組はB個のメンバーを含み、前記NANDブロックは少なくともS個のメンバーを有するストリング選択線の組を含み、
    ストリング選択ドライバは、前記NANDブロックの列内のS個のNANDストリングを、前記複数のビット線の組内のビット線のそれぞれに接続するように動作可能であり、
    前記ソース線上の電流は、B個の積の合計であり、各積項は、前記複数のビット線の組内の1の前記ビット線上の入力信号と、当該1のビット線に接続されたS個のNANDストリングのコンダクタンスの積の関数である請求項17に記載の回路。
  19. 各タイル内の前記複数のNANDブロック内の所定のNANDブロックの入力は、前記所定のNANDブロックのビット線に並列に入力データを印加する1組のビット線ドライバを含み、
    前記複数のNANDブロック内の所定のNANDブロックの出力は、前記所定のNANDブロックのソース線上の出力データを検出するマルチビットセンス増幅器を含む、請求項14~18いずれか一項に記載の回路。
  20. 各タイルについて、前記複数のNANDブロック内のブロックはそれぞれ、
    B列およびS行のNANDストリングと、L個のレベルのメモリセルと、を含むB×S個のNANDストリングであって、B、SおよびLは整数であり、L個のレベルの各レベルにおいて直列なL個のメモリセルを含む前記NANDストリングと、
    B個のビット線の組の対応するビット線に結合されるB列の各列のS個のNANDストリングの組と、
    S個のストリング選択線の組内の対応するストリング選択線に結合されたS行内の各行におけるB個のNANDストリングの組内のストリング選択スイッチと、
    前記L個のレベル内の対応する1または複数のワード線に動作可能に結合された前記L個のレベルの各レベルにおけるB×S個のメモリセルの組と、
    前記ブロック内の前記B×S個のNANDストリングに動作可能に結合されたソース線と、
    を有する請求項14~19いずれか一項に記載の回路。
JP2019166959A 2018-12-18 2019-09-13 メモリ内積和演算のためのnandブロックアーキテクチャ Active JP7041654B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862780938P 2018-12-18 2018-12-18
US62/780,938 2018-12-18
US201962791037P 2019-01-11 2019-01-11
US62/791,037 2019-01-11
US16/508,189 US11934480B2 (en) 2018-12-18 2019-07-10 NAND block architecture for in-memory multiply-and-accumulate operations
US16/508,189 2019-07-10

Publications (2)

Publication Number Publication Date
JP2020098658A JP2020098658A (ja) 2020-06-25
JP7041654B2 true JP7041654B2 (ja) 2022-03-24

Family

ID=67742216

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019166959A Active JP7041654B2 (ja) 2018-12-18 2019-09-13 メモリ内積和演算のためのnandブロックアーキテクチャ

Country Status (6)

Country Link
US (1) US11934480B2 (ja)
EP (1) EP3671433A1 (ja)
JP (1) JP7041654B2 (ja)
KR (1) KR20200076571A (ja)
CN (1) CN111338601B (ja)
TW (1) TWI757645B (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112151095A (zh) * 2019-06-26 2020-12-29 北京知存科技有限公司 存算一体芯片、存储单元阵列结构
WO2021108090A1 (en) 2019-11-26 2021-06-03 Mythic, Inc. Systems and methods for implementing redundancy for tile-based intelligence processing computing architecture
US11586900B2 (en) 2020-04-20 2023-02-21 Macronix International Co., Ltd. Training algorithm in artificial neural network (ANN) incorporating non-ideal memory device behavior
US11189339B1 (en) * 2020-05-29 2021-11-30 Macronix International Co., Ltd. Performing in-memory computing based on multiply-accumulate operations using non-volatile memory arrays
WO2022020164A1 (en) * 2020-07-22 2022-01-27 Flex Logix Technologies, Inc. Mac processing pipelines having programmable granularity, and methods of operating same
US11309028B2 (en) * 2020-09-03 2022-04-19 Macronix International Co., Ltd. Inference operation method and controlling circuit of 3D NAND artificial intelligence accelerator
CN112153139B (zh) * 2020-09-23 2022-06-14 成都市深思创芯科技有限公司 基于传感器网络和存内计算神经网络的控制系统及方法
WO2022165350A2 (en) * 2021-01-31 2022-08-04 Redpine Signals Inc Architecture for multiplier accumulator using unit elements for multiplication, bias, accumulation, and analog to digital conversion over a shared charge transfer bus
US12118331B2 (en) 2021-02-01 2024-10-15 Ceremorphic, Inc. Bias unit element with binary weighted charge transfer lines
US11476866B2 (en) 2021-02-01 2022-10-18 Ceremorphic, Inc. Successive approximation register using switched unit elements
US12026479B2 (en) 2021-01-31 2024-07-02 Ceremorphic, Inc. Differential unit element for multiply-accumulate operations on a shared charge transfer bus
US11469770B2 (en) 2021-01-31 2022-10-11 Ceremorphic, Inc. Architecture for multiplier accumulator using unit elements for multiplication, bias, accumulation, and analog to digital conversion over a shared charge transfer bus
US11567730B2 (en) 2021-01-31 2023-01-31 Ceremorphic, Inc. Layout structure for shared analog bus in unit element multiplier
TWI788128B (zh) * 2021-04-16 2022-12-21 旺宏電子股份有限公司 記憶體裝置及其操作方法
US11996137B2 (en) * 2021-05-21 2024-05-28 Taiwan Semiconductor Manufacturing Company, Ltd. Compute in memory (CIM) memory array
US11687738B2 (en) 2021-05-31 2023-06-27 Ceremorphic, Inc. Chopper stabilized bias unit element with binary weighted charge transfer capacitors
US12014152B2 (en) 2021-05-31 2024-06-18 Ceremorphic, Inc. Multiplier-accumulator unit element with binary weighted charge transfer capacitors
US12032926B2 (en) 2021-05-31 2024-07-09 Ceremorphic, Inc. Chopper stabilized analog multiplier accumulator with binary weighted charge transfer capacitors
WO2022256293A1 (en) * 2021-05-31 2022-12-08 Ceremorphic, Inc Architecture for analog multiplier-accumulator with binary weighted charge transfer capacitors
US20230022516A1 (en) * 2021-07-23 2023-01-26 Taiwan Semiconductor Manufacturing Company, Ltd. Compute-in-memory systems and methods with configurable input and summing units
KR20230023430A (ko) 2021-08-10 2023-02-17 백은지 블루투스 연동 장치가 포함된 손목시계
US11694733B2 (en) 2021-08-19 2023-07-04 Apple Inc. Acceleration of in-memory-compute arrays
US11789646B2 (en) * 2021-09-24 2023-10-17 Intel Corporation Methods, apparatus, and articles of manufacture to increase data reuse for multiply and accumulate (MAC) operations
US12094568B2 (en) 2022-07-18 2024-09-17 Macronix International Co., Ltd. Content addressable memory for large search words
WO2024182554A1 (en) * 2023-02-28 2024-09-06 Areanna, Inc. Configurable ai-assisted compute fabric

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006127623A (ja) 2004-10-28 2006-05-18 Sony Corp 半導体記憶装置とそのアクセス方法
JP2009080892A (ja) 2007-09-26 2009-04-16 Toshiba Corp 半導体記憶装置
US20110194357A1 (en) 2010-02-09 2011-08-11 Samsung Electronics Co., Ltd. Nonvolatile memory devices, operating methods thereof and memory systems including the same
US20160358661A1 (en) 2012-02-23 2016-12-08 Micron Technology, Inc. Methods of operating memory
US20180113649A1 (en) 2016-03-31 2018-04-26 Hewlett Packard Enterprise Development Lp Data processing using resistive memory arrays
WO2018201060A1 (en) 2017-04-27 2018-11-01 The Regents Of The University Of California Mixed signal neuromorphic computing with nonvolatile memory devices
US20180321942A1 (en) 2016-01-18 2018-11-08 Huawei Technologies Co.,Ltd. Memory device, and data processing method based on multi-layer rram crossbar array

Family Cites Families (153)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2619663C3 (de) 1976-05-04 1982-07-22 Siemens AG, 1000 Berlin und 8000 München Feldeffekttransistor, Verfahren zu seinem Betrieb und Verwendung als schneller Schalter sowie in einer integrierten Schaltung
US4987090A (en) 1987-07-02 1991-01-22 Integrated Device Technology, Inc. Static ram cell with trench pull-down transistors and buried-layer ground plate
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
JPH0451382A (ja) 1990-06-20 1992-02-19 Hitachi Ltd 情報処理装置
JP3073645B2 (ja) 1993-12-27 2000-08-07 株式会社東芝 不揮発性半導体記憶装置およびその動作方法
US7089218B1 (en) 2004-01-06 2006-08-08 Neuric Technologies, Llc Method for inclusion of psychological temperament in an electronic emulation of the human brain
US6107882A (en) 1997-12-11 2000-08-22 Lucent Technologies Inc. Amplifier having improved common mode voltage range
US6960499B2 (en) 1998-02-24 2005-11-01 Texas Instruments Incorporated Dual-counterdoped channel field effect transistor and method
US6313486B1 (en) 2000-06-15 2001-11-06 Board Of Regents, The University Of Texas System Floating gate transistor having buried strained silicon germanium channel layer
US6829598B2 (en) 2000-10-02 2004-12-07 Texas Instruments Incorporated Method and apparatus for modeling a neural synapse function by utilizing a single conventional MOSFET
US6703661B2 (en) 2001-12-27 2004-03-09 Ching-Yuan Wu Contactless NOR-type memory array and its fabrication methods
US6856542B2 (en) * 2002-06-04 2005-02-15 Stmicroelectronics, Inc. Programmable logic device circuit and method of fabricating same
JP4620943B2 (ja) 2003-10-16 2011-01-26 キヤノン株式会社 積和演算回路及びその方法
US6937523B2 (en) * 2003-10-27 2005-08-30 Tower Semiconductor Ltd. Neighbor effect cancellation in memory array architecture
US7057216B2 (en) 2003-10-31 2006-06-06 International Business Machines Corporation High mobility heterojunction complementary field effect transistors and methods thereof
US6906940B1 (en) 2004-02-12 2005-06-14 Macronix International Co., Ltd. Plane decoding method and device for three dimensional memories
US20050287793A1 (en) 2004-06-29 2005-12-29 Micron Technology, Inc. Diffusion barrier process for routing polysilicon contacts to a metallization layer
US7400533B2 (en) 2006-05-04 2008-07-15 Micron Technology, Inc. Mimicking program verify drain resistance in a memory device
US7688635B2 (en) * 2006-07-14 2010-03-30 Micron Technology, Inc. Current sensing for Flash
US7372753B1 (en) 2006-10-19 2008-05-13 Unity Semiconductor Corporation Two-cycle sensing in a two-terminal memory array having leakage current
JP4252110B2 (ja) 2007-03-29 2009-04-08 パナソニック株式会社 不揮発性記憶装置、不揮発性記憶素子および不揮発性記憶素子アレイ
KR20090037690A (ko) 2007-10-12 2009-04-16 삼성전자주식회사 비휘발성 메모리 소자, 그 동작 방법 및 그 제조 방법
US8000151B2 (en) 2008-01-10 2011-08-16 Micron Technology, Inc. Semiconductor memory column decoder device and method
JP5275052B2 (ja) * 2009-01-08 2013-08-28 株式会社東芝 不揮発性半導体記憶装置
US8860124B2 (en) 2009-01-15 2014-10-14 Macronix International Co., Ltd. Depletion-mode charge-trapping flash device
JP5462490B2 (ja) 2009-01-19 2014-04-02 株式会社日立製作所 半導体記憶装置
JP5317742B2 (ja) 2009-02-06 2013-10-16 株式会社東芝 半導体装置
US8203187B2 (en) 2009-03-03 2012-06-19 Macronix International Co., Ltd. 3D memory array arranged for FN tunneling program and erase
TWI433153B (zh) 2009-08-17 2014-04-01 Ind Tech Res Inst 記憶體單元之讀取方法
US9099181B2 (en) 2009-08-19 2015-08-04 Grandis, Inc. Non-volatile static ram cell circuit and timing method
JP2011065693A (ja) 2009-09-16 2011-03-31 Toshiba Corp 不揮発性半導体記憶装置
US8275728B2 (en) 2009-11-05 2012-09-25 The United States Of America As Represented By The Secretary Of The Air Force Neuromorphic computer
US8311965B2 (en) 2009-11-18 2012-11-13 International Business Machines Corporation Area efficient neuromorphic circuits using field effect transistors (FET) and variable resistance material
TWI427636B (zh) 2009-11-27 2014-02-21 Macronix Int Co Ltd 於一記憶積體電路上進行抹除操作之方法與裝置
EP2532005A4 (en) 2010-02-07 2016-06-22 Zeno Semiconductor Inc SEMICONDUCTOR MEMORY DEVICE HAVING AN ELECTRICALLY FLOATING BODY TRANSISTOR, SEMICONDUCTOR MEMORY DEVICE HAVING A VOLATILE AND NON-VOLATILE FUNCTION, AND METHOD OF OPERATION THEREOF
US8331127B2 (en) 2010-05-24 2012-12-11 Macronix International Co., Ltd. Nonvolatile memory device having a transistor connected in parallel with a resistance switching device
US20110297912A1 (en) 2010-06-08 2011-12-08 George Samachisa Non-Volatile Memory Having 3d Array of Read/Write Elements with Vertical Bit Lines and Laterally Aligned Active Elements and Methods Thereof
US8890233B2 (en) 2010-07-06 2014-11-18 Macronix International Co., Ltd. 3D memory array with improved SSL and BL contact layout
WO2012015450A1 (en) 2010-07-30 2012-02-02 Hewlett-Packard Development Company, L.P. Systems and methods for modeling binary synapses
US20120044742A1 (en) 2010-08-20 2012-02-23 Micron Technology, Inc. Variable resistance memory array architecture
US8432719B2 (en) 2011-01-18 2013-04-30 Macronix International Co., Ltd. Three-dimensional stacked and-type flash memory structure and methods of manufacturing and operating the same hydride
US8630114B2 (en) 2011-01-19 2014-01-14 Macronix International Co., Ltd. Memory architecture of 3D NOR array
US8759895B2 (en) 2011-02-25 2014-06-24 Micron Technology, Inc. Semiconductor charge storage apparatus and methods
JP2013069356A (ja) 2011-09-20 2013-04-18 Toshiba Corp 半導体記憶装置
JP5722180B2 (ja) 2011-09-26 2015-05-20 株式会社日立製作所 不揮発性記憶装置
US9698185B2 (en) 2011-10-13 2017-07-04 Omnivision Technologies, Inc. Partial buried channel transfer device for image sensors
JP5998521B2 (ja) 2012-02-28 2016-09-28 セイコーエプソン株式会社 不揮発性半導体メモリー及び不揮発性半導体メモリーの製造方法
US8981445B2 (en) 2012-02-28 2015-03-17 Texas Instruments Incorporated Analog floating-gate memory with N-channel and P-channel MOS transistors
US8730724B2 (en) * 2012-08-07 2014-05-20 Sandisk Technologies Inc. Common line current for program level determination in flash memory
JP2014053056A (ja) 2012-09-06 2014-03-20 Toshiba Corp 半導体記憶装置
US9747230B2 (en) 2012-10-15 2017-08-29 Rambus Inc. Memory rank and ODT configuration in a memory system
US9019771B2 (en) 2012-10-26 2015-04-28 Macronix International Co., Ltd. Dielectric charge trapping memory cells with redundancy
US20140149773A1 (en) 2012-11-29 2014-05-29 Agency For Science, Technology And Research Latch circuit and data processing system
KR20140113024A (ko) 2013-03-15 2014-09-24 에스케이하이닉스 주식회사 저항 변화 메모리 장치 및 그 구동방법
KR102179899B1 (ko) 2013-08-05 2020-11-18 삼성전자주식회사 뉴로모픽 시스템 및 그 구현 방법
US9502133B2 (en) 2013-10-11 2016-11-22 Sharp Kabushiki Kaisha Semiconductor device
KR102139944B1 (ko) 2013-11-26 2020-08-03 삼성전자주식회사 3차원 반도체 메모리 장치
KR20150070819A (ko) 2013-12-17 2015-06-25 에스케이하이닉스 주식회사 반도체 메모리 소자 및 그 제조방법
US9535831B2 (en) 2014-01-10 2017-01-03 Advanced Micro Devices, Inc. Page migration in a 3D stacked hybrid memory
CN103778468B (zh) 2014-01-16 2016-09-07 北京大学 一种基于rram的新型神经网络电路
US9698156B2 (en) 2015-03-03 2017-07-04 Macronix International Co., Ltd. Vertical thin-channel memory
US9147468B1 (en) 2014-05-21 2015-09-29 Macronix International Co., Ltd. Multiple-bit-per-cell, independent double gate, vertical channel memory
US9391084B2 (en) 2014-06-19 2016-07-12 Macronix International Co., Ltd. Bandgap-engineered memory with multiple charge trapping layers storing charge
US9536969B2 (en) 2014-09-23 2017-01-03 Taiwan Semiconductor Manufacturing Co., Ltd. Self-aligned split gate flash memory
US9607692B2 (en) 2014-10-03 2017-03-28 Micron Technology, Inc. Threshold voltage distribution determination
WO2016060617A1 (en) 2014-10-15 2016-04-21 Agency For Science, Technology And Research Flip-flop circuit, method of controlling a flip-flop circuit and memory device
US9460792B2 (en) 2014-10-20 2016-10-04 Micron Technology, Inc. Apparatuses and methods for segmented SGS lines
US9431099B2 (en) 2014-11-11 2016-08-30 Snu R&Db Foundation Neuromorphic device with excitatory and inhibitory functionalities
US9356074B1 (en) 2014-11-17 2016-05-31 Sandisk Technologies Inc. Memory array having divided apart bit lines and partially divided bit line selector switches
KR20160073847A (ko) 2014-12-17 2016-06-27 에스케이하이닉스 주식회사 전자 장치 및 그 제조 방법
KR102396422B1 (ko) 2015-02-11 2022-05-11 삼성전자주식회사 불휘발성 메모리 및 불휘발성 메모리를 포함하는 스토리지 장치
US10403363B2 (en) 2015-02-11 2019-09-03 Samsung Electronics Co., Ltd. Nonvolatile memory and storage device including nonvolatile memory
US9524980B2 (en) 2015-03-03 2016-12-20 Macronix International Co., Ltd. U-shaped vertical thin-channel memory
US9379129B1 (en) 2015-04-13 2016-06-28 Macronix International Co., Ltd. Assist gate structures for three-dimensional (3D) vertical gate array memory structure
KR20160122531A (ko) 2015-04-14 2016-10-24 에스케이하이닉스 주식회사 전자 장치
TWI580087B (zh) 2015-04-28 2017-04-21 旺宏電子股份有限公司 記憶裝置及其製造方法
US10074661B2 (en) 2015-05-08 2018-09-11 Sandisk Technologies Llc Three-dimensional junction memory device and method reading thereof using hole current detection
US9934463B2 (en) 2015-05-15 2018-04-03 Arizona Board Of Regents On Behalf Of Arizona State University Neuromorphic computational system(s) using resistive synaptic devices
US10049322B2 (en) 2015-05-21 2018-08-14 Google Llc Prefetching weights for use in a neural network processor
US9805303B2 (en) 2015-05-21 2017-10-31 Google Inc. Rotating data for neural network computations
US10438117B1 (en) 2015-05-21 2019-10-08 Google Llc Computing convolutions using a neural network processor
KR102445662B1 (ko) 2015-07-01 2022-09-22 삼성전자주식회사 스토리지 장치
CN105718994B (zh) 2015-07-29 2019-02-19 上海磁宇信息科技有限公司 细胞阵列计算系统
KR101701250B1 (ko) 2015-08-03 2017-02-01 서울대학교산학협력단 딥 빌리프 네트워크를 위한 복수 레이어가 적층된 뉴런 어레이 및 뉴런 어레이 동작 방법
KR102311916B1 (ko) 2015-08-17 2021-10-15 삼성전자주식회사 스토리지 장치
US10020317B2 (en) 2015-08-31 2018-07-10 Cypress Semiconductor Corporation Memory device with multi-layer channel and charge trapping layer
US10037167B2 (en) 2015-09-11 2018-07-31 Sandisk Technologies Llc Multiple scheduling schemes for handling read requests
US9589982B1 (en) 2015-09-15 2017-03-07 Macronix International Co., Ltd. Structure and method of operation for improved gate capacity for 3D NOR flash memory
US10157012B2 (en) 2015-09-29 2018-12-18 Sandisk Technologies Llc Zero read on trimmed blocks in a non-volatile memory system
US9842651B2 (en) 2015-11-25 2017-12-12 Sunrise Memory Corporation Three-dimensional vertical NOR flash thin film transistor strings
US9892800B2 (en) 2015-09-30 2018-02-13 Sunrise Memory Corporation Multi-gate NOR flash thin-film transistor strings arranged in stacked horizontal active strips with vertical control gates
US10418369B2 (en) 2015-10-24 2019-09-17 Monolithic 3D Inc. Multi-level semiconductor memory device and structure
US9767028B2 (en) 2015-10-30 2017-09-19 Advanced Micro Devices, Inc. In-memory interconnect protocol configuration registers
TWI571875B (zh) 2015-10-30 2017-02-21 華邦電子股份有限公司 電阻式記憶體裝置及其寫入方法
KR102412781B1 (ko) 2015-11-03 2022-06-24 삼성전자주식회사 비휘발성 메모리 장치 및 비휘발성 메모리 장치의 독출 방법
CN115019859B (zh) 2015-11-25 2023-10-31 日升存储公司 存储器结构
US9983829B2 (en) 2016-01-13 2018-05-29 Sandisk Technologies Llc Physical addressing schemes for non-volatile memory systems employing multi-die interleave schemes
US10725860B2 (en) 2016-03-04 2020-07-28 Sandisk Technologies Llc Storage system and method for handling a burst of errors
CN115995242A (zh) 2016-03-18 2023-04-21 株式会社半导体能源研究所 半导体装置
CN105789139B (zh) 2016-03-31 2018-08-28 上海新储集成电路有限公司 一种神经网络芯片的制备方法
JP2017195275A (ja) 2016-04-20 2017-10-26 東芝メモリ株式会社 半導体記憶装置およびその製造方法
KR102508532B1 (ko) 2016-05-02 2023-03-09 삼성전자주식회사 감지 증폭기 및 이를 포함하는 메모리 장치
JP6833873B2 (ja) 2016-05-17 2021-02-24 シリコン ストーリッジ テクノロージー インコーポレイテッドSilicon Storage Technology, Inc. 不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器
US9773553B1 (en) 2016-08-19 2017-09-26 Micron Technology, Inc. Segmented memory and operation
US10381094B2 (en) * 2016-10-11 2019-08-13 Macronix International Co., Ltd. 3D memory with staged-level multibit programming
CN106530210B (zh) 2016-10-31 2019-09-06 北京大学 基于阻变存储器件阵列实现并行卷积计算的设备和方法
US10649665B2 (en) 2016-11-08 2020-05-12 Micron Technology, Inc. Data relocation in hybrid memory
US10733505B2 (en) 2016-11-10 2020-08-04 Google Llc Performing kernel striding in hardware
US20180144240A1 (en) 2016-11-21 2018-05-24 Imec Vzw Semiconductor cell configured to perform logic operations
US10725777B2 (en) 2016-12-06 2020-07-28 Gsi Technology, Inc. Computational memory cell and processing array device using memory cells
WO2018106805A1 (en) 2016-12-09 2018-06-14 William Marsh Rice University Signal recovery via deep convolutional networks
US10296224B2 (en) 2016-12-21 2019-05-21 Intel Corporation Apparatus, system and method for increasing the capacity of a storage device available to store user data
US10565494B2 (en) 2016-12-31 2020-02-18 Via Alliance Semiconductor Co., Ltd. Neural network unit with segmentable array width rotator
US10360499B2 (en) 2017-02-28 2019-07-23 Anixa Diagnostics Corporation Methods for using artificial neural network analysis on flow cytometry data for cancer diagnosis
US10269824B2 (en) 2017-04-01 2019-04-23 Intel Corporation Non-volatile memory structures having multi-layer conductive channels
US11556771B2 (en) 2017-04-10 2023-01-17 Semiconductor Energy Laboratory Co., Ltd. Semiconductor neural network device including a synapse circuit comprising memory cells and an activation function circuit
US10460817B2 (en) 2017-07-13 2019-10-29 Qualcomm Incorporated Multiple (multi-) level cell (MLC) non-volatile (NV) memory (NVM) matrix circuits for performing matrix computations with multi-bit input vectors
US10482929B2 (en) * 2017-07-13 2019-11-19 Qualcomm Incorporated Non-volative (NV) memory (NVM) matrix circuits employing NVM matrix circuits for performing matrix computations
US10790828B1 (en) * 2017-07-21 2020-09-29 X Development Llc Application specific integrated circuit accelerators
JP2019028569A (ja) 2017-07-26 2019-02-21 株式会社東芝 メモリシステム、半導体記憶装置及び信号処理システム
US10073733B1 (en) 2017-09-01 2018-09-11 Purdue Research Foundation System and method for in-memory computing
US10580492B2 (en) 2017-09-15 2020-03-03 Silicon Storage Technology, Inc. System and method for implementing configurable convoluted neural networks with flash memories
EP3685320A4 (en) 2017-09-20 2021-06-16 Look Dynamics, Inc. PHOTONIC NEURAL NETWORK SYSTEM
US11521046B2 (en) 2017-11-08 2022-12-06 Samsung Electronics Co., Ltd. Time-delayed convolutions for neural network device and method
US10777566B2 (en) 2017-11-10 2020-09-15 Macronix International Co., Ltd. 3D array arranged for memory and in-memory sum-of-products operations
US10748630B2 (en) 2017-11-29 2020-08-18 Silicon Storage Technology, Inc. High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks
US11361215B2 (en) 2017-11-29 2022-06-14 Anaflash Inc. Neural network circuits having non-volatile synapse arrays
US10552510B2 (en) 2018-01-11 2020-02-04 Mentium Technologies Inc. Vector-by-matrix multiplier modules based on non-volatile 2D and 3D memory arrays
US20190244662A1 (en) 2018-02-02 2019-08-08 Macronix International Co., Ltd. Sum-of-products array for neuromorphic computing system
US10719296B2 (en) 2018-01-17 2020-07-21 Macronix International Co., Ltd. Sum-of-products accelerator array
US10957392B2 (en) 2018-01-17 2021-03-23 Macronix International Co., Ltd. 2D and 3D sum-of-products array for neuromorphic computing system
US10242737B1 (en) 2018-02-13 2019-03-26 Macronix International Co., Ltd. Device structure for neuromorphic computing system
US10635398B2 (en) 2018-03-15 2020-04-28 Macronix International Co., Ltd. Voltage sensing type of matrix multiplication method for neuromorphic computing system
US11429348B2 (en) 2018-03-16 2022-08-30 Tdk Corporation Multiply and accumulate calculation device, neuromorphic device, and method for using multiply and accumulate calculation device
US11188814B2 (en) 2018-04-05 2021-11-30 Arm Limited Systolic convolutional neural network
US20190311749A1 (en) 2018-04-09 2019-10-10 Anaflash Inc. Logic Compatible Embedded Flash Memory
US10741246B2 (en) 2018-04-23 2020-08-11 Arm Limited Method, system and device for integration of volatile and non-volatile memory bitcells
US11861429B2 (en) 2018-04-30 2024-01-02 Hewlett Packard Enterprise Development Lp Resistive and digital processing cores
US20190363131A1 (en) 2018-05-25 2019-11-28 Gyrfalcon Technology Inc. Memory architecture having different type of memory devices and logic circuit disposed over a semiconductor substrate
US11461621B2 (en) 2018-06-26 2022-10-04 Vishal Sarin Methods and systems of implementing positive and negative neurons in a neural array-based flash memory
JP7070190B2 (ja) 2018-07-18 2022-05-18 株式会社デンソー ニューラルネットワーク回路
US10528643B1 (en) 2018-08-01 2020-01-07 Sandisk Technologies Llc Vector-matrix multiplication using non-volatile memory cells
US10534840B1 (en) 2018-08-08 2020-01-14 Sandisk Technologies Llc Multiplication using non-volatile memory cells
US10860918B2 (en) 2018-08-21 2020-12-08 Silicon Storage Technology, Inc. Analog neural memory system for deep learning neural network comprising multiple vector-by-matrix multiplication arrays and shared components
US10831446B2 (en) 2018-09-28 2020-11-10 Intel Corporation Digital bit-serial multi-multiply-and-accumulate compute in memory
US10642922B2 (en) 2018-09-28 2020-05-05 Intel Corporation Binary, ternary and bit serial compute-in-memory circuits
US10877752B2 (en) 2018-09-28 2020-12-29 Intel Corporation Techniques for current-sensing circuit design for compute-in-memory
US10748603B2 (en) 2018-09-28 2020-08-18 Intel Corporation In-memory multiply and accumulate with global charge-sharing
US11574694B2 (en) 2018-10-11 2023-02-07 International Business Machines Corporation Kernel sets normalization with capacitor charge sharing
US12111878B2 (en) 2018-10-12 2024-10-08 International Business Machines Corporation Efficient processing of convolutional neural network layers using analog-memory-based hardware
US10643713B1 (en) 2019-02-08 2020-05-05 Sandisk Technologies Llc Toggling power supply for faster bit line settling during sensing
US10825510B2 (en) 2019-02-09 2020-11-03 Purdue Research Foundation Multi-bit dot product engine
US10783963B1 (en) 2019-03-08 2020-09-22 Macronix International Co., Ltd. In-memory computation device with inter-page and intra-page data circuits

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006127623A (ja) 2004-10-28 2006-05-18 Sony Corp 半導体記憶装置とそのアクセス方法
JP2009080892A (ja) 2007-09-26 2009-04-16 Toshiba Corp 半導体記憶装置
US20110194357A1 (en) 2010-02-09 2011-08-11 Samsung Electronics Co., Ltd. Nonvolatile memory devices, operating methods thereof and memory systems including the same
US20160358661A1 (en) 2012-02-23 2016-12-08 Micron Technology, Inc. Methods of operating memory
US20180321942A1 (en) 2016-01-18 2018-11-08 Huawei Technologies Co.,Ltd. Memory device, and data processing method based on multi-layer rram crossbar array
US20180113649A1 (en) 2016-03-31 2018-04-26 Hewlett Packard Enterprise Development Lp Data processing using resistive memory arrays
WO2018201060A1 (en) 2017-04-27 2018-11-01 The Regents Of The University Of California Mixed signal neuromorphic computing with nonvolatile memory devices

Also Published As

Publication number Publication date
US20200192971A1 (en) 2020-06-18
EP3671433A1 (en) 2020-06-24
CN111338601B (zh) 2023-06-13
CN111338601A (zh) 2020-06-26
TW202024898A (zh) 2020-07-01
US11934480B2 (en) 2024-03-19
KR20200076571A (ko) 2020-06-29
TWI757645B (zh) 2022-03-11
JP2020098658A (ja) 2020-06-25

Similar Documents

Publication Publication Date Title
JP7041654B2 (ja) メモリ内積和演算のためのnandブロックアーキテクチャ
US10643119B2 (en) Differential non-volatile memory cell for artificial neural network
US11568200B2 (en) Accelerating sparse matrix multiplication in storage class memory-based convolutional neural network inference
US20200034697A1 (en) Realization of binary neural networks in nand memory arrays
US20200035305A1 (en) Configurable precision neural network with differential binary non-volatile memory cell structure
US11568228B2 (en) Recurrent neural network inference engine with gated recurrent unit cell and non-volatile memory arrays
US11217302B2 (en) Three-dimensional neuromorphic device including switching element and resistive element
US11397885B2 (en) Vertical mapping and computing for deep neural networks in non-volatile memory
KR20200082709A (ko) 비휘발성 메모리 장치 및 비휘발성 메모리 장치를 이용한 계산 방법
CN110729011B (zh) 用于类神经网路的存储器内运算装置
US11544547B2 (en) Accelerating binary neural networks within latch structure of non-volatile memory devices
CN112133351B (zh) 具有3d nand的矢量矩阵乘法
TWI783538B (zh) 多階超低功率推理引擎加速器
US20220398439A1 (en) Compute in memory three-dimensional non-volatile nand memory for neural networks with weight and input level expansions
US11663471B2 (en) Compute-in-memory deep neural network inference engine using low-rank approximation technique
JP2022060143A (ja) 外部磁場プログラミング支援を有する超小型電力推論エンジン
Lee et al. Novel method enabling forward and backward propagations in NAND flash memory for on-chip learning
Liu et al. Era-bs: Boosting the efficiency of reram-based pim accelerator with fine-grained bit-level sparsity
CN114171087A (zh) 忆阻器阵列结构及其操作方法、神经网络稀疏化装置
TWI836661B (zh) 記憶體
US20240303037A1 (en) Memory device having bonded integrated circuit dies used for multiplication
TW202145504A (zh) 記憶體系統以及操作記憶體系統的方法
JP2023035085A (ja) 抵抗変化型不揮発性メモリ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220311

R150 Certificate of patent or registration of utility model

Ref document number: 7041654

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150