TWI725509B - 包括多重向量矩陣乘法陣列及共享組件之用於深度學習神經網路的類比神經記憶體系統 - Google Patents

包括多重向量矩陣乘法陣列及共享組件之用於深度學習神經網路的類比神經記憶體系統 Download PDF

Info

Publication number
TWI725509B
TWI725509B TW108128607A TW108128607A TWI725509B TW I725509 B TWI725509 B TW I725509B TW 108128607 A TW108128607 A TW 108128607A TW 108128607 A TW108128607 A TW 108128607A TW I725509 B TWI725509 B TW I725509B
Authority
TW
Taiwan
Prior art keywords
block
matrix multiplication
vector matrix
voltage
array
Prior art date
Application number
TW108128607A
Other languages
English (en)
Other versions
TW202025003A (zh
Inventor
曉萬 陳
順 武
史丹利 洪
英 李
Original Assignee
美商超捷公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商超捷公司 filed Critical 美商超捷公司
Publication of TW202025003A publication Critical patent/TW202025003A/zh
Application granted granted Critical
Publication of TWI725509B publication Critical patent/TWI725509B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G11C16/0425—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing a merged floating gate and select transistor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/08—Address circuits; Decoders; Word-line control circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G11C16/14—Circuits for erasing electrically, e.g. erase voltage switching circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G11C16/14—Circuits for erasing electrically, e.g. erase voltage switching circuits
    • G11C16/16—Circuits for erasing electrically, e.g. erase voltage switching circuits for erasing blocks, e.g. arrays, words, groups
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/26—Sensing or reading circuits; Data output circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/30—Power supply circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/34—Determination of programming status, e.g. threshold voltage, overprogramming or underprogramming, retention
    • G11C16/3436—Arrangements for verifying correct programming or erasure
    • G11C16/3454—Arrangements for verifying correct programming or for detecting overprogrammed cells
    • G11C16/3459—Circuits or methods to verify correct programming of nonvolatile memory cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
    • H01L29/40—Electrodes ; Multistep manufacturing processes therefor
    • H01L29/41—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions
    • H01L29/423—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions not carrying the current to be rectified, amplified or switched
    • H01L29/42312—Gate electrodes for field effect devices
    • H01L29/42316—Gate electrodes for field effect devices for field-effect transistors
    • H01L29/4232—Gate electrodes for field effect devices for field-effect transistors with insulated gate
    • H01L29/42324—Gate electrodes for transistors with a floating gate
    • H01L29/42328—Gate electrodes for transistors with a floating gate with at least one additional gate other than the floating gate and the control gate, e.g. program gate, erase gate or select gate

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Neurology (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Non-Volatile Memory (AREA)
  • Read Only Memory (AREA)

Abstract

揭露用於深度學習神經網路中之類比神經形態記憶體系統的許多具體例。類比神經形態記憶體系統包括複數個向量矩陣乘法陣列及由那些陣列共享之各種組件。共享組件包括高電壓產生區塊、驗證區塊及測試區塊。類比神經形態記憶體系統可任選地用於長短期記憶體系統或閘控遞歸單元系統中。

Description

包括多重向量矩陣乘法陣列及共享組件之用於深度學習神經網路的類比神經記憶體系統 [優先權請求]
本申請案主張2018年8月21日所提出之名稱為「包括多重向量矩陣乘法陣列及共享組件之用於深度學習神經網路的類比神經記憶體系統」的美國臨時專利申請案第62/720,902號及2018年11月6日所提出之名稱為「包括多重向量矩陣乘法陣列及共享組件之用於深度學習神經網路的類比神經記憶體系統」的美國專利申請案第16/182,492號之優先權。
揭露用於深度學習神經網路之類比神經形態記憶體系統的許多具體例。類比神經形態記憶體系統包括複數個向量矩陣乘法陣列及由那些陣列共享之各種組件，各種組件包括高電壓產生區塊、驗證區塊及測試區塊。
人工神經網路模擬生物神經網路(動物的中樞神經系統，特別是大腦)及用於估計或近似可依賴於大量輸入且通常是未知的函數。人工神經網路通常包括可彼此交換信息之互連的「神經 元」層。
圖1說明人工神經網路，其中圓圈表示神經元輸入或層。連結(稱為突觸)以箭頭來表示，並且具有可根據經驗調整的數字權重。這使得神經網路適應於輸入且能夠學習。通常，神經網路包括一層多個輸入。通常有一個或多個神經元中間層及提供神經網路輸出的一個神經元輸出層。每個層級的神經元個別地或共同地根據從突觸接收的資料做出決定。
開發用於高性能資訊處理之人工神經網路的主要挑戰中之一是缺乏足夠的硬體技術。實際上，實際的神經網路依賴於非常大量的突觸，以使神經元之間的高連結性(亦即，非常高的計算並行性)成為可能。原則上，這樣的複雜性可以用數位超級電腦或專用圖形處理單元叢集來實現。然而，除了高成本之外，相較於生物網路，這些方法還因平庸的能量效率而更糟，其中生物網路消耗非常少的能量，主要是因為它們執行低精度類比計算。CMOS類比電路已經用於人工神經網路，但是有鑑於大量的神經元及突觸，大多數CMOS實施的突觸過於龐大。
申請人以前在美國專利申請案第15/594,439號中揭露一種人工(類比)神經網路，其利用一個或多個非揮發性記憶體陣列作為突觸，在此以提及方式將上述美國專利申請案併入本文。非揮發性記憶體陣列作為類比神經形態記憶體來操作。神經網路裝置包括複數個第一突觸，其構造成接收複數個第一輸入並由此產生複數個第一輸出；以及複數個第一神經元，其構造成接收複數個第一輸出。複數個第一突觸包括複數個記憶體單元，其中每個記憶體單元包括間隔開的源極及汲極區域，其形成在半導體基板中，並且具 有通道區域在其間延伸；浮動閘極，其設置在通道區域的第一部分上方且與通道區域的第一部分絕緣；以及非浮動閘極，其設置在通道區域的第二部分上方且與通道區域的第二部分絕緣。複數個記憶體單元中之每一個構造成儲存與浮動閘極上之一些電子相對應的權重值。複數個記憶體單元構造成將複數個第一輸入乘以儲存的權重值，以產生複數個第一輸出。
必須抹除及程式化在類比神經形態記憶體系統中使用之每個非揮發性記憶體單元，以在浮動閘極中保持非常特定且精確的電荷量，亦即，電子數量。例如，每個浮動閘極必須保持N個不同數值中之一個，其中N是可以由每個單元表示之不同權重的數量。N的實例包括16、32、64、128及256。
類比神經形態記憶體系統的一個獨特特性是系統必須支援兩種不同類型的讀取操作。在正常讀取操作中，如同在傳統記憶體系統中讀取一個單獨的記憶體單元。然而，在神經讀取操作中，一次讀取整個記憶體單元陣列，其中每條位元線將輸出為來自連接至那條位元線之記憶體單元的所有電流之總和的電流。
支援兩種類型的讀取操作造成一些挑戰。例如，系統必須能夠針對應用於個別單元、整個陣列或甚至是同時應用於所有陣列的各種操作提供大廣圍的電壓及電流位準。這在陣列本身的外部需要大量電路，因而會增加系統的半導體晶片上所需的空間量，並且增加功率消耗及製造成本。
所需要的是一種利用快閃記憶體單元的向量矩陣乘法陣列之類比神經形態記憶體系統的改進架構，其最小化陣列本身外部所需的電路量。
揭露用於深度學習神經網路之類比神經形態記憶體系統的許多具體例。類比神經形態記憶體系統包括複數個向量矩陣乘法陣列及由那些陣列共享之各種組件，各種組件包括高電壓產生區塊、驗證區塊及測試區塊。
12‧‧‧半導體基板
14‧‧‧源極區域
16‧‧‧汲極區域
18‧‧‧通道區域
20‧‧‧浮動閘極
22‧‧‧字元線端子(選擇閘極)
24‧‧‧位元線
28‧‧‧控制閘極
30‧‧‧抹除閘極
31‧‧‧數位至類比轉換器
32‧‧‧向量矩陣乘法(VMM)陣列
32a‧‧‧VMM陣列
32b‧‧‧VMM陣列
32c‧‧‧VMM陣列
32d‧‧‧VMM陣列
32e‧‧‧VMM陣列
33‧‧‧非揮發性記憶體單元陣列
34‧‧‧抹除閘極及字元線閘極解碼器
35‧‧‧控制閘極解碼器
36‧‧‧位元線解碼器
37‧‧‧來源線解碼器
38‧‧‧差分加法器
39‧‧‧激勵函數電路
100‧‧‧人工神經網路
210‧‧‧記憶體單元
310‧‧‧4-閘極記憶體單元
410‧‧‧3-閘極記憶體單元
510‧‧‧堆疊式閘極記憶體單元
900‧‧‧神經元VMM陣列
901‧‧‧非揮發性記憶體單元的記憶體陣列
902‧‧‧非揮發性參考記憶體單元的參考陣列
903‧‧‧控制閘極線
904‧‧‧抹除閘極線
1000‧‧‧神經元VMM陣列
1001‧‧‧第一非揮發性參考記憶體單元的參考陣列
1002‧‧‧第二非揮發性參考記憶體單元的參考陣列
1003‧‧‧非揮發性記憶體單元的記憶體陣列
1014‧‧‧多工器
1100‧‧‧神經元VMM陣列
1101‧‧‧第一非揮發性參考記憶體單元的參考陣列
1102‧‧‧第二非揮發性參考記憶體單元的參考陣列
1103‧‧‧非揮發性記憶體單元的記憶體陣列
1200‧‧‧神經元VMM陣列
1201‧‧‧第一非揮發性參考記憶體單元的參考陣列
1202‧‧‧第二非揮發性參考記憶體單元的參考陣列
1203‧‧‧非揮發性記憶體單元的記憶體陣列
1204‧‧‧疊接電晶體
1205‧‧‧個別多工器
1212‧‧‧多工器
1300‧‧‧神經元VMM陣列
1301‧‧‧第一非揮發性參考記憶體單元的參考陣列
1302‧‧‧第二非揮發性參考記憶體單元的參考陣列
1303‧‧‧非揮發性記憶體單元的記憶體陣列
1400‧‧‧LSTM
1401‧‧‧單元
1402‧‧‧單元
1403‧‧‧單元
1404‧‧‧單元
1500‧‧‧LSTM單元
1501‧‧‧sigmoid函數裝置
1502‧‧‧sigmoid函數裝置
1503‧‧‧sigmoid函數裝置
1504‧‧‧tanh裝置
1505‧‧‧tanh裝置
1506‧‧‧乘法裝置
1507‧‧‧乘法裝置
1508‧‧‧乘法裝置
1509‧‧‧加法裝置
1600‧‧‧LSTM單元
1601‧‧‧VMM陣列
1602‧‧‧激勵函數區塊
1700‧‧‧LSTM單元
1701‧‧‧VMM陣列
1702‧‧‧激勵函數區塊
1703‧‧‧乘法裝置
1704‧‧‧暫存器
1705‧‧‧暫存器
1706‧‧‧暫存器
1707‧‧‧暫存器
1708‧‧‧加法裝置
1709‧‧‧多工器
1710‧‧‧多工器
1800‧‧‧GRU
1801‧‧‧單元
1802‧‧‧單元
1803‧‧‧單元
1804‧‧‧單元
1900‧‧‧GRU單元
1901‧‧‧sigmoid函數裝置
1902‧‧‧sigmoid函數裝置
1903‧‧‧tanh裝置
1904‧‧‧乘法裝置
1905‧‧‧乘法裝置
1906‧‧‧乘法裝置
1907‧‧‧加法裝置
1908‧‧‧互補裝置
2000‧‧‧GRU單元
2001‧‧‧VMM陣列
2002‧‧‧激勵函數區塊
2100‧‧‧GRU單元
2101‧‧‧VMM陣列
2102‧‧‧激勵函數區塊
2103‧‧‧乘法裝置
2104‧‧‧多工器
2105‧‧‧加法裝置
2106‧‧‧暫存器
2107‧‧‧暫存器
2108‧‧‧暫存器
2109‧‧‧互補裝置
2200‧‧‧快閃類比神經形態記憶體共享架構系統
2201‧‧‧巨集區塊
2202‧‧‧巨集區塊
2203‧‧‧巨集區塊
2203a‧‧‧激勵電路區塊
2203b‧‧‧激勵電路區塊
2203c‧‧‧激勵電路區塊
2203d‧‧‧激勵電路區塊
2203e‧‧‧激勵電路區塊
2203f‧‧‧激勵電路區塊
2204‧‧‧巨集區塊
2205‧‧‧巨集區塊
2206‧‧‧巨集區塊
2207‧‧‧輸出區塊
2208‧‧‧輸出區塊
2209‧‧‧輸出區塊
2210‧‧‧類比電路區塊
2211‧‧‧高電壓產生區塊
2212‧‧‧驗證區塊
2213‧‧‧系統控制區塊
2214‧‧‧陣列參考區塊
2215‧‧‧感測區塊
2216‧‧‧調整區塊
2217‧‧‧共享電路區塊
2221‧‧‧VMM系統
2222‧‧‧VMM系統
2223‧‧‧VMM系統
2300‧‧‧VMM系統
2301‧‧‧VMM陣列
2302‧‧‧低電壓列解碼器
2303‧‧‧高電壓列解碼器
2303a‧‧‧激勵電路區塊
2303b‧‧‧激勵電路區塊
2303c‧‧‧激勵電路區塊
2303d‧‧‧激勵電路區塊
2303e‧‧‧激勵電路區塊
2303f‧‧‧激勵電路區塊
2304‧‧‧低電壓參考行解碼器
2305‧‧‧冗餘陣列
2306‧‧‧冗餘陣列
2307‧‧‧NVR(非揮發性暫存器，亦稱為資訊區段)區段
2308‧‧‧參考區段
2309‧‧‧預解碼器
2310‧‧‧位元線多工器
2311‧‧‧巨集控制邏輯
2312‧‧‧巨集類比電路區塊
2313‧‧‧輸出區塊
2314‧‧‧激勵函數區塊
2320‧‧‧巨集區塊
2400‧‧‧輸出區塊
2401‧‧‧加法器及激勵區塊
2414‧‧‧激勵區塊
2500‧‧‧可適應神經元電路
2501‧‧‧運算放大器
2502‧‧‧電流源
2503‧‧‧NMOS R_NEU電晶體
2504‧‧‧偏流IBLAS_OPA
2600‧‧‧激勵函數電路
2601‧‧‧PMOS電晶體
2601a‧‧‧加法器區塊
2601i‧‧‧加法器區塊
2602‧‧‧PMOS電晶體
2603‧‧‧PMOS電晶體
2604‧‧‧PMOS電晶體
2605‧‧‧PMOS電晶體
2606‧‧‧PMOS電晶體
2607‧‧‧NMOS電晶體
2608‧‧‧NMOS電晶體
2609‧‧‧NMOS電晶體
2610‧‧‧NMOS電晶體
2700‧‧‧運算放大器
2701‧‧‧PMOS電晶體
2702‧‧‧電晶體
2703‧‧‧NMOS電晶體
2704‧‧‧NMOS電晶體
2705‧‧‧PMOS電晶體
2706‧‧‧NMOS電晶體
2707‧‧‧NMOS電晶體
2708‧‧‧NMOS電晶體
2800‧‧‧高電壓產生區塊
2801‧‧‧電荷幫浦
2802‧‧‧電荷幫浦穩壓器
2803‧‧‧高電壓運算放大器
2804‧‧‧控制邏輯區塊
2805‧‧‧類比電路區塊
2806‧‧‧偏流產生器
2807‧‧‧電壓產生器
2808‧‧‧測試區塊
2900‧‧‧程式及感測區塊
2901a‧‧‧程式及感測電路區塊
2901b‧‧‧程式及感測電路區塊
2901j‧‧‧程式及感測電路區塊
2910‧‧‧控制器或控制邏輯
3000‧‧‧參考系統
3001‧‧‧低電壓列解碼器
3002‧‧‧參考陣列
3003‧‧‧高電壓列解碼器
3004‧‧‧低電壓參考行解碼器
3101‧‧‧字元線解碼器電路
3102‧‧‧PMOS選擇電晶體
3103‧‧‧NMOS不選電晶體
3104‧‧‧來源線解碼器電路
3105‧‧‧NMOS監控電晶體
3106‧‧‧驅動電晶體
3107‧‧‧不選電晶體
3108‧‧‧高電壓位準移位器
3201‧‧‧抹除閘極解碼器電路
3204‧‧‧控制閘極解碼器電路
3207‧‧‧來源線解碼器電路
3211‧‧‧高電壓位準移位器
3300‧‧‧可適應神經元電路
3301‧‧‧PMOS電晶體
3302‧‧‧開關
3303‧‧‧開關
3304‧‧‧開關
3305‧‧‧電流源
3306‧‧‧可變電阻器
3400‧‧‧電流取樣保持S/H電路
3401‧‧‧輸入電流
3402‧‧‧取樣開關
3403‧‧‧取樣開關
3404‧‧‧輸入電晶體
3405‧‧‧S/H電容器
3406‧‧‧輸出電晶體
3450‧‧‧電壓取樣保持S/H電路
3452‧‧‧取樣開關
3453‧‧‧S/H電容器
3454‧‧‧運算放大器
3500‧‧‧系統
3501‧‧‧輸入區塊
3502‧‧‧輸出區塊
3503‧‧‧記憶體單元陣列
3600‧‧‧高電壓產生區塊
3601‧‧‧電荷幫浦
3602‧‧‧高電壓運算放大器
3603‧‧‧電荷幫浦穩壓器
3700‧‧‧程式偏壓電路
3702-0‧‧‧程式化電路
3702-N‧‧‧程式化電路
3800‧‧‧感測放大器
3801‧‧‧可調電流參考源
3802‧‧‧開關
3803‧‧‧NMOS電晶體
3804‧‧‧電容器
3805‧‧‧開關
3806‧‧‧電流源
3807‧‧‧反相器
3808‧‧‧記憶體單元
BL0-BLN‧‧‧位元線
BLR0‧‧‧端子
BLR1‧‧‧端子
BLR2‧‧‧端子
BLR3‧‧‧端子
c0‧‧‧單元狀態向量
c1‧‧‧單元狀態向量
c2‧‧‧單元狀態向量
CG0‧‧‧電壓輸入(控制閘極線)
CG1‧‧‧電壓輸入(控制閘極線)
CG2‧‧‧電壓輸入(控制閘極線)
CG3‧‧‧電壓輸入(控制閘極線)
EG0‧‧‧EG線
EG1‧‧‧EG線
EGR0‧‧‧EG線
EGR1‧‧‧EG線
EN‧‧‧致能信號
h0‧‧‧出向量
h1‧‧‧輸出向量
h2‧‧‧輸出向量
h3‧‧‧輸出向量
HV‧‧‧高電壓信號
HVO‧‧‧信號
HVO_B‧‧‧信號
Ibias_opa‧‧‧偏流
IBIAS‧‧‧偏壓信號
Inputx‧‧‧輸入
Iout_neu‧‧‧電流
I_neu_max‧‧‧電流
I_NEU‧‧‧電流
I_NEURON‧‧‧電流
MONHV_PAD‧‧‧測試墊
R_NEU‧‧‧有效電阻
SL0‧‧‧來源線
SL1‧‧‧來源線
TRBIT_SL<N：0>‧‧‧控制位元
TRBIT_WL‧‧‧修剪位元
VCONTROL‧‧‧信號
Vin+、Vin-‧‧‧輸入電壓對
Vout‧‧‧輸出
VO‧‧‧輸出
VREF‧‧‧電壓源
WL0‧‧‧電壓輸入(字元線)
WL1‧‧‧電壓輸入(字元線)
WL2‧‧‧電壓輸入(字元線)
WL3‧‧‧電壓輸入(字元線)
WLA0‧‧‧字元線
WLA1‧‧‧字元線
WLA2‧‧‧字元線
WLA3‧‧‧字元線
WLB0‧‧‧字元線
WLB1‧‧‧字元線
WLB2‧‧‧字元線
WLB3‧‧‧字元線
x0‧‧‧輸入向量
x1‧‧‧輸入向量
x2‧‧‧輸入向量
x3‧‧‧輸入向量
圖1係說明習知技藝的人工神經網路之示圖。
圖2係傳統的2-閘極非揮發性記憶體單元的剖面側視圖。
圖3係傳統的4-閘極非揮發性記憶體單元的剖面側視圖。
圖4係傳統的3-閘極非揮發性記憶體單元的剖面側視圖。
圖5係另一個傳統的2-閘極非揮發性記憶體單元的剖面側視圖。
圖6係說明利用非揮發性記憶體陣列之示例性人工神經網路的不同層級之示圖。
圖7係說明向量矩陣乘法的方塊圖。
圖8係說明向量矩陣乘法的各種層級之方塊圖。
圖9描繪向量矩陣乘法的另一個具體例。
圖10描繪向量矩陣乘法的另一個具體例。
圖11描繪向量矩陣乘法的另一個具體例。
圖12描繪向量矩陣乘法的另一個具體例。
圖13描繪向量矩陣乘法的另一個具體例。
圖14描繪習知技藝的長短期記憶體系統。
圖15描繪習知技藝的長短期記憶體系統中之一個示例性單元。
圖16描繪圖15的長短期記憶體系統中之示例性單元的實施。
圖17描繪圖15的長短期記憶體系統中之示例性單元的另一個實施。
圖18描繪習知技藝的閘控遞歸單元系統(gated recurrent unit system)。
圖19描繪習知技藝的閘控遞歸單元系統中之一個示例性單元。
圖20描繪圖19的閘控遞歸單元系統中之示例性單元的實施。
圖21描繪圖19的閘控遞歸單元系統中之示例性單元的另一個實施。
圖22描繪快閃類比神經形態記憶體共享架構系統。
圖23描繪在圖22的快閃類比神經形態記憶體共享架構系統內的VMM系統。
圖24描繪用於圖22的快閃類比神經形態記憶體共享架構系統中之輸出區塊。
圖25描繪用於圖22的快閃類比神經形態記憶體共享架構系統中之可適應神經元。
圖26描繪用於圖22的快閃類比神經形態記憶體共享架構系統中之激勵函數電路。
圖27描繪用於圖25的可適應神經元中之運算放大器。
圖28描繪用於圖22的快閃類比神經形態記憶體共享架構系統中之與向量矩陣乘法陣列結合使用的各種區塊。
圖29描繪用於圖22的快閃類比神經形態記憶體共享架構系統中之程式及感測區塊。
圖30描繪用於圖22的快閃類比神經形態記憶體共享架構系統中之參考陣列系統。
圖31描繪用於圖22的快閃類比神經形態記憶體共享架構系統中之解碼器電路。
圖32描繪用於圖22的快閃類比神經形態記憶體共享架構系統中之解碼器電路。
圖33描繪用於圖22的快閃類比神經形態記憶體共享架構系統中之另一個可適應神經元。
圖34描繪取樣保持電路。
圖35描繪適合於在線性區域中操作的記憶體單元之陣列架構。
圖36描繪用於圖22的快閃類比神經形態記憶體共享架構系統中之高電壓產生區塊。
圖37描繪用於圖22的快閃類比神經形態記憶體共享架構系統中之程式偏壓區塊。
圖38描繪用於圖22的快閃類比神經形態記憶體共享架構系統中之感測放大器電路。
本發明的人工神經網路利用CMOS技術與非揮發性記憶體陣列的組合。
非揮發性記憶體單元
數位非揮發性記憶體係眾所周知的。例如，美國專利第5,029,130號(「'130專利」)揭露一種分離式閘極非揮發性記憶體單元(快閃記憶體單元)陣列，並且出於各種目的以提及方式將其併入本文。這樣的記憶體單元210顯示在圖2中。每個記憶體單元210包括在半導體基板12中形成之源極區域14及汲極區域16，並且在其間具有通道區域18。浮動閘極20形成在通道區域18的第一部分上方且與其絕緣(並控制其導電性)，並且形成在源極區域14的一部分上方。字元線端子22(通常耦接至字元線)具有第一部分及第二部分，其中第一部分設置在通道區域18的第二部分上方且與其絕緣(並控制其導電性)，而第二部分向上延伸且在浮動閘極20上方。浮動閘極20及字元線端子22藉由閘極氧化物與基板12絕緣。位元線24耦接至汲極區域16。
藉由在字元線端子22上施加高正電壓來抹除記憶體單元210(其中從浮動閘極移除電子)，這導致浮動閘極20上的電子藉由富爾-諾罕穿隧(Fowler-Nordheim tunneling)從浮動閘極20隧穿中間絕緣體至字元線端子22。
藉由在字元線端子22上施加正電壓及在源極區域14上施加正電壓來程式化記憶體單元210(其中在浮動閘極上放置電子)。電子流將從源極區域14流向汲極區域16。當電子到達字元線端子22與浮動閘極20之間的間隙時，電子將加速並變熱。由於來自浮動閘極20的靜電吸引力，一些加熱的電子將通過閘極氧化物 被引入至浮動閘極20上。
藉由在汲極區域16及字元線端子22上施加正讀取電壓(這會導通在字元線端子下方之通道區域18部分)來讀取記憶體單元210。如果浮動閘極20帶正電(亦即，被抹除電子)，則浮動閘極20下方之通道區域18的部分亦導通，並且電流將流過通道區域18，因而被感測為抹除或狀態「1」。如果浮動閘極20帶負電(亦即，用電子來程式化)，則浮動閘極20下方之通道區域的部分大部分或完全截止，並且電流不會流過(或者幾乎不流過)通道區域18，因而被感測為程式化或狀態「0」。
表1描繪可以施加至記憶體單元210的端子以執行讀取、抹除及程式化操作的典型電壓範圍：
Figure 108128607-A0101-12-0008-1
其它分離式閘極記憶體單元構造係其它種類的快閃記憶體單元且係已知的。例如，圖3描繪4-閘極記憶體單元310，其包括源極區域14、汲極區域16、在通道區域18的第一部分上方之浮動閘極20、在通道區域18的第二部分上方之選擇閘極22(通常耦接至字元線WL)、在浮動閘極20上方之控制閘極28以及在源極區域14上方之抹除閘極30。這種構造被描述在美國專利第6,747,310號中，為了各種目的以提及方式將其併入本文。這裡，除浮動閘極20外，所有其它閘極皆是非浮動閘極，這意味著它們電 連接或可連接至電壓源。藉由將加熱的電子從通道區域18注入至浮動閘極20上來執行程式化。藉由電子從浮動閘極20隧穿至抹除閘極30來執行抹除。
表2描繪可以施加至記憶體單元310的端子以執行讀取、抹除及程式化操作的典型電壓範圍：
Figure 108128607-A0101-12-0009-2
圖4描繪3-閘極記憶體單元410，其為另一種快閃記憶體單元。除記憶體單元410不具有單獨的控制閘極外，記憶體單元410與圖3的記憶體單元310相同。除沒有施加控制閘極偏壓外，抹除操作(藉由抹除閘極的使用來抹除)及讀取操作相似於圖3的操作。程式化操作亦在沒有控制閘極偏壓的情況下完成，結果，在程式化操作期間必須在來源線上施加較高電壓，以補償控制閘極偏壓的缺少。
表3描繪可以施加至記憶體單元410的端子以執行讀取、抹除及程式化操作的典型電壓範圍：
Figure 108128607-A0101-12-0009-3
圖5描繪堆疊式閘極記憶體單元510，其為另一種快閃記憶體單元。除浮動閘極20在整個通道區域18上方延伸及控制閘極22(在此將耦接至字元線)在浮動閘極20上方延伸且以絕緣層(未顯示)隔開外，記憶體單元510相似於圖2的記憶體單元210。抹除、程式化及讀取操作以與先前針對記憶體單元210所描述之方式相似的方式來進行。
表4描繪可以施加至記憶體單元510及基板12的端子以執行讀取、抹除及程式化操作的典型電壓範圍：
Figure 108128607-A0101-12-0010-4
為了在人工神經網路中利用包括上述類型的非揮發性記憶體單元中之一的記憶體陣列，實施兩種修改。第一，如下面進一步說明，線路構造成使得每個記憶體單元可以個別地被程式化、抹除及讀取，而不會不利地影響陣列中之其它記憶體單元的記憶狀態。第二，提供記憶體單元的連續(類比)程式化。
具體地，陣列中之每個記憶體單元的記憶狀態(亦即，浮動閘極上的電荷)可以獨立地且以對其它記憶體單元的最小干擾從完全抹除狀態連續地變成完全程式化狀態。在另一個具體例中，陣列中之每個記憶體單元的記憶狀態(亦即，浮動閘極上的電荷)可以獨立地且以對其它記憶體單元的最小干擾從完全程式化狀態連續地變成完全抹除狀態，反之亦然。這意味著單元儲存係類比 的，或者至少可以儲存許多離散值(例如，16或64個不同值)中之一個，這允許對記憶體陣列中之所有單元進行非常精確且個別調整，並且這使記憶體陣列非常適合儲存神經網路的突觸權重及對其進行微調。
使用非揮發性記憶體單元陣列的神經網路
圖6概念性地說明利用本具體例的非揮發性記憶體陣列之神經網絡的非限制性實例。此實例將非揮發性記憶體陣列神經網路用於臉部辨識應用，但是可以使用以非揮發性記憶體陣列為基礎的神經網路來實施任何其它適當的應用。
S0係輸入，對於這個實例，其為具有5位元精度的32×32像素RGB影像(亦即，三個32×32像素陣列，一個陣列用於各自的顏色R、G及B，每個像素為5位元精度)。從輸入層S0至層C1的突觸CB1在某些情況下應用不同組的權重，而在其它情況下應用共享權重，並且用3×3像素重疊濾波器(核心)掃描輸入影像，將濾波器移位1個像素(或者根據模型所規定，多於1個像素)。具體地，提供用於影像的一個3×3部分中之9個像素的數值(亦即，稱為一個濾波器或核心)給突觸CB1，在那裡將這9個輸入值乘以適當的權重，並且在計算乘法輸出的總和之後，由CB1的第一突觸確定及提供單一輸出值，以便產生數層特徵圖(feature map)C1中之一層的一個像素。然後，在輸入層S0內將3×3濾波器向右移動一個像素(亦即，添加在右側之三個像素的行及丟棄在左側之三個像素的行)，藉以將這個新定位的濾波器中之9個像素值提供給突觸CB1，在那裡將它們乘以相同的權重，並且由相關的突觸確定第二單一輸出值。持續這個過程，直到3×3濾波器針對所有三種顏色及 所有位元(精度值)掃描輸入層S0之整個32×32像素影像為止。然後，使用不同組的權重重複這個過程，以產生C1的一個不同特徵圖，直到已經計算層C1的所有特徵圖為止。
在層C1處，在本實例中，具有16個特徵圖，每個特徵圖有30×30像素。每個像素是從輸入與核心相乘得到之新特徵像素，因此每個特徵圖是二維陣列，因此在這個實例中，層C1構成16層二維陣列(記住這裡引用的層及陣列是邏輯關係，不一定是實體關係-亦即，陣列不一定以實體二維陣列來定向)。層C1中之16個特徵圖的每個特徵圖由應用於濾波器掃描之16組不同的突觸權重中之一組來產生。C1特徵圖可以全部有關於諸如邊界識別之同一個影像特徵的不同態樣。例如，第一圖(使用第一組權重所產生，第一組權重對用於產生此第一圖的所有掃描係共享的)可以識別圓形邊緣，第二圖(使用與第一組權重不同的第二組權重所產生)可以識別矩形邊緣或某些特徵的縱橫比等等。
在從層C1到層S1之前應用激勵函數P1(池化(pooling))，其對來自每個特徵圖中之連續的非重疊2×2區域的數值進行池化。池化函數的目的是算出附近位置的平均值(或者亦可以使用最大值函數)，以減少例如邊緣位置的依賴性及在進入下一階段之前減小資料大小。在層S1處，具有16個15×15特徵圖(亦即，16個不同陣列，每個陣列有15×15像素)。從層S1到層C2的突觸CB2用4×4濾波器掃描S1中之圖，並且有一個像素的濾波器移位。在層C2處，具有22個12×12特徵圖。在從層C2到層S2之前應用激勵函數P2(池化)，其對來自每個特徵圖中之連續非重疊2×2區域的數值進行池化。在層S2處，具有22個6×6特徵圖。在從層 S2到層C3的突觸CB3處應用激勵函數(池化)，其中層C3中之每個神經元經由CB3的個別突觸連接至層S2中之每個圖。在層C3處，具有64個神經元。從層C3到輸出層S3的突觸CB4將C3完全連接至S3，亦即，層C3中之每個神經元連接至層S3中之每個神經元。S3處的輸出包括10個神經元，其中最高輸出神經元確定類別。此輸出可能例如表示原始影像的內容之識別或分類。
使用一個陣列的非揮發性記憶體單元或一個陣列的非揮發性記憶體單元之一部分來實施每個層的突觸。
圖7係可用於那個目的之陣列的方塊圖。向量矩陣乘法(VMM)陣列32包括非揮發性記憶體單元，並用作一層與下一層之間的突觸(例如，圖6中之CB1、CB2、CB3及CB4)。具體地，VMM陣列32包括非揮發性記憶體單元陣列33、抹除閘極及字元線閘極解碼器34、控制閘極解碼器35、位元線解碼器36以及來源線解碼器37，它們對非揮發性記憶體單元陣列33的個別輸入進行解碼。對VMM陣列32的輸入可以來自抹除閘極及字元線閘極解碼器34或來自控制閘極解碼器35。此實例中之來源線解碼器37亦對非揮發性記憶體單元陣列33的輸出進行解碼。或者，位元線解碼器36可以對非揮發性記憶體單元陣列33的輸出進行解碼。
非揮發性記憶體單元陣列33提供兩個用途。第一，它儲存將由VMM陣列32使用的權重。第二，非揮發性記憶體彈元陣列33有效地將輸入乘以非揮發性記憶體單元陣列33中所儲存的權重，並且根據輸出線(來源線或位元線)將它們加起來，以產生輸出，所述輸出將是下一層的輸入或最後一層的輸入。藉由執行乘法及加法函數，非揮發性記憶體單元陣列33不需要個別的乘法及 加法邏輯電路，並且因原位記憶體計算而亦具功率效率。
非揮發性記憶體單元陣列33的輸出被供應至差分加法器(例如，求和運算放大器或求和電流鏡)38，其計算非揮發性記憶體單元陣列33的輸出之總和，以產生用於卷積的單一數值。差分加法器38配置成執行正權重與負權重的總和。
然後，將差分加法器38之加總的輸出值供應至激勵函數電路39，其對輸出進行整流。激勵函數電路39可以提供sigmoid、tanh或ReLU函數。激勵函數電路39之經整流的輸出值變成作為下一層(例如，圖6中之C1)之特徵圖的元素，然後應用於下一個突觸，以產生下一個特徵圖層或最後一層。因此，在此實例中，非揮發性記憶體陣列33構成複數個突觸(其從先前的神經元層或從諸如影像資料庫的輸入層接收它們的輸入)，並且求和運算放大器38及激勵函數電路39構成複數個神經元。
圖7中至VMM陣列32的輸入(WLx、EGx、CGx以及任選的BLx及SLx)可以是類比位準或二進制位準或數位位元(在這種情況下，提供DAC，以將數位位元轉換為適當的輸入類比位準)，並且輸出可以是類比位準二進制位準或數位位元(在這種情況下，提供輸出ADC，以將輸出類比位準轉換為數位位元)。
圖8係描繪許多層的VMM陣列32之使用的方塊圖，這裡標記為VMM陣列32a、32b、32c、32d及32e。如圖8所示，藉由數位至類比轉換器31將輸入(表示為Inputx)從數位轉換成類比，並提供至輸入VMM陣列32a。經轉換的類比輸入可以是電壓或電流。用於第一層的輸入D/A轉換可以藉由使用函數或LUT(查找表)來完成，其中LUT(查找表)將輸入Inputx映射至用於輸入 VMM陣列32a的矩陣乘數器之適當類比位準。輸入轉換亦可以藉由類比至類比(A/A)轉換器來完成，以將外部類比輸入轉換成輸入VMM陣列32a的映射類比輸入。
由輸入VMM陣列32a產生的輸出作為輸入提供給下一個VMM陣列(隱藏層級1)32b，其轉而產生作為輸入提供給下一個VMM陣列(隱藏層級2)32c的輸出等等。各種層的VMM陣列32充當卷積神經網路(CNN)之不同層的突觸及神經元。每個VMM陣列32a、32b、32c、32d及32e可以是獨立的實體非揮發性記憶體陣列，或者多個VMM陣列可以利用同一個實體非揮發性記憶體陣列的不同部分，或者多個VMM陣列可以利用同一個實體非揮發性記憶體陣列的重疊部分。圖8所示的實例包含五層(32a、32b、32c、32d、32e)：一個輸入層(32a)、兩個隱藏層(32b、32c)及兩個完全連接層(32d、32e)。所屬技術領域之具通常技藝人士將理解，這僅僅是示例性的，並且系統反而可以包括多於兩個隱藏層及多於兩個完全連接層。
向量矩陣乘法(VMM)陣列
圖9描繪神經元VMM陣列900，其特別適用於圖3中所示之記憶體單元310，並且用作輸入層與下一層之間的突觸及神經元的部件。VMM陣列900包括非揮發性記憶體單元的記憶體陣列901及非揮發性參考記憶體單元的參考陣列902(在所述陣列的上方)。或者，可以在下方放置另一個參考陣列。
在VMM陣列900中，諸如控制閘極線903的控制閘極線在垂直方向上延伸(因此，在列方向上的參考陣列902與輸入控制閘極線903正交)，並且諸如抹除閘極線904的抹除閘極線在 水平方向延伸。這裡，在控制閘極線(CG0、CG1、CG2、CG3)上提供對VMM陣列900的輸入，而VMM陣列900的輸出出現在來源線(SL0、SL1)上。在一個具體例中，僅使用偶數列，而在另一個具體例中，僅使用奇數列。在每條來源線(SL0、SL1)上之電流執行來自連接至那條特定來源線之記憶體單元的所有電流之求和函數。
如本文針對神經網路所述，VMM陣列900的非揮發性記憶體單元(亦即，VMM陣列900的快閃記憶體)較佳地構造成在次臨界區域中操作。
在弱倒轉中施加偏壓於本文所述之非揮發性參考記憶體單元及非揮發性記憶體單元：Ids=Io*e(Vg-Vth)/kVt=w*Io*e(Vg)/kVt
其中w=e(-Vth)/kVt
對於使用記憶體單元(例如，參考記憶體單元或周邊記憶體單元)或電晶體將輸入電流轉換成輸入電壓之I至V對數轉換器：Vg=k*Vt*log[Ids/wp*Io]在此，wp係參考或周邊記憶體單元的w。
對於用作向量矩陣乘法VMM陣列的記憶體陣列，輸出電流為：Iout=wa*Io*e(Vg)/kVt，亦即
Iout=(wa/wp)*Iin=W*Iin
W=e(Vthp-Vtha)/kVt在此，wa=記憶體陣列中之每個記憶體單元的w。
字元線或控制閘極可用以作為用於輸入電壓之記憶 體單元的輸入。
或者，本文所述之VMM陣列的快閃記憶體單元可以構造成在線性區域中操作：Ids=beta*(Vgs-Vth)*Vds；beta=u*Cox*W/L
W=α(Vgs-Vth)
字元線或控制閘極或位元線或來源線可用以作為用於輸入電壓之在線性區域中操作的記憶體單元之輸入。
對於I至V線性轉換器，在線性區域中操作的記憶體單元(例如，參考記憶體單元或周邊記憶體單元)或電晶體可以用於將輸入/輸出電流線性地轉換成輸入/輸出電壓。
在美國專利申請案第15/826,345號中描述圖7的VMM陣列32之其它具體例，在此以提及方式將其併入本文。如上面申請案所述，來源線或位元線可用以作為神經元輸出(電流總和輸出)。
圖10描繪神經元VMM陣列1000，其特別適用於圖2所示之記憶體單元210，並且用作輸入層與下一層之間的突觸。VMM陣列1000包括非揮發性記憶體單元的記憶體陣列1003、第一非揮發性參考記憶體單元的參考陣列1001及第二非揮發性參考記憶體單元的參考陣列1002。配置在陣列的行方向上之參考陣列1001及1002用於將流入端子BLR0、BLR1、BLR2及BLR3的電流輸入轉換成電壓輸入WL0、WL1、WL2及WL3。實際上，第一及第二非揮發性參考記憶體單元係以二極體形式經由多工器1014與流入它們的電流輸入連接。將參考單元調整(例如，程式化)至目標參考位準。目標參考位準由參考微型陣列矩陣(未顯示)來提供。
記憶體陣列1003提供兩個用途。第一，它儲存將被VMM陣列1000在其各自的記憶體單元上使用的權重。第二，記憶體陣列1003有效地將輸入(亦即，被提供至端子BLR0、BLR1、BLR2及BLR3的電流輸入；參考陣列1001及1002將這些電流輸入轉換成輸入電壓，以供應至字元線WL0、WL1、WL2及WL3)乘以記憶體陣列1003中所儲存之權重，然後將所有結果(記憶體單元電流)相加，以在個別位元線(BL0-BLN)上產生輸出，所述輸出將是下一層的輸入或最後一層的輸入。藉由執行乘法及加法函數，記憶體陣列1003不需要個別的乘法及加法邏輯電路，並且還具有功率效率。這裡，電壓輸入被提供在字元線WL0、WL1、WL2及WL3上，並且輸出在讀取(推理)操作期間出現在各自位元線BL0-BLN上。在位元線BL0-BLN的每條位元線上之電流執行來自連接至那條特定位元線之所有非揮發性記憶體單元的電流之求和函數。
表5描繪VMM陣列1000的操作電壓。表中之行表示在被選單元的字元線、未被選單元的字元線、被選單元的位元線、未被選單元的位元線、被選單元的來源線及未被選單元的來源線上之電壓。列表示讀取、抹除及程式化的操作。
Figure 108128607-A0101-12-0018-5
圖11描繪神經元VMM陣列1100，其特別適用於圖2所示之記憶體單元210，並且用作輸入層與下一層之間的突觸及神經元的部件。VMM陣列1100包括非揮發性記憶體單元的記憶體 陣列1103、第一非揮發性參考記憶體單元的參考陣列1101及第二非揮發性參考記憶體單元的參考陣列1102。參考陣列1101及1102在VMM陣列1100的列方向上延伸。除在VMM陣列1100中，字元線在垂直方向上延伸外，VMM陣列與VMM 1000相似。這裡，在字元線(WLA0、WLB0、WLA1、WLB1、WLA2、WLB2、WLA3、WLB3)上提供輸入，並且在讀取操作期間輸出出現在來源線(SL0、SL1)上。在每條來源線上之電流執行來自連接至那條特定來源線之記憶體單元的所有電流之求和函數。
表6描繪VMM陣列1100的操作電壓。表中之行表示在被選單元的字元線、未被選單元的字元線、被選單元的位元線、未被選單元的位元線、被選單元的來源線及未被選單元的來源線上之電壓。列表示讀取、抹除及程式化的操作。
Figure 108128607-A0101-12-0019-6
圖12描繪神經元VMM陣列1200，其特別適用於圖3所示之記憶體單元310，並且用作輸入層與下一層之間的突觸及神經元的部件。VMM陣列1200包括非揮發性記憶體單元的記憶體陣列1203、第一非揮發性參考記憶體單元的參考陣列1201及第二非揮發性參考記憶體單元的參考陣列1202。參考陣列1201及1202用於將流入端子BLR0、BLR1、BLR2及BLR3的電流輸入轉換成 電壓輸入CG0、CG1、CG2及CG3。實際上，第一及第二非揮發性參考記憶體單元係以二極體形式經由多工器1212與經由BLR0、BLR1、BLR2及BLR3流入它們的電流輸入連接。多工器1212各自包括個別多工器1205及疊接電晶體1204，以在讀取操作期間確保第一及第二非揮發性參考記憶體單元中之每一者的位元線(諸如BLR0)上的固定電壓。將參考單元調整至目標參考位準。
記憶體陣列1203提供兩個用途。第一，它儲存將被VMM陣列1200使用的權重。第二，記憶體陣列1203有效地將輸入(被提供至端子BLR0、BLR1、BLR2及BLR3的電流輸入；參考陣列1201及1202將這些電流輸入轉換成輸入電壓，以供應至控制閘極(CG0、CG1、CG2及CG3))乘以記憶體陣列中所儲存之權重，然後將所有結果(單元電流)相加，以產生輸出，所述輸出出現在BL0-BLN且將是下一層的輸入或最後一層的輸入。藉由執行乘法及加法函數，記憶體陣列不需要個別的乘法及加法邏輯電路，並且還具有功率效率。這裡，輸入被提供在控制閘極線(CG0、CG1、CG2及CG3)上，並且輸出在讀取操作期間出現在位元線(BL0-BLN)上。在每條位元線上之電流執行來自連接至那條特定位元線之記憶體單元的所有電流之求和函數。
VMM陣列1200針對記憶體陣列1203中之非揮發性記憶體單元實施單向調整。亦即，抹除及然後部分程式化每個非揮發性記憶體單元，直到達到浮動閘極上的期望電荷為止。例如，這可以使用下面描述的新的精確程式化技術來執行。如果使太多電荷置於浮動閘極上(使得錯誤值儲存在單元中)，則必須抹除單元並且必須重新開始部分程式化操作的順序。如圖所示，共享同一個抹除 閘極(例如，EG0或EG1)的兩列需要一起被抹除(稱為頁抹除)，之後，部分程式化每個單元，直到達到浮動閘極上之期望電荷為止。
表7描繪VMM陣列1200的操作電壓。表中之行表示在被選單元的字元線、未被選單元的字元線、被選單元的位元線、未被選單元的位元線、被選單元的控制閘極、與被選單元相同的區段中之未被選單元的控制閘極、與被選單元不同的區段中之未被選單元的控制閘極、被選單元的抹除閘極、未被選單元的抹除閘極、被選單元的來源線及未被選單元的來源線上之電壓。列表示讀取、抹除及程式化的操作。
Figure 108128607-A0101-12-0021-7
圖13描繪神經元VMM陣列1300，其特別適用於圖3所示之記憶體單元310，並且用作輸入層與下一層之間的突觸及神經元的部件。VMM陣列1300包括非揮發性記憶體單元的記憶體陣列1303、第一非揮發性參考記憶體單元的參考陣列1301及第二非揮發性參考記憶體單元的參考陣列1302。EG線EGR0、EG0、EG1及EGR1垂直延伸，而CG線CG0、CG1、CG2及CG3以及SL線WL0、WL1、WL2及WL3水平延伸。除VMM陣列1300實施雙向調整外，VMM陣列1300與VMM陣列1200相似，其中每 個個別單元可以完全被抹除、部分被程式化及根據需要部分被抹除，以因個別EG線的使用而在浮動閘極上達到所需的電荷量。如圖所示，參考陣列1301及1302將端子BLR0、BLR1、BLR2及BLR3中之輸入電流轉換成要施加至列方向上的記憶體單元之控制閘極電壓CG0、CG1、CG2及CG3(藉由以二極體形式經由多工器1314連接之參考單元的作用)。電流輸出(神經元)位於位元線BL0-BLN中，其中每條位元線計算來自與那個特定位元線連接之非揮發性記憶體單元的所有電流之總和。
表8描繪VMM陣列1300的操作電壓。表中之行表示在被選單元的字元線、未被選單元的字元線、被選單元的位元線、未被選單元的位元線、被選單元的控制閘極、與被選單元相同的區段中之未被選單元的控制閘極、與被選單元不同的區段中之未被選單元的控制閘極、被選單元的抹除閘極、未被選單元的抹除閘極、被選單元的來源線及未被選單元的來源線上之電壓。列表示讀取、抹除及程式化的操作。
Figure 108128607-A0101-12-0022-8
長短期記憶體
習知技藝包括稱為長短期記憶體(LSTM)的概念。LSTM單元通常用於神經網路中。LSTM允許神經網路在預定任意 時間間隔內記住資訊，並在後續操作中使用那個資訊。傳統的LSTM單元包括單元、輸入閘極、輸出閘極及忘記閘極。三個閘極控制進出單元的資訊流及在LSTM中記住資訊的時間間隔。VMM在LSTM單位中係特別有用的。
圖14描繪示例性LSTM 1400。此實例中的LSTM 1400包括單元1401、1402、1403及1404。單元1401接收輸入向量x0，並產生輸出向量h0及單元狀態向量c0。單元1402接收輸入向量x1、來自單元1401的輸出向量(隱藏狀態)h0及來自單元1401的單元狀態c0，並產生輸出向量h1及單元狀態向量c1。單元1403接收輸入向量x2、來自單元1402的輸出向量(隱藏狀態)h1及來自單元1402的單元狀態c1，並產生輸出向量h2及單元狀態向量c2。單元1404接收輸入向量x3、來自單元1403的輸出向量(隱藏狀態)h2及來自單元1403的單元狀態c2，並產生輸出向量h3。可以使用額外的單元，並且具有四個單元的LSTM僅是一個實例。
圖15描繪LSTM單元1500的示例性實施，其可以用於圖14中之單元1401、1402、1403及1404。LSTM單元1500接收輸入向量x(t)、來自前一個單元之單元狀態向量c(t-1)及來自前一個單元之輸出向量h(t-1)，並產生單元狀態向量c(t)及輸出向量h(t)。
LSTM單元1500包括sigmoid函數裝置1501、1502及1503，每個sigmoid函數裝置應用0與1之間的數字，以控制輸入向量中之每個分量有多少被允許直至輸出向量。LSTM單元1500亦包括用以將雙曲正切函數應用於輸入向量的tanh裝置1504及1505、用以將兩個向量相乘的乘法裝置1506、1507及1508以及用 以將兩個向量相加的加法裝置1509。輸出向量h(t)可以提供給系統中的下一個LSTM單元，或者亦可以出於其它目的對其進行存取。
圖16描繪LSTM單元1600，其是LSTM單元1500的實施之一個實例。為方便讀者，在LSTM單元1600中使用與LSTM單元1500相同的編號。Sigmoid函數裝置1501、1502及1503以及tanh裝置1504各自包括多個VMM陣列1601及激勵函數區塊1602。因此，可以看出VMM陣列在某些神經網路系統中使用之LSTM單元中係特別有用的。
圖17顯示LSTM單元1600的一個替代方案(以及LSTM單元1500實施的另一個實例)。在圖17中，sigmoid函數裝置1501、1502及1503以及tanh裝置1504以時間多工方式共享同一個實體硬體(VMM陣列1701及激勵函數區塊1702)。LSTM單元1700亦包括：乘法裝置1703，用於將兩個向量相乘；加法裝置1708，用於將兩個向量相加；tanh裝置1505(其包括激勵函數區塊1702)；暫存器1707，其在i(t)從sigmoid函數區塊1702輸出時儲存數值i(t)；暫存器1704，其在數值f(t)*c(t-1)從乘法裝置1703經由多工器1710輸出時儲存數值f(t)*c(t-1)；暫存器1705，其在數值i(t)*u(t)從乘法裝置1703經由多工器1710輸出時儲存數值i(t)*u(t)；及暫存器1706，其在數值o(t)*c~(t)從乘法裝置1703經由多工器1710輸出時儲存數值o(t)*c~(t)；以及多工器1709。
LSTM單元1600包含多組VMM陣列1601及個別的激勵函數區塊1602，而LSTM單元1700僅包含一組VMM陣列1701及激勵函數區塊1702，它們在LSTM單元1700的具體例中用於表示多層。LSTM單元1700將需要比LSTM單元1600少的空間，因 為相較於LSTM單元1600，LSTM單元1700只需要1/4空間用於VMM及激勵函數區塊。
可以進一步理解，LSTM單元通常將包括多個VMM陣列，每個VMM陣列需要由VMM陣列外部的某些電路區塊(例如，加法器及激勵電路區塊以及高電壓產生區塊)提供的功能。對每個VMM陣列提供個別的電路區塊，將在半導體裝置內需要大量的空間，並且會有些沒有效率。因此，下面所描述的具體例試圖最小化VMM陣列本身外部所需的電路。
閘控遞歸單元
可以將類比VMM實施用於GRU(閘控遞歸單元)系統。GRU係遞歸神經網路中的閘控機制。除GRU單元通常包含比LSTM單元少的組件外，GRU與LSTM相似。
圖18描繪示例性GRU 1800。此實例中之GRU 1800包括單元1801、1802、1803及1804。單元1801接收輸入向量x0，並產生輸出向量h0。單元1802接收輸入向量x1及來自單元1801的輸出向量(隱藏狀態)h0，並產生輸出向量h1。單元1803接收輸入向量x2及來自單元1802的輸出向量(隱藏狀態)h1，並產生輸出向量h2。單元1804接收輸入向量x3及來自單元1803的輸出向量(隱藏狀態)h2，並產生輸出向量h3。可以使用額外的單元，並且具有四個單元的GRU僅是一個實例。
圖19描繪GRU單元1900的示例性實施，其可以用於圖18之單元1801、1802、1803及1804。GRU單元1900接收輸入向量x(t)及來自前一個GRU單元之輸出向量h(t-1)，並產生輸出向量h(t)。GRU單元1900包括sigmoid函數裝置1901及1902，每 個sigmoid函數裝置應用0與1之間的數字於來自輸出向量h(t-1)及輸入向量x(t)的分量。GRU單元1900亦包括用以將雙曲正切函數應用於輸入向量的tanh裝置1903、用以將兩個向量相乘的複數個乘法裝置1904、1905及1906、用以將兩個向量相加的加法裝置1907以及用以從1減去輸入來產生輸出的互補裝置1908。
圖20描繪GRU單元2000，其是GRU單元1900的實施之一個實例。為方便讀者，在GRU單元2000中使用與GRU單元1900相同的編號。從圖20可以看出，sigmoid函數裝置1901及1902以及tanh裝置1903各自包括多個VMM陣列2001及激勵函數區塊2002。因此，可以看出VMM陣列特別用於某些神經網路系統中使用之GRU單元中。
圖21顯示GRU單元2000的一個替代方案(以及GRU單元1900實施的另一個實例)。在圖21中，GRU單元2100利用VMM陣列2101及激勵函數區塊2102，其激勵函數區塊2102在構造成為sigmoid函數時應用0與1之間的數字，以控制輸入向量中之每個分量有多少被允許直至輸出向量。在圖21中，sigmoid函數裝置1901及1902以及tanh裝置1903以時間多工方式共享同一個實體硬體(VMM陣列2101及激勵函數區塊2102)。GRU單元2100亦包括：乘法裝置2103，用於將兩個向量相乘；加法裝置2105，用於將兩個向量相加；互補裝置2109，用於從1減去輸入，以產生輸出；多工器2104；暫存器2106，用於當數值h(t-1)*r(t)從乘法裝置2103經由多工器2104輸出時，保持數值h(t-1)*r(t)；暫存器2107，用於當數值h(t-1)*z(t)從乘法裝置2103經由多工器2104輸出時，保持數值h(t-1)*z(t)；以及暫存器2108，用於當數值 h^(t)*(1-z(t))從乘法裝置2103經由多工器2104輸出時，保持數值h^(t)*(1-z(t))。
GRU單元2000包含多組VMM陣列2001及激勵函數區塊2002，而GRU單元2100僅包含一組VMM陣列2101及激勵函數區塊2102，它們在GRU單元2100的具體例中用於表示多層。GRU單元2100將需要比GRU單元2000少的空間，因為相較於GRU單元2000，GRU單元2100只需要1/3空間用於VMM及激勵函數區塊。
可以進一步理解，GRU系統通常包括多個VMM陣列，每個VMM陣列需要由VMM陣列外部的某些電路區塊(例如，加法器及激勵電路區塊以及高電壓產生區塊)提供的功能。對每個VMM陣列提供個別的電路區塊，將在半導體裝置內需要大量的空間，並且會有些沒有效率。因此，下面所描述的具體例試圖最小化VMM陣列本身外部所需的電路。
VMM陣列的輸入可以是類比位準、二進制位準或數位位元(在這種情況下，需要DAC將數位位元轉換為適當的輸入類比位準)，以及輸出可以是類比位準、二進制位準或數位位元(在這種情況下，需要輸出ADC將輸出類比位準轉換為數位位元)。
對於一個VMM陣列中之每個記憶體單元，每個權重w可以由單一記憶體單元或由一個差分單元或由兩個混合記憶體單元(平均2個單元)來實施。在差分單元的情況下，需要兩個記憶體單元來實施權重w成為差分權重(w=w+-w-)。在兩個混合記憶體單元方面，需要兩個記憶體單元來實施權重w成為兩個單元的平均值。
快閃類比神經形態記憶體共享架構系統
圖22描繪快閃類比神經形態記憶體共享架構系統2200，其包括VMM系統2221、2222及2223以及共享電路區塊2217。VMM系統2221包括巨集區塊2201及2202以及輸出區塊2207，後者可以包括加法器、類比至數位轉換器或另一種類型的功能區塊，並且為巨集區塊2201及2202提供輸出。VMM系統2222包括巨集區塊2203及2204以及輸出區塊2208，後者可以包括加法器、類比至數位轉換器或另一種類型的功能區塊，並且為巨集區塊2203及2204提供輸出。VMM系統2223包括巨集區塊2205及2206以及輸出區塊2209，後者可以包括加法器、類比至數位轉換器或另一種類型的功能區塊，並且為巨集區塊2205及2206提供輸出。如圖23所更詳細論述，每個巨集區塊(例如，巨集區塊2201、2202、2203、2204、2205及2206)包含一個VMM陣列。
VMM系統2221、2222及2223使用共享電路區塊2217。在此實例中，共享電路區塊2217包括：
˙類比電路區塊2210；
˙高電壓產生區塊2211；
˙驗證區塊2212；
˙系統控制區塊2213；
˙陣列參考區塊2214；以及
˙感測區塊2215。
類比電路區塊2210包含類比電路，用於在操作期間執行巨集區塊2201、2202、2203、2204、2205及2206所需的某些類比功能，諸如以提供用於程式化、抹除、讀取及驗證操作的參考 電壓、時序及電流。驗證操作用於確認在抹除或程式化期間達到目標權重(意味著一定程度的浮動閘極電荷)。
高電壓產生區塊2211在像程式化操作及抹除操作的各種操作期間提供巨集區塊2201、2202、2203、2204、2205及2206所需的各種高電壓。任選地，高電壓產生區塊2211同時將那些高電壓(具有足夠的電壓及電流)提供給巨集區塊2201、2202、2203、2204、2205及2206中之兩個或更多個巨集區塊，或者任選地，程式化操作可以同時發生在巨集區塊2201、2202、2203、2204、2205及2206中之兩個或更多個巨集區塊中，以回應單一命令或多個命令，並且任選地，抹除操作可以同時發生在巨集區塊2201、2202、2203、2204、2205及2206中之兩個或更多個巨集區塊中，以回應單一命令或多個命令。
驗證區塊2212在寫入操作期間執行驗證操作，以作為對巨集區塊2201、2202、2203、2204、2205及2206或其一部分之寫入及驗證操作的一部分。任選地，驗證區塊2212可以同時對巨集區塊2201、2202、2203、2204、2205及2206中之兩個或更多個巨集區塊執行驗證操作。驗證區塊2212包括感測區塊(諸如圖29所描繪之程式及感測區塊2900的感測部分)。
系統控制區塊2213提供各種系統控制功能，例如使用調整區塊2216調整各種組件(諸如下面所論述之可調電阻器、電晶體及電流源)及進行測試。它亦提供巨集/核心介面命令控制邏輯及寫入演算法。它亦提供用於所有多個巨集或核心之組件共享的控制邏輯。
陣列參考區塊2214提供參考記憶體單元，以供在巨 集區塊2201、2202、2203、2204、2205及2206內的感測或驗證操作期間使用。或者，感測或驗證可使用由電阻器、MOSFET或能隙偏壓裝置(bandgap-based bias)提供之參考位準。
感測區塊2215在寫入操作期間對巨集區塊2201、2202、2203、2204、2205及2206或其一部分執行感測操作。任選地，感測區塊2215可以同時對巨集區塊2201、2202、2203、2204、2205及2206中之兩個或更多個巨集區塊執行感測操作。感測區塊2215可以包括圖29所描繪之程式及感測區塊2900的感測部分。
表9描繪圖22的快閃類比神經形態記憶體共享架構系統2200的操作模式。表中所示之行(從左至右依序)表示高電壓產生區塊2211、驗證區塊2212、加法器及激勵電路區塊2207、2208及2209、類比電路區塊2210、陣列參考區塊2214以及系統2200中所包含之每個VMM系統的狀態。巨集模式選擇係用於MACRO1(它是一個被選巨集區塊，諸如巨集區塊2201、2202、2203、2204、2205或2206)。在系統模式中，如果被選，則MACRO處於打開狀態。
表中所示之列表示(從上至下依序)：
˙系統批量抹除操作，其中抹除在系統2200中之所有被選巨集的被選單元；
˙系統批量程式化操作，其中程式化在系統2200中之所有被選巨集的被選單元；每個巨集完成程式高電壓補償(使用巨集高電壓補償區塊)，這意味著補償是在巨集層級(例如，在每個巨集)局部完成的，Icomp=未程式化位元數* Iprog；或者，每個系統層級完成高電壓補償(使用系統層級高電壓補償區塊)，例如，在這種情況下， 使用未程式化位元最多的巨集在高電壓產生電路(hvgen)處(例如，在hvgen處)進行補償，Icomp=未程式化位元數* Iprog；
˙系統讀取/驗證操作，其中讀取及驗證在系統2200中之所有被選巨集的被選單元；為了讀取多個核心中之多個單元的「0」(程式化狀態)，在電流感測中使用參考「0」容限I-M0電流，以偵測如果總被選單元電流>I-M0，則不能讀取「0」；為了讀取多個核心中之多個單元的「1」(程式化狀態)，在電流感測中使用參考「1」容限k*I-M1電流，以偵測如果總被選單元電流<k*I-M1，則不能讀取「1」，例如，為了並行讀取2個單元，k=2；
˙巨集抹除操作，其中僅抹除一個巨集區塊，在此是標記為MACRO1的巨集區塊；可以用巨集區段抹除來抹除一個區段(由多列組成)，或者可以用巨集批量抹除來抹除整個陣列；
˙巨集程式化操作，其中僅程式化一個巨集區塊，在此是標記為MACRO1的巨集區塊；可以用巨集字元程式來程式化一個字元(由多行中之多個單元組成)，或者可以用巨集批量程式來程式化具有多列及/或多行的被選批量陣列；
˙巨集讀取/驗證操作，其中僅讀取及驗證一個巨集區塊，在此是標記為MACRO1的巨集區塊；以及
˙讀取神經操作，其中一次讀取單一巨集區塊中之所有單元。
Figure 108128607-A0101-12-0032-9
圖23描繪VMM系統2300(其可用於實施圖22中之VMM系統2221、2222及2223)。VMM系統2300包括巨集區塊2320(其可用於實施圖22中之巨集區塊2201、2202、2203、2204、2205及2206)以及激勵函數區塊2314及輸出區塊2313，後者可以包括加法器、類比至數位轉換器或其它類型的功能區塊，並為VMM系統2300提供輸出。
巨集區塊2320包括VMM陣列2301、低電壓列解碼器2302、高電壓列解碼器2303及低電壓參考行解碼器2304。低電 壓列解碼器2302提供用於讀取及程式化操作的偏電壓，並且提供用於高電壓列解碼器2303的解碼信號。高電壓列解碼器2303提供用於程式化及抹除操作的高電壓偏壓信號。
巨集區塊2320進一步包括冗餘陣列2305及2306。冗餘陣列2305及2306提供陣列冗餘，以便取代陣列2301中之缺陷部分。VMM系統2300進一步包括NVR(非揮發性暫存器，亦稱為資訊區段)區段2307，其為用於儲存尤其是使用者資訊、裝置ID、密碼、安全密鑰、修剪位元(trimbits)、組態位元、製造資訊的陣列區段。巨集區塊2320進一步包括參考區段2308，用於提供要在感測操作中使用之參考單元；預解碼器2309，用於對解碼器2302、2303及/或2304的位址進行解碼；位元線多工器2310；巨集控制邏輯2311；以及巨集類比電路區塊2312，它們每個在巨集區塊或VMM陣列層級(而不是包括所有VMM陣列的系統層級)執行功能。
現在將描述圖22及圖23所示之電路區塊的具體例。
圖24描繪輸出區塊2400(其可以用作圖22中之輸出區塊2207、2208、2209以及圖23中之輸出區塊2313)。在此實例中，輸出區塊2400包括複數個個別的加法器及激勵電路區塊，例如，加法器及激勵區塊2401。
圖25描繪可適應神經元電路2500，其包括運算放大器，運算放大器提供低阻抗輸出，以便計算多個電流信號的總和且將總電流信號轉換成電壓信號，並係圖26中之加法器區塊2601a、...、2601i內的每個加法器區塊之具體例。可適應神經元電路2500從諸如VMM陣列2401的VMM接收電流(標記為I_NEU)，VMM在此表示為電流源2502，所述電流被提供至運算放大器2501 的反相輸入。運算放大器2501的非反相輸入耦合至電壓源(標記為VREF)。運算放大器2501的輸出(標記為VO)耦合至NMOS R_NEU電晶體2503，其充當有效電阻R_NEU的可變電阻器，以回應施加至NMOS電晶體2503的閘極之信號VCONTROL。輸出電壓VO等於I_NEU * R_NEU-VREF。I_NEU的最大值取決於VMM中所包含之突觸數量及權重值。R_NEU係可變電阻且可以適應於其所耦接的VMM尺寸。再者，求和運算放大器2501的功率相對於R_NEU電晶體2503的數值進行調整，以最小化功率消耗。隨著R_NEU電晶體2503的數值增加，藉由偏流IBIAS_OPA 2504減少運算放大器2501的偏壓(亦即，功率)，反之亦然。因為以運算放大器為基礎的加法電路可以提供低阻抗輸出，所以它適合於構造成驅動較長的互連及較重的負載。
圖26描繪激勵函數電路2600。激勵函數電路2600可以用於圖22中之激勵電路區塊2203a、2203b、2203c、2203d、2203e及2203f以及圖23中之激勵電路區塊2303a、2303b、2303c、2303d、2303e及2303f以及圖24中之激勵區塊2414。
激勵函數電路2600使用tanh函數將輸入電壓對(Vin+及Vin-)轉換成電流(Iout_neu)，並且可以與上述VMM陣列一起使用。激勵函數電路2600包括如圖所配置之PMOS電晶體2601、2602、2603、2604、2605及2606以及NMOS電晶體2607、2608、2609及2610。電晶體2603、2604及2606充當疊接電晶體。輸入NMOS對2607及2608在次臨界區域中操作，以實現tanh函數。電流I_neu_max係可以從附接的VMM(未顯示)接收之最大神經元電流。
圖27描繪可以用作圖25中之運算放大器2501的運算放大器2700。運算放大器2700在所示的構造中包括PMOS電晶體2701、2702及2705、NMOS電晶體2703、2704、2706及2707以及用以充當可變偏壓裝置的NMOS電晶體2708。運算放大器2700的輸入端子被標記為Vin+(施加至NMOS電晶體2704的閘極)及Vin-(施加至NMOS電晶體2703的閘極)，並且輸出為Vout。偏流Ibias_opa被提供至NMOS電晶體2708的汲極。
圖28描繪高電壓產生區塊2800、控制邏輯區塊2804、類比電路區塊2805及測試區塊2808。
高電壓產生區塊2800包括電荷幫浦2801、電荷幫浦穩壓器2802及高電壓運算放大器2803。可以使用施加至電荷幫浦穩壓器2802中之NMOS電晶體的閘極之控制位元TRBIT_SL<N：0>來控制電荷幫浦穩壓器2802的輸出電壓。控制邏輯區塊2804接收控制邏輯輸入並產生控制邏輯輸出。類比電路區塊2805包括偏流產生器2806，用於接收參考電壓VREF並產生可用於產生偏壓信號IBIAS的電流，所述電流可用以作為例如圖25中之IBIAS_OPA2504。類比電路區塊2805亦包括電壓產生器2807，用於接收參考電壓VREF及一組修剪位元TRBIT_WL，並且產生在各種操作期間施加至字元線的電壓。測試區塊2808在測試墊(test pad)MONHV_PAD上接收信號，並且輸出各種信號，以供設計者在測試期間進行監控。
圖29描繪程式及感測區塊2900，其可以在程式化及驗證操作期間使用，並且可以耦合至一個或多個VMM系統。程式及感測區塊2900包括複數個個別的程式及感測電路區塊2901a、 2901b、...、2901j，每個程式及感測電路區塊可以在一個被選記憶體單元中讀取「0」或「1」。控制器或控制邏輯2910可以根據需要在每個週期期間啟動適當的程式及感測電路區塊2901a、2901b、...、2901j。
圖30描繪參考系統3000，其可用以代替圖23中之參考區段2308。參考系統3000包括參考陣列3002、低電壓列解碼器3001、高電壓列解碼器3003及低電壓參考行解碼器3004。低電壓列解碼器3001為讀取及程式化操作提供偏電壓，並且提供用於高電壓列解碼器3003之解碼信號。高電壓列解碼器3003為程式化及抹除操作提供高偏壓信號。
圖31描繪VMM高電壓解碼器電路，其包括字元線解碼器電路3101、來源線解碼器電路3104及高電壓位準移位器3108，它們適用於圖2所示之類型的記憶體單元。
字元線解碼器電路3101包括如圖所配置之PMOS選擇電晶體3102(由信號HVO_B控制)及NMOS不選電晶體3103(由信號HVO_B控制)。
來源線解碼器電路3104包括如圖所配置之NMOS監控電晶體3105(由信號HVO控制)、驅動電晶體3106(由信號HVO控制)及不選電晶體3107(由信號HVO_B控制)。
高電壓位準移位器3108接收致能信號EN以及輸出高電壓信號HV及其互補信號HVO_B。
圖32描繪VMM高電壓解碼器電路，其包括抹除閘極解碼器電路3201、控制閘極解碼器電路3204、來源線解碼器電路3207及高電壓位準移位器3211，它們適用於圖3所示之類型的記憶體單元。
抹除閘極解碼器電路3201及控制閘極解碼器電路3204使用與圖31中之字元線解碼器電路3101相同的設計。
來源線解碼器電路3207使用與圖31中之來源線解碼器電路3104相同的設計。
高電壓位準移位器3211使用與圖31中之高電壓位準移位器3108相同的設計。
圖33描繪將輸出神經元電流轉換成電壓之可適應神經元電路3300。可適應神經元電路3300僅使用一個PMOS電晶體3301，並且實質上構造成使用開關3302、3303及3304對其自身進行鏡射(亦即，取樣保持鏡)。最初，關閉開關3302及開關3303，而打開開關3304，這時PMOS電晶體3301耦合至I_NEURON，I_NEURON係代表來自VMM的電流之電流源3305。然後，打開開關3302及3303，而關閉開關3304，這使PMOS電晶體3301從其汲極傳送電流I_NEURON至可變電阻器3306。因此，可適應神經元3300將電流信號(I_NEURON)轉換成電壓信號(VO)。基本上，電晶體3301對電流I_NEURON進行取樣並藉由在其閘極上儲存取樣的閘極-源極電壓來保持電流。運算放大器電路可用於緩衝輸出電壓VO，以驅動可結構化互連。
圖34描繪電流取樣保持S/H電路3400及電壓取樣保持S/H電路3450。電流S/H電路3400包括取樣開關3402及3403、S/H電容器3405、輸入電晶體3404以及輸出電晶體3406。輸入電晶體3404用於將輸入電流3401轉換成S/H電容器3405上的S/H電壓，並且耦合至輸出電晶體3406的閘極。電壓S/H電路3450包 括取樣開關3452、S/H電容器3453以及運算放大器3454。運算放大器3454用於緩衝電容器3453上的S/H電壓。S/H電路3400及3450可以用於在此所述之輸出加法電路及/或激勵電路。在一個替代具體例中，可以使用數位取樣保持電路來代替類比取樣保持電路3400及3450。
圖35顯示適用於在線性區域中操作之記憶體單元的陣列架構。系統3500包括輸入區塊3501、輸出區塊3502及記憶體單元陣列3503。輸入區塊3501耦合至陣列3503中之記憶體單元的汲極(來源線)，而輸出區塊3502耦合至陣列3503中之記憶體單元的位元線。另一方案，輸入區塊3501耦合至陣列3503中之記憶體單元的字元線，而輸出區塊3502耦合至陣列3503中之記憶體單元的位元線。
在系統3500用於實施LSTM或GRU的情況下，輸出區塊3502及/或輸入區塊3501可以根據需要包括用於LSTM/GRU架構之乘法區塊、加法區塊、減法(輸出=1-輸入)區塊，或者任選地，可以根據需要包括類比取樣保持電路(例如，圖34中之電路3400或3450)或數位取樣保持電路(例如，暫存器或SRAM)。
圖36描繪高電壓產生區塊3600，其為圖22中之高電壓產生區塊2211的一個實例。高電壓產生區塊3600包括電荷幫浦3601、電荷幫浦穩壓器3603及高電壓運算放大器3602。電荷幫浦穩壓器3603的輸出電壓可以根據傳送至電荷幫浦穩壓器3603中之多工MOS電晶體的閘極之信號來控制。
圖37描繪程式偏壓電路3700，其提供偏壓至個別程式化電路3702-0、...、3702-N的閘極，每個程式化電路在程式化 操作期間向耦合至被選位元線之記憶體單元提供程式化電流。
圖38描繪感測放大器3800，其可以用於程式化及驗證操作的驗證方面。感測放大器3800在所示的結構中包括可調電流參考源3801、開關3802、NMOS電晶體3803、電容器3804、開關3805、電流源3806及反相器3807。在記憶體單元3808的驗證操作期間，感測放大器3800耦合至記憶體單元3808。
應當注意，如本文所使用，術語「在...上方」及「在...上」均包含性地包括「直接在...上」(沒有中間材料、元件或空間設置在其間)及「間接在...上」(中間材料、元件或空間設置在其間)。同樣地，術語「相鄰」包括「直接相鄰」(沒有中間材料、元件或空間設置在其間)及「間接相鄰」(中間材料、元件或空間設置在其間)，「安裝至」包括「直接安裝至」(沒有中間材料、元件或空間設置在其間)及「間接安裝至」(中間材料、元件或空間設置在其間)，以及「電耦接至」包括「直接電耦接至」(沒有中間材料或元件在其間將元件電連接在一起)及「間接電耦接至」(中間材料或元件在其間將元件電連接在一起)。例如，在「在基板上」形成元件可以包括在基板上直接形成元件而其間沒有中間材料/元件，以及在基板上間接形成元件而在其間具有一個或多個中間材料/元件。

Claims (27)

  1. 一種類比神經形態記憶體系統，包括：複數個向量矩陣乘法系統，每個向量矩陣乘法系統包括：一記憶體單元陣列；一低電壓列解碼器，用於在讀取及程式化操作期間提供一偏壓至該記憶體單元陣列中之一列或多列記憶體單元及用於提供一解碼信號；一高電壓列解碼器，用於接收該解碼信號及在程式化及抹除操作期間提供一高電壓偏壓信號至該記憶體單元陣列中之一列或多列記憶體單元；以及一低電壓行解碼器；複數個輸出區塊，每個輸出區塊提供一輸出，以回應該複數個向量矩陣乘法系統中之至少一者；以及一共享高電壓產生區塊，其構造成針對抹除操作及程式化操作中之一個或多個操作，向該複數個向量矩陣乘法系統中之每一者中的高電壓列解碼器同時提供高電壓。
  2. 如請求項1之系統，其進一步包括一高電壓補償區塊，用於該複數個向量矩陣乘法系統中之每一者。
  3. 如請求項1之系統，其進一步包括一高電壓補償區塊，用於所有該複數個向量矩陣乘法系統。
  4. 如請求項1之系統，其中，該系統構造成同時對兩個或更多個向量矩陣乘法系統執行程式化操作。
  5. 如請求項1之系統，其中，該等並行程式化操作係回應單一命令而執行的。
  6. 如請求項4之系統，其中，在該等並行程式化操作之後，該系統構造成同時對該兩個或更多個向量矩陣乘法系統執行驗證操作。
  7. 如請求項1之系統，其中，該高電壓產生區塊能夠提供足夠的電壓及電流，以同時對所有該等向量矩陣乘法系統中之所有記憶體單元陣列執行程式化及抹除操作。
  8. 如請求項1之系統，其中，該等記憶體單元係分離式閘極快閃記憶體單元。
  9. 如請求項1之系統，其中，每個向量矩陣乘法系統係在一長短期記憶體系統中之一單元。
  10. 如請求項1之系統，其中，每個向量矩陣乘法系統係在一閘控遞歸單元記憶體系統中之一單元。
  11. 如請求項1之系統，其中，該高電壓產生區塊包括：一電荷幫浦，用於輸出一高電壓；以及一電荷幫浦穩壓器，用於從該電荷幫浦接收該高電壓及回應輸入修剪位元而產生一經修剪之高電壓。
  12. 如請求項1之系統，其中，該複數個輸出區塊中之每一者包括一加法器及激勵區塊。
  13. 如請求項12之系統，其中，每個加法器及激勵區塊構造成針對該複數個向量矩陣乘法系統中之至少一者執行一求和及激勵函數。
  14. 一種類比神經形態記憶體系統，包括：複數個向量矩陣乘法系統，每個向量矩陣乘法系統包括：一記憶體單元陣列；一低電壓列解碼器，用於在讀取及程式化操作期間提供一偏壓至 該記憶體單元陣列中之一列或多列記憶體單元及用於提供一解碼信號；一高電壓列解碼器，用於接收該解碼信號及在程式化及抹除操作期間提供一高電壓偏壓信號至該記憶體單元陣列中之一列或多列記憶體單元；以及一低電壓行解碼器；複數個輸出區塊，每個輸出區塊提供一輸出，以回應該複數個向量矩陣乘法系統中之至少一者；以及一共享驗證區塊，其構造成在一程式化操作之後同時對該複數個向量矩陣乘法系統中的兩個或更多個向量矩陣乘法系統執行一驗證操作。
  15. 如請求項14之系統，其進一步包括一感測區塊，用於感測記憶體單元中之「0」值，其中該感測區塊可以耦接至該複數個向量矩陣乘法系統的一個或多個向量矩陣乘法系統。
  16. 如請求項14之系統，其進一步包括一感測區塊，用於感測記憶體單元中之「1」值，其中該感測區塊可以耦接至該複數個向量矩陣乘法系統的一個或多個向量矩陣乘法系統。
  17. 如請求項14之系統，其進一步包括：一共享感測區塊，其構造成同時執行該複數個向量矩陣乘法系統中的兩個或更多個向量矩陣乘法系統中之記憶體單元的讀取操作。
  18. 如請求項14之系統，其進一步包括：一共享調整區塊，其構造成調整該複數個向量矩陣乘法系統的任何一個向量矩陣乘法系統中之一個或多個組件。
  19. 如請求項18之系統，其中，該一個或多個組件包括一可調電 阻器。
  20. 如請求項18之系統，其中，該一個或多個組件包括一可調電晶體。
  21. 如請求項18之系統，其中，該一個或多個組件包括一可調電流源。
  22. 如請求項14之系統，其中，該共享驗證區塊能夠同時對所有該等向量矩陣乘法系統中之記憶體單元執行讀取操作。
  23. 如請求項14之系統，其中，該等記憶體單元係分離式閘極快閃記憶體單元。
  24. 如請求項14之系統，其中，每個向量矩陣乘法系統係在一長短期記憶體系統中之一單元。
  25. 如請求項14之系統，其中，每個向量矩陣乘法系統係在一閘控遞歸單元記憶體系統中之一單元。
  26. 如請求項14之系統，其中，該複數個輸出區塊中之每一者包括一加法器及激勵區塊。
  27. 如請求項26之系統，其中，每個加法器及激勵區塊構造成針對該複數個向量矩陣乘法系統中之至少一者執行一求和及激勵函數。
TW108128607A 2018-08-21 2019-08-12 包括多重向量矩陣乘法陣列及共享組件之用於深度學習神經網路的類比神經記憶體系統 TWI725509B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862720902P 2018-08-21 2018-08-21
US62/720,902 2018-08-21
US16/182,492 US10860918B2 (en) 2018-08-21 2018-11-06 Analog neural memory system for deep learning neural network comprising multiple vector-by-matrix multiplication arrays and shared components
US16/182,492 2018-11-06
WOPCT/US19/41039 2019-07-09
PCT/US2019/041039 WO2020040893A1 (en) 2018-08-21 2019-07-09 Analog neural memory system for deep learning neural network comprising multiple vector-by-matrix multiplication arrays and shared components

Publications (2)

Publication Number Publication Date
TW202025003A TW202025003A (zh) 2020-07-01
TWI725509B true TWI725509B (zh) 2021-04-21

Family

ID=69583780

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108128607A TWI725509B (zh) 2018-08-21 2019-08-12 包括多重向量矩陣乘法陣列及共享組件之用於深度學習神經網路的類比神經記憶體系統

Country Status (7)

Country Link
US (2) US10860918B2 (zh)
EP (2) EP4202769A1 (zh)
JP (1) JP7399153B2 (zh)
KR (1) KR102653629B1 (zh)
CN (1) CN112567391A (zh)
TW (1) TWI725509B (zh)
WO (1) WO2020040893A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10957392B2 (en) 2018-01-17 2021-03-23 Macronix International Co., Ltd. 2D and 3D sum-of-products array for neuromorphic computing system
US11138497B2 (en) 2018-07-17 2021-10-05 Macronix International Co., Ltd In-memory computing devices for neural networks
US10956814B2 (en) * 2018-08-27 2021-03-23 Silicon Storage Technology, Inc. Configurable analog neural memory system for deep learning neural network
US11636325B2 (en) 2018-10-24 2023-04-25 Macronix International Co., Ltd. In-memory data pooling for machine learning
US11562229B2 (en) 2018-11-30 2023-01-24 Macronix International Co., Ltd. Convolution accelerator using in-memory computation
US11184446B2 (en) 2018-12-05 2021-11-23 Micron Technology, Inc. Methods and apparatus for incentivizing participation in fog networks
US11934480B2 (en) 2018-12-18 2024-03-19 Macronix International Co., Ltd. NAND block architecture for in-memory multiply-and-accumulate operations
US11144824B2 (en) * 2019-01-29 2021-10-12 Silicon Storage Technology, Inc. Algorithms and circuitry for verifying a value stored during a programming operation of a non-volatile memory cell in an analog neural memory in deep learning artificial neural network
US11256778B2 (en) 2019-02-14 2022-02-22 Micron Technology, Inc. Methods and apparatus for checking the results of characterized memory searches
US11327551B2 (en) 2019-02-14 2022-05-10 Micron Technology, Inc. Methods and apparatus for characterizing memory devices
US11119674B2 (en) 2019-02-19 2021-09-14 Macronix International Co., Ltd. Memory devices and methods for operating the same
US11132176B2 (en) * 2019-03-20 2021-09-28 Macronix International Co., Ltd. Non-volatile computing method in flash memory
US10867655B1 (en) 2019-07-08 2020-12-15 Micron Technology, Inc. Methods and apparatus for dynamically adjusting performance of partitioned memory
KR102196523B1 (ko) 2019-07-16 2020-12-29 성균관대학교산학협력단 플로팅 게이트 멤리스터 소자 및 이를 구비하는 뉴런 소자
US11449577B2 (en) 2019-11-20 2022-09-20 Micron Technology, Inc. Methods and apparatus for performing video processing matrix operations within a memory array
US11853385B2 (en) 2019-12-05 2023-12-26 Micron Technology, Inc. Methods and apparatus for performing diversity matrix operations within a memory array
US11600321B2 (en) 2020-03-05 2023-03-07 Silicon Storage Technology, Inc. Analog neural memory array storing synapsis weights in differential cell pairs in artificial neural network
US11289164B2 (en) * 2020-06-03 2022-03-29 Silicon Storage Technology, Inc. Word line and control gate line tandem decoder for analog neural memory in deep learning artificial neural network
US20220067499A1 (en) * 2020-08-25 2022-03-03 Silicon Storage Technology, Inc. Concurrent write and verify operations in an analog neural memory
CN114785539A (zh) * 2022-03-04 2022-07-22 清华大学 基于神经形态器件的高可靠性密码验证方法及装置
WO2023196000A1 (en) * 2022-04-07 2023-10-12 Silicon Storage Technology, Inc. Vector-by-matrix-multiplication array utilizing analog inputs
US20230325650A1 (en) * 2022-04-07 2023-10-12 Silicon Storage Technology, Inc. Vector-by-matrix-multiplication array utilizing analog outputs

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201818233A (zh) * 2016-11-14 2018-05-16 耐能股份有限公司 卷積運算裝置及卷積運算方法
US20180144243A1 (en) * 2016-11-23 2018-05-24 General Electric Company Hardware system design improvement using deep learning algorithms
TW201824096A (zh) * 2016-12-20 2018-07-01 聯發科技股份有限公司 執行卷積計算的系統及方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
JPH04132087A (ja) * 1990-09-21 1992-05-06 Hitachi Ltd 半導体集積回路装置
US6747310B2 (en) 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
KR101354608B1 (ko) * 2007-09-21 2014-01-22 삼성전자주식회사 플래시 메모리 장치 및 그것의 프로그램 방법
KR101435164B1 (ko) * 2008-05-14 2014-09-02 삼성전자주식회사 고전압 발생회로 및 이를 포함하는 플래시 메모리 장치
US8433980B2 (en) * 2008-06-23 2013-04-30 Sandisk Il Ltd. Fast, low-power reading of data in a flash memory
US7894230B2 (en) * 2009-02-24 2011-02-22 Mosaid Technologies Incorporated Stacked semiconductor devices including a master device
JP5511489B2 (ja) * 2010-04-27 2014-06-04 ラピスセミコンダクタ株式会社 半導体不揮発性記憶装置
JP2012164384A (ja) * 2011-02-07 2012-08-30 Toshiba Corp 不揮発性半導体記憶装置
US9123401B2 (en) * 2012-10-15 2015-09-01 Silicon Storage Technology, Inc. Non-volatile memory array and method of using same for fractional word programming
WO2016014731A1 (en) 2014-07-22 2016-01-28 Aplus Flash Technology, Inc. Yukai vsl-based vt-compensation for nand memory
US10325006B2 (en) * 2015-09-29 2019-06-18 International Business Machines Corporation Scalable architecture for analog matrix operations with resistive devices
US9972395B2 (en) * 2015-10-05 2018-05-15 Silicon Storage Technology, Inc. Row and column decoders comprising fully depleted silicon-on-insulator transistors for use in flash memory systems
US11308383B2 (en) * 2016-05-17 2022-04-19 Silicon Storage Technology, Inc. Deep learning neural network classifier using non-volatile memory array
US10261705B2 (en) 2016-12-15 2019-04-16 Alibaba Group Holding Limited Efficient data consistency verification for flash storage
US10748630B2 (en) 2017-11-29 2020-08-18 Silicon Storage Technology, Inc. High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks
US10552510B2 (en) * 2018-01-11 2020-02-04 Mentium Technologies Inc. Vector-by-matrix multiplier modules based on non-volatile 2D and 3D memory arrays

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201818233A (zh) * 2016-11-14 2018-05-16 耐能股份有限公司 卷積運算裝置及卷積運算方法
US20180144243A1 (en) * 2016-11-23 2018-05-24 General Electric Company Hardware system design improvement using deep learning algorithms
TW201824096A (zh) * 2016-12-20 2018-07-01 聯發科技股份有限公司 執行卷積計算的系統及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Guo, X. (2017). Mixed signal neurocomputing based on floating-gate memories (Doctoral dissertation, UC Santa Barbara). *

Also Published As

Publication number Publication date
EP3841527B1 (en) 2023-04-05
US20200065650A1 (en) 2020-02-27
KR20210024639A (ko) 2021-03-05
EP4202769A1 (en) 2023-06-28
WO2020040893A1 (en) 2020-02-27
CN112567391A (zh) 2021-03-26
JP2021536600A (ja) 2021-12-27
TW202025003A (zh) 2020-07-01
KR102653629B1 (ko) 2024-04-01
US10896368B2 (en) 2021-01-19
JP7399153B2 (ja) 2023-12-15
EP3841527A1 (en) 2021-06-30
US10860918B2 (en) 2020-12-08
US20200272886A1 (en) 2020-08-27

Similar Documents

Publication Publication Date Title
TWI725509B (zh) 包括多重向量矩陣乘法陣列及共享組件之用於深度學習神經網路的類比神經記憶體系統
TWI708249B (zh) 用於在深度學習人工類神經網路中的類比類神經記憶體之高電壓產生之方法及設備
TWI718626B (zh) 用於深度學習神經網路之可組態類比神經記憶體系統
TWI742508B (zh) 用於驗證在深度學習人工神經網路中在模擬神經記憶體中之非揮發性記憶體單元的程式化操作期間儲存之值的演算法及電路
TW202026955A (zh) 用於使用在深度學習神經網路中之類比神經記憶體系統中的記憶體單元之溫度與洩漏補償
TW202107304A (zh) 用於深度學習人工神經網路中之類比神經記憶體的解碼系統與實體佈局
TWI784508B (zh) 深度學習人工神經網路中類比神經記憶體之字線和控制閘極線串聯解碼器
TWI743510B (zh) 在記憶體系統中執行神經讀取操作的方法及其記憶體系統
TW202217823A (zh) 非揮發性記憶體系統
US20240265951A1 (en) Current-to-voltage converter comprising common mode circuit
WO2024162979A1 (en) Current-to-voltage converter comprising common mode circuit