TW202026955A - 用於使用在深度學習神經網路中之類比神經記憶體系統中的記憶體單元之溫度與洩漏補償 - Google Patents

用於使用在深度學習神經網路中之類比神經記憶體系統中的記憶體單元之溫度與洩漏補償 Download PDF

Info

Publication number
TW202026955A
TW202026955A TW108129667A TW108129667A TW202026955A TW 202026955 A TW202026955 A TW 202026955A TW 108129667 A TW108129667 A TW 108129667A TW 108129667 A TW108129667 A TW 108129667A TW 202026955 A TW202026955 A TW 202026955A
Authority
TW
Taiwan
Prior art keywords
memory cell
flash memory
array
voltage
current
Prior art date
Application number
TW108129667A
Other languages
English (en)
Other versions
TWI754162B (zh
Inventor
曉萬 陳
史蒂芬 利姆克
恩漢 杜
維平 蒂瓦里
馬克 萊坦
Original Assignee
美商超捷公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商超捷公司 filed Critical 美商超捷公司
Publication of TW202026955A publication Critical patent/TW202026955A/zh
Application granted granted Critical
Publication of TWI754162B publication Critical patent/TWI754162B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G11C16/0425—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing a merged floating gate and select transistor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G11C16/14—Circuits for erasing electrically, e.g. erase voltage switching circuits
    • G11C16/16—Circuits for erasing electrically, e.g. erase voltage switching circuits for erasing blocks, e.g. arrays, words, groups
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/26—Sensing or reading circuits; Data output circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2216/00—Indexing scheme relating to G11C16/00 and subgroups, for features not directly covered by these groups
    • G11C2216/02—Structural aspects of erasable programmable read-only memories
    • G11C2216/04—Nonvolatile memory cell provided with a separate control gate for erasing the cells, i.e. erase gate, independent of the normal read control gate
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/04—Arrangements for writing information into, or reading information out from, a digital store with means for avoiding disturbances due to temperature effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Neurology (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Non-Volatile Memory (AREA)
  • Read Only Memory (AREA)
  • Complex Calculations (AREA)

Abstract

揭露用於提供在深度學習神經網路中使用之類比神經形態記憶體系統用之溫度補償與洩漏補償的許多具體例。用於提供溫度補償的具體例實施用於記憶體系統中之裝置、參考記憶體單元或被選記憶體單元的離散或連續適應斜率補償及再正規化。用於在記憶體系統中之記憶體單元內提供洩漏補償的具體例實施適應抹除閘極耦合或者控制閘極端子上之負偏壓、字元線端子上之負偏壓或源極線端子上之偏壓的施加。

Description

用於使用在深度學習神經網路中之類比神經記憶體系統中的記憶體單元之溫度與洩漏補償 [優先權請求]
本申請案主張2018年8月27日所提出之名稱為「用於使用在深度學習神經網路中之類比神經記憶體系統中的記憶體單元之溫度與洩漏補償」的美國臨時專利申請案第62/723,398號及2018年11月7日所提出之名稱為「用於使用在深度學習神經網路中之類比神經記憶體系統中的記憶體單元之溫度與洩漏補償」的美國專利申請案第16/183,250號之優先權。
揭露用於提供在深度學習神經網路中使用之類比神經形態記憶體系統中的記憶體單元用之溫度補償與洩漏補償的許多具體例。
人工神經網路模擬生物神經網路(動物的中樞神經系統，特別是大腦)及用於估計或近似可依賴於大量輸入且通常是未知的函數。人工神經網路通常包括可彼此交換信息之互連的「神經元」層。
圖1說明人工神經網路，其中圓圈表示神經元輸入或 層。連結(稱為突觸)以箭頭來表示，並且具有可根據經驗調整的數字權重。這使得神經網路適應於輸入且能夠學習。通常，神經網路包括一層多個輸入。通常有一個或多個神經元中間層及提供神經網路輸出的一個神經元輸出層。每個層級的神經元個別地或共同地根據從突觸接收的資料做出決定。
開發用於高性能資訊處理之人工神經網路的主要挑戰中之一是缺乏足夠的硬體技術。實際上，實際的神經網路依賴於非常大量的突觸，以使神經元之間的高連結性(亦即，非常高的計算並行性)成為可能。原則上，這樣的複雜性可以用數位超級電腦或專用圖形處理單元叢集來實現。然而，除了高成本之外，相較於生物網路，這些方法還因平庸的能量效率而更糟，其中生物網路消耗非常少的能量，主要是因為它們執行低精度類比計算。CMOS類比電路已經用於人工神經網路，但是有鑑於大量的神經元及突觸，大多數CMOS實施的突觸過於龐大。
申請人以前在美國專利申請案第15/594,439號中揭露一種人工(類比)神經網路，其利用一個或多個非揮發性記憶體陣列作為突觸，在此以提及方式將上述美國專利申請案併入本文。非揮發性記憶體陣列作為類比神經形態記憶體來操作。神經網路裝置包括複數個第一突觸，其構造成接收複數個第一輸入並由此產生複數個第一輸出；以及複數個第一神經元，其構造成接收複數個第一輸出。複數個第一突觸包括複數個記憶體單元，其中每個記憶體單元包括間隔開的源極及汲極區域，其形成在半導體基板中，並且具有通道區域在其間延伸；浮動閘極，其設置在通道區域的第一部分上方且與通道區域的第一部分絕緣；以及非浮動閘極，其設置在通 道區域的第二部分上方且與通道區域的第二部分絕緣。複數個記憶體單元中之每一個構造成儲存與浮動閘極上之一些電子相對應的權重值。複數個記憶體單元構造成將複數個第一輸入乘以儲存的權重值，以產生複數個第一輸出。
必須抹除及程式化在類比神經形態記憶體系統中使用之每個非揮發性記憶體單元，以在浮動閘極中保持非常特定且精確的電荷量，亦即，電子數量。例如，每個浮動閘極必須保持N個不同數值中之一個，其中N是可以由每個單元表示之不同權重的數量。N的實例包括16、32、64、128及256。
實施類比神經記憶體系統的一個挑戰是，每個單元的抹除、程式化及讀取操作需要極高的精度，因為每個單元中之各自浮動閘極可能需要保持N個數值中之一，其中N大於傳統快閃記憶體系統中所使用之慣用數值2。然而，每個裝置的特性(例如，其電流-電壓響應特性曲線)會隨著其操作溫度變化而變化。此外，裝置中之洩漏將進一步影響其特性。
所需要的是一種用於提供在深度學習神經網絡中使用之類比神經記憶體系統中的記憶體單元用之溫度補償及洩漏補償的系統，以確保在單元的操作溫度變化時，在每個記憶體單元的操作中保持精度及準確性。
揭露用於提供在深度學習神經網路中使用之類比神經記憶體系統用之溫度補償與洩漏補償的許多具體例。用於提供溫度補償的具體例包括離散或連續適應斜率補償及再正規化。用於提供洩漏補償的具體例包括適應抹除閘極耦合、控制閘極端子上的負 偏壓、字元線端子上的負偏壓以及源極線端子上的偏壓。
12‧‧‧半導體基板
14‧‧‧源極區域
16‧‧‧汲極區域
18‧‧‧通道區域
20‧‧‧浮動閘極
22‧‧‧字元線端子(選擇閘極)
24‧‧‧位元線
28‧‧‧控制閘極
30‧‧‧抹除閘極
31‧‧‧數位至類比轉換器
32‧‧‧向量矩陣乘法(VMM)陣列
32a‧‧‧VMM陣列
32b‧‧‧VMM陣列
32c‧‧‧VMM陣列
32d‧‧‧VMM陣列
32e‧‧‧VMM陣列
33‧‧‧非揮發性記憶體單元陣列
34‧‧‧抹除閘極及字元線閘極解碼器
35‧‧‧控制閘極解碼器
36‧‧‧位元線解碼器
37‧‧‧源極線解碼器
38‧‧‧差分加法器
39‧‧‧激勵函數電路
210‧‧‧記憶體單元
310‧‧‧4-閘極記憶體單元
410‧‧‧3-閘極記憶體單元
510‧‧‧堆疊式閘極記憶體單元
900‧‧‧神經元VMM陣列
901‧‧‧非揮發性記憶體單元的記憶體陣列
902‧‧‧非揮發性參考記憶體單元的參考陣列
903‧‧‧控制閘極線
904‧‧‧抹除閘極線
1000‧‧‧神經元VMM陣列
1001‧‧‧第一非揮發性參考記憶體單元的參考陣列
1002‧‧‧第二非揮發性參考記憶體單元的參考陣列
1003‧‧‧非揮發性記憶體單元的記憶體陣列
1004‧‧‧多工器
1100‧‧‧神經元VMM陣列
1101‧‧‧第一非揮發性參考記憶體單元的參考陣列
1102‧‧‧第二非揮發性參考記憶體單元的參考陣列
1103‧‧‧非揮發性記憶體單元的記憶體陣列
1200‧‧‧神經元VMM陣列
1201‧‧‧第一非揮發性參考記憶體單元的參考陣列
1202‧‧‧第二非揮發性參考記憶體單元的參考陣列
1203‧‧‧非揮發性記憶體單元的記憶體陣列
1212‧‧‧多工器
1300‧‧‧神經元VMM陣列
1301‧‧‧第一非揮發性參考記憶體單元的參考陣列
1302‧‧‧第二非揮發性參考記憶體單元的參考陣列
1303‧‧‧非揮發性記憶體單元的記憶體陣列
1314‧‧‧多工器
1400‧‧‧LSTM
1401‧‧‧單元
1402‧‧‧單元
1403‧‧‧單元
1404‧‧‧單元
1500‧‧‧LSTM單元
1501‧‧‧sigmoid函數裝置
1502‧‧‧sigmoid函數裝置
1503‧‧‧sigmoid函數裝置
1504‧‧‧tanh裝置
1505‧‧‧tanh裝置
1506‧‧‧乘法裝置
1507‧‧‧乘法裝置
1508‧‧‧乘法裝置
1509‧‧‧加法裝置
1600‧‧‧LSTM單元
1601‧‧‧VMM陣列
1602‧‧‧激勵電路區塊
1700‧‧‧LSTM單元
1701‧‧‧VMM陣列
1702‧‧‧激勵函數區塊
1703‧‧‧乘法裝置
1704‧‧‧暫存器
1705‧‧‧暫存器
1706‧‧‧暫存器
1707‧‧‧暫存器
1708‧‧‧加法裝置
1709‧‧‧多工器
1710‧‧‧多工器
1800‧‧‧GRU
1801‧‧‧單元
1802‧‧‧單元
1803‧‧‧單元
1804‧‧‧單元
1900‧‧‧GRU單元
1901‧‧‧sigmoid函數裝置
1902‧‧‧sigmoid函數裝置
1903‧‧‧tanh裝置
1904‧‧‧乘法裝置
1905‧‧‧乘法裝置
1906‧‧‧乘法裝置
1907‧‧‧加法裝置
1908‧‧‧互補裝置
2000‧‧‧GRU單元
2001‧‧‧VMM陣列
2002‧‧‧激勵函數區塊
2100‧‧‧GRU單元
2101‧‧‧VMM陣列
2102‧‧‧激勵函數區塊
2103‧‧‧乘法裝置
2104‧‧‧多工器
2105‧‧‧加法裝置
2106‧‧‧暫存器
2107‧‧‧暫存器
2108‧‧‧暫存器
2109‧‧‧互補裝置
2400‧‧‧溫度補償區塊
2401‧‧‧溫度感測器
2402‧‧‧控制器
2403‧‧‧控制位元
2403a-2403i‧‧‧控制位元
2404‧‧‧電流源
2404a-2404i‧‧‧電流源
2405‧‧‧開關
2405a-2405i‧‧‧開關
2406‧‧‧電阻器
2500‧‧‧溫度補償區塊
2501‧‧‧運算放大器
2502‧‧‧控制器
2505‧‧‧運算放大器
2506‧‧‧可調電阻器區塊
2507‧‧‧電阻器
2507a-2507n‧‧‧電阻器
2508‧‧‧開關
2508a-2508n‧‧‧開關
2509a-2509n‧‧‧控制位元
2600‧‧‧溫度補償區塊
2601‧‧‧可調電流源
2602‧‧‧可調電流源
2603‧‧‧電流源
2604‧‧‧電阻器
2605‧‧‧控制器
2606‧‧‧控制信號
2700‧‧‧溫度補償區塊
2701‧‧‧可調電流源
2702‧‧‧可調電阻器
2705‧‧‧控制器
2706‧‧‧控制信號
2800‧‧‧溫度補償區塊
2801‧‧‧可調電流源
2802‧‧‧可調電阻器
2805‧‧‧控制器
2806‧‧‧控制信號
2900‧‧‧溫度補償區塊
2901‧‧‧可調電流源
2902‧‧‧可調電阻器
2905‧‧‧控制器
2906‧‧‧控制信號
3000‧‧‧參考電晶體
3100‧‧‧參考記憶體單元
3200‧‧‧參考記憶體單元
3400‧‧‧斜率正規化系統
3401‧‧‧參考電晶體
3402‧‧‧被選記憶體單元
3403‧‧‧閘極驅動器
3404‧‧‧絕對正規化電路
3500‧‧‧斜率正規化系統
3501‧‧‧參考電晶體
3502‧‧‧被選記憶體單元
3503‧‧‧驅動器
3700‧‧‧系統
3701‧‧‧輸入區塊
3702‧‧‧輸出區塊
3703‧‧‧記憶體單元陣列
3800‧‧‧電流-電壓特性曲線
3801‧‧‧查找表
BL0-BLN‧‧‧位元線
BLR0‧‧‧端子
BLR1‧‧‧端子
BLR2‧‧‧端子
BLR3‧‧‧端子
c0‧‧‧單元狀態向量
c1‧‧‧單元狀態向量
c2‧‧‧單元狀態向量
CG0‧‧‧電壓輸入(控制閘極線)
CG1‧‧‧電壓輸入(控制閘極線)
CG2‧‧‧電壓輸入(控制閘極線)
CG3‧‧‧電壓輸入(控制閘極線)
EG0‧‧‧EG線
EG1‧‧‧EG線
EGR0‧‧‧EG線
EGR1‧‧‧EG線
h0‧‧‧輸出向量
h1‧‧‧輸出向量
h2‧‧‧輸出向量
h3‧‧‧輸出向量
Itcn‧‧‧負溫度補償電流
Itcp‧‧‧正溫度補償電流
Itcpn‧‧‧補償電流
SL0‧‧‧源極線
SL1‧‧‧源極線
Vgs‧‧‧輸入電壓
Vgs’‧‧‧輸出電壓
Vgsint‧‧‧輸出電壓
Vgs_tc‧‧‧輸出電壓
Vtc‧‧‧溫度補償偏壓
WL0‧‧‧電壓輸入(字元線)
WL1‧‧‧電壓輸入(字元線)
WL2‧‧‧電壓輸入(字元線)
WL3‧‧‧電壓輸入(字元線)
WLA0‧‧‧字元線
WLA1‧‧‧字元線
WLA2‧‧‧字元線
WLA3‧‧‧字元線
WLB0‧‧‧字元線
WLB1‧‧‧字元線
WLB2‧‧‧字元線
WLB3‧‧‧字元線
x0‧‧‧輸入向量
x1‧‧‧輸入向量
x2‧‧‧輸入向量
x3‧‧‧輸入向量
圖1係說明習知技藝的人工神經網路之示圖。
圖2係傳統的2-閘極非揮發性記憶體單元的剖面側視圖。
圖3係傳統的4-閘極非揮發性記憶體單元的剖面側視圖。
圖4係傳統的3-閘極非揮發性記憶體單元的剖面側視圖。
圖5係另一個傳統的2-閘極非揮發性記憶體單元的剖面側視圖。
圖6係說明利用非揮發性記憶體陣列之示例性人工神經網路的不同層級之示圖。
圖7係說明向量矩陣乘法的方塊圖。
圖8係說明向量矩陣乘法的各種層級之方塊圖。
圖9描繪向量矩陣乘法的另一個具體例。
圖10描繪向量矩陣乘法的另一個具體例。
圖11描繪向量矩陣乘法的另一個具體例。
圖12描繪向量矩陣乘法的另一個具體例。
圖13描繪向量矩陣乘法的另一個具體例。
圖14描繪習知技藝的長短期記憶體系統。
圖15描繪習知技藝的長短期記憶體系統中之一個示例性單元。
圖16描繪圖15的長短期記憶體系統中之示例性單元 的實施。
圖17描繪圖15的長短期記憶體系統中之示例性單元的另一個實施。
圖18描繪習知技藝的閘控遞歸單元系統(gated recurrent unit system)。
圖19描繪習知技藝的閘控遞歸單元系統中之一個示例性單元。
圖20描繪圖19的閘控遞歸單元系統中之示例性單元的實施。
圖21描繪圖19的閘控遞歸單元系統中之示例性單元的另一個實施。
圖22描繪一個曲線圖，其顯示裝置之電流-電壓特性曲線如何隨著裝置之操作溫度變化而變化之實例。
圖23描繪一種曲線圖，其顯示用於調整裝置之電流-電壓特性曲線的斜率之溫度補償的實例。
圖24A、24B及24C描繪離散溫度補償系統的一個具體例。
圖25描繪離散溫度補償系統的一個具體例。
圖26A及26B描繪使用一個或多個可調整電流源之溫度補償的一個實例。
圖27A及27B描繪施加偏壓至快閃記憶體裝置的控制閘極之連續溫度補償系統的另一個具體例。
圖28A及28B描繪施加偏壓至快閃記憶體裝置的抹除閘極之連續溫度補償系統的另一個具體例。
圖29A及29B描繪施加偏壓至快閃記憶體裝置的源極線端子之連續溫度補償系統的一個具體例。
圖30描繪某種組態的電晶體。
圖31描繪某種組態的記憶體單元。
圖32描繪某種組態的記憶體單元。
圖33描繪一種系統，其可補償系統中之兩個裝置(例如，參考記憶體單元與被選記憶體單元)的電流-電壓特性曲線之斜率差異。
圖34描繪斜率補償系統的一個具體例。
圖35描繪斜率補償系統的另一個具體例。
圖36描繪施加偏壓至快閃記憶體裝置的控制閘極之洩漏減少系統的一個具體例。
圖37描繪適用於在線性區域中操作之記憶體單元的陣列架構。
圖38描繪在查找表中所儲存之用於補償斜率差異的資料。
本發明的人工神經網路利用CMOS技術與非揮發性記憶體陣列的組合。
非揮發性記憶體單元
數位非揮發性記憶體係眾所周知的。例如，美國專利第5,029,130號(「'130專利」)揭露一種分離式閘極非揮發性記憶體單元(快閃記憶體單元)陣列，並且在此以提及方式將其併入本文。這樣的記憶體單元210顯示在圖2中。每個記憶體單元210包括在 半導體基板12中形成之源極區域14及汲極區域16，並且在其間具有通道區域18。浮動閘極20形成在通道區域18的第一部分上方且與其絕緣(並控制其導電性)，並且形成在源極區域14的一部分上方。字元線端子22(通常耦接至字元線)具有第一部分及第二部分，其中第一部分設置在通道區域18的第二部分上方且與其絕緣(並控制其導電性)，而第二部分向上延伸且在浮動閘極20上方。浮動閘極20及字元線端子22藉由閘極氧化物與基板12絕緣。位元線24耦接至汲極區域16。
藉由在字元線端子22上施加高正電壓來抹除記憶體單元210(其中從浮動閘極移除電子)，這導致浮動閘極20上的電子藉由富爾-諾罕穿隧(Fowler-Nordheim tunneling)從浮動閘極20隧穿中間絕緣體至字元線端子22。
藉由在字元線端子22上施加正電壓及在源極14上施加正電壓來程式化記憶體單元210(其中在浮動閘極上放置電子)。電子流將從源極14流向汲極16。當電子到達字元線端子22與浮動閘極20之間的間隙時，電子將加速並變熱。由於來自浮動閘極20的靜電吸引力，一些加熱的電子將通過閘極氧化物被引入至浮動閘極20上。
藉由在汲極區域16及字元線端子22上施加正讀取電壓(這會導通在字元線端子下方之通道區域18部分)來讀取記憶體單元210。如果浮動閘極20帶正電(亦即，被抹除電子)，則浮動閘極20下方之通道區域18的部分亦導通，並且電流將流過通道區域18，因而被感測為抹除狀態或狀態「1」。如果浮動閘極20帶負電(亦即，用電子來程式化)，則浮動閘極20下方之通道區域的部分大部 分或完全截止，並且電流不會流過(或者幾乎不流過)通道區域18，因而被感測為程式化狀態或狀態「0」。
表1描繪可以施加至記憶體單元210的端子以執行讀取、抹除及程式化操作的典型電壓範圍：
Figure 108129667-A0101-12-0008-1
其它分離式閘極記憶體單元組態係其它種類的快閃記憶體單元且係已知的。例如，圖3描繪4-閘極記憶體單元310，其包括源極區域14、汲極區域16、在通道區域18的第一部分上方之浮動閘極20、在通道區域18的第二部分上方之選擇閘極22(通常耦接至字元線WL)、在浮動閘極20上方之控制閘極28以及在源極區域14上方之抹除閘極30。這種組態被描述在美國專利第6,747,310號中，為了各種目的以提及方式將其併入本文。這裡，除浮動閘極20外，所有其它閘極皆是非浮動閘極，這意味著它們電連接或可連接至電壓源。藉由將加熱的電子從通道區域18引入至浮動閘極20上來執行程式化。藉由電子從浮動閘極20隧穿至抹除閘極30來執行抹除。
表2描繪可以施加至記憶體單元310的端子以執行讀取、抹除及程式化操作的典型電壓範圍：
表2：圖3的快閃記憶體單元310之操作
Figure 108129667-A0101-12-0009-2
圖4描繪3-閘極記憶體單元410，其為另一種快閃記憶體單元。除記憶體單元410不具有單獨的控制閘極外，記憶體單元410與圖3的記憶體單元310相同。除沒有施加控制閘極偏壓外，抹除操作(藉由抹除閘極的使用來抹除)及讀取操作相似於圖3的操作。程式化操作亦在沒有控制閘極偏壓的情況下完成，結果，在程式化操作期間必須在源極線上施加較高電壓，以補償控制閘極偏壓的缺少。
表3描繪可以施加至記憶體單元410的端子以執行讀取、抹除及程式化操作的典型電壓範圍：
Figure 108129667-A0101-12-0009-3
圖5描繪堆疊式閘極記憶體單元510，其為另一種快閃記憶體單元。除浮動閘極20在整個通道區域18上方延伸及控制閘極22(在此將耦接至字元線)在浮動閘極20上方延伸且以絕緣層(未顯示)隔開外，記憶體單元510相似於圖2的記憶體單元210。抹除、程式化及讀取操作以與先前針對記憶體單元210所描述之方式相似的方式來進行。
表4描繪可以施加至記憶體單元510的端子以執行讀取、抹除及程式化操作的典型電壓範圍：
Figure 108129667-A0101-12-0010-5
為了在人工神經網路中利用包括上述類型的非揮發性記憶體單元中之一的記憶體陣列，實施兩種修改。第一，如下面進一步說明，線路配置成使得每個記憶體單元可以個別地被程式化、抹除及讀取，而不會不利地影響陣列中之其它記憶體單元的記憶狀態。第二，提供記憶體單元的連續(類比)程式化。
具體地，陣列中之每個記憶體單元的記憶狀態(亦即，浮動閘極上的電荷)可以獨立地且以對其它記憶體單元的最小干擾從完全抹除狀態連續地變成完全程式化狀態。在另一個具體例中，陣列中之每個記憶體單元的記憶狀態(亦即，浮動閘極上的電荷)可以獨立地且以對其它記憶體單元的最小干擾從完全程式化狀態連續地變成完全抹除狀態，反之亦然。這意味著單元儲存係類比的，或者至少可以儲存許多離散值(例如，16或64個不同值)中之一個，這允許對記憶體陣列中之所有單元進行非常精確且個別調整，並且這使記憶體陣列非常適合儲存神經網路的突觸權重及對其進行微調。
使用非揮發性記憶體單元陣列的神經網路
圖6概念性地說明利用本具體例的非揮發性記憶體 陣列之神經網路的非限制性實例。此實例將非揮發性記憶體陣列神經網路用於臉部辨識應用，但是可以使用以非揮發性記憶體陣列為基礎的神經網路來實施任何其它適當的應用。
S0係輸入層，對於這個實例，其為具有5位元精度的32×32像素RGB影像(亦即，三個32×32像素陣列，一個陣列用於各自的顏色R、G及B，每個像素為5位元精度)。從輸入層S0至層C1的突觸CB1在某些情況下應用不同組的權重，而在其它情況下應用共享權重，並且用3×3像素重疊濾波器(核心)掃描輸入影像，將濾波器移位1個像素(或者根據模型所規定，多於1個像素)。具體地，提供用於影像的一個3×3部分中之9個像素的數值(亦即，稱為一個濾波器或核心)給突觸CB1，在那裡將這9個輸入值乘以適當的權重，並且在計算乘法輸出的總和之後，由CB1的第一突觸確定及提供單一輸出值，以便產生數層特徵圖(feature map)C1中之一層的一個像素。然後，在輸入層S0內將3×3濾波器向右移動一個像素(亦即，添加在右側之三個像素的行及丟棄在左側之三個像素的行)，藉以將這個新定位的濾波器中之9個像素值提供給突觸CB1，在那裡將它們乘以相同的權重，並且由相關的突觸確定第二單一輸出值。持續這個過程，直到3×3濾波器針對所有三種顏色及所有位元(精度值)掃描輸入層S0的整個32×32像素影像為止。然後，使用不同組的權重重複這個過程，以產生C1的一個不同特徵圖，直到已經計算層C1的所有特徵圖為止。
在層C1處，在本實例中，具有16個特徵圖，每個特徵圖有30×30像素。每個像素是從輸入與核心相乘得到之新特徵像素，因此每個特徵圖是二維陣列，因此在這個實例中，層C1構 成16層二維陣列(記住這裡引用的層及陣列是邏輯關係，不一定是實體關係-亦即，陣列不一定以實體二維陣列來定向)。層C1中之16個特徵圖的每個特徵圖由應用於濾波器掃描之16組不同的突觸權重中之一組來產生。C1特徵圖可以全部有關於諸如邊界識別之同一個影像特徵的不同態樣。例如，第一圖(使用第一組權重所產生，第一組權重對用於產生此第一圖的所有掃描係共享的)可以識別圓形邊緣，第二圖(使用與第一組權重不同的第二組權重所產生)可以識別矩形邊緣或某些特徵的縱橫比等等。
在從層C1到層S1之前應用激勵函數P1(池化(pooling))，其對來自每個特徵圖中之連續的非重疊2×2區域的數值進行池化。池化函數的目的是算出附近位置的平均值(或者亦可以使用最大值函數)，以減少例如邊緣位置的依賴性及在進入下一階段之前減小資料大小。在層S1處，具有16個15×15特徵圖(亦即，16個不同陣列，每個陣列有15×15像素)。從層S1到層C2的突觸CB2用4×4濾波器掃描S1中之圖，並且有一個像素的濾波器移位。在層C2處，具有22個12×12特徵圖。在從層C2到層S2之前應用激勵函數P2(池化)，其對來自每個特徵圖中之連續非重疊2×2區域的數值進行池化。在層S2處，具有22個6×6特徵圖。在從層S2到層C3的突觸CB3處應用激勵函數(池化)，其中層C3中之每個神經元經由CB3的個別突觸連接至層S2中之每個圖。在層C3處，具有64個神經元。從層C3到輸出層S3的突觸CB4將C3完全連接至S3，亦即，層C3中之每個神經元連接至層S3中之每個神經元。S3處的輸出包括10個神經元，其中最高輸出神經元確定類別。此輸出可能例如表示原始影像的內容之識別或分類。
使用一個陣列的非揮發性記憶體單元或一個陣列的非揮發性記憶體單元之一部分來實施每個層的突觸。
圖7係可用於那個目的之陣列的方塊圖。向量矩陣乘法(VMM)陣列32包括非揮發性記憶體單元，並用作一層與下一層之間的突觸(例如，圖6中之CB1、CB2、CB3及CB4)。具體地，VMM陣列32包括非揮發性記憶體單元陣列33、抹除閘極及字元線閘極解碼器34、控制閘極解碼器35、位元線解碼器36以及源極線解碼器37，它們對非揮發性記憶體單元陣列33的個別輸入進行解碼。對VMM陣列32的輸入可以來自抹除閘極及字元線閘極解碼器34或來自控制閘極解碼器35。此實例中之源極線解碼器37亦對非揮發性記憶體單元陣列33的輸出進行解碼。或者，位元線解碼器36可以對非揮發性記憶體單元陣列33的輸出進行解碼。
非揮發性記憶體單元陣列33提供兩個用途。第一，它儲存將由VMM陣列32使用的權重。第二，非揮發性記憶體單元陣列33有效地將輸入乘以非揮發性記憶體單元陣列33中所儲存的權重，並且根據輸出線(源極線或位元線)將它們加起來，以產生輸出，所述輸出將是下一層的輸入或最後一層的輸入。藉由執行乘法及加法函數，非揮發性記憶體單元陣列33不需要個別的乘法及加法邏輯電路，並且因原位記憶體計算而亦具功率效率。
非揮發性記憶體單元陣列33的輸出被供應至差分加法器(例如，求和運算放大器或求和電流鏡)38，其計算非揮發性記憶體單元陣列33的輸出之總和，以產生用於卷積的單一數值。差分加法器38配置成執行正權重與負權重的總和。
然後，將差分加法器38之加總的輸出值供應至激勵 函數電路39，其對輸出進行整流。激勵函數電路39可以提供sigmoid、tanh或ReLU函數。激勵函數電路39之經整流的輸出值變成作為下一層(例如，圖6中之C1)之特徵圖的元素，然後應用於下一個突觸，以產生下一個特徵圖層或最後一層。因此，在此實例中，非揮發性記憶體陣列33構成複數個突觸(其從先前的神經元層或從諸如影像資料庫的輸入層接收它們的輸入)，並且求和運算放大器38及激勵函數電路39構成複數個神經元。
圖7中至VMM陣列32的輸入(WLx、EGx、CGx以及任選的BLx及SLx)可以是類比位準、二進制位準或數位位元(在這種情況下，提供DAC，以將數位位元轉換為適當的輸入類比位準)，並且輸出可以是類比位準、二進制位準或數位位元(在這種情況下，提供輸出ADC，以將輸出類比位準轉換為數位位元)。
圖8係描繪許多層的VMM陣列32之使用的方塊圖，這裡標記為VMM陣列32a、32b、32c、32d及32e。如圖8所示，藉由數位至類比轉換器31將輸入(表示為Inputx)從數位轉換成類比，並提供至輸入VMM陣列32a。經轉換的類比輸入可以是電壓或電流。用於第一層的輸入D/A轉換可以藉由使用函數或LUT(查找表)來完成，其中LUT(查找表)將輸入Inputx映射至用於輸入VMM陣列32a的矩陣乘數之適當類比位準。輸入轉換亦可以藉由類比至類比(A/A)轉換器來完成，以將外部類比輸入轉換成輸入VMM陣列32a的映射類比輸入。
由輸入VMM 32a產生的輸出作為輸入提供給下一個VMM陣列(隱藏層級1)32b，其轉而產生作為輸入提供給下一個VMM陣列(隱藏層級2)32c的輸出等等。各種層的VMM陣列32 充當卷積神經網路(CNN)之不同層的突觸及神經元。每個VMM陣列32a、32b、32c、32d及32e可以是獨立的實體非揮發性記憶體陣列，或者多個VMM陣列可以利用同一個實體非揮發性記憶體陣列的不同部分，或者多個VMM陣列可以利用同一個實體非揮發性記憶體陣列的重疊部分。圖8所示的實例包含五層(32a、32b、32c、32d、32e)：一個輸入層(32a)、兩個隱藏層(32b、32c)及兩個完全連接層(32d、32e)。所屬技術領域之具通常技藝人士將理解，這僅僅是示例性的，並且系統反而可以包括多於兩個隱藏層及多於兩個完全連接層。
向量矩陣乘法(VMM)陣列
圖9描繪神經元VMM陣列900，其特別適用於圖3中所示之記憶體單元310，並且用作輸入層與下一層之間的突觸及神經元的部件。VMM陣列900包括非揮發性記憶體單元的記憶體陣列901及非揮發性參考記憶體單元的參考陣列902(在所述陣列的上方)。或者，可以在下方放置另一個參考陣列。
在VMM陣列900中，諸如控制閘極線903的控制閘極線在垂直方向上延伸(因此，在列方向上的參考陣列902與控制閘極線903正交)，並且諸如抹除閘極線904的抹除閘極線在水平方向延伸。這裡，在控制閘極線(CG0、CG1、CG2、CG3)上提供對VMM陣列900的輸入，而VMM陣列900的輸出出現在源極線(SL0、SL1)上。在一個具體例中，僅使用偶數列，而在另一個具體例中，僅使用奇數列。在每條源極線(SL0、SL1)上之電流執行來自連接至那條特定源極線之記憶體單元的所有電流之求和函數。
如本文針對神經網路所述，VMM陣列900的非揮發 性記憶體單元(亦即，VMM陣列900的快閃記憶體)較佳地配置成在次臨界區域中操作。
在弱倒轉中施加偏壓於本文所述之非揮發性參考記憶體單元及非揮發性記憶體單元：
Ids=Io*e(Vg-Vth)/kVt=w*Io*e(Vg)/kVt
其中w=e(-Vth)/kVt
對於使用記憶體單元(例如，參考記憶體單元或周邊記憶體單元)或電晶體將輸入電流轉換成輸入電壓之I至V對數轉換器：
Vg=k*Vt*log[Ids/wp*Io]在此，wp係參考或周邊記憶體單元的w。
對於用作向量矩陣乘法VMM陣列的記憶體陣列，輸出電流為：
Iout=wa*Io*e(Vg)/kVt，亦即
Iout=(wa/wp)*Iin=W*Iin
W=e(Vthp-Vtha)/kVt在此，wa=記憶體陣列中之每個記憶體單元的w。
字元線或控制閘極可用以作為用於輸入電壓之記憶體單元的輸入。
或者，本文所述之VMM陣列的快閃記憶體單元可以配置成在線性區域中操作：
Ids=beta*(Vgs-Vth)*Vds；beta=u*Cox*W/L
W=α(Vgs-Vth)
字元線或控制閘極或位元線或源極線可用以作為用 於輸入電壓之在線性區域中操作的記憶體單元之輸入。
對於I至V線性轉換器，在線性區域中操作的記憶體單元(例如，參考記憶體單元或周邊記憶體單元)或電晶體可以用於將輸入/輸出電流線性地轉換成輸入/輸出電壓。
在美國專利申請案第15/826,345號中描述圖7的VMM陣列32之其它具體例，在此以提及方式將其併入本文。如上面申請案所述，源極線或位元線可用以作為神經元輸出(電流總和輸出)。
圖10描繪神經元VMM陣列1000，其特別適用於圖2所示之記憶體單元210，並且用作輸入層與下一層之間的突觸。VMM陣列1000包括非揮發性記憶體單元的記憶體陣列1003、第一非揮發性參考記憶體單元的參考陣列1001及第二非揮發性參考記憶體單元的參考陣列1002。配置在陣列的行方向上之參考陣列1001及1002用於將流入端子BLR0、BLR1、BLR2及BLR3的電流輸入轉換成電壓輸入WL0、WL1、WL2及WL3。實際上，第一及第二非揮發性參考記憶體單元係以二極體形式經由多工器1014(僅部分被描繪)與流入它們的電流輸入連接。將參考單元調整(例如，程式化)至目標參考位準。目標參考位準由參考微型陣列矩陣(未顯示)來提供。
記憶體陣列1003提供兩個用途。第一，它在其個別記憶體單元上儲存將被VMM陣列1000使用的權重。第二，記憶體陣列1003有效地將輸入(亦即，被提供至端子BLR0、BLR1、BLR2及BLR3的電流輸入；參考陣列1001及1002將這些電流輸入轉換成輸入電壓，以供應至字元線WL0、WL1、WL2及WL3)乘以記憶 體陣列1003中所儲存之權重，然後將所有結果(記憶體單元電流)相加，以在個別位元線(BL0-BLN)上產生輸出，所述輸出將是下一層的輸入或最後一層的輸入。藉由執行乘法及加法函數，記憶體陣列1003不需要個別的乘法及加法邏輯電路，並且還具有功率效率。這裡，電壓輸入被提供在字元線WL0、WL1、WL2及WL3上，並且輸出在讀取(推理)操作期間出現在各個位元線BL0-BLN上。在位元線BL0-BLN的每條位元線上之電流執行來自連接至那條特定位元線之所有非揮發性記憶體單元的電流之求和函數。
表5描繪VMM陣列1000的操作電壓。表中之行表示在被選單元的字元線、未被選單元的字元線、被選單元的位元線、未被選單元的位元線、被選單元的源極線及未被選單元的源極線上之電壓。列表示讀取、抹除及程式化的操作。
Figure 108129667-A0101-12-0018-6
圖11描繪神經元VMM陣列1100，其特別適用於圖2所示之記憶體單元210，並且用作輸入層與下一層之間的突觸及神經元的部件。VMM陣列1100包括非揮發性記憶體單元的記憶體陣列1103、第一非揮發性參考記憶體單元的參考陣列1101及第二非揮發性參考記憶體單元的參考陣列1102。參考陣列1101及 1102在VMM陣列1100的列方向上延伸。除在VMM陣列1100中，字元線在垂直方向上延伸外，VMM陣列與VMM 1000相似。這裡，在字元線(WLA0、WLB0、WLA1、WLB1、WLA2、WLB2、WLA3、WLB3)上提供輸入，並且在讀取操作期間輸出出現在源極線(SL0，SL1)上。在每條源極線上之電流執行來自連接至那條特定源極線之記憶體單元的所有電流之求和函數。
表6描繪VMM陣列1100的操作電壓。表中之行表示在被選單元的字元線、未被選單元的字元線、被選單元的位元線、未被選單元的位元線、被選單元的源極線及未被選單元的源極線上之電壓。列表示讀取、抹除及程式化的操作。
Figure 108129667-A0101-12-0019-7
圖12描繪神經元VMM陣列1200，其特別適用於圖3所示之記憶體單元310，並且用作輸入層與下一層之間的突觸及神經元的部件。VMM陣列1200包括非揮發性記憶體單元的記憶體陣列1203、第一非揮發性參考記憶體單元的參考陣列1201及第二非揮發性參考記憶體單元的參考陣列1202。參考陣列1201及1202用於將流入端子BLR0、BLR1、BLR2及BLR3的電流輸入轉換成電壓輸入CG0、CG1、CG2及CG3。實際上，第一及第二非揮發性參考記憶體單元係以二極體形式經由多工器1212(僅部分被顯示)與經由BLR0、BLR1、BLR2及BLR3流入它們的電流輸入連接。 多工器1212各自包括個別多工器1205及疊接電晶體1204，以在讀取操作期間確保第一及第二非揮發性參考記憶體單元中之每一者的位元線(諸如BLR0)上的固定電壓。將參考單元調整至目標參考位準。
記憶體陣列1203提供兩個用途。第一，它儲存將被VMM陣列1200使用的權重。第二，記憶體陣列1203有效地將輸入(被提供至端子BLR0、BLR1、BLR2及BLR3的電流輸入；參考陣列1201及1202將這些電流輸入轉換成輸入電壓，以供應至控制閘極(CG0、CG1、CG2及CG3))乘以記憶體陣列中所儲存之權重，然後將所有結果(單元電流)相加，以產生輸出，所述輸出出現在BL0-BLN且將是下一層的輸入或最後一層的輸入。藉由執行乘法及加法函數，記憶體陣列不需要個別的乘法及加法邏輯電路，並且還具有功率效率。這裡，輸入被提供在控制閘極線(CG0、CG1、CG2及CG3)上，並且輸出在讀取操作期間出現在位元線(BL0-BLN)上。在每條位元線上之電流執行來自連接至那條特定位元線之記憶體單元的所有電流之求和函數。
VMM陣列1200針對記憶體陣列1203中之非揮發性記憶體單元實施單向調整。亦即，抹除及然後部分程式化每個非揮發性記憶體單元，直到達到浮動閘極上的期望電荷為止。例如，這可以使用下面描述之新的精確程式化技術來執行。如果使太多電荷置於浮動閘極上(使得錯誤值儲存在單元中)，則必須抹除單元並且必須重新開始部分程式化操作的順序。如圖所示，共享同一個抹除閘極(例如，EG0或EG1)的兩列需要一起被抹除(稱為頁抹除)，之後，部分程式化每個單元，直到達到浮動閘極上之期望電荷為止。
表7描繪VMM陣列1200的操作電壓。表中之行表示在被選單元的字元線、未被選單元的字元線、被選單元的位元線、未被選單元的位元線、被選單元的控制閘極、與被選單元相同的區段中之未被選單元的控制閘極、與被選單元不同的區段中之未被選單元的控制閘極、被選單元的抹除閘極、未被選單元的抹除閘極、被選單元的源極線及未被選單元的源極線上之電壓。列表示讀取、抹除及程式化的操作。
Figure 108129667-A0101-12-0021-8
圖13描繪神經元VMM陣列1300，其特別適用於圖3所示之記憶體單元310，並且用作輸入層與下一層之間的突觸及神經元的部件。VMM陣列1300包括非揮發性記憶體單元的記憶體陣列1303、第一非揮發性參考記憶體單元的參考陣列1301及第二非揮發性參考記憶體單元的參考陣列1302。EG線EGR0、EG0、EG1及EGR1垂直延伸，而CG線CG0、CG1、CG2及CG3以及SL線WL0、WL1、WL2及WL3水平延伸。除VMM陣列1300實施雙向調整外，VMM陣列1300與VMM陣列1200相似，其中每個個別單元可以完全被抹除、部分被程式化及根據需要部分被抹除，以因個別EG線的使用而在浮動閘極上達到所需的電荷量。如圖所示，參考陣列1301及1302將端子BLR0、BLR1、BLR2及BLR3 中之輸入電流轉換成要施加至列方向上的記憶體單元之控制閘極電壓CG0、CG1、CG2及CG3(藉由以二極體形式經由多工器1314連接之參考單元的作用)。電流輸出(神經元)位於位元線BL0-BLN中，其中每條位元線計算來自與那條特定位元線連接之非揮發性記憶體單元的所有電流之總和。
表8描繪VMM陣列1300的操作電壓。表中之行表示在被選單元的字元線、未被選單元的字元線、被選單元的位元線、未被選單元的位元線、被選單元的控制閘極、與被選單元相同的區段中之未被選單元的控制閘極、與被選單元不同的區段中之未被選單元的控制閘極、被選單元的抹除閘極、未被選單元的抹除閘極、被選單元的源極線及未被選單元的源極線上之電壓。列表示讀取、抹除及程式化的操作。
Figure 108129667-A0101-12-0022-11
長短期記憶體
習知技藝包括稱為長短期記憶體(LSTM)的概念。LSTM單元通常用於神經網路中。LSTM允許神經網路在預定任意時間間隔內記住資訊，並在後續操作中使用那個資訊。傳統的LSTM單元包括單元、輸入閘極、輸出閘極及忘記閘極。三個閘極控制進出單元的資訊流，以及在LSTM中記住資訊的時間間隔。VMM在 LSTM單位中係特別有用的。
圖14描繪示例性LSTM 1400。此實例中的LSTM 1400包括單元1401、1402、1403及1404。單元1401接收輸入向量x0，並產生輸出向量h0及單元狀態向量c0。單元1402接收輸入向量x1、來自單元1401的輸出向量(隱藏狀態)h0及單元狀態c0，並產生輸出向量h1及單元狀態向量c1。單元1403接收輸入向量x2、來自單元1402的輸出向量(隱藏狀態)h1及單元狀態c1，並產生輸出向量h2及單元狀態向量c2。單元1404接收輸入向量x3、來自單元1403的輸出向量(隱藏狀態)h2及單元狀態c2，並產生輸出向量h3。可以使用額外的單元，並且具有四個單元的LSTM僅是一個實例。
圖15描繪LSTM單元1500的示例性實施，其可以用於圖14中之單元1401、1402、1403及1404。LSTM單元1500接收輸入向量x(t)、來自前一個單元之單元狀態向量c(t-1)及來自前一個單元之輸出向量h(t-1)，並產生單元狀態向量c(t)及輸出向量h(t)。
LSTM單元1500包括sigmoid函數裝置1501、1502及1503，每個sigmoid函數裝置應用0與1之間的數字，以控制輸入向量中之每個分量有多少被允許直至輸出向量。LSTM單元1500亦包括用以將雙曲正切函數應用於輸入向量的tanh裝置1504及1505、用以將兩個向量相乘的乘法裝置1506、1507及1508以及用以將兩個向量相加的加法裝置1509。輸出向量h(t)可以提供給系統中的下一個LSTM單元，或者亦可以出於其它目的對其進行存取。
圖16描繪LSTM單元1600，其是LSTM單元1500的實施之一個實例。為方便讀者，在LSTM單元1600中使用與 LSTM單元1500相同的編號。sigmoid函數裝置1501、1502及1503以及tanh裝置1504各自包括多個VMM陣列1601及激勵電路區塊1602。因此，可以看出VMM陣列在某些神經網路系統中使用之LSTM單元中係特別有用的。
圖17顯示LSTM單元1600的一個替代方案(以及LSTM單元1500實施的另一個實例)。在圖17中，Sigmoid函數裝置1501、1502及1503以及tanh裝置1504以時間多工方式共享同一個實體硬體(VMM陣列1701及激勵函數區塊1702)。LSTM單元1700亦包括：乘法裝置1703，用於將兩個向量相乘；加法裝置1708，用於將兩個向量相加；tanh裝置1505(其包括激勵電路區塊1702)；暫存器1707，其在i(t)從sigmoid函數區塊1702輸出時儲存數值i(t)；暫存器1704，其在數值f(t)*c(t-1)從乘法裝置1703經由多工器1710輸出時儲存數值f(t)*c(t-1)；暫存器1705，其在數值i(t)*u(t)從乘法裝置1703經由多工器1710輸出時儲存數值i(t)*u(t)；及暫存器1706，其在數值o(t)*c~(t)從乘法裝置1703經由多工器1710輸出時儲存數值o(t)*c~(t)；以及多工器1709。
LSTM單元1600包含多組VMM陣列1601及個別的激勵函數區塊1602，而LSTM單元1700僅包含一組VMM陣列1701及激勵函數區塊1702，它們在LSTM單元1700的具體例中用於表示多層。LSTM單元1700將需要比LSTM單元1600少的空間，因為相較於LSTM單元1600，LSTM單元1700只需要1/4空間用於VMM及激勵函數區塊。
可以進一步理解，LSTM單元通常將包括多個VMM陣列，每個VMM陣列需要由VMM陣列外部的某些電路區塊(例 如，加法器及激勵電路區塊以及高電壓產生區塊)提供的功能。對每個VMM陣列提供個別的電路區塊，將在半導體裝置內需要大量的空間，並且會有些沒有效率。因此，下面所描述的具體例試圖最小化VMM陣列本身外部所需的電路。
閘控遞歸單元
可以將類比VMM實施用於GRU(閘控遞歸單元)系統。GRU係遞歸神經網路中的閘控機制。除GRU單元通常包含比LSTM單元少的組件外，GRU與LSTM相似。
圖18描繪示例性GRU 1800。此實例中之GRU 1800包括單元1801、1802、1803及1804。單元1801接收輸入向量x0，並產生輸出向量h0。單元1802接收輸入向量x1及來自單元1801的輸出向量h0，並產生輸出向量h1。單元1803接收輸入向量x2及及來自單元1802的輸出向量(隱藏狀態)h1，並產生輸出向量h2。單元1804接收輸入向量x3及來自單元1803的輸出向量(隱藏狀態)h2，並產生輸出向量h3。可以使用額外的單元，並且具有四個單元的GRU僅是一個實例。
圖19描繪GRU單元1900的示例性實施，其可以用於圖18之單元1801、1802、1803及1804。GRU單元1900接收輸入向量x(t)及來自前一個GRU單元之輸出向量h(t-1)，並產生輸出向量h(t)。GRU單元1900包括sigmoid函數裝置1901及1902，每個sigmoid函數裝置應用0與1之間的數字於來自輸出向量h(t-1)及輸入向量x(t)的分量。GRU單元1900亦包括用以將雙曲正切函數應用於輸入向量的tanh裝置1903、用以將兩個向量相乘的複數個乘法裝置1904、1905及1906、用以將兩個向量相加的加法裝置 1907以及用以從1減去輸入來產生輸出的互補裝置1908。
圖20描繪GRU單元2000，其是GRU單元1900的實施之一個實例。為方便讀者，在GRU單元2000中使用與GRU單元1900相同的編號。從圖20可以看出，sigmoid函數裝置1901及1902以及tanh裝置1903各自包括多個VMM陣列2001及激勵函數區塊2002。因此，可以看出VMM陣列特別用於某些神經網路系統中使用之GRU單元中。
圖21顯示GRU單元2000的一個替代方案(以及GRU單元1900實施的另一個實例)。在圖21中，GRU單元2100利用VMM陣列2101及激勵函數區塊2102，激勵函數區塊2102在構造成為Sigmoid函數時應用0與1之間的數字，以控制輸入向量中之每個分量有多少被允許直至輸出向量。在圖21中，Sigmoid函數裝置1901及1902以及tanh裝置1903以時間多工方式共享同一個實體硬體(VMM陣列2101及激勵函數區塊2102)。GRU單元2100亦包括：乘法裝置2103，用於將兩個向量相乘；加法裝置2105，用於將兩個向量相加；互補裝置2109，用於從1減去輸入，以產生輸出；多工器2104；暫存器2106，用於當數值h(t-1)*r(t)從乘法裝置2103經由多工器2104輸出時，保持數值h(t-1)*r(t)；暫存器2107，用於當數值h(t-1)*z(t)從乘法裝置2103經由多工器2104輸出時，保持數值h(t-1)*z(t)；以及暫存器2108，用於當數值h^(t)*(1-z(t))從乘法裝置2103經由多工器2104輸出時，保持數值h^(t)*(1-z(t))。
GRU單元2000包含多組VMM陣列2001及激勵函數區塊2002，而GRU單元2100僅包含一組VMM陣列2101及激勵函數區塊2102，它們在GRU單元2100的具體例中用於表示多層。 GRU單元2100將需要比GRU單元2000少的空間，因為相較於GRU單元2000，GRU單元2100只需要1/3空間用於VMM及激勵函數區塊。
可以進一步理解，GRU系統通常將包括多個VMM陣列，每個VMM陣列需要由VMM陣列外部的某些電路區塊(例如，加法器及激勵電路區塊以及高電壓產生區塊)提供的功能。對每個VMM陣列提供個別的電路區塊，將在半導體裝置內需要大量的空間，並且會有些沒有效率。因此，下面所描述的具體例試圖最小化VMM陣列本身外部所需的電路。
VMM陣列的輸入可以是類比位準、二進制位準或數位位元(在這種情況下，需要DAC將數位位元轉換為適當的輸入類比位準)，以及輸出可以是類比位準、二進制位準或數位位元(在這種情況下，需要輸出ADC將輸出類比位準轉換為數位位元)。
對於一個VMM陣列中之每個記憶體單元，每個權重w可以由單一記憶體單元或由一個差分單元或由兩個混合記憶體單元(平均2個單元)來實施。在差分單元的情況下，需要兩個記憶體單元來實施權重w成為差分權重(w=w+-w-)。在兩個混合記憶體單元方面，需要兩個記憶體單元來實施權重w成為兩個單元的平均值。
裝置的操作溫度及電流-電壓特性
圖22描繪一種曲線圖，其顯示示例性電晶體或記憶體單元之三個示例性電流-電壓特性曲線。可以理解，圖22所述之現象顯示快閃記憶體系統中之典型參考電晶體、參考記憶體單元及被選記憶體單元的行為。每條曲線顯示通過裝置的電流Ids如何隨 著閘極與源極之間的電壓Vgs變化而變化。每條曲線表示在特定操作溫度下裝置的電流-電壓特性。因此，對於相同Vgs值的相應Ids值似乎會隨著裝置的操作溫度變化而變化。裝置特性隨著溫度變化而改變是有問題的，因為相較於常規快閃記憶體系統，類比神經形態記憶體系統需要提高的精度及準確性。
本文所述之具體例藉由提供裝置的電流-電壓特性曲線之斜率補償(離散的或連續的)、絕對縮放(absolute scaling)(正規化)及洩漏減少來補償裝置的行為隨著裝置的操作溫度變化而變化。
圖23描繪應用於裝置的電流-電壓特性以補償溫度變化之斜率補償的實例。可以理解，同一個裝置在不同溫度下將具有不同的次臨界電流-電壓特性曲線。
更一般而言，可以理解的是，藉由引入隨著溫度函數之變化的變數a，可以根據以下公式將斜率補償應用於裝置：
Ids=Ids0*exp(a*Vgs1-Vt)/(k*Vt)，其中Vt係熱電壓。
圖24A及24B描繪離散的溫度補償。圖24A描繪為溫度的函數之a的示例性數值。可以看出，隨著溫度升高，a將以不連續步階增加。或者，例如對於在線性或飽和區域中工作的記憶體單元，等效縮放常數(equivalent scaling constant)將相對於溫度以不連續步階減小。圖24B描繪示例性溫度補償區塊2400。溫度感測器2401測量裝置的溫度。然後，將溫度感測器2401的輸出提供至控制器2402(其可以是離散邏輯或執行軟體的微控制器)，控制器2402產生控制位元2403a...2403i，其中範圍a至i表示k的示例性離散位準數量。應當理解，可以使用更大的範圍或更小的範圍。每 個控制位元2403在分配給那個控制位元的特定溫度範圍期間被確立。因此，隨著溫度升高，當達到溫度的每個離散位準時，將確立不同的控制位元2403。然後，將控制位元2403施加至開關2405(其同樣從2405a編號至2405i)。當關閉時，每個開關2405施加電流源2404(其同樣從2404a編號至2404i)至電阻器2406的一端。在此，每個電流源2404產生與在先前溫度範圍由一個開關啟動的電流源2404不同的電流量。結果，節點上的電壓Vtc隨著溫度增加而變化。Vtc係溫度補償偏壓，其可以被施加至電晶體的閘極、圖2所示之類型的記憶體單元(記憶體單元210)之字元線、圖3所示之類型的記憶體單元(記憶體單元310)之控制閘極、圖4所示之類型的記憶體單元(記憶體單元410)之源極閘極或圖5所示之類型的記憶體單元(記憶體單元510)之控制閘極。藉由以那種方式添加Vtc，將修改裝置的電壓特性曲線，因為每個閘極電壓值實質上將偏移一個量Vtc。
圖25描繪溫度補償區塊2500。溫度補償區塊2500包括運算放大器2501及2505、可調電阻器區塊2506、溫度感測器2401及控制器2502。可調電阻器區塊2506包括電阻器2507a...2507n，每個電阻器耦接至開關2508a...2508n中之一。
如同在圖24中，溫度感測器2401測量裝置的溫度。然後，將溫度感測器2401的輸出提供給控制器2502(其可以是離散邏輯或執行軟體的微控制器)，控制器2502產生控制位元2509a...2509n，其中範圍a至n表示a的示例性離散位準數量。應當理解，可以使用更大的範圍或更小的範圍。控制位元2509a...2509n中之不同控制位元根據由溫度感測器2401感測到的 溫度來確立。然後，將控制位元2509施加至開關2508(其同樣從2508a編號至2508n)。當關閉時，每個開關2508施加作為回授電阻器的個別電阻器2507(其同樣從2507a編號至2507n)至運算放大器2505。結果，運算放大器2505的輸出電壓Vgs_tc隨著溫度增加而增加。
Vgs_tc係溫度補償偏壓，其可以被施加至電晶體的閘極、圖2/3/4所示之類型的記憶體單元(記憶體單元210/310/410)之字元線、圖3/5所示之類型的記憶體單元(記憶體單元310/510)之控制閘極、圖2/3/4/5所示之類型的記憶體單元(記憶體單元210/310/410/510)之源極閘極或圖3/5所示之類型的記憶體單元(記憶體單元310/510)之控制閘極。藉由以這種方式修改Vgs_tc，將修改裝置的電壓特性曲線，因為每個Vgs值實質際上將偏移一個量Vgs_tc。
圖26A及26B描繪用於藉由添加補償電流itcpn(正溫度補償電流itcp、負溫度補償電流itcn)來調整裝置的電流-電壓特性曲線之具體例。圖26A顯示隨著每種類型的裝置之溫度變化而變化之互補裝置的三條(可能超過三條)示例性曲線。藉由注入補償電流itcpn，可以修改裝置的電流-電壓特性曲線之斜率。
圖26B顯示溫度補償區塊2600的具體例。溫度補償區塊2600包括：溫度感測器2401，其測量裝置的溫度；以及控制器2605(其可以是邏輯或執行軟體的微控制器)。控制器2605產生一個或多個控制信號2606。
溫度補償區塊2600進一步包括可調電流源2601 Itcp及2602 Itcn，它們一起產生以電流源2603表示之電流，電流源2603 提供補償電流itcpn。可調電流源2601及2602由控制信號2606來調整。控制信號2606可以隨著裝置的溫度變化來調整可調電流源2601及2602中之一者或兩者，以改變所提供之補償電流itcpn量。電流itcpn被施加至電阻器2604，從而在電流源2603與電阻器2604之間的節點處產生電壓Vtc。
Vtc係溫度補償偏壓，其可被施加至電晶體的閘極、圖2/3/4/5所示之類型的記憶體單元(記憶體單元210/310/410/510)之字元線、圖3/5所示之類型的記憶體單元(記憶體單元310/510)之控制閘極、圖2/3/4/5所示之類型的記憶體單元(記憶體單元210/310/410/510)之源極閘極或圖3/4所示之類型的記憶體單元(記憶體單元310/410)之抹除閘極。藉由以那種方式添加Vtc，將修改裝置的電壓特性曲線，因為每個Vgs值實質上將偏移一個量Vtc。
圖27A及27B描繪用於藉由在裝置的控制閘極上添加由電流itcpn產生之偏壓來調整裝置的電流-電壓特性曲線之具體例。圖27A顯示需要施加至控制閘極以執行特定操作之必要控制閘極電壓Vcg隨著裝置的操作溫度增加而改變之三個示例性曲線。
圖27B顯示溫度補償區塊2700的具體例。溫度補償區塊2700包括溫度感測器2401，其測量裝置的溫度；以及控制器2705(其可以是邏輯或執行軟體的微控制器)。控制器2705產生一個或多個控制信號2706。
溫度補償區塊2700進一步包括可調電流源2701，其產生補償電流itcpn；以及可調電阻器2702。可調電流源2701及可調電阻器2702由控制信號2706來調整。在可調電流源2701與可調電阻器2702之間的節點處產生電壓Vtc。
Vtc係溫度補償偏壓，其可以被施加至圖3所示之類型的記憶體單元(記憶體單元310)之控制閘極或圖5所示之類型的記憶體單元(記憶體單元510)之控制閘極。藉由以那種方式添加Vtc，將修改裝置的電壓特性曲線，因為每個Vgs值實質上將偏移一個量Vtc。
圖28A及28B描繪用於藉由在裝置的抹除閘極上添加由電流itcpn產生之偏壓來調整裝置的電流-電壓特性曲線之具體例。圖28A顯示需要被施加至抹除閘極以執行特定操作之必要抹除閘極電壓Veg隨著裝置的操作溫度增加而改變之三個示例性曲線。
圖28B顯示許多的特性曲線，其中每條曲線顯示每個Veg值執行陣列讀取(向量矩陣乘法)操作所需之Veg，並且每條曲線表示裝置在特定溫度或溫度範圍內之特性。
圖28C顯示溫度補償區塊2800的具體例。溫度補償區塊2800包括溫度感測器2401，其測量裝置的溫度；以及控制器2805(其可以是邏輯或執行軟體的微控制器)。控制器2805產生一個或多個控制信號2806。
溫度補償區塊2800包括可調電流源2801，其產生補償電流itcpn；以及可調電阻器2802。可調電流源2801及可調電阻器2802由控制信號2806隨著裝置的溫度變化來調整。在電流源2801與電阻器2802之間的節點處產生電壓Vtc。
Vtc係溫度補償偏壓，其可以被施加至圖3所示之類型的記憶體單元(記憶體單元310)之抹除閘極或圖4所示之類型的記憶體單元(記憶體單元410)之抹除閘極。藉由以那種方式添加Vtc，將修改裝置的電壓特性曲線，因為每個Vgs值實質上將偏移 一個量Vtc。
圖29A及29B描繪用於藉由在裝置的源極線端子上添加由電流itcpn產生之偏壓來調整裝置的電流-電壓特性曲線之具體例。圖29A顯示執行特定操作所需之必要源極線端子電壓隨著溫度增加而改變之三個示例性曲線。
圖29B顯示溫度補償區塊2900的具體例。溫度補償區塊2900包括溫度感測器2401，其測量裝置的溫度；以及控制器2905(其可以是邏輯或執行軟體的微控制器)。控制器2905產生一個或多個控制信號2906。
溫度補償區塊2900更包括可調電流源2901，其產生補償電流itcpn；以及可調電阻器2902。可調電流源2901及可調電阻器2902可以由控制信號2906隨著裝置的溫度變化來調整，以改變被施加至裝置的控制閘極之負偏壓量。在電流源2901與電阻器2902之間的節點處產生電壓Vtc。
Vtc係溫度補償偏壓，其可以被施加至圖2所示之類型的記憶體單元(記憶體單元210)之源極線端子、圖3所示之類型的記憶體單元(記憶體單元310)之源極線端子、圖4所示之類型的記憶體單元(記憶體單元410)之源極線端子或圖4所示之類型的記憶體單元(記憶體單元410)之抹除閘極或圖5所示之類型的記憶體單元(記憶體單元510)之源極線端子。藉由以那種方式添加Vtc，將修改裝置的電壓特性曲線，因為每個Vgs值實質上將偏移一個量Vtc。
可以進一步理解，對於不同組態的不同裝置及相似裝置，電流-電壓特性曲線將存在差異。
圖30描繪具有某種組態的示例性參考電晶體3000。
圖31描繪具有另一種組態(字元線耦接至位元線)的示例性參考記憶體單元3100。
圖32描繪具有另一種組態(浮動閘極FG耦接至位元線)的另一個示例性參考記憶體單元3200。可以理解，這些裝置中之每一者可能具有不同的電流-電壓特性曲線。
本文所述之具體例補償參考電晶體、參考記憶體單元/或被選記憶體單元的電流-電壓特性曲線之斜率的差異。
在具有兩個有不同次臨界電流-電壓特性曲線之裝置的系統中，通過第一裝置的汲極-源極電流為：
Ids1=Ids0*exp(Vgs1-Vt)/k1*Ut
通過第二個裝置的汲極-源極電流為：
Ids2=Ids0*exp(Vgs2-Vt)/k2*Ut
可以看出，在每種情況下，斜率將與~1/k成比例關係。
在隨後的一些具體例中，藉由使用下式在第一裝置上的閘極-源極電壓來實施斜率正規化：
Vgs1=a*Vgs2這意味著在斜率正規化之後，Ids1及Ids將具有相同的斜率。
如圖33所示，施加Vgs1=a*Vgs2的電壓至裝置1，這導致第一裝置的電流-電壓特性曲線之斜率近似於第二裝置的電流-電壓特性曲線之斜率。
現在將描述用於在不同裝置之間執行斜率正規化的具體例。
圖34描繪斜率正規化系統3400，其包括參考電晶體3401、被選記憶體單元3402、閘極驅動器3403及絕對正規化電路3404。閘極驅動器3403接收輸入電壓Vgs，並且將那個輸入電壓乘以a，以產生輸出電壓Vgsint，輸出電壓Vgsint被施加至參考電晶體3401的閘極。絕對正規化電路3404可以是可調式電流鏡(用於調整來自參考電晶體3401的電流與來自記憶體單元3402的輸出電流間之比率的電流鏡電路)，其中調整過程可以調整參考電晶體或陣列電晶體或I-V斜率失配所引起的不一致。被選記憶體單元3402係是記憶體單元陣列的記憶體單元中之一。
圖35描繪斜率正規化系統3500，其包括參考電晶體3501、被選記憶體單元3502及驅動器3503。驅動器3503接收電壓Vgs並將其乘以a，從而產生Vgs’的輸出電壓。因此，參考電晶體3501及被選記憶體單元3502將接收不同的電壓，其中這種差異導致斜率的差異。
圖38描繪利用查找表3801來補償由於操作溫度的變化所造成之裝置的電流-電壓特性曲線3800之變化的具體例。這些裝置可以包括電晶體、參考記憶體單元及被選記憶體單元。在此具體例中，曲線3800的資料被儲存在查找表3801中，並且在操作期間，從查找表3801而不是藉由數學公式來確定k。在各種操作溫度下，查找表3801對於每個輸入電壓可以包含不同的期望輸出電流。此資料可以在製造或測試過程期間填充在查找表3801中。
所述具體例亦可以提供洩漏減少。具體地，可以藉由施加負電壓至控制閘極端子(例如，-0.1V至-0.4V之間的電壓)，施加負電壓至字元線端子(例如，-0.1V至-0.4V之間的電壓)，施加負 電壓至抹除閘極端子(例如，-0.1V至-0.4V之間的電壓)，在較高溫度下在位元線上施加降低的電壓，在較高溫度下在塊體端子(基板)上施加降低的電壓或者藉由在源極線端子上施加偏壓來減少電晶體或記憶體單元的洩漏。
圖36提供經由施加電壓至裝置的控制閘極端子來減少漏電流的實例。在此具體例中，選擇控制閘極偏壓，使得I-lk=n*I-min/列數。如果一個實例是一個陣列包含256列×512行，則情況會是256*I-lkg<I-min。例如，I-min可能約為500pA，而I-lkg可能約為2pA。這表示控制閘極偏壓會約大於2V。
在用於溫度補償的另一個具體例中，施加反向的基板電壓(例如，負電壓)或偏移源極線電壓，以藉由增加浮動閘極臨界電壓VtFG來擴展次臨界操作電壓範圍。
圖37顯示適用於在線性區域中操作之記憶體單元的陣列架構。系統3700包括輸入區塊3701、輸出區塊3702及記憶體單元陣列3703。輸入區塊3701耦接至陣列3703中之記憶體單元的汲極(源極線)，而輸出區塊3702耦接至陣列3703中之記憶體單元的位元線。或者，輸入區塊3701耦接至陣列3703中之記憶體單元的字元線，而輸出區塊3702耦接至陣列3703中之記憶體單元的位元線。
在使用系統3700來實施LSTM或GRU的情況下，輸出區塊3702/或輸入區塊3701可以根據需要包括用於LSTM/GRU架構之乘法區塊、加法區塊、減法(輸出=1-輸入)區塊，並且任選地，可以根據需要包括類比取樣保持電路或數位取樣保持電路(例如，暫存器或SRAM)。
應當注意，如本文所使用，術語「在...上方」及「在...上」均包含性地包括「直接在...上」(沒有中間材料、元件或空間設置在其間)及「間接在...上」(中間材料、元件或空間設置在其間)。同樣地，術語「相鄰」包括「直接相鄰」(沒有中間材料、元件或空間設置在其間)及「間接相鄰」(中間材料、元件或空間設置在其間)，「安裝至」包括「直接安裝至」(沒有中間材料、元件或空間設置在其間)及「間接安裝至」(中間材料、元件或空間設置在其間)，以及「電耦接至」包括「直接電耦接至」(沒有中間材料或元件在其間將元件電連接在一起)及「間接電耦接至」(中間材料或元件在其間將元件電連接在一起)。例如，在「在基板上」形成元件可以包括在基板上直接形成元件而其間沒有中間材料/元件，以及在基板上間接形成元件而在其間具有一個或多個中間材料/元件。

Claims (50)

  1. 一種類比神經形態記憶體系統，包括：
    複數個向量矩陣乘法陣列，每個向量矩陣乘法陣列包括一記憶體單元陣列；以及
    一溫度補償區塊，用於隨著該記憶體單元陣列中之一記憶體單元的操作溫度變化而以連續方式修改該記憶體單元的電流-電壓特性曲線之斜率，該溫度補償區塊包括：
    一溫度感測器，用於產生表示一操作溫度的一輸出；
    一控制器，用於產生一個或多個控制信號，以回應該溫度感測器的該輸出；
    一個或多個可調裝置，用於產生一溫度補償電壓，以回應該一個或多個控制信號。
  2. 如請求項1之系統，其中，在一向量矩陣乘法系統中之一權重由該記憶體單元來實現。
  3. 如請求項1之系統，其中，在一向量矩陣乘法系統中之一權重由一差分單元來實現。
  4. 如請求項1之系統，其中，在一向量矩陣乘法系統中之一權重由一對混合記憶體單元來實現。
  5. 如請求項1之系統，其中，該記憶體單元陣列中之每個記憶體單元係一快閃記憶體單元，並且該一個或多個可調裝置包括一個或多個可調電流源，該一個或多個可調電流源中之每一者由該一個或多個控制信號中之一來調整且耦接至一電阻器，以及其中該溫度補償電壓在該一個或多個可調電流源與該電阻器之間的節點處產生，並且被施加至該快閃記憶體單元，以修改該快閃記憶體單元的 電流-電壓特性曲線之斜率。
  6. 如請求項5之系統，其中，該溫度補償電壓被施加至該快閃記憶體單元的一控制閘極端子。
  7. 如請求項5之系統，其中，該溫度補償電壓被施加至該快閃記憶體單元的一抹除閘極端子。
  8. 如請求項5之系統，其中，該溫度補償電壓被施加至該快閃記憶體單元的一源極線端子。
  9. 如請求項5之系統，其中，該溫度補償電壓被施加至該快閃記憶體單元的一位元線端子。
  10. 如請求項5之系統，其中，該快閃記憶體單元係一分離式閘極快閃記憶體單元。
  11. 如請求項5之系統，其中，該快閃記憶體單元係一堆疊式閘極快閃記憶體單元。
  12. 如請求項1之系統，進一步包括：
    一洩漏減少區塊，用於隨著該記憶體單元陣列中之一記憶體單元的操作溫度變化而修改被施加至該記憶體單元的一端子之一偏壓，以減少洩漏。
  13. 一種類比神經形態記憶體系統，包括：
    複數個向量矩陣乘法系統，每個向量矩陣乘法系統包括一記憶體單元陣列；以及
    一溫度補償區塊，用於隨著該記憶體單元陣列中之一記憶體單元的操作溫度之位準變化而以不連續方式修改該記憶體單元的電流-電壓特性曲線。
  14. 如請求項13之系統，其中，在一向量矩陣乘法系統中之一權 重由該記憶體單元來實現。
  15. 如請求項13之系統，其中，在一向量矩陣乘法系統中之一權重由一差分單元來實現。
  16. 如請求項13之系統，其中，在一向量矩陣乘法系統中之一權重由混合記憶體單元來實現。
  17. 如請求項13之系統，其中，該記憶體單元陣列中之每個記憶體單元係一快閃記憶體單元，以及其中該溫度補償區塊包括：
    一溫度感測器，用於產生表示一操作溫度的一輸出；
    一控制器，用於產生一個或多個控制位元，以回應該溫度感測器的該輸出；以及
    複數個電流源，每個電流源經由一開關選擇性地耦接至一電阻器，每個開關由該等控制位元中之一控制，
    其中將在該電阻器的一端所產生之一電壓施加至該快閃記憶體單元，以修改該快閃記憶體單元的電流-電壓特性曲線之斜率。
  18. 如請求項13之系統，其中，該修改包括修改一快閃記憶體單元的電流-電壓特性曲線之斜率。
  19. 如請求項13之系統，其中，該快閃記憶體單元係一分離式閘極快閃記憶體單元。
  20. 如請求項13之系統，其中，該快閃記憶體單元係一堆疊式閘極快閃記憶體單元。
  21. 如請求項13之系統，其中，該溫度補償區塊包括：
    一溫度感測器，用於產生表示一操作溫度的一輸出；
    一控制器，用於產生一個或多個控制位元，以回應該溫度感測器的該輸出；以及
    一放大器電路，其包括複數個電阻器，每個電阻器經由一開關選擇性地耦接至該放大器，每個開關由該等控制位元中之一控制，
    其中將在該放大器的一輸出端所產生之一電壓施加至該快閃記憶體單元，以修改該快閃記憶體單元的電流-電壓特性曲線之斜率。
  22. 如請求項21之系統，其中，該修改動作包括修改該快閃記憶體單元的電流-電壓特性曲線之斜率。
  23. 如請求項21之系統，其中，該快閃記憶體單元係一分離式閘極快閃記憶體單元。
  24. 如請求項21之系統，其中，該快閃記憶體單元係一堆疊式閘極快閃記憶體單元。
  25. 如請求項13之系統，進一步包括：
    一洩漏減少區塊，用於隨著該記憶體單元陣列中之一記憶體單元的操作溫度變化而修改被施加至該記憶體單元的一端子之一偏壓，以減少洩漏。
  26. 一種在類比神經形態記憶體系統中執行溫度補償之方法，該類比神經形態記憶體系統包複數個向量矩陣乘法陣列，每個向量矩陣乘法陣列包括一記憶體單元陣列，該方法包括：
    藉由一溫度補償區塊隨著該記憶體單元陣列中之一記憶體單元的操作溫度變化而以連續方式修改該記憶體單元的電流-電壓特性曲線之斜率，該溫度補償區塊包括一溫度感測器，用於產生表示一操作溫度的一輸出；一控制器，用於產生一個或多個控制信號，以回應該溫度感測器的該輸出；以及一個或多個可調裝置，用於產生一溫度補償電壓，以回應該一個或多個控制信號。
  27. 如請求項26之方法，其中，在一向量矩陣乘法方法中之一權 重由該記憶體單元來實現。
  28. 如請求項26之方法，其中，在一向量矩陣乘法方法中之一權重由一差分單元來實現。
  29. 如請求項26之方法，其中，在一向量矩陣乘法方法中之一權重由一對混合記憶體單元來實現。
  30. 如請求項26之方法，其中，該記憶體單元陣列中之每個記憶體單元係一快閃記憶體單元，並且該一個或多個可調裝置包括一個或多個可調電流源，該一個或多個可調電流源中之每一者由該一個或多個控制信號中之一來調整且耦接至一電阻器，以及其中該溫度補償電壓在該一個或多個可調電流源與該電阻器之間的節點處產生，並且被施加至該快閃記憶體單元，以修改該快閃記憶體單元的電流-電壓特性曲線之斜率。
  31. 如請求項30之方法，其中，該溫度補償電壓被施加至該快閃記憶體單元的一控制閘極端子。
  32. 如請求項30之方法，其中，該溫度補償電壓被施加至該快閃記憶體單元的一抹除閘極端子。
  33. 如請求項30之方法，其中，該溫度補償電壓被施加至該快閃記憶體單元的一源極線端子。
  34. 如請求項30之方法，其中，該溫度補償電壓被施加至該快閃記憶體單元的一位元線端子。
  35. 如請求項30之方法，其中，該快閃記憶體單元係一分離式閘極快閃記憶體單元。
  36. 如請求項30之方法，其中，該快閃記憶體單元係一堆疊式閘極快閃記憶體單元。
  37. 如請求項26之方法，進一步包括：
    隨著該記憶體單元陣列中之該記憶體單元的操作溫度變化而修改被施加至該記憶體單元的一端子之一偏壓，以減少洩漏。
  38. 一種在類比神經形態記憶體系統中執行溫度補償之方法，該類比神經形態記憶體系統包複數個向量矩陣乘法系統，每個向量矩陣乘法系統包括一記憶體單元陣列，該方法包括：
    藉由一溫度補償區塊隨著該記憶體單元陣列中之一記憶體單元的操作溫度之位準變化而以不連續方式修改該記憶體單元的電流-電壓特性曲線。
  39. 如請求項38之方法，其中，在一向量矩陣乘法方法中之一權重由該記憶體單元來實現。
  40. 如請求項38之方法，其中，在一向量矩陣乘法方法中之一權重由一差分單元來實現。
  41. 如請求項38之方法，其中，在一向量矩陣乘法方法中之一權重由混合記憶體單元來實現。
  42. 如請求項38之方法，其中，該記憶體單元陣列中之每個記憶體單元係一快閃記憶體單元，以及其中該溫度補償區塊包括一溫度感測器，用於產生表示一操作溫度的一輸出；一控制器，用於產生一個或多個控制位元，以回應該溫度感測器的該輸出；以及複數個電流源，每個電流源經由一開關選擇性地耦接至一電阻器，每個開關由該等控制位元中之一控制，其中將在該電阻器的一端所產生之一電壓施加至該快閃記憶體單元，以修改該快閃記憶體單元的電流-電壓特性曲線之斜率。
  43. 如請求項38之方法，其中，該修改包括修改該快閃記憶體單 元的電流-電壓特性曲線之斜率。
  44. 如請求項38之方法，其中，該快閃記憶體單元係一分離式閘極快閃記憶體單元。
  45. 如請求項38之方法，其中，該快閃記憶體單元係一堆疊式閘極快閃記憶體單元。
  46. 如請求項38之方法，其中，該溫度補償區塊包括一溫度感測器，用於產生表示一操作溫度的一輸出；一控制器，用於產生一個或多個控制位元，以回應該溫度感測器的該輸出；以及一放大器電路，其包括複數個電阻器，每個電阻器經由一開關選擇性地耦接至該放大器，每個開關由該等控制位元中之一控制，其中將在該放大器的一輸出端所產生之一電壓施加至該快閃記憶體單元，以修改該快閃記憶體單元的電流-電壓特性曲線之斜率。
  47. 如請求項45之方法，其中，該修改動作包括修改該快閃記憶體單元的電流-電壓特性曲線之斜率。
  48. 如請求項45之方法，其中，該快閃記憶體單元係一分離式閘極快閃記憶體單元。
  49. 如請求項45之方法，其中，該快閃記憶體單元係一堆疊式閘極快閃記憶體單元。
  50. 如請求項38之方法，進一步包括：
    一洩漏減少區塊隨著該記憶體單元陣列中之該記憶體單元的操作溫度變化而修改被施加至該記憶體單元的一端子之一偏壓，以減少洩漏。
TW108129667A 2018-08-27 2019-08-20 類比神經形態記憶體系統及在類比神經形態記憶體系統中執行溫度補償之方法 TWI754162B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862723398P 2018-08-27 2018-08-27
US62/723,398 2018-08-27
US16/183,250 2018-11-07
US16/183,250 US10755783B2 (en) 2018-08-27 2018-11-07 Temperature and leakage compensation for memory cells in an analog neural memory system used in a deep learning neural network
WOPCT/US19/43101 2019-07-23
PCT/US2019/043101 WO2020046495A1 (en) 2018-08-27 2019-07-23 Temperature and leakage compensation for memory cells in an analog neural memory system used in a deep learning neural network

Publications (2)

Publication Number Publication Date
TW202026955A true TW202026955A (zh) 2020-07-16
TWI754162B TWI754162B (zh) 2022-02-01

Family

ID=69586480

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108129667A TWI754162B (zh) 2018-08-27 2019-08-20 類比神經形態記憶體系統及在類比神經形態記憶體系統中執行溫度補償之方法

Country Status (7)

Country Link
US (3) US10755783B2 (zh)
EP (2) EP3844680B1 (zh)
JP (1) JP7281535B2 (zh)
KR (1) KR102457394B1 (zh)
CN (1) CN112602095B (zh)
TW (1) TWI754162B (zh)
WO (1) WO2020046495A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10755783B2 (en) * 2018-08-27 2020-08-25 Silicon Storage Technology Temperature and leakage compensation for memory cells in an analog neural memory system used in a deep learning neural network
US11513797B2 (en) * 2018-09-12 2022-11-29 Mentium Technologies Inc. Systems and methods for analog vector by matrix multiplier
JP7196803B2 (ja) * 2018-10-18 2022-12-27 株式会社デンソー 人工ニューラルネットワーク回路及び人工ニューラルネットワーク回路における学習値切替方法
US11507641B2 (en) * 2019-05-31 2022-11-22 Advanced Micro Devices, Inc. Temperature-based adjustments for in-memory matrix multiplication
US11074976B2 (en) * 2019-08-26 2021-07-27 Sandisk Technologies Llc Temperature dependent impedance mitigation in non-volatile memory
US11875852B2 (en) * 2020-07-06 2024-01-16 Silicon Storage Technology, Inc. Adaptive bias decoder to provide a voltage to a control gate line in an analog neural memory array in artificial neural network
US11809838B2 (en) 2020-09-08 2023-11-07 Macronix International Co., Ltd. Memory device and operation method thereof
US20220075600A1 (en) * 2020-09-08 2022-03-10 Macronix International Co., Ltd. Memory device and operation method thereof
US11630002B2 (en) * 2021-02-08 2023-04-18 Macronix International Co., Ltd. Method for sensing temperature in memory die, memory die and memory with temperature sensing function
KR102553403B1 (ko) * 2021-02-23 2023-07-11 한국과학기술원 우수한 선형성 특성을 갖는 뉴로모픽 시냅스 소자 및 그 동작 방법
US11380373B1 (en) * 2021-05-12 2022-07-05 Globalfoundries U.S. Inc. Memory with read circuit for current-to-voltage slope characteristic-based sensing and method
US11716089B1 (en) * 2022-03-16 2023-08-01 Xilinx, Inc. Delay-tracking biasing for voltage-to-time conversion
US11955193B1 (en) * 2023-12-05 2024-04-09 Aspinity, Inc. Compute-in-memory array multi-range temperature compensation

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3668440A (en) 1970-10-16 1972-06-06 Motorola Inc Temperature stable monolithic multiplier circuit
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
US6359499B1 (en) 2000-06-23 2002-03-19 Marvell International Ltd. Temperature and process independent CMOS circuit
US6560152B1 (en) * 2001-11-02 2003-05-06 Sandisk Corporation Non-volatile memory with temperature-compensated data read
US6747310B2 (en) 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
JP2007059024A (ja) 2005-08-26 2007-03-08 Micron Technol Inc 温度補償された読み出し・検証動作をフラッシュ・メモリにおいて生成するための方法及び装置
JP2007164960A (ja) * 2005-11-15 2007-06-28 Nec Electronics Corp 半導体集積回路装置
US8102201B2 (en) * 2006-09-25 2012-01-24 Analog Devices, Inc. Reference circuit and method for providing a reference
ITRM20060652A1 (it) * 2006-12-06 2008-06-07 Micron Technology Inc Compensazione di temperatura di segnali di memoria impiegando segnali digitali
US7889575B2 (en) * 2008-09-22 2011-02-15 Sandisk Corporation On-chip bias voltage temperature coefficient self-calibration mechanism
KR101868332B1 (ko) * 2010-11-25 2018-06-20 삼성전자주식회사 플래시 메모리 장치 및 그것을 포함한 데이터 저장 장치
CN102684683B (zh) * 2012-05-14 2014-07-02 常熟银海集成电路有限公司 任意项全系数高精度温度补偿晶体振荡器
US8873316B2 (en) * 2012-07-25 2014-10-28 Freescale Semiconductor, Inc. Methods and systems for adjusting NVM cell bias conditions based upon operating temperature to reduce performance degradation
KR102215204B1 (ko) * 2013-11-29 2021-02-16 삼성디스플레이 주식회사 표시 장치, 그 보상 데이터 산출 방법 및 그 구동 방법
US9330790B2 (en) * 2014-04-25 2016-05-03 Seagate Technology Llc Temperature tracking to manage threshold voltages in a memory
DE102015112276B3 (de) * 2015-07-28 2016-06-30 Océ Printing Systems GmbH & Co. KG Verfahren und Vorrichtung zur Verbesserung des Tonertransfers in einem elektrographischen Digitaldrucker
US9899450B2 (en) * 2015-09-15 2018-02-20 The Regents Of The University Of California Memristors and method for fabricating memristors
US10564900B2 (en) * 2016-03-04 2020-02-18 Western Digital Technologies, Inc. Temperature variation compensation
CN107533668B (zh) * 2016-03-11 2021-01-26 慧与发展有限责任合伙企业 用于计算神经网络的节点值的硬件加速器和方法
WO2017200883A1 (en) * 2016-05-17 2017-11-23 Silicon Storage Technology, Inc. Deep learning neural network classifier using non-volatile memory array
US10269440B2 (en) * 2016-05-17 2019-04-23 Silicon Storage Technology, Inc. Flash memory array with individual memory cell read, program and erase
WO2018150295A1 (ja) 2017-02-15 2018-08-23 株式会社半導体エネルギー研究所 半導体装置
US10748630B2 (en) 2017-11-29 2020-08-18 Silicon Storage Technology, Inc. High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks
US11443175B2 (en) * 2018-07-11 2022-09-13 Silicon Storage Technology, Inc. Compensation for reference transistors and memory cells in analog neuro memory in deep learning artificial neural network
US10528643B1 (en) * 2018-08-01 2020-01-07 Sandisk Technologies Llc Vector-matrix multiplication using non-volatile memory cells
US10755783B2 (en) * 2018-08-27 2020-08-25 Silicon Storage Technology Temperature and leakage compensation for memory cells in an analog neural memory system used in a deep learning neural network

Also Published As

Publication number Publication date
WO2020046495A1 (en) 2020-03-05
US20210090654A1 (en) 2021-03-25
US20200350015A1 (en) 2020-11-05
TWI754162B (zh) 2022-02-01
CN112602095A (zh) 2021-04-02
EP3844680B1 (en) 2022-11-23
CN112602095B (zh) 2022-05-27
US20200066345A1 (en) 2020-02-27
US10755783B2 (en) 2020-08-25
EP4138079A1 (en) 2023-02-22
KR20210032538A (ko) 2021-03-24
JP2021536623A (ja) 2021-12-27
EP3844680A1 (en) 2021-07-07
JP7281535B2 (ja) 2023-05-25
US11158374B2 (en) 2021-10-26
KR102457394B1 (ko) 2022-10-21
US11521682B2 (en) 2022-12-06

Similar Documents

Publication Publication Date Title
TWI754162B (zh) 類比神經形態記憶體系統及在類比神經形態記憶體系統中執行溫度補償之方法
TWI725509B (zh) 包括多重向量矩陣乘法陣列及共享組件之用於深度學習神經網路的類比神經記憶體系統
TWI708249B (zh) 用於在深度學習人工類神經網路中的類比類神經記憶體之高電壓產生之方法及設備
TWI759062B (zh) 深度學習人工神經網路中類比神經記憶體單元的超精確調節
TWI724449B (zh) 在深度學習人工神經網路中之類比神經記憶體中對於參考電晶體及記憶體單元的補償
TW202107304A (zh) 用於深度學習人工神經網路中之類比神經記憶體的解碼系統與實體佈局
TWI718626B (zh) 用於深度學習神經網路之可組態類比神經記憶體系統
TW202040578A (zh) 深度學習人工神經網路中用於類比神經記憶體之精確程式化電路
CN115885345A (zh) 模拟神经存储器中的并发写入和验证操作
CN115485774A (zh) 人工神经网络中包括逻辑单元和改进的编程机制的模拟神经存储器阵列
CN115968495A (zh) 用于人工神经网络中的模拟神经存储器阵列的自适应偏置解码器
TWI822198B (zh) 深度學習人工神經網路中類比神經記憶體的輸出電路
TW202324211A (zh) 可配置為以類比形式或數位形式儲存神經記憶體權重資料的混合記憶體系統
TW202343451A (zh) 包含ｉ－ｖ斜率組構的參考陣列之人工神經網路
CN117751406A (zh) 可配置为以模拟形式或数字形式存储神经存储器权重数据的混合存储器系统