TWI751441B - 對選定非揮發性記憶體單元進行程式化之方法 - Google Patents

對選定非揮發性記憶體單元進行程式化之方法 Download PDF

Info

Publication number
TWI751441B
TWI751441B TW108136072A TW108136072A TWI751441B TW I751441 B TWI751441 B TW I751441B TW 108136072 A TW108136072 A TW 108136072A TW 108136072 A TW108136072 A TW 108136072A TW I751441 B TWI751441 B TW I751441B
Authority
TW
Taiwan
Prior art keywords
volatile memory
selected non
memory cell
memory cells
current
Prior art date
Application number
TW108136072A
Other languages
English (en)
Other versions
TW202025172A (zh
Inventor
曉萬 陳
史蒂芬 利姆克
維平 蒂瓦里
恩漢 杜
馬克 萊坦
Original Assignee
美商超捷公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商超捷公司 filed Critical 美商超捷公司
Publication of TW202025172A publication Critical patent/TW202025172A/zh
Application granted granted Critical
Publication of TWI751441B publication Critical patent/TWI751441B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/56—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency
    • G11C11/5621—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency using charge storage in a floating gate
    • G11C11/5628—Programming or writing circuits; Data input circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/56—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency
    • G11C11/5621—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency using charge storage in a floating gate
    • G11C11/5642—Sensing or reading circuits; Data output circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C27/00—Electric analogue stores, e.g. for storing instantaneous values
    • G11C27/005—Electric analogue stores, e.g. for storing instantaneous values with non-volatile charge storage, e.g. on floating gate or MNOS
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/16—Storage of analogue signals in digital stores using an arrangement comprising analogue/digital [A/D] converters, digital memories and digital/analogue [D/A] converters 
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
    • H01L29/66—Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/68—Types of semiconductor device ; Multistep manufacturing processes therefor controllable by only the electric current supplied, or only the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched
    • H01L29/76—Unipolar devices, e.g. field effect transistors
    • H01L29/772—Field effect transistors
    • H01L29/78—Field effect transistors with field effect produced by an insulated gate
    • H01L29/788—Field effect transistors with field effect produced by an insulated gate with floating gate
    • H01L29/7881—Programmable transistors with only two possible levels of programmation
    • H01L29/7883—Programmable transistors with only two possible levels of programmation charging by tunnelling of carriers, e.g. Fowler-Nordheim tunnelling
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B41/00—Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates
    • H10B41/40—Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates characterised by the peripheral circuit region
    • H10B41/42—Simultaneous manufacture of periphery and memory cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G11C16/0425—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing a merged floating gate and select transistor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2211/00—Indexing scheme relating to digital stores characterized by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C2211/56—Indexing scheme relating to G11C11/56 and sub-groups for features not covered by these groups
    • G11C2211/562—Multilevel memory programming aspects
    • G11C2211/5621—Multilevel programming verification
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
    • H01L29/40—Electrodes ; Multistep manufacturing processes therefor
    • H01L29/41—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions
    • H01L29/423—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions not carrying the current to be rectified, amplified or switched
    • H01L29/42312—Gate electrodes for field effect devices
    • H01L29/42316—Gate electrodes for field effect devices for field-effect transistors
    • H01L29/4232—Gate electrodes for field effect devices for field-effect transistors with insulated gate
    • H01L29/4234—Gate electrodes for transistors with charge trapping gate insulator
    • H01L29/42344—Gate electrodes for transistors with charge trapping gate insulator with at least one additional gate, e.g. program gate, erase gate or select gate

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Neurology (AREA)
  • Power Engineering (AREA)
  • Ceramic Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Manufacturing & Machinery (AREA)
  • Non-Volatile Memory (AREA)
  • Read Only Memory (AREA)
  • Semiconductor Memories (AREA)

Abstract

揭露用於在人工神經網路中之向量矩陣乘法(VMM)陣列內的非揮發性記憶體單元之浮動閘極上精確且快速地放置正確電荷量的精確調整演算法及設備之許多具體例。因此，可以以極高的精度對選定單元進行程式化，以保持N個不同值中之一者。

Description

對選定非揮發性記憶體單元進行程式化之方法 [優先權請求]
本申請案主張2018年10月16日所提出之名稱為「用於在深度學習人工神經網路中之類比神經記憶體之程式化的精確調整」的美國臨時專利申請案第62/746,470號及2018年11月21日所提出之名稱為「用於在深度學習人工神經網路中之類比神經記憶體之程式化的精確調整」的美國專利申請案第16/231,231號之優先權。
揭露用於在人工神經網路中之向量矩陣乘法(VMM)陣列內的非揮發性記憶體單元之浮動閘極上精確且快速地放置正確電荷量的精確調整演算法及設備之許多具體例。
人工神經網路模擬生物神經網路(動物的中樞神經系統，特別是大腦)及用於估計或近似可依賴於大量輸入且通常是未知的函數。人工神經網路通常包括可彼此交換信息之互連的「神經元」層。
圖1繪示人工神經網路，其中圓圈表示神經元輸入或層。連結(稱為突觸)以箭頭來表示，並且具有可根據經驗調整的數字權重。這使得神經網路適應於輸入且能夠學習。通常，神經網路包括一層多個輸入。通常有一個或多個神經元中間層及提供神經網路輸出的一個神經元輸出層。每個層級的神經元個別地或共同地根據從突觸接收的資料做出決定。
開發用於高性能資訊處理之人工神經網路的主要挑戰中之一是缺乏足夠的硬體技術。實際上，實際的神經網路依賴於非常大量的突觸，以使神經元之間的高連結性(亦即，非常高的計算並行性)成為可能。原則上，這樣的複雜性可以用數位超級電腦或專用圖形處理單元叢集來實現。然而，除了高成本之外，相較於生物網路，這些方法還因平庸的能量效率而更糟，其中生物網路消耗非常少的能量，主要是因為它們執行低精度類比計算。CMOS類比電路已經用於人工神經網路，但是有鑑於大量的神經元及突觸，大多數CMOS實施的突觸過於龐大。
申請人以前在美國專利申請案第15/594,439號中揭露一種人工(類比)神經網路，其利用一個或多個非揮發性記憶體陣列作為突觸，在此以提及方式將上述美國專利申請案併入本文。非揮發性記憶體陣列係運作為類比神經形態記憶體。神經網路裝置包括複數個第一突觸，其構造成接收複數個第一輸入並由此產生複數個第一輸出；以及複數個第一神經元，其構造成接收複數個第一輸出。複數個第一突觸包括複數個記憶體單元，其中每個記憶體單元包括間隔開的源極及汲極區域，其形成在半導體基板中，並且具有通道區域在其間延伸；浮動閘極，其設置在通道區域的第一部分上方且與其絕緣；以及非浮動閘極，其設置在通道區域的第二部分上 方且與其絕緣。複數個記憶體單元中之每一者係構造成儲存與浮動閘極上之一些電子相對應的權重值。複數個記憶體單元係構造成將複數個第一輸入乘以儲存的權重值，以產生複數個第一輸出。
必須抹除及程式化在類比神經形態記憶體系統中所使用之每個非揮發性記憶體單元，以在浮動閘極中保持非常特定且精確的電荷量，亦即，電子數量。例如，每個浮動閘極必須保持N個不同值中之一者，其中N是可以由每個單元表示之不同權重的數量。N的實例包括16、32、64、128及256。
VMM系統中的一項挑戰是以不同N值所需的精度及粒度對選定單元進行程式化的能力。例如，如果選定單元可以包含64個不同值中之一者，則在程式化操作中需要極高的精度。
所需要的是適用於類比神經形態記憶體系統中之VMM的改良程式化系統及方法。
揭露用於在人工神經網路中之向量矩陣乘法(VMM)陣列內的非揮發性記憶體單元之浮動閘極上精確且快速地放置正確電荷量的精確調整演算法及設備之許多具體例。因此，可以用極高精度對選定單元進行程式化，以保持N個不同值中之一者。
12:半導體基板
14:源極區域
16:汲極區域
18:通道區域
20:浮動閘極
22:字元線端子(選擇閘極)
24:位元線
28:控制閘極
30:抹除閘極
31:數位至類比轉換器
32:向量矩陣乘法(VMM)陣列
32a:VMM陣列
32b:VMM陣列
32c:VMM陣列
32d:VMM陣列
32e:VMM陣列
33:非揮發性記憶體單元陣列
34:抹除閘極及字元線閘極解碼器
35:控制閘極解碼器
36:位元線解碼器
37:源極線解碼器
38:差分加法器
39:激勵函數電路
210:記憶體單元
310:4-閘極記憶體單元
410:3-閘極記憶體單元
510:堆疊式閘極記憶體單元
900:神經元VMM陣列
901:非揮發性記憶體單元的記憶體陣列
902:非揮發性參考記憶體單元的參考陣列
903:控制閘極線
904:抹除閘極線
1000:神經元VMM陣列
1001:第一非揮發性參考記憶體單元的參考陣列
1002:第二非揮發性參考記憶體單元的參考陣列
1003:非揮發性記憶體單元的記憶體陣列
1014:多工器
1100:神經元VMM陣列
1101:第一非揮發性參考記憶體單元的參考陣列
1102:第二非揮發性參考記憶體單元的參考陣列
1103:非揮發性記憶體單元的記憶體陣列
1200:神經元VMM陣列
1201:第一非揮發性參考記憶體單元的參考陣列
1202:第二非揮發性參考記憶體單元的參考陣列
1203:非揮發性記憶體單元的記憶體陣列
1204:疊接電晶體
1205:多工器
1212:多工器
1300:神經元VMM陣列
1301:第一非揮發性參考記憶體單元的參考陣列
1302:第二非揮發性參考記憶體單元的參考陣列
1303:非揮發性記憶體單元的記憶體陣列
1314:多工器
1400:LSTM
1401:單元
1402:單元
1403:單元
1404:單元
1500:LSTM單元
1501:sigmoid函數裝置
1502:sigmoid函數裝置
1503:sigmoid函數裝置
1504:tanh裝置
1505:tanh裝置
1506:乘法裝置
1507:乘法裝置
1508:乘法裝置
1509:加法裝置
1600:LSTM單元
1601:VMM陣列
1602:激勵電路區塊
1700:LSTM單元
1701:VMM陣列
1702:激勵函數區塊
1703:乘法裝置
1704:暫存器
1705:暫存器
1706:暫存器
1707:暫存器
1708:加法裝置
1709:多工器
1710:多工器
1800:GRU
1801:單元
1802:單元
1803:單元
1804:單元
1900:GRU單元
1901:sigmoid函數裝置
1902:sigmoid函數裝置
1903:tanh裝置
1904:乘法裝置
1905:乘法裝置
1906:乘法裝置
1907:加法裝置
1908:互補裝置
2000:GRU單元
2001:VMM陣列
2002:激勵函數區塊
2100:GRU單元
2101:VMM陣列
2102:激勵函數區塊
2103:乘法裝置
2104:多工器
2105:加法裝置
2106:暫存器
2107:暫存器
2108:暫存器
2109:互補裝置
2401:級數
2402:級數
2501:級數
2502:級數
2503:級數
2701:電流源
2702:記憶體單元
2900:電路
2901:電流源
2901-0:電流源
2901-1:電流源
2901-2:電流源
2901-n:電流源
2902:反相器
2902-0:反相器
2902-1:反相器
2902-2:反相器
2902-n:反相器
2903:記憶體單元
2903-0:記憶體單元
2903-1:記憶體單元
2903-2:記憶體單元
2903-n:記憶體單元
2904:開關
2904-0:開關
2904-1:開關
2904-2:開關
2904-n:開關
2905:電容器
2905-0:電容器
2905-1:電容器
2905-2:電容器
2905-n:電容器
2906:曲線圖
3000:示例性級數
3100:示例性級數
3201:輸入功能電路
3202:控制閘極解碼器
3203:字元線解碼器
3204:陣列
3205:輸出神經元電路區塊
3300:電荷加法器
3301:電流源
3302:開關
3303:取樣保持(S/H)電容器
3400:電流加法器
3401:電流源
3402:開關
3403:開關
3404:開關
3405:開關
3500:數位加法器
3600:積分雙斜率ADC
3601:積分運算放大器
3602:積分電容器
3660:積分單斜率ADC
3661:積分運算放大器
3662:積分電容器
3680:積分雙斜率ADC
3682:電容器
3690:積分單斜率ADC
3692:電容器
3700:SAR(連續近似暫存器)ADC
3701:SAR
3702:DAC
3703:比較器
3800:Σ△ADC
3801:運算放大器
3802:比較器
3803:時控DFF
3804:1-位元電流DAC
3805:電容器
BL0-BLN:位元線
BLR0:端子
BLR1:端子
BLR2:端子
BLR3:端子
c0:單元狀態向量
c1:單元狀態向量
c2:單元狀態向量
c(t-1):單元狀態向量
c(t):單元狀態向量
CG0:電壓輸入(控制閘極線)
CG1:電壓輸入(控制閘極線)
CG2:電壓輸入(控制閘極線)
CG3:電壓輸入(控制閘極線)
DOUT:輸出
EG0:EG線
EG1:EG線
EGR0:EG線
EGR1:EG線
h0:輸出向量
h1:輸出向量
h2:輸出向量
h3:輸出向量
h(t-1):輸出向量
h(t):輸出向量
IO0:電流
IO1:電流
IO2:電流
IOn:電流
SL0:源極線
SL1:源極線
Vcgp:電壓
WL:字元線
WL0:電壓輸入(字元線)
WL1:電壓輸入(字元線)
WL2:電壓輸入(字元線)
WL3:電壓輸入(字元線)
WLA0:字元線
WLA1:字元線
WLA2:字元線
WLA3:字元線
WLB0:字元線
WLB1:字元線
WLB2:字元線
WLB3:字元線
x0:輸入向量
x1:輸入向量
x2:輸入向量
x3:輸入向量
x(t):輸入向量
圖1係繪示人工神經網路之示圖。
圖2描繪習知技藝的分離式閘極快閃記憶體單元。
圖3描繪另一個習知技藝的分離式閘極快閃記憶體單元。
圖4描繪另一個習知技藝的分離式閘極快閃記憶體 單元。
圖5描繪另一個習知技藝的分離式閘極快閃記憶體單元。
圖6係繪示利用一個或多個非揮發性記憶體陣列之示例性人工神經網路的不同層級之示圖。
圖7係繪示向量矩陣乘法系統的方塊圖。
圖8係繪示使用一個或多個向量矩陣乘法系統之示例性人工神經網路的方塊圖。
圖9描繪向量矩陣乘法系統的另一個具體例。
圖10描繪向量矩陣乘法系統的另一個具體例。
圖11描繪向量矩陣乘法系統的另一個具體例。
圖12描繪向量矩陣乘法系統的另一個具體例。
圖13描繪向量矩陣乘法系統的另一個具體例。
圖14描繪習知技藝的長短期記憶體系統。
圖15描繪用於長短期記憶體系統中之一個示例性單元。
圖16描繪圖15的示例性單元之一個具體例。
圖17描繪圖15的示例性單元之另一個具體例。
圖18描繪習知技藝的閘控遞歸單元系統(gated recurrent unit system)。
圖19描繪用於閘控遞歸單元系統中之一個示例性單元。
圖20描繪圖19的示例性單元之一個具體例。
圖21描繪圖19的示例性單元之另一個具體例。
圖22A描繪對非揮發性記憶體單元進行程式化之方法的一個具體例。
圖22B描繪對非揮發性記憶體單元進行程式化之方法的另一個具體例。
圖23描繪粗程式化(coarse programming)方法的一個具體例。
圖24描繪在非揮發性記憶體單元的程式化中所使用之示例性脈衝。
圖25描繪在非揮發性記憶體單元的程式化中所使用之示例性脈衝。
圖26描繪用於非揮發性記憶體單元的程式化之校準演算法，校準演算法根據單元的斜率特性來調整程式化參數。
圖27描繪在圖26的校準演算法中所使用之電路。
圖28描繪用於非揮發性記憶體單元的程式化之校準演算法。
圖29描繪在圖28的校準演算法中所使用之電路。
圖30描繪在程式化操作期間施加至非揮發性記憶體單元的控制閘極之電壓的示例性級數。
圖31描繪在程式化操作期間施加至非揮發性記憶體單元的控制閘極之電壓的示例性級數。
圖32描繪用於在向量矩陣乘法系統內之非揮發性記憶體單元的程式化期間施加程式化電壓之系統。
圖33描繪電荷加法器電路。
圖34描繪電流加法器電路。
圖35描繪數位加法器電路。
圖36A描繪用於神經元輸出之積分類比至數位轉換器的一個具體例。
圖36B描繪圖36A的積分類比至數位轉換器之電壓輸出隨時間變化的曲線圖。
圖36C描繪用於神經元輸出之積分類比至數位轉換器的另一個具體例。
圖36D描繪圖36C的積分類比至數位轉換器之電壓輸出隨時間變化的曲線圖。
圖36E描繪用於神經元輸出之積分類比至數位轉換器的另一個具體例。
圖36F描繪用於神經元輸出之積分類比至數位轉換器的另一個具體例。
圖37A及37B描繪用於神經元輸出之連續近似類比至數位轉換器。
圖38描繪Σ△(sigma-delta)類比至數位轉換器的一個具體例。
本發明的人工神經網路利用CMOS技術與非揮發性記憶體陣列的組合。
非揮發性記憶體單元
數位非揮發性記憶體係眾所周知的。例如，美國專利第5,029,130號(「'130專利」)揭露一種分離式閘極非揮發性記憶體單元(快閃記憶體單元)陣列，並且在此以提及方式將其併入本文。 這樣的記憶體單元210顯示在圖2中。每個記憶體單元210包括在半導體基板12中形成之源極區域14及汲極區域16，並且在其間具有通道區域18。浮動閘極20形成在通道區域18的第一部分上方且與其絕緣(並控制其導電性)，並且形成在源極區域14的一部分上方。字元線端子22(通常耦接至字元線)具有第一部分及第二部分，其中第一部分設置在通道區域18的第二部分上方且與其絕緣(並控制其導電性)，而第二部分向上延伸且在浮動閘極20上方。浮動閘極20及字元線端子22藉由閘極氧化物與基板12絕緣。位元線24耦接至汲極區域16。
藉由在字元線端子22上施加高正電壓來抹除記憶體單元210(其中從浮動閘極移除電子)，這導致浮動閘極20上的電子藉由富爾-諾罕穿隧(Fowler-Nordheim tunneling)從浮動閘極20隧穿中間絕緣體至字元線端子22。
藉由在字元線端子22上施加正電壓及在源極14上施加正電壓來程式化記憶體單元210(其中在浮動閘極上放置電子)。電子流將從源極14流向汲極16。當電子到達字元線端子22與浮動閘極20之間的間隙時，電子將加速並變熱。由於來自浮動閘極20的靜電吸引力，一些加熱的電子將通過閘極氧化物注入至浮動閘極20上。
藉由在汲極區域16及字元線端子22上施加正讀取電壓(這會導通在字元線端子下方之通道區域18的部分)來讀取記憶體單元210。如果浮動閘極20帶正電(亦即，被抹除電子)，則浮動閘極20下方之通道區域18的部分亦導通，並且電流將流過通道區域18，因而被感測為抹除狀態或狀態「1」。如果浮動閘極20帶負 電(亦即，用電子來程式化)，則浮動閘極20下方之通道區域的部分大部分或完全截止，並且電流不會流過(或者幾乎不流過)通道區域18，因而被感測為程式化狀態或狀態「0」。
表1描繪可以施加至記憶體單元210的端子以執行讀取、抹除及程式化操作的典型電壓範圍：
Figure 108136072-A0101-12-0008-1
已知有其它類型快閃記憶體單元的其它分離式閘極記憶體單元組態。例如，圖3描繪4-閘極記憶體單元310，其包括源極區域14、汲極區域16、在通道區域18的第一部分上方之浮動閘極20、在通道區域18的第二部分上方之選擇閘極22(通常耦接至字元線WL)、在浮動閘極20上方之控制閘極28以及在源極區域14上方之抹除閘極30。這種組態被描述在美國專利第6,747,310號中，為了各種目的以提及方式將其併入本文。這裡，除浮動閘極20外，所有其它閘極皆是非浮動閘極，這意味著它們電連接或可連接至電壓源。藉由將加熱的電子從通道區域18注入至浮動閘極20上來執行程式化。藉由電子從浮動閘極20隧穿至抹除閘極30來執行抹除。
表2描繪可以施加至記憶體單元310的端子以執行讀取、抹除及程式化操作的典型電壓範圍：
表2：圖3的快閃記憶體單元310之操作
Figure 108136072-A0101-12-0009-3
圖4描繪3-閘極記憶體單元410，其為另一種類型的快閃記憶體單元。除了記憶體單元410不具有單獨的控制閘極之外，記憶體單元410與圖3的記憶體單元310相同。除了沒有施加控制閘極偏壓之外，抹除操作(藉由抹除閘極的使用來抹除)及讀取操作相似於圖3的操作。程式化操作亦在沒有控制閘極偏壓的情況下完成，結果，在程式化操作期間必須在源極線上施加較高電壓，以補償控制閘極偏壓的缺少。
表3描繪可以施加至記憶體單元410的端子以執行讀取、抹除及程式化操作的典型電壓範圍：
Figure 108136072-A0101-12-0009-4
圖5描繪堆疊式閘極記憶體單元510，其為另一種類型的快閃記憶體單元。除了浮動閘極20在整個通道區域18上方延伸及控制閘極22(在此將耦接至字元線)在浮動閘極20上方延伸且以絕緣層(未顯示)隔開之外，記憶體單元510相似於圖2的記憶體單元210。抹除、程式化及讀取操作以與先前針對記憶體單元210所描述之方式相似的方式來進行。
表4描繪可以施加至記憶體單元510的端子及基板 12以執行讀取、抹除及程式化操作的典型電壓範圍：
Figure 108136072-A0101-12-0010-5
為了在人工神經網路中利用包括上述類型的非揮發性記憶體單元中之一者的記憶體陣列，實施兩種修改。第一，如下面進一步說明，線路配置成使得每個記憶體單元可以個別地被程式化、抹除及讀取，而不會不利地影響陣列中之其它記憶體單元的記憶狀態。第二，提供記憶體單元的連續(類比)程式化。
具體地，陣列中之每個記憶體單元的記憶狀態(亦即，浮動閘極上的電荷)可以獨立地且以對其它記憶體單元的最小干擾從完全抹除狀態連續地變成完全程式化狀態。在另一個具體例中，陣列中之每個記憶體單元的記憶狀態(亦即，浮動閘極上的電荷)可以獨立地且以對其它記憶體單元的最小干擾從完全程式化狀態連續地變成完全抹除狀態，反之亦然。這意味著單元儲存係類比的，或者至少可以儲存許多離散值(例如，16或64個不同值)中之一個，這允許對記憶體陣列中之所有單元進行非常精確且個別的調整，並且這使記憶體陣列非常適合儲存神經網路的突觸權重及對其進行微調。
使用非揮發性記憶體單元陣列的神經網路
圖6概念性地繪示利用本具體例的非揮發性記憶體陣列之神經網路的非限制性實例。此實例將非揮發性記憶體陣列神 經網路用於臉部辨識應用，但是可以使用以非揮發性記憶體陣列為基礎的神經網路來實施任何其它適當的應用。
S0係輸入層，對於這個實例，其為具有5位元精度的32×32像素RGB影像(亦即，三個32×32像素陣列，一個陣列用於各自的顏色R、G及B，每個像素為5位元精度)。從輸入層S0至層C1的突觸CB1在某些情況下應用不同組的權重，而在其它情況下應用共享權重，並且用3×3像素重疊濾波器(核心)掃描輸入影像，將濾波器移位1個像素(或者根據模型所規定，多於1個像素)。具體地，提供用於影像的一個3×3部分中之9個像素的數值(亦即，稱為一個濾波器或核心)給突觸CB1，在那裡將這9個輸入值乘以適當的權重，並且在計算乘法輸出的總和之後，由CB1的第一突觸確定及提供單一輸出值，以便產生數層特徵圖(feature map)C1中之一層的一個像素。然後，在輸入層S0內將3×3濾波器向右移動一個像素(亦即，添加在右側之三個像素的行及丟棄在左側之三個像素的行)，藉以將這個新定位的濾波器中之9個像素值提供給突觸CB1，在那裡將它們乘以相同的權重，並且由相關的突觸確定第二個單一輸出值。持續這個過程，直到3×3濾波器針對所有三種顏色及所有位元(精度值)掃描輸入層S0的整個32×32像素影像為止。然後，使用不同組的權重重複這個過程，以產生C1的一個不同特徵圖，直到已經計算層C1的所有特徵圖為止。
在層C1處，在本實例中，具有16個特徵圖，每個特徵圖有30×30像素。每個像素是從輸入與核心相乘得到之新特徵像素，因此每個特徵圖是二維陣列，因此在這個實例中，層C1構成16層二維陣列(記住這裡引用的層及陣列是邏輯關係，不一定是 實體關係-亦即，陣列不一定以實體二維陣列來定向)。層C1中之16個特徵圖的每個特徵圖由應用於濾波器掃描之16組不同的突觸權重中之一組來產生。C1特徵圖可以全部有關於諸如邊界識別之同一個影像特徵的不同態樣。例如，第一圖(使用第一組權重所產生，第一組權重對用於產生此第一圖的所有掃描係共享的)可以識別圓形邊緣，第二圖(使用與第一組權重不同的第二組權重所產生)可以識別矩形邊緣或某些特徵的縱橫比等等。
在從層C1到層S1之前應用激勵函數P1(池化(pooling))，其對來自每個特徵圖中之連續的非重疊2×2區域的數值進行池化。池化函數的目的是算出附近位置的平均值(或者亦可以使用最大值函數)，以減少例如邊緣位置的依賴性及在進入下一階段之前減小資料大小。在層S1處，具有16個15×15特徵圖(亦即，16個不同陣列，每個陣列有15×15像素)。從層S1到層C2的突觸CB2用4×4濾波器掃描S1中之圖，並且有一個像素的濾波器移位。在層C2處，具有22個12×12特徵圖。在從層C2到層S2之前應用激勵函數P2(池化)，其對來自每個特徵圖中之連續非重疊2×2區域的數值進行池化。在層S2處，具有22個6×6特徵圖。在從層S2到層C3的突觸CB3處應用激勵函數(池化)，其中層C3中之每個神經元經由CB3的個別突觸連接至層S2中之每個圖。在層C3處，具有64個神經元。從層C3到輸出層S3的突觸CB4將C3完全連接至S3，亦即，層C3中之每個神經元連接至層S3中之每個神經元。S3處的輸出包括10個神經元，其中最高輸出神經元確定類別。此輸出可能例如表示原始影像的內容之識別或分類。
使用一個陣列的非揮發性記憶體單元或一個陣列的 非揮發性記憶體單元之一部分來實施每個層的突觸。
圖7係可用於那個目的之陣列的方塊圖。向量矩陣乘法(VMM)陣列32包括非揮發性記憶體單元，並用作一層與下一層之間的突觸(例如，圖6中之CB1、CB2、CB3及CB4)。具體地，VMM陣列32包括非揮發性記憶體單元陣列33、抹除閘極及字元線閘極解碼器34、控制閘極解碼器35、位元線解碼器36以及源極線解碼器37，它們對非揮發性記憶體單元陣列33的個別輸入進行解碼。對VMM陣列32的輸入可以來自抹除閘極及字元線閘極解碼器34或來自控制閘極解碼器35。此實例中之源極線解碼器37亦對非揮發性記憶體單元陣列33的輸出進行解碼。或者，位元線解碼器36可以對非揮發性記憶體單元陣列33的輸出進行解碼。
非揮發性記憶體單元陣列33提供兩個用途。第一，它儲存將由VMM陣列32使用的權重。第二，非揮發性記憶體單元陣列33有效地將輸入乘以非揮發性記憶體單元陣列33中所儲存的權重，並且根據輸出線(源極線或位元線)將它們加起來，以產生輸出，所述輸出將是下一層的輸入或最後一層的輸入。藉由執行乘法及加法函數，非揮發性記憶體單元陣列33不需要個別的乘法及加法邏輯電路，並且因原位記憶體計算而亦具功率效率。
非揮發性記憶體單元陣列33的輸出被供應至差分加法器(例如，求和運算放大器或求和電流鏡)38，其計算非揮發性記憶體單元陣列33的輸出之總和，以產生用於卷積的單一數值。差分加法器38配置成執行正權重與負權重的總和。
然後，將差分加法器38之加總的輸出值供應至激勵函數電路39，其對輸出進行整流。激勵函數電路39可以提供 sigmoid、tanh或ReLU函數。激勵函數電路39之經整流的輸出值變成作為下一層(例如，圖6中之C1)之特徵圖的元素，然後應用於下一個突觸，以產生下一個特徵圖層或最後一層。因此，在此實例中，非揮發性記憶體陣列33構成複數個突觸(其從先前的神經元層或從諸如影像資料庫的輸入層接收它們的輸入)，並且求和運算放大器38及激勵函數電路39構成複數個神經元。
圖7中至VMM陣列32的輸入(WLx、EGx、CGx以及任選的BLx及SLx)可以是類比位準、二進制位準或數位位元(在這種情況下，提供DAC，以將數位位元轉換為適當的輸入類比位準)，並且輸出可以是類比位準、二進制位準或數位位元(在這種情況下，提供輸出ADC，以將輸出類比位準轉換為數位位元)。
圖8係描繪許多層的VMM陣列32之使用的方塊圖，這裡標記為VMM陣列32a、32b、32c、32d及32e。如圖8所示，藉由數位至類比轉換器31將輸入(表示為Inputx)從數位轉換成類比，並提供至輸入VMM陣列32a。經轉換的類比輸入可以是電壓或電流。用於第一層的輸入D/A轉換可以藉由使用函數或LUT(查找表)來完成，其中LUT(查找表)將輸入Inputx映射至用於輸入VMM陣列32a的矩陣乘數之適當類比位準。輸入轉換亦可以藉由類比至類比(A/A)轉換器來完成，以將外部類比輸入轉換成輸入VMM陣列32a的映射類比輸入。
由輸入VMM陣列32a所產生的輸出作為輸入提供給下一個VMM陣列(隱藏層級1)32b，其轉而產生作為輸入提供給下一個VMM陣列(隱藏層級2)32c的輸出等等。各種層的VMM陣列32充當卷積神經網路(CNN)之不同層的突觸及神經元。每個VMM 陣列32a、32b、32c、32d及32e可以是獨立的實體非揮發性記憶體陣列，或者多個VMM陣列可以利用同一個實體非揮發性記憶體陣列的不同部分，或者多個VMM陣列可以利用同一個實體非揮發性記憶體陣列的重疊部分。圖8所示的實例包含五層(32a、32b、32c、32d、32e)：一個輸入層(32a)、兩個隱藏層(32b、32c)及兩個完全連接層(32d、32e)。所屬技術領域之具通常技藝人士將理解，這僅僅是示例性的，並且系統反而可以包括多於兩個隱藏層及多於兩個完全連接層。
向量矩陣乘法(VMM)陣列
圖9描繪神經元VMM陣列900，其特別適用於圖3中所示之記憶體單元310，並且用作輸入層與下一層之間的突觸及神經元的部件。VMM陣列900包括非揮發性記憶體單元的記憶體陣列901及非揮發性參考記憶體單元的參考陣列902(在所述陣列的上方)。或者，可以在下方放置另一個參考陣列。
在VMM陣列900中，諸如控制閘極線903的控制閘極線在垂直方向上延伸(因此，在列方向上的參考陣列902與控制閘極線903正交)，並且諸如抹除閘極線904的抹除閘極線在水平方向延伸。這裡，在控制閘極線(CG0、CG1、CG2、CG3)上提供對VMM陣列900的輸入，而VMM陣列900的輸出出現在源極線(SL0、SL1)上。在一個具體例中，僅使用偶數列，而在另一個具體例中，僅使用奇數列。在每條源極線(SL0、SL1)上之電流執行來自連接至那條特定源極線之記憶體單元的所有電流之求和函數。
如本文針對神經網路所述，VMM陣列900的非揮發性記憶體單元(亦即，VMM陣列900的快閃記憶體)較佳地配置成 在次臨界區域中操作。
在弱倒轉中施加偏壓於本文所述之非揮發性參考記憶體單元及非揮發性記憶體單元：
Ids=Io*e(Vg-Vth)/kVt=w*Io*e(Vg)/kVt
其中w=e(-Vth)/kVt
對於使用記憶體單元(例如，參考記憶體單元或周邊記憶體單元)或電晶體將輸入電流轉換成輸入電壓之I至V對數轉換器：
Vg=k*Vt*log[Ids/wp*Io]
在此，wp係參考或周邊記憶體單元的w。
對於用作向量矩陣乘法VMM陣列的記憶體陣列，輸出電流為：
Iout=wa*Io*e(Vg)/kVt，亦即
Iout=(wa/wp)*Iin=W*Iin
W=e(Vthp-Vtha)/kVt
在此，wa=記憶體陣列中之每個記憶體單元的w。
字元線或控制閘極可用以作為用於輸入電壓之記憶體單元的輸入。
或者，本文所述之VMM陣列的快閃記憶體單元可以配置成在線性區域中操作：
Ids=beta*(Vgs-Vth)*Vds；beta=u*Cox*W/L
W=α(Vgs-Vth)
字元線或控制閘極或位元線或源極線可用以作為在線性區域中操作之記憶體單元的輸入。
對於I至V線性轉換器，在線性區域中操作的記憶體單元(例如，參考記憶體單元或周邊記憶體單元)或電晶體可以用於將輸入/輸出電流線性地轉換成輸入/輸出電壓。
在美國專利申請案第15/826,345號中描述圖7的VMM陣列32之其它具體例，在此以提及方式將其併入本文。如上面申請案所述，源極線或位元線可用以作為神經元輸出(電流總和輸出)。
圖10描繪神經元VMM陣列1000，其特別適用於圖2所示之記憶體單元210，並且用作輸入層與下一層之間的突觸。VMM陣列1000包括非揮發性記憶體單元的記憶體陣列1003、第一非揮發性參考記憶體單元的參考陣列1001及第二非揮發性參考記憶體單元的參考陣列1002。配置在陣列的行方向上之參考陣列1001及1002用於將流入端子BLR0、BLR1、BLR12及BLR3的電流輸入轉換成電壓輸入WL0、WL1、WL2及WL3。實際上，第一及第二非揮發性參考記憶體單元係以二極體形式經由多工器1014(僅部分被描繪)與流入它們的電流輸入連接。將參考單元調整(例如，程式化)至目標參考位準。目標參考位準由參考微型陣列矩陣(未顯示)來提供。
記憶體陣列1003提供兩個用途。第一，它在其個別記憶體單元上儲存將被VMM陣列1000使用的權重。第二，記憶體陣列1003有效地將輸入(亦即，被提供至端子BLR0、BLR1、BLR2及BLR3的電流輸入；參考陣列1001及1002將這些電流輸入轉換成輸入電壓，以供應至字元線WL0、WL1、WL2及WL3)乘以記憶體陣列1003中所儲存之權重，然後將所有結果(記憶體單元電流) 相加，以在個別位元線(BL0-BLN)上產生輸出，所述輸出將是下一層的輸入或最後一層的輸入。藉由執行乘法及加法函數，記憶體陣列1003不需要個別的乘法及加法邏輯電路，並且還具有功率效率。這裡，電壓輸入被提供在字元線WL0、WL1、WL2及WL3上，並且輸出在讀取(推理)操作期間出現在位元線BL0-BLN上。在每條位元線BL0-BLN上的電流執行來自連接至那條特定位元線之所有非揮發性記憶體單元的電流之求和函數。
表5描繪VMM陣列1000的操作電壓。表中之行表示在選定單元的字元線、未選定單元的字元線、選定單元的位元線、未選定單元的位元線、選定單元的源極線及未選定單元的源極線上之電壓。列表示讀取、抹除及程式化的操作。
Figure 108136072-A0101-12-0018-6
圖11描繪神經元VMM陣列1100，其特別適用於圖2所示之記憶體單元210，並且用作輸入層與下一層之間的突觸及神經元的部件。VMM陣列1100包括非揮發性記憶體單元的記憶體陣列1103、第一非揮發性參考記憶體單元的參考陣列1101及第二非揮發性參考記憶體單元的參考陣列1102。參考陣列1101及1102在VMM陣列1100的列方向上延伸。除了在VMM陣列1100 中，字元線在垂直方向上延伸之外，VMM陣列1100與VMM陣列1000相似。這裡，在字元線(WLA0、WLB0、WLA1、WLB1、WLA2、WLB2、WLA3、WLB3)上提供輸入，並且在讀取操作期間輸出出現在源極線(SL0，SL1)上。在每條源極線上之電流執行來自連接至那條特定源極線之記憶體單元的所有電流之求和函數。
表6描繪VMM陣列1100的操作電壓。表中之行表示在選定單元的字元線、未選定單元的字元線、選定單元的位元線、未選定單元的位元線、選定單元的源極線及未選定單元的源極線上之電壓。列表示讀取、抹除及程式化的操作。
Figure 108136072-A0101-12-0019-7
圖12描繪神經元VMM陣列1200，其特別適用於圖3所示之記憶體單元310，並且用作輸入層與下一層之間的突觸及神經元的部件。VMM陣列1200包括非揮發性記憶體單元的記憶體陣列1203、第一非揮發性參考記憶體單元的參考陣列1201及第二非揮發性參考記憶體單元的參考陣列1202。參考陣列1201及1202用於將流入端子BLR0、BLR1、BLR2及BLR3的電流輸入轉換成電壓輸入CG0、CG1、CG2及CG3。實際上，第一及第二非揮發性參考記憶體單元係以二極體形式經由多工器1212(僅部分被顯示)與經由BLR0、BLR1、BLR2及BLR3流入它們的電流輸入連接。多工器1212各自包括個別多工器1205及疊接電晶體1204，以在讀 取操作期間確保第一及第二非揮發性參考記憶體單元中之每一者的位元線(諸如BLR0)上的固定電壓。將參考單元調整至目標參考位準。
記憶體陣列1203提供兩個用途。第一，它儲存將被VMM陣列1200使用的權重。第二，記憶體陣列1203有效地將輸入(被提供至端子BLR0、BLR1、BLR2及BLR3的電流輸入；參考陣列1201及1202將這些電流輸入轉換成輸入電壓，以供應至控制閘極(CG0、CG1、CG2及CG3))乘以記憶體陣列中所儲存之權重，然後將所有結果(單元電流)相加，以產生輸出，所述輸出出現在BL0-BLN且將是下一層的輸入或最後一層的輸入。藉由執行乘法及加法函數，記憶體陣列不需要個別的乘法及加法邏輯電路，並且還具有功率效率。這裡，輸入被提供在控制閘極線(CG0、CG1、CG2及CG3)上，並且輸出在讀取操作期間出現在位元線(BL0-BLN)上。在每條位元線上之電流執行來自連接至那條特定位元線之記憶體單元的所有電流之求和函數。
VMM陣列1200針對記憶體陣列1203中之非揮發性記憶體單元實施單向調整。亦即，抹除及然後部分程式化每個非揮發性記憶體單元，直到達到浮動閘極上的期望電荷為止。例如，這可以使用下面描述之新的精確程式化技術來執行。如果使太多電荷置於浮動閘極上(使得錯誤值儲存在單元中)，則必須抹除單元並且必須重新開始部分程式化操作的順序。如圖所示，共享同一個抹除閘極(例如，EG0或EG1)的兩列需要一起被抹除(稱為頁抹除)，之後，部分程式化每個單元，直到達到浮動閘極上之期望電荷為止。
表7描繪VMM陣列1200的操作電壓。表中之行表 示在選定單元的字元線、未選定單元的字元線、選定單元的位元線、未選定單元的位元線、選定單元的控制閘極、與選定單元相同的區段中之未選定單元的控制閘極、與選定單元不同的區段中之未選定單元的控制閘極、選定單元的抹除閘極、未選定單元的抹除閘極、選定單元的源極線及未選定單元的源極線上之電壓。列表示讀取、抹除及程式化的操作。
Figure 108136072-A0101-12-0021-8
圖13描繪神經元VMM陣列1300，其特別適用於圖3所示之記憶體單元310，並且用作輸入層與下一層之間的突觸及神經元的部件。VMM陣列1300包括非揮發性記憶體單元的記憶體陣列1303、第一非揮發性參考記憶體單元的參考陣列1301及第二非揮發性參考記憶體單元的參考陣列1302。EG線EGR0、EG0、EG1及EGR1垂直延伸，而CG線CG0、CG1、CG2及CG3以及SL線WL0、WL1、WL2及WL3水平延伸。除了VMM陣列1300實施雙向調整之外，VMM陣列1300與VMM陣列1200相似，其中每個個別單元可以完全被抹除、部分被程式化及根據需要部分被抹除，以因個別EG線的使用而在浮動閘極上達到所需的電荷量。如圖所示，參考陣列1301及1302將端子BLR0、BLR1、BLR2及 BLR3中之輸入電流轉換成要施加至列方向上的記憶體單元之控制閘極電壓CG0、CG1、CG2及CG3(藉由以二極體形式經由多工器1314連接之參考單元的作用)。電流輸出(神經元)位於位元線BL0-BLN中，其中每條位元線計算來自與那條特定位元線連接之非揮發性記憶體單元的所有電流之總和。
表8描繪VMM陣列1300的操作電壓。表中之行表示在選定單元的字元線、未選定單元的字元線、選定單元的位元線、未選定單元的位元線、選定單元的控制閘極、與選定單元相同的區段中之未選定單元的控制閘極、與選定單元不同的區段中之未選定單元的控制閘極、選定單元的抹除閘極、未選定單元的抹除閘極、選定單元的源極線及未選定單元的源極線上之電壓。列表示讀取、抹除及程式化的操作。
Figure 108136072-A0101-12-0022-9
長短期記憶體
習知技藝包括稱為長短期記憶體(LSTM)的概念。LSTM單元通常用於神經網路中。LSTM允許神經網路在預定任意時間間隔內記住資訊，並在後續操作中使用那個資訊。傳統的LSTM單元包括單元、輸入閘極、輸出閘極及忘記閘極。三個閘極調整進 出單元的資訊流及在LSTM中記住資訊的時間間隔。VMM在LSTM單位中係特別有用的。
圖14描繪示例性LSTM 1400。此實例中的LSTM 1400包括單元1401、1402、1403及1404。單元1401接收輸入向量x0，並產生輸出向量h0及單元狀態向量c0。單元1402接收輸入向量x1、來自單元1401的輸出向量(隱藏狀態)h0及單元狀態c0，並產生輸出向量h1及單元狀態向量c1。單元1403接收輸入向量x2、來自單元1402的輸出向量(隱藏狀態)h1及單元狀態c1，並產生輸出向量h2及單元狀態向量c2。單元1404接收輸入向量x3、來自單元1403的輸出向量(隱藏狀態)h2及單元狀態c2，並產生輸出向量h3。可以使用額外的單元，並且具有四個單元的LSTM僅是一個實例。
圖15描繪LSTM單元1500的示例性實施，其可以用於圖14中之單元1401、1402、1403及1404。LSTM單元1500接收輸入向量x(t)、來自前一個單元之單元狀態向量c(t-1)及來自前一個單元之輸出向量h(t-1)，並產生單元狀態向量c(t)及輸出向量h(t)。
LSTM單元1500包括sigmoid函數裝置1501、1502及1503，每個sigmoid函數裝置應用0與1之間的數字，以控制輸入向量中之每個分量有多少被允許直至輸出向量。LSTM單元1500亦包括用以將雙曲正切函數應用於輸入向量的tanh裝置1504及1505、用以將兩個向量相乘的乘法裝置1506、1507及1508以及用以將兩個向量相加的加法裝置1509。輸出向量h(t)可以提供給系統中的下一個LSTM單元，或者亦可以出於其它目的對其進行存取。
圖16描繪LSTM單元1600，其是LSTM單元1500 的實施之一個實例。為方便讀者，在LSTM單元1600中使用與LSTM單元1500相同的編號。sigmoid函數裝置1501、1502及1503以及tanh裝置1504各自包括多個VMM陣列1601及激勵電路區塊1602。因此，可以看出VMM陣列在某些神經網路系統中使用之LSTM單元中係特別有用的。
圖17顯示LSTM單元1600的一個替代方案(以及LSTM單元1500實施的另一個實例)。在圖17中，Sigmoid函數裝置1501、1502及1503以及tanh裝置1504以時間多工方式共享同一個實體硬體(VMM陣列1701及激勵函數區塊1702)。LSTM單元1700亦包括：乘法裝置1703，用於將兩個向量相乘；加法裝置1708，用於將兩個向量相加；tanh裝置1505(其包括激勵電路區塊1702)；暫存器1707，其在i(t)從sigmoid函數區塊1702輸出時儲存數值i(t)；暫存器1704，其在數值f(t)*c(t-1)從乘法裝置1703經由多工器1710輸出時儲存數值f(t)*c(t-1)；暫存器1705，其在數值i(t)*u(t)從乘法裝置1703經由多工器1710輸出時儲存數值i(t)*u(t)；及暫存器1706，其在數值o(t)*c~(t)從乘法裝置1703經由多工器1710輸出時儲存數值o(t)*c~(t)；以及多工器1709。
LSTM單元1600包含多組VMM陣列1601及個別的激勵函數區塊1602，而LSTM單元1700僅包含一組VMM陣列1701及激勵函數區塊1702，它們在LSTM單元1700的具體例中用於表示多層。LSTM單元1700將需要比LSTM單元1600少的空間，因為相較於LSTM單元1600，LSTM單元1700只需要1/4空間用於VMM及激勵函數區塊。
可以進一步理解，LSTM單元通常將包括多個VMM 陣列，每個VMM陣列需要由VMM陣列外部的某些電路區塊(例如，加法器及激勵電路區塊以及高電壓產生區塊)提供的功能。對每個VMM陣列提供個別的電路區塊，將在半導體裝置內需要大量的空間，並且會有些沒有效率。因此，下面所描述的具體例試圖最小化VMM陣列本身外部所需的電路。
閘控遞歸單元
可以將類比VMM實施用於GRU(閘控遞歸單元)系統。GRU係遞歸神經網路中的閘控機制。除了GRU單元通常包含比LSTM單元少的組件之外，GRU與LSTM相似。
圖18描繪示例性GRU 1800。此實例中之GRU 1800包括單元1801、1802、1803及1804。單元1801接收輸入向量x0，並產生輸出向量h0。單元1802接收輸入向量x1及來自單元1801的輸出向量h0，並產生輸出向量h1。單元1803接收輸入向量x2及來自單元1802的輸出向量(隱藏狀態)h1，並產生輸出向量h2。單元1804接收輸入向量x3及來自單元1803的輸出向量(隱藏狀態)h2，並產生輸出向量h3。可以使用額外的單元，並且具有四個單元的GRU僅是一個實例。
圖19描繪GRU單元1900的示例性實施，其可以用於圖18之單元1801、1802、1803及1804。GRU單元1900接收輸入向量x(t)及來自前一個GRU單元之輸出向量h(t-1)，並產生輸出向量h(t)。GRU單元1900包括sigmoid函數裝置1901及1902，每個sigmoid函數裝置應用0與1之間的數字於來自輸出向量h(t-1)及輸入向量x(t)的分量。GRU單元1900亦包括用以將雙曲正切函數應用於輸入向量的tanh裝置1903、用以將兩個向量相乘的複數 個乘法裝置1904、1905及1906、用以將兩個向量相加的加法裝置1907以及用以從1減去輸入來產生輸出的互補裝置1908。
圖20描繪GRU單元2000，其是GRU單元1900的實施之一個實例。為方便讀者，在GRU單元2000中使用與GRU單元1900相同的編號。從圖20可以看出，sigmoid函數裝置1901及1902以及tanh裝置1903各自包括多個VMM陣列2001及激勵函數區塊2002。因此，可以看出VMM陣列特別用於某些神經網路系統中使用之GRU單元中。
圖21顯示GRU單元2000的一個替代方案(以及GRU單元1900實施的另一個實例)。在圖21中，GRU單元2100利用VMM陣列2101及激勵函數區塊2102，激勵函數區塊2102在配置成為Sigmoid函數時應用0與1之間的數字，以控制輸入向量中之每個分量有多少被允許直至輸出向量。在圖21中，Sigmoid函數裝置1901及1902以及tanh裝置1903以時間多工方式共享同一個實體硬體(VMM陣列2101及激勵函數區塊2102)。GRU單元2100亦包括：乘法裝置2103，用於將兩個向量相乘；加法裝置2105，用於將兩個向量相加；互補裝置2109，用於從1減去輸入，以產生輸出；多工器2104；暫存器2106，用於當值h(t-1)*r(t)從乘法裝置2103經由多工器2104輸出時，保持該值；暫存器2107，用於當值h(t-1)*z(t)從乘法裝置2103經由多工器2104輸出時，保持該值)；以及暫存器2108，用於當值h^(t)*(1-z(t))從乘法裝置2103經由多工器2104輸出時，保持該值。
GRU單元2000包含多組VMM陣列2001及激勵函數區塊2002，而GRU單元2100僅包含一組VMM陣列2101及激 勵函數區塊2102，它們在GRU單元2100的具體例中用於表示多層。GRU單元2100將需要比GRU單元2000少的空間，因為相較於GRU單元2000，GRU單元2100只需要1/3空間用於VMM及激勵函數區塊。
可以進一步理解，GRU系統通常將包括多個VMM陣列，每個VMM陣列需要由VMM陣列外部的某些電路區塊(例如，加法器及激勵電路區塊以及高電壓產生區塊)提供的功能。對每個VMM陣列提供個別的電路區塊，將在半導體裝置內需要大量的空間，並且會有些沒有效率。因此，下面所描述的具體例試圖最小化VMM陣列本身外部所需的電路。
VMM陣列的輸入可以是類比位準、二進制位準或數位位元(在這種情況下，需要DAC將數位位元轉換為適當的輸入類比位準)，以及輸出可以是類比位準、二進制位準或數位位元(在這種情況下，需要輸出ADC將輸出類比位準轉換為數位位元)。
對於一個VMM陣列中之每個記憶體單元，每個權重w可以由單一記憶體單元或由一個差分單元或由兩個混合記憶體單元(平均2個單元)來實施。在差分單元的情況下，需要兩個記憶體單元來實施權重w成為差分權重(w=w+-w-)。在兩個混合記憶體單元方面，需要兩個記憶體單元來實施權重w成為兩個單元的平均值。
在VMM中對單元進行精確程式化的實施例
圖22A描繪程式化方法2200。首先，方法開始(步驟2201)，這通常是回應接收到程式化命令而發生的。接下來，大量程式化操作將所有單元程式化為狀態「0」(步驟2202)。然後，軟 抹除操作將所有單元抹除至中間的弱抹除位準，使得每個單元在讀取操作期間將汲取大約3-5μA的電流(步驟2203)。這與深度抹除位準形成對比，在深度抹除位準中，每個單元在讀取操作期間將汲取約20-30μA的電流。接著，對所有未選定單元執行硬程式化至極深程式化狀態，以將電子添加至單元的浮動閘極(步驟2204)，進而確保那些單元確實處於「關斷」狀態，這意味著那些單元在讀取操作期間將汲取微不足道的電流量。
然後，對選定單元執行粗略程式化方法(步驟2205)，隨後對選定單元執行精確程式化方法(步驟2206)以為每個選定單元所期望之精確值進行程式化。
圖22B描繪另一種程式化方法2210，其相似於程式化方法2200。然而，取代如圖22A的步驟2202中將所有單元程式化為狀態「0」的程式化操作，在方法開始(步驟2201)之後，使用抹除操作將所有單元抹除為狀態「1」(步驟2212)。接著，使用軟程式化操作(步驟2213)將所有單元程式化為中間狀態(位準)，使得每個單元在讀取操作期間將汲取大約3-5uA的電流。之後，將遵循如圖22A所示之粗略及精確程式化方法。圖22B的具體例之一個變型將完全移除軟程式化方法(步驟2213)。
圖23描繪粗略程式化方法2205的第一具體例，其為搜尋及執行方法2300。首先，執行查找表搜尋，以根據要儲存在選定單元中之值來確定選定單元的粗略目標電流值(ICT)(步驟2301)。假設可以對選定單元進行程式化，以儲存N(例如，128、64、32等)個可能值中之一者。N個值中之每一者將對應於在讀取操作期間由選定單元汲取之不同的期望電流值(ID)。在一個實施例中，查找表 可能包含M個可能的電流值，以用作在搜尋及執行方法2300期間選定單元的粗略目標電流值ICT，其中M係是小於N的整數。例如，如果N為8，則M可能為4，這意味著選定單元可以儲存8個可能值，並且將選擇4個粗略目標電流值中之一者作為用於搜尋及執行方法2300的粗略目標。亦即，搜尋及執行方法2300(其又是粗略程式化方法2205的一個具體例)旨在將選定單元快速地程式化為一稍微接近期望值(ID)的值(ICT)，然後精確程式化方法2206旨在更精確地將選定單元程式化為非常接近期望值(ID)。
對於N=8和M=4的簡單實例，表9及表10中描述單元值、期望電流值及粗略目標電流值的實例：
Figure 108136072-A0101-12-0029-10
Figure 108136072-A0101-12-0029-11
偏移值ICTOFFSETx用於防止在粗調期間超調期望電流值。
一旦選擇粗略目標電流值ICT，就藉由根據選定單元的架構類型(例如，記憶體單元210、310、410或510)將電壓v0施 加至選定單元的適當端子，對選定單元進行程式化(步驟2302)。如果選定單元係圖3中之類型的記憶體單元310，則電壓v0將被施加至控制閘極端子28，並且v0可能是5-7V，這取決於粗略目標電流值ICT。v0的值可以任選地由儲存v0與粗略目標電流值ICT的電壓查找表來確定。
接下來，藉由施加電壓vi=vi-1+vincrement來對選定單元進行程式化，其中i從1開始並在每次重複此步驟時遞增，其中vincrement係一個小電壓，其對於期望改變的粒度將導致適當程度的程式化(步驟2303)。因此，執行第一次步驟2303，i=1，並且v1將是v0+vincrement。然後，進行驗證操作(步驟2304)，其中對選定單元執行讀取操作，並且測量經由選定單元汲取的電流(Icell)。如果Icell小於或等於ICT(其在此為第一臨界值)，則搜尋及執行方法2300完成，並且精確程式化方法2206可以開始。如果Icell不小於或等於ICT，則重複步驟2303，並且i遞增。
因此，在粗略程式化方法2205結束且精確程式化方法2206開始時，電壓vi將是用於對選定單元進行程式化的最後電壓，並且選定單元將儲存與粗略目標電流值ICT相關的值。精確程式化方法2206的目標將選定單元程式化至在讀取操作期間它可汲取電流ID(±可接受的偏差量，例如，50pA或更小)的時間點，電流ID係與要儲存在選定單元中之值相關的期望電流值。
圖24描繪在精確程式化方法2206期間可以施加至一個選定記憶體單元的控制閘極之不同電壓級數的實例。
根據第一種方法，將逐漸增加的電壓連續施加至控制閘極，以進一步對選定記憶體單元進行程式化。起始點為vi，它是 在粗略程式化方法2205中所施加的最後電壓。將vp1的增量添加至v1，然後將電壓v1+vp1用於程式化選定單元(由級數2401中之左側第二個脈衝來表示)。vp1係小於vincrement(在粗略程式化方法2205期間使用的電壓增量)的增量。在施加每個程式化電壓之後，執行驗證步驟(相似於步驟2304)，在此確定Icell是否小於或等於IPT1(其為第一精確目標電流值，在這裡是第二臨界值)，其中IPT1=ID+IPT1OFFSET，其中IPT1OFFSET係為防止程式化超調所添加的偏移值。如果不是，則將另一個增量vp1添加至先前施加的程式化電壓，並重複這個過程。在Icell小於或等於IPT1時，則程式化序列的這個部分停止。任選地，如果IPT1以足夠的精度等於或幾乎等於ID，則選定記憶體單元已被成功地程式化。
如果IPT1不夠接近ID，則會進行更小粒度的進一步程式化。在此，現在使用級數2402。級數2402的起點係根據級數2401程式化所使用之最後電壓。將vp2的增量(小於vp1)添加至那個電壓，並且施加組合的電壓，以對選定記憶體單元進行程式化。在施加每個程式化電壓之後，執行驗證步驟(相似於步驟2304)，在此確定Icell是否小於或等於IPT2(其為第二精確目標電流值，在這裡是第三臨界值)，其中IPT2=ID+IPT2OFFSET，IPT2OFFSET係為防止程式化超調所添加的偏移值。如果不是，則將另一個增量vp2添加至先前施加的程式化電壓，並重複這個過程。在Icell小於或等於IPT2時，則程式化序列的這個部分停止。在此，因為已經以足夠的精度實現目標值，所以假定IPT2等於ID或足夠接近ID，從而可以停止程式化。所屬技術領域之具通常技藝人士可以理解，可以使用越來越小的程式化增量來施加額外的級數。例如，在圖25中，施加三個級數(2501、2502 及2503)，而不是兩個級數。
在級數2403中顯示第二種方法。這裡，取代增加在選定記憶體單元的程式化期間所施加之電壓，在逐漸增加的週期之持續時間內施加相同的電壓。取代在級數2401中添加諸如vp1的增量電壓及在級數2402中添加vp2的增量電壓，將額外的時間增量tp1添加至程式化脈衝，使得每個施加脈衝比先前施加脈衝長達tp1。在施加每個程式化脈衝之後，如先前針對級數2401所述，執行相同的驗證步驟。任選地，在添加至程式化脈衝之額外的時間增量之持續時間小於所使用之前一個級數的持續時間之情況下，可以施加額外的級數。雖然僅顯示一個時間級數，但是所屬技術領域之具通常技藝人士將理解，可以施加任何數量的不同時間級數。
現在將提供粗略程式化方法2205的兩個額外的具體例之附加細節。
圖26描繪粗略程式化方法2205的第二具體例，其為可適應校準方法2600。所述方法開始(步驟2601)。以預設起始值v0對單元進行程式化(步驟2602)。與在搜尋及執行方法2300中不同，這裡的v0不是從查找表獲得，而是可以是相較小的初始值。在第一電流值IR1(例如，100na)及第二電流值IR2(例如，10na)下測量單元的控制閘極電壓，並且根據那些測量值(例如，360mV/dec)確定及儲存次臨界斜率(步驟2603)。
確定新的期望電壓vi。第一次執行此步驟時，i=1，並且使用像下面的次臨界方程式，根據儲存的次臨界斜率值以及電流目標及偏移值來確定v1：
Vi=Vi-1+Vincrement，
Vincrement與Vg的斜率成正比
Vg=k*Vt*log[Ids/wa*Io]在此，wa係記憶體單元的w，Ids係電流目標加上偏移值。
如果儲存的斜率值係相對陡峭的，則可以使用相對小的電流偏移值。如果儲存的斜率值係相對平坦的，則可以使用相對高的電流偏移值。因此，確定斜率資訊將允許選擇針對所討論的特定單元定制之電流偏移值。最終，這將使程式化過程更短。當重複此步驟時，使i遞增，並且vi=vi-1+vincrement。然後，使用vi對單元進行程式化。vincrement可以由儲存vincrement值與目標電流值的查找表來確定。
接下來，進行驗證操作，其中對選定單元執行讀取操作，並且測量經由選定單元汲取的電流(Icell)(步驟2605)。如果Icell小於或等於ICT(其在此為一個粗略目標臨界值)，其中ICT設定為等於ID+ICTOFFSET，其中ICTOFFSET係為防止程式化超調所添加的偏移值，則可適應校準方法2600結束，並且可以開始精確程式化方法2206。如果Icell不小於或等於ICT，則重複步驟2604至2605，並且使i遞增。
圖27描繪可適應校準方法2600的觀念。在步驟2603期間，使用電流源2701將示例性電流值IR1及IR2施加至選定單元(這裡是記憶體單元2702)，並且接著測量在記憶體單元2702的控制閘極上之電壓(對於IR1為CGR1，而對於IR2為CGR2)。斜率將為(CGR2-CGR1)/dec。
圖28描繪粗略程式化方法2205的第二具體例，其為絕對校準方法2800。所述方法開始(步驟2801)。以預設起始值v0 對單元進行程式化(步驟2802)。在電流值Itarget下測量並儲存單元的控制閘極電壓(VCGRx)(步驟2803)。根據儲存的控制閘極電壓以及電流目標及偏移值Ioffset+Itarget，確定新的期望電壓v1(步驟2804)。例如，新的期望電壓v1可以計算如下：v1=v0+(VCGBIAS-儲存的VCGR)，其中VCGBIAS=~1.5V，其係在最大目標電流下的預設讀取控制閘極電壓，而儲存的VCGR係步驟2803的測量讀取控制閘極電壓。
然後，使用vi對單元進行程式化。當i=1時，使用來自步驟2804的電壓v1。當i>=2時，使用電壓vi=vi-1+vincrement。vincrement可以由儲存vincrement值與目標電流值的查找表來確定。接下來，進行驗證操作，其中對選定單元執行讀取操作，並且測量經由選定單元汲取的電流(Icell)(步驟2806)。如果Icell小於或等於ICT(其在此為臨界值)，則絕對校準方法2800結束，並且可以開始精確程式化方法2206。如果Icell不小於或等於ICT，則重複步驟2805至2806，並且使i遞增。
圖29描繪用於實施絕對校準方法2800的步驟2803之電路2900。電壓源(未顯示)產生VCGR，VCGR從初始電壓開始並向上傾斜。在此，n+1個不同電流源2901(2901-0、2901-1、2901-2、......、2901-n)產生具有逐漸增加的振幅之不同電流IO0、IO1、IO2、......、IOn。每個電流源2901連接至反相器2902(2902-0、2902-1、2902-2、......、2902-n)及記憶體單元2903(2903-0、2903-1、2903-2、......、2903-n)。隨著VCGR向上傾斜，每個記憶體單元2903汲取逐漸增加的電流量，並且至每個反相器2902的輸入電壓減少。因為IO0<IO1<IO2<......<IOn，所以隨著VCGR的增加，反 相器2902-0的輸出會先從低位準切換至高位準。接下來，反相器2902-1的輸出會從低位準切換至高位準，然後輪到反相器2902-2的輸出，依此類推，直到反相器2902-n的輸出從低位準切換至高位準為止。每個反相器2902控制開關2904(2904-0、2904-1、2904-2、......、2904-n)，使得當反相器2902的輸出為高位準時，關閉開關2904，這將導致電容器2905(2905-0、2905-1、2905-2、......905-n)對VCGR進行取樣。因此，開關2904及電容器2905構成取樣保持電路。在圖28的絕對校準方法2800中，將IO0、IO1IO2、......、IOn的值用作Itarget的可能值，並且將個別取樣電壓用作關聯值VCGRx。曲線圖2906顯示VCGR隨著時間向上傾斜，並且反相器2902-0、2902-1及2902-n的輸出在不同的時間從低位準切換至高位準。
圖30描繪用於在可適應校準方法2600或絕對校準方法2800期間對選定單元進行程式化的示例性級數3000。在一個具體例中，將電壓Vcgp施加至一列選定記憶體單元的控制閘極。選定列中之選定記憶體單元的數量例如為32個單元。因此，可以並行地對選定列中之高達32個記憶體單元進行程式化。使每個記憶體單元能夠藉由位元線致能信號耦接至程式化電流Iprog。如果位元線致能信號係無效的(這意味著正電壓施加至選定位元線)，則記憶體單元被禁止(不被程式化)。如圖30所示，在不同的時間以那條位元線(因而在該位元線上之選定記憶體)所需的Vcgp電壓位準來使位元線致能信號En_blx(其中x在1與n之間變化，其中n係位元線的數量)啟用。在另一個具體例中，可以使用位元線上的致能信號來控制施加至選定單元的控制閘極之電壓。每條位元線致能信 號促使與那條位元線相對應之期望電壓(例如，圖28中所述的vi)被施加作為Vcgp。位元線致能信號亦可以控制流入位元線的程式化電流。在此實例中，每個後續控制閘極電壓Vcgp高於前一個電壓。或者，每個後續控制閘極電壓可以低於或高於前一個電壓。Vcgp中的每個後續增量可以等於或不等於前一個增量。
圖31描繪用於在可適應校準方法2600或絕對校準方法2800期間對選定單元進行程式化的示例性級數3100。在一個具體例中，位元線致能信號使選定位元線(其意味著在該位元線中之選定記憶體單元)能夠用對應的Vcgp電壓位準來進行程式化。在另一個具體例中，可以使用位元線致能信號來控制施加至選定單元的增量斜坡控制閘極的電壓。每條位元線致能信號促使與那條位元線相對應之期望電壓(例如，圖28中所述的vi)被施加至控制閘極。在此實例中，每個後續增量等於前一個增量。
圖32描繪用於實施輸入及輸出方法之系統，此方法用於讀取或驗證VMM陣列。輸入功能電路3201接收數位位元值，並將那些數位值轉換為類比信號，然後使用此類比信號來施加電壓至陣列3204中之選定單元的控制閘極，所述電壓係藉由控制閘極解碼器3202來決定。同時，字元線解碼器3203同樣用於選擇選定單元所在之列。輸出神經元電路區塊3205執行陣列3204中之每一行(神經元)的單元之輸出動作。可以使用積分類比至數位轉換器(ADC)、連續近似(SAR)ADC或Σ△ADC來實施輸出電路區塊3205。
在一個具體例中，提供至輸入功能電路3201的數位值包括例如四個位元(DIN3、DIN2、DIN1及DIN0)，並且各種位元值對應於施加至控制閘極之不同數量的輸入脈衝。脈衝數量越多會 造成單元的輸出值(電流)越大。表11顯示位元值與脈衝值的一個實例：
Figure 108136072-A0101-12-0037-12
在上面的實例中，用於讀取單元值之4-位元數位值最多有16個脈衝。每個脈衝等於一個單位單元值(電流)。例如，如果Icell單位=1nA，則對於DIN[3-0]=0001，Icell=1*1nA=1nA；對於DIN[3-0]=1111，Icell=15*1nA=15nA。
在另一個具體例中，如表12所示，數位位元輸入使用數位位元位置總和來讀出單元值。在此，僅需要4個脈衝來評估4-位元數位值。例如，第一脈衝用於評估DIN0，第二脈衝用於評估DIN1，第三脈衝用於評估DIN2，第四脈衝用於評估DIN3。然後，根據位元位置計算來自四個脈衝之結果的總和。實現的數位位元總和方程式如下：輸出=2^0*DIN0+2^1*DIN1+2^2*DIN2+2^3* DIN3)*Icell單元。
例如，如果Icell單位=1nA，則對於DIN[3-0]=0001，Icell總數=0+0+0+1*1nA=1nA；對於DIN[3-0]=1111，Icell總數=8*1nA+4*1nA+2*1nA+1*1nA=15nA。
Figure 108136072-A0101-12-0038-13
圖33描繪電荷加法器3300的一個實例，其可用於在驗證操作期間計算VMM的輸出之總和，以獲得單一類比值，所述單一類比值代表輸出且可任選地接著被轉換為數位位元值。電荷加法器3300包括電流源3301及取樣保持電路，所述取樣保持電路包括開關3302及取樣保持(S/H)電容器3303。如圖所示，對於4-位元數位值的一個實例，具有4個S/H電路，以保持來自4個評估脈衝的值，其中在過程結束時計算這些值的總和。以與S/H電容器的2^n*DINn位元位置相關之比例來選擇S/H電容器3303；例如C_DIN3=x8 Cu，C_DIN2=x4 Cu，C_DIN1=x2 Cu，C_DIN0=x1 Cu。 電流源3301亦相應地進行比例分配。
圖34描繪電流加法器3400，其可以用於在驗證操作期間計算VMM的輸出之總和。電流加法器3400包括電流源3401、開關3402、開關3403及3404以及開關3405。如圖所示，對於4-位元數位值的一個實例，具有電流源電路，以保持來自4個評估脈衝的值，其中在過程結束時計算這些值的總和。電流源根據2^n*DINn位元位置進行比例分配；例如，I_DIN3=x8 Icell單位，I_DIN2=x4 Icell單位，I_DIN1=x2 Icell單位，I_DIN0=x1 Icell單位。
圖35描繪數位加法器3500，其接收複數個數位值，將它們相加在一起，並產生代表輸入的總和之輸出DOUT。在驗證操作期間可以使用數位加法器3500。如圖所示，對於4-位元數位值的一個實例，具有數位輸出位元，以保持來自4個評估脈衝的值，其中在過程結束時計算這些值的總和。數位輸出根據2^n*DINn位元位置來以數字方式放大；例如，DOUT3=x8 DOUT0，DOUT2=x4 DOUT1，DOUT1=x2 DOUT0，DOUT0=DOUT0。
圖36A顯示應用於輸出神經元以將單元電流轉換為數位輸出位元的積分雙斜率ADC 3600。由積分運算放大器3601及積分電容器3602組成的積分器將單元電流ICELL與參考電流IREF進行積分。如圖36B所示，在固定時間t1期間，將單元電流向上積分(Vout上升)，然後在時間t2期間，將參考電流向下積分(Vout下降)。電流Icell=t2/t1*IREF。例如，關於t1，對於10-位元數位位元解析度，使用1024個週期，而t2的週期數根據Icell值在0至1024個週期之間變化。
圖36C顯示應用於輸出神經元以將單元電流轉換為 數位輸出位元的積分單斜率ADC 3660。由積分運算放大器3661及積分電容器3662組成的積分器將單元電流ICELL進行積分。如圖36D所示，在時間t1期間，將一個單元電流向上積分(Vout上升，直到其達到Vref2)，並且在時間t2期間，將另一個單元電流向上積分。單元電流Icell=Cint*Vref2/t。脈衝計數器用於計數在積分時間t內的脈衝(數位輸出位元)數。例如，如圖所示，t1的數位輸出位元小於t2的數位輸出位元，這意味著t1期間的單元電流大於t2積分期間的單元電流。進行初始校準，以使用參考電流及固定時間來校準積分電容值(Cint=Tref*Iref/Vref2)。
圖36E顯示應用於輸出神經元以將單元電流轉換為數位輸出位元的積分雙斜率ADC 3680。積分雙斜率ADC 3680不使用積分運算放大器。將單元電流或參考電流直接在電容器3682上進行積分。脈衝計數器用於在積分時間期間對脈衝(數位輸出位元)進行計數。電流Icell=t2/t1*IREF。
圖36F顯示應用於輸出神經元以將單元電流轉換為數位輸出位元的積分單斜率ADC 3690。積分單斜率ADC 3680不使用積分運算放大器。將單元電流直接在電容器3692上進行積分。脈衝計數器用於在積分時間期間對脈衝(數位輸出位元)進行計數。單元電流Icell=Cint*Vref2/t。
圖37A顯示應用於輸出神經元以將單元電流轉換為數位輸出位元的SAR(連續近似暫存器)ADC3700。單元電流可以通過電阻而產生電壓降，以轉換為VCELL。或者，單元電流可以對S/H電容器進行向上充電，以轉換為VCELL。二元搜索用於計算從MSB位元(最高有效位元)開始的位元。根據來自SAR 3701的數位 位元，DAC 3702用來設置適當的類比參考電壓至比較器3703。比較器3703的輸出轉而回授至SAR 3701，以選擇下一個類比位準。如圖37B所示，對於4-位元數位輸出位元的實例，具有4個評估期間：第一個脈衝，其藉由在中間設置類比位準來評估DOUT3；接著，第二個脈衝，其藉由在上半部分的中間或下半部分的中間設置類比位準來評估DOUT2；依此類推。
圖38顯示應用於輸出神經元以將單元電流轉換為數位輸出位元的Σ△ADC3800。由運算放大器3801及電容器3805組成的積分器將來自選定單元電流與由1-位元電流DAC 3804產生的參考電流之電流總和進行積分。比較器3802比較積分輸出電壓與參考電壓。時控DFF 3803根據比較器3802的輸出提供數位輸出流。數位輸出流通常在輸出成為數位輸出位元之前進入數位濾波器。
應當注意，如本文所使用，術語「在...上方」及「在...上」均包含性地包括「直接在...上」(沒有中間材料、元件或空間設置在其間)及「間接在...上」(中間材料、元件或空間設置在其間)。同樣地，術語「相鄰」包括「直接相鄰」(沒有中間材料、元件或空間設置在其間)及「間接相鄰」(中間材料、元件或空間設置在其間)，「安裝至」包括「直接安裝至」(沒有中間材料、元件或空間設置在其間)及「間接安裝至」(中間材料、元件或空間設置在其間)，以及「電耦接至」包括「直接電耦接至」(沒有中間材料或元件在其間將元件電連接在一起)及「間接電耦接至」(中間材料或元件在其間將元件電連接在一起)。例如，「在基板上方」形成元件可以包括在基板上直接形成元件而在其間沒有中間材料/元件，以及在基板 上間接形成元件而在其間具有一個或多個中間材料/元件。

Claims (39)

  1. 一種對選定非揮發性記憶體單元進行程式化以儲存N個可能值中之一者的方法，其中N係大於2的整數，該選定非揮發性記憶體單元包括一浮動閘極，該方法包括：執行一粗略程式化過程，其包括：選擇M個不同電流值中之一者作為一第一臨界電流值，其中M<N；添加電荷至該浮動閘極；以及重複該添加步驟，直到在一驗證操作期間通過該選定非揮發性記憶體單元的電流小於或等於該第一臨界電流值為止；以及執行一精確程式化過程，直到在一驗證操作期間通過該選定非揮發性記憶體單元的電流小於或等於一第二臨界電流值為止。
  2. 如請求項1之方法，進一步包括：執行一第二精確程式化過程，直到在一驗證操作期間通過該選定非揮發性記憶體單元的電流小於或等於一第三臨界電流值為止。
  3. 如請求項1之方法，其中，該精確程式化過程包括施加具有逐漸增加的振幅之電壓脈衝至該選定非揮發性記憶體單元的控制閘極。
  4. 如請求項1之方法，其中，該精確程式化過程包括施加具有逐漸增加的持續時間之電壓脈衝至該選定非揮發性記憶體單元的控制閘極。
  5. 如請求項2之方法，其中，該第二精確程式化過程包括施加具有逐漸增加的振幅之電壓脈衝至該選定非揮發性記憶體單元的控制閘極。
  6. 如請求項2之方法，其中，該第二精確程式化過程包括施加具有逐漸增加的持續時間之電壓脈衝至該選定非揮發性記憶體單元的控制閘極。
  7. 如請求項1之方法，其中，該選定非揮發性記憶體單元包括一浮動閘極。
  8. 如請求項7之方法，其中，該選定非揮發性記憶體單元係一分離式閘極快閃記憶體單元。
  9. 如請求項1之方法，其中，該選定非揮發性記憶體單元係在一類比記憶體深度神經網路中之一向量矩陣乘法陣列內。
  10. 如請求項1之方法，進一步包括：在執行該粗略程式化過程之前：將該選定非揮發性記憶體單元程式化為狀態「0」；以及將該選定非揮發性記憶體單元抹除為一弱抹除位準。
  11. 如請求項1之方法，進一步包括：在執行該粗略程式化過程之前：將該選定非揮發性記憶體單元抹除為狀態「1」；以及將該選定非揮發性記憶體單元程式化為一弱程式化位準。
  12. 如請求項1之方法，進一步包括：對該選定非揮發性記憶體單元執行一讀取操作；使用一積分類比至數位轉換器，對在該讀取操作期間該選定非揮發性記憶體單元所汲取的電流進行積分，以產生數位位元。
  13. 如請求項1之方法，進一步包括：對該選定非揮發性記憶體單元執行一讀取操作；使用一Σ△(sigma delta)類比至數位轉換器，將在該讀取操作期間 該選定非揮發性記憶體單元所汲取的電流轉換為數位位元。
  14. 一種對選定非揮發性記憶體單元進行程式化以儲存N個可能值中之一者的方法，其中N係大於2的整數，該選定非揮發性記憶體單元包括一浮動閘極及一控制閘極，該方法包括：執行一粗略程式化過程，其包括：施加一第一程式化電壓至該選定非揮發性記憶體單元的控制閘極；施加具有一第一值的電流通過該選定非揮發性記憶體單元及確定該控制閘極的一第一值；施加具有一第二值的電流通過該選定非揮發性記憶體單元及確定該控制閘極的一第二值；根據該第一值及該第二值來確定一斜率值；根據該斜率值來確定一下一個程式化電壓值；從該選定非揮發性記憶體單元的浮動閘極添加電荷量，直到在一驗證操作期間通過該選定非揮發性記憶體單元的電流小於或等於一第一臨界電流值為止；以及執行一精確程式化過程，直到在一驗證操作期間通過該選定非揮發性記憶體單元的電流小於或等於一第二臨界電流值為止。
  15. 如請求項14之方法，進一步包括：執行一第二精確程式化過程，直到在一驗證操作期間通過該選定非揮發性記憶體單元的電流小於或等於一第三臨界電流值為止。
  16. 如請求項14之方法，其中，該精確程式化過程包括施加具有逐漸增加的振幅之電壓脈衝至該選定非揮發性記憶體單元的控制閘極。
  17. 如請求項14之方法，其中，該精確程式化過程包括施加具有逐漸增加的持續時間之電壓脈衝至該選定非揮發性記憶體單元的控制閘極。
  18. 如請求項15之方法，其中，該精確程式化過程包括施加具有逐漸增加的振幅之電壓脈衝至該選定非揮發性記憶體單元的控制閘極。
  19. 如請求項15之方法，其中，該精確程式化過程包括施加具有逐漸增加的持續時間之電壓脈衝至該選定非揮發性記憶體單元的控制閘極。
  20. 如請求項14之方法，其中，該選定非揮發性記憶體單元包括一浮動閘極。
  21. 如請求項20之方法，其中，該選定非揮發性記憶體單元係一分離式閘極快閃記憶體單元。
  22. 如請求項14之方法，其中，該選定非揮發性記憶體單元係在一類比記憶體深度神經網路中之一向量矩陣乘法陣列內。
  23. 如請求項14之方法，進一步包括：在執行該粗略程式化過程之前：將該選定非揮發性記憶體單元程式化為狀態「0」；以及將該選定非揮發性記憶體單元抹除為一弱抹除位準。
  24. 如請求項14之方法，進一步包括：在執行該粗略程式化過程之前：將該選定非揮發性記憶體單元抹除為狀態「1」；以及將該選定非揮發性記憶體單元程式化為一弱程式化位準。
  25. 如請求項14之方法，進一步包括：對該選定非揮發性記憶體單元執行一讀取操作；使用一積分類比至數位轉換器，對在該讀取操作期間該選定非揮發性記憶體單元所汲取的電流進行積分，以產生數位位元。
  26. 如請求項14之方法，進一步包括：對該選定非揮發性記憶體單元執行一讀取操作；使用一Σ△類比至數位轉換器，將在該讀取操作期間該選定非揮發性記憶體單元所汲取的電流轉換為數位位元。
  27. 一種對選定非揮發性記憶體單元進行程式化以儲存N個可能值中之一者的方法，其中N係大於2的整數，該選定非揮發性記憶體單元包括一浮動閘極及一控制閘極，該方法包括：執行一粗略程式化過程，其包括：選擇M個不同電流值中之一者作為一臨界電流值，其中M<N；施加一程式化電壓至該選定非揮發性記憶體單元的控制閘極；重複該施加步驟，並且在每次執行該施加步驟時將該程式化電壓增加一增量電壓，直到在一驗證操作期間通過該選定非揮發性記憶體單元的電流小於或等於該臨界電流值為止；以及執行一精確程式化過程，直到在一驗證操作期間通過該選定非揮發性記憶體單元的電流小於或等於一第二臨界電流值為止。
  28. 如請求項27之方法，進一步包括：執行一精確程式化過程，直到在一驗證操作期間通過該選定非揮發性記憶體單元的電流小於或等於一第三臨界電流值為止。
  29. 如請求項27之方法，其中，該精確程式化過程包括施加具有逐漸增加的振幅之電壓脈衝至該選定非揮發性記憶體 單元的控制閘極。
  30. 如請求項27之方法，其中，該精確程式化過程包括施加具有逐漸增加的持續時間之電壓脈衝至該選定非揮發性記憶體單元的控制閘極。
  31. 如請求項28之方法，其中，該精確程式化過程包括施加具有逐漸增加的振幅之電壓脈衝至該選定非揮發性記憶體單元的控制閘極。
  32. 如請求項28之方法，其中，該精確程式化過程包括施加具有逐漸增加的持續時間之電壓脈衝至該選定非揮發性記憶體單元的控制閘極。
  33. 如請求項27之方法，其中，該選定非揮發性記憶體單元包括一浮動閘極。
  34. 如請求項33之方法，其中，該選定非揮發性記憶體單元係一分離式閘極快閃記憶體單元。
  35. 如請求項27之方法，其中，該選定非揮發性記憶體單元係在一類比記憶體深度神經網路中之一向量矩陣乘法陣列內。
  36. 如請求項27之方法，進一步包括：在執行該粗略程式化過程之前：將該選定非揮發性記憶體單元程式化為狀態「0」；以及將該選定非揮發性記憶體單元抹除為一弱抹除位準。
  37. 如請求項27之方法，進一步包括：在執行該粗略程式化過程之前：將該選定非揮發性記憶體單元抹除為狀態「1」；以及 將該選定非揮發性記憶體單元程式化為一弱程式化位準。
  38. 如請求項27之方法，進一步包括：對該選定非揮發性記憶體單元執行一讀取操作；使用一積分類比至數位轉換器，對在該讀取操作期間該選定非揮發性記憶體單元所汲取的電流進行積分，以產生數位位元。
  39. 如請求項27之方法，進一步包括：對該選定非揮發性記憶體單元執行一讀取操作；使用一Σ△類比至數位轉換器，將在該讀取操作期間該選定非揮發性記憶體單元所汲取的電流轉換為數位位元。
TW108136072A 2018-10-16 2019-10-04 對選定非揮發性記憶體單元進行程式化之方法 TWI751441B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862746470P 2018-10-16 2018-10-16
US62/746,470 2018-10-16
US16/231,231 US10741568B2 (en) 2018-10-16 2018-12-21 Precision tuning for the programming of analog neural memory in a deep learning artificial neural network
US16/231,231 2018-12-21
PCT/US2019/043524 WO2020081140A1 (en) 2018-10-16 2019-07-25 Precision tuning for the programming of analog neural memory in a deep learning artificial neural network
WOPCT/US19/43524 2019-07-25

Publications (2)

Publication Number Publication Date
TW202025172A TW202025172A (zh) 2020-07-01
TWI751441B true TWI751441B (zh) 2022-01-01

Family

ID=70160163

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108136072A TWI751441B (zh) 2018-10-16 2019-10-04 對選定非揮發性記憶體單元進行程式化之方法
TW110147108A TWI799006B (zh) 2018-10-16 2019-10-04 讀取選定非揮發性記憶體單元之方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW110147108A TWI799006B (zh) 2018-10-16 2019-10-04 讀取選定非揮發性記憶體單元之方法

Country Status (7)

Country Link
US (4) US10741568B2 (zh)
EP (2) EP3867911B1 (zh)
JP (2) JP7385657B2 (zh)
KR (2) KR20220025131A (zh)
CN (2) CN112868063B (zh)
TW (2) TWI751441B (zh)
WO (1) WO2020081140A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10741568B2 (en) * 2018-10-16 2020-08-11 Silicon Storage Technology, Inc. Precision tuning for the programming of analog neural memory in a deep learning artificial neural network
CN112151095A (zh) * 2019-06-26 2020-12-29 北京知存科技有限公司 存算一体芯片、存储单元阵列结构
US11755899B2 (en) * 2019-11-11 2023-09-12 Silicon Storage Technology, Inc. Precise programming method and apparatus for analog neural memory in an artificial neural network
US11568021B2 (en) 2020-02-21 2023-01-31 Alibaba Group Holding Limited Vector-vector multiplication techniques for processing systems
US11568252B2 (en) 2020-06-29 2023-01-31 Alibaba Group Holding Limited Variable input size techniques for neural networks
US11875852B2 (en) 2020-07-06 2024-01-16 Silicon Storage Technology, Inc. Adaptive bias decoder to provide a voltage to a control gate line in an analog neural memory array in artificial neural network
CN112149813B (zh) * 2020-09-18 2022-05-13 明峰医疗系统股份有限公司 基于神经网络的探测器积分电容动态调节方法
CN116615784A (zh) * 2020-12-23 2023-08-18 硅存储技术股份有限公司 深度学习人工神经网络中模拟神经存储器的输入和数字输出机制
US20220215239A1 (en) * 2021-01-01 2022-07-07 Silicon Storage Technology, Inc. Digital output mechanisms for analog neural memory in a deep learning artificial neural network
TWI770922B (zh) * 2021-03-31 2022-07-11 財團法人工業技術研究院 低精度神經網路的資料特徵擴增系統及方法
US20220374161A1 (en) * 2021-05-19 2022-11-24 Silicon Storage Technology, Inc. Output circuit for analog neural memory in a deep learning artificial neural network
FR3127599B1 (fr) * 2021-09-29 2024-06-14 St Microelectronics Grenoble 2 Circuit intégré comprenant une mémoire non volatile
WO2023146567A1 (en) * 2022-01-28 2023-08-03 Silicon Storage Technology, Inc. Artificial neural network comprising an analog array and a digital array
CN116523013B (zh) * 2023-07-04 2023-10-20 清华大学 人工神经元及人工神经网络

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050162916A1 (en) * 2004-01-27 2005-07-28 Guterman Daniel C. Efficient verification for coarse/fine programming of non-volatile memory
US20060291285A1 (en) * 2003-02-06 2006-12-28 Nima Mokhlesi System and method for programming cells in non-volatile integrated memory devices
US20080106944A1 (en) * 2006-11-03 2008-05-08 Hynix Semiconductor Inc. Method for setting programming start bias for flash memory device and programming method using the same
TW200822120A (en) * 2006-09-26 2008-05-16 Sandisk Corp Hybrid programming methods and systems for non-volatile memory storage elements

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
JP3260357B2 (ja) 1990-01-24 2002-02-25 株式会社日立製作所 情報処理装置
TW270192B (en) 1995-05-11 1996-02-11 Ind Tech Res Inst Artificial neural network architecture
JP3930074B2 (ja) * 1996-09-30 2007-06-13 株式会社ルネサステクノロジ 半導体集積回路及びデータ処理システム
US6141241A (en) * 1998-06-23 2000-10-31 Energy Conversion Devices, Inc. Universal memory element with systems employing same and apparatus and method for reading, writing and programming same
US6747310B2 (en) 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
US7073103B2 (en) 2002-12-05 2006-07-04 Sandisk Corporation Smart verify for multi-state memories
KR100738788B1 (ko) 2004-12-07 2007-07-12 주식회사 엘지화학 폴리벤즈이미다졸-벤즈아마이드 공중합체와 그의제조방법, 및 이로부터 제조된 전해질 막과 그의 제조방법
JP2007034537A (ja) * 2005-07-25 2007-02-08 Sony Corp 複合型記憶装置、データ書込方法及びプログラム
KR101208312B1 (ko) 2006-05-12 2012-12-05 애플 인크. 조절가능한 용량을 가진 메모리 디바이스
US7450426B2 (en) * 2006-10-10 2008-11-11 Sandisk Corporation Systems utilizing variable program voltage increment values in non-volatile memory program operations
WO2009152037A2 (en) * 2008-06-12 2009-12-17 Sandisk Corporation Nonvolatile memory and method for correlated multiple pass programming
US8208310B2 (en) * 2010-05-04 2012-06-26 Sandisk Technologies Inc. Mitigating channel coupling effects during sensing of non-volatile storage elements
US8681563B1 (en) 2011-04-04 2014-03-25 Sk Hynix Memory Solutions Inc. Flash multiple-pass write with accurate first-pass write
US9195586B2 (en) * 2012-02-23 2015-11-24 Hgst Technologies Santa Ana, Inc. Determining bias information for offsetting operating variations in memory cells based on wordline address
JP6563313B2 (ja) 2014-11-21 2019-08-21 株式会社半導体エネルギー研究所 半導体装置、及び電子機器
US20170110194A1 (en) * 2015-10-19 2017-04-20 Silicon Storage Technology, Inc. Power Driven Optimization For Flash Memory
US11308383B2 (en) 2016-05-17 2022-04-19 Silicon Storage Technology, Inc. Deep learning neural network classifier using non-volatile memory array
CN116665735A (zh) * 2016-09-21 2023-08-29 合肥睿科微电子有限公司 存储装置
US10748630B2 (en) 2017-11-29 2020-08-18 Silicon Storage Technology, Inc. High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks
US10910061B2 (en) * 2018-03-14 2021-02-02 Silicon Storage Technology, Inc. Method and apparatus for programming analog neural memory in a deep learning artificial neural network
US20210118894A1 (en) * 2018-10-16 2021-04-22 Silicon Storage Technology, Inc. Input and digital output mechanisms for analog neural memory in a deep learning artificial neural network
US10741568B2 (en) * 2018-10-16 2020-08-11 Silicon Storage Technology, Inc. Precision tuning for the programming of analog neural memory in a deep learning artificial neural network
KR102637733B1 (ko) 2018-10-31 2024-02-19 삼성전자주식회사 뉴럴 네트워크 프로세서 및 그것의 컨볼루션 연산 방법
US20200159495A1 (en) 2018-11-15 2020-05-21 Samsung Electronics Co., Ltd. Processing apparatus and method of processing add operation therein
KR20200061164A (ko) 2018-11-23 2020-06-02 삼성전자주식회사 뉴럴 네트워크 연산 수행을 위한 뉴럴 네트워크 장치, 뉴럴 네트워크 장치의 동작 방법 및 뉴럴 네트워크 장치를 포함하는 애플리케이션 프로세서
CN110728358B (zh) 2019-09-30 2022-06-10 上海商汤智能科技有限公司 基于神经网络的数据处理方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060291285A1 (en) * 2003-02-06 2006-12-28 Nima Mokhlesi System and method for programming cells in non-volatile integrated memory devices
US20050162916A1 (en) * 2004-01-27 2005-07-28 Guterman Daniel C. Efficient verification for coarse/fine programming of non-volatile memory
TW200822120A (en) * 2006-09-26 2008-05-16 Sandisk Corp Hybrid programming methods and systems for non-volatile memory storage elements
US20080106944A1 (en) * 2006-11-03 2008-05-08 Hynix Semiconductor Inc. Method for setting programming start bias for flash memory device and programming method using the same

Also Published As

Publication number Publication date
WO2020081140A1 (en) 2020-04-23
US20230031487A1 (en) 2023-02-02
US20200119028A1 (en) 2020-04-16
TW202213360A (zh) 2022-04-01
TWI799006B (zh) 2023-04-11
CN112868063B (zh) 2022-03-22
KR20210049179A (ko) 2021-05-04
US10741568B2 (en) 2020-08-11
EP3867911B1 (en) 2023-03-29
CN112868063A (zh) 2021-05-28
EP4202930A1 (en) 2023-06-28
US20210098477A1 (en) 2021-04-01
US11482530B2 (en) 2022-10-25
JP7385657B2 (ja) 2023-11-22
KR20220025131A (ko) 2022-03-03
EP3867911A1 (en) 2021-08-25
US20200335511A1 (en) 2020-10-22
TW202025172A (zh) 2020-07-01
KR102361803B1 (ko) 2022-02-15
CN114580616A (zh) 2022-06-03
JP2022505073A (ja) 2022-01-14
JP2024023266A (ja) 2024-02-21
US11729970B2 (en) 2023-08-15

Similar Documents

Publication Publication Date Title
TWI751441B (zh) 對選定非揮發性記憶體單元進行程式化之方法
JP7346579B2 (ja) 深層学習人工ニューラルネットワーク内のアナログニューラルメモリにおいてニューロン電流をニューロン電流ベースの時間パルスに変換するためのシステム
TWI805909B (zh) 用於深度學習人工神經網路中之類比神經記憶體的可組態輸入塊及輸出塊與實體佈局
JP7340694B2 (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのプログラミングのための精密な調整
JP7340101B2 (ja) 人工ニューラルネットワークにおけるアナログニューラルメモリのための精密なプログラミング方法及び装置
TWI784816B (zh) 深度學習人工神經網路中類比神經記憶體之輸入及數位輸出機制
TWI814383B (zh) 深度學習人工神經網路中類比神經記憶體的輸出電路
TW202324211A (zh) 可配置為以類比形式或數位形式儲存神經記憶體權重資料的混合記憶體系統
WO2022245384A1 (en) Output circuit for analog neural memory in a deep learning artificial neural network
WO2024063792A1 (en) Verification method and system in artificial neural network array