TWI708249B - 用於在深度學習人工類神經網路中的類比類神經記憶體之高電壓產生之方法及設備 - Google Patents

用於在深度學習人工類神經網路中的類比類神經記憶體之高電壓產生之方法及設備 Download PDF

Info

Publication number
TWI708249B
TWI708249B TW108114755A TW108114755A TWI708249B TW I708249 B TWI708249 B TW I708249B TW 108114755 A TW108114755 A TW 108114755A TW 108114755 A TW108114755 A TW 108114755A TW I708249 B TWI708249 B TW I708249B
Authority
TW
Taiwan
Prior art keywords
cells
voltage
programmed
programming
high voltage
Prior art date
Application number
TW108114755A
Other languages
English (en)
Other versions
TW201946064A (zh
Inventor
曉萬 陳
順 武
史丹利 洪
英 李
維平 蒂瓦里
恩漢 杜
Original Assignee
美商超捷公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商超捷公司 filed Critical 美商超捷公司
Publication of TW201946064A publication Critical patent/TW201946064A/zh
Application granted granted Critical
Publication of TWI708249B publication Critical patent/TWI708249B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G11C16/0425—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing a merged floating gate and select transistor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/30—Power supply circuits
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
    • H01L29/40—Electrodes ; Multistep manufacturing processes therefor
    • H01L29/41—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions
    • H01L29/423—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions not carrying the current to be rectified, amplified or switched
    • H01L29/42312—Gate electrodes for field effect devices
    • H01L29/42316—Gate electrodes for field effect devices for field-effect transistors
    • H01L29/4232—Gate electrodes for field effect devices for field-effect transistors with insulated gate
    • H01L29/42324—Gate electrodes for transistors with a floating gate
    • H01L29/42328—Gate electrodes for transistors with a floating gate with at least one additional gate other than the floating gate and the control gate, e.g. program gate, erase gate or select gate
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
    • H01L29/66—Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/68—Types of semiconductor device ; Multistep manufacturing processes therefor controllable by only the electric current supplied, or only the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched
    • H01L29/76—Unipolar devices, e.g. field effect transistors
    • H01L29/772—Field effect transistors
    • H01L29/78—Field effect transistors with field effect produced by an insulated gate
    • H01L29/788—Field effect transistors with field effect produced by an insulated gate with floating gate
    • H01L29/7881—Programmable transistors with only two possible levels of programmation
    • H01L29/7883—Programmable transistors with only two possible levels of programmation charging by tunnelling of carriers, e.g. Fowler-Nordheim tunnelling
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
    • H01L29/66—Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/68—Types of semiconductor device ; Multistep manufacturing processes therefor controllable by only the electric current supplied, or only the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched
    • H01L29/76—Unipolar devices, e.g. field effect transistors
    • H01L29/772—Field effect transistors
    • H01L29/78—Field effect transistors with field effect produced by an insulated gate
    • H01L29/788—Field effect transistors with field effect produced by an insulated gate with floating gate
    • H01L29/7881—Programmable transistors with only two possible levels of programmation
    • H01L29/7884—Programmable transistors with only two possible levels of programmation charging by hot carrier injection
    • H01L29/7885—Hot carrier injection from the channel
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B41/00—Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates
    • H10B41/30—Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates characterised by the memory core region
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G11C16/14—Circuits for erasing electrically, e.g. erase voltage switching circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Ceramic Engineering (AREA)
  • Neurology (AREA)
  • Read Only Memory (AREA)
  • Non-Volatile Memory (AREA)
  • Measurement Of Current Or Voltage (AREA)
  • Semiconductor Memories (AREA)
  • Analogue/Digital Conversion (AREA)
  • Control Of Electrical Variables (AREA)

Abstract

揭示用於一種高電壓產生演算法及系統的許多實施例，該高電壓產生演算法及系統用於產生用於在一深度學習人工類神經網路中使用的類比類神經記憶體之特定程式化操作所需的高電壓。亦揭示不同的校準演算法及系統。選用地，可利用補償措施來補償隨著正在程式化的單元數目改變之電壓或電流的變化。

Description

用於在深度學習人工類神經網路中的類比類神經記憶體之高電壓產生之方法及設備 【相關申請案之交互參照】
本申請案主張2018年5月1日提出申請之美國臨時專利申請案第62/665,359號之優先權，其名稱為「Method and Apparatus for High Voltage Generation for Analog Neural Memory in Deep Learning Artificial Neural Network」，以及主張2018年7月23日提出申請之美國專利申請案第16/042,972號之優先權，其名稱為「Method and Apparatus for High Voltage Generation for Analog Neural Memory in Deep Learning Artificial Neural Network」。
揭示用於一種高電壓產生演算法及系統的許多實施例，該高電壓產生演算法及系統用於產生用於在一深度學習人工類神經網路中使用的類比類神經記憶體之特定程式化操作所需的高電壓。
人工類神經網路模仿生物神經網路(例如，動物的中樞神經系統，特別係大腦)，其用以評估或估計可取決於大數目的輸入 且通常未知的函數。人工類神經網路通常包括在彼此間交換訊息之互連的「神經元」的層。
圖1繪示一人工類神經網路，其中圓形表示神經元的輸入或層。連接(稱為突觸)係以箭頭表示，並具有可基於經驗調諧的數字權重。此使類神經網路適應輸入並能夠學習。一般而言，類神經網路包括多個輸入的一層。一般而言有一或多個神經元中間層，及提供類神經網路的輸出之一神經元輸出層。各級的神經元基於自突觸接收之資料個別地或共同地做決策。
用於高效能資訊處理的人工類神經網路之發展中的主要挑戰之一者係缺少適當的硬體技術。的確，實際的類神經網路依賴非常大數目的突觸，而在神經元之間實現高連接性，亦即，非常高的計算平行性。原理上，此種複雜性可以數位超級電腦或專用圖形處理單元叢集實現。然而，除了高成本以外，此等方法與生物網路相比時也苦於中等的能量效率，主要因為生物網路實施低精確度類比計算而消耗更少的能量。CMOS類比電路已用於人工類神經網路，但大多數CMOS實作的突觸在給定高數目的神經元及突觸情況下已過於龐大。
申請人先前在美國專利申請案第15/594,439號(其以引用方式併入本文中)中揭示一種人工(類比)類神經網路，其利用一或多個非揮發性記憶體陣列作為突觸。非揮發性記憶體陣列作為類比神經形態記憶體進行操作。該類神經網路裝置包括一第一複數個突觸及一第一複數個神經元，該第一複數個突觸經組態以接收一第一複數個輸入並由此產生一第一複數個輸出，該第一複數個神經元經組態 以接收該第一複數個輸出。該第一複數個突觸包括複數個記憶體單元，其中該等記憶體單元之各者包括形成於一半導體基材中之間隔開的源極區域及汲極區域，其中一通道區域在該源極區域與該汲極區域之間延伸；一浮閘，其設置於該通道區域之一第一部分上方並與該第一部分絕緣；及一非浮閘，其設置於該通道區域之一第二部分上方並與該第二部分絕緣。該複數個記憶體單元之各者經組態來儲存對應於該浮閘上之數個電子的權重值。該複數個記憶體單元經組態以使該第一複數個輸入乘以所儲存的該等權重值，以產生該第一複數個輸出。
該類比神經形態記憶體系統中所用的各非揮發性記憶體單元必須經抹除及程式化以在該浮閘中保持一非常特定且精確的電荷量。例如，各浮閘必須保持N個不同值之一者，其中N係可由各單元指示之不同權重的數目。N的實例包括16、32、及64。
VMM系統中的一個挑戰係以下事實：程式化操作所需之總電壓量及總電流量隨著正在程式化的單元數目改變及各單元中所儲存之相對電荷量改變而不斷變化。這些極端的電壓及電流變化可導致操作溫度及能量消耗的劇烈變化。
所需要的是一種高電壓產生系統，該高電壓產生系統基於在任何給定時間待程式化之單元數目來補償系統的電壓及電流需求的變化。
揭示用於一種高電壓產生演算法及系統的許多實施例，該高電壓產生演算法及系統用於產生用於在一深度學習人工類神經網路中使用的類比類神經記憶體之特定程式化操作所需的高電壓。
12‧‧‧半導體基材/基材
14‧‧‧源極區域/汲極
16‧‧‧汲極區域/源極/源極區域
18‧‧‧通道區域
20‧‧‧浮閘
22‧‧‧字線端子/控制閘
24‧‧‧位元線
26‧‧‧閘極氧化物
28‧‧‧選擇閘
30‧‧‧抹除閘
31‧‧‧數位轉類比轉換器
32‧‧‧向量矩陣乘法(VMM)
32a‧‧‧向量矩陣乘法(VMM)；輸入層
32b‧‧‧向量矩陣乘法(VMM)；隱藏層
32c‧‧‧隱藏層
32d‧‧‧完全連接的層
32e‧‧‧完全連接的層
33‧‧‧非揮發性記憶體單元/記憶體陣列
34‧‧‧字線閘解碼器
35‧‧‧控制閘解碼器
36‧‧‧位元線解碼器
37‧‧‧源極線解碼器
38‧‧‧差動加算器/加總運算放大器
39‧‧‧激勵函數電路
210‧‧‧記憶體單元
310‧‧‧四閘極記憶體單元/快閃記憶體單元/記憶體單元
410‧‧‧分離閘三閘極記憶體單元/快閃記憶體單元/記憶體單元
510‧‧‧堆疊閘極記憶體單元/快閃記憶體單元/記憶體單元
900‧‧‧神經元VMM/VMM
901‧‧‧記憶體陣列
902‧‧‧參考陣列
903‧‧‧控制閘線
904‧‧‧抹除閘線
1000‧‧‧神經元VMM/VMM
1001‧‧‧參考陣列
1002‧‧‧參考陣列
1003‧‧‧記憶體陣列
1200‧‧‧神經元VMM/VMM
1201‧‧‧參考陣列
1202‧‧‧參考陣列
1203‧‧‧記憶體陣列
1400‧‧‧神經元VMM/VMM
1401‧‧‧參考陣列
1402‧‧‧參考陣列
1403‧‧‧記憶體陣列
1404‧‧‧疊接電晶體
1405‧‧‧多工器
1414‧‧‧疊接多工器
1600‧‧‧神經元VMM/VMM
1601‧‧‧參考陣列
1602‧‧‧參考陣列
1603‧‧‧記憶體陣列
1800‧‧‧VMM系統
1801‧‧‧類比偏壓電路/位元線PE驅動器
1802‧‧‧位元線PE驅動器
1803‧‧‧低電壓列解碼器
1804‧‧‧控制邏輯
1805‧‧‧高電壓列解碼器
1806‧‧‧參考單元低電壓行解碼器
1807‧‧‧VMM陣列/陣列
1808‧‧‧位元線多工器
1809‧‧‧激勵函數電路及加算器
1810‧‧‧冗餘陣列
1811‧‧‧NVR磁區(非揮發性暫存器，又稱作資訊磁區)
1812‧‧‧參考陣列
1850‧‧‧參考系統
1851‧‧‧參考陣列低電壓列解碼器
1852‧‧‧參考陣列
1853‧‧‧參考陣列高電壓列解碼器
1854‧‧‧參考陣列低電壓行解碼器
1900‧‧‧程式化方法
1901‧‧‧步驟
1902‧‧‧步驟
1903‧‧‧步驟
1904‧‧‧步驟
1905‧‧‧步驟
1906‧‧‧步驟
1907‧‧‧步驟
1908‧‧‧步驟
1909‧‧‧步驟
1910‧‧‧步驟
1911‧‧‧步驟
1912‧‧‧步驟
1913‧‧‧步驟
1914‧‧‧步驟
2001‧‧‧步驟
2002‧‧‧步驟
2003‧‧‧步驟
2004‧‧‧步驟
2101‧‧‧波形/序列
2103‧‧‧波形
2104‧‧‧波形
2201‧‧‧波形
2302‧‧‧信號
2304‧‧‧信號
2305‧‧‧信號
2306‧‧‧時序
2400‧‧‧VMM系統
2401‧‧‧電荷泵
2402‧‧‧電荷泵調節器
2403‧‧‧高電壓位準產生器
2404‧‧‧演算法控制器
2405‧‧‧類比電路系統
2406‧‧‧控制邏輯
2407‧‧‧列解碼器
2408‧‧‧VMM矩陣/陣列
2409‧‧‧高電壓解碼器
2410‧‧‧行解碼器
2411‧‧‧位元線驅動器
2412‧‧‧高電壓產生區塊/高電壓產生器
2501‧‧‧啟用信號
2503‧‧‧比較器
2504‧‧‧二極體
2505‧‧‧電阻器
2506‧‧‧二極體
2507‧‧‧電阻器
2508‧‧‧二極體
2509‧‧‧電阻器
2601‧‧‧高電壓緩衝器
2602‧‧‧可調整電流槽/可調整電流槽Icomp
2701‧‧‧高電壓緩衝器
2702‧‧‧可調整電流槽/可調整電流槽Icomp
2801‧‧‧高電壓緩衝器
2900‧‧‧程式化電流補償區塊
2901‧‧‧群組
2902‧‧‧群組
2903‧‧‧虛置位元線
2904‧‧‧虛置位元線
3000‧‧‧高電壓解碼器區塊
3001‧‧‧NMOS電晶體
3002‧‧‧NMOS電晶體
3003‧‧‧NMOS電晶體
3004‧‧‧NMOS電晶體
3005‧‧‧源極線
3010‧‧‧HV供應
3011‧‧‧HV補償信號
3100‧‧‧測試電路
3101‧‧‧高電壓傳輸器
3102‧‧‧NMOS電晶體
3103‧‧‧NMOS疊接電晶體
3201‧‧‧NMOS電晶體
3301‧‧‧電荷泵
3302‧‧‧高電壓運算放大器
3303‧‧‧電荷泵調節器
3401‧‧‧SC(開關帽蓋)網路
3402‧‧‧SC(開關帽蓋)網路
3403‧‧‧高電壓運算放大器
3404‧‧‧可調整電容器/高電壓運算放大器
3405‧‧‧開關
3406‧‧‧可調整電容器
3407‧‧‧開關
3408‧‧‧開關
3409‧‧‧開關
3500‧‧‧高電壓運算放大器
3600‧‧‧高電壓運算放大器
3700‧‧‧行驅動器
3701‧‧‧鎖存器
3702‧‧‧反相器
3703‧‧‧NOR閘
3704‧‧‧PMOS電晶體
3705‧‧‧NMOS電晶體
3706‧‧‧NMOS電晶體
3707‧‧‧感測放大器
3800‧‧‧感測放大器
3801‧‧‧可調整電流參考源
3802‧‧‧開關
3803‧‧‧NMOS電晶體
3804‧‧‧電容器
3805‧‧‧開關
3806‧‧‧電流源
3807‧‧‧反相器
3808‧‧‧記憶體單元
3900‧‧‧參考陣列電路系統
3901‧‧‧位元線參考解碼器
39010‧‧‧參考單元
39021‧‧‧參考單元
39022‧‧‧參考單元
3902N-1‧‧‧參考單元
3902N‧‧‧參考單元
4000‧‧‧參考陣列電路系統
4000N‧‧‧參考單元
4001‧‧‧位元線參考解碼器
40020‧‧‧參考單元
40021‧‧‧參考單元
40022‧‧‧參考單元
4002N‧‧‧參考單元
4002N-1‧‧‧參考單元
BLR0‧‧‧端子
BLR1‧‧‧端子
BLR2‧‧‧端子
BLR3‧‧‧端子
C1‧‧‧層/特徵圖譜
C2‧‧‧層/特徵圖譜
C3‧‧‧層/特徵圖譜
CB1‧‧‧突觸
CB2‧‧‧突觸
CB3‧‧‧突觸
CB4‧‧‧突觸
CG0‧‧‧控制閘
CG1‧‧‧控制閘
CG2‧‧‧控制閘
CG3‧‧‧控制閘
EN‧‧‧啟用信號
Icomp‧‧‧程式化補償電流/補償
P1‧‧‧激勵函數
P2‧‧‧激勵函數
S0‧‧‧輸入
S1‧‧‧輸入
S2‧‧‧輸入
S3‧‧‧輸出
T1‧‧‧持續期間
T3‧‧‧持續期間
WL0‧‧‧字線/電壓輸入
WL1‧‧‧字線/電壓輸入
WL2‧‧‧字線/電壓輸入
WL3‧‧‧字線/電壓輸入
圖1係繪示一人工類神經網路的圖。
圖2係習知的2閘極非揮發性記憶體單元的截面側視圖。
圖3係習知的4閘極非揮發性記憶體單元的截面側視圖。
圖4係習知的3閘極非揮發性記憶體單元的側截面側視圖。
圖5係另一習知的2閘極非揮發性記憶體單元的截面側視圖。
圖6係繪示利用非揮發性記憶體陣列的例示性人工類神經網路之不同級的圖。
圖7係繪示一向量乘法器矩陣的方塊圖。
圖8係繪示一向量乘法器矩陣之各種級的方塊圖。
圖9描繪一向量乘法器矩陣的另一實施例。
圖10描繪一向量乘法器矩陣的另一實施例。
圖11描繪用於對圖10之向量乘法器矩陣執行操作的操作電壓。
圖12描繪一向量乘法器矩陣的另一實施例。
圖13描繪用於對圖12之向量乘法器矩陣執行操作的操作電壓。
圖14描繪一向量乘法器矩陣的另一實施例。
圖15描繪用於對圖14之向量乘法器矩陣執行操作的操作電壓。
圖16描繪一向量乘法器矩陣的另一實施例。
圖17描繪用於對圖216之向量乘法器矩陣執行操作的操作電壓。
圖18描繪一種包含一向量乘法器矩陣的記憶體系統。
圖19A、圖19B、及圖19C描繪用於程式化一向量乘法器矩陣中之一或多個記憶體單元的演算法。
圖20描繪用於在程式化一向量乘法器矩陣中之一或多個記憶體單元期間產生查找表的校準演算法。
圖21描繪用於在不同程式化實施例期間所施加之電壓的波形。
圖22描繪用於在不同程式化實施例期間所施加之電壓的波形。
圖23描繪用於在不同程式化實施例期間所施加之電壓的波形。
圖24描繪用於搭配向量乘法器矩陣系統使用的高電壓產生區塊。
圖25描繪一電荷泵及電荷泵調整電路。
圖26描繪具有一電流補償電路之一高電壓產生區塊。
圖27描繪具有一電流補償電路的另一高電壓產生區塊。
圖28描繪另一高電壓產生區塊。
圖29描繪用於提供電流補償之虛置位元線。
圖30描繪一高電壓解碼器。
圖31描繪一高電壓測試電路。
圖32描繪一高電壓產生區塊。
圖33描繪另一高電壓產生區塊。
圖34描繪另一高電壓產生區塊。
圖35描繪一高電壓運算放大器。
圖36描繪另一高電壓運算放大器。
圖37描繪一行驅動器。
圖38描繪一行感測放大器。
圖39描繪一讀取參考電路。
圖40描繪另一讀取參考電路。
本發明的人工類神經網路利用CMOS技術與非揮發性記憶體陣列的組合。
非揮發性記憶體單元
數位非揮發性記憶體係已知。例如，美國專利第5,029,130號(「'130專利」)揭示分離閘非揮發性記憶體單元之一陣列，且係為所有目的以引用方式併入本文中。此一類記憶體單元顯示於圖2中。各記憶體單元210包括形成在半導體基材12中的源極區域14及汲極區域16，其間具有通道區域18。浮閘20形成在通道區域18的第一部分上方且與該第一部分絕緣(且控制該第一部分的導電性)，及形成在源極區域16的一部分上方。字線端子22(其一般耦接至字線)具有設置在通道區域18之第二部分上方且與該第二部分絕緣(且控制該第二部分的導電性)的第一部分，及向上並於浮閘20上方延伸的第二部分。浮閘20及字線端子22藉由閘極氧化物與基材12絕緣。位元線24耦接至汲極區域16。
記憶體單元210係藉由將高正電壓置於字線端子22上而抹除(其中將電子從浮閘移除)，其導致浮閘20上的電子經由富爾諾罕穿隧而從浮閘20穿隧通過中間絕緣體至字線端子22。
記憶體單元210係藉由將正電壓置於字線端子22上及將正電壓置於源極16上而程式化(其中將電子置於浮閘上)。電子流將自源極16朝向汲極14流動。當電子抵達字線端子22與浮閘20之間的間隙時，其等將加速且變成經加熱的。由於來自浮閘20的吸引靜電力，該等經加熱電子的一些將通過閘極氧化物26注入至浮閘20上。
記憶體單元210係藉由將正讀取電壓置於汲極14及字線端子22上(其導通字線端子下方的通道區域)而讀取。若浮閘20帶正電荷(亦即電子經抹除並正耦接至汲極16)，則浮閘20下方的通道區域部分亦經接通，且電流將跨通道區域18流動，其係感測為經抹除或「1」狀態。若浮閘20帶負電荷(亦即以電子程式化)，則浮閘20下方的通道區域部分係大部分或完全斷開，且電流將不會跨通道區域18流動(或將有少許流動)，其係感測為經程式化或「0」狀態。
表1描繪可施加至記憶體單元210的端子之用於執行讀取、抹除、及程式化操作的一般電壓範圍：
Figure 108114755-A0202-12-0007-1
其它分離閘記憶體單元組態為已知。例如，圖3描繪四閘極記憶體單元310，其包含源極區域14、汲極區域16、在通道區域18的第一部分上方的浮閘20、在通道區域18的第二部分上方的選擇閘28(一般耦接至字線)、在浮閘20上方的控制閘22、及在源極區 域14上方的抹除閘30。此組態描述於美國專利第6,747,310號中，其針對所有目的以引用方式併入本文中。此處，除了浮閘20以外的所有閘係非浮閘，意指其等經電氣連接或可連接至電壓源。程式化係藉由變熱的電子自通道區域18將其本身注入至浮閘20上來顯示。抹除係藉由自浮閘20至抹除閘30之電子穿隧來顯示。
表2描繪可施加至記憶體單元310的端子之用於執行讀取、抹除、及程式化操作的一般電壓範圍：
Figure 108114755-A0202-12-0008-2
圖4描繪分離閘三閘極記憶體單元410。記憶體單元410與圖3的記憶體單元310相同，但記憶體單元410不具有分開控制閘。除了沒有控制閘偏壓以外，抹除操作(通過抹除閘抹除)與讀取操作與圖3所示者類似。程式化操作的完成也未使用控制閘偏壓，因此為了補償對於控制閘偏壓的缺乏，源極線上的程式化電壓比較高。
表3描繪可施加至記憶體單元410的端子之用於執行讀取、抹除、及程式化操作的一般電壓範圍：
Figure 108114755-A0202-12-0008-3
圖5描繪堆疊閘極記憶體單元510。記憶體單元510類似於圖2的記憶體單元210，但浮閘20在整個通道區域18上方延伸，及控制閘22在浮閘20上方延伸，藉由絕緣層分隔。抹除、程式化、及讀取操作以與先前針對記憶體單元210描述的類似方式操作。
表4描繪可施加至記憶體單元510的端子之用於執行讀取、抹除、及程式化操作的一般電壓範圍：
Figure 108114755-A0202-12-0009-4
為了在人工類神經網路中利用包含上述非揮發性記憶體單元之類型的一者的記憶體陣列，進行二種修改。第一，該等線經組態使得各記憶體單元可個別地程式化、抹除、及讀取而不會不利地影響陣列中之其他記憶體單元的記憶體狀態，如下文所進一步解釋者。第二，提供記憶體單元連續(類比)程式化。
具體而言，陣列中的各記憶體單元的記憶體狀態(亦即，浮閘上的電荷)可獨立地且對其他記憶體單元的干擾最小地從完全抹除狀態連續地改變至完全程式化狀態。在另一個實施例中，陣列中的各記憶體單元的記憶體狀態(亦即，浮閘上的電荷)可獨立地且對其他記憶體單元的干擾最小地從完全程式化狀態連續地改變至完全抹除狀態，且反之亦然。此意指單元儲存係類比的或至少可儲存許多離散值(諸如16或64個不同的值)之一者，其允許非常精確且個別地調 諧記憶體陣列中的所有單元，且其使記憶體陣列非常適於儲存類神經網路的突觸權重並對該等突觸權重進行微調調整。
採用非揮發性記憶體單元陣列的類神經網路
圖6概念性地繪示利用非揮發性記憶體陣列之類神經網路的非限制性實例。此實例將非揮發性記憶體陣列類神經網路使用於面部識別應用，但任何其他適當應用可使用基於非揮發性記憶體陣列的類神經網路實作。
S0係輸入，針對此實例，其係具有5位元精確度之32×32像素的RGB影像(亦即，三個32×32像素陣列，一者用於各顏色R、G、及B，各像素係5位元精確度)。從S0到C1的突觸CB1具有二組不同的權重及共享權重，並以3×3像素重疊濾波器(核心)，將濾波器移位1個像素(或如模型所決定而多於1個像素)掃描輸入影像。具體而言，將影像之3×3部分中的9個像素(亦即，稱為濾波器或核心)的值提供至突觸CB1，藉此將此等9個輸入值乘以合適權重，且在對該乘法的輸出加總之後，由CB1的第一神經元判定並提供用於產生特徵圖譜(feature map)C1之該等層的一者之像素的單一輸出值。然後將3×3濾波器右移一個像素(亦即，在右邊加入三個像素之行，並在左邊丟棄三個像素之行)，藉此將此新定位濾波器中的9個像素值提供至突觸CB1，藉此將彼等乘以相同權重，並藉由關聯神經元判定第二單一輸出值。繼續此程序直到3×3濾波器針對所有三種顏色及所有位元(精確值)掃描整個32×32像素影像。然後使用不同組 的權重重複該程序，以產生C1之不同的特徵圖譜，直到層C1的所有特徵圖譜已計算。
在本實例中，在C1處，有各具有30×30個像素之16個特徵圖譜。各像素係從將輸入與核心相乘所擷取的新特徵像素，且因此各特徵圖譜係二維陣列，且因此在此實例中，突觸CB1構成二維陣列的16層(請記住本文中所提及的神經元層及陣列係邏輯關係，不一定係實體關係-亦即，陣列不一定以實體的二維陣列定向)。16個特徵圖譜之各者係由經施加至濾波器掃描之十六組不同的突觸權重之一者產生。C1特徵圖譜可全部關於相同影像特徵的不同態樣，諸如邊界識別。例如，第一圖譜(使用第一組權重產生，用於所有掃描所共享而用以產生此第一圖譜)可識別圓形邊緣，第二圖譜(使用與第一組權重不同的第二組權重產生)可識別矩形邊緣，或某些特徵的縱橫比，並依此類推。
激勵函數P1(彙整)係在從C1到S1之前施加，其彙整來自各特徵圖譜中之連續、非重疊2×2區域的值。彙整階段的目的係平均附近位置(或也能使用max函數)，以減少，例如，邊緣位置的相依性，並在進入下一階段之前減少資料大小。在S1處，有16個15×15特徵圖譜(亦即，各15×15像素的十六個不同陣列)。從S1到C2之CB2中的突觸及關聯神經元使用4×4濾波器，以1個像素的濾波器移位來掃描S1中的圖譜。在C2處，有22個12×12特徵圖譜。激勵函數P2(彙整)係在從C2到S2之前施加，其彙整來自各特徵圖譜中之連續、非重疊2×2區域的值。在S2處，有22個6×6特徵圖譜。 將激勵函數施加在從S2到C3的突觸CB3處，其中C3中的每個神經元連接至S2中的每個圖譜。在C3處，有64個神經元。從C3到輸出S3的突觸CB4將S3完全連接至C3。在S3處的輸出包括10個神經元，其中最高的輸出神經元判定類別。該輸出可例如指示原始影像之內容的識別或類別。
突觸的各級係使用非揮發性記憶體單元的陣列或陣列的一部分實作。圖7係包括非揮發性記憶體單元且用作輸入層與次一層之間的突觸之向量矩陣乘法(vector-by-matrix multiplication,VMM)陣列的方塊圖。具體而言，VMM 32包括非揮發性記憶體單元33的陣列、抹除閘及字線閘解碼器34、控制閘解碼器35、位元線解碼器36、及源極線解碼器37，其等解碼記憶體陣列33的輸入。此實例中的源極線解碼器37也解碼記憶體單元陣列的輸出。替代地，位元線解碼器36可解碼記憶體陣列的輸出。記憶體陣列用作兩個目的。第一，其儲存VMM將使用的權重。第二，記憶體陣列有效地將輸入乘以儲存在記憶體陣列中的權重並將各輸出線(源極線或位元線)的結果相加以產生輸出，其將係至次一層的輸入或至最終層的輸入。藉由執行乘法與加法函數(multiplication and addition function)，記憶體陣列不再需要分開的乘法與加法邏輯電路，且亦由於原位記憶體運算而係有能源效率的。
將記憶體陣列的輸出供應至一差動加算器(諸如加總運算放大器或加總電流鏡)38，其加總記憶體單元陣列的輸出以建立用於該卷積的單一值。該差動加算器係諸如用以實現正權重及負權重與 正輸入的加總。然後將該經加總輸出值供應至整流輸出的激勵函數電路39。激勵函數可包括S形(sigmoid)函數、雙曲正切(tanh)函數、ReLU函數。經整流輸出值變成作為次一層(例如，以上描述中的C1)之特徵圖譜的元素，然後經施加於次一突觸以產生次一特徵圖譜層或最終層。因此，在此實例中，記憶體陣列構成複數個突觸(其從神經元的先前層或從輸入層(諸如影像資料庫)接收其等的輸入)，且加總運算放大器38及激勵函數電路39構成複數個神經元。
圖8係VMM之各種級的方塊圖。如圖8所示，輸入係藉由數位轉類比轉換器31從數位轉換成類比，並提供至輸入VMM 32a。所轉換的類比輸入可係電壓或電流。第一層之輸入D/A轉換可藉由使用一函數或一LUT(查找表)來完成，其將輸入映射至矩陣乘法器的適當類比位準。該輸入轉換亦可藉由A/A轉換器來完成，以將一外部類比輸入轉換成至VMM的經映射類比輸入。將由輸入VMM 32a產生的輸出提供作為至次一VMM(隱藏級1)32b的輸入，其繼而產生提供作為至次一VMM(隱藏級2)32b之輸入的輸出，並依此類推。VMM 32之各種層如卷積式類神經網路(convolutional neural network,CNN)之突觸及神經元的不同層而作用。各VMM可係獨立的非揮發性記憶體陣列，或多個VMM可利用相同的非揮發性記憶體陣列的不同部分，或多個VMM可利用相同的非揮發性記憶體陣列的重疊部分。圖8所示的實例含有五層(32a、32b、32c、32d、32e)：一個輸入層(32a)、兩個隱藏層(32b、32c)、以及兩個完全連接的層 (32d、32e)。所屬技術領域中具有通常知識者將理解此僅係例示性的，且一個系統可包含多於兩個隱藏層及多於兩個完全連接的層。
向量矩陣乘法(VMM)陣列
圖9描繪神經元VMM 900，其特別適於圖3所示之類型的記憶體單元，且經利用作為輸入層與次一層之間的神經元的突觸及部件。VMM 900包含非揮發性記憶體單元的一記憶體陣列901及參考陣列902(位於陣列的頂部處)。替代地，可將另一參考陣列置於底部。在VMM 900中，控制閘線(諸如控制閘線903)在垂直方向上延行(因此參考陣列902在列方向上，正交於輸入控制閘線)，且抹除閘線(諸如抹除閘線904)在水平方向上延行。此處，輸入經提供在控制閘線上，且輸出出現在源極線上。在一個實施例中，僅使用偶數列，且在另一實施例中，僅使用奇數列。置於源極線上的電流執行來自連接至源極線之記憶體單元的所有電流之一加總函數(summing function)。
如本文針對類神經網路所描述的，快閃單元較佳地經組態以在次臨限區域中操作。
在本文中描述的記憶體單元以弱反轉偏壓：Ids=Io * e(Vg-Vth)/kVt=w* Io * e(Vg)/kVt w=e(-Vth)/kVt
對於使用記憶體單元以將輸入電流轉換成輸入電壓的I至V對數轉換器：Vg=k*Vt*log[Ids/wp*Io]
對於使用作為向量矩陣乘法器VMM的記憶體陣列，輸出電流係：Iout=wa * Io * e(Vg)/kVt，即Iout=(wa/wp) * Iin=W * Iin W=e(Vthp-Vtha)/kVt
字線或控制閘可用作記憶體單元用於輸入電壓的輸入。
替代地，快閃記憶體單元可經組態以在線性區域中操作：Ids=beta*(Vgs-Vth)*Vds；beta=u*Cox*W/L W α(Vgs-Vth)
對於I至V線性轉換器，在線性區域中操作的記憶體單元可使用以將輸入/輸出電流線性地轉換成輸入/輸出電壓。
ESF向量矩陣乘法器的其他實施例描述於美國專利申請案第15/826,345號中，其以引用方式併入本文中。源極線或位元線可使用為神經元輸出(電流加總輸出)。
圖10描繪神經元VMM 1000，其特別適於圖2所示之類型的記憶體單元，且利用為一輸入層與次一層之間的突觸。VMM 1000包含非揮發性記憶體單元的一記憶體陣列1003、參考陣列1001、及參考陣列1002。在陣列之行方向上的參考陣列1001及1002用以將流入端子BLR0至3中的電流輸入轉換成電壓輸入WL0至WL3。實際上，參考記憶體單元係透過多工器與流入其等的電流輸入連接的二極體。參考單元經調諧(例如，程式化)至目標參考位準。目標參考位準係由參考迷你陣列矩陣提供。記憶體陣列1003用作兩個目的。第 一，其儲存將由VMM 1000使用的權重。第二，記憶體陣列1003有效地將輸入(在端子BLR0至BLR3中提供的電流輸入；參考陣列1001及1002將此等電流輸入轉換成輸入電壓以供應至字線WL0至WL3)乘以儲存在記憶體陣列中的權重且然後相加所有結果(記憶體單元電流)以產生輸出，該輸出將係至次一層的輸入或至最終層的輸入。藉由執行乘法與加法函數，記憶體陣列不再需要分開的乘法與加法邏輯電路，且亦具能源效率。此處，電壓輸入係在字線上提供，且輸出在一讀取(推論)操作期間顯現於位元線上。置於位元線上的電流執行來自連接至位元線之記憶體單元的所有電流之一加總函數。
圖11描繪用於VMM 1000的操作電壓。表中的行指示置於用於經選擇單元之字線、用於未經選擇單元之字線、用於經選擇單元之位元線、用於未經選擇單元之位元線、用於經選擇單元之源極線、以及用於未經選擇單元之源極線上的電壓。列指示讀取、抹除、及程式化操作。
圖12描繪神經元VMM 1200，其特別適於圖2所示之類型的記憶體單元，且經利用作為輸入層與次一層之間的神經元的突觸及部件。VMM 1200包含非揮發性記憶體單元的一記憶體陣列1203、參考陣列1201、及參考陣列1202。參考陣列1201及1202在類似於VMM 1000的陣列VMM 1200(除了在VMM 1200中，字線在垂直方向上延行)的列方向上延行。此處，輸入係在字線上提供，且輸出在一讀取操作期間顯現於源極線上。置於源極線上的電流執行來自連接至源極線之記憶體單元的所有電流之一加總函數。
圖13描繪用於VMM 1200的操作電壓。表中的行指示置於用於經選擇單元之字線、用於未經選擇單元之字線、用於經選擇單元之位元線、用於未經選擇單元之位元線、用於經選擇單元之源極線、以及用於未經選擇單元之源極線上的電壓。列指示讀取、抹除、及程式化操作。
圖14描繪神經元VMM 1400，其特別適於圖3所示之類型的記憶體單元，且經利用作為輸入層與次一層之間的神經元的突觸及部件。VMM 1400包含非揮發性記憶體單元的一記憶體陣列1403、參考陣列1401、及參考陣列1402。參考陣列1401及1402用以將流入端子BLR0至BLR3中的電流輸入轉換成電壓輸入CG0至CG3。實際上，參考記憶體單元係透過具有流入其等的電流輸入之疊接多工器1414連接的二極體。多工器1414包括多工器1405及疊接電晶體1404以在讀取時確保參考單元之位元線上的恆定電壓。參考單元經調諧至目標參考位準。記憶體陣列1403用作兩個目的。第一，其儲存將由VMM 1400使用的權重。第二，記憶體陣列1403有效地將輸入(提供至端子BLR0至BLR3的電流輸入；參考陣列1401及1402將此等電流輸入轉換成輸入電壓以供應至控制閘CG0至CG3)乘以儲存在記憶體陣列中的權重且然後相加所有結果(單元電流)以產生輸出，該輸出將係至次一層的輸入或至最終層的輸入。藉由執行乘法與加法函數，記憶體陣列不再需要分開的乘法與加法邏輯電路，且亦具能源效率。此處，輸入係在字線上提供，且輸出在一讀取操作期間顯現於 位元線上。置於位元線上的電流執行來自連接至位元線之記憶體單元的所有電流之一加總函數。
VMM 1400針對記憶體陣列1403中的記憶體單元實施單向調諧。也就是，各單元經抹除，並接著經部分程式化，直到達到浮閘上的所欲電荷。若將太多電荷置於浮閘上(使得錯誤的值經儲存在單元中)，則必須抹除單元，且部分程式化操作的序列必須重新開始。如所示，共享相同抹除閘的兩列需要一起抹除(已知為頁面抹除)，其後，各單元經部分程式化直到達到浮閘上的所欲電荷，
圖15描繪用於VMM 1400的操作電壓。表中的行指示置於用於經選擇單元之字線、用於未經選擇單元之字線、用於經選擇單元之位元線、用於未經選擇單元之位元線、用於經選擇單元之控制閘、用於與經選擇單元相同扇區中之未經選擇單元之控制閘、用於不同於經選擇單元之一扇區中之未經選擇單元之控制閘、用於經選擇單元之抹除閘、用於未經選擇單元之抹除閘、用於經選擇單元之源極線、用於未經選擇單元之源極線上的電壓。列指示讀取、抹除、及程式化操作。
圖16描繪神經元VMM 1600，其特別適於圖3所示之類型的記憶體單元，且利用為輸入層與次一層之間的神經元的突觸及部件。VMM 1600包含非揮發性記憶體單元的一記憶體陣列1603、參考陣列1601、及參考陣列1602。EG線垂直地延行，而CG及SL線水平地延行。除了VMM 1600實施雙向調諧以外，VMM 1600類似於VMM 1400，其中各個別單元可經完全抹除、部分程式化、及依需要 部分抹除以在浮閘上達到所欲的電荷量。如圖所示，參考陣列1601及1602將端子BLR0至BLR3中的輸入電流轉換成待在列方向上施加至記憶體單元之控制閘電壓CG0至CG3(通過二極體連接的參考單元透過多工器的動作)。電流輸出(神經元)係在位元線中，其將來自連接至位元線之記憶體單元的所有電流加總。
圖17描繪用於VMM 1600的操作電壓。表中的行指示置於用於經選擇單元之字線、用於未經選擇單元之字線、用於經選擇單元之位元線、用於未經選擇單元之位元線、用於經選擇單元之控制閘、用於與經選擇單元相同扇區中之未經選擇單元之控制閘、用於不同於經選擇單元之一扇區中之未經選擇單元之控制閘、用於經選擇單元之抹除閘、用於未經選擇單元之抹除閘、用於經選擇單元之源極線、用於未經選擇單元之源極線上的電壓。列指示讀取、抹除、及程式化操作。
圖18描繪VMM系統1800。VMM系統1800包含VMM陣列1807、低電壓列解碼器1803、高電壓列解碼器1805、參考單元低電壓行解碼器1806(顯示用於在行方向上的參考陣列，意即在列方向上提供輸入至輸出轉換)、位元線PE驅動器1802、位元線多工器1808、激勵函數電路及加算器1809、控制邏輯1804、及類比偏壓電路1801。
低電壓列解碼器1803提供一用於讀取及程式化操作的偏壓電壓，並為高電壓列解碼器1805提供一解碼信號。高電壓列解碼器1805提供一用於程式化及抹除操作的高電壓偏壓信號。位元線PE 驅動器1801為位元線提供用於程式化、驗證、及抹除的控制函數。偏壓電路1801係一提供各種程式化、抹除、程式化驗證、及讀取操作所需之多個電壓的共用偏壓區塊。
VMM系統1800進一步包含冗餘陣列1810。冗餘陣列1810提供用於置換有缺陷陣列部分的陣列冗餘。VMM系統1800進一步包含NVR(non-volatile register，非揮發性暫存器，又稱作資訊磁區)磁區1811，該等NVR磁區係用於儲存使用者資訊、裝置ID、密碼、安全密鑰、修整位元(trimbit)、組態位元、製造資訊等的陣列磁區。
VMM系統1800選用地包含參考陣列1812及/或參考系統1850。參考系統1850包含參考陣列1852、參考陣列低電壓列解碼器1851、參考陣列高電壓列解碼器1853、及參考陣列低電壓行解碼器1854。參考系統可跨多個VMM系統共享。
參考陣列低電壓列解碼器1851提供用於涉及參考陣列1852之讀取及程式化操作的一偏壓電壓，亦提供用於參考陣列高電壓列解碼器1853的一解碼信號。參考陣列高電壓列解碼器1853提供用於涉及參考陣列1852之程式化及操作的一高電壓偏壓。參考陣列低電壓行解碼器1854提供用於參考陣列1852的一解碼函數。參考陣列1852係諸如用以提供用於程式化驗證或單元定邊限(cell margining)(搜尋邊限單元)的參考目標。
圖19A、圖19B及圖19C描繪程式化方法1900。首先，該方法開始(步驟1901)，其一般回應於接收到程式化命令而發生。 其次，大量程式化操作將所有單元程式化至「0」狀態(步驟1902)。然後，軟抹除將所有單元抹除至約1至5μA的中間弱抹除位準(步驟1903)。與深抹除相反，此會使所有單元進入用於數位應用的完全抹除狀態，例如，~20至30uA單元電流。然後，對所有未經選擇單元執行硬程式化以針對進入非常深程式化狀態(~fA-pA)的非使用單元從單元移除電荷(步驟1904)，以確保單元真的斷開，意謂著此等記憶體單元造成微不足道的電流。然後使用粗糙演算法對經選擇單元執行軟程式化以從單元移除一些電荷，至約0.1至1.5μA的中間弱程式化等級(步驟1905、1906、1907)。驗證操作之前的粗糙步驟程式化循環發生，其中選擇單元上的電荷以粗糙迭代方式與各種臨限值比較(步驟1906及1907)。粗糙步驟程式化循環包括導致從一個程式化步驟至次一步驟的粗糙單元電流變化的粗糙電壓增量(諸如用於SL、CG及EG的高電壓位準)、及/或粗糙程式化時間、及/或粗糙程式化電流。
其次，精確程式化發生(步驟1908)，其中藉由精細步驟程式化演算法取決於所欲位準將所有經選擇單元程式化至在1pA至20nA之範圍內的目標位準。系統檢查待程式化之位元數目(步驟1909)。其使用LUT(查找表)或使用用於待程式化之位元數的Vhv(inc)之近似函數來判定(步驟1910)。Vhv係一高電壓(諸如用於SL、CG及EG的高電壓位準)。該LUT或一函數係待程式化之IO數目、Itarget、及ΔIcell(=目前Icell-先前Icell)的函數。然後執行精密程式化步驟(步驟1911)。執行一程式化操作(步驟1912)。然後進行驗證步驟(檢查Icell對比Itarget及計算/儲存Δ Icell)(步驟1913)。若一或多個單元經驗證，則程序回到步驟1909以程式化剩餘單元。若否，則檢查計數器，且若已進行臨限數目次嘗試，則程序結束且該等單元被視為不良。若否，則重複步驟1912。一旦已驗證所有單元(步驟1914)，則完成程序。
圖2000描繪一高電壓校準程序，該高電壓校準程序用以建置查找表或產生函數，以判定針對各可能數目個待程式化之位元所需之所欲電壓位準。起始點係一個位元待程式化的情況(步驟2001)。判定用於程式化一個位元的一電壓(諸如用於SL、CG、及EG的高電壓位準)(步驟2002)。然後，使位元數目增量(步驟2003)，且重複程式化步驟(步驟2001)。一旦已針對N個位元(待程式化之可能位元的總數)執行程序，該等值經程式化至一查找表(步驟2004)以供在程式化操作期間諮詢。
圖21描繪程式化操作的兩種不同方法。各操作包括多個驗證及程式化(Vef/Prog)循環。在驗證循環中，檢查Itarget並檢查待程式化的IO數目。基於Itarget及待程式化的IO數目來調整HV程式化位準(諸如用於SL、CG、及EG之高電壓位準)。在波形2101中，在一程式化操作期間所提供的總電壓在量值上隨著待程式化之位元數目增加而增加。序列2101表示在待程式化之三個位元的情況中透過四個例示性脈衝所提供的電壓。相比而言，在波形2103中，運用按每Vef/Prog循環進行HV位準及程式化時間調整，提供與在序列2101中相同量值的兩個脈衝，但然後作為實例，在Vef/Prog k週期期間，待程式化較少數目個位元，該量值減少(例如，dV1neg)，且針 對愈大持續期間提供愈小脈衝(即，在2104中的較低量值之四個脈衝，而非在2101中的較高量值之兩個脈衝)。意即，可利用電壓量值及施加脈衝之持續期間的不同組合來達成相同結果。降低Vef/Prog k循環之HV程式化位準，以防止因為待程式化之位元較少而在次一程式化循環中之目標過衝，意指次一循環的HV程式化位準較高。
圖22描繪程式化操作的兩個額外方法。在波形2201中，在一程式化操作期間所提供之總電壓在量值上保持相同，但各程式化脈衝之長度隨著待程式化之位元數目增加而增加。在波形2201中，運用按每Vef/Prog循環進行程式化脈衝時間調整，作為一實例，在Vef/Prog z循環期間，待程式化較少數目個位元，脈衝被縮短(T1)，而非長脈衝(如在2201中的持續期間T3的脈衝)，但施加更多脈衝，使得針對該特定程式化位準之總持續期間長於波形2201中者。縮短Vef/Prog z循環，以防止因為待程式化之位元較少而在次一程式化循環中之目標過衝，意指次一循環的HV程式化位準較高。意即，可藉由改變各脈衝之持續期間或所有脈衝之總持續期間而達成相同結果，其中電壓量值維持恆定。
另一種方法是調節電壓量值、脈衝持續期間、及所有脈衝的總持續期間。另一種方法係調節程式化電流，而非程式化電壓或時間。
圖23描繪當待程式化之多個位元字組時用於高電壓產生的波形。信號2302係施加至記憶體單元以進行程式化之一例示性HV電壓(諸如用於SL、CG、及EG的高電壓位準)。信號2304係 [N：1]中的例示性數據，且其值控制待程式化的IO位元數目。信號2305個別控制各IO的程式化脈衝寬度。如時序2306所示，變低意指啟用程式化且變高意指停用程式化。信號2305描繪在不同下降邊緣上變低，但在相同上升邊緣上變高的所有IO位元。這確保在一程式化脈衝期間，在時序2306期間內部高電壓位準愈來愈低(此係因為啟用待程式化的更多位元，導致更多電流負載，意指從左至右在時序2306期間更多的IR下降，如時序2306所示)，以避免否則可能會發生的程式化過衝。
圖24描繪一VMM系統2400的方塊圖。該VMM系統包含VMM矩陣2408、列解碼器2407、高電壓解碼器2409、行解碼器2410、及位元線驅動器2411。VMM系統2400進一步包含高電壓產生區塊2412，該高電壓產生區塊包含電荷泵2401、電荷泵調節器2402、及高電壓位準產生器2403。VMM系統2400進一步包含演算法控制器2404、類比電路系統2405、及控制邏輯2406。
圖25提供關於電荷泵2401及電荷泵調節器2402的進一步細節。藉由啟用信號2501來控制電荷泵2401。當啟用信號2501未經確立時，電荷泵2401繼續增加其輸出的電壓。當啟用信號2501經確立時，電荷泵2401維持其輸出的電壓位準。電荷泵調節器2402包含串聯的二極體2504、2506、與2508及電阻器2505、2507、與2509。在該結構內的節點係至比較器2503的輸入，該比較器接收包含一電壓參考的另一輸入。當來自電荷泵2401之電壓輸出足以啟動二極體2504、2506、及2508時，電流將接著流入比較器2503，且該啟 用信號將會經確立。因此，電荷泵調節器2404控制電荷泵2401，直到達成所欲電壓位準為止，該所欲電壓位準係基於二極體2504、2506、與2508及電阻器2505、2507、與2509的特性。
圖26描繪搭配高電壓緩衝器2601及可調整電流槽2602使用的VMM系統2400。高電壓產生器區塊2412產生提供至高電壓緩衝器2601的電壓，該高電壓緩衝器繼而提供電壓至高電壓解碼器2409及可調整電流槽(程式化補償電流Icomp)2602。由可調整電流槽Icomp 2602所汲取的電流可經調整以例如在高電壓緩衝器2601內誘發經補償之電壓降，以補償待程式化之IO數目(例如，待程式化之1/2/.../32IO的dVout1/2/../32下降)並降低高電壓緩衝器2601的溫度。例如，Icomp α(待程式化之IO數目)*Iprog*M。Iprog=單元程式化電流，M=由於程式化中的記憶體單元熱載子效應所致的乘數因子。施加補償Icomp以對變化的輸出負載維持恆定高電壓輸出。
圖27描繪搭配高電壓緩衝器2701及可調整電流槽2702使用的VMM系統2400。高電壓產生器2412產生提供至高電壓緩衝器2701的電壓，該高電壓緩衝器繼而提供該電壓至高電壓解碼器2409。可調整由可調整電流槽(補償電流)Icomp 2702所汲取之電流，以例如降低在高電壓解碼器2409內之電流降(隨待程式化之IO數目而變化)，以降低高電壓解碼器2409之溫度。例如，Icomp α(待程式化之IO數目)*Iprog*M。Iprog=單元程式化電流，M=由於程式化中的記憶體單元熱載子效應所致的乘數因子。施加補償Icomp以對變化的輸出負載維持恆定的高電壓輸出。
圖28描繪搭配高電壓緩衝器2801(此處係運算放大器)使用的VMM系統2400。高電壓產生器2412產生提供至高電壓緩衝器2701的電壓，該高電壓緩衝器繼而提供電壓至高電壓解碼器2409。來自高電壓解碼器2409之輸出(例如，該輸出係陣列中之HV電壓的回饋指示項)被提供作為至高電壓緩衝器2801之一輸入，該高電壓緩衝器然後操作為一閉迴路比較器。該迴路補償經施加以對變化的輸出負載維持恆定的高電壓輸出。
圖29描繪與VMM系統2400結合使用的程式化電流補償區塊2900。此處，一虛置程式位元線(可程式化虛置陣列)係搭配各群組之32個位元線而提供。例如，群組2901包括虛置位元線2903，且群組2902包括虛置位元線2904。在其中分別在群組2901及2902中之一或多個其他位元未經程式化的情況中，可接通虛置位元線2903及2904。與未使用虛置位元線2903及2904的情況相比，此將使在一程式化操作期間所汲取之電流維持得更恆定。施加程式化虛置陣列補償方案以在變化的輸出負載下維持恆定的高電壓輸出。
圖30描繪可在高電壓解碼器2409中使用之高電壓解碼器區塊3000的實例。此處，源極線3005耦接至陣列2408中之一或兩列。NMOS電晶體3001、3002、3003、及3004耦接至源極線3005，如所示。HV供應3010係諸如來自HV緩衝器，且HV補償信號3011係諸如圖28所示。
圖31描繪測試電路3100。測試電路包含接收啟用信號EN的高電壓傳輸器3101。高電壓傳輸器提供高電壓啟用信號至 NMOS電晶體3102及至NMOS疊接電晶體3103。NMOS電晶體3201之一端子連接至一外部測試墊，且NMOS電晶體3103之一端子耦接至VMM系統2400內的一內部節點。此電路係用於諸如電壓校準。
圖32描繪高電壓產生區塊2412之一實施例。
圖33描繪高電壓產生區塊2412之另一實施例。此處，高電壓產生區塊包含電荷泵3301、電荷泵調節器3303、及高電壓運算放大器3302。可基於傳送至在電荷泵調節器3303中的NMOS電晶體之閘極的信號來控制電荷泵調節器3303之輸出的電壓。
圖34描繪高電壓產生區塊2412之另一實施例。高電壓產生區塊2412包含高電壓運算放大器3403、SC(switch cap，開關帽蓋)網路3402、及SC網路3401。SC網路3402包含可調整電容器3404。SC網路3401包含開關3405、3407、3408、及3409以及可調整電容器3406。
圖35描繪高電壓運算放大器3500，其可用於圖34中的高電壓運算放大器3404。高電壓運算放大器3500包含所示配置中展示的組件。
圖36描繪高電壓運算放大器3600，其可用於圖34中的高電壓運算放大器3404。高電壓運算放大器3600包含所示配置中展示的組件。
圖37描繪可用於位元線驅動器2411的行驅動器3700。行驅動器3700包含在所示組態中的鎖存器3701、反相器3702、NOR 閘3703、PMOS電晶體3704、NMOS電晶體3705與3706、及感測放大器3707。
圖38描繪感測放大器3800，其可用於圖37中的感測放大器3707。感測放大器3800包含在所示組態中的可調整電流參考源3801、開關3802、NMOS電晶體3803、電容器3804、開關3805、電流源3806、及反相器3807。感測放大器3707耦接至在陣列2408中的記憶體單元3808。
圖39描繪包含位元線參考解碼器3901及參考單元39010至3902N的參考陣列電路系統3900。
圖40描繪包含位元線參考解碼器4001及參考單元40020至4000N的參考陣列電路系統4000。
應注意的是，如本文中所使用，「在...上方(over)」及「在...上(on)」之用語皆含括性地包括了「直接在...之上(directly on)」(無居中的材料、元件或間隔設置於其間)及「間接在...之上(indirectly on)」(有居中的材料、元件或間隔設置於其間)的含意。同樣地，「相鄰的(adjacent)」一詞包括了「直接相鄰的」(無居中的材料、元件或間隔設置於其間)及「間接相鄰的」(有居中的材料、元件或間隔設置於其間)的含意，「安裝於(mounted to)」一詞則包括了「直接安裝於(directly mounted to)」(無居中的材料、元件或間隔設置於其間)及「間接安裝於(indirectly mounted to)」(有居中的材料、元件或間隔設置於其間)的含意，以及「電耦接(electrically coupled)」一詞則包括了「直接電耦接(directly electrically coupled to)」(無居中的材料或元件於其間將各元件電性相連接)及「間接電耦接(indirectly electrically coupled to)」(有居中的材料或元件於其間將各元件電性相連接)的含意。舉例而言，「在基材上方(over a substrate)」形成元件可包括直接在基材上形成元件而其間無居中的材料/元件存在，以及間接在基材上形成元件而其間有一或多個居中的材料/元件存在。
2400‧‧‧VMM系統
2404‧‧‧演算法控制器
2405‧‧‧類比電路系統
2407‧‧‧列解碼器
2408‧‧‧VMM矩陣/陣列
2409‧‧‧高電壓解碼器
2412‧‧‧高電壓產生區塊/高電壓產生器
2601‧‧‧高電壓緩衝器
2602‧‧‧可調整電流槽/可調整電流槽Icomp

Claims (19)

  1. 一種用於回應於在單一程式化操作中於記憶體陣列中的待程式化之單元數目而產生一高電壓輸出之方法，該方法包含：判定經選擇複數個待程式化之單元中的單元數目；判定在程式化該等經選擇複數個單元中待使用的一電壓；使用用於該等經選擇複數個單元之該電壓執行一程式化序列；驗證在該等經選擇複數個單元中的哪些單元已被正確地程式化；針對未被正確地程式化的單元重複該判定電壓的步驟、該執行的步驟、及該驗證的步驟，直到所有單元皆已被正確地程式化或該執行的步驟已被執行多於一臨限數目次；當該執行的步驟已被執行多於一臨限數目次時，將該等未被正確地程式化的單元識別為待從程式化操作排除的不良單元。
  2. 如請求項1之方法，其中該判定電壓之步驟包含：在一查找表中尋找一值。
  3. 如請求項1之方法，其中該判定電壓之步驟包含：藉由一近似函數來尋找一值。
  4. 如請求項1之方法，其中該判定電壓之步驟包含：基於目前單元值及先前單元值來尋找一值。
  5. 如請求項1之方法，其中該程式化序列包含將該電壓施加至耦接至一單元子集之一源極線、控制閘線、及抹除閘線之一或多者。
  6. 如請求項1之方法，其中該記憶體陣列係一向量矩陣乘法器。
  7. 如請求項6之方法，其中該向量矩陣乘法器提供在該記憶體陣列之一位元線上的一神經元讀出(read out)。
  8. 如請求項6之方法，其中該向量矩陣乘法器提供在該記憶體陣列之一源極線上的一神經元讀出。
  9. 如請求項6之方法，其中在該向量矩陣乘法器中之該等記憶體單元執行權重乘法。
  10. 如請求項6之方法，其中在該向量矩陣乘法器中之該等記憶體單元執行突觸加法。
  11. 一種用於回應於在單一程式化操作中於記憶體陣列中的待程式化之單元數目而產生一高電壓輸出之方法，該方法包含：判定經選擇複數個待程式化之單元中的單元數目；判定在程式化該等經選擇複數個單元中待使用的一程式化持續期間；使用用於該等經選擇複數個單元之該程式化持續期間執行一程式化序列；驗證在該等經選擇複數個單元中的哪些單元已被正確地程式化；針對未被正確地程式化的單元重複該判定程式化持續期間的步驟、該執行的步驟、及該驗證的步驟，直到所有單元皆已被正確地程式化或該執行的步驟已被執行多於一臨限數目次； 當該執行的步驟已被執行多於一臨限數目次時，將該等未被正確地程式化的單元識別為待從程式化操作排除的不良單元。
  12. 如請求項11之方法，其中該判定程式化持續期間之步驟包含：在一查找表中尋找一值。
  13. 如請求項11之方法，其中該判定程式化持續期間之步驟包含：藉由一近似函數來尋找一值。
  14. 如請求項11之方法，其中該判定程式化持續期間之步驟包含：基於目前單元值及先前單元值來尋找一值。
  15. 如請求項11之方法，其中該記憶體陣列係一向量矩陣乘法器。
  16. 如請求項15之方法，其中該向量矩陣乘法器提供在該記憶體陣列之一位元線上的一神經元讀出。
  17. 如請求項15之方法，其中該向量矩陣乘法器提供在該記憶體陣列之一源極線上的一神經元讀出。
  18. 如請求項15之方法，其中在該向量矩陣乘法器中之該等記憶體單元執行權重乘法。
  19. 如請求項15之方法，其中在該向量矩陣乘法器中的該等記憶體單元執行突觸加法。
TW108114755A 2018-05-01 2019-04-26 用於在深度學習人工類神經網路中的類比類神經記憶體之高電壓產生之方法及設備 TWI708249B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862665359P 2018-05-01 2018-05-01
US62/665,359 2018-05-01
US16/042,972 2018-07-23
US16/042,972 US10522226B2 (en) 2018-05-01 2018-07-23 Method and apparatus for high voltage generation for analog neural memory in deep learning artificial neural network
PCT/US2019/026409 WO2019212699A1 (en) 2018-05-01 2019-04-08 Method and apparatus for high voltage generation for analog neural memory in deep learning artificial neural network
WOPCT/US19/26409 2019-04-08

Publications (2)

Publication Number Publication Date
TW201946064A TW201946064A (zh) 2019-12-01
TWI708249B true TWI708249B (zh) 2020-10-21

Family

ID=68385458

Family Applications (5)

Application Number Title Priority Date Filing Date
TW111109346A TWI787099B (zh) 2018-05-01 2019-04-26 用於在深度學習人工類神經網路中的類比類神經記憶體之高電壓產生之方法及設備
TW112139066A TWI834595B (zh) 2018-05-01 2019-04-26 用於在深度學習人工類神經網路中的類比類神經記憶體之高電壓產生之方法及設備
TW111145167A TWI821047B (zh) 2018-05-01 2019-04-26 用於在深度學習人工類神經網路中的類比類神經記憶體之高電壓產生之方法及設備
TW109132610A TWI760853B (zh) 2018-05-01 2019-04-26 用於在深度學習人工類神經網路中的類比類神經記憶體之高電壓產生之方法及設備
TW108114755A TWI708249B (zh) 2018-05-01 2019-04-26 用於在深度學習人工類神經網路中的類比類神經記憶體之高電壓產生之方法及設備

Family Applications Before (4)

Application Number Title Priority Date Filing Date
TW111109346A TWI787099B (zh) 2018-05-01 2019-04-26 用於在深度學習人工類神經網路中的類比類神經記憶體之高電壓產生之方法及設備
TW112139066A TWI834595B (zh) 2018-05-01 2019-04-26 用於在深度學習人工類神經網路中的類比類神經記憶體之高電壓產生之方法及設備
TW111145167A TWI821047B (zh) 2018-05-01 2019-04-26 用於在深度學習人工類神經網路中的類比類神經記憶體之高電壓產生之方法及設備
TW109132610A TWI760853B (zh) 2018-05-01 2019-04-26 用於在深度學習人工類神經網路中的類比類神經記憶體之高電壓產生之方法及設備

Country Status (7)

Country Link
US (7) US10522226B2 (zh)
EP (2) EP3788625A4 (zh)
JP (1) JP7288461B2 (zh)
KR (2) KR102654503B1 (zh)
CN (1) CN112106140A (zh)
TW (5) TWI787099B (zh)
WO (1) WO2019212699A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6482690B1 (ja) * 2018-01-11 2019-03-13 ウィンボンド エレクトロニクス コーポレーション 半導体記憶装置
US10910061B2 (en) 2018-03-14 2021-02-02 Silicon Storage Technology, Inc. Method and apparatus for programming analog neural memory in a deep learning artificial neural network
US10719737B2 (en) * 2018-08-23 2020-07-21 Denso International America, Inc. Image classification system for resizing images to maintain aspect ratio information
CN112805912B (zh) * 2018-10-09 2024-05-28 艾斯多姆有限公司 基于电荷的开关矩阵及其方法
US10720217B1 (en) * 2019-01-29 2020-07-21 Silicon Storage Technology, Inc. Memory device and method for varying program state separation based upon frequency of use
US11755899B2 (en) * 2019-11-11 2023-09-12 Silicon Storage Technology, Inc. Precise programming method and apparatus for analog neural memory in an artificial neural network
US11636322B2 (en) * 2020-01-03 2023-04-25 Silicon Storage Technology, Inc. Precise data tuning method and apparatus for analog neural memory in an artificial neural network
TWI789589B (zh) * 2020-02-04 2023-01-11 旺宏電子股份有限公司 脈衝神經網路電路及其運作方法
US11600321B2 (en) * 2020-03-05 2023-03-07 Silicon Storage Technology, Inc. Analog neural memory array storing synapsis weights in differential cell pairs in artificial neural network
US20210350217A1 (en) * 2020-05-10 2021-11-11 Silicon Storage Technology, Inc. Analog neural memory array in artificial neural network with source line pulldown mechanism
US11875852B2 (en) * 2020-07-06 2024-01-16 Silicon Storage Technology, Inc. Adaptive bias decoder to provide a voltage to a control gate line in an analog neural memory array in artificial neural network
TWI739598B (zh) * 2020-09-15 2021-09-11 力旺電子股份有限公司 運用於多階型記憶胞陣列之編程與驗證方法
US20220164638A1 (en) * 2020-11-25 2022-05-26 Fu-Chang Hsu Methods and apparatus for neural network arrays
CN113391188B (zh) * 2021-04-22 2022-04-22 厦门大学 一种基于神经网络的自校准系统及方法
US11789857B2 (en) 2021-08-11 2023-10-17 International Business Machines Corporation Data transfer with continuous weighted PPM duration signal
US11972111B2 (en) 2021-11-09 2024-04-30 Samsung Electronics Co., Ltd. Memory device for improving speed of program operation and operating method thereof
TWI827143B (zh) * 2022-07-15 2023-12-21 旺宏電子股份有限公司 用於記憶體內運算之記憶體裝置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050049984A1 (en) * 1997-12-19 2005-03-03 Bae Systems Plc Neural networks and neural memory
US7599225B2 (en) * 2007-07-13 2009-10-06 Macronix International Co., Ltd. Method of programming and erasing a non-volatile memory array
US20170091616A1 (en) * 2015-09-29 2017-03-30 International Business Machines Corporation Scalable architecture for analog matrix operations with resistive devices
TW201714079A (zh) * 2015-10-08 2017-04-16 上海兆芯集成電路有限公司 選擇性將啓動函數輸出或累加器値寫回神經記憶體之神經處理單元
US20170357891A1 (en) * 2016-05-26 2017-12-14 The Governing Council Of The University Of Toronto Accelerator for deep neural networks
US20180040367A1 (en) * 2016-08-04 2018-02-08 Intel Corporation Apparatus and method for endurance friendly programming using lower voltage thresholds

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US502910A (en) * 1893-08-08 o brien
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
JP3718251B2 (ja) * 1994-02-28 2005-11-24 株式会社ルネサステクノロジ データ処理装置
US5764090A (en) * 1996-08-26 1998-06-09 United Microelectronics Corporation Write-control circuit for high-speed static random-access-memory (SRAM) devices
KR100323554B1 (ko) * 1997-05-14 2002-03-08 니시무로 타이죠 불휘발성반도체메모리장치
TW420806B (en) * 1998-03-06 2001-02-01 Sanyo Electric Co Non-volatile semiconductor memory device
US6314026B1 (en) 1999-02-08 2001-11-06 Kabushiki Kaisha Toshiba Nonvolatile semiconductor device using local self boost technique
JP3842609B2 (ja) * 2001-10-22 2006-11-08 株式会社東芝 Ｉｃカード用ｌｓｉ，ｉｃカード及びｉｃカードの動作方法
US6747310B2 (en) 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
KR100519793B1 (ko) * 2003-01-06 2005-10-10 삼성전자주식회사 플래쉬 메모리 장치 및 이 장치의 프로그램 방법
US7630237B2 (en) * 2003-02-06 2009-12-08 Sandisk Corporation System and method for programming cells in non-volatile integrated memory devices
EP1654736B1 (en) * 2003-07-30 2009-09-16 SanDisk IL Ltd. Method and system for optimizing reliability and performance of programming data in non-volatile memory devices
US7177199B2 (en) * 2003-10-20 2007-02-13 Sandisk Corporation Behavior based programming of non-volatile memory
US7092290B2 (en) * 2004-11-16 2006-08-15 Sandisk Corporation High speed programming system with reduced over programming
US7239557B2 (en) * 2005-06-17 2007-07-03 Micron Technology, Inc. Program method with optimized voltage level for flash memory
US7626859B2 (en) * 2006-02-16 2009-12-01 Samsung Electronics Co., Ltd. Phase-change random access memory and programming method
KR100733953B1 (ko) * 2006-06-15 2007-06-29 삼성전자주식회사 플래시 메모리 장치의 전압 레귤레이터
US7961511B2 (en) * 2006-09-26 2011-06-14 Sandisk Corporation Hybrid programming methods and systems for non-volatile memory storage elements
US7804724B2 (en) * 2007-05-02 2010-09-28 Alcatel Lucent Method and apparatus for boundary scan programming of memory devices
US7965545B2 (en) * 2008-03-31 2011-06-21 Intel Corporation Reducing temporal changes in phase change memories
US7855913B2 (en) * 2008-06-10 2010-12-21 Micron Technology, Inc. Dynamically configurable MLC state assignment
JP2011014205A (ja) * 2009-07-03 2011-01-20 Renesas Electronics Corp 不揮発性半導体記憶装置
US8737138B2 (en) * 2010-11-18 2014-05-27 Micron Technology, Inc. Memory instruction including parameter to affect operating condition of memory
US8565025B2 (en) * 2011-04-25 2013-10-22 Freescale Semiconductor, Inc. Dynamic programming for flash memory
KR101903091B1 (ko) * 2011-10-05 2018-10-02 삼성전자주식회사 불휘발성 메모리 장치를 포함하는 메모리 시스템 및 그것의 동작 방법
US8400864B1 (en) * 2011-11-01 2013-03-19 Apple Inc. Mechanism for peak power management in a memory
KR20150022242A (ko) 2013-08-22 2015-03-04 에스케이하이닉스 주식회사 반도체 메모리 장치
US9672875B2 (en) * 2014-01-27 2017-06-06 Micron Technology, Inc. Methods and apparatuses for providing a program voltage responsive to a voltage determination
CN103886916B (zh) * 2014-03-27 2017-01-25 中国科学院电子学研究所 输入位宽可伸缩的编码/编解码存储系统
KR102128466B1 (ko) * 2014-04-14 2020-06-30 삼성전자주식회사 메모리 시스템, 상기 메모리 시스템의 프로그램 방법 및 상기 메모리 시스템의 테스트 방법
KR20160001097A (ko) * 2014-06-26 2016-01-06 에스케이하이닉스 주식회사 반도체 장치
US9324419B2 (en) * 2014-07-15 2016-04-26 Sandisk Technologies Inc. Multiple pass programming for memory with different program pulse widths
US9760533B2 (en) * 2014-08-14 2017-09-12 The Regents On The University Of Michigan Floating-gate transistor array for performing weighted sum computation
KR102358463B1 (ko) * 2014-10-20 2022-02-07 삼성전자주식회사 불휘발성 메모리 장치의 동작 방법
US9891643B2 (en) 2014-12-05 2018-02-13 Vidatronic, Inc. Circuit to improve load transient behavior of voltage regulators and load switches
KR102360211B1 (ko) * 2015-01-21 2022-02-08 삼성전자주식회사 메모리 시스템의 동작 방법
US9324431B1 (en) * 2015-01-27 2016-04-26 Macronix International Co., Ltd. Floating gate memory device with interpoly charge trapping structure
JP2017011123A (ja) 2015-06-23 2017-01-12 ルネサスエレクトロニクス株式会社 半導体装置および半導体装置の駆動方法
US9779810B2 (en) * 2015-09-11 2017-10-03 Macronix International Co., Ltd. Adjustable writing circuit
KR102423291B1 (ko) * 2016-01-15 2022-07-20 삼성전자주식회사 프로그램 전압을 보정하는 플래시 메모리 장치, 3차원 메모리 장치, 메모리 시스템 및 그의 프로그램 방법
KR102424371B1 (ko) * 2016-01-19 2022-07-25 에스케이하이닉스 주식회사 반도체 메모리 장치 및 이의 동작 방법
JP6833873B2 (ja) * 2016-05-17 2021-02-24 シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． 不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器
WO2018047035A1 (en) 2016-09-12 2018-03-15 Semiconductor Energy Laboratory Co., Ltd. Memory device, driving method thereof, semiconductor device, electronic component, and electronic device
US10097086B2 (en) * 2016-10-12 2018-10-09 Cypress Semiconductor Corporation Fast ramp low supply charge pump circuits
US10431267B2 (en) 2016-11-28 2019-10-01 SK Hynix Inc. Electronic device and method for driving the same
US10026486B1 (en) 2017-03-06 2018-07-17 Sandisk Technologies Llc First read countermeasures in memory
IT201700034719A1 (it) * 2017-03-29 2018-09-29 Sk Hynix Inc Metodo per controllare le operazioni di verifica di programmazione di una memoria non volatile e relativo circuito
CN107665718B (zh) 2017-09-19 2020-08-11 上海华虹宏力半导体制造有限公司 电荷转移型灵敏放大器
KR102386242B1 (ko) * 2017-11-14 2022-04-12 삼성전자주식회사 전원 전압 변동에 독립적인 워드 라인 불량 검출 회로를 포함하는 메모리 장치 및 그 구동 방법
US10748630B2 (en) 2017-11-29 2020-08-18 Silicon Storage Technology, Inc. High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks
US20190207034A1 (en) * 2017-12-28 2019-07-04 Microchip Technology Incorporated Split-Gate Memory Cell With Field-Enhanced Source Junctions, And Method Of Forming Such Memory Cell
US10552510B2 (en) * 2018-01-11 2020-02-04 Mentium Technologies Inc. Vector-by-matrix multiplier modules based on non-volatile 2D and 3D memory arrays
KR102505929B1 (ko) 2018-04-25 2023-03-06 에스케이하이닉스 주식회사 메모리 장치 및 이의 동작 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050049984A1 (en) * 1997-12-19 2005-03-03 Bae Systems Plc Neural networks and neural memory
US7599225B2 (en) * 2007-07-13 2009-10-06 Macronix International Co., Ltd. Method of programming and erasing a non-volatile memory array
US20170091616A1 (en) * 2015-09-29 2017-03-30 International Business Machines Corporation Scalable architecture for analog matrix operations with resistive devices
TW201714079A (zh) * 2015-10-08 2017-04-16 上海兆芯集成電路有限公司 選擇性將啓動函數輸出或累加器値寫回神經記憶體之神經處理單元
US20170357891A1 (en) * 2016-05-26 2017-12-14 The Governing Council Of The University Of Toronto Accelerator for deep neural networks
US20180040367A1 (en) * 2016-08-04 2018-02-08 Intel Corporation Apparatus and method for endurance friendly programming using lower voltage thresholds

Also Published As

Publication number Publication date
US10839907B2 (en) 2020-11-17
KR20200138810A (ko) 2020-12-10
US10650893B2 (en) 2020-05-12
TWI834595B (zh) 2024-03-01
EP3788625A1 (en) 2021-03-10
KR20240046313A (ko) 2024-04-08
US20190341110A1 (en) 2019-11-07
TW201946064A (zh) 2019-12-01
US10522226B2 (en) 2019-12-31
US20200058357A1 (en) 2020-02-20
JP2021523511A (ja) 2021-09-02
WO2019212699A1 (en) 2019-11-07
EP4343625A1 (en) 2024-03-27
EP3788625A4 (en) 2022-04-20
KR102654503B1 (ko) 2024-04-04
TW202117730A (zh) 2021-05-01
US20200058356A1 (en) 2020-02-20
US20210257026A1 (en) 2021-08-19
TW202226248A (zh) 2022-07-01
US11727989B2 (en) 2023-08-15
CN112106140A (zh) 2020-12-18
US20220254414A1 (en) 2022-08-11
TW202314713A (zh) 2023-04-01
US20200051636A1 (en) 2020-02-13
TWI760853B (zh) 2022-04-11
US10790022B2 (en) 2020-09-29
JP7288461B2 (ja) 2023-06-07
JP2023130332A (ja) 2023-09-20
US11521683B2 (en) 2022-12-06
TWI821047B (zh) 2023-11-01
US20200051635A1 (en) 2020-02-13
TWI787099B (zh) 2022-12-11
US10943661B2 (en) 2021-03-09
TW202405812A (zh) 2024-02-01

Similar Documents

Publication Publication Date Title
TWI708249B (zh) 用於在深度學習人工類神經網路中的類比類神經記憶體之高電壓產生之方法及設備
TWI736845B (zh) 用於程式化深度學習人工類神經網路中的類比神經記憶體之方法及設備
TWI742508B (zh) 用於驗證在深度學習人工神經網路中在模擬神經記憶體中之非揮發性記憶體單元的程式化操作期間儲存之值的演算法及電路
TW202217825A (zh) 類比神經記憶體中之同時寫入及驗證操作
TWI743510B (zh) 在記憶體系統中執行神經讀取操作的方法及其記憶體系統
JP7570459B2 (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリの高電圧生成のための方法及び装置
WO2024162979A1 (en) Current-to-voltage converter comprising common mode circuit
WO2024162978A1 (en) Multiplexors for neural network array