TWI785174B - 用於深度學習人工類神經網路中的類比非揮發性記憶體的可程式化神經元 - Google Patents

用於深度學習人工類神經網路中的類比非揮發性記憶體的可程式化神經元 Download PDF

Info

Publication number
TWI785174B
TWI785174B TW107146980A TW107146980A TWI785174B TW I785174 B TWI785174 B TW I785174B TW 107146980 A TW107146980 A TW 107146980A TW 107146980 A TW107146980 A TW 107146980A TW I785174 B TWI785174 B TW I785174B
Authority
TW
Taiwan
Prior art keywords
neural network
artificial neural
current
neuron
vector matrix
Prior art date
Application number
TW107146980A
Other languages
English (en)
Other versions
TW201931214A (zh
Inventor
曉萬 陳
史丹利 洪
英 李
順 武
新 范
開 阮
漢 陳
Original Assignee
美商超捷公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商超捷公司 filed Critical 美商超捷公司
Publication of TW201931214A publication Critical patent/TW201931214A/zh
Application granted granted Critical
Publication of TWI785174B publication Critical patent/TWI785174B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03F—AMPLIFIERS
    • H03F3/00—Amplifiers with only discharge tubes or only semiconductor devices as amplifying elements
    • H03F3/45—Differential amplifiers
    • H03F3/45071—Differential amplifiers with semiconductor devices only
    • H03F3/45076—Differential amplifiers with semiconductor devices only characterised by the way of implementation of the active amplifying circuit in the differential amplifier
    • H03F3/45475—Differential amplifiers with semiconductor devices only characterised by the way of implementation of the active amplifying circuit in the differential amplifier using IC blocks as the active amplifying circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G11C16/0425—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing a merged floating gate and select transistor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/12—Arrangements for performing computing operations, e.g. operational amplifiers
    • G06G7/14—Arrangements for performing computing operations, e.g. operational amplifiers for addition or subtraction 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/12—Arrangements for performing computing operations, e.g. operational amplifiers
    • G06G7/18—Arrangements for performing computing operations, e.g. operational amplifiers for integration or differentiation; for forming integrals
    • G06G7/184—Arrangements for performing computing operations, e.g. operational amplifiers for integration or differentiation; for forming integrals using capacitive elements
    • G06G7/186—Arrangements for performing computing operations, e.g. operational amplifiers for integration or differentiation; for forming integrals using capacitive elements using an operational amplifier comprising a capacitor or a resistor in the feedback loop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/12—Arrangements for performing computing operations, e.g. operational amplifiers
    • G06G7/24—Arrangements for performing computing operations, e.g. operational amplifiers for evaluating logarithmic or exponential functions, e.g. hyperbolic functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03F—AMPLIFIERS
    • H03F2203/00—Indexing scheme relating to amplifiers with only discharge tubes or only semiconductor devices as amplifying elements covered by H03F3/00
    • H03F2203/45—Indexing scheme relating to differential amplifiers
    • H03F2203/45524—Indexing scheme relating to differential amplifiers the FBC comprising one or more active resistors and being coupled between the LC and the IC
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03F—AMPLIFIERS
    • H03F3/00—Amplifiers with only discharge tubes or only semiconductor devices as amplifying elements
    • H03F3/45—Differential amplifiers
    • H03F3/45071—Differential amplifiers with semiconductor devices only
    • H03F3/45076—Differential amplifiers with semiconductor devices only characterised by the way of implementation of the active amplifying circuit in the differential amplifier
    • H03F3/45179—Differential amplifiers with semiconductor devices only characterised by the way of implementation of the active amplifying circuit in the differential amplifier using MOSFET transistors as the active amplifying circuit
    • H03F3/45269—Complementary non-cross coupled types

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Neurology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Semiconductor Memories (AREA)
  • Read Only Memory (AREA)
  • Non-Volatile Memory (AREA)
  • Combined Controls Of Internal Combustion Engines (AREA)
  • Complex Calculations (AREA)
  • Feedback Control In General (AREA)

Abstract

揭示用於處理一種人工類神經網路中的一向量矩陣乘法(vector-by-matrix multiplication,VMM)陣列的電流輸出的多個實施例。該等實施例包含一加算器電路及一啟動功能電路。該加算器電路及/或該啟動功能電路包含可回應於從該VMM接收的該總可能電流而調整的電路元件以最佳化電力消耗。

Description

用於深度學習人工類神經網路中的類比非揮發性記憶體的可程式化神 經元 相關申請案之交互參照
本申請案主張於2018年1月3日提出申請之美國臨時專利申請案第62/613,373號及於2018年3月27日提出申請之美國專利申請案第15/936,983號的優先權。
揭示用於處理一種人工類神經網路中的一向量矩陣乘法(vector-by-matrix multiplication,VMM)陣列的電流輸出的多個實施例。該等實施例包含一加算器電路及一啟動功能電路。該加算器電路及/或該啟動功能電路包含可回應於從該VMM接收的該總可能電流而調整的電路元件以最佳化電力消耗。
人工類神經網路模仿生物神經網路(動物的中樞神經系統，特別係大腦)，其用以評估或近似可取決於大數目的輸入且通常未知的功能。人工類神經網路通常包括在彼此間交換訊息之互連的「神經元」的層。
圖1繪示一人工類神經網路，其中圓形表示神經元的輸入或層。連接(稱為突觸)係以箭頭表示，並具有可基於經驗調諧的 數字權重。此使類神經網路適應輸入並能夠學習。一般而言，類神經網路包括多個輸入的一層。一般而言有一或多個神經元中間層，及提供類神經網路的輸出之一神經元輸出層。各級的神經元基於自突觸接收之資料個別地或共同地做決策。
用於高效能資訊處理的人工類神經網路之發展中的主要挑戰之一者係缺少適當的硬體技術。的確，實際的類神經網路依賴非常大數目的突觸，而在神經元之間實現高連接性，亦即，非常高的計算平行性。原理上，此種複雜性可以數位超級電腦或專用圖形處理單元叢集實現。然而，除了高成本以外，此等方法與生物網路相比時也苦於中等的能量效率，主要因為生物網路實施低精確度類比計算而消耗更少的能量。CMOS類比電路已用於人工類神經網路，但大多數CMOS實作的突觸在給定高數目的神經元及突觸情況下已過於龐大。
申請人先前在美國專利申請案第15/594,439號(其以引用方式併入本文中)中揭示一種人工(類比)類神經網路，其利用一或多個非揮發性記憶體陣列作為突觸。非揮發性記憶體陣列作為類比神經形態記憶體進行操作。該類神經網路裝置包括一第一複數個突觸及一第一複數個神經元，該第一複數個突觸經組態以接收一第一複數個輸入並由此產生一第一複數個輸出，該第一複數個神經元經組態以接收該第一複數個輸出。該第一複數個突觸包括複數個記憶體單元，其中該等記憶體單元之各者包括形成於一半導體基材中之間隔開的源極區域及汲極區域，其中一通道區域在該源極區域與該汲極區域之間延伸；一浮閘，其設置於該通道區域之一第一部分上方並與該第 一部分絕緣；及一非浮閘，其設置於該通道區域之一第二部分上方並與該第二部分絕緣。該複數個記憶體單元之各者經組態來儲存對應於該浮閘上之數個電子的權重值。該複數個記憶體單元經組態以使該第一複數個輸入乘以所儲存的該等權重值，以產生該第一複數個輸出。
該類比神經形態中所用的各非揮發性記憶體單元必須經抹除及程式化以在該浮閘中保持一非常特定且精確的電荷量。例如，各浮閘必須保持N個不同值之一者，其中N係可由各單元指示之不同權重的數目。N的實例包括16、32、及64。
申請人也已揭示用於調諧使用在美國專利申請案第15/826,345號(其以引用方式併入本文中)中的人工類神經網路中的類比神經形態記憶體的經改善機制及演算法。
利用類比神經形態記憶體的人工類神經網路一般包含在各VMM級之後的加算器及啟動功能電路。加算器將來自VMM的電流信號轉換成電壓信號，然後啟動功能電路正規化該電壓信號並產生經正規化電流信號，然後可將其提供至次一VMM級。先前技術的加算器電路及啟動電路一般係不靈活的，且不能針對各特定VMM陣列組態。此係有問題的，因為VMM可能在其等可輸出的最大電流位準上改變。
所需要的係用於在人工類神經網路中使用的經改善加算器及啟動電路，其中加算器及啟動電路可考慮特定VMM的特性而調整或修整。
揭示用於處理一種人工類神經網路中的一向量矩陣乘法(vector-by-matrix multiplication,VMM)陣列的電流輸出的多個實施例。該等實施例包含一加算器電路及一啟動功能電路。該加算器電路及/或該啟動功能電路包含可回應於從該VMM接收的該總可能電流而調整的電路元件以最佳化電力消耗。
12‧‧‧半導體基材
14‧‧‧源極區域/汲極
16‧‧‧汲極區域/源極
18‧‧‧通道區域
20‧‧‧浮閘
22‧‧‧字線端子
24‧‧‧位元線
26‧‧‧閘極氧化物
28‧‧‧選擇閘
30‧‧‧抹除閘
31‧‧‧數位類比轉換器
32‧‧‧VMM
32a‧‧‧輸入VMM
32b‧‧‧VMM
33‧‧‧非揮發性記憶體單元/記憶體陣列
34‧‧‧抹除閘及字線閘解碼器
35‧‧‧控制閘解碼器
36‧‧‧位元線解碼器
37‧‧‧源極線解碼器
38‧‧‧差動加算器/加總運算放大器
39‧‧‧啟動功能電路/電路
210‧‧‧記憶體單元
310‧‧‧四閘極記憶體單元/記憶體單元
410‧‧‧分離閘三閘極記憶體單元/記憶體單元
510‧‧‧堆疊閘極記憶體單元/記憶體單元
900‧‧‧神經元VMM
901‧‧‧參考陣列
902‧‧‧參考陣列
903‧‧‧記憶體陣列
914‧‧‧多工器
1100‧‧‧神經元VMM
1101‧‧‧參考陣列
1102‧‧‧參考陣列
1103‧‧‧記憶體陣列
1300‧‧‧神經元VMM
1301‧‧‧參考陣列/抹除閘線
1302‧‧‧參考陣列
1303‧‧‧記憶體陣列
1500‧‧‧神經元VMM
1501‧‧‧記憶體陣列
1502‧‧‧參考陣列
1503‧‧‧控制閘線
1504‧‧‧抹除閘線
1700‧‧‧系統
1701‧‧‧VMM陣列/VMM
1702‧‧‧VMM陣列/VMM
1703‧‧‧神經元輸出電路
1704‧‧‧VMM陣列/VMM
1705‧‧‧VMM陣列/VMM
1706‧‧‧神經元輸出電路
1800‧‧‧圖表
1900‧‧‧神經元電路
1901‧‧‧運算放大器
1902‧‧‧電流源
1903‧‧‧電阻器
2000‧‧‧神經元電路
2001‧‧‧運算放大器
2002‧‧‧電流源
2003‧‧‧可變電阻器
2101a‧‧‧離散電阻器
2101b‧‧‧離散電阻器
2010p‧‧‧離散電阻器
2102‧‧‧第一端子
2103‧‧‧可變電阻器/第二端子
2200‧‧‧神經元控制電路/控制系統
2201‧‧‧運算放大器
2202‧‧‧電流偏壓源
2203‧‧‧NMOS R-replica電晶體/NMOS電晶體
2204‧‧‧NMOS電晶體
2210‧‧‧電壓源/VREF
2211‧‧‧電壓源/VDREF
2220‧‧‧輸出/VCONTROL
2300‧‧‧神經元電路/神經元輸出電路/控制系統
2301‧‧‧運算放大器
2302‧‧‧電流源
2303‧‧‧NMOS R_NEU電晶體/NMOS電晶體
2304‧‧‧電流偏壓IBIAS_OPA
2400‧‧‧差動神經元電路/差動神經元輸出電路/神經元電路
2401‧‧‧運算放大器
2402‧‧‧電流源
2403‧‧‧NMOS電晶體
2404‧‧‧NMOS電晶體
2405‧‧‧NMOS電晶體
2406‧‧‧運算放大器
2407‧‧‧電流源
2500‧‧‧系統/神經元電路/控制電路
2501‧‧‧VMM陣列
2503‧‧‧啟動功能電路/啟動電路
2504‧‧‧神經元電路/加算器電路
2600‧‧‧控制系統
2601‧‧‧參考電路
2602‧‧‧電路
2603‧‧‧電路
2700‧‧‧適應性神經元/神經元電路
2701‧‧‧PMOS電晶體
2702‧‧‧PMOS電晶體
2703‧‧‧I_NEURON
2704‧‧‧可變電阻器
2800‧‧‧適應性神經元/神經元電路
2801‧‧‧PMOS電晶體
2802‧‧‧開關
2803‧‧‧開關
2804‧‧‧開關
2806‧‧‧可變電阻器
2900‧‧‧差動適應性神經元/神經元電路
2901‧‧‧PMOS電晶體
2902‧‧‧開關
2903‧‧‧開關
2904‧‧‧開關
2907‧‧‧運算放大器
2908‧‧‧NMOS電晶體
2909‧‧‧節點
3000‧‧‧啟動功能電路
3001‧‧‧PMOS電晶體
3002‧‧‧PMOS電晶體
3003‧‧‧PMOS電晶體
3004‧‧‧PMOS電晶體
3005‧‧‧PMOS電晶體
3006‧‧‧PMOS電晶體
3007‧‧‧NMOS電晶體
3008‧‧‧NMOS電晶體
3009‧‧‧NMOS電晶體
3010‧‧‧NMOS電晶體
3100‧‧‧運算放大器
3101‧‧‧PMOS電晶體
3102‧‧‧PMOS電晶體
3103‧‧‧NMOS電晶體
3104‧‧‧NMOS電晶體
3105‧‧‧PMOS電晶體
3106‧‧‧NMOS電晶體
3107‧‧‧NMOS電晶體
3108‧‧‧NMOS電晶體
3200‧‧‧高電壓運算放大器
3201‧‧‧PMOS電晶體
3202‧‧‧PMOS電晶體
3203‧‧‧PMOS電晶體
3204‧‧‧PMOS電晶體
3205‧‧‧PMOS電晶體
3206‧‧‧PMOS電晶體
3207‧‧‧NMOS電晶體
3208‧‧‧NMOS電晶體
3209‧‧‧NMOS電晶體
3210‧‧‧NMOS電晶體
3211‧‧‧NMOS電晶體
3212‧‧‧NMOS電晶體
3215‧‧‧PMOS電晶體
3216‧‧‧PMOS電晶體
3217‧‧‧NMOS電晶體
3218‧‧‧NMOS電晶體
32014‧‧‧NMOS電晶體
圖1係繪示一人工類神經網路的圖。
圖2係習知的2閘極非揮發性記憶體單元的截面側視圖。
圖3係習知的4閘極非揮發性記憶體單元的截面側視圖。
圖4係習知的3閘極非揮發性記憶體單元的側截面圖。
圖5係另一習知的2閘極非揮發性記憶體單元的截面側視圖。
圖6係繪示利用非揮發性記憶體陣列的例示性人工類神經網路之不同級的圖。
圖7係繪示一向量乘法器矩陣的方塊圖。
圖8係繪示一向量乘法器矩陣之各種級的方塊圖。
圖9描繪用於在人工類神經網路中使用的非揮發性記憶體單元的陣列。
圖10描繪在圖9之非揮發性記憶體單元上執行操作的操作電壓。
圖11描繪用於在人工類神經網路中使用的非揮發性記憶體單元的陣列。
圖12描繪在圖11之非揮發性記憶體單元上執行操作的操作電壓。
圖13描繪用於在人工類神經網路中使用的非揮發性記憶體單元的陣列。
圖14描繪在圖13之非揮發性記憶體單元上執行操作的操作電壓。
圖15描繪用於在人工類神經網路中使用的非揮發性記憶體單元的陣列。
圖16描繪在圖15之非揮發性記憶體單元上執行操作的操作電壓。
圖17描繪耦接至加算器電路及啟動功能電路的VMM陣列。
圖18描繪來自圖17之啟動功能電路的輸入輸出特性的圖表。
圖19描繪先前技術的加算器電路
圖20描繪可調整加算器電路的實施例。
圖21描繪可變電阻器的實施例。
圖22描繪控制電路的實施例。
圖23描繪可調整加算器電路的實施例。
圖24描繪差動可調整加算器電路的實施例。
圖25描繪包含VMM陣列、加算器電路、啟動功能電路、及控制電路的人工類神經網路級的實施例
圖26描繪參考控制電路。
圖27描繪可調整加算器電路的實施例
圖28描繪可調整加算器電路的實施例。
圖29描繪差動可調整加算器電路的實施例。
圖30描繪啟動功能電路的實施例。
圖31描繪運算放大器的實施例。
圖32描繪高電壓運算放大器的實施例。
本發明的人工類神經網路利用CMOS技術與非揮發性記憶體陣列的組合。
非揮發性記憶體單元
數位非揮發性記憶體係已知。例如，美國專利第5,029,130號(「'130專利」)揭示分離閘非揮發性記憶體單元之一陣列，且係為所有目的以引用方式併入本文中。此一類記憶體單元顯示於圖2中。各記憶體單元210包括形成在半導體基材12中的源極區域14及汲極區域16，其間具有通道區域18。浮閘20形成在通道區域18的第一部分上方且與該第一部分絕緣(且控制該第一部分的導電性)，及形成在源極區域16的一部分上方。字線端子22(其一般耦接至字線)具有設置在通道區域18之第二部分上方且與該第二部分絕緣(且控制該第二部分的導電性)的第一部分，及向上並於浮閘20上 方延伸的第二部分。浮閘20及字線端子22藉由閘極氧化物與基材12絕緣。位元線24耦接至汲極區域16。
記憶體單元210係藉由將高正電壓置於字線端子22上而抹除(其中將電子從浮閘移除)，其導致浮閘20上的電子經由富爾諾罕穿隧而從浮閘20穿隧通過中間絕緣體至字線端子22。
記憶體單元210係藉由將正電壓置於字線端子22上及將正電壓置於源極16上而程式化(其中將電子置於浮閘上)。電子流將自源極16朝向汲極14流動。當電子抵達字線端子22與浮閘20之間的間隙時，其等將加速且變成經加熱的。由於來自浮閘20的吸引靜電力，該等經加熱電子的一些將通過閘極氧化物26注入至浮閘20上。
記憶體單元210係藉由將正讀取電壓置於汲極14及字線端子22上(其導通字線端子下方的通道區域)而讀取。若浮閘20帶正電荷(亦即電子經抹除並正耦接至汲極16)，則浮閘20下方的通道區域部分亦經接通，且電流將跨通道區域18流動，其係感測為經抹除或「1」狀態。若浮閘20帶負電荷(亦即以電子程式化)，則浮閘20下方的通道區域部分係大部分或完全斷開，且電流將不會跨通道區域18流動(或將有少許流動)，其係感測為經程式化或「0」狀態。
表1描繪可施加至記憶體單元210的端子之用於執行讀取、抹除、及程式化操作的典型電壓範圍：
Figure 107146980-A0202-12-0008-1
其他分離閘記憶體單元組態為已知。例如，圖3描繪四閘極記憶體單元310，其包含源極區域14、汲極區域16、在通道區域18的第一部分上方的浮閘20、在通道區域18的第二部分上方的選擇閘28(一般耦接至字線)、在浮閘20上方的控制閘22、及在源極區域14上方的抹除閘30。此組態描述於美國專利第6,747,310號中，其針對所有目的以引用方式併入本文中。此處，除了浮閘20以外的所有閘係非浮閘，意指其等經電氣連接或可連接至電壓源。程式化係藉由變熱的電子自通道區域18將其本身注入至浮閘20上來顯示。抹除係藉由自浮閘20至抹除閘30之電子穿隧來顯示。
表2描繪可施加至記憶體單元310的端子之用於執行讀取、抹除、及程式化操作的典型電壓範圍：
Figure 107146980-A0202-12-0008-2
圖4描繪分離閘三閘極記憶體單元410。記憶體單元410與圖3的記憶體單元310相同，除了記憶體單元410不具有分開控制閘。除了沒有控制閘偏壓以外，抹除操作(通過抹除閘抹除)與讀取操作與圖3所示者類似。程式化操作的完成也未使用控制閘偏壓，因此為了彌補對於控制閘偏壓的缺乏，源極線上的程式化電壓比較高。
表3描繪可施加至記憶體單元410的端子之用於執行讀取、抹除、及程式化操作的典型電壓範圍：
Figure 107146980-A0202-12-0009-3
圖5描繪堆疊閘極記憶體單元510。記憶體單元510類似於圖2的記憶體單元210，除了浮閘20在整個通道區域18上方延伸，及控制閘22在浮閘20上方延伸，藉由絕緣層分隔。抹除、程式化、及讀取操作以與先前針對記憶體單元210描述的類似方式操作。
表4描繪可施加至記憶體單元510的端子之用於執行讀取、抹除、及程式化操作的典型電壓範圍：
Figure 107146980-A0202-12-0010-4
為了在人工類神經網路中利用包含上述非揮發性記憶體單元之類型的一者的記憶體陣列，進行二種修改。第一，該等線經重組態使得各記憶體單元可個別地程式化、抹除、及讀取而不會不利地影響陣列中之其他記憶體單元的記憶體狀態，如下文所進一步解釋者。第二，提供記憶體單元連續(類比)程式化。
具體而言，陣列中的各記憶體單元的記憶體狀態(亦即，浮閘上的電荷)可獨立地且對其他記憶體單元的干擾最小地從完全抹除狀態連續地改變至完全程式化狀態，且反之亦然。此意指單元儲存係類比的或至少可儲存許多離散值(諸如16或32個不同的值)之一者，其允許非常精確及個別的調諧記憶體陣列中的所有單元，且其使記憶體陣列非常適於儲存類神經網路的突觸權重並對該等突觸權重進行微調調整。
採用非揮發性記憶體單元陣列的類神經網路
圖6概念性地繪示利用非揮發性記憶體陣列之類神經網路的非限制性實例。此實例將非揮發性記憶體陣列類神經網路使用於 面部識別應用，但任何其他適當應用可使用基於非揮發性記憶體陣列的類神經網路實作。
S0係輸入，針對此實例，其係具有5位元精確度之32×32像素的RGB影像(亦即，三個32×32像素陣列，一者用於各顏色R、G、及B，各像素係5位元精確度)。從S0到C1的突觸CB1具有二組不同的權重及共享權重，並以3×3像素重疊濾波器(核心)，將濾波器移位1個像素(或如模型所決定而多於1個像素)掃描輸入影像。具體而言，將影像之3×3部分中的9個像素(亦即，稱為濾波器或核心)的值提供至突觸CB1，藉此將此等9個輸入值乘以合適權重，且在對該乘法的輸出加總之後，由CB1的第一神經元判定並提供用於產生特徵圖譜(feature map)C1之該等層的一者之像素的單一輸出值。然後將3×3濾波器右移一個像素(亦即，在右邊加入三個像素之行，並在左邊丟棄三個像素之行)，藉此將此新定位濾波器中的9個像素值提供至突觸CB1，藉此將彼等乘以相同權重，並藉由關聯神經元判定第二單一輸出值。繼續此程序直到3×3濾波器針對所有三種顏色及所有位元(精確值)掃描整個32×32像素影像。然後使用不同組的權重重複該程序，以產生C1之不同的特徵圖譜，直到層C1的所有特徵圖譜已計算。
在本實例中，在C1處，有各具有30×30個像素之16個特徵圖譜。各像素係從將輸入與核心相乘所擷取的新特徵像素，且因此各特徵圖譜係二維陣列，且因此在此實例中，突觸CB1構成二維陣列的16層(請記住本文中所提及的神經元層及陣列係邏輯關係，不 一定係實體關係-亦即，陣列不一定以實體的二維陣列定向)。16個特徵圖譜之各者係由經施加至濾波器掃描之十六組不同的突觸權重之一者產生。C1特徵圖譜可全部關於相同影像特徵的不同態樣，諸如邊界識別。例如，第一圖譜(使用第一組權重產生，用於所有掃描所共享而用以產生此第一圖譜)可識別圓形邊緣，第二圖譜(使用與第一組權重不同的第二組權重產生)可識別矩形邊緣，或某些特徵的縱橫比，並依此類推。
啟動功能P1(彙整)係在從C1到S1之前施加，其彙整來自各特徵圖譜中之連續、非重疊2×2區域的值。彙整階段的目的係平均附近位置(或也能使用max函數)，以減少，例如，邊緣位置的相依性，並在進入下一階段之前減少資料大小。在S1處，有16個15×15特徵圖譜(亦即，各15×15像素的十六個不同陣列)。從S1到C2之CB2中的突觸及關聯神經元使用4×4濾波器，以1個像素的濾波器移位來掃描S1中的圖譜。在C2處，有22個12×12特徵圖譜。啟動功能P2(彙整)係在從C2到S2之前施加，其彙整來自各特徵圖譜中之連續、非重疊2×2區域的值。在S2處，有22個6×6特徵圖譜。將啟動功能施加在從S2到C3的突觸CB3處，其中C3中的每個神經元連接至S2中的每個圖譜。在C3處，有64個神經元。從C3到輸出S3的突觸CB4將S3完全連接至C3。在S3處的輸出包括10個神經元，其中最高的輸出神經元判定類別。該輸出可例如指示原始影像之內容的識別或類別。
突觸的各級係使用非揮發性記憶體單元的陣列或陣列的一部分實作。圖7係包括非揮發性記憶體單元且用作輸入層與次一層之間的突觸之向量矩陣乘法(vector-by-matrix multiplication,VMM)陣列的方塊圖。具體而言，VMM 32包括非揮發性記憶體單元33的陣列、抹除閘及字線閘解碼器34、控制閘解碼器35、位元線解碼器36、及源極線解碼器37，其等解碼記憶體陣列33的輸入。此實例中的源極線解碼器37也解碼記憶體單元陣列的輸出。記憶體陣列用作兩個目的。第一，其儲存將由VMM使用的權重。第二，記憶體陣列有效地將輸入乘以儲存在記憶體陣列中的權重以產生輸出，其將係至次一層的輸入或至最終層的輸入。藉由執行乘法功能，記憶體陣列否定對分開的乘法邏輯電路的需求，且亦由於原位記憶體運算而係有能源效率的。
將記憶體陣列的輸出供應至一差動加算器(諸如加總運算放大器)38，其加總記憶體單元陣列的輸出以創建用於該卷積的單一值。該差動加算器係諸如用以實現正權重及負權重與正輸入的加總。然後將該經加總輸出值供應至整流輸出的啟動功能電路39。啟動功能可包括S形(sigmoid)函數、雙曲正切(tanh)函數、ReLU函數。經整流輸出值變成作為次一層(例如，以上描述中的C1)之特徵圖譜的元素，然後經施加於次一突觸以產生次一特徵圖譜層或最終層。電路39可進一步包括彙整函數。因此，在此實例中，記憶體陣列構成複數個突觸(其從神經元的先前層或從輸入層(諸如影像資料庫)接收其 等的輸入)，且加總運算放大器38及啟動功能電路39構成複數個神經元。
圖8係VMM之各種級的方塊圖。如圖7所示，輸入係藉由數位類比轉換器31從數位轉換成類比，並提供至輸入VMM 32a。將由輸入VMM 32a產生的輸出提供作為至次一VMM(隱藏級1)32b的輸入，其繼而產生提供作為至次一VMM(隱藏級2)32b之輸入的輸出，並依此類推。VMM 32之各種層如卷積式類神經網路(convolutional neural network,CNN)之突觸及神經元的不同層而作用。各VMM可係獨立的非揮發性記憶體陣列，或多個VMM可利用相同的非揮發性記憶體陣列的不同部分，或多個VMM可利用相同的非揮發性記憶體陣列的重疊部分。如圖8所示，有5層，可能有多於5層的隱藏層及完全連接層的其他組合。
向量矩陣乘法(VMM)陣列
圖9描繪神經元VMM 900，其特別適於圖2所示之類型的記憶體單元，且利用為輸入層與次一層之間的神經元的突觸及部件。VMM 900包含非揮發性記憶體單元的記憶體陣列903、參考陣列901、及參考陣列902。參考陣列901及902用以將流入端子BLR0至3中的電流輸入轉換成電壓輸入WL0至3。如圖示之參考陣列901及902係在行方向上。一般而言，參考陣列方向正交於輸入線。實際上，參考記憶體單元係通過多工器(多工器914，其包括多工器及用 於偏壓參考位元線的疊接電晶體VBLR)的二極體式連接，該等多工器具有流入其等的電流輸入。參考單元經調諧至目標參考位準。
記憶體陣列903供兩個目的使用。第一，其儲存將由VMM 900使用的權重。第二，記憶體陣列903有效地將輸入(在端子BLR0至3中提供的電流輸入；參考陣列901及902將此等電流輸入轉換成輸入電壓以供應至字線WL0至3)乘以儲存在記憶體陣列中的權重以產生輸出，該輸出將係至次一層的輸入或至最終層的輸入。藉由實施乘法功能，記憶體陣列否定對分開的乘法邏輯電路的需求，且也係有能源效率的。此處，電壓輸入係在字線上提供，且輸出在一讀取(推論)操作期間顯現於位元線上。置於位元線上的電流執行來自連接至位元線之記憶體單元的所有電流之一加總功能。
圖10描繪可施加至VMM 900內之記憶體單元的端子之用於執行讀取、抹除、及程式化操作的典型電壓範圍。表中的行指示置於用於經選擇單元之字線、用於未經選擇單元之字線、用於經選擇單元之位元線、用於未經選擇單元之位元線、用於經選擇單元之源極線、以及用於未經選擇單元之源極線上的電壓。列指示讀取、抹除、及程式化操作。
圖11描繪神經元VMM 1100，其特別適於圖2所示之類型的記憶體單元，且利用為輸入層與次一層之間的神經元的突觸及部件。VMM 1100包含非揮發性記憶體單元的記憶體陣列1103、參考陣列1101、及參考陣列1102。VMM 1100類似於VMM 1100，除了在VMM 1100中，字線在垂直方向上延行。有兩個參考陣列1101 (在頂部，其提供將輸入電流轉換成用於偶數列之電壓的參考)及1102(在底部，其提供將輸入電流轉換成用於奇數列之電壓的參考)。此處，輸入係在字線上提供，且輸出在一讀取操作期間顯現於源極線上。置於源極線上的電流執行來自連接至源極線之記憶體單元的所有電流之一加總功能。
記憶體陣列1103供兩個目的使用。第一，其儲存將由VMM 1100使用的權重。第二，記憶體陣列1103有效地將輸入(提供至端子BLR0至3的電流輸入；參考陣列1101及1102將此等電流輸入轉換成輸入電壓以供應至控制閘CG0至3)乘以儲存在記憶體陣列中的權重以產生輸出，該輸出將係至次一層的輸入或至最終層的輸入。藉由實施乘法功能，記憶體陣列否定對分開的乘法邏輯電路的需求，且也係有能源效率的。此處，輸入係在字線上提供，且輸出在一讀取操作期間顯現於源極線上。置於源極線上的電流執行來自連接至源極線之記憶體單元的所有電流之一加總功能。
圖12描繪可施加至VMM 1100內之記憶體單元的端子之用於執行讀取、抹除、及程式化操作的典型電壓範圍。表中的行指示置於用於經選擇單元之字線、用於未經選擇單元之字線、用於經選擇單元之位元線、用於未經選擇單元之位元線、用於經選擇單元之源極線、以及用於未經選擇單元之源極線上的電壓。列指示讀取、抹除、及程式化操作。
圖13描繪神經元VMM 1300，其特別適於圖3所示之類型的記憶體單元，且利用為輸入層與次一層之間的神經元的突觸及 部件。VMM 1300類似於VMM 900，除了在VMM 1300中，抹除閘線(諸如抹除閘線1301)在垂直方向上延行。此處，輸入經提供在控制閘線上，且輸出出現在位元線上。置於位元線上的電流執行來自連接至位元線之記憶體單元的所有電流的加總功能。
記憶體陣列1301供兩個目的使用。第一，其儲存將由VMM 1300使用的權重。第二，記憶體陣列1301有效地將輸入(提供至端子BLR0至3的電流輸入；參考陣列1301及1302將此等電流輸入轉換成輸入電壓以供應至控制閘CG0至3)乘以儲存在記憶體陣列中的權重以產生輸出，該輸出將係至次一層的輸入或至最終層的輸入。藉由實施乘法功能，記憶體陣列否定對分開的乘法邏輯電路的需求，且也係有能源效率的。此處，輸入經提供在控制閘線上，且輸出在讀取操作期間出現在位元線上。置於位元線上的電流執行來自連接至位元線之記憶體單元的所有電流之一加總功能。替代地，輸入可經提供至字線。
VMM 1300針對記憶體陣列1303中的記憶體單元實施單向調諧。也就是，各單元經抹除，並接著經部分程式化，直到達到浮閘上的所欲電荷。若將太多電荷置於浮閘上(使得錯誤的值經儲存在單元中)，則必須抹除單元，且部分程式化操作的序列必須重新開始。如所示，共享相同抹除閘的兩列需要一起抹除(已知為頁面抹除)，其後，各單元經部分程式化直到達到浮閘上的所欲電荷，圖14描繪用於VMM 1300的操作電壓。表中的行指示置於用於經選擇單元之字線、用於未經選擇單元之字線、用於經選擇單元之位元線、用於 未經選擇單元之位元線、用於經選擇單元之控制閘、用於與經選擇單元相同扇區中之未經選擇單元之控制閘、用於不同於經選擇單元之一扇區中之未經選擇單元之控制閘、用於經選擇單元之抹除閘、用於未經選擇單元之抹除閘、用於經選擇單元之源極線、用於未經選擇單元之源極線上的電壓。列指示讀取、抹除、及程式化操作。
圖15描繪神經元VMM 1500，其特別適於圖3所示之類型的記憶體單元，且利用為輸入層與次一層之間的神經元的突觸及部件。VMM 1500包含非揮發性記憶體單元的記憶體陣列1501及參考陣列1502(在陣列的頂部)。替代地，可將另一參考陣列置於底部，類似於圖10者。在其他方面，VMM 1500類似於VMM 1500，除了在VMM 1500中，控制閘線(諸如控制閘線1503)在垂直方向上延行(因此參考陣列1502在列方向上，正交於輸入控制閘線)，且抹除閘線(諸如抹除閘線1504)在水平方向上延行。此處，輸入經提供在控制閘線上，且輸出出現在源極線上。在一個實施例中，僅使用偶數列，且在另一實施例中，僅使用奇數列。置於源極線上的電流執行來自連接至源極線之記憶體單元的所有電流之一加總功能。
ESF向量矩陣乘法器的其他實施例描述於美國專利申請案第15/826,345號中，其以引用方式併入本文中。源極線或位元線可使用為神經元輸出(電流加總輸出)。
圖16描繪用於VMM 1500的操作電壓。表中的行指示置於用於經選擇單元之字線、用於未經選擇單元之字線、用於經選擇單元之位元線、用於未經選擇單元之位元線、用於經選擇單元之控制 閘、用於與經選擇單元相同扇區中之未經選擇單元之控制閘、用於不同於經選擇單元之一扇區中之未經選擇單元之控制閘、用於經選擇單元之抹除閘、用於未經選擇單元之抹除閘、用於經選擇單元之源極線、用於未經選擇單元之源極線上的電壓。列指示讀取、抹除、及程式化操作。
如本文針對類神經網路所描述的，快閃單元較佳地經組態以在次臨限區域中操作。
在本文中描述的記憶體單元以弱反轉偏壓：Ids=Io * e(Vg-Vth)/kVt=w * Io * e(Vg)/kVt w=e(-Vth)/kVt
對於使用記憶體單元以將輸入電流轉換成輸入電壓的I至V對數轉換器：Vg=k*Vt*log[Ids/wp*Io]
對於使用作為向量矩陣乘法器VMM的記憶體陣列，輸出電流係：Iout=wa * Io * e(Vg)/kVt，即Iout=(wa/wp)* Iin=W * Iin W=e(Vthp-Vtha)/kVt
替代地，快閃記憶體單元可經組態以在線性區域中操作：Ids=beta*(Vgs-Vth)*Vds；beta=u*Cox*W/L W α(Vgs-Vth)
對於I至V線性轉換器，在線性區域中操作的記憶體單元可使用以將輸入/輸出電流線性地轉換成輸入/輸出電壓。
ESF向量矩陣乘法器的其他實施例描述於美國專利申請案第申請案第15/826,345號中，其以引用方式併入本文中。源極線或位元線可使用為神經元輸出。
加算器及啟動功能電路
圖17描繪神經元VMM與其後之加算器及啟動功能電路的二個級。系統1700包含VMM陣列1701、1702、1704、及1705。VMM陣列1701及1702共享神經元輸出電路1703(包含加算器電路及啟動功能電路)，且VMM陣列1704及1705共享神經元輸出電路1706(包含加算器電路及啟動功能電路)。VMM陣列1701的輸出及VMM 1702的輸出係在不同時間(例如，以時間多工啟動方案)提供至神經元輸出電路1703。神經元輸出電路1703首先加總VMM 1701或1702的輸出電流，以創建用於該卷積的單一值，從而實現正權重及負權重與正輸入的加總。然後將該等經加總輸出值供應至整流該輸出的啟動功能電路。啟動功能可包括S形(sigmoid)函數、雙曲正切(tanh)函數、ReLU函數。經整流輸出值變成作為次一層之特徵圖譜的元素，然後施加至次一突觸(此處係VMM陣列1704或VMM陣列1705)以產生次一特徵圖譜層或最終層。各VMM可遵循先前參照圖9、圖11、圖13、及圖15於描述之VMM設計的一者。
VMM陣列1704的輸出及VMM 1705的輸出係在不同時間(例如，以時間多工方式)提供至神經元輸出電路1706。神經元輸出電路1706首先加總VMM 1704或1705的輸出電流，以創建用於該卷積的單一值，從而實現正權重及負權重與正輸入的加總。然後將該等經加總輸出值供應至整流該輸出的啟動功能電路。啟動功能可包括S形(sigmoid)函數、雙曲正切(tanh)函數、ReLU函數。經整流輸出值變成作為次一層之特徵圖譜的元素或代表最終結果，然後施加至次一突觸(若存在)以產生次一特徵圖譜層或最終層。
顯示於上述圖式中的各種VMM陣列的大小取決於架構及卷積操作因素，諸如層深度(輸入、隱藏、輸出)、濾波器大小、彙整大小、特徵圖譜大小、及深度等。該大小也取決於是否使用輸入或輸出時間多工。
圖18描繪由神經元輸出電路1703或1706執行的啟動功能的圖表1800。在此實例中，啟動功能是tanh函數(雙曲正切函數)。
圖19描繪係電流加算器且將電流信號轉換成電壓信號的先前技術神經元電路1900。此處，神經元電路1900接收來自VMM(諸如VMM 1701、1702、1704、或1705)的電流(標記為I_NEU)，該電流在此處表示為電流源1902，該電流源耦接至運算放大器1901的反相輸入。運算放大器1901的非反相輸入耦接至電壓源(標記為VREF)。運算放大器1901的輸出(標記為VO)耦接至電阻器1903(標記為R_NEU)，然後該電阻器耦接至電流源1902及運 算放大器1901的反相輸入。輸出電壓VO等於電流I_NEU * R_NEU。I_NEU的最大值取決於突觸的數目及包含在VMM中的權重值。值得注意地，R_NEU係固定電阻，且隨着I_NEU增加，VO及總電力消耗也將增加。
圖20描繪用於加總電流並將經加總電流信號轉換成電壓信號的神經元電路2000。神經元電路2000接收來自VMM(諸如VMM 1701、1702、1704、或1705)的電流(標記為I_NEU)，該電流在此處表示為電流源2002，將該電流源提供至運算放大器2001的反相輸入。運算放大器2001的非反相輸入耦接至電壓源(標記為VREF)。運算放大器2001的輸出(標記為VO)耦接至可變電阻器2003(標記為R_NEU)，然後該可變電阻器耦接至電流源2002及運算放大器2001的反相輸入。輸出電壓Vo等於電流I_NEU * R_NEU-VREF。I_NEU的最大值取決於突觸的數目及包含在VMM中的權重值。與圖19的設計不同，R_NEU係可變電阻且可調適於提供電流I_NEU的VMM。例如，電阻R_NEU可組態或修整以基於I_NEU中的平均電流或峰電流將電力最小化。
圖21描繪可變電阻器2103的實施例。可變電阻器2103包含第一端子2102及第二端子2103。可變電阻器2103可經組態以耦接第一端子2102與第二端子2103之間的離散電阻器2101a、2101b、…、2101p的一或多者，從而組態可變電阻器2103的總電阻(R_NEU)。可選地，此可在組態或修整階段期間執行。
圖22描繪用於產生控制信號VCONTROL的神經元控制電路2200，以控制用以置換圖21之可變電阻器2103的連續可變電阻MOS電晶體。神經元控制電路2200包含運算放大器2201。運算放大器2201的反相輸入耦接至電流偏壓源2202(產生IBIAS)並耦接至在線性區域中操作的NMOS R-replica(複製電阻)電晶體2203的源極。NMOS R-replica電晶體2203的汲極耦接至電壓源VDREF 2211。運算放大器2201的非反相輸入耦接至電壓源(標記為VREF 2210)。運算放大器2201的輸出2220(標記為VCONTROL)耦接至NMOS電晶體2203的閘極並耦接至NMOS電晶體2204的閘極。NMOS電晶體2204的汲極耦接至操作電壓VD，且NMOS電晶體2204的源極耦接至大約VREF的電壓源。然後可將VCONTROL使用為描繪於本文圖式中之電路中的控制信號。
該電路運作如下。藉由運算放大器2201的動作，電壓VREF疊加在NMOS R-replica電晶體2203的源極的源極上。因此，NMOS R-replica電晶體2203的等效電阻係Req_NEU=(VDREF-VREF)/Ibias，與PVT(製程/電壓/溫度(process/voltage/temperature))變異無關。因為NMOS R-replica電晶體2203在線性區域中操作，其電阻在其Vds(源極汲極電壓)變化上保持非常恆定。因此，藉由使用在大小上與NMOS R-replica電晶體2203相同或類似且其閘極由VCONTROL 2220信號控制的MOS，其用作如圖17中之電阻器1703的等效電阻器。此外，藉由調整Ibias(及/或連同VDREF及 VREF)，電阻可依需要針對不同值組態，諸如針對矩陣向量乘法器組態的不同陣列大小。
圖23描繪用於轉換加總電流並將該電流信號轉換成電壓信號的神經元電路2300。神經元輸出電路2300接收來自VMM(諸如VMM 1701、1702、1704、或1705)的電流(標記為I_NEU)，該電流在此處表示為電流源2302，將該電流源提供至運算放大器2301的反相輸入。運算放大器2301的非反相輸入耦接至電壓源(標記為VREF)。運算放大器2301的輸出(標記為VO)耦接至NMOS R_NEU電晶體2303，該NMOS R_NEU電晶體作用為回應於施加至NMOS電晶體2303之閘極的信號VCONTROL之有效電阻R_NEU的可變電阻器。NMOS電晶體2303的大小在大小上與圖22之NMOS R_replica電晶體2203相同或類似。輸出電壓Vo等於電流I_NEU * R_NEU-VREF。I_NEU的最大值取決於突觸的數目及包含在VMM中的權重值。與圖19的設計不同，R_NEU係可變電阻且可調適於例如其所耦接之VMM的大小。R_NEU可藉由變化圖23中的IBIAS及/或VDREF及/或VREF而改變。進一步地，加總運算放大器2301的功率相關於R_NEU電晶體2303的值而調整以最小化電力消耗。隨着R_NEU電晶體2303的值增加，運算放大器2301的偏壓(即，電力)經由電流偏壓IBIAS_OPA 2304減少，且反之亦然。
圖24描繪用於加總差動電流並將該差動電流和轉換成電壓信號的差動神經元電路2400。差動神經元輸出電路2400接收來自第一VMM(諸如VMM 1701、1702、1704、或1705)的第一電流 (標記為I_NEU0)，及來自第二VMM(諸如VMM 1701、1702、1704、或1705)的第二電流(標記為I_NEU1)，該等電流於此處分別表示為電流源2402及2407。
電流源2402耦接至運算放大器2401的反相輸入。運算放大器2401的非反相輸入耦接至電壓源(標記為VREF)。運算放大器2401的輸出(標記為VO_0)耦接至NMOS電晶體2403，該NMOS電晶體作用為回應於施加至NMOS電晶體2403之閘極的信號VCONTROL之有效電阻R_NEU的可變電阻器。輸出電壓VO_0等於電流I_NEU0 * R_NEU-VREF。I_NEU的最大值取決於突觸的數目及包含在VMM中的權重值。R_NEU可藉由變化圖19及圖24中的IBIAS及/或VREF及/或VDREF而改變。
電流源2407耦接至運算放大器2406的反相輸入及至NMOS電晶體2404及2405。運算放大器2406的非反相輸入耦接至電壓源(標記為VREF)。運算放大器2406的輸出(標記為VO)耦接至NMOS電晶體2405，該NMOS電晶體作用為回應於施加至NMOS電晶體2405之閘極的信號VCONTROL之有效電阻R_NEU的可變電阻器。NMOS電晶體2405通過NMOS電晶體2404耦接至VO_0。NMOS電晶體2404作用為回應於施加至NMOS電晶體2404之閘極的信號VCONTROL之有效電阻R_NEU的可變電阻器。輸出電壓VO等於(I+-I-)* R_NEU-VREF。I+=I_NEU0且I-=I_NEU1。
圖25描繪系統2500。系統2500包含VMM陣列2501、神經元電路2504(諸如神經元電路2000、2300、2400、 2500、2700、2800、及2900、啟動功能電路2503(諸如啟動功能電路3000)、及用於控制R_NEU(可變電阻)、IBIAS、及VCONTROL的控制電路2500(諸如控制系統2200或2300)。控制電路2500提供用於加算器電路2504(諸如經組態可變電阻及運算放大器電路偏壓)及啟動電路2503(諸如偏壓)的控制、偏壓、及可組態性。
圖26描繪控制系統2600。控制系統2600包含參考電路2601，該參考電路提供及修整位元或組態位元、參考電流、及參考電壓，以組態提供VCONTROL(以控制加算器電路的可變電阻)的電路2602或在組態程序期間及/或修整程序期間產生用於運算放大器電路之偏壓的電路2603。
圖27描繪適應性神經元2700。適應性神經元2700包含以電流鏡組態配置的PMOS電晶體2701及2702。PMOS電晶體2701耦接至I_NEURON 2703，其係代表來自VMM(諸如VMM 1701、1702、1704、或1705)之電流的電流源。該電流鏡射在PMOS電晶體2702的汲極中，其經提供至可變電阻器2704。因此，適應性神經元2700將電流信號(I_NEURON)轉換成電壓信號(VO)。
圖28描繪適應性神經元2800。圖27中的適應性神經元2700的一個缺點係PMOS電晶體2701與2702之間的失配可影響效能。圖28藉由僅使用一個PMOS電晶體2801且基本上將其組態成使用開關2802、2803、及2804鏡射其自身(亦即，取樣及保持鏡)而消除此問題。最初，開關2802及開關2803係閉合的且開關2804 係打開的，此時PMOS電晶體2801耦接至代表來自VMM(諸如VMM 1701、1702、1704、或1705)的電流之電流源的I_NEURON。然後，打開開關2802及2803並閉合開關2804，其導致PMOS電晶體2801將電流I_NEURON從其汲極發送至可變電阻器2806。因此，適應性神經元2800將電流信號(I_NEURON)轉換成電壓信號(VO)。基本上，電晶體2801取樣電流I_NEURON並藉由將經取樣閘極-源極電壓儲存在其閘極上而保持該電流。
圖29描繪差動適應性神經元2900。差動適應性神經元2900包含代表來自第一VMM(諸如VMM 1701、1702、1704、或1705)的電流之電流源的I_NEURON+及代表來自第二VMM(諸如VMM 1701、1702、1704、或1705)的電流之電流源的I_NEURON-。最初，開關2902及2903係閉合的，且開關2904係打開的。然後，打開開關2902及2903並閉合開關2904，其導致PMOS電晶體2901自其汲極發送電流I_NEURON+。然後節點2909接收電流IO，其等於I_NEURON+減I_NEURON-。節點2909耦接至運算放大器2907的反相輸入及至NMOS電晶體2908的端子。運算放大器2907的非反相輸入耦接至電壓源VREF。NMOS電晶體2908的另一端子耦接至運算放大器2907的輸出，該輸出係VO。NMOS電晶體2908作用為回應於在其閘極上之信號VCONTROL的可變電阻器。因此，差動適應性神經元2900將差動電流信號(I_NEURON+-I_NEURON-)轉換成電壓信號(VO=(I_NEURON+-I_NEURON-)*R_NEU-VREF)。
顯示於圖20、圖23、圖24、圖25、圖27、圖28、及圖29中的可程式化神經元可經組態以調適於各VMM的需求而以最佳化電力實現所欲操作。
可變電阻器的替代實施例可包含切換電容電路，其中等效電阻反比於電容值及切換頻率。
圖30描繪啟動功能電路3000，其使用tanh函數將輸入電壓對(Vin+及Vin-)轉換為電流(Iout_neu)。啟動功能電路3000包含如圖示組態的PMOS電晶體3001、3002、3003、3004、3005、及3006，及NMOS電晶體3007、3008、3009、及3010。電晶體3003、3004、及3006用作疊接電晶體。輸入NMOS對3007及3008在次臨限區域中操作以實現tanh函數。電流I_neu_max係可從附接的VMM(未圖示)接收的最大神經元電流。
圖31描繪使用在加算器電路中以將電流轉換成電壓的運算放大器3100。運算放大器3100在圖示組態中包含PMOS電晶體3101、3102、及3105、NMOS電晶體3103、3104、3106、及3107、及作用為可變偏壓的NMOS電晶體3108。將至運算放大器3100的輸入端子標記為Vin+(施加至NMOS電晶體3104的閘極)及Vin-(施加至NMOS電晶體3103的閘極)，且輸出係VO。
圖32描繪使用在控制電路中以提供電壓控制信號VCONTROL的高電壓運算放大器3200。高電壓運算放大器3200利用疊接結構以避免高電壓崩潰。高電壓運算放大器3200包含以疊接組態配置的PMOS電晶體3215及3216、以疊接組態配置的PMOS電晶 體3205及3206、以疊接組態配置的PMOS電晶體3201及3203、以疊接組態配置的PMOS電晶體3202及和3204。高電壓運算放大器3200進一步包含以疊接組態配置的NMOS電晶體3207及3209、以疊接組態配置的NMOS電晶體3208及3210、以疊接組態配置的NMOS電晶體3217及3218、以疊接組態配置的NMOS電晶體3211及3212、及以疊接組態配置的NMOS電晶體3212及32014。輸入電壓Vin+及Vin-分別施加至NMOS電晶體3210及3209的閘極，且輸出係Vo。高電壓運算放大器3200中的所有電晶體係高電壓電晶體。
應注意的是，如本文中所使用，「在…上方(over)」及「在…上(on)」之用語皆含括性地包括了「直接在…之上(directly on)」(無居中的材料、元件或間隔設置於其間)及「間接在…之上(indirectly on)」(有居中的材料、元件或間隔設置於其間)的含意。同樣地，「相鄰的(adjacent)」一詞包括了「直接相鄰的」(無居中的材料、元件或間隔設置於其間)及「間接相鄰的」(有居中的材料、元件或間隔設置於其間)的含意，「安裝於(mounted to)」一詞則包括了「直接安裝於(directly mounted to)」(無居中的材料、元件或間隔設置於其間)及「間接安裝於(indirectly mounted to)」(有居中的材料、元件或間隔設置於其間)的含意，以及「電耦接(electrically coupled)」一詞則包括了「直接電耦接(directly electrically coupled to)」(無居中的材料或元件於其間將各元件電性相連接)及「間接電耦接(indirectly electrically coupled to)」(有居中的材料或元件於其間將各元件電性相連接)的含意。舉例而言，「在基材上方(over a substrate)」形成元件可包括直接在基材上形成元件而其間無居中的材料/元件存在，以及間接在基材上形成元件而其間有一或多個居中的材料/元件存在。

Claims (63)

  1. 一種人工類神經網路，其包含：一向量矩陣乘法陣列，其包含快閃記憶體單元的列及行；一加算器電路，其用於接收來自該向量矩陣乘法陣列的一電流，且用於回應於輸入電流而產生一輸出電壓，該加算器電路包含一可變電阻器；及一控制系統，其用於回應於組態位元及修整位元中的一或多者而調整該可變電阻器以改變電力消耗量。
  2. 如請求項1之人工類神經網路，其進一步包含：一啟動功能電路，其用於接收來自該加算器電路的該輸出電壓作為一輸入，且回應於該輸出電壓而產生一輸出電流。
  3. 如請求項1之人工類神經網路，其中該可變電阻器藉由組態位元及修整位元中的一或多者來組態。
  4. 如請求項3之人工類神經網路，其中該可變電阻器使用離散電阻器元件來組態。
  5. 如請求項3之人工類神經網路，其中該可變電阻器使用一MOS電晶體來組態。
  6. 如請求項1之人工類神經網路，其中該可變電阻器包含一切換電容器。
  7. 如請求項1之人工類神經網路，其中該可變電阻器包含一NMOS電晶體，其中由該NMOS電晶體提供的一電阻可藉由該NMOS電晶體的一閘極調整。
  8. 如請求項7之人工類神經網路，其中該NMOS電晶體的該閘極係由一MOS電阻複製電路控制。
  9. 如請求項8之人工類神經網路，其中該MOS電阻複製電路包括與該NMOS電晶體相同的一MOS複製電晶體。
  10. 如請求項1之人工類神經網路，其進一步包含用於鏡射來自該向量矩陣乘法陣列之該電流的一電流鏡。
  11. 如請求項1之人工類神經網路，其進一步包含用於取樣及保持來自該向量矩陣乘法陣列之該電流的一取樣及保持鏡。
  12. 如請求項2之人工類神經網路，其中該啟動功能電路在該輸入上執行一雙曲正切函數以產生該輸出電流。
  13. 如請求項2之人工類神經網路，其中該啟動功能電路在該輸入上執行一ReLU函數以產生該輸出電流。
  14. 如請求項2之人工類神經網路，其中該啟動功能電路在該輸入上執行一S形函數以產生該輸出電流。
  15. 如請求項1之人工類神經網路，其中該加算器電路包含一運算放大器。
  16. 如請求項15之人工類神經網路，其中用於該運算放大器的偏壓係按照向量矩陣乘法器陣列大小調整。
  17. 如請求項16之人工類神經網路，其中用於該運算放大器的該偏壓係基於該可變電阻器的一值。
  18. 如請求項8之人工類神經網路，其中該MOS電阻複製電路包含一高電壓運算放大器，該高電壓運算放大器包含以一串接組態配置的複數個電晶體對。
  19. 如請求項1之人工類神經網路，其中來自該向量矩陣乘法陣列的該電流經提供在該向量矩陣乘法陣列的一位元線上。
  20. 如請求項1之人工類神經網路，其中來自該向量矩陣乘法陣列的該電流經提供在該向量矩陣乘法陣列的一源極線上。
  21. 如請求項1之人工類神經網路，其中該快閃記憶體單元係分離閘記憶體單元。
  22. 一種人工類神經網路，其包含：一向量矩陣乘法陣列，其包含快閃記憶體單元的列及行；一加算器電路，其用於接收來自該向量矩陣乘法陣列的一差動輸入電流信號，且用於回應於該差動輸入電流信號而產生一輸出電壓，該加算器電路包含一可變電阻器；及一控制系統，其用於回應於組態位元及修整位元中的一或多者而調整該可變電阻器以改變電力消耗量。
  23. 如請求項22之人工類神經網路，其進一步包含：一啟動功能電路，其用於接收來自該加算器電路的該輸出電壓，且回應於該輸出電壓而產生一輸出電流。
  24. 如請求項22之人工類神經網路，其中該可變電阻器藉由組態位元及修整位元中的一或多者來組態。
  25. 如請求項24之人工類神經網路，其中該可變電阻器使用離散電阻器元件來組態。
  26. 如請求項24之人工類神經網路，其中該可變電阻器使用一MOS電晶體來組態。
  27. 如請求項22之人工類神經網路，其中該可變電阻器包含一切換電容器。
  28. 如請求項22之人工類神經網路，其中該可變電阻器包含一NMOS電晶體，其中由該NMOS電晶體提供的一電阻可藉由該NMOS電晶體的一閘極調整。
  29. 如請求項28之人工類神經網路，其中該NMOS電晶體的該閘極係由一MOS電阻複製電路控制。
  30. 如請求項29之人工類神經網路，其中該MOS電阻複製電路包括與該NMOS電晶體相同的一MOS複製電晶體。
  31. 如請求項22之人工類神經網路，其進一步包含用於鏡射來自該向量矩陣乘法陣列之電流的一電流鏡。
  32. 如請求項22之人工類神經網路，其進一步包含用於取樣及保持來自該向量矩陣乘法陣列之電流的一取樣及保持鏡。
  33. 如請求項23之人工類神經網路，其中該啟動功能電路在輸入上執行一雙曲正切函數以產生該輸出電流。
  34. 如請求項23之人工類神經網路，其中該啟動功能電路在輸入上執行一ReLU函數以產生該輸出電流。
  35. 如請求項23之人工類神經網路，其中該啟動功能電路在輸入上執行一S形函數以產生該輸出電流。
  36. 如請求項22之人工類神經網路，其中該加算器電路包含一運算放大器。
  37. 如請求項36之人工類神經網路，其中用於該運算放大器的偏壓係按照向量矩陣乘法器陣列大小調整。
  38. 如請求項37之人工類神經網路，其中用於該運算放大器的該偏壓係與該可變電阻器的一值相關。
  39. 如請求項29之人工類神經網路，其中該MOS電阻複製電路包含一高電壓運算放大器，該高電壓運算放大器包含以一串接組態配置的複數個電晶體對。
  40. 如請求項22之人工類神經網路，其中來自該向量矩陣乘法陣列的電流經提供在該向量矩陣乘法陣列的一位元線上。
  41. 如請求項22之人工類神經網路，其中來自該向量矩陣乘法陣列的電流經提供在該向量矩陣乘法陣列的一源極線上。
  42. 如請求項22之人工類神經網路，其中該等快閃記憶體單元係分離閘記憶體單元。
  43. 一種用於一人工類神經網路的可程式化神經元，其包含：一向量矩陣乘法陣列，其包含快閃記憶體單元的列及行； 一神經元輸出電路，其用於接收來自該向量矩陣乘法陣列的一電流，且用於回應於輸入電流而產生一輸出電壓，該神經元輸出電路包含一可變電阻器；及一控制系統，其用於回應於組態位元及修整位元中的一或多者而調整該可變電阻器以改變電力消耗量。
  44. 如請求項43之可程式化神經元，其中該神經元輸出電路包含：一啟動功能電路，其用於接收來自加算器電路的輸出電壓作為一輸入，且回應於該輸出電壓而產生一輸出電流。
  45. 如請求項43之可程式化神經元，其中該可變電阻器藉由組態位元及修整位元中的一或多者來組態。
  46. 如請求項45之可程式化神經元，其中該可變電阻器使用離散電阻器元件來組態。
  47. 如請求項45之可程式化神經元，其中該可變電阻器使用一MOS電晶體來組態。
  48. 如請求項43之可程式化神經元，其中該可變電阻器包含一切換電容器。
  49. 如請求項43之可程式化神經元，其中該可變電阻器包含一NMOS電晶體，其中由該NMOS電晶體提供的一電阻可藉由該NMOS電晶體的一閘極調整。
  50. 如請求項49之可程式化神經元，其中該NMOS電晶體的該閘極係由一MOS電阻複製電路控制。
  51. 如請求項50之可程式化神經元，其中該MOS電阻複製電路包括與該NMOS電晶體相同的一MOS複製電晶體。
  52. 如請求項43之可程式化神經元，其進一步包含用於鏡射來自該向量矩陣乘法陣列之該電流的一電流鏡。
  53. 如請求項43之可程式化神經元，其進一步包含用於取樣及保持來自該向量矩陣乘法陣列之該電流的一取樣及保持鏡。
  54. 如請求項44之可程式化神經元，其中該啟動功能電路在該輸入上執行一雙曲正切函數以產生該輸出電流。
  55. 如請求項44之可程式化神經元，其中該啟動功能電路在該輸入上執行一ReLU函數以產生該輸出電流。
  56. 如請求項44之可程式化神經元，其中該啟動功能電路在該輸入上執行一S形函數以產生該輸出電流。
  57. 如請求項43之可程式化神經元，其中該加算器電路包含一運算放大器。
  58. 如請求項57之可程式化神經元，其中用於該運算放大器的偏壓係按照向量矩陣乘法器陣列大小調整。
  59. 如請求項58之可程式化神經元，其中用於該運算放大器的該偏壓係基於該可變電阻器的一值。
  60. 如請求項50之可程式化神經元，其中該MOS電阻複製電路包含一高電壓運算放大器，該高電壓運算放大器包含以一串接組態配置的複數個電晶體對。
  61. 如請求項43之可程式化神經元，其中來自該向量矩陣乘法陣列的該電流經提供在該向量矩陣乘法陣列的一位元線上。
  62. 如請求項43之可程式化神經元，其中來自該向量矩陣乘法陣列的該電流經提供在該向量矩陣乘法陣列的一源極線上。
  63. 如請求項43之可程式化神經元，其中該快閃記憶體單元係一分離閘記憶體單元。
TW107146980A 2018-01-03 2018-12-25 用於深度學習人工類神經網路中的類比非揮發性記憶體的可程式化神經元 TWI785174B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862613373P 2018-01-03 2018-01-03
US62/613,373 2018-01-03
US15/936,983 US11354562B2 (en) 2018-01-03 2018-03-27 Programmable neuron for analog non-volatile memory in deep learning artificial neural network
US15/936,983 2018-03-27
??PCT/US18/63147 2018-11-29
WOPCT/US18/63147 2018-11-29
PCT/US2018/063147 WO2019135839A1 (en) 2018-01-03 2018-11-29 Programmable neuron for analog non-volatile memory in deep learning artificial neural network

Publications (2)

Publication Number Publication Date
TW201931214A TW201931214A (zh) 2019-08-01
TWI785174B true TWI785174B (zh) 2022-12-01

Family

ID=67058374

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107146980A TWI785174B (zh) 2018-01-03 2018-12-25 用於深度學習人工類神經網路中的類比非揮發性記憶體的可程式化神經元

Country Status (7)

Country Link
US (1) US11354562B2 (zh)
EP (1) EP3735656B1 (zh)
JP (1) JP7244525B2 (zh)
KR (1) KR102616978B1 (zh)
CN (1) CN111542840B (zh)
TW (1) TWI785174B (zh)
WO (1) WO2019135839A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6833873B2 (ja) 2016-05-17 2021-02-24 シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． 不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器
US11687766B2 (en) * 2018-06-19 2023-06-27 Qualcomm Incorporated Artificial neural networks with precision weight for artificial intelligence
US10528643B1 (en) * 2018-08-01 2020-01-07 Sandisk Technologies Llc Vector-matrix multiplication using non-volatile memory cells
US10956814B2 (en) * 2018-08-27 2021-03-23 Silicon Storage Technology, Inc. Configurable analog neural memory system for deep learning neural network
US10489483B1 (en) * 2018-09-21 2019-11-26 National Technology & Engineering Solutions Of Sandia, Llc Circuit arrangement and technique for setting matrix values in three-terminal memory cells
US10877752B2 (en) * 2018-09-28 2020-12-29 Intel Corporation Techniques for current-sensing circuit design for compute-in-memory
US11270763B2 (en) 2019-01-18 2022-03-08 Silicon Storage Technology, Inc. Neural network classifier using array of three-gate non-volatile memory cells
US11409352B2 (en) 2019-01-18 2022-08-09 Silicon Storage Technology, Inc. Power management for an analog neural memory in a deep learning artificial neural network
US11023559B2 (en) 2019-01-25 2021-06-01 Microsemi Soc Corp. Apparatus and method for combining analog neural net with FPGA routing in a monolithic integrated circuit
US10720217B1 (en) 2019-01-29 2020-07-21 Silicon Storage Technology, Inc. Memory device and method for varying program state separation based upon frequency of use
US11423979B2 (en) * 2019-04-29 2022-08-23 Silicon Storage Technology, Inc. Decoding system and physical layout for analog neural memory in deep learning artificial neural network
US11393546B2 (en) * 2019-07-19 2022-07-19 Silicon Storage Technology, Inc. Testing circuitry and methods for analog neural memory in artificial neural network
US11449741B2 (en) * 2019-07-19 2022-09-20 Silicon Storage Technology, Inc. Testing circuitry and methods for analog neural memory in artificial neural network
CN110533160A (zh) * 2019-07-22 2019-12-03 北京大学 基于nor flash模拟量计算阵列的深度神经网络
US11562212B2 (en) 2019-09-09 2023-01-24 Qualcomm Incorporated Performing XNOR equivalent operations by adjusting column thresholds of a compute-in-memory array
KR102225558B1 (ko) * 2019-10-14 2021-03-08 연세대학교 산학협력단 온칩 활성화 함수가 구현된 아날로그 신호 전달 기반의 멀티 레이어 연산 회로
CN110991623B (zh) * 2019-12-20 2024-05-28 中国科学院自动化研究所 基于数模混合神经元的神经网络运算系统
US11568021B2 (en) 2020-02-21 2023-01-31 Alibaba Group Holding Limited Vector-vector multiplication techniques for processing systems
US11600321B2 (en) 2020-03-05 2023-03-07 Silicon Storage Technology, Inc. Analog neural memory array storing synapsis weights in differential cell pairs in artificial neural network
US11038520B1 (en) * 2020-04-15 2021-06-15 International Business Machines Corporation Analog-to-digital conversion with reconfigurable function mapping for neural networks activation function acceleration
KR20210143614A (ko) * 2020-05-20 2021-11-29 삼성전자주식회사 뉴럴 네트워크를 구현하는 뉴로모픽 장치 및 그 동작 방법
US11875852B2 (en) * 2020-07-06 2024-01-16 Silicon Storage Technology, Inc. Adaptive bias decoder to provide a voltage to a control gate line in an analog neural memory array in artificial neural network
US11289171B1 (en) * 2020-10-02 2022-03-29 Sandisk Technologies Llc Multi-level ultra-low power inference engine accelerator
WO2022181999A1 (ko) * 2021-02-23 2022-09-01 한국과학기술원 우수한 선형성 특성을 갖는 뉴로모픽 시냅스 소자 및 그 동작 방법
US11605426B2 (en) * 2021-04-23 2023-03-14 Applied Materials, Inc. Retention drift correction in non-volatile memory arrays
CN115310030A (zh) * 2021-05-07 2022-11-08 脸萌有限公司 一种矩阵乘法电路模块及方法
US20230049032A1 (en) * 2021-08-02 2023-02-16 Silicon Storage Technology, Inc. Output circuitry for analog neural memory in a deep learning artificial neural network
US11989440B2 (en) 2021-08-11 2024-05-21 Silicon Storage Technology, Inc. Hybrid memory system configurable to store neural memory weight data in analog form or digital form
US11489534B1 (en) * 2021-10-11 2022-11-01 Cirrus Logic, Inc. Digital-to-analog conversion architecture and method
US11687252B2 (en) 2021-10-18 2023-06-27 Western Digital Technologies, Inc. Non-volatile memory with pre-trained model and inference circuit
CN114139692B (zh) * 2021-11-30 2024-03-08 河南科技大学 一种基于模拟态架构的cmos人工神经元功能电路
US12099743B2 (en) 2022-03-31 2024-09-24 SanDisk Technologies, Inc. Non-volatile memory integrated with artificial intelligence system for preemptive block management

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5142666A (en) * 1989-03-01 1992-08-25 Fujitsu Limited Learning system in a neuron computer
US5264734A (en) * 1992-05-19 1993-11-23 Intel Corporation Difference calculating neural network utilizing switched capacitors
US6829598B2 (en) * 2000-10-02 2004-12-07 Texas Instruments Incorporated Method and apparatus for modeling a neural synapse function by utilizing a single conventional MOSFET
US8532602B2 (en) * 2009-06-30 2013-09-10 Skyworks Solutions, Inc. Switching system with linearizing circuit
US8924321B2 (en) * 2010-10-20 2014-12-30 Peking University Three-layered neuron devices for neural network with reset voltage pulse
US20170337466A1 (en) * 2016-05-17 2017-11-23 Silicon Storage Technology, Inc. Deep Learning Neural Network Classifier Using Non-volatile Memory Array

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2677656B2 (ja) * 1989-02-28 1997-11-17 富士通株式会社 ニューロコンピュータの集中制御方式
US5305250A (en) 1989-05-05 1994-04-19 Board Of Trustees Operating Michigan State University Analog continuous-time MOS vector multiplier circuit and a programmable MOS realization for feedback neural networks
JP2517410B2 (ja) * 1989-05-15 1996-07-24 三菱電機株式会社 学習機能付集積回路装置
US5148514A (en) * 1989-05-15 1992-09-15 Mitsubishi Denki Kabushiki Kaisha Neural network integrated circuit device having self-organizing function
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
JPH0451382A (ja) * 1990-06-20 1992-02-19 Hitachi Ltd 情報処理装置
US5353382A (en) * 1990-10-15 1994-10-04 California Institute Of Technology Programmable synapse for neural network applications
US5237210A (en) * 1992-03-12 1993-08-17 Intel Corporation Neural network accomodating parallel synaptic weight adjustments for correlation learning algorithms
US5256911A (en) 1992-06-10 1993-10-26 Intel Corporation Neural network with multiplexed snyaptic processing
US6041322A (en) * 1997-04-18 2000-03-21 Industrial Technology Research Institute Method and apparatus for processing data in a neural network
US6747310B2 (en) 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
US6781186B1 (en) * 2003-01-30 2004-08-24 Silicon-Based Technology Corp. Stack-gate flash cell structure having a high coupling ratio and its contactless flash memory arrays
US8464123B2 (en) * 2009-05-07 2013-06-11 Ramot At Tel Aviv University Ltd. Matrix structure for block encoding
JP5300773B2 (ja) * 2010-03-29 2013-09-25 ルネサスエレクトロニクス株式会社 不揮発性半導体記憶装置
US9418333B2 (en) * 2013-06-10 2016-08-16 Samsung Electronics Co., Ltd. Synapse array, pulse shaper circuit and neuromorphic system
US9715655B2 (en) * 2013-12-18 2017-07-25 The United States Of America As Represented By The Secretary Of The Air Force Method and apparatus for performing close-loop programming of resistive memory devices in crossbar array based hardware circuits and systems
JP6501146B2 (ja) * 2014-03-18 2019-04-17 パナソニックＩｐマネジメント株式会社 ニューラルネットワーク回路およびその学習方法
US9922715B2 (en) * 2014-10-03 2018-03-20 Silicon Storage Technology, Inc. Non-volatile split gate memory device and a method of operating same
EP3035249B1 (en) 2014-12-19 2019-11-27 Intel Corporation Method and apparatus for distributed and cooperative computation in artificial neural networks
US9716852B2 (en) * 2015-04-03 2017-07-25 Semiconductor Energy Laboratory Co., Ltd. Broadcast system
US10169701B2 (en) * 2015-05-26 2019-01-01 International Business Machines Corporation Neuron peripheral circuits for neuromorphic synaptic memory array based on neuron models
US10325006B2 (en) 2015-09-29 2019-06-18 International Business Machines Corporation Scalable architecture for analog matrix operations with resistive devices
US10014318B2 (en) * 2015-10-24 2018-07-03 Monocithic 3D Inc Semiconductor memory device, structure and methods
EP3208750A1 (en) 2016-02-22 2017-08-23 Universität Zürich An analogue electronic deep neural network
US10664745B2 (en) * 2016-06-29 2020-05-26 International Business Machines Corporation Resistive processing units and neural network training methods
US10776684B1 (en) * 2016-11-02 2020-09-15 National Technology & Engineering Solutions Of Sandia, Llc Mixed core processor unit
JP6183980B1 (ja) 2016-12-02 2017-08-23 国立大学法人東京工業大学 ニューラルネットワーク回路装置、ニューラルネットワーク、ニューラルネットワーク処理方法およびニューラルネットワークの実行プログラム
CN106815636B (zh) * 2016-12-30 2019-03-05 华中科技大学 一种基于忆阻器的神经元电路
US10909449B2 (en) * 2017-04-14 2021-02-02 Samsung Electronics Co., Ltd. Monolithic multi-bit weight cell for neuromorphic computing
WO2018201060A1 (en) * 2017-04-27 2018-11-01 The Regents Of The University Of California Mixed signal neuromorphic computing with nonvolatile memory devices
US11875852B2 (en) * 2020-07-06 2024-01-16 Silicon Storage Technology, Inc. Adaptive bias decoder to provide a voltage to a control gate line in an analog neural memory array in artificial neural network
US11545214B2 (en) * 2020-07-08 2023-01-03 Samsung Electronics Co., Ltd. Resistive memory device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5142666A (en) * 1989-03-01 1992-08-25 Fujitsu Limited Learning system in a neuron computer
US5264734A (en) * 1992-05-19 1993-11-23 Intel Corporation Difference calculating neural network utilizing switched capacitors
US6829598B2 (en) * 2000-10-02 2004-12-07 Texas Instruments Incorporated Method and apparatus for modeling a neural synapse function by utilizing a single conventional MOSFET
US8532602B2 (en) * 2009-06-30 2013-09-10 Skyworks Solutions, Inc. Switching system with linearizing circuit
US8924321B2 (en) * 2010-10-20 2014-12-30 Peking University Three-layered neuron devices for neural network with reset voltage pulse
US20170337466A1 (en) * 2016-05-17 2017-11-23 Silicon Storage Technology, Inc. Deep Learning Neural Network Classifier Using Non-volatile Memory Array

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
專書 Xinjie Guo Mixed Signal Neurocomputing Based on Floating-gate Memories dissertation UCSB March, 2017 *

Also Published As

Publication number Publication date
WO2019135839A8 (en) 2020-07-09
TW201931214A (zh) 2019-08-01
EP3735656A4 (en) 2021-10-13
CN111542840A (zh) 2020-08-14
US20190205729A1 (en) 2019-07-04
JP7244525B2 (ja) 2023-03-22
WO2019135839A1 (en) 2019-07-11
JP2021509514A (ja) 2021-03-25
KR102616978B1 (ko) 2023-12-21
EP3735656B1 (en) 2023-12-27
CN111542840B (zh) 2023-08-18
KR20200096808A (ko) 2020-08-13
US11354562B2 (en) 2022-06-07
EP3735656A1 (en) 2020-11-11

Similar Documents

Publication Publication Date Title
TWI785174B (zh) 用於深度學習人工類神經網路中的類比非揮發性記憶體的可程式化神經元
JP7399153B2 (ja) 複数のベクトルマトリックス乗算アレイ及び共有構成要素を備える、深層学習ニューラルネットワーク用のアナログニューラルメモリシステム
EP3844680B1 (en) Temperature and leakage compensation for memory cells in an analog neural memory system used in a deep learning neural network
CN112585623B (zh) 用于深度学习神经网络的可配置模拟神经存储器系统
KR102616977B1 (ko) 딥 러닝 인공 신경망에서의 아날로그 신경 메모리 내의 기준 트랜지스터들 및 메모리 셀들에 대한 보상
KR102407363B1 (ko) 사용 빈도에 기초하여 프로그램 상태 간극을 가변시키기 위한 메모리 디바이스 및 방법
JP2021517704A (ja) 深層学習ニューラルネットワークにおけるアナログ不揮発性メモリのデータリフレッシュのための方法及び装置