TW201741943A - 使用非揮發性記憶體陣列之深度學習類神經網路分類器 - Google Patents

使用非揮發性記憶體陣列之深度學習類神經網路分類器 Download PDF

Info

Publication number
TW201741943A
TW201741943A TW106116163A TW106116163A TW201741943A TW 201741943 A TW201741943 A TW 201741943A TW 106116163 A TW106116163 A TW 106116163A TW 106116163 A TW106116163 A TW 106116163A TW 201741943 A TW201741943 A TW 201741943A
Authority
TW
Taiwan
Prior art keywords
memory cells
lines
rows
columns
synapses
Prior art date
Application number
TW106116163A
Other languages
English (en)
Other versions
TWI631517B (zh
Inventor
法諾德 M. 巴亞特
郭昕婕
迪米崔 史楚寇夫
恩漢 杜
曉萬 陳
維平 蒂瓦里
馬克 萊坦
Original Assignee
超捷公司
加州大學董事會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 超捷公司, 加州大學董事會 filed Critical 超捷公司
Publication of TW201741943A publication Critical patent/TW201741943A/zh
Application granted granted Critical
Publication of TWI631517B publication Critical patent/TWI631517B/zh

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0688—Non-volatile semiconductor memory arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/08—Address circuits; Decoders; Word-line control circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G11C16/12—Programming voltage switching circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G11C16/14—Circuits for erasing electrically, e.g. erase voltage switching circuits
    • G11C16/16—Circuits for erasing electrically, e.g. erase voltage switching circuits for erasing blocks, e.g. arrays, words, groups
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/34—Determination of programming status, e.g. threshold voltage, overprogramming or underprogramming, retention
    • G11C16/3436—Arrangements for verifying correct programming or erasure
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
    • G11C29/08—Functional testing, e.g. testing during refresh, power-on self testing [POST] or distributed testing
    • G11C29/12—Built-in arrangements for testing, e.g. built-in self testing [BIST] or interconnection details
    • G11C29/38—Response verification devices
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2216/00—Indexing scheme relating to G11C16/00 and subgroups, for features not directly covered by these groups
    • G11C2216/02—Structural aspects of erasable programmable read-only memories
    • G11C2216/04—Nonvolatile memory cell provided with a separate control gate for erasing the cells, i.e. erase gate, independent of the normal read control gate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Non-Volatile Memory (AREA)
  • Read Only Memory (AREA)
  • Semiconductor Memories (AREA)

Abstract

一種人工神經網路裝置，其將一或多個非揮發性記憶體陣列用作突觸。該等突觸經組態來接收輸入且自該等輸入產生輸出。神經元經組態來接收該等輸出。該等突觸包括複數個記憶體單元，其中該等記憶體單元之各者包括形成於半導體基材中之隔開的源極區及汲極區，通道區在該源極區與該汲極區之間延伸；一浮閘，其設置於該通道區之一第一部分上方且與該第一部分絕緣；及一非浮閘，其設置於該通道區之一第二部分上方且與該第二部分絕緣。該複數個記憶體單元之各者經組態來儲存對應於該浮閘上之數個電子的權重值。該複數個記憶體單元經組態來使該等輸入乘以所儲存的該等權重值，以產生該等輸出。

Description

使用非揮發性記憶體陣列之深度學習類神經網路分類器 【相關申請案之交互參考】
本申請案主張於2016年5月17日申請之美國臨時申請案第62/337,760號的權利，且該案以引用方式併入本文中。
本發明係關於神經網路。
人工神經網路模擬生物神經網路(動物之中樞神經系統，特別是大腦)，該等生物神經網路用以估計或接近可取決於大量輸入且通常未知的功能。人工神經網路通常包括在彼此之間交換訊息的互連「神經元」層。圖1例示人工神經網路，其中圓圈表示神經元之輸入或層。連接(稱為突觸)由箭頭表示，且具有可基於經驗調諧之數字權重。此使得神經網自適應輸入且能夠學習。一般而言，神經網路包括多個輸入層。通常存在一或多個神經元中間層，及提供神經網路之輸出的神經元輸出層。各位準的神經元基於自突觸接收的資料個別地或共同地作出決定。
在用於高效能資訊處理的人工神經網路的發展中之主要挑戰中的一者是缺乏適當硬體技術。事實上，實際神經網路依賴極大量的突觸，從而實現神經元之間的高連接性，亦即，極高的計算並行性。原則上，此種複雜性可利用數位超級電腦或專用圖形處理單元集 群來達成。然而，除高成本之外，此等途徑亦遭受與生物網路相比低劣的能量效率，因為它們執行低精度的類比計算，所以基本上消耗更少的能量。CMOS類比電路已用於人工神經網路，但大多數CMOS實施的突觸對於給定高數目的神經元及突觸而言已太龐大。
前述問題及需要藉由將一或多個非揮發性記憶體陣列用作突觸之人工神經網路裝置來解決。該神經網路裝置包括：第一複數個突觸，其經組態來接收第一複數個輸入，及自該第一複數個輸入產生第一複數個輸出；及第一複數個神經元，其經組態來接收該第一複數個輸出。該第一複數個突觸包括：複數個記憶體單元，其中該等記憶體單元之各者包括形成於半導體基材中之隔開的源極區及汲極區，通道區在該源極區與該汲極區之間延伸；浮閘，其設置於該通道區之一第一部分上方且與該第一部分絕緣；及非浮閘，其設置於該通道區之一第二部分上方且與該第二部分絕緣。該複數個記憶體單元之各者經組態來儲存對應於該浮閘上之數個電子的權重值。該複數個記憶體單元經組態來使該第一複數個輸入乘以所儲存的該等權重值，以產生該第一複數個輸出。
本發明的其他目的與特徵將藉由檢視說明書、申請專利範圍、及隨附圖式而變得顯而易見。
10‧‧‧記憶體單元
12‧‧‧半導體基材/基材
14‧‧‧源極區/源極
14a‧‧‧源極線/水平源極線
16‧‧‧汲極區/汲極
16a‧‧‧位元線
16a1‧‧‧第一位元線
16a2‧‧‧第二位元線
18‧‧‧通道區
20‧‧‧浮閘
22‧‧‧控制閘
22b‧‧‧第二部分
22a‧‧‧第一部分/控制閘線/水平控制閘線/控制閘
22a1‧‧‧第一控制閘線
22a2‧‧‧第二控制閘線
24‧‧‧中間絕緣體
26‧‧‧閘極氧化物
28‧‧‧選擇閘
28a‧‧‧水平選擇閘線
28a1‧‧‧選擇閘線
28a2‧‧‧選擇閘線
30‧‧‧抹除閘
30a‧‧‧抹除閘線
31‧‧‧數位-類比轉換器
32、32a~e‧‧‧VMM
33‧‧‧非揮發性記憶體單元之陣列/記憶體陣列
34‧‧‧抹除閘及字線閘解碼器
35‧‧‧控制閘解碼器
36‧‧‧位元線解碼器
37‧‧‧源極線解碼器
38‧‧‧差分求和運算放大器/求和運算放大器
39‧‧‧激活功能電路
50‧‧‧電流-電壓對數轉換器
52‧‧‧電壓-電流對數轉換器
54‧‧‧參考Gnd的電流求和器
56‧‧‧參考Vdd的電流求和器
C1‧‧‧特徵圖譜
C2‧‧‧特徵圖譜
C3‧‧‧特徵圖譜
CB1‧‧‧突觸
CB2‧‧‧突觸
CB3‧‧‧突觸
CB4‧‧‧突觸
CG‧‧‧控制閘線
D‧‧‧共用的汲極區
DAC 40‧‧‧數位-類比轉換器
EG‧‧‧抹除閘線
IComp 44‧‧‧電流比較器
Iin‧‧‧傳入電流/輸入電流
Iin0‧‧‧傳入電流/輸入電流
Iin1‧‧‧傳入電流/輸入電流
Iin2‧‧‧傳入電流/輸入電流
Iin3‧‧‧傳入電流/輸入電流
Iin4‧‧‧傳入電流/輸入電流
Iin5‧‧‧傳入電流/輸入電流
Iin7‧‧‧傳入電流/輸入電流
Iout‧‧‧輸出電流/輸出/電流
Iout0‧‧‧矩陣輸出
Iout1‧‧‧矩陣輸出
Iout2‧‧‧矩陣輸出
Iout3‧‧‧矩陣輸出
Iout4‧‧‧矩陣輸出
P1‧‧‧激活功能
P2‧‧‧激活功能
S‧‧‧共用的源極區
S1‧‧‧特徵圖譜
S2‧‧‧特徵圖譜
S3‧‧‧輸出
V/I Conv 42‧‧‧電壓-電流轉換器
V/I Conv 48‧‧‧電壓-電流轉換器
VComp 46‧‧‧電壓比較器
Vin‧‧‧輸入電壓
Vin0‧‧‧矩陣輸入/輸入
Vin1‧‧‧矩陣輸入
Vin2‧‧‧矩陣輸入
Vin3‧‧‧矩陣輸入
Vin4‧‧‧矩陣輸入
Vin5‧‧‧矩陣輸入
Vin6‧‧‧矩陣輸入
Vin7‧‧‧矩陣輸入
WL‧‧‧選擇閘線
圖1是例示人工神經網路之圖。
圖2是習知的2閘非揮發性記憶體單元的側視截面圖。
圖3是例示圖2之記憶體單元的習知陣列架構的圖。
圖4是習知的2閘非揮發性記憶體單元的側視截面圖。
圖5是例示圖4之記憶體單元的習知陣列架構的圖。
圖6是習知的4閘非揮發性記憶體單元的側視截面圖。
圖7是例示圖6之記憶體單元的習知陣列架構的圖。
圖8A是例示均勻間隔的神經網路權重位準分配的圖。
圖8B是例示不均勻間隔的神經網路權重位準分配的圖。
圖9是例示雙向調諧演算法的流程圖。
圖10是例示使用電流比較進行權重映射的方塊圖。
圖11是例示使用電壓比較進行權重映射的方塊圖。
圖12是例示使用非揮發性記憶體陣列之例示性神經網路的不同位準的圖。
圖13是例示向量乘法器矩陣的方塊圖。
圖14是例示向量乘法器矩陣之各種位準的方塊圖。
圖15至圖16是例示四閘記憶體單元之陣列的第一架構的示意圖。
圖17至圖18是例示四閘記憶體單元之陣列的第二架構的示意圖。
圖19是例示四閘記憶體單元之陣列的第三架構的示意圖。
圖20是例示四閘記憶體單元之陣列的第四架構的示意圖。
圖21是例示四閘記憶體單元之陣列的第五架構的示意圖。
圖22是例示四閘記憶體單元之陣列的第六架構的示意圖。
圖23是例示二閘記憶體單元之陣列的第一架構的示意圖。
圖24是例示二閘記憶體單元之陣列的第二架構的示意圖。
圖25是例示電流-電壓對數轉換器的圖。
圖26是例示電壓-電流對數轉換器的圖。
圖27是例示參考Gnd的電流求和器的圖。
圖28是例示參考Vdd的電流求和器的圖。
圖29是例示非揮發性記憶體陣列之N2個神經網輸入的使用的圖。
圖30是例示非揮發性記憶體陣列之N2個神經網輸入的使用的圖。
圖31是例示具有週期性移位的輸入線之非揮發性記憶體陣列之神經網輸入的使用的圖。
圖32是例示圖15的但具有週期性移位的輸入線之記憶體陣列架構的示意圖。
圖33是例示圖20的但具有週期性移位的輸入線之記憶體陣列架構的示意圖。
本發明之人工神經網路利用CMOS技術及非揮發性記憶體陣列之組合。數位非揮發性記憶體係熟知的。例如，美國專利第5,029,130號(「'130專利」)揭示分離閘非揮發性記憶體單元之一陣列，且係為所有目的以引用方式併入本文中。記憶體單元係顯示於圖2中。各記憶體單元10包括形成於一半導體基材12中之源極區14與 汲極區16，源極區14與汲極區16之間具有一通道區18。一浮閘20形成於通道區18之一第一部分上方且與該第一部分絕緣(且控制該第一部分的導電性)，及形成於汲極區16的一部分上方。一控制閘22具有一第一部分22a及一第二部分22b，第一部分22a設置於通道區18之一第二部分上方且與該第二部分絕緣(且控制該第二部分的導電性)，第二部分22b向上延伸至浮閘20上方。浮閘20及控制閘22係藉由一閘極氧化物26與基材12絕緣。
藉由將一高正電壓置於控制閘22上來抹除記憶體單元(其中將電子自浮閘移除)，其導致浮閘20上的電子藉由Fowler-Nordheim穿隧自浮閘20穿隧通過中間絕緣體24至控制閘22。
藉由將一正電壓置於控制閘22上以及將一正電壓置於汲極16上來程式化記憶體單元(其中將電子置於浮閘上)。電子流將自源極14朝汲極16流動。當電子抵達控制閘22與浮閘20之間的間隙時，電子將加速且變熱。由於來自浮閘20的吸引靜電力，該等變熱電子的一些將通過閘極氧化物26注入至浮閘20上。
藉由將正讀取電壓置於汲極16及控制閘22上來讀取記憶體單元(其接通控制閘下方的通道區)。若浮閘20帶正電荷(亦即電子經抹除並正耦合至汲極16)，則浮閘20下方的通道區部分亦經接通，且電流將跨通道區18流動，其係感測為經抹除或「1」狀態。若浮閘20帶負電荷(亦即以電子程式化)，則浮閘20下方的通道區部分係大部分或完全斷開，且電流將不會跨通道區18流動(或將有少許流動)，其係感測為經程式化或「0」狀態。
記憶體陣列的架構係顯示於圖3中。記憶體單元10配 置成列及行。在各行中，記憶體單元以鏡像方式端對端地配置，以使其等形成為成對的記憶體單元，各對共享一共用的源極區14(S)，且各組相鄰的記憶體單元對共享一共用的汲極區16(D)。用於任何給定之記憶體單元列的所有源極區14係藉由一源極線14a電氣連接在一起。用於任何給定之記憶體單元行的所有汲極區16係藉由一位元線16a電氣連接在一起。用於任何給定之記憶體單元列的所有控制閘22係藉由一控制閘線22a電氣連接在一起。因此，雖然記憶體單元可經個別地程式化及讀取，但記憶體單元之抹除係一列一列地執行(各列記憶體單元係藉由施加一高電壓在控制閘線22a上而一起抹除)。若欲抹除一特定的記憶體單元，則亦抹除相同列中的所有記憶體單元。
所屬技術領域中具有通常知識者了解源極與汲極可互換，其中浮閘可於源極而非汲極上方部分延伸，如圖4所示。圖5最佳地繪示對應的記憶體單元架構，其包括記憶體單元10、源極線14a、位元線16a、及控制閘線22a。如由圖式明顯可見者，相同列的記憶體單元10共享相同的源極線14a及相同的控制閘線22a，而相同行的所有單元之汲極區係電氣連接至相同的位元線16a。該陣列設計係針對數位應用而最佳化，並例如藉由分別施加1.6V及7.6V至經選取的控制閘線22a及源極線14a並將經選取的位元線16a接地，來允許經選取單元之個別程式化。藉由在非選取的位元線16a上施加一大於2伏的電壓並將其餘的線接地來避免干擾相同對中之非選取的記憶體單元。記憶體單元10無法個別地抹除，因為負責抹除的程序(電子自浮閘20至控制閘22之Fowler-Nordheim穿隧)僅受到汲極電壓(亦即，對在列方向中共享相同源極線14a的兩個相鄰單元而言唯一 可係不同的電壓)的微弱影響。
具有多於兩個閘極之分離閘記憶體單元亦為已知。例如，具有源極區14、汲極區16、在通道區18之一第一部分上方的浮閘20、在通道區18之一第二部分上方的一選擇閘28、在浮閘20上方的一控制閘22、及在源極區14上方的一抹除閘30的記憶體單元係已知，如圖6中所示(見例如美國專利第6,747,310號，該案係為所有目的以引用方式併入本文中)。此處，除浮閘20外，所有閘極是非浮閘，意味其等電氣連接或可連接至電壓源。程式化係藉由變熱的電子自通道區18將其本身注入至浮閘20上來顯示。抹除係藉由自浮閘20至抹除閘30之電子穿隧來顯示。
用於一四閘極記憶體單元陣列的架構可依圖7所示者來組態。在此實施例中，各水平選擇閘線28a將用於彼列記憶體單元的所有選擇閘28電氣連接在一起。各水平控制閘線22a將用於彼列記憶體單元的所有控制閘22電氣連接在一起。各水平源極線14a將用於共享源極區14之兩列記憶體單元的所有源極區14電氣連接在一起。各位元線16a將用於彼行記憶體單元的所有汲極區16電氣連接在一起。各抹除閘線30a將用於共享抹除閘30之兩列記憶體單元的所有抹除閘30電氣連接在一起。正如先前架構，個別的記憶體單元可經獨立地程式化及讀取。然而，無法個別地抹除單元。抹除係藉由將一高正電壓置於抹除閘線30a上來執行，其導致同時抹除共享相同抹除閘線30a的兩列記憶體單元。例示性操作電壓可包括在下方表1中者(在此實施例中，選擇閘線28a可稱為字線WL)：
為在神經網路中使用上述非揮發性記憶體陣列，進行兩個修改。第一，該等線經再組態以使得各記憶體單元可經個別地程式化、抹除及讀取，而不對陣列中之其他記憶體單元的記憶體狀態造成不利影響，如下面進一步解釋。第二，提供記憶體單元之連續(類比)程式化。具體而言，陣列中之各記憶體單元的記憶體狀態(亦即，浮閘上之電荷)可獨立地且在對其他記憶體單元造成最小干擾的情況下，自完全抹除狀態連續變化至完全程式化狀態，反之亦然。此意味單元儲存係類比的或至少可儲存許多離散值中之一者，從而允許記憶體陣列中之所有單元的極精確及個別調諧，且作出用於儲存及對神經網路之突觸權重進行微調調整的記憶體陣列思想。
記憶體單元程式化及儲存
如儲存於記憶體單元中之神經網路權重位準分配可如圖8A中所示者均勻地間隔，或如圖8B中所示者不均勻地間隔。非揮發性記憶體單元之程式化可使用諸如圖9中所示者的雙向調諧演算法來實施。Icell是經程式化的目標單元之讀取電流，且Itarget是理想地程式化單元時的所要讀取電流。讀取目標單元讀取電流Icell(步驟1)，且將其與目標讀取電流Itarget相比較(步驟2)。若目標單元讀 取電流Icell大於目標讀取電流Itarget，則執行程式化調諧過程(步驟3)以增加浮閘上之電子的數目(其中查找表用以判定控制閘上之所要程式化電壓VCG)(步驟3a至3b)，其可按需要重複(步驟3c)。若目標單元讀取電流Icell小於目標讀取電流Itarget，則執行抹除調諧過程(步驟4)以降低浮閘上之電子的數目(其中查找表用以判定抹除閘上之所要抹除電壓VEG)(步驟4a至4b)，其可按需要重複(步驟4c)。若程式化調諧過程超過目標讀取電流，則執行抹除調諧過程(步驟3d且以步驟4a開始)，反之亦然(步驟4d且以步驟3a開始)，直至(在可接受delta值內)達成目標讀取電流。
相反，非揮發性記憶體單元之程式化可使用利用程式化調諧的單向調諧演算法來實施。利用此演算法，起初完全抹除記憶體單元，且然後執行圖9中之程式化調諧步驟3a至3c，直至目標單元之讀取電流抵達目標閾值。交替地，非揮發性記憶體單元之調諧可使用利用抹除調諧的單向調諧演算法來實施。在此途徑中，起初完全程式化記憶體單元，且然後執行圖9中之抹除調諧步驟4a至4c，直至目標單元之讀取電流抵達目標閾值。
圖10是例示使用電流比較進行權重映射的圖。權重數位位元(例如，用於各突觸之5位元權重，表示用於記憶體單元之目標數位權重)經輸入至數位-類比轉換器(DAC)40，從而將該等位元轉換成電壓Vout(例如，64電壓位準-5位元)。Vout藉由電壓-電流轉換器V/I Conv 42轉換成電流Iout(例如，64電流位準-5位元)。電流經供應至電流比較器IComp 44。程式化或抹除演算法致能輸入至記 憶體單元10(例如，抹除：使EG電壓遞增；或程式化：使CG電壓遞增)。記憶體單元輸出電流Icellout(亦即，來自讀取操作)經供應至電流比較器IComp 44。電流比較器IComp 44將記憶體單元電流Icellout與自權重數位位元導出之電流Iout相比較，以便產生指示儲存於記憶體單元10中之權重的訊號。
圖11是例示使用電壓比較進行權重映射的圖。權重數位位元(例如，用於各突觸之5位元權重)經輸入至數位-類比轉換器(DAC)40，從而將該等位元轉換成電壓Vout(例如，64電壓位準-5位元)。Vout經供應至電壓比較器VComp 46。程式化或抹除演算法致能輸入至記憶體單元10(例如，抹除：使EG電壓遞增；或程式化：使CG電壓遞增)。記憶體單元輸出電流Icellout經供應至電流-電壓轉換器I/V Conv 48，以便轉換成電壓V2out(例如64電壓位準-5位元)。電壓V2out經供應至電壓比較器VComp 46。電壓比較器VComp 46將電壓Vout與V2out相比較，以產生指示儲存於記憶體單元10中之權重的訊號。
採用非揮發性記憶體單元陣列之神經網路
圖12在概念上例示使用非揮發性記憶體陣列之神經網路的非限制性實例。此實例使用非揮發性記憶體陣列神經網路用於面部辨識應用，但任何其他適當的應用可使用基於非揮發性記憶體陣列的神經網路來實施。S0是輸入，該輸入針對此實例是具有5位元精度的32×32像素RGB影像(亦即，三個32×32像素陣列，針對各顏色R、G及B一個，各像素為5位元精度)。自S0至C1之突觸CB1具 有兩個不同組權重及共享權重，且利用3×3像素重疊濾波器(核心)掃描輸入影像，使濾波器移位1像素(或依模型所規定，移位多於1像素)。具體而言，向突觸CB1提供針對影像之3×3部分中的9像素(亦即，稱為濾波器或核心)之值，藉此，使此等9個輸入值乘以適當權重，且在對彼乘積之輸出求和後，藉由CB1之第一神經元判定及提供單一輸出值，以便產生特徵圖譜層C1中之一者的像素。然後使3×3濾波器向右移位一個像素(亦即，在右邊添加三個像素行，且在左邊減少三個像素行)，藉此，向突觸CB1提供此新定位的濾波器中之9個像素值，藉此使其乘以相同權重，且由相關神經元判定第二單一輸出值。繼續此過程直至3×3濾波器跨整個32×32像素影像掃描所有三個顏色及所有位元(精度值)。然後使用不同組權重重複該過程，以便產生不同特徵圖譜C1，直至已計算所有特徵圖譜層C1。
在本實例中，在C1處，存在各自具有30×30像素的16個特徵圖譜。各像素是自乘以輸入及核心所提取之新特徵像素，且因此各特徵圖譜是二維陣列，並且因此在此實例中，突觸CB1構成16層二維陣列(注意，本文中所參考之神經元層及陣列是邏輯關係，不一定是實體關係，亦即，陣列不一定以實體二維陣列取向)。16個特徵圖譜之各者由施加至濾波器掃描的十六個不同組突觸權重產生。C1特徵圖譜都可針對相同影像特徵之不同態樣，諸如邊界識別。例如，第一圖譜(使用第一權重組產生，經共享以用於用以產生此第一圖譜之所有掃描)可識別圓形邊緣，第二圖譜(使用不同於第一權重組之第二權重組產生)可識別矩形邊緣，或某些特徵之縱橫比，等等。
激活功能P1(合併)在自C1至S1之前施加，從而合併來自各特徵圖譜中之連續、不重疊2×2區的值。合併階段之目的在於使附近的位置達到平均(或亦可使用最大值功能)，以便例如減小邊緣位置之相關性，且在進入下一個階段之前減小資料大小。在S1處，存在16個15×15特徵圖譜(亦即，各15×15像素之十六個不同陣列)。自S1至C2的CB2中之突觸及相關神經元利用4×4濾波器、1像素之濾波器移位來掃描S1中之圖譜。在C2處，存在22個12×12特徵圖譜。在自C2至S2之前施加激活功能P2(合併)，從而合併來自各特徵圖譜中之連續不重疊2×2區的值。在S2處，存在22個6×6特徵圖譜。在自S2至C3的突觸CB3處施加激活功能，其中C3中之每一神經元連接至S2中之每一圖譜。在C3處，存在64個神經元。自C3至輸出S3之突觸CB4將S3完全連接至C3。S3處之輸出包括10個神經元，其中最高輸出神經元判定類別。此輸出可例如指示原始影像之內容的識別及分類。
突觸之各位準使用非揮發性記憶體單元之陣列、或陣列之一部分來實施。圖13是向量矩陣乘法(VMM)陣列之方塊圖，該陣列包括非揮發性記憶體單元，且用作輸入層與下一層之間的突觸。具體而言，VMM 32包括非揮發性記憶體單元之陣列33、抹除閘及字線閘解碼器34、控制閘解碼器35、位元線解碼器36及源極線解碼器37，該等解碼器解碼用於記憶體陣列33之輸入。源極線解碼器37在此實例中亦解碼記憶體單元陣列之輸出。記憶體陣列服務兩個目的。第一，其儲存將由VMM使用之權重。第二，該記憶體陣列有效地使 輸入乘以儲存於記憶體陣列中之權重以產生輸出，該輸出將成為至下一層之輸入或至最終層之輸入。藉由執行乘法功能，記憶體陣列取消對單獨的乘法邏輯電路的需要，且亦是功率有效的。
記憶體陣列之輸出經供應至差分求和運算放大器38，該差分求和運算放大器將記憶體單元陣列之輸出相加以產生用於彼卷積之單一值。然後將相加的輸出值供應至校正輸出之激活功能電路39。校正的輸出值使特徵圖譜之元素成為下一層(例如上文描述中之C1)，且然後施加至下一突觸以產生下一特徵圖譜層或最終層。因此，在此實例中，記憶體陣列構成複數個突觸(其等自先前的神經元層或自諸如影像資料庫之輸入層接收其輸入)，且求和運算放大器38及激活功能電路39構成複數個神經元。
圖14是VMM之各種位準的方塊圖。如圖14中所示，輸入藉由數位-類比轉換器31由數位-類比轉換而成，且經提供至輸入VMM 32a。由輸入VMM 32a產生之輸出經提供為至下一VMM(隱藏位準1)32b之輸入，從而隨後產生經提供為至下一VMM(隱藏位準2)32b等等之輸出。VMM 32之各種層起卷積神經網路(CNN)之不同層突觸及神經元的作用。各VMM可為獨立非揮發性記憶體陣列，或多個VMM可使用相同非揮發性記憶體陣列之不同部分，或多個VMM可使用相同非揮發性記憶體陣列之重疊部分。
圖15例示經配置成汲極求和矩陣乘法器的四閘記憶體單元之陣列(亦即，諸如圖6中所示者)。用於圖15之陣列的各種閘線及區線與圖7中之彼者相同(其中相同元件編號用於對應結構)， 除了抹除閘線30a垂直地而非水平地運行(亦即，各抹除閘線30a將用於彼行記憶體單元之所有抹除閘30連接在一起)，以使得各記憶體單元10可經獨立地程式化、抹除及讀取。在利用用於彼單元之適當權重值程式化記憶體單元之各者後，陣列充當汲極求和矩陣乘法器。矩陣輸入為Vin0...Vin7，且置於選擇閘線28a上。用於圖15之陣列的矩陣輸出Iout0...IoutN產生於位元線16a上。對於行中之所有單元而言，各輸出Iout是單元電流I乘儲存於單元中之權重W的和：Iout=Σ(Iij*Wij)
各記憶體單元(或記憶體單元對)充當具有權重值之單一突觸，該權重值表示為由儲存於彼行中之記憶體單元(或記憶體單元對)中的權重值之和所規定的輸出電流Iout。任何給定突觸之輸出呈電流形式。因此，第一階段之後的各後續VMM階段較佳地包括用於將來自先前VMM階段之傳入電流轉換成欲用作輸入電壓Vin之電壓的電路系統。圖16例示此種電流-電壓轉換電路系統之實例，該電路系統是經修改的記憶體單元列，該記憶體單元列將傳入電流Iin0...IinN對數轉換成輸入電壓Vin0..VinN。
本文中所描述之記憶體單元經偏置在弱反轉中，Ids=Io * e(Vg-Vth)/kVt=w * Io * e(Vg)/kVt對於使用記憶體單元將輸入電流轉換成輸入電壓之I-V對數轉換器而言：Vg=k*Vt*log[Ids/wp*Io] 對於用作向量矩陣乘法器VMM之記憶體陣列而言，輸出電流為：Iout=wa * Io * e(Vg)/kVt，即Iout=(wa/wp)* Iin=W * Iin
圖17及圖18例示經配置成汲極求和矩陣乘法器的四閘記憶體單元之陣列(亦即，諸如圖6中所示者)的另一組態。用於圖17及圖18之陣列的線與圖15及圖16之陣列中的彼者相同，除了源極線14a垂直地而非水平地運行(亦即，各源極線14a將用於彼行記憶體單元之所有源極區14連接在一起)，且抹除閘線30a水平地而非垂直地運行(亦即，各抹除閘線30a將用於彼記憶體單元對之列的所有抹除閘30連接在一起)，以使得各記憶體單元可經獨立地程式化、抹除及讀取。矩陣輸入Vin0...VinN保持於選擇閘線28a上，且矩陣輸出Iout0...IoutN保持於位元線16a上。
圖19例示經配置成閘極耦合/源極求和矩陣乘法器的四閘記憶體單元之陣列(亦即，諸如圖6中所示者)的另一組態。用於圖19之陣列的線與圖15及圖16中之彼者相同，除了選擇閘線28a垂直地運行且該等選擇閘線中之兩者用於各行記憶體單元。具體而言，各行記憶體單元包括兩個選擇閘線：第一選擇閘線28a1，其將奇數列記憶體單元之所有選擇閘28連接在一起；及第二選擇閘線28a2，其將偶數列記憶體單元之所有選擇閘28連接在一起。
圖19之頂部及底部處的電路用來將輸入電流 Iin0...IinN對數轉換成輸入電壓Vin0..VinN。此圖式中所展示之矩陣輸入為Vin0...Vin5，且置於選擇閘線28a1及28a2上。具體而言，輸入Vin0置於選擇線28a1上用於行1中之奇數單元。Vin1置於選擇閘線28a2上用於行1中之偶數單元。Vin2置於選擇閘線28a1上用於行2中之奇數單元。Vin3置於選擇閘線28a2上用於行2中之偶數單元，等等。矩陣輸出Iout0...Iout3係提供於源極線14a上。位元線16a經偏置在固定偏置電壓VBLrd。對於彼列記憶體單元中之所有單元而言，各輸出Iout是單元電流I乘儲存於單元中之權重W的和。因此，對於此架構而言，各列記憶體單元充當具有權重值之單一突觸，該權重值表示為由儲存於彼列中之記憶體單元中的權重值之和所規定的輸出電流Iout。
圖20例示經配置成閘極耦合/源極求和矩陣乘法器的四閘記憶體單元之陣列(亦即，諸如圖6中所示者)的另一組態。用於圖20之陣列的線與圖19中之彼者相同，除了位元線16垂直地運行且該等位元線中之兩者用於各行記憶體單元。具體而言，各行記憶體單元包括兩個位元線：第一位元線16a1，其將相鄰成對記憶體單元(兩個記憶體單元共享相同位元線觸點)之所有汲極區連接在一起；及第二位元線16a2，其將下一相鄰成對記憶體單元之所有汲極區連接在一起。矩陣輸入Vin0...VinN保持於選擇閘線28a1及28a2上，且矩陣輸出Iout0...IoutN保持於源極線14a上。所有第一位元線16a1之集合經偏置在偏置位準，例如，1.2v，且所有第二位元線16a2之集合經偏置在另一偏置位準，例如，0v。源極線14a經偏置在虛擬偏置位 準，例如，0.6v。對於共享共用的源極線14a之各對記憶體單元而言，輸出電流將為頂部單元減去底部單元之差分輸出。因此，各輸出Iout為此等差分輸出之和：Iout=Σ(Iiju*Wiju-Iijd*Wijd)
SL電壓~½ Vdd,~0.5v因此，對於此架構而言，各列成對的記憶體單元充當具有權重值之單一突觸，該權重值表示為輸出電流Iout，該輸出電流為由儲存於彼列成對的記憶體單元中之記憶體單元中的權重值所規定的差分輸出之和。
圖21例示經配置成閘極耦合/源極求和矩陣乘法器的四閘記憶體單元之陣列(亦即，諸如圖6中所示者)的另一組態。用於圖21之陣列的線與圖20中之彼者相同，除了抹除閘30a水平地運行，並且控制閘線22a垂直地運行且該等控制閘線中之兩者用於各行記憶體單元。具體而言，各行記憶體單元包括兩個控制閘線：第一控制閘線22a1，其將奇數列記憶體單元之所有控制閘22a連接在一起；及第二控制閘線22a2，其將偶數列記憶體單元之所有控制閘22a連接在一起。矩陣輸入Vin0...VinN保持於選擇閘線28a1及28a2上，且矩陣輸出Iout0...IoutN保持於源極線14a上。
圖22例示經配置成源極求和矩陣乘法器的四閘記憶體單元之陣列(亦即，諸如圖6中所示者)的另一組態。用於圖22之陣列的線及輸入與圖17中之彼者相同。然而，代替將輸出提供於位元線16a上，將該等輸出提供於源極線14a上。矩陣輸入Vin0...VinN保持 於選擇閘線28a上。
圖23例示經配置成汲極求和矩陣乘法器的二閘記憶體單元之陣列(亦即，諸如圖1中所示者)的組態。用於圖23之陣列的線與圖5中之彼者相同，除了水平源極線14a已替換為垂直源極線14a。具體而言，各源極線14a連接至彼行記憶體單元中之所有源極區。矩陣輸入Vin0...VinN置於控制閘線22a上。矩陣輸出Iout0...IoutN產生於位元線16a上。對於行中之所有單元而言，各輸出Iout是單元電流I乘儲存於單元中之權重W的和。各行記憶體單元充當具有權重值之單一突觸，該權重值表示為由儲存於用於彼行之記憶體單元中的權重值之和所規定的輸出電流Iout。
圖24例示經配置成源極求和矩陣乘法器的二閘記憶體單元之陣列(亦即，諸如圖1中所示者)的組態。用於圖24之陣列的線與圖5中之彼者相同，除了控制閘線22a垂直地運行且該等控制閘線中之兩者用於各行記憶體單元。具體而言，各行記憶體單元包括兩個控制閘線：第一控制閘線22a1，其將奇數列記憶體單元之所有控制閘22a連接在一起；及第二控制閘線22a2，其將偶數列記憶體單元之所有控制閘22a連接在一起。
用於此組態之矩陣輸入為Vin0...VinN，且置於控制閘線22a1及22a2上。具體而言，輸入Vin0置於控制閘線22a1上用於行1中之奇數列單元。Vin1置於控制閘線22a2上用於行1中之偶數列單元。Vin2置於控制閘線22a1上用於行2中之奇數列單元。Vin3置於控制閘線22a2上用於行2中之偶數列單元，等等。矩陣輸出Iout0...IoutN產生於源極線14a上。對於共享共用的源極線14a之各對記憶體單元而言，輸出電流將為頂部單元減去底部單元之差分輸 出。因此，對於此架構而言，各列成對的記憶體單元充當具有權重值之單一突觸，該權重值表示為輸出電流Iout，該輸出電流為由儲存於彼列成對的記憶體單元中之記憶體單元中的權重值所規定之差分輸出的和。
用於圖15至圖16、圖19及圖20之實施例的例示性操作電壓包括：
近似數值包括：
用於圖17至圖18及圖22之實施例的例示性操作電壓包括：
近似數值包括：
圖25例示用以與本發明一起使用之例示性電流-電壓對數轉換器50(WL=選擇閘線，CG=控制閘線，EG=抹除閘線)。記憶體經偏置在弱反轉區中，Ids=Io * e(Vg-Vth)/kVt圖26例示用以與本發明一起使用之例示性電壓-電流對數轉換器52。記憶體經偏置在弱反轉 區中。圖27例示用以與本發明一起使用之參考Gnd的電流求和器54。圖28在下面例示用以與本發明一起使用之參考Vdd的電流求和器56。負載之實例包括二極體、非揮發性記憶體單元、及電阻器。
上述記憶體陣列組態實施前饋分類引擎。藉由將「權重」值儲存於記憶體單元中(產生突觸陣列)來完成訓練，其意味已修改個別單元之亞閾值斜率因子。神經元藉由對突觸之輸出求和及取決於神經元閾值而發射或不發射(亦即，作出決定)來實施。
下列步驟可用以處理輸入電流IE(例如，輸入電流直接來自特徵計算之輸出，以用於影像辨識)：
步驟1-轉換成對數標度，以便更容易利用非揮發性記憶體處理。
‧使用雙極電晶體輸入電流至電壓轉換。雙極電晶體之偏置電壓VBE與射極電流具有對數關係。
‧VBE=a*lnIE-b → VBE lnIE
- 其中a(比率)及b(偏置或偏移)是常數
‧VBE電壓經產生以使得記憶體單元將在亞閾值區中操作。
步驟2-將所產生之偏置電壓VBE施加至字線(亞閾值區中)。
‧CMOS電晶體之輸出電流I汲極與輸入電壓(VGS)、熱電壓(UT)及kappa(k=Cox/(Cox+Cdep))具有指數關係，其中Cox及Cdep與浮閘上之電荷線性相關。
‧I汲極 Exp(kVBE/UT)，或
‧lnI汲極 kVBE/UT
‧對數I汲極與多個VBE及浮閘上之電荷(與kappa相關)具有線 性關係，其中UT在給定溫度下係恆定的。
‧針對突觸，存在輸出=輸入*權重關係。
單元之各者的輸出(I汲極)可在讀取模式中綁在一起，以便將陣列或陣列之區段中的各突觸之值相加。一旦已將I汲極相加，其可經饋送至電流比較器中，且取決於對單一感知神經網路之比較輸出「邏輯」0或1。上文描述一個感知(一個區段)。來自各感知之輸出可經饋送至用於多個感知之下一組區段。
在基於記憶體之卷積神經網路中，一組輸入需要乘以某些權重以便產生隱蔽層或輸出層所要的結果。如上文所解釋，一種技術是使用M×M濾波器(核心)掃描前述影像(例如N×N矩陣)，該濾波器在水平及垂直方向中跨影像移位X像素。像素之掃描可至少部分地同時進行，只要存在至記憶體陣列之足夠的輸入。例如，如圖29中所示，M=6之濾波器大小(亦即，36像素之6×6陣列)可用以使用X=2之移位來掃描N×N影像陣列。在彼實例中，向至N2個輸入之記憶體陣列的第一6個輸入提供濾波器中之第一列六個像素。然後，向N2個輸入之第二N個輸入中的第一6個輸入提供濾波器中之第二列六個像素，等等。此在圖29中之圖形的第一列中表示，其中點表示用於乘以上文所闡述之輸入的儲存於記憶體陣列中之權重。然後，濾波器向右移位兩個像素，且向第一N個輸入之第三至第八輸入提供經移位濾波器中之第一列六個像素，向第二N個輸入之第三至第八輸入提供第二列六個像素，等等。一旦濾波器一直移位至影像之右側，則濾波器複位回到左側，但向下移位兩個像素，其中再次重複該過程，直至 掃描到整個N×N影像。各組水平移位的掃描可由梯形形狀表示，該等梯形形狀展示N2個記憶體陣列輸入中之哪一個具備用於相乘的資料。
因此，使用兩個像素在掃描之間的移位的N×N影像陣列及6×6之濾波器大小之掃描需要N2個輸入及((N-4)/2))2列。圖30圖形展示指示記憶體陣列中之權重如何經儲存以用於濾波器掃描的梯形形狀。各列陰影區域表示在一組水平掃描期間施加至輸入之權重。箭頭指示記憶體陣列之線性輸入線(例如，圖15中之輸入線28a，其接收以線性方式跨記憶體陣列一直延伸之輸入資料，其各者始終訪問相同記憶體單元列；在圖19之陣列的情況下，輸入線之各者始終訪問相同記憶體單元行)。白色區域指示沒有資料正供應至輸入的地方。因此，白色區域指示對記憶體單元陣列之無效使用。
藉由再組配記憶體陣列，如圖31中所示，可增加效率，及減少輸入之總數目。具體而言，記憶體陣列之輸入線週期性地移位至另一列或行，從而減少陣列之未使用部分，且因此減少需要執行掃瞄之陣列上方的重複輸入線之數目。具體而言，在其中移位X=2之實例的情況下，箭頭指示各輸入線週期性地移過兩列或兩行，從而將使用間隔寬的記憶體單元之梯形形狀轉換成間隔緊密的記憶體單元使用的矩形形狀。雖然線束需要記憶體單元部分之間的額外空間來實施此移位，但極大地減少了記憶體單元陣列中所需輸入之數目(僅5n+6)。
圖32例示圖15之陣列，但其中用於線28a之兩列的週期性移位用作輸入線。用於輸入線之成列的週期性移位可在圖17、圖 22及圖23之陣列中類似地實施。圖33例示圖20之陣列，但其中用於線28a1及28a2之兩行的週期性移位用作輸入線。用於輸入線之成行的週期性移位可在圖19、圖21及圖24之陣列中類似地實施。
須了解本發明並未受限於上文所述以及本文所說明之(一或多個)實施例，且涵括落在任一項申請專利範圍之範疇內的任一變體或全部變體。例如，本文中對本發明的引述並非意欲用以限制任何申請專利範圍或申請專利範圍用語之範疇，而僅是用以對可由一或多項請求項所涵蓋的一或多種技術特徵作出引述。上文描述之材料、程序及數值實例僅為例示性，且不應視為對申請專利範圍之限制。單一材料層可形成為多個具有此類或類似材料之層，且反之亦然。雖然各記憶體單元陣列之輸出在發送至下一神經元層之前藉由濾波器冷凝操縱，但它們不需要如此。
應注意的是，如本文中所使用，「在...上方(over)」及「在...上(on)」之用語皆含括性地包括了「直接在...之上(directly on)」(無居中的材料、元件或間隔設置於其間)及「間接在...之上(indirectly on)」(有居中的材料、元件或間隔設置於其間)的含意。同樣地，「相鄰的(adjacent)」一詞包括了「直接相鄰的」(無居中的材料、元件或間隔設置於其間)及「間接相鄰的」(有居中的材料、元件或間隔設置於其間)的含意，「安裝於(mounted to)」一詞則包括了「直接安裝於(directly mounted to)」(無居中的材料、元件或間隔設置於其間)及「間接安裝於(indirectly mounted to)」(有居中的材料、元件或間隔設置於其間)的含意，以及「電耦接(electrically coupled)」一詞則包括了「直接電耦接(directly electrically coupled to)」(無居中的材料或元件於其間將各元件電性相連接)及「間接電耦接(indirectly electrically coupled to)」(有居中的材料或元件於其間將各元件電性相連接)的含意。例如，「在一基材上方」形成一元件可包括直接在基材上形成元件而其間無居中的材料/元件存在，以及間接在基材上形成元件而其間有一或多個居中的材料/元件存在。
31‧‧‧數位-類比轉換器
32a~e‧‧‧輸入VMM

Claims (31)

  1. 一種神經網路裝置，其包含：一第一複數個突觸，其經組態來接收一第一複數個輸入，且自該第一複數個輸入產生一第一複數個輸出，其中該第一複數個突觸包含：複數個記憶體單元，其中該等記憶體單元之各者包括形成於一半導體基材中之隔開的源極區及汲極區，一通道區在該源極區與該汲極區之間延伸；一浮閘，其設置於該通道區之一第一部分上方且與該第一部分絕緣；及一非浮閘，其設置於該通道區之一第二部分上方且與該第二部分絕緣；該複數個記憶體單元之各者經組態來儲存對應於該浮閘上之數個電子的一權重值；該複數個記憶體單元經組態來使該第一複數個輸入乘以所儲存的該等權重值，以產生該第一複數個輸出；一第一複數個神經元，其經組態來接收該第一複數個輸出。
  2. 如請求項1之神經網路裝置，其中該第一複數個神經元經組態來基於該第一複數個輸出產生一第一複數個決定。
  3. 如請求項2之神經網路裝置，其進一步包含：一第二複數個突觸，其經組態來基於該第一複數個決定接收一第二複數個輸入，且自該第二複數個輸入產生一第二複數個輸出，其中該第二複數個突觸包含： 複數個第二記憶體單元，其中該等第二記憶體單元之各者包括形成於該半導體基材中之隔開的第二源極區及第二汲極區，一第二通道區在該第二源極區與該第二汲極區之間延伸；一第二浮閘，其設置於該第二通道區之一第一部分上方且與該第一部分絕緣；及一第二非浮閘，其設置於該第二通道區之一第二部分上方且與該第二部分絕緣；該複數個第二記憶體單元之各者經組態來儲存對應於該第二浮閘上之數個電子的一第二權重值；該複數個第二記憶體單元經組態來使該第二複數個輸入乘以所儲存的該等第二權重值，以產生該第二複數個輸出；一第二複數個神經元，其經組態來接收該第二複數個輸出。
  4. 如請求項3之神經網路裝置，其中該第二複數個神經元經組態來基於該第二複數個輸出產生一第二複數個決定。
  5. 如請求項1之神經網路裝置，其中該第一複數個突觸之該等記憶體單元之各者進一步包含：一第二非浮閘，其設置於該源極區上方且與該源極區絕緣；以及一第三非浮閘，其設置於該浮閘上方且與該浮閘絕緣。
  6. 如請求項5之神經網路裝置，其中該第一複數個突觸之該等記憶體單元經配置成列及行，且其中該第一複數個突觸包含：複數個第一線，其各將該等記憶體單元之該等列中之一者中的該等第一非浮閘電氣連接在一起； 複數個第二線，其各將該等記憶體單元之該等行中之一者中的該等第二非浮閘電氣連接在一起；複數個第三線，其各將該等記憶體單元之該等列中之一者中的該等第三非浮閘電氣連接在一起；複數個第四線，其各將該等記憶體單元之該等列中之一者中的該等源極區電氣連接在一起；複數個第五線，其各將該等記憶體單元之該等行中之一者中的該等汲極區電氣連接在一起；其中該第一複數個突觸經組態來在該複數個第一線上接收該第一複數個輸入，且在該複數個第五線上提供該第一複數個輸出。
  7. 如請求項6之神經網路裝置，其中對於該複數個第五線之各者而言，該第一複數個輸出中之一者係提供於其上，對於一行該等記憶體單元中之所有該等記憶體單元而言，該第一複數個輸出中之該一者為穿過該等記憶體單元之電流乘以儲存於該等記憶體單元中之各別權重值的一和。
  8. 如請求項6之神經網路裝置，其進一步包含：電路系統，其用於在該複數個第一線上之該接收該第一複數個輸入之前，將該第一複數個輸入之電流對數轉換成電壓。
  9. 如請求項5之神經網路裝置，其中該第一複數個突觸之該等記憶體單元經配置成列及行，且其中該第一複數個突觸包含：複數個第一線，其各將該等記憶體單元之該等列中之一者中的該等第一非浮閘電氣連接在一起； 複數個第二線，其各將該等記憶體單元之該等列中之一者中的該等第二非浮閘電氣連接在一起；複數個第三線，其各將該等記憶體單元之該等列中之一者中的該等第三非浮閘電氣連接在一起；複數個第四線，其各將該等記憶體單元之該等行中之一者中的該等源極區電氣連接在一起；複數個第五線，其各將該等記憶體單元之該等行中之一者中的該等汲極區電氣連接在一起；其中該第一複數個突觸經組態來在該複數個第一線上接收該第一複數個輸入，且在該複數個第五線上提供該第一複數個輸出。
  10. 如請求項9之神經網路裝置，其中對於該複數個第五線之各者而言，該第二複數個輸出中之一者係提供於其上，對於一行該等記憶體單元中之所有該等記憶體單元而言，該第二複數個輸出中之該一者為穿過該等記憶體單元之電流乘以儲存於該等記憶體單元中之各別權重值的一和。
  11. 如請求項5之神經網路裝置，其中該第一複數個突觸之該等記憶體單元經配置成列及行，且其中該第一複數個突觸包含：複數個第一線，其各將該等記憶體單元之該等行中之一者中的奇數列記憶體單元之該等第一非浮閘電氣連接在一起；複數個第二線，其各將該等記憶體單元之該等行中之一者中的偶數列記憶體單元之該等第一非浮閘電氣連接在一起； 複數個第三線，其各將該等記憶體單元之該等行中之一者中的該等第二非浮閘電氣連接在一起；複數個第四線，其各將該等記憶體單元之該等列中之一者中的該等第三非浮閘電氣連接在一起；複數個第五線，其各將該等記憶體單元之該等列中之一者中的該等源極區電氣連接在一起；複數個第六線，其各將該等記憶體單元之該等行中之一者中的該等汲極區電氣連接在一起；其中該第一複數個突觸經組態來在該複數個第一線上接收該第一複數個輸入中之一些者，且在該複數個第二線上接收該第一複數個輸入中之其他者，且在該複數個第五線上提供該第一複數個輸出。
  12. 如請求項11之神經網路裝置，其中對於該複數個第五線之各者而言，該第一複數個輸出中之一者係提供於其上，對於一列該等記憶體單元中之所有該等記憶體單元而言，該第一複數個輸出中之該一者為穿過該等記憶體單元之電流乘以儲存於該等記憶體單元中之各別權重值的一和。
  13. 如請求項5之神經網路裝置，其中該第一複數個突觸之該等記憶體單元經配置成列及行，且其中該第一複數個突觸包含：複數個第一線，其各將該等記憶體單元之該等行中之一者中的奇數列記憶體單元之該等第一非浮閘電氣連接在一起； 複數個第二線，其各將該等記憶體單元之該等行中之一者中的偶數列記憶體單元之該等第一非浮閘電氣連接在一起；複數個第三線，其各將該等記憶體單元之該等行中之一者中的該等第二非浮閘電氣連接在一起；複數個第四線，其各將該等記憶體單元之該等列中之一者中的該等第三非浮閘電氣連接在一起；複數個第五線，其各將該等記憶體單元之該等列中之一者中的該等源極區電氣連接在一起；複數個第六線，其各將該等記憶體單元之該等行中之一者中的奇數汲極區電氣連接在一起；複數個第七線，其各將該等記憶體單元之該等行中之一者中的偶數汲極區電氣連接在一起；其中該第一複數個突觸經組態來在該複數個第一線上接收該第一複數個輸入中之一些者，且在該複數個第二線上接收該第一複數個輸入中之其他者，且在該複數個第五線上提供該第一複數個輸出。
  14. 如請求項13之神經網路裝置，其中對於該複數個第五線之各者而言，該第一複數個輸出中之一者係提供於其上，對於一列該等記憶體單元中之所有記憶體單元對而言，該第一複數個輸出中之該一者為來自該等記憶體單元對之差分輸出的一和，且其中該等差分輸出之各者為穿過該記憶體單元對之電流乘以儲存於該記憶體單元對中之各別權重值之間的一差。
  15. 如請求項5之神經網路裝置，其中該第一複數個突觸之該等記憶體單元經配置成列及行，且其中該第一複數個突觸包含：複數個第一線，其各將該等記憶體單元之該等行中之一者中的奇數列記憶體單元之該等第一非浮閘電氣連接在一起；複數個第二線，其各將該等記憶體單元之該等行中之一者中的偶數列記憶體單元之該等第一非浮閘電氣連接在一起；複數個第三線，其各將該等記憶體單元之該等列中之一者中的該等第二非浮閘電氣連接在一起；複數個第四線，其各將該等記憶體單元之該等行中之一者中的奇數列記憶體單元之該等第三非浮閘電氣連接在一起；複數個第五線，其各將該等記憶體單元之該等行中之一者中的偶數列記憶體單元之該等第三非浮閘電氣連接在一起；複數個第六線，其各將該等記憶體單元之該等列中之一者中的該等源極區電氣連接在一起；複數個第七線，其各將該等記憶體單元之該等行中之一者中的奇數汲極區電氣連接在一起；複數個第八線，其各將該等記憶體單元之該等行中之一者中的偶數汲極區電氣連接在一起；其中該第一複數個突觸經組態來在該複數個第一線上接收該第一複數個輸入中之一些者，且在該複數個第二線上接收該第一複數個輸入中之其他者，且在該複數個第六線上提供該第一複數個輸出。
  16. 如請求項15之神經網路裝置，其中對於該複數個第六線之各者而言，該第一複數個輸出中之一者係提供於其上，對於一列該等記憶體單元中之所有記憶體單元對而言，該第一複數個輸出中之該一者為來自該等記憶體單元對之差分輸出的一和，且其中該等差分輸出之各者為穿過該記憶體單元對之電流乘以儲存於該記憶體單元對中之各別權重值之間的一差。
  17. 如請求項5之神經網路裝置，其中該第一複數個突觸之該等記憶體單元經配置成列及行，且其中該第一複數個突觸包含：複數個第一線，其各將該等記憶體單元之該等列中之一者中的該等第一非浮閘電氣連接在一起；複數個第二線，其各將該等記憶體單元之該等列中之一者中的該等第二非浮閘電氣連接在一起；複數個第三線，其各將該等記憶體單元之該等列中之一者中的該等第三非浮閘電氣連接在一起；複數個第四線，其各將該等記憶體單元之該等行中之一者中的該等源極區電氣連接在一起；複數個第五線，其各將該等記憶體單元之該等行中之一者中的該等汲極區電氣連接在一起；其中該第一複數個突觸經組態來在該複數個第一線上接收該第一複數個輸入，且在該複數個第四線上提供該第一複數個輸出。
  18. 如請求項17之神經網路裝置，其中對於該複數個第四線之各者而言，該第一複數個輸出中之一者係提供於其上，對於一行該等記憶 體單元中之所有該等記憶體單元而言，該第一複數個輸出中之該一者為穿過該等記憶體單元之電流乘以儲存於該等記憶體單元中之各別權重值的一和。
  19. 如請求項1之神經網路裝置，其中該第一複數個突觸之該等記憶體單元經配置成列及行，且其中該第一複數個突觸包含：複數個第一線，其各將該等記憶體單元之該等列中之一者中的該等第一非浮閘電氣連接在一起；複數個第二線，其各將該等記憶體單元之該等行中之一者中的該等源極區電氣連接在一起；複數個第三線，其各將該等記憶體單元之該等行中之一者中的該等汲極區電氣連接在一起；其中該第一複數個突觸經組態來在該複數個第一線上接收該第一複數個輸入，且在該複數個第三線上提供該第一複數個輸出。
  20. 如請求項19之神經網路裝置，其中對於該複數個第三線之各者而言，該第一複數個輸出中之一者係提供於其上，對於一行該等記憶體單元中之所有該等記憶體單元而言，該第一複數個輸出中之該一者為穿過該等記憶體單元之電流乘以儲存於該等記憶體單元中之各別權重值的一和。
  21. 如請求項1之神經網路裝置，其中該第一複數個突觸之該等記憶體單元經配置成列及行，且其中該第一複數個突觸包含：複數個第一線，其各將該等記憶體單元之該等行中之一者中的奇數列記憶體單元之該等第一非浮閘電氣連接在一起； 複數個第二線，其各將該等記憶體單元之該等行中之一者中的偶數列記憶體單元之該等第一非浮閘電氣連接在一起；複數個第三線，其各將該等記憶體單元之該等列中之一者中的該等源極區電氣連接在一起；複數個第四線，其各將該等記憶體單元之該等行中之一者中的該等汲極區電氣連接在一起；其中該第一複數個突觸經組態來在該複數個第一線上接收該第一複數個輸入中之一些者，且在該複數個第二線上接收該第一複數個輸入中之其他者，且在該複數個第三線上提供該第一複數個輸出。
  22. 如請求項21之神經網路裝置，其中對於該複數個第三線之各者而言，該第一複數個輸出中之一者係提供於其上，對於一列該等記憶體單元中之所有記憶體單元對而言，該第一複數個輸出中之該一者為來自該等記憶體單元對之差分輸出的一和，且其中該等差分輸出之各者為穿過該記憶體單元對之電流乘以儲存於該記憶體單元對中之各別權重值之間的一差。
  23. 如請求項5之神經網路裝置，其中該第一複數個突觸之該等記憶體單元經配置成列及行，且其中該第一複數個突觸包含：複數個第一線，其各將該等記憶體單元之該等列中之一者中的一些而非所有的該等第一非浮閘，與該等記憶體單元之該等列中之另一者中的一些而非所有的該等第一非浮閘電氣連接在一起； 複數個第二線，其各將該等記憶體單元之該等行中之一者中的該等第二非浮閘電氣連接在一起；複數個第三線，其各將該等記憶體單元之該等列中之一者中的該等第三非浮閘電氣連接在一起；複數個第四線，其各將該等記憶體單元之該等列中之一者中的該等源極區電氣連接在一起；複數個第五線，其各將該等記憶體單元之該等行中之一者中的該等汲極區電氣連接在一起；其中該第一複數個突觸經組態來在該複數個第一線上接收該第一複數個輸入，且在該複數個第五線上提供該第一複數個輸出。
  24. 如請求項5之神經網路裝置，其中該第一複數個突觸之該等記憶體單元經配置成列及行，且其中該第一複數個突觸包含：複數個第一線，其各將該等記憶體單元之該等列中之一者中的一些而非所有的該等第一非浮閘，與該等記憶體單元之該等列中之另一者中的一些而非所有的該等第一非浮閘電氣連接在一起；複數個第二線，其各將該等記憶體單元之該等列中之一者中的該等第二非浮閘電氣連接在一起；複數個第三線，其各將該等記憶體單元之該等列中之一者中的該等第三非浮閘電氣連接在一起；複數個第四線，其各將該等記憶體單元之該等行中之一者中的該等源極區電氣連接在一起； 複數個第五線，其各將該等記憶體單元之該等行中之一者中的該等汲極區電氣連接在一起；其中該第一複數個突觸經組態來在該複數個第一線上接收該第一複數個輸入，且在該複數個第五線上提供該第一複數個輸出。
  25. 如請求項5之神經網路裝置，其中該第一複數個突觸之該等記憶體單元經配置成列及行，且其中該第一複數個突觸包含：複數個第一線，其各將該等記憶體單元之該等行中之一者中的奇數列記憶體單元之一些而非所有的該等第一非浮閘，與該等記憶體單元之該等行中之另一者中的奇數列記憶體單元之一些而非所有的該等第一非浮閘電氣連接在一起；複數個第二線，其各將該等記憶體單元之該等行中之一者中的偶數列記憶體單元之一些而非所有的該等第一非浮閘，與該等記憶體單元之該等行中之另一者中的偶數列記憶體單元之一些而非所有的該等第一非浮閘電氣連接在一起；複數個第三線，其各將該等記憶體單元之該等行中之一者中的該等第二非浮閘電氣連接在一起；複數個第四線，其各將該等記憶體單元之該等列中之一者中的該等第三非浮閘電氣連接在一起；複數個第五線，其各將該等記憶體單元之該等列中之一者中的該等源極區電氣連接在一起；複數個第六線，其各將該等記憶體單元之該等行中之一者中的該等汲極區電氣連接在一起； 其中該第一複數個突觸經組態來在該複數個第一線上接收該第一複數個輸入中之一些者，且在該複數個第二線上接收該第一複數個輸入中之其他者，且在該複數個第五線上提供該第一複數個輸出。
  26. 如請求項5之神經網路裝置，其中該第一複數個突觸之該等記憶體單元經配置成列及行，且其中該第一複數個突觸包含：複數個第一線，其各將該等記憶體單元之該等行中之一者中的奇數列記憶體單元之一些而非所有的該等第一非浮閘，與該等記憶體單元之該等行中之另一者中的奇數列記憶體單元之一些而非所有的該等第一非浮閘電氣連接在一起；複數個第二線，其各將該等記憶體單元之該等行中之一者中的偶數列記憶體單元之一些而非所有的該等第一非浮閘，與該等記憶體單元之該等行中之另一者中的偶數列記憶體單元之一些而非所有的該等第一非浮閘電氣連接在一起；複數個第三線，其各將該等記憶體單元之該等行中之一者中的該等第二非浮閘電氣連接在一起；複數個第四線，其各將該等記憶體單元之該等列中之一者中的該等第三非浮閘電氣連接在一起；複數個第五線，其各將該等記憶體單元之該等列中之一者中的該等源極區電氣連接在一起；複數個第六線，其各將該等記憶體單元之該等行中之一者中的奇數汲極區電氣連接在一起； 複數個第七線，其各將該等記憶體單元之該等行中之一者中的偶數汲極區電氣連接在一起；其中該第一複數個突觸經組態來在該複數個第一線上接收該第一複數個輸入中之一些者，且在該複數個第二線上接收該第一複數個輸入中之其他者，且在該複數個第五線上提供該第一複數個輸出。
  27. 如請求項5之神經網路裝置，其中該第一複數個突觸之該等記憶體單元經配置成列及行，且其中該第一複數個突觸包含：複數個第一線，其各將該等記憶體單元之該等行中之一者中的奇數列記憶體單元之一些而非所有的該等第一非浮閘，與該等記憶體單元之該等行中之另一者中的奇數列記憶體單元之一些而非所有的該等第一非浮閘電氣連接在一起；複數個第二線，其各將該等記憶體單元之該等行中之一者中的偶數列記憶體單元之一些而非所有的該等第一非浮閘，與該等記憶體單元之該等行中之另一者中的偶數列記憶體單元之一些而非所有的該等第一非浮閘電氣連接在一起；複數個第三線，其各將該等記憶體單元之該等列中之一者中的該等第二非浮閘電氣連接在一起；複數個第四線，其各將該等記憶體單元之該等行中之一者中的奇數列記憶體單元之該等第三非浮閘電氣連接在一起；複數個第五線，其各將該等記憶體單元之該等行中之一者中的偶數列記憶體單元之該等第三非浮閘電氣連接在一起； 複數個第六線，其各將該等記憶體單元之該等列中之一者中的該等源極區電氣連接在一起；複數個第七線，其各將該等記憶體單元之該等行中之一者中的奇數汲極區電氣連接在一起；複數個第八線，其各將該等記憶體單元之該等行中之一者中的偶數汲極區電氣連接在一起；其中該第一複數個突觸經組態來在該複數個第一線上接收該第一複數個輸入中之一些者，且在該複數個第二線上接收該第一複數個輸入中之其他者，且在該複數個第六線上提供該第一複數個輸出。
  28. 如請求項5之神經網路裝置，其中該第一複數個突觸之該等記憶體單元經配置成列及行，且其中該第一複數個突觸包含：複數個第一線，其各將該等記憶體單元之該等列中之一者中的一些而非所有的該等第一非浮閘，與該等記憶體單元之該等列中之另一者中的一些而非所有的該等第一非浮閘電氣連接在一起；複數個第二線，其各將該等記憶體單元之該等列中之一者中的該等第二非浮閘電氣連接在一起；複數個第三線，其各將該等記憶體單元之該等列中之一者中的該等第三非浮閘電氣連接在一起；複數個第四線，其各將該等記憶體單元之該等行中之一者中的該等源極區電氣連接在一起； 複數個第五線，其各將該等記憶體單元之該等行中之一者中的該等汲極區電氣連接在一起；其中該第一複數個突觸經組態來在該複數個第一線上接收該第一複數個輸入，且在該複數個第四線上提供該第一複數個輸出。
  29. 如請求項1之神經網路裝置，其中該第一複數個突觸之該等記憶體單元經配置成列及行，且其中該第一複數個突觸包含：複數個第一線，其各將該等記憶體單元之該等列中之一者中的一些而非所有的該等第一非浮閘，與該等記憶體單元之該等列中之另一者中的一些而非所有的該等第一非浮閘電氣連接在一起；複數個第二線，其各將該等記憶體單元之該等行中之一者中的該等源極區電氣連接在一起；複數個第三線，其各將該等記憶體單元之該等行中之一者中的該等汲極區電氣連接在一起；其中該第一複數個突觸經組態來在該複數個第一線上接收該第一複數個輸入，且在該複數個第三線上提供該第一複數個輸出。
  30. 如請求項19之神經網路裝置，其中對於該複數個第三線之各者而言，該第一複數個輸出中之一者係提供於其上，對於一行該等記憶體單元中之所有該等記憶體單元而言，該第一複數個輸出中之該一者為穿過該等記憶體單元之電流乘以儲存於該等記憶體單元中之各別權重值的一和。
  31. 如請求項1之神經網路裝置，其中該第一複數個突觸之該等記憶體單元經配置成列及行，且其中該第一複數個突觸包含： 複數個第一線，其各將該等記憶體單元之該等行中之一者中的奇數列記憶體單元之一些而非所有的該等第一非浮閘，與該等記憶體單元之該等行中之另一者中的奇數列記憶體單元之一些而非所有的該等第一非浮閘電氣連接在一起；複數個第二線，其各將該等記憶體單元之該等行中之一者中的偶數列記憶體單元之一些而非所有的該等第一非浮閘，與該等記憶體單元之該等行中之另一者中的偶數列記憶體單元之一些而非所有的該等第一非浮閘電氣連接在一起；複數個第三線，其各將該等記憶體單元之該等列中之一者中的該等源極區電氣連接在一起；複數個第四線，其各將該等記憶體單元之該等行中之一者中的該等汲極區電氣連接在一起；其中該第一複數個突觸經組態來在該複數個第一線上接收該第一複數個輸入中之一些者，且在該複數個第二線上接收該第一複數個輸入中之其他者，且在該複數個第三線上提供該第一複數個輸出。
TW106116163A 2016-05-17 2017-05-16 類神經網路裝置 TWI631517B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201662337760P 2016-05-17 2016-05-17
US62/337,760 2016-05-17
US15/594,439 US11308383B2 (en) 2016-05-17 2017-05-12 Deep learning neural network classifier using non-volatile memory array
PCT/US2017/032552 WO2017200883A1 (en) 2016-05-17 2017-05-12 Deep learning neural network classifier using non-volatile memory array
US15/594,439 2017-05-12
??PCT/US17/32552 2017-05-12

Publications (2)

Publication Number Publication Date
TW201741943A true TW201741943A (zh) 2017-12-01
TWI631517B TWI631517B (zh) 2018-08-01

Family

ID=60326170

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106116163A TWI631517B (zh) 2016-05-17 2017-05-16 類神經網路裝置

Country Status (5)

Country Link
US (10) US11308383B2 (zh)
JP (1) JP6833873B2 (zh)
KR (1) KR102182583B1 (zh)
TW (1) TWI631517B (zh)
WO (1) WO2017200883A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI659428B (zh) * 2018-01-12 2019-05-11 中原大學 運用非揮發性記憶體執行類神經網絡前饋與遞迴運算之方法
TWI696126B (zh) * 2018-02-13 2020-06-11 旺宏電子股份有限公司 用於類神經計算機系統的記憶體裝置結構及其製造方法
TWI719757B (zh) * 2019-01-18 2021-02-21 美商超捷公司 使用3-閘極非揮發性記憶體單元陣列之神經網路分類器
TWI720524B (zh) * 2019-03-20 2021-03-01 旺宏電子股份有限公司 用於執行記憶體內乘法與累加函數的方法及電路
US10957392B2 (en) 2018-01-17 2021-03-23 Macronix International Co., Ltd. 2D and 3D sum-of-products array for neuromorphic computing system
US11119674B2 (en) 2019-02-19 2021-09-14 Macronix International Co., Ltd. Memory devices and methods for operating the same
US11138497B2 (en) 2018-07-17 2021-10-05 Macronix International Co., Ltd In-memory computing devices for neural networks
TWI751403B (zh) * 2018-01-23 2022-01-01 美商安納富來希股份有限公司 具有非揮發性突觸陣列的神經網路電路及神經晶片
TWI754162B (zh) * 2018-08-27 2022-02-01 美商超捷公司 類比神經形態記憶體系統及在類比神經形態記憶體系統中執行溫度補償之方法
TWI787099B (zh) * 2018-05-01 2022-12-11 美商超捷公司 用於在深度學習人工類神經網路中的類比類神經記憶體之高電壓產生之方法及設備
US11562229B2 (en) 2018-11-30 2023-01-24 Macronix International Co., Ltd. Convolution accelerator using in-memory computation
US11636325B2 (en) 2018-10-24 2023-04-25 Macronix International Co., Ltd. In-memory data pooling for machine learning
TWI810613B (zh) * 2018-03-14 2023-08-01 美商超捷公司 用於程式化深度學習人工類神經網路中的類比神經記憶體之設備
US11934480B2 (en) 2018-12-18 2024-03-19 Macronix International Co., Ltd. NAND block architecture for in-memory multiply-and-accumulate operations

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6833873B2 (ja) 2016-05-17 2021-02-24 シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． 不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器
US10269440B2 (en) 2016-05-17 2019-04-23 Silicon Storage Technology, Inc. Flash memory array with individual memory cell read, program and erase
JP6716022B2 (ja) 2016-05-17 2020-07-01 シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． 個々のメモリセルが読み出し、プログラミング、及び消去される３ゲートフラッシュメモリセルアレイ
US11309026B2 (en) * 2017-01-25 2022-04-19 Peking University Convolution operation method based on NOR flash array
JP6708146B2 (ja) * 2017-03-03 2020-06-10 株式会社デンソー ニューラルネットワーク回路
US10147019B2 (en) * 2017-03-20 2018-12-04 Sap Se Small object detection
US10580492B2 (en) * 2017-09-15 2020-03-03 Silicon Storage Technology, Inc. System and method for implementing configurable convoluted neural networks with flash memories
US11087207B2 (en) * 2018-03-14 2021-08-10 Silicon Storage Technology, Inc. Decoders for analog neural memory in deep learning artificial neural network
US10748630B2 (en) * 2017-11-29 2020-08-18 Silicon Storage Technology, Inc. High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks
US10803943B2 (en) * 2017-11-29 2020-10-13 Silicon Storage Technology, Inc. Neural network classifier using array of four-gate non-volatile memory cells
US11361215B2 (en) * 2017-11-29 2022-06-14 Anaflash Inc. Neural network circuits having non-volatile synapse arrays
KR102408858B1 (ko) * 2017-12-19 2022-06-14 삼성전자주식회사 비휘발성 메모리 장치, 이를 포함하는 메모리 시스템 및 비휘발성 메모리 장치의 동작 방법
KR102121562B1 (ko) * 2017-12-21 2020-06-10 이화여자대학교 산학협력단 3차원 크로스바 메모리 구조를 이용한 뉴로 모픽 소자
US10628295B2 (en) * 2017-12-26 2020-04-21 Samsung Electronics Co., Ltd. Computing mechanisms using lookup tables stored on memory
CN108038542B (zh) * 2017-12-27 2022-01-07 上海闪易半导体有限公司 一种基于神经网络的存储模块、模组及数据处理方法
KR102130532B1 (ko) * 2017-12-29 2020-07-07 포항공과대학교 산학협력단 커널 하드웨어 장치
US11354562B2 (en) 2018-01-03 2022-06-07 Silicon Storage Technology, Inc. Programmable neuron for analog non-volatile memory in deep learning artificial neural network
US10446246B2 (en) * 2018-03-14 2019-10-15 Silicon Storage Technology, Inc. Method and apparatus for data refresh for analog non-volatile memory in deep learning neural network
US10580491B2 (en) * 2018-03-23 2020-03-03 Silicon Storage Technology, Inc. System and method for managing peak power demand and noise in non-volatile memory array
CN108509179B (zh) * 2018-04-04 2021-11-30 百度在线网络技术（北京）有限公司 用于检测人脸的方法、用于生成模型的装置
US11403518B2 (en) * 2018-04-25 2022-08-02 Denso Corporation Neural network circuit
US10891080B1 (en) 2018-06-04 2021-01-12 Mentium Technologies Inc. Management of non-volatile memory arrays
US11443175B2 (en) 2018-07-11 2022-09-13 Silicon Storage Technology, Inc. Compensation for reference transistors and memory cells in analog neuro memory in deep learning artificial neural network
US11568229B2 (en) 2018-07-11 2023-01-31 Silicon Storage Technology, Inc. Redundant memory access for rows or columns containing faulty memory cells in analog neural memory in deep learning artificial neural network
US10671891B2 (en) * 2018-07-19 2020-06-02 International Business Machines Corporation Reducing computational costs of deep reinforcement learning by gated convolutional neural network
WO2020018960A1 (en) * 2018-07-19 2020-01-23 The Regents Of The University Of California Compute-in-memory architecture for neural networks
CN109284474B (zh) * 2018-08-13 2020-09-11 北京大学 一种加法器辅助实现图像卷积运算的闪存系统及方法
US10860918B2 (en) 2018-08-21 2020-12-08 Silicon Storage Technology, Inc. Analog neural memory system for deep learning neural network comprising multiple vector-by-matrix multiplication arrays and shared components
US10956814B2 (en) * 2018-08-27 2021-03-23 Silicon Storage Technology, Inc. Configurable analog neural memory system for deep learning neural network
KR20200028168A (ko) 2018-09-06 2020-03-16 삼성전자주식회사 컨볼루셔널 뉴럴 네트워크를 이용하는 컴퓨팅 장치 및 그 동작 방법
US10741568B2 (en) 2018-10-16 2020-08-11 Silicon Storage Technology, Inc. Precision tuning for the programming of analog neural memory in a deep learning artificial neural network
US11449268B2 (en) * 2018-11-20 2022-09-20 Samsung Electronics Co., Ltd. Deep solid state device (deep-SSD): a neural network based persistent data storage
CN109558032B (zh) * 2018-12-05 2020-09-04 北京三快在线科技有限公司 操作处理方法、装置以及计算机设备
US11133059B2 (en) 2018-12-06 2021-09-28 Western Digital Technologies, Inc. Non-volatile memory die with deep learning neural network
US11409352B2 (en) 2019-01-18 2022-08-09 Silicon Storage Technology, Inc. Power management for an analog neural memory in a deep learning artificial neural network
US11893478B2 (en) 2019-01-18 2024-02-06 Silicon Storage Technology, Inc. Programmable output blocks for analog neural memory in a deep learning artificial neural network
US11023559B2 (en) 2019-01-25 2021-06-01 Microsemi Soc Corp. Apparatus and method for combining analog neural net with FPGA routing in a monolithic integrated circuit
KR102350213B1 (ko) * 2019-01-29 2022-01-11 실리콘 스토리지 테크놀로지 인크 4-게이트 비휘발성 메모리 셀들의 어레이를 사용하는 신경 네트워크 분류기
US11586898B2 (en) * 2019-01-29 2023-02-21 Silicon Storage Technology, Inc. Precision programming circuit for analog neural memory in deep learning artificial neural network
US10720217B1 (en) * 2019-01-29 2020-07-21 Silicon Storage Technology, Inc. Memory device and method for varying program state separation based upon frequency of use
US10916306B2 (en) 2019-03-07 2021-02-09 Western Digital Technologies, Inc. Burst mode operation conditioning for a memory device
US10896726B2 (en) * 2019-04-02 2021-01-19 Junsung KIM Method for reading a cross-point type memory array comprising a two-terminal switching material
US11423979B2 (en) * 2019-04-29 2022-08-23 Silicon Storage Technology, Inc. Decoding system and physical layout for analog neural memory in deep learning artificial neural network
US20200349422A1 (en) 2019-05-02 2020-11-05 Silicon Storage Technology, Inc. Output array neuron conversion and calibration for analog neural memory in deep learning artificial neural network
US11080152B2 (en) 2019-05-15 2021-08-03 Western Digital Technologies, Inc. Optimized neural network data organization
US11081168B2 (en) * 2019-05-23 2021-08-03 Hefei Reliance Memory Limited Mixed digital-analog memory devices and circuits for secure storage and computing
US11501109B2 (en) 2019-06-20 2022-11-15 Western Digital Technologies, Inc. Non-volatile memory die with on-chip data augmentation components for use with machine learning
US11520521B2 (en) 2019-06-20 2022-12-06 Western Digital Technologies, Inc. Storage controller having data augmentation components for use with non-volatile memory die
US20200410319A1 (en) * 2019-06-26 2020-12-31 Micron Technology, Inc. Stacked artificial neural networks
US11393546B2 (en) 2019-07-19 2022-07-19 Silicon Storage Technology, Inc. Testing circuitry and methods for analog neural memory in artificial neural network
US11449741B2 (en) 2019-07-19 2022-09-20 Silicon Storage Technology, Inc. Testing circuitry and methods for analog neural memory in artificial neural network
KR102448396B1 (ko) * 2019-09-16 2022-09-27 포항공과대학교 산학협력단 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크
US11507816B2 (en) * 2019-09-19 2022-11-22 Silicon Storage Technology, Inc. Precision tuning for the programming of analog neural memory in a deep learning artificial neural network
KR102225558B1 (ko) 2019-10-14 2021-03-08 연세대학교 산학협력단 온칩 활성화 함수가 구현된 아날로그 신호 전달 기반의 멀티 레이어 연산 회로
US11755899B2 (en) 2019-11-11 2023-09-12 Silicon Storage Technology, Inc. Precise programming method and apparatus for analog neural memory in an artificial neural network
KR102434119B1 (ko) * 2019-12-03 2022-08-19 서울대학교산학협력단 시냅스 스트링 어레이를 이용한 신경망
KR102425869B1 (ko) * 2019-12-09 2022-07-28 광주과학기술원 씨모스에 기반하는 크로스바 어레이 딥러닝 가속기
KR20210075542A (ko) 2019-12-13 2021-06-23 삼성전자주식회사 스위칭 소자와 저항 소자를 포함하는 3차원 뉴로모픽 장치
KR102556249B1 (ko) * 2020-01-02 2023-07-14 서울대학교산학협력단 신경망을 위한 시냅스 스트링 어레이 아키텍처
US11636322B2 (en) 2020-01-03 2023-04-25 Silicon Storage Technology, Inc. Precise data tuning method and apparatus for analog neural memory in an artificial neural network
US11393535B2 (en) 2020-02-26 2022-07-19 Silicon Storage Technology, Inc. Ultra-precise tuning of analog neural memory cells in a deep learning artificial neural network
US11600321B2 (en) 2020-03-05 2023-03-07 Silicon Storage Technology, Inc. Analog neural memory array storing synapsis weights in differential cell pairs in artificial neural network
US11532354B2 (en) 2020-03-22 2022-12-20 Silicon Storage Technology, Inc. Precision tuning of a page or word of non-volatile memory cells and associated high voltage circuits for an analog neural memory array in an artificial neural network
JP7475080B2 (ja) 2020-04-01 2024-04-26 義憲 岡島 曖昧検索回路
US11521085B2 (en) 2020-04-07 2022-12-06 International Business Machines Corporation Neural network weight distribution from a grid of memory elements
US20210350217A1 (en) 2020-05-10 2021-11-11 Silicon Storage Technology, Inc. Analog neural memory array in artificial neural network with source line pulldown mechanism
US11682459B2 (en) 2020-05-13 2023-06-20 Silicon Storage Technology, Inc. Analog neural memory array in artificial neural network comprising logical cells and improved programming mechanism
US11289164B2 (en) 2020-06-03 2022-03-29 Silicon Storage Technology, Inc. Word line and control gate line tandem decoder for analog neural memory in deep learning artificial neural network
US11507835B2 (en) 2020-06-08 2022-11-22 Western Digital Technologies, Inc. Neural network data updates using in-place bit-addressable writes within storage class memory
KR102318819B1 (ko) * 2020-06-10 2021-10-27 연세대학교 산학협력단 멀티 비트 가중치의 연산을 위한 인 메모리 장치
US11309042B2 (en) * 2020-06-29 2022-04-19 Silicon Storage Technology, Inc. Method of improving read current stability in analog non-volatile memory by program adjustment for memory cells exhibiting random telegraph noise
US11875852B2 (en) 2020-07-06 2024-01-16 Silicon Storage Technology, Inc. Adaptive bias decoder to provide a voltage to a control gate line in an analog neural memory array in artificial neural network
US20220067499A1 (en) 2020-08-25 2022-03-03 Silicon Storage Technology, Inc. Concurrent write and verify operations in an analog neural memory
JP7458960B2 (ja) 2020-11-10 2024-04-01 ルネサスエレクトロニクス株式会社 半導体装置
US11914973B2 (en) 2020-11-19 2024-02-27 Apple Inc. Performing multiple bit computation and convolution in memory
WO2022182378A1 (en) 2021-02-25 2022-09-01 Silicon Storage Technology, Inc. Precise data tuning method and apparatus for analog neural memory in an artificial neural network
JP2024518884A (ja) * 2021-05-18 2024-05-08 シリコン ストーリッジ テクノロージー インコーポレイテッド 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のスプリットアレイアーキテクチャ
US20220392543A1 (en) * 2021-06-02 2022-12-08 Silicon Storage Technology, Inc. Method of improving read current stability in analog non-volatile memory by post-program tuning for memory cells exhibiting random telegraph noise
KR20240029074A (ko) 2021-07-05 2024-03-05 실리콘 스토리지 테크놀로지 인크 딥 러닝 인공 신경망에서의 아날로그 신경 메모리를 위한 프로그램 가능 출력 블록
US11989440B2 (en) 2021-08-11 2024-05-21 Silicon Storage Technology, Inc. Hybrid memory system configurable to store neural memory weight data in analog form or digital form
WO2023146567A1 (en) 2022-01-28 2023-08-03 Silicon Storage Technology, Inc. Artificial neural network comprising an analog array and a digital array
WO2023154075A1 (en) 2022-02-08 2023-08-17 Silicon Storage Technology, Inc. Calibration of electrical parameters in a deep learning artificial neural network
US20230306246A1 (en) 2022-02-08 2023-09-28 Silicon Storage Technology, Inc. Calibration of electrical parameters in a deep learning artificial neural network
WO2023196001A1 (en) 2022-04-06 2023-10-12 Silicon Storage Technology, Inc. Artificial neural network comprising a three-dimensional integrated circuit
WO2023196000A1 (en) 2022-04-07 2023-10-12 Silicon Storage Technology, Inc. Vector-by-matrix-multiplication array utilizing analog inputs
WO2023195999A1 (en) 2022-04-07 2023-10-12 Silicon Storage Technology, Inc. Artificial neural network comprising reference array for i-v slope configuration
WO2023196002A1 (en) 2022-04-07 2023-10-12 Silicon Storage Technology, Inc. Vector-by-matrix-multiplication array utilizing analog outputs
US20240112729A1 (en) 2022-09-22 2024-04-04 Silicon Storage Technology, Inc. Multiple Row Programming Operation In Artificial Neural Network Array
US20240112003A1 (en) 2022-09-22 2024-04-04 Silicon Storage Technology, Inc. Output circuit for artificial neural network array
WO2024063793A1 (en) 2022-09-22 2024-03-28 Silicon Storage Technology, Inc. Input circuit for artificial neural network array
WO2024063792A1 (en) 2022-09-22 2024-03-28 Silicon Storage Technology, Inc. Verification method and system in artificial neural network array

Family Cites Families (139)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2603414B1 (fr) 1986-08-29 1988-10-28 Bull Sa Amplificateur de lecture
JPH06103782B2 (ja) 1987-04-17 1994-12-14 日本シイエムケイ株式会社 プリント配線板
JPS63261874A (ja) * 1987-04-20 1988-10-28 Nippon Telegr & Teleph Corp <Ntt> 半導体集積回路
US5055897A (en) * 1988-07-27 1991-10-08 Intel Corporation Semiconductor cell for neural network and the like
US4904881A (en) 1989-02-10 1990-02-27 Intel Corporation EXCLUSIVE-OR cell for neural network and the like
JP3122756B2 (ja) 1991-01-12 2001-01-09 直 柴田 半導体装置
US5621336A (en) 1989-06-02 1997-04-15 Shibata; Tadashi Neuron circuit
JPH0318985A (ja) 1989-06-16 1991-01-28 Hitachi Ltd 情報処理装置
US4961002A (en) 1989-07-13 1990-10-02 Intel Corporation Synapse cell employing dual gate transistor structure
US5028810A (en) 1989-07-13 1991-07-02 Intel Corporation Four quadrant synapse cell employing single column summing line
GB2236881B (en) * 1989-10-11 1994-01-12 Intel Corp Improved synapse cell employing dual gate transistor structure
KR920010344B1 (ko) * 1989-12-29 1992-11-27 삼성전자주식회사 반도체 메모리 어레이의 구성방법
US5242848A (en) * 1990-01-22 1993-09-07 Silicon Storage Technology, Inc. Self-aligned method of making a split gate single transistor non-volatile electrically alterable semiconductor memory device
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
EP0484522A1 (en) * 1990-05-22 1992-05-13 International Business Machines Corporation Pyramid learning architecture neurocomputer
US5150450A (en) 1990-10-01 1992-09-22 The United States Of America As Represented By The Secretary Of The Navy Method and circuits for neuron perturbation in artificial neural network memory modification
US5146602A (en) * 1990-12-26 1992-09-08 Intel Corporation Method of increasing the accuracy of an analog neural network and the like
US5138576A (en) 1991-11-06 1992-08-11 Altera Corporation Method and apparatus for erasing an array of electrically erasable EPROM cells
US7071060B1 (en) 1996-02-28 2006-07-04 Sandisk Corporation EEPROM with split gate source side infection with sidewall spacers
DE69319162T2 (de) 1992-03-26 1999-03-25 Hitachi Ltd Flash-Speicher
US5336936A (en) 1992-05-06 1994-08-09 Synaptics, Incorporated One-transistor adaptable analog storage element and array
US5264734A (en) 1992-05-19 1993-11-23 Intel Corporation Difference calculating neural network utilizing switched capacitors
US5256911A (en) 1992-06-10 1993-10-26 Intel Corporation Neural network with multiplexed snyaptic processing
US5298796A (en) 1992-07-08 1994-03-29 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Nonvolatile programmable neural network synaptic array
US5386132A (en) 1992-11-02 1995-01-31 Wong; Chun C. D. Multimedia storage system with highly compact memory device
JP2835272B2 (ja) 1993-12-21 1998-12-14 株式会社東芝 半導体記憶装置
US5422846A (en) * 1994-04-04 1995-06-06 Motorola Inc. Nonvolatile memory having overerase protection
US5583808A (en) * 1994-09-16 1996-12-10 National Semiconductor Corporation EPROM array segmented for high performance and method for controlling same
KR0151623B1 (ko) 1994-12-07 1998-10-01 문정환 이이피롬 셀 및 그 제조방법
US6965142B2 (en) 1995-03-07 2005-11-15 Impinj, Inc. Floating-gate semiconductor structures
US5825063A (en) 1995-03-07 1998-10-20 California Institute Of Technology Three-terminal silicon synaptic device
US5990512A (en) 1995-03-07 1999-11-23 California Institute Of Technology Hole impact ionization mechanism of hot electron injection and four-terminal ρFET semiconductor structure for long-term learning
US5554874A (en) 1995-06-05 1996-09-10 Quantum Effect Design, Inc. Six-transistor cell with wide bit-line pitch, double words lines, and bit-line contact shared among four cells
US5721702A (en) 1995-08-01 1998-02-24 Micron Quantum Devices, Inc. Reference voltage generator using flash memory cells
US5966332A (en) 1995-11-29 1999-10-12 Sanyo Electric Co., Ltd. Floating gate memory cell array allowing cell-by-cell erasure
DE69528386T2 (de) 1995-12-01 2004-07-22 Qinetiq Ltd. Abbildungssystem
US5748534A (en) 1996-03-26 1998-05-05 Invox Technology Feedback loop for reading threshold voltage
TW420806B (en) * 1998-03-06 2001-02-01 Sanyo Electric Co Non-volatile semiconductor memory device
US6389404B1 (en) * 1998-12-30 2002-05-14 Irvine Sensors Corporation Neural processing module with input architectures that make maximal use of a weighted synapse array
US6222777B1 (en) 1999-04-09 2001-04-24 Sun Microsystems, Inc. Output circuit for alternating multiple bit line per column memory architecture
US6232180B1 (en) 1999-07-02 2001-05-15 Taiwan Semiconductor Manufacturing Corporation Split gate flash memory cell
US6258668B1 (en) * 1999-11-24 2001-07-10 Aplus Flash Technology, Inc. Array architecture and process flow of nonvolatile memory devices for mass storage applications
US6282119B1 (en) * 2000-06-02 2001-08-28 Winbond Electronics Corporation Mixed program and sense architecture using dual-step voltage scheme in multi-level data storage in flash memories
US6829598B2 (en) 2000-10-02 2004-12-07 Texas Instruments Incorporated Method and apparatus for modeling a neural synapse function by utilizing a single conventional MOSFET
US6563167B2 (en) 2001-01-05 2003-05-13 Silicon Storage Technology, Inc. Semiconductor memory array of floating gate memory cells with floating gates having multiple sharp edges
US6563733B2 (en) 2001-05-24 2003-05-13 Winbond Electronics Corporation Memory array architectures based on a triple-polysilicon source-side injection non-volatile memory cell
KR100983295B1 (ko) 2002-03-22 2010-09-24 조지아 테크 리서치 코오포레이션 부동 게이트 아날로그 회로
US6747310B2 (en) * 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
US6898129B2 (en) * 2002-10-25 2005-05-24 Freescale Semiconductor, Inc. Erase of a memory having a non-conductive storage medium
JP2004171686A (ja) 2002-11-20 2004-06-17 Renesas Technology Corp 不揮発性半導体記憶装置およびそのデータ消去方法
JP4601287B2 (ja) 2002-12-26 2010-12-22 ルネサスエレクトロニクス株式会社 不揮発性半導体記憶装置
US6822910B2 (en) 2002-12-29 2004-11-23 Macronix International Co., Ltd. Non-volatile memory and operating method thereof
US6781186B1 (en) 2003-01-30 2004-08-24 Silicon-Based Technology Corp. Stack-gate flash cell structure having a high coupling ratio and its contactless flash memory arrays
US6856551B2 (en) 2003-02-06 2005-02-15 Sandisk Corporation System and method for programming cells in non-volatile integrated memory devices
US6946894B2 (en) * 2003-06-12 2005-09-20 Winbond Electronics Corporation Current-mode synapse multiplier circuit
EP1676197B1 (en) * 2003-10-16 2012-01-18 Canon Kabushiki Kaisha Operation circuit and operation control method thereof
TWI220560B (en) 2003-10-27 2004-08-21 Powerchip Semiconductor Corp NAND flash memory cell architecture, NAND flash memory cell array, manufacturing method and operating method of the same
US7315056B2 (en) 2004-06-07 2008-01-01 Silicon Storage Technology, Inc. Semiconductor memory array of floating gate memory cells with program/erase and select gates
US7092290B2 (en) 2004-11-16 2006-08-15 Sandisk Corporation High speed programming system with reduced over programming
TWI270199B (en) 2005-01-31 2007-01-01 Powerchip Semiconductor Corp Non-volatile memory and manufacturing method and operating method thereof
US8443169B2 (en) * 2005-03-28 2013-05-14 Gerald George Pechanek Interconnection network connecting operation-configurable nodes according to one or more levels of adjacency in multiple dimensions of communication in a multi-processor and a neural processor
US7304890B2 (en) 2005-12-13 2007-12-04 Atmel Corporation Double byte select high voltage line for EEPROM memory block
JP4364227B2 (ja) * 2006-09-29 2009-11-11 株式会社東芝 半導体記憶装置
US7626868B1 (en) 2007-05-04 2009-12-01 Flashsilicon, Incorporation Level verification and adjustment for multi-level cell (MLC) non-volatile memory (NVM)
KR100910869B1 (ko) 2007-06-08 2009-08-06 주식회사 하이닉스반도체 테스트시 필요한 채널의 갯수를 줄인 반도체 메모리장치
US7733262B2 (en) 2007-06-15 2010-06-08 Micron Technology, Inc. Quantizing circuits with variable reference signals
US7630246B2 (en) 2007-06-18 2009-12-08 Micron Technology, Inc. Programming rate identification and control in a solid state memory
US20090039410A1 (en) 2007-08-06 2009-02-12 Xian Liu Split Gate Non-Volatile Flash Memory Cell Having A Floating Gate, Control Gate, Select Gate And An Erase Gate With An Overhang Over The Floating Gate, Array And Method Of Manufacturing
US8320191B2 (en) * 2007-08-30 2012-11-27 Infineon Technologies Ag Memory cell arrangement, method for controlling a memory cell, memory array and electronic device
JP2009080892A (ja) * 2007-09-26 2009-04-16 Toshiba Corp 半導体記憶装置
US7567457B2 (en) * 2007-10-30 2009-07-28 Spansion Llc Nonvolatile memory array architecture
US7894267B2 (en) 2007-10-30 2011-02-22 Spansion Llc Deterministic programming algorithm that provides tighter cell distributions with a reduced number of programming pulses
US7916551B2 (en) * 2007-11-06 2011-03-29 Macronix International Co., Ltd. Method of programming cell in memory and memory apparatus utilizing the method
US7746698B2 (en) * 2007-12-13 2010-06-29 Spansion Llc Programming in memory devices using source bitline voltage bias
KR20090075062A (ko) * 2008-01-03 2009-07-08 삼성전자주식회사 플로팅 바디 트랜지스터를 이용한 동적 메모리 셀을구비하는 메모리 셀 어레이를 구비하는 반도체 메모리 장치
JP4513865B2 (ja) * 2008-01-25 2010-07-28 セイコーエプソン株式会社 並列演算装置および並列演算方法
JP5092938B2 (ja) * 2008-06-30 2012-12-05 富士通セミコンダクター株式会社 半導体記憶装置及びその駆動方法
JP2010267341A (ja) * 2009-05-15 2010-11-25 Renesas Electronics Corp 半導体装置
US20100332812A1 (en) * 2009-06-24 2010-12-30 Doug Burger Method, system and computer-accessible medium for low-power branch prediction
US8204927B1 (en) * 2010-03-15 2012-06-19 California Institute Of Technology System and method for cognitive processing for data fusion
JP5300773B2 (ja) 2010-03-29 2013-09-25 ルネサスエレクトロニクス株式会社 不揮発性半導体記憶装置
US9665822B2 (en) 2010-06-30 2017-05-30 International Business Machines Corporation Canonical spiking neuron network for spatiotemporal associative memory
US8325521B2 (en) 2010-10-08 2012-12-04 Taiwan Semiconductor Manufacturing Company, Ltd. Structure and inhibited operation of flash memory with split gate
US8473439B2 (en) 2010-12-08 2013-06-25 International Business Machines Corporation Integrate and fire electronic neurons
US8892487B2 (en) 2010-12-30 2014-11-18 International Business Machines Corporation Electronic synapses for reinforcement learning
JP2012160244A (ja) * 2011-02-02 2012-08-23 Lapis Semiconductor Co Ltd 半導体不揮発性メモリ
JP2013041654A (ja) 2011-08-19 2013-02-28 Toshiba Corp 不揮発性記憶装置
US8909576B2 (en) * 2011-09-16 2014-12-09 International Business Machines Corporation Neuromorphic event-driven neural computing architecture in a scalable neural network
US8760955B2 (en) 2011-10-21 2014-06-24 Taiwan Semiconductor Manufacturing Company, Ltd. Electrical fuse memory arrays
US9443471B2 (en) * 2012-07-31 2016-09-13 Sharp Kabushiki Kaisha Display device and driving method thereof
US9466732B2 (en) 2012-08-23 2016-10-11 Silicon Storage Technology, Inc. Split-gate memory cell with depletion-mode floating gate channel, and method of making same
US9153230B2 (en) * 2012-10-23 2015-10-06 Google Inc. Mobile speech recognition hardware accelerator
CN103000218A (zh) 2012-11-20 2013-03-27 上海宏力半导体制造有限公司 存储器电路
US9275748B2 (en) 2013-03-14 2016-03-01 Silicon Storage Technology, Inc. Low leakage, low threshold voltage, split-gate flash cell operation
JP5659361B1 (ja) 2013-07-04 2015-01-28 パナソニックＩｐマネジメント株式会社 ニューラルネットワーク回路、およびその学習方法
US10055434B2 (en) * 2013-10-16 2018-08-21 University Of Tennessee Research Foundation Method and apparatus for providing random selection and long-term potentiation and depression in an artificial network
US9025386B1 (en) * 2013-11-20 2015-05-05 International Business Machines Corporation Embedded charge trap multi-time-programmable-read-only-memory for high performance logic technology
US9146886B2 (en) * 2014-01-06 2015-09-29 International Business Machines Corporation Deterministic message processing in a direct memory access adapter
US20150213898A1 (en) 2014-01-27 2015-07-30 Silicon Storage Technololgy, Inc. Byte Erasable Non-volatile Memory Architecture And Method Of Erasing Same
US20150324691A1 (en) 2014-05-07 2015-11-12 Seagate Technology Llc Neural network connections using nonvolatile memory devices
US9286982B2 (en) 2014-08-08 2016-03-15 Silicon Storage Technology, Inc. Flash memory system with EEPROM functionality
US9760533B2 (en) * 2014-08-14 2017-09-12 The Regents On The University Of Michigan Floating-gate transistor array for performing weighted sum computation
US9984754B2 (en) 2014-09-29 2018-05-29 Toshiba Memory Corporation Memory device and method for operating the same
US10312248B2 (en) 2014-11-12 2019-06-04 Silicon Storage Technology, Inc. Virtual ground non-volatile memory array
US9361991B1 (en) 2014-12-23 2016-06-07 Sandisk Technologies Inc. Efficient scanning of nonvolatile memory blocks
CN104615909B (zh) 2015-02-02 2018-02-13 天津大学 基于FPGA的Izhikevich神经元网络同步放电仿真平台
CN105990367B (zh) 2015-02-27 2019-03-12 硅存储技术公司 具有rom单元的非易失性存储器单元阵列
US10474948B2 (en) * 2015-03-27 2019-11-12 University Of Dayton Analog neuromorphic circuit implemented using resistive memories
US9659604B1 (en) * 2015-12-07 2017-05-23 Globalfoundries Inc. Dual-bit 3-T high density MTPROM array
US10698975B2 (en) 2016-01-27 2020-06-30 Hewlett Packard Enterprise Development Lp In situ transposition
US20170330070A1 (en) 2016-02-28 2017-11-16 Purdue Research Foundation Spin orbit torque based electronic neuron
JP6716022B2 (ja) 2016-05-17 2020-07-01 シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． 個々のメモリセルが読み出し、プログラミング、及び消去される３ゲートフラッシュメモリセルアレイ
JP6833873B2 (ja) 2016-05-17 2021-02-24 シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． 不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器
US10269440B2 (en) 2016-05-17 2019-04-23 Silicon Storage Technology, Inc. Flash memory array with individual memory cell read, program and erase
CN107425003B (zh) 2016-05-18 2020-07-14 硅存储技术公司 制造分裂栅非易失性闪存单元的方法
US9910827B2 (en) 2016-07-01 2018-03-06 Hewlett Packard Enterprise Development Lp Vector-matrix multiplications involving negative values
US10346347B2 (en) 2016-10-03 2019-07-09 The Regents Of The University Of Michigan Field-programmable crossbar array for reconfigurable computing
US20180131946A1 (en) * 2016-11-07 2018-05-10 Electronics And Telecommunications Research Institute Convolution neural network system and method for compressing synapse data of convolution neural network
WO2018106969A1 (en) 2016-12-09 2018-06-14 Hsu Fu Chang Three-dimensional neural network array
US10860923B2 (en) 2016-12-20 2020-12-08 Samsung Electronics Co., Ltd. High-density neuromorphic computing element
KR20180073118A (ko) * 2016-12-22 2018-07-02 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
WO2018153866A1 (en) 2017-02-24 2018-08-30 Asml Netherlands B.V. Methods of determining process models by machine learning
US10748059B2 (en) 2017-04-05 2020-08-18 International Business Machines Corporation Architecture for an electrochemical artificial neural network
KR20200010496A (ko) 2017-05-26 2020-01-30 에이에스엠엘 네델란즈 비.브이. 기계 학습에 기초한 어시스트 피처 배치
US10482929B2 (en) 2017-07-13 2019-11-19 Qualcomm Incorporated Non-volative (NV) memory (NVM) matrix circuits employing NVM matrix circuits for performing matrix computations
US10460817B2 (en) 2017-07-13 2019-10-29 Qualcomm Incorporated Multiple (multi-) level cell (MLC) non-volatile (NV) memory (NVM) matrix circuits for performing matrix computations with multi-bit input vectors
US10580492B2 (en) 2017-09-15 2020-03-03 Silicon Storage Technology, Inc. System and method for implementing configurable convoluted neural networks with flash memories
CN109522753B (zh) 2017-09-18 2020-11-06 清华大学 电路结构及其驱动方法、芯片及其认证方法、电子设备
US10303998B2 (en) 2017-09-28 2019-05-28 International Business Machines Corporation Floating gate for neural network inference
US11354562B2 (en) 2018-01-03 2022-06-07 Silicon Storage Technology, Inc. Programmable neuron for analog non-volatile memory in deep learning artificial neural network
US10552510B2 (en) 2018-01-11 2020-02-04 Mentium Technologies Inc. Vector-by-matrix multiplier modules based on non-volatile 2D and 3D memory arrays
US10740181B2 (en) 2018-03-06 2020-08-11 Western Digital Technologies, Inc. Failed storage device rebuild method
US10496374B2 (en) 2018-03-22 2019-12-03 Hewlett Packard Enterprise Development Lp Crossbar array operations using ALU modified signals
US10217512B1 (en) 2018-05-15 2019-02-26 International Business Machines Corporation Unit cell with floating gate MOSFET for analog memory
US10692570B2 (en) 2018-07-11 2020-06-23 Sandisk Technologies Llc Neural network matrix multiplication in memory cells
US11061646B2 (en) 2018-09-28 2021-07-13 Intel Corporation Compute in memory circuits with multi-Vdd arrays and/or analog multipliers
US10891222B2 (en) 2018-12-24 2021-01-12 Macronix International Co., Ltd. Memory storage device and operation method thereof for implementing inner product operation
US11270763B2 (en) 2019-01-18 2022-03-08 Silicon Storage Technology, Inc. Neural network classifier using array of three-gate non-volatile memory cells
US10741611B1 (en) 2019-02-11 2020-08-11 International Business Machines Corporation Resistive processing units with complementary metal-oxide-semiconductor non-volatile analog memory

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI659428B (zh) * 2018-01-12 2019-05-11 中原大學 運用非揮發性記憶體執行類神經網絡前饋與遞迴運算之方法
US10957392B2 (en) 2018-01-17 2021-03-23 Macronix International Co., Ltd. 2D and 3D sum-of-products array for neuromorphic computing system
TWI751403B (zh) * 2018-01-23 2022-01-01 美商安納富來希股份有限公司 具有非揮發性突觸陣列的神經網路電路及神經晶片
TWI696126B (zh) * 2018-02-13 2020-06-11 旺宏電子股份有限公司 用於類神經計算機系統的記憶體裝置結構及其製造方法
TWI810613B (zh) * 2018-03-14 2023-08-01 美商超捷公司 用於程式化深度學習人工類神經網路中的類比神經記憶體之設備
TWI787099B (zh) * 2018-05-01 2022-12-11 美商超捷公司 用於在深度學習人工類神經網路中的類比類神經記憶體之高電壓產生之方法及設備
US11138497B2 (en) 2018-07-17 2021-10-05 Macronix International Co., Ltd In-memory computing devices for neural networks
TWI754162B (zh) * 2018-08-27 2022-02-01 美商超捷公司 類比神經形態記憶體系統及在類比神經形態記憶體系統中執行溫度補償之方法
US11636325B2 (en) 2018-10-24 2023-04-25 Macronix International Co., Ltd. In-memory data pooling for machine learning
US11562229B2 (en) 2018-11-30 2023-01-24 Macronix International Co., Ltd. Convolution accelerator using in-memory computation
US11934480B2 (en) 2018-12-18 2024-03-19 Macronix International Co., Ltd. NAND block architecture for in-memory multiply-and-accumulate operations
TWI737079B (zh) * 2019-01-18 2021-08-21 美商超捷公司 使用雙閘極非揮發性記憶體單元陣列之神經網路分類器
TWI719757B (zh) * 2019-01-18 2021-02-21 美商超捷公司 使用3-閘極非揮發性記憶體單元陣列之神經網路分類器
US11119674B2 (en) 2019-02-19 2021-09-14 Macronix International Co., Ltd. Memory devices and methods for operating the same
US11132176B2 (en) 2019-03-20 2021-09-28 Macronix International Co., Ltd. Non-volatile computing method in flash memory
TWI720524B (zh) * 2019-03-20 2021-03-01 旺宏電子股份有限公司 用於執行記憶體內乘法與累加函數的方法及電路

Also Published As

Publication number Publication date
US11853856B2 (en) 2023-12-26
US20210232893A1 (en) 2021-07-29
US20230206026A1 (en) 2023-06-29
US11829859B2 (en) 2023-11-28
WO2017200883A1 (en) 2017-11-23
US20230229888A1 (en) 2023-07-20
KR102182583B1 (ko) 2020-11-24
US20170337466A1 (en) 2017-11-23
US20210287065A1 (en) 2021-09-16
US20200151543A1 (en) 2020-05-14
JP6833873B2 (ja) 2021-02-24
US11790208B2 (en) 2023-10-17
JP2019517138A (ja) 2019-06-20
US11972795B2 (en) 2024-04-30
TWI631517B (zh) 2018-08-01
US11308383B2 (en) 2022-04-19
US20230259738A1 (en) 2023-08-17
US20220147794A1 (en) 2022-05-12
KR20190008912A (ko) 2019-01-25
US20230229887A1 (en) 2023-07-20
US20230252265A1 (en) 2023-08-10

Similar Documents

Publication Publication Date Title
US11790208B2 (en) Output circuitry for non-volatile memory array in neural network
KR102331445B1 (ko) 인공 신경망에서의 아날로그 뉴로모픽 메모리를 위한 고정밀 및 고효율 튜닝 메커니즘 및 알고리즘
KR102307675B1 (ko) 플래시 메모리를 갖는 구성가능 컨볼루션형 신경망을 구현하기 위한 시스템 및 방법
KR102607529B1 (ko) 3-게이트 비휘발성 메모리 셀들의 어레이를 사용한 신경 네트워크 분류기
CN109196528B (zh) 使用非易失性存储器阵列的深入学习神经网络分类器
JP2022519041A (ja) スタックゲート不揮発性メモリセルのアレイを使用するニューラルネットワーク分類子
KR102350213B1 (ko) 4-게이트 비휘발성 메모리 셀들의 어레이를 사용하는 신경 네트워크 분류기
JP7492042B2 (ja) 人工ニューラルネットワーク内のアナログニューロモーフィックメモリのための高精度かつ高効率な調整機構及びアルゴリズム