TWI780415B - 用於深度學習人工神經網路中之類比神經記憶體的解碼系統與實體佈局 - Google Patents

用於深度學習人工神經網路中之類比神經記憶體的解碼系統與實體佈局 Download PDF

Info

Publication number
TWI780415B
TWI780415B TW109108295A TW109108295A TWI780415B TW I780415 B TWI780415 B TW I780415B TW 109108295 A TW109108295 A TW 109108295A TW 109108295 A TW109108295 A TW 109108295A TW I780415 B TWI780415 B TW I780415B
Authority
TW
Taiwan
Prior art keywords
memory cells
array
lines
control gate
volatile memory
Prior art date
Application number
TW109108295A
Other languages
English (en)
Other versions
TW202107304A (zh
Inventor
曉萬 陳
順 武
史丹利 洪
史蒂芬 Ｔ 鄭
英 李
漢 陳
卡 阮
賢 范
Original Assignee
美商超捷公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商超捷公司 filed Critical 美商超捷公司
Publication of TW202107304A publication Critical patent/TW202107304A/zh
Application granted granted Critical
Publication of TWI780415B publication Critical patent/TWI780415B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/56—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency
    • G11C11/5621—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency using charge storage in a floating gate
    • G11C11/5642—Sensing or reading circuits; Data output circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/02—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using magnetic elements
    • G11C11/16—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using magnetic elements using elements in which the storage effect is based on magnetic spin effect
    • G11C11/165—Auxiliary circuits
    • G11C11/1653—Address circuits or decoders
    • G11C11/1655—Bit-line or column circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/02—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using magnetic elements
    • G11C11/16—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using magnetic elements using elements in which the storage effect is based on magnetic spin effect
    • G11C11/165—Auxiliary circuits
    • G11C11/1653—Address circuits or decoders
    • G11C11/1657—Word-line or row circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/21—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements
    • G11C11/34—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices
    • G11C11/40—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors
    • G11C11/401—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors forming cells needing refreshing or charge regeneration, i.e. dynamic cells
    • G11C11/4063—Auxiliary circuits, e.g. for addressing, decoding, driving, writing, sensing or timing
    • G11C11/407—Auxiliary circuits, e.g. for addressing, decoding, driving, writing, sensing or timing for memory cells of the field-effect type
    • G11C11/4074—Power supply or voltage generation circuits, e.g. bias voltage generators, substrate voltage generators, back-up power, power control circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G11C16/0425—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing a merged floating gate and select transistor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G11C16/0433—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing a single floating gate transistor and one or more separate select transistors
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0483—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells having several storage transistors connected in series
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/08—Address circuits; Decoders; Word-line control circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/24—Bit-line control circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/26—Sensing or reading circuits; Data output circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/30—Power supply circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C27/00—Electric analogue stores, e.g. for storing instantaneous values
    • G11C27/005—Electric analogue stores, e.g. for storing instantaneous values with non-volatile charge storage, e.g. on floating gate or MNOS
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1006—Data managing, e.g. manipulating data before writing or reading out, data bus switches or control circuits therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Non-Volatile Memory (AREA)
  • Read Only Memory (AREA)
  • Analogue/Digital Conversion (AREA)
  • Semiconductor Memories (AREA)
  • Complex Calculations (AREA)
  • Memory System (AREA)

Abstract

揭露字元線解碼器、控制閘極解碼器、位元線解碼器、低電壓列解碼器及高電壓列解碼器的各種具體例以及用於類比神經系統中之非揮發性快閃記憶體陣列的各種類型之實體佈局設計。揭露高電壓列解碼器的共享及分段具體例。

Description

用於深度學習人工神經網路中之類比神經記憶體的解碼系統與實體佈局
[優先權請求]本申請案主張2019年4月29日所提出之名稱為「用於深度學習人工神經網路中之類比神經記憶體的解碼系統與實體佈局」的美國臨時專利申請案第62/840,318號及2019年7月3日所提出之名稱為「用於深度學習人工神經網路中之類比神經記憶體的解碼系統與實體佈局」的美國專利申請案第16/503,355號之優先權。
揭露用於利用非揮發性記憶體單元的類比神經記憶體系統之改良解碼系統與實體佈局。
人工神經網路係模擬生物神經網路(動物的中樞神經系統，特別是大腦)且係用於估計或近似可依賴於大量輸入且通常是未知的函數。人工神經網路通常包括可彼此交換信息之互連的「神經元」層。
圖1說明人工神經網路，其中圓圈表示神經元輸入或層。連結(稱為突觸)以箭頭來表示，並且具有可根據經驗調整的數字權重。這使得神經網路適應於輸入且能夠學習。通常，神經網路包括一層多個輸入。通常有一個或多個神經元中間層及提供神經網路輸出的一個神經元輸出層。每個層級的神經元個別地或共同地根據從突觸接收的資料做出決定。
開發用於高性能資訊處理之人工神經網路的主要挑戰中之一是缺乏足夠的硬體技術。實際上，實際的神經網路依賴於非常大量的突觸，以使神經元之間的高連結性(亦即，非常高的計算並行性)成為可能。原則上，這樣的複雜性可以用數位超級電腦或專用圖形處理單元叢集來實現。然而，除了高成本之外，相較於生物網路，這些方法還因平庸的能量效率而更糟，其中生物網路消耗非常少的能量，主要是因為它們執行低精度類比計算。CMOS類比電路已經用於人工神經網路，但是有鑑於所需之大量的神經元及突觸，大多數CMOS實施的突觸過於龐大。
申請人先前在美國專利申請案第15/594,439號(由美國專利公開第2017/0337466號所公開)中揭露一種人工(類比)神經網路，其利用一個或多個非揮發性記憶體陣列作為突觸，在此以提及方式將其併入本文。非揮發性記憶體陣列作為類比神經記憶體來操作。神經網路裝置包括複數個第一突觸，其配置成接收複數個第一輸入並由此產生複數個第一輸出；以及複數個第一神經元，其配置成接收複數個第一輸出。複數個第一突觸包括複數個記憶體單元，其中每個記憶體單元包括間隔開的源極及汲極區域，其形成在半導體基板中，並且具有通道區域在其間延伸；浮動閘極，其設置在通道區域的第一部分上方且與通道區域的第一部分絕緣；以及非浮動閘極，其設置在通道區域的第二部分上方且與通道區域的第二部分絕緣。複數個記憶體單元中之每一個配置成儲存與浮動閘極上之一些電子相對應的權重值。複數個記憶體單元配置成將複數個第一輸入乘以儲存的權重值，以產生複數個第一輸出。
必須抹除及程式化在類比神經記憶體系統中使用之每個非揮發性記憶體單元，以在浮動閘極中保持非常特定且精確的電荷量，亦即，電子數量。例如，每個浮動閘極必須保持N個不同數值中之一個，其中N是可以由每個單元表示之不同權重的數量。N的實例包括16、32、64、128及256。
向量矩陣乘法(VMM)系統的一個挑戰是選擇一個特定單元或單元組或在某些情況下選擇整個單元陣列來進行抹除、程式化及讀取操作的能力。 一個相關的挑戰是在不喪失功能之情況下改良半導體晶片內之實體空間的使用。
所需要的是用於利用非揮發性記憶體單元的類比神經記憶體系統之改良解碼系統與實體佈局。
揭露用於利用非揮發性記憶體單元的類比神經記憶體系統之改良解碼系統與實體佈局。
本發明的人工神經網路利用CMOS技術與非揮發性記憶體陣列的組合。 非揮發性記憶體單元
數位非揮發性記憶體係眾所周知的。例如，美國專利第5,029,130號(「'130專利」)揭露一種分離式閘極非揮發性記憶體單元(其為快閃記憶體單元類型)之陣列，並且在此以提及方式將其併入本文。這樣的記憶體單元210顯示在圖2中。每個記憶體單元210包括在半導體基板12中形成之源極區域14及汲極區域16，並且在其間具有通道區域18。浮動閘極20形成在通道區域18的第一部分上方且與其絕緣(並控制其導電性)，並且形成在源極區域14的一部分上方。字元線端子22(通常耦接至字元線)具有第一部分及第二部分，其中第一部分設置在通道區域18的第二部分上方且與其絕緣(並控制其導電性)，而第二部分向上延伸且在浮動閘極20上方。浮動閘極20及字元線端子22藉由閘極氧化物與基板12絕緣。位元線端子24耦接至汲極區域16。
藉由在字元線端子22上施加高正電壓來抹除記憶體單元210(其中從浮動閘極移除電子)，這導致浮動閘極20上的電子藉由富爾-諾罕穿隧(Fowler-Nordheim tunneling)從浮動閘極20隧穿中間絕緣體至字元線端子22。
藉由在字元線端子22上施加正電壓及在源極區域14上施加正電壓來程式化記憶體單元210(其中在浮動閘極上放置電子)。電子流將從源極區域14(源極線端子)流向汲極區域16。當電子到達字元線端子22與浮動閘極20之間的間隙時，電子將加速並變熱。由於來自浮動閘極20的靜電吸引力，一些加熱的電子將通過閘極氧化物注入至浮動閘極20上。
藉由在汲極區域16及字元線端子22上施加正讀取電壓(這會導通在字元線端子下方之通道區域18的部分)來讀取記憶體單元210。如果浮動閘極20帶正電(亦即，被抹除電子)，則浮動閘極20下方之通道區域18的部分亦導通，並且電流將流過通道區域18，因而被感測為抹除狀態或狀態「1」。如果浮動閘極20帶負電(亦即，用電子來程式化)，則浮動閘極20下方之通道區域的部分大部分或完全截止，並且電流不會流過(或者幾乎不流過)通道區域18，因而被感測為程式化狀態或狀態「0」。
表1描繪可以施加至記憶體單元210的端子以執行讀取、抹除及程式化操作的典型電壓範圍：表 1 ：圖 2 的快閃記憶體單元 210 之操作
   WL BL SL
讀取1 0.5-3V 0.1-2V 0V
讀取 2 0.5-3V 0-2V 2-0.1V
抹除 ~11-13V 0V 0V
程式化 1-2V 1-3µA 9-10V
「讀取1」係單元電流在位元線上輸出之讀取模式。「讀取2」係單元電流在源極線端子上輸出之讀取模式。
圖3顯示記憶體單元310，其相似於圖2的記憶體單元210，但是增加控制閘極(CG)端子28。在程式化中以例如10V的高電壓施加偏壓於控制閘極端子28，在抹除中以例如0V/-8V的低電壓或負電壓施加偏壓於控制閘極端子28，在讀取中以例如0V/2.5V的低電壓或中間範圍電壓施加偏壓於控制閘極端子28。其它端子相似於圖2來施加偏壓。
圖4描繪四-閘極記憶體單元410，其包括源極區域14、汲極區域16、在通道區域18的第一部分上方之浮動閘極20、在通道區域18的第二部分上方之選擇閘極22(通常耦接至字元線WL)、在浮動閘極20上方之控制閘極28以及在源極區域14上方之抹除閘極30。這種組態被描述在美國專利第6,747,310號中，為了各種目的以提及方式將其併入本文。這裡，除浮動閘極20外，所有其它閘極皆是非浮動閘極，這意味著它們電連接或可連接至電壓源。藉由將加熱的電子從通道區域18注入至浮動閘極20上來執行程式化。藉由電子從浮動閘極20隧穿至抹除閘極30來執行抹除。
表2描繪可以施加至記憶體單元410的端子以執行讀取、抹除及程式化操作的典型電壓範圍：表 2 ：圖 4 的快閃記憶體單元 410 之操作
   WL/SG BL CG EG SL
讀取1 0.5-2V 0.1-2V 0-2.6V 0-2.6V 0V
讀取2 0.5-2V 0-2V 0-2.6V 0-2.6V 2-0.1V
抹除 -0.5V/0V 0V 0V/-8V 8-12V 0V
程式化 1V 1µA 8-11V 4.5-9V 4.5-5V
「讀取1」係單元電流在位元線上輸出之讀取模式。「讀取2」係單元電流在源極線端子上輸出之讀取模式。
圖5顯示記憶體單元510，除記憶體單元510不包含抹除閘極EG端子外，其相似於圖4的記憶體單元410。藉由以高電壓施加偏壓於基板18及以低電壓或負電壓施加偏壓於控制閘極CG端子28來執行抹除。或者，藉由以正電壓施加偏壓於字元線端子22及以負電壓施加偏壓於控制閘極端子28來執行抹除。程式化及讀取與圖4相似。
圖6描繪三-閘極記憶體單元610，其為另一種類型的快閃記憶體單元。除記憶體單元610不具有單獨的控制閘極端子外，記憶體單元610與圖4的記憶體單元410相同。除沒有施加控制閘極偏壓外，抹除操作(藉由抹除閘極端子的使用來抹除)及讀取操作相似於圖4的操作。程式化操作亦在沒有控制閘極偏壓的情況下完成，結果，在程式化操作期間必須在源極線端子上施加較高電壓，以補償控制閘極偏壓的缺少。
表3描繪可以施加至記憶體單元610的端子以執行讀取、抹除及程式化操作的典型電壓範圍：表 3 ：圖 6 的快閃記憶體單元 610 之操作
   WL/SG BL EG SL
讀取1 0.5-2.2V 0.1-2V 0-2.6V 0V
讀取2 0.5-2.2V 0-2V 0-2.6V 2-0.1V
抹除 -0.5V/0V 0V 11.5V 0V
程式化 1V 2-3µA 4.5V 7-9V
「讀取1」係單元電流在位元線上輸出之讀取模式。「讀取2」係單元電流在源極線端子上輸出之讀取模式。
圖7描繪堆疊式閘極記憶體單元710，其為另一種類型的快閃記憶體單元。除浮動閘極20在整個通道區域18上方延伸及控制閘極端子22(在此將耦接至字元線)在浮動閘極20上方延伸且以絕緣層(未顯示)隔開外，記憶體單元710相似於圖2的記憶體單元210。抹除、程式化及讀取操作以與先前針對記憶體單元210所描述之方式相似的方式來進行。
表4描繪可以施加至記憶體單元710的端子及基板12以執行讀取、抹除及程式化操作的典型電壓範圍：表 4 ：圖 7 的快閃記憶體單元 710 之操作
   CG BL SL 基板
讀取 1 0-5V 0.1 – 2V 0-2V 0V
讀取2 0.5-2V 0-2V 2-0.1V 0V
抹除 -8 to -10V/0V FLT FLT 8-10V / 15-20V
程式化 8-12V 3-5V/0V 0V/3-5V 0V
「讀取1」係單元電流在位元線上輸出之讀取模式。「讀取2」係單元電流在源極線端子上輸出之讀取模式。任選地，在包括數列與數行的記憶體單元210、310、410、510、610或710之陣列中，源極線可以耦接至一列記憶體單元或兩列相鄰的記憶體單元。亦即，源極線端子可以由相鄰列的記憶體單元共用。
為了在人工神經網路中利用包括上述類型的非揮發性記憶體單元中之一的記憶體陣列，實施兩種修改。第一，如下面進一步說明，線路配置成使得每個記憶體單元可以個別地被程式化、抹除及讀取，而不會不利地影響陣列中之其它記憶體單元的記憶狀態。第二，提供記憶體單元的連續(類比)程式化。
具體地，陣列中之每個記憶體單元的記憶狀態(亦即，浮動閘極上的電荷)可以獨立地且以對其它記憶體單元的最小干擾從完全抹除狀態連續地變成完全程式化狀態。在另一個具體例中，陣列中之每個記憶體單元的記憶狀態(亦即，浮動閘極上的電荷)可以獨立地且以對其它記憶體單元的最小干擾從完全程式化狀態連續地變成完全抹除狀態，反之亦然。這意味著單元儲存係類比的，或者至少可以儲存許多離散值(例如，16或64個不同值)中之一個，這允許對記憶體陣列中之所有單元進行非常精確且個別的調整，並且這使記憶體陣列非常適合儲存神經網路的突觸權重及對其進行微調。
本文所述之方法及手段可以應用於其它非揮發性記憶體技術，例如，SONOS(矽-氧化物-氮化物-氧化物-矽，氮化物中的電荷捕捉)、MONOS(金屬-氧化物-氮化物-氧化物-矽，氮化物中的金屬電荷捕捉)、ReRAM(電阻式ram)、PCM(相變化記憶體)、MRAM(磁性ram)、FeRAM(鐵電ram)、OTP(雙層或多層一次性可程式)以及CeRAM(關聯電子ram) ， 但不限於此。本文描述的方法及手段可以應用於神經網路中使用之揮發性記憶體技術，例如，SRAM、DRAM及揮發性突觸單元，但不限於此。 使用非揮發性記憶體單元陣列的神經網路
圖8概念性地說明利用本具體例的非揮發性記憶體陣列之神經網路的非限制性實例。此實例將非揮發性記憶體陣列神經網路用於臉部辨識應用，但是可以使用以非揮發性記憶體陣列為基礎的神經網路來實施任何其它適當的應用。
S0係輸入層，對於這個實例，其為具有5位元精度的32×32像素RGB影像(亦即，三個32×32像素陣列，一個陣列用於各自的顏色R、G及B，每個像素為5位元精度)。從輸入層S0至層C1的突觸CB1在某些情況下應用不同組的權重，而在其它情況下應用共享權重，並且用3×3像素重疊濾波器(核心)掃描輸入影像，將濾波器移位1個像素(或者根據模型所規定，多於1個像素)。具體地，提供用於影像的一個3×3部分中之9個像素的數值(亦即，稱為一個濾波器或核心)給突觸CB1，在那裡將這9個輸入值乘以適當的權重，並且在計算乘法輸出的總和之後，由CB1的第一突觸確定及提供單一輸出值，以便產生數層特徵圖(feature map)C1中之一層的一個像素。然後，在輸入層S0內將3×3濾波器向右移動一個像素(亦即，添加在右側之三個像素的行及丟棄在左側之三個像素的行)，藉以將這個新定位的濾波器中之9個像素值提供給突觸CB1，將它們乘以相同的權重，並且由相關的突觸確定第二個單一輸出值。持續這個過程，直到3×3濾波器針對所有三種顏色及所有位元(精度值)掃描輸入層S0的整個32×32像素影像為止。然後，使用不同組的權重重複這個過程，以產生C1的一個不同特徵圖，直到已經計算層C1的所有特徵圖為止。
在層C1處，在本實例中，具有16個特徵圖，每個特徵圖有30×30像素。每個像素是從輸入與核心相乘得到之新特徵像素，因此每個特徵圖是二維陣列，因此在這個實例中，層C1構成16層二維陣列(記住這裡引用的層及陣列是邏輯關係，不一定是實體關係-亦即，陣列不一定以實體二維陣列來定向)。層C1中之16個特徵圖的每個特徵圖由應用於濾波器掃描之16組不同的突觸權重中之一組來產生。C1特徵圖可以全部有關於諸如邊界識別之同一個影像特徵的不同態樣。例如，第一圖(使用第一組權重所產生，第一組權重對用於產生此第一圖的所有掃描係共享的)可以識別圓形邊緣，第二圖(使用與第一組權重不同的第二組權重所產生)可以識別矩形邊緣或某些特徵的縱橫比等等。
在從層C1到層S1之前應用激勵函數P1(池化(pooling))，其對來自每個特徵圖中之連續的非重疊2×2區域的數值進行池化。池化函數的目的是算出附近位置的平均值(或者亦可以使用最大值函數)，以減少例如邊緣位置的依賴性及在進入下一階段之前減小資料大小。在層S1處，具有16個15×15特徵圖(亦即，16個不同陣列，每個陣列有15×15像素)。從層S1到層C2的突觸CB2用4×4濾波器掃描S1中之圖，並且有一個像素的濾波器移位。在層C2處，具有22個12×12特徵圖。在從層C2到層S2之前應用激勵函數P2(池化)，其對來自每個特徵圖中之連續非重疊2×2區域的數值進行池化。在層S2處，具有22個6×6特徵圖。在從層S2到層C3的突觸CB3處應用激勵函數(池化)，其中層C3中之每個神經元經由CB3的個別突觸連接至層S2中之每個圖。在層C3處，具有64個神經元。從層C3到輸出層S3的突觸CB4將C3完全連接至S3，亦即，層C3中之每個神經元連接至層S3中之每個神經元。S3處的輸出包括10個神經元，其中最高輸出神經元確定類別。此輸出可能例如表示原始影像的內容之識別或分類。
使用非揮發性記憶體單元陣列或非揮發性記憶體單元陣列之一部份來實施每層突觸。
圖9係可用於該目的之系統的方塊圖。向量矩陣乘法(VMM)陣列32包括非揮發性記憶體單元，並用作一層與下一層之間的突觸(例如，圖8中之CB1、CB2、CB3及CB4)。具體地，VMM陣列32包括VMM陣列33(其包括以列與行排列之非揮發性記憶體單元)、抹除閘極及字元線閘極解碼器34、控制閘極解碼器35、位元線解碼器36以及源極線解碼器37，它們對非揮發性記憶體單元陣列33的個別輸入進行解碼。對VMM陣列33的輸入可以來自抹除閘極及字元線閘極解碼器34或來自控制閘極解碼器35。此實例中之源極線解碼器37亦對VMM陣列33的輸出進行解碼。或者，位元線解碼器36可以對VMM陣列33的輸出進行解碼。
VMM陣列33提供兩個用途。第一，它儲存將由VMM系統32使用的權重。第二，VMM陣列33有效地將輸入乘以VMM陣列33中所儲存的權重，並且根據輸出線(源極線或位元線)將它們加起來，以產生輸出，所述輸出將是下一層的輸入或最後一層的輸入。藉由執行乘法及加法函數，VMM陣列33不需要個別的乘法及加法邏輯電路，並且因原位記憶體計算而亦具功率效率。
VMM陣列33的輸出被供應至差分加法器(例如，求和運算放大器或求和電流鏡)38，其計算VMM陣列33的輸出之總和，以產生用於卷積的單一數值。差分加法器38配置成執行正權重輸入與負權重輸入的總和，以輸出所述單一數值。
然後，將差分加法器38之加總的輸出值供應至激勵函數電路39，其對輸出進行整流。激勵函數電路39可以提供S形(sigmoid)、雙曲正切(tanh)、整流線性單位(ReLU)函數或任何其它非線性函數。激勵函數電路39之經整流的輸出值變成作為下一層(例如，圖8中之C1)之特徵圖的元素，然後應用於下一個突觸，以產生下一個特徵圖層或最後一層。因此，在此實例中，VMM陣列33構成複數個突觸(其從先前的神經元層或從諸如影像資料庫的輸入層接收它們的輸入)，並且加法器38及激勵函數電路39構成複數個神經元。
圖9中至VMM系統32的輸入(WLx、EGx、CGx以及任選的BLx及SLx)可以是類比位準、二進制位準、數位脈衝(在這種情況下，可能需要脈衝至類比轉換器PAC，以將脈衝轉換為適當的輸入類比位準)或數位位元(在這種情況下，提供DAC，以將數位位元轉換為適當的輸入類比位準)，並且輸出可以是類比位準、二進制位準、數位脈衝或數位位元(在這種情況下，提供輸出ADC，以將輸出類比位準轉換為數位位元)。
圖10係描繪許多層的VMM系統32之使用的方塊圖，這裡標記為VMM系統32a、32b、32c、32d及32e。如圖10所示，藉由數位至類比轉換器31將輸入(表示為Inputx)從數位轉換成類比，並提供至輸入VMM系統32a。經轉換的類比輸入可以是電壓或電流。用於第一層的輸入D/A轉換可以藉由使用函數或LUT(查找表)來完成，其中LUT(查找表)將輸入Inputx映射至用於輸入VMM系統32a的矩陣乘數之適當類比位準。輸入轉換亦可以藉由類比至類比(A/A)轉換器來完成，以將外部類比輸入轉換成輸入VMM系統32a的映射類比輸入。輸入轉換亦可以藉由數位至數位脈衝(D/P)轉換器來完成，以將外部數位輸入轉換為輸入VMM系統32a的映射數位脈衝。
由輸入VMM系統32a產生的輸出作為輸入提供給下一個VMM系統(隱藏層級1)32b，其轉而產生作為輸入提供給下一個VMM系統(隱藏層級2)32c的輸出等等。各種層的VMM系統列32充當卷積神經網路(CNN)之不同層的突觸及神經元。每個VMM系統32a、32b、32c、32d及32e可以是獨立的實體非揮發性記憶體陣列，或者多個VMM系統可以利用同一個實體非揮發性記憶體陣列的不同部分，或者多個VMM系統可以利用同一個實體非揮發性記憶體系統的重疊部分。每個VMM系統32a、32b、32c、32d及32e亦可以對其陣列或神經元的各個部分進行時間多工。圖10所示的實例包含五層(32a、32b、32c、32d、32e)：一個輸入層(32a)、兩個隱藏層(32b、32c)及兩個完全連接層(32d、32e)。所屬技術領域之具通常技藝人士將理解，這僅僅是示例性的，並且系統反而可以包括超過兩個隱藏層及超過兩個完全連接層。 VMM陣列
圖11描繪神經元VMM 陣列1100，其特別適用於圖3中所示之記憶體單元310，並且用作輸入層與下一層之間的突觸及神經元的部件。VMM陣列 1100包括非揮發性記憶體單元的記憶體陣列1101及非揮發性參考記憶體單元的參考陣列1102(在所述陣列的上方)。或者，可以在下方放置另一個參考陣列。
在VMM陣列1100中，諸如控制閘極線1103的控制閘極線在垂直方向上延伸(因此，在列方向上的參考陣列1102與控制閘極線1103正交)，並且諸如抹除閘極線1104的抹除閘極線在水平方向延伸。這裡，在控制閘極線(CG0、CG1、CG2、CG3)上提供對VMM陣列1100的輸入，而VMM陣列1100的輸出出現在源極線(SL0、SL1)上。在一個具體例中，僅使用偶數列，而在另一個具體例中，僅使用奇數列。在每條源極線(SL0、SL1)上之電流執行來自連接至那條特定源極線之記憶體單元的所有電流之求和函數。
如本文針對神經網路所述，VMM陣列1100的非揮發性記憶體單元(亦即，VMM陣列1100的快閃記憶體)較佳地配置成在次臨界區域中操作。
在弱倒轉中施加偏壓於本文所述之非揮發性參考記憶體單元及非揮發性記憶體單元： Ids=Io*e(Vg-Vth)/nVt =w*Io*e(Vg)/nVt , 其中w=e(-Vth)/nVt 其中Ids係汲極至源極電流；Vg係在記憶體單元上的閘極電壓；Vth係記憶體單元的臨界電壓；Vt係熱電壓= k*T/q，其中k係波茲曼常數，T係克氏溫度，q係電荷； n係斜率因數= 1+(Cdep/Cox)，其中Cdep =空乏層的電容，Cox係閘極氧化層的電容；Io係閘極電壓等於臨界電壓時的記憶體單元電流，Io與(Wt/L)*u*Cox*(n-1)*Vt2 成比例關係，其中u係載子遷移率，Wt及L分別是記憶體單元的寬度及長度。
對於使用記憶體單元(例如，參考記憶體單元或周邊記憶體單元)或電晶體將輸入電流Ids轉換成輸入電壓Vg之I至V對數轉換器： Vg= n*Vt*log [Ids/wp*Io] 在此，wp係參考或周邊記憶體單元的w。
對於用作向量矩陣乘法器VMM陣列的記憶體陣列，輸出電流為： Iout=wa*Io*e(Vg)/nVt , 亦即 Iout=(wa/wp)*Iin=W*Iin W=e(Vthp-Vtha)/nVt Iin=wp*Io*e(Vg)/nVt 在此，wa=記憶體陣列中之每個記憶體單元的w。
字元線或控制閘極可用以作為用於輸入電壓之記憶體單元的輸入。
或者，本文所述之VMM陣列的快閃記憶體單元可以配置成在線性區域中操作： Ids=beta*(Vgs-Vth)*Vds；beta=u*Cox*Wt/L， Wα(Vgs-Vth)， 表示線性區域中之權重W與(Vgs-Vth)成比例關係。
字元線或控制閘極或位元線或源極線可用以作為在線性區域中操作之記憶體單元的輸入。位元線或源極線可以用作記憶體單元的輸出。
對於I至V線性轉換器，在線性區域中操作之記憶體單元(例如，參考記憶體單元或周邊記憶體單元)或電晶體或電阻器可以用於將輸入/輸出電流線性地轉換成輸入/輸出電壓。
或者，本文所述之VMM陣列的快閃記憶體單元可以配置成在飽和區域中操作： Ids=½*beta*(Vgs-Vth)2 ；beta=u*Cox*Wt/L Wα(Vgs-Vth)2 ，表示權重W與(Vgs-Vth)2 成比例關係。
字元線、控制閘極或抹除閘極可以用以作為在飽和區域中操作之記憶體單元的輸入。位元線或源極線可以用以作為輸出神經元的輸出。
或者，本文所述之VMM陣列的記憶體單元可以用於所有區域或其組合中(次臨界、線性或飽和)。
在美國專利申請案第15/826,345號中描述圖9的VMM陣列32之其它具體例，在此以提及方式將其併入本文。如上面申請案所述，源極線或位元線可用以作為神經元輸出(電流總和輸出)。
圖12描繪神經元VMM陣列1200，其特別適用於圖2所示之記憶體單元210，並且用以作為輸入層與下一層之間的突觸。VMM 陣列1200包括非揮發性記憶體單元的記憶體陣列1203、第一非揮發性參考記憶體單元的參考陣列1201及第二非揮發性參考記憶體單元的參考陣列1202。配置在陣列的行方向上之參考陣列1201及1202用於將流入端子BLR0、BLR1、BLR2及BLR3的電流輸入轉換成電壓輸入WL0、WL1、WL2及WL3。實際上，第一及第二非揮發性參考記憶體單元係以二極體形式經由多工器1214(僅部分被描繪)與流入它們的電流輸入連接。將參考單元調整(例如，程式化)至目標參考位準。目標參考位準由參考微型陣列矩陣(未顯示)來提供。
記憶體陣列1203提供兩個用途。第一，它在其個別記憶體單元上儲存將被VMM陣列1200使用的權重。第二，記憶體陣列1203有效地將輸入(亦即，被提供至端子BLR0、BLR1、BLR2及BLR3的電流輸入；參考陣列1201及1202將這些電流輸入轉換成輸入電壓，以供應至字元線WL0、WL1、WL2及WL3)乘以記憶體陣列1203中所儲存之權重，然後將所有結果(記憶體單元電流)相加，以在個別位元線(BL0-BLN)上產生輸出，所述輸出將是下一層的輸入或最後一層的輸入。藉由執行乘法及加法函數，記憶體陣列1203不需要個別的乘法及加法邏輯電路，並且還具有功率效率。這裡，電壓輸入被提供在字元線WL0、WL1、WL2及WL3上，並且輸出在讀取(推理)操作期間出現在位元線BL0-BLN上。在位元線BL0-BLN的每條位元線上之電流執行來自連接至那條特定位元線之所有非揮發性記憶體單元的電流之求和函數。
表5描繪VMM陣列1200的操作電壓。表中之行表示在被選單元的字元線、未被選單元的字元線、被選單元的位元線、未被選單元的位元線、被選單元的源極線及未被選單元的源極線上之電壓，其中FLT表示浮動，亦即，未施加電壓。列表示讀取、抹除及程式化的操作。表 5 ：圖 12 的 VMM 陣列 1200 之操作
   WL WL-unsel BL BL-unsel SL SL-unsel
讀取 0.5-3.5V 0.5V/0V 0.1-2V (I神經元) 0.6V-2V/FLT 0V 0V
抹除 ~5-13V 0V 0V 0V 0V 0V
程式化 1-2V -0.5V/0V 0.1-3 uA Vinh ~2.5V 4-10V 0-1V/FLT
圖13描繪神經元VMM陣列1300，其特別適用於圖2所示之記憶體單元210，並且用以作為輸入層與下一層之間的突觸及神經元的部件。VMM 陣列1300包括非揮發性記憶體單元的記憶體陣列1303、第一非揮發性參考記憶體單元的參考陣列1301及第二非揮發性參考記憶體單元的參考陣列1302。參考陣列1301及1302在VMM陣列1300的列方向上延伸。除在VMM陣列1300中，字元線在垂直方向上延伸外，VMM陣列與VMM1200相似。這裡，在字元線(WLA0、WLB0、WLA1、WLB1、WLA2、WLB2、WLA3、WLB3)上提供輸入，並且在讀取操作期間輸出出現在源極線(SL0，SL1)上。在每條源極線上之電流執行來自連接至那條特定源極線之記憶體單元的所有電流之求和函數。
表6描繪VMM陣列1300的操作電壓。表中之行表示在被選單元的字元線、未被選單元的字元線、被選單元的位元線、未被選單元的位元線、被選單元的源極線及未被選單元的源極線上之電壓。列表示讀取、抹除及程式化的操作。
   WL WL -unsel BL BL -unsel SL SL -unsel
讀取 0.5-3.5V -0.5V/0V 0.1-2V 0.1V-2V/FLT ~0.3-1V    (I神經元) 0V
抹除 ~5-13V 0V 0V 0V 0V SL-禁止(~4-8V)
程式化 1-2V -0.5V/0V 0.1-3 uA Vinh ~2.5V 4-10V 0-1V/FLT
表 6 ：圖 13 的 VMM 陣列 1300 之操作
圖14描繪神經元VMM陣列1400，其特別適用於圖3所示之記憶體單元310，並且用以作為輸入層與下一層之間的突觸及神經元的部件。VMM陣列1400包括非揮發性記憶體單元的記憶體陣列1403、第一非揮發性參考記憶體單元的參考陣列1401及第二非揮發性參考記憶體單元的參考陣列1402。參考陣列1401及1402用於將流入端子BLR0、BLR1、BLR2及BLR3的電流輸入轉換成電壓輸入CG0、CG1、CG2及CG3。實際上，第一及第二非揮發性參考記憶體單元係以二極體形式經由多工器1412(僅部分被顯示)與經由BLR0、BLR1、BLR2及BLR3流入它們的電流輸入連接。多工器1412各自包括個別多工器1405及疊接電晶體1404，以在讀取操作期間確保第一及第二非揮發性參考記憶體單元中之每一者的位元線(諸如BLR0)上的固定電壓。將參考單元調整至目標參考位準。
記憶體陣列1403提供兩個用途。第一，它儲存將被VMM陣列 1400使用的權重。第二，記憶體陣列1403有效地將輸入(被提供至端子BLR0、BLR1、BLR2及BLR3的電流輸入；參考陣列1401及1402將這些電流輸入轉換成輸入電壓，以供應至控制閘極(CG0、CG1、CG2及CG3))乘以記憶體陣列中所儲存之權重，然後將所有結果(單元電流)相加，以產生輸出，所述輸出出現在BL0-BLN上且將是下一層的輸入或最後一層的輸入。藉由執行乘法及加法函數，記憶體陣列不需要個別的乘法及加法邏輯電路，並且還具有功率效率。這裡，輸入被提供在控制閘極線(CG0、CG1、CG2及CG3)上，並且輸出在讀取操作期間出現在位元線(BL0-BLN)上。在每條位元線上之電流執行來自連接至那條特定位元線之記憶體單元的所有電流之求和函數。
VMM陣列1400針對記憶體陣列1403中之非揮發性記憶體單元實施單向調整。亦即，抹除及然後部分程式化每個非揮發性記憶體單元，直到達到浮動閘極上之期望電荷為止。例如，這可以使用下面描述之精確程式化技術來執行。如果使太多電荷置於浮動閘極上(使得錯誤值儲存在單元中)，則必須抹除單元並且必須重新開始部分程式化操作的順序。如圖所示，共享同一個抹除閘極(例如，EG0或EG1)的兩列需要一起被抹除(稱為頁抹除)，之後，部分程式化每個單元，直到達到浮動閘極上之期望電荷為止。
表7描繪VMM陣列1400的操作電壓。表中之行表示在被選單元的字元線、未被選單元的字元線、被選單元的位元線、未被選單元的位元線、被選單元的控制閘極、與被選單元相同的區段中之未被選單元的控制閘極、與被選單元不同的區段中之未被選單元的控制閘極、被選單元的抹除閘極、未被選單元的抹除閘極、被選單元的源極線及未被選單元的源極線上之電壓。列表示讀取、抹除及程式化的操作。
   WL WL - unsel BL BL - unsel CG 在同一個區段中之 CG -unsel CG - unsel EG EG - unsel SL SL - unsel
讀取 0.5-2V -0.5V/ 0V 0.1-2V (I神經元) 0V/FLT 0-2.6V 0-2.6V 0-2.6V 0-2.6V 0-2.6V 0V 0V
抹除 0V 0V 0V 0V 0V 0-2.6V 0-2.6V 5-12V 0-2.6V 0V 0V
程式化 0.7-1V -0.5V/ 0V 0.1-1uA Vinh (1-2V) 4-11V 0-2.6V 0-2.6V 4.5-5V 0-2.6V 4.5-5V 0-1V
表 7 ：圖 14 的 VMM 陣列 1400 之操作
圖15描繪神經元VMM陣列1500，其特別適用於圖3所示之記憶體單元310，並且用以作為輸入層與下一層之間的突觸及神經元的部件。VMM陣列1500包括非揮發性記憶體單元的記憶體陣列1503、第一非揮發性參考記憶體單元的參考陣列1501及第二非揮發性參考記憶體單元的參考陣列1502。EG線EGR0、EG0、EG1及EGR1垂直延伸，而CG線CG0、CG1、CG2及CG3以及SL線WL0、WL1、WL2及WL3水平延伸。除VMM陣列1500實施雙向調整外，VMM陣列1500與VMM陣列1400相似，其中每個個別單元可以完全被抹除、部分被程式化及根據需要部分被抹除，以因個別EG線的使用而在浮動閘極上達到所需的電荷量。如圖所示，參考陣列1501及1502將端子BLR0、BLR1、BLR2及BLR3中之輸入電流轉換成要施加至列方向上的記憶體單元之控制閘極電壓CG0、CG1、CG2及CG3(藉由以二極體形式經由多工器1514連接之參考單元的作用)。電流輸出(神經元)位於位元線BL0-BLN中，其中每條位元線計算來自與那條特定位元線連接之非揮發性記憶體單元的所有電流之總和。
表8描繪VMM陣列1500的操作電壓。表中之行表示在被選單元的字元線、未被選單元的字元線、被選單元的位元線、未被選單元的位元線、被選單元的控制閘極、與被選單元相同的區段中之未被選單元的控制閘極、與被選單元不同的區段中之未被選單元的控制閘極、被選單元的抹除閘極、未被選單元的抹除閘極、被選單元的源極線及未被選單元的源極線上之電壓。列表示讀取、抹除及程式化的操作。表 8 ：圖 15 的 VMM 陣列 1500 之操作
   WL WL- unsel BL BL- unsel CG 在同一個區段中之 CG-unsel CG- unsel EG EG- unsel SL SL- unsel
讀取 1.0-2V -0.5V/0V 0.6-2V (I神經元) 0V/FLT 0-2.6V 0-2.6V 0-2.6V 0-2.6V 0-2.6V 0V 0V/FLT
抹除 0V 0V 0V 0V 0V 4-9V 0-2.6V 5-12V 0-2.6V 0V 0V
程式化 0.7-1V -0.5V/ 0V 0.1-1uA Vinh (1-2V) 4-11V 0-2.6V 0-2.6V 4.5-5V 0-2.6V 4.5-5V 0-1V
圖24描繪神經元VMM陣列2400，其特別適合於圖2所示之記憶體單元210，並且用以作為輸入層與下一層之間的突觸及神經元的部件。在VMM陣列2400中，在位元線BL0 ……、BLN 上分別接收輸入INPUT0 ……、INPUTN ，並且在源極線SL0 、SL1 、SL2 及SL3 上分別產生輸出OUTPUT1 、OUTPUT2 、OUTPUT3 及OUTPUT4 。
圖25描繪神經元VMM陣列2500，其特別適合於圖2所示之記憶體單元210，並且用以作為輸入層與下一層之間的突觸及神經元的部件。在此實例中，在源極線SL0 、SL1 、SL2 及SL3 上分別接收輸入INPUT0 、INPUT1 、INPUT2 及INPUT3 ，並且在位元線BL0 ……、BLN 上產生輸出 OUTPUT0 ……、OUTPUTN 。
圖26描繪神經元VMM陣列2600，其特別適合於圖2所示之記憶體單元210，並且用以作為輸入層與下一層之間的突觸及神經元的部件。在此實例中，在字元線WL0 ……、WLM 上分別接收輸入INPUT0 ……、INPUTM ，並且在位元線BL0 ……、BLN 上產生輸出OUTPUT0 ……、OUTPUTN 。
圖27描繪神經元VMM陣列2700，其特別適合於圖3所示之記憶體單元310，並且用以作為輸入層與下一層之間的突觸及神經元的部件。在此實例中，在字元線WL0 ……、WLM 上分別接收輸入INPUT0 ……、INPUTM ，並且在位元線BL0 ……、BLN 上產生輸出OUTPUT0 ……、OUTPUTN 。
圖28描繪神經元VMM陣列2800，其特別適合於圖4所示之記憶體單元410，並且用以作為輸入層與下一層之間的突觸及神經元的部件。在此實例中，在垂直控制閘極線CG0 ……、CGN 上分別接收輸入INPUT0 ……、INPUTN ，並且在源極線SL0 及SL1 上產生輸出 OUTPUT1 及OUTPUT2 。
圖29描繪神經元VMM陣列2900，其特別適合於圖4所示之記憶體單元410，並且用以作為輸入層與下一層之間的突觸及神經元的部件。在此實例中，在分別耦接至位元線BL0 ……、BLN 之位元線控制閘2901-1、2901-2……、2901-(N-1)及2901-N的閘極上分別接收輸入INPUT0 ……、INPUTN 。在源極線SL0 及SL1 上產生示例性輸出OUTPUT1 及OUTPUT2 。
圖30描繪神經元VMM陣列3000，其特別適合於圖3所示之記憶體單元310、圖5所示之記憶體單元510及圖7所示之記憶體單元710，並且用以作為輸入層與下一層之間的突觸及神經元的部件。在此實例中，在字元線WL0 ……、WLM 上接收輸入INPUT0 ……、INPUTM ，並且在位元線BL0 ……、BLN 上分別產生輸出 OUTPUT0 ……、OUTPUTN 。
圖31描繪神經元VMM陣列3100，其特別適合於圖3所示之記憶體單元310、圖5所示之記憶體單元510及圖7所示之記憶體單元710，並且用以作為輸入層與下一層之間的突觸及神經元的部件。在此實例中，在控制閘極線CG0 ……、CGM 上接收輸入INPUT0 ……、INPUTM ，並且在垂直源極線SL0 ……、SLN 上分別產生輸出 OUTPUT0 ……、OUTPUTN ，其中每條源極線SLi耦接至第i行中之所有記憶體單元的源極線。
圖32描繪神經元VMM陣列3200，其特別適合於圖3所示之記憶體單元310、圖5所示之記憶體單元510及圖7所示之記憶體單元710，並且用以作為輸入層與下一層之間的突觸及神經元的部件。在此實例中，在控制閘極線CG0 ……、CGM 上接收輸入INPUT0 ……、INPUTM ，並且在垂直位元線BL0 ……、BLN 上分別產生輸出 OUTPUT0 ……、OUTPUTN ，其中每條位元線BLi耦接至第i行中之所有記憶體單元的位元線。 長短期記憶體
習知技藝包括稱為長短期記憶體(LSTM)的概念。LSTM單元通常用於神經網路中。LSTM允許神經網路在預定任意時間間隔內記住資訊，並在後續操作中使用那個資訊。傳統的LSTM單元包括單元、輸入閘極、輸出閘極及忘記閘極。三個閘極調整進出單元的資訊流及在LSTM中記住資訊的時間間隔。VMM在LSTM單位中係特別有用的。
圖16描繪示例性LSTM 1600。此實例中的LSTM 1600包括單元1601、1602、1603及1604。單元1601接收輸入向量x0 ，並產生輸出向量h0 及單元狀態向量c0 。單元1602接收輸入向量x1 、來自單元1601的輸出向量(隱藏狀態)h0 及來自單元1601的單元狀態c0 ，並產生輸出向量h1 及單元狀態向量c1 。單元1603接收輸入向量x2 、來自單元1602的輸出向量(隱藏狀態)h1 及來自單元1602的單元狀態c1 ，並產生輸出向量h2 及單元狀態向量c2 。單元1604接收輸入向量x3 、來自單元1603的輸出向量(隱藏狀態)h2 及來自單元1603的單元狀態c2 ，並產生輸出向量h3 。可以使用其它單元，並且具有四個單元的LSTM只是一個實例。
圖17描繪LSTM單元1700的示例性實施，其可以用於圖16中之單元1601、1602、1603及1604。LSTM單元1700接收輸入向量x(t)、來自前一個單元之單元狀態向量c(t-1)及來自前一個單元之輸出向量h(t-1)，並產生單元狀態向量c(t)及輸出向量h(t)。
LSTM單元1700包括S形(sigmoid)函數裝置1701、1702及1703，每個S形(sigmoid)函數裝置應用0與1之間的數字，以控制輸入向量中之每個分量有多少被允許直至輸出向量。LSTM單元1700亦包括用以將雙曲正切函數應用於輸入向量的雙曲正切(tanh)裝置1704及1705、用以將兩個向量相乘的乘法裝置1706、1707及1708以及用以將兩個向量相加的加法裝置1709。輸出向量h(t)可以提供給系統中的下一個LSTM單元，或者亦可以出於其它目的對其進行存取。
圖18描繪LSTM單元1800，其為LSTM單元1700的實施之一個實例。為方便讀者，在LSTM單元1800中使用與LSTM單元1700相同的編號。S形(sigmoid)函數裝置1701、1702及1703以及雙曲正切(tanh)裝置1704各自包括多個VMM陣列1801及激勵電路區塊1802。因此，可以看出VMM陣列在某些神經網路系統中使用之LSTM單元中係特別有用的。乘法裝置1706、1707及1708以及加法裝置1709以數位方式或類比方式來實施。 激勵函數區塊1802可以以數位方式或以類比方式來實施。
圖19顯示LSTM單元1800的一個替代方案(以及LSTM單元1700實施的另一個實例)。在圖19中，S形(Sigmoid)函數裝置1701、1702及1703以及雙曲正切(tanh)裝置1704以時間多工方式共享同一個實體硬體(VMM陣列1901及激勵函數區塊1902)。LSTM單元1900亦包括：乘法裝置1903，用於將兩個向量相乘；加法裝置1908，用於將兩個向量相加；雙曲正切(tanh)裝置1705(其包括激勵電路區塊1902)；暫存器1907，其在i(t)從S形(Sigmoid)函數區塊1902輸出時儲存數值i(t)；暫存器1904，其在數值f(t)*c(t-1)從乘法裝置1903經由多工器1910輸出時儲存數值f(t)*c(t-1)；暫存器1905，其在數值i(t)*u(t)從乘法裝置1903經由多工器1910輸出時儲存數值i(t)*u(t)；及暫存器1906，其在數值o(t)*c~(t)從乘法裝置1903經由多工器1910輸出時儲存數值o(t)*c~(t)；以及多工器1909。
LSTM單元1800包含多組VMM陣列1801及個別的激勵函數區塊1802，而LSTM單元1900僅包含一組VMM陣列1901及激勵函數區塊1902，它們在LSTM單元1900的具體例中用於表示多層。LSTM單元1900將需要比LSTM單元1800少的空間，因為相較於LSTM單元1800，LSTM單元1900只需要1/4空間用於VMM及激勵函數區塊。
可以進一步理解，LSTM單元通常將包括多個VMM陣列，每個VMM陣列需要由VMM陣列外部的某些電路區塊(例如，加法器及激勵電路區塊以及高電壓產生區塊)提供的功能。對每個VMM陣列提供個別的電路區塊，將在半導體裝置內需要大量的空間，並且會有些沒有效率。 閘控遞歸單元
可以將類比VMM實施用於GRU(閘控遞歸單元)系統。GRU係遞歸神經網路中的閘控機制。除GRU單元通常包含比LSTM單元少的組件外，GRU與LSTM相似。
圖20描繪示例性GRU 2000。此實例中之GRU 2000包括單元2001、2002、2003及2004。單元2001接收輸入向量x0 ，並產生輸出向量h0 。單元2002接收輸入向量x1 及來自單元2001的輸出向量h0 ，並產生輸出向量h1 。單元2003接收輸入向量x2 及來自單元2002的輸出向量(隱藏狀態)h1 ，並產生輸出向量h2 。單元2004接收輸入向量x3 及來自單元2003的輸出向量(隱藏狀態)h2 ，並產生輸出向量h3 。可以使用額外的單元，並且具有四個單元的GRU只是一個實例。
圖21描繪GRU單元2100的示例性實施，其可以用於圖20之單元1201、2002、2003及2004。GRU單元2100接收輸入向量x(t)及來自前一個GRU單元之輸出向量h(t-1)，並產生輸出向量h(t)。GRU單元2100包括S形(sigmoid)函數裝置2101及2102，每個S形(sigmoid)函數裝置應用0與1之間的數字於來自輸出向量h(t-1)及輸入向量x(t)的分量。GRU單元2100亦包括用以將雙曲正切函數應用於輸入向量的雙曲正切(tanh)裝置2103、用以將兩個向量相乘的複數個乘法裝置2104、2105及2106、用以將兩個向量相加的加法裝置2107以及用以從1減去輸入來產生輸出的互補裝置2108。
圖22描繪GRU單元2200，其是GRU單元2100的實施之一個實例。為方便讀者，在GRU單元2200中使用與GRU單元2100相同的編號。從圖22可以看出，S形(sigmoid)函數裝置2101及2102以及雙曲正切(tanh)裝置2103各自包括多個VMM陣列2201及激勵函數區塊2202。因此，可以看出VMM陣列特別用於某些神經網路系統中使用之GRU單元中。該等乘法裝置2104、2105、2106，該加法裝置2107，及該互補裝置2108係以數位方式或以類比方式實施。該等激勵函數區塊2202可以數位方式或以類比方式實施。
圖23顯示GRU單元2200的一個替代方案(以及GRU單元2100實施的另一個實例)。在圖23中，GRU單元2300利用VMM陣列2301及激勵函數區塊2302，激勵函數區塊2302在配置成為S形(sigmoid)函數時應用0與1之間的數字，以控制輸入向量中之每個分量有多少被允許直至輸出向量。在圖23中，S形(sigmoid)函數裝置2101及2102以及雙曲正切(tanh)裝置2103以時間多工方式共享同一個實體硬體(VMM陣列2301及激勵函數區塊2302)。GRU單元2300亦包括：乘法裝置2303，用於將兩個向量相乘；加法裝置2305，用於將兩個向量相加；互補裝置2309，用於從1減去輸入，以產生輸出；多工器2304；暫存器2306，用於當數值h(t-1)*r(t)從乘法裝置2303經由多工器2304輸出時，保持數值h(t-1)*r(t)；暫存器2307，用於當數值h(t-1)*z(t)從乘法裝置2303經由多工器2304輸出時，保持數值h(t-1)*z(t)；以及暫存器2308，用於當數值h^(t)*(1-z(t))從乘法裝置2303經由多工器2304輸出時，保持數值h^(t)*(1-z(t))。
GRU單元2200包含多組VMM陣列2201及激勵函數區塊2202，而GRU單元2300僅包含一組VMM陣列2301及激勵函數區塊2302，它們在GRU單元2300的具體例中用於表示多層。GRU單元2300將需要比GRU單元2200少的空間，因為相較於GRU單元2200，GRU單元2300只需要1/3空間用於VMM及激勵函數區塊。
可以進一步理解，GRU系統通常將包括多個VMM陣列，每個VMM陣列需要由VMM陣列外部的某些電路區塊(例如，加法器及激勵電路區塊以及高電壓產生區塊)提供的功能。對每個VMM陣列提供個別的電路區塊，將在半導體裝置內需要大量的空間，並且會有些沒有效率。
VMM陣列的輸入可以是類比位準、二進制位準或數位位元(在這種情況下，需要DAC將數位位元轉換為適當的輸入類比位準)，以及輸出可以是類比位準、二進制位準或數位位元(在這種情況下，需要輸出ADC將輸出類比位準轉換為數位位元)。
對於一個VMM陣列中之每個記憶體單元，每個權重W可以由單一記憶體單元或由一個差分單元或由兩個混合記憶體單元(平均2個單元)來實施。在差分單元的情況下，需要兩個記憶體單元來實施權重W成為差分權重(W =W+–W-)。在兩個混合記憶體單元方面，需要兩個記憶體單元來實施權重W成為兩個單元的平均值。 用於VMM陣列之解碼系統及實體佈局具體例
圖33-51揭露用於VMM陣列之各種解碼系統及實體佈局，其中VMM陣列可以與先前關於圖2-7描述之任何記憶體單元類型一起使用或者與其它非揮發性記憶體單元一起使用。
圖33描繪VMM系統3300。VMM系統3300包括VMM陣列3301(其可以根據先前論述的任何VMM陣列設計，例如，VMM陣列1000、1100、1200、1300、1400、1500、2400、2500、2600 ，2700、2800、2900、3000、3100及3200或其它VMM設計)、低電壓列解碼器3302、高電壓列解碼器3303、行解碼器3304、行驅動器3305、控制邏輯3306、偏壓電路3307、神經元輸出電路區塊3308、輸入VMM電路區塊3309、演算法控制器3310、高電壓產生器區塊3311、類比電路區塊3315及控制邏輯3316。
輸入電路區塊3309用作從外部輸入至記憶體陣列3301的輸入端子之介面。輸入電路區塊3309可以包括DAC(數位至類比轉換器)、DPC(數位至脈衝轉換器)、APC(類比至脈衝轉換器)、IVC(電流至電壓轉換器)、AAC(類比至類比轉換器，例如，電壓至電壓換算器)或FAC(頻率至類比轉換器)，但不限於此。神經元輸出區塊3308用作從記憶體陣列輸出至外部介面(未顯示)的介面。神經元輸出區塊3308可以包括ADC(類比至數位轉換器)、APC(類比至脈衝轉換器)、DPC(數位至脈衝轉換器)、IVC(電流至電壓轉換器)或IFC(電流至頻率轉換器)，但不限於此。神經元輸出區塊3308可以包括激勵函數、歸一化電路及/或重新定標電路(re-scaling circuitry)，但不限於此。
低電壓列解碼器3302提供用於讀取及程式化操作之偏壓，並且提供解碼信號給高電壓列解碼器3303。高電壓列解碼器3303提供用於程式化及抹除操作之高偏壓信號。
演算法控制器3310在程式化、驗證及抹除操作期間提供控制功能給位元線。
高電壓產生器區塊3311包括電荷泵3312、電荷泵調節器3313及高電壓產生電路3314，高電壓產生電路3314提供各種程式化、抹除、程式化驗證及讀取操作所需的多個電壓。
圖34描繪VMM系統3400，其特別適合與圖4所示之類型的記憶體單元410一起使用。VMM系統3400包括VMM陣列3401、3402、3403及3404(每個VMM陣列可以根據先前論述的任何VMM陣列設計，例如，VMM陣列1000、1100、1200、1300、1400、1500、2400、2500、2600 ，2700、2800、2900、3000及3100或其它VMM陣列設計)；低電壓列解碼器3405、3406、3407及3408；共享高電壓列解碼器3409；字元線或字元輸入線3411、3412、3413及3414；位元線3421、3422、3423及3424；控制閘極線3432；源極線3434；以及抹除閘極線3436。共享高電壓列解碼器3409提供控制閘極線3432、源極線3434及抹除閘極線3436。在這種配置中，字元線3411、3412、3413及3414與位元線3421、3422、3423及3424彼此平行。 在一個具體例中，字元線及位元線朝垂直方向排列。控制閘極線3432、源極線3434及抹除閘極線3436彼此平行且朝水平方向排列，因此垂直於字元線或字元輸入線3411、3412、3413及3414以及位元線 3421、3422、3423及3424。
在VMM系統3400中，VMM陣列3401、3402、3403及3404共享控制閘極線3432、源極線3434、抹除閘極線3436及高電壓列解碼器3409。然而，每個陣列具有其自己的低電壓列解碼器，以致於低電壓列解碼器3405與VMM陣列3401一起使用；低電壓列解碼器3406與VMM陣列3402一起使用；低電壓列解碼器3407與VMM陣列3403一起使用；低電壓列解碼器3408與VMM陣列3404一起使用。這種配置有利的是，字元線3411、3412、3413及3414朝垂直方向排列，以致於使字元線3411可以單獨地路由至VMM陣列3401，字元線3412可以單獨地路由至VMM陣列3402，字元線3413可以單獨地路由至VMM陣列3403，以及字元線3414可以單獨地路由至VMM陣列3404。使用傳統佈局係非常沒有效率的，其中對於共享同一個高電壓解碼器及同一個高電壓解碼線的多個VMM陣列，字元線朝水平方向排列。
圖35描繪VMM系統3500，其特別適合與圖4所示之類型的記憶體單元410一起使用。除VMM系統3500包含用於讀取操作及程式化操作之個別字元線及低電壓列解碼器外，VMM系統3500相似於圖33的VMM系統3300。
VMM系統3500包括VMM陣列3501、3502、3503及3504(每個VMM陣列可以根據先前論述的任何VMM陣列設計，例如，VMM陣列1000、1100、1200、1300、1400、1500、2400、2500、2600 ，2700、2800、2900、3000、3100及3200或其它VMM陣列設計)；低電壓讀取列解碼器3505、3506、3507及3508； 共享低電壓程式化列解碼器3530；共享高電壓列解碼器3509；讀取字元線或字元輸入線3511、3512、3513及3514；程式化預解碼列線3515；位元線3521、3522、3523及3524；控制閘極線3532，源極線3533以及抹除閘極線3535。共享高電壓列解碼器3509提供控制閘極線3532、源極線3533及抹除閘極線3535。在這種佈局中，讀取字元線或字元輸入線3511、3512、3513及3514、程式化預解碼列線3515以及位元線3521、3522、3523及3524彼此平行且朝垂直方向排列。控制閘極線3532、源極線3533以及抹除閘極線3535彼此平行且朝水平方向排列，因此垂直於讀取字元線或字元輸入線3511、3512、3513及3514、程式化預解碼列線3515以及位元線3521、3522、3523及3524。在VMM系統3500中，在多個VMM陣列間共享低電壓程式化列解碼器3530。
在VMM系統3500中，VMM陣列3501、3502、3503及3504共享控制閘極線3532、源極線3533、抹除閘極線3535及高電壓列解碼器3509。然而，每個VMM陣列具有其自己的低電壓讀取列解碼器，以致於低電壓讀取列解碼器3505與VMM陣列3501一起使用；低電壓讀取列解碼器3506與VMM陣列3502一起使用； 低電壓讀取列解碼器3507與VMM陣列3503一起使用；低電壓讀取列解碼器3508與VMM陣列3504一起使用。這種佈局有利的是，讀取字元線或字元輸入線3511、3512、3513及3514朝垂直方向排列，以致於使字元線3511可以單獨地路由至VMM陣列3501，字元線3512可以單獨地路由至VMM陣列3502，字元線3513可以單獨地路由至VMM陣列3503，以及字元線3514可以單獨地路由至VMM陣列3504。使用傳統佈局將是非常沒有效率的，其中對於共享同一個高電壓解碼器及同一個高電壓解碼線的多個VMM陣列，字元線朝水平方向排列。值得注意的是，程式化預解碼列線3515可以經由低電壓程式化列解碼器3530連接至VMM陣列3501、3502、3503及3504中之任何VMM陣列，以致於可以一次程式化那些VMM陣列中之一個或多個VMM陣列。
圖36描繪關於VMM系統3500的某些方面之額外的細節，特別是關於低電壓列解碼器3505、3506、3507及3508的細節，它們以低電壓列解碼器3600為例。低電壓讀取列解碼器3600包括複數個開關(例如，所示的示例性開關)，以選擇性地將字元線分別與VMM陣列3601、3602、3603及3604中之單元列耦接。低電壓程式化解碼器3630包括示例性的NAND閘3631及3632、PMOS電晶體3633及3635以及NMOS電晶體3636及3636，其配置成如圖所示。NAND閘3631及3632接收程式化預解碼列線XP 3615作為輸入。在程式化操作期間，關閉低電壓讀取列解碼器3605、3606、3607及3608中之開關Sp(其可以是CMOS多工器或另一種類型的開關)，因此，程式化字元線Wlp0-n耦接至陣列中之字元線，以施加用於程式化之電壓。在讀取操作期間，使用在低電壓讀取列解碼器3605、3606、3607及3608內之Sr開關(被關閉)(其可以是CMOS多工器或另一種類型的開關)，選擇性地耦接讀取字元線或字元輸入線3611、3612、3613及3614，以將電壓施加至陣列3601、3602、3603及3604中之一個或多個陣列內之列的字元線端子。
圖37描繪VMM系統3700，其特別適合與圖4所示之類型的記憶體單元410一起使用。VMM系統3700包括VMM陣列3701、3702、3703及3704(每個VMM陣列可以根據先前論述的任何VMM設計，例如，VMM陣列1000、1100、1200、1300、1400、1500、2400、2500、2600 ，2700、2800、2900、3000及3100或其它VMM陣列設計)；低電壓列解碼器3705、3706、3707及3708； 區域高電壓列解碼器3709及3710；全域高電壓列解碼器3730； 字元線3711、3712、3713及3714；位元線3721、3722、3723及3724；高電壓及/或低電壓(HV/LV)預解碼線3732、源極線3733以及抹除閘極線3734。共享全域高電壓列解碼器3730提供HV/LV預解碼線3732、源極線3733及抹除閘極線3734。在這種佈局中，字元線3711、3712、3713及3714以及位元線3721、 3722、3723及3724彼此平行且朝垂直方向排列。HV/LV預解碼線3732、源極線3733及抹除閘極線3734彼此平行且朝水平方向排列，因此垂直於字元線3711、3712、3713及3714以及位元線 3721、3722、3723及3724。HV/LV預解碼線3732被輸入至區域高電壓解碼器3709及3710。區域高電壓解碼器3709輸出用於VMM陣列3701及3702之區域控制閘極線。區域高電壓解碼器3710輸出用於VMM陣列3703及3704之區域控制閘極線。在另一個具體例中，區域高電壓解碼器3709及3710可以分別提供區域源極線給VMM陣列3701/3702及VMM陣列3703/3704。在另一個具體例中，區域高電壓解碼器3709及3710可以分別提供區域抹除閘極線給VMM陣列3701/3702及VMM陣列3703/3704。
在此，VMM陣列3701及3702共享區域高電壓列解碼器3709，而VMM陣列3703及3704共享區域高電壓列解碼器3710。全域高電壓解碼器3730將高電壓及低電壓預解碼信號路由至區域高電壓列解碼器，例如，區域高電壓列解碼器3709及3710。因此，在全域高電壓列解碼器3730與諸如區域高電壓解碼器3709及3710的區域高電壓解碼器之間劃分高電壓解碼功能。
在VMM系統3700中，VMM陣列3701、3702、3703及3704共享HV/LV預解碼線3732、源極線3733、抹除閘極線3734及全域高電壓列解碼器3730。然而，每個VMM陣列具有其自己的低電壓列解碼器，以致於低電壓列解碼器3705與VMM陣列3701一起使用；低電壓列解碼器3706與VMM陣列3702一起使用；低電壓列解碼器3707與VMM陣列3703一起使用；以及低電壓列解碼器3708與VMM陣列3704一起使用。這種佈局有利的是，字元線3711、3712、3713及3714朝垂直方向排列，以致於字元線3711可以單獨地路由至VMM陣列3701，字元線3712可以單獨地路由至VMM陣列3702，字元線3713可以單獨地路由至VMM陣列3703，以及字元線3714可以單獨地路由至VMM陣列3704。使用傳統佈局將是非常沒有效率的，其中對於共享單一高電壓解碼器的多個陣列，字元線朝水平方向排列。
圖38描繪VMM系統3800，其特別適合與圖4所示之類型的記憶體單元410一起使用。VMM系統3800包括VMM陣列3801、3802、3803及3804(每個VMM陣列可以根據先前論述的任何VMM設計，例如，VMM陣列1000、1100、1200、1300、1400、1500、2400、2500、2600 ，2700、2800、2900、3000、3100及3200或其它VMM陣列設計)；低電壓列解碼器3805、3806、3807及3808；區域高電壓列解碼器3809及3810；全域高電壓列解碼器3830；位元線3821、3822、3823及3824； 控制閘極線或控制閘極輸入線3811及3812；HV/LV預解碼線3833；源極線3834及抹除閘極線3835。共享的全域高電壓列解碼器3830提供HV/LV預解碼線3833、源極線3834及抹除閘極線3835。區域高電壓解碼器3809及3810分別將控制閘極輸入CG 3811及3812耦接至VMM陣列3801、3802及3803、3804的區域控制閘極。低電壓列解碼器3805、3806、3807及3808分別向陣列3801、3802、3803、3804提供區域(水平)字元線。在這種佈局中，控制閘極線3811及3812以及位元線3821、3822、3823及3824彼此平行且朝垂直方向排列。源極線3834及抹除閘極線3835彼此平行且朝水平方向排列，因此垂直於控制閘極線3811和3812以及位元線3821、3822、3823及3824。
如同在圖37的VMM系統3700中，VMM陣列3801及3802共享區域高電壓列解碼器3809，而VMM陣列3803及3804共享區域高電壓列解碼器3810。全域高電壓解碼器3830將信號路由至區域高電壓列解碼器，例如，區域高電壓列解碼器3809及3810。因此，在全域高電壓列解碼器3830與諸如區域高電壓解碼器3809及3810(其可以提供區域源極線及/或區域抹除閘極線)的區域高電壓解碼器之間劃分高電壓解碼功能。
在VMM系統3800中，VMM陣列3801、3802、3803及3804共享HV/LV預解碼線3833、源極線3834、抹除閘極線3835及全域高電壓列解碼器3830。然而，每個VMM陣列具有其自己的低電壓列解碼器，以致於低電壓列解碼器3805與VMM陣列3801一起使用；低電壓列解碼器3806與VMM陣列3802一起使用；低電壓列解碼器3807與VMM陣列3803一起使用；以及低電壓列解碼器3808與VMM陣列3804一起使用。這種佈侷有利的是，控制閘極線3811及3812可以是讀取線或輸入線，朝垂直方向排列，以致於控制閘極線3811可以單獨地路由至VMM陣列3801及3802以及控制閘極線3812可以單獨地路由至VMM陣列3803及3804。使用字元線朝水平方向排列的傳統佈局，這將是不可能的。
圖39描繪VMM系統3900，其特別適合與圖3所示之類型的記憶體單元310、圖4所示之類型的記憶體單元410、圖5所示之類型的記憶體單元510或圖7所示之類型的記憶體單元710一起使用。VMM系統3900包括VMM陣列3901及3902(每個VMM陣列可以根據先前論述的任何VMM設計，例如，VMM陣列1000、1100、1200、1300、1400、1500、2400、2500、2600 ，2700、2800、2900、3000、3100及3200或其它VMM陣列設計)；低電壓列解碼器3903(與陣列3901及3902一起使用)；區域高電壓列解碼器3905；全域高電壓列解碼器3904；控制閘極線3908及3909；以及位元線3906及3907。在這種佈局中，VMM陣列3901單獨使用控制閘極線3908，而VMM陣列3902單獨使用控制閘極線3909。使用低電壓列解碼線3910作對全域高電壓列解碼器3904的解碼輸入。使用全域高電壓列解碼線3911作為區域高電壓解碼器3905的解碼輸入。
VMM陣列3901及3902共享區域高電壓列解碼器3905。全域高電壓解碼器3904將信號路由至多個VMM系統的區域高電壓列解碼器，例如，VMM系統3900的區域高電壓列解碼器3905。因此，如上所述，在全域高電壓列解碼器3904與諸如區域高電壓解碼器3905的區域高電壓解碼器之間劃分高電壓解碼功能。
在VMM系統3900中，VMM陣列3901及3902共享字元線(未顯示)、源極閘極線(如果存在)(未顯示)、抹除閘極線(如果存在)(未顯示)以及全域高電壓列解碼器3904。在此，VMM陣列3901及3902共享低電壓列解碼器3903。這種佈局的優點在於：VMM陣列3901及3902不共享控制閘極線，這使得每個陣列都可以分別使用控制閘極線3908及3909進行獨立存取。
圖51描繪VMM系統5100，其特別適合與圖4所示之類型的記憶體單元410一起使用。VMM系統5100包括VMM陣列5101、5102、5103及5104(每個VMM陣列可以根據先前論述的任何VMM設計，例如，VMM陣列1000、1100、1200、1300、1400、1500、2400、2500、2600 ，2700、2800、2900、3000、3100及3200或其它VMM陣列設計)；高電壓解碼器5130；路由區塊5151及5152； 輸入字元線5111及5112；位元線5121、5122、5123及5124；控制閘極線5132；源極線5133；以及抹除閘極線5134。高電壓解碼器5130提供控制閘極線5132、源極線5133及抹除閘極線5134。路由區塊5151、5152係將垂直接收的輸入字元線5111及5112分別路由至VMM陣列5101-5104的水平延伸字元線的地方。或者，路由區塊5151、5152可以將垂直接收的控制閘極輸入線5132路由至VMM陣列的水平延伸控制閘極線5132。
圖40描繪低電壓列解碼器4000，其包括NAND閘4001、PMOS電晶體4002及NMOS電晶體4003。NAND閘4001接收列位址信號4004。PMOS電晶體4002耦接至垂直字元線輸入4005。輸出是在水平字元線4006上，水平字元線4006為耦接至個別VMM陣列的許多字元線中之一。在此實例中，總共有16條字元線，因此列解碼器4000將有16個例示，每個例示輸出16條字元線中之一。 因此，根據接收到的列位址信號，一條字元線(例如，字元線4006)將輸出個別的信號(例如，電壓)，而其它條字元線將被設定為接地。
圖41描繪組合的共選擇/取消選擇字元線及控制閘極解碼器4100，其包括如圖40中之低電壓列解碼器，在此包括NAND閘4101、PMOS電晶體4102、NMOS電晶體4103、列位址信號4104、垂直輸入字元線4105及耦接至VMM陣列的字元線之水平字元輸出線4106。組合的字元線及控制閘極解碼器4100進一步包括反相器4107、開關4108及4112以及隔離電晶體4109，並且接收控制閘極輸入4110 CGIN0及輸出控制閘極線4111 CG0。藉由控制NAND閘4101的解碼邏輯(未顯示)，同時選擇或取消選擇字元線輸出4106 WL0及控制閘極輸出CG0 4111。
圖42描繪位元線解碼器4200，其在VMM陣列4201及4202上操作。位元線解碼器4200包括行多工器4203(用於選擇一條或多條位元線以進行程式化及驗證，其中驗證操作用於確認單元電流在調整操作(程式化或抹除操作)期間達到確定目標；以及感測放大器4204(用於在一條或多條位元線上執行讀取操作)。如圖所示，區域位元線多工器4201b及4202b將區域陣列位元線多工傳輸至全域位元線4220x，以耦接至行多工器4203。感測放大器包括ADC或其他裝置。 因此，在多個陣列間共享位元線解碼器4200。
圖43描繪VMM系統4300，其包括VMM陣列4301、4302、4303及4304； 低電壓列解碼器4305及4307；區域高電壓列解碼器4306及4308；全域高電壓列解碼器4309；數位匯流排輸入QIN[7：0]4311及4312(其在此為VMM陣列的輸入)以及位元線4321、4322、4323及4324 。每個低電壓列解碼器(例如，低電壓列解碼器4305)包括用於每條字元線的電路區塊列解碼器4335，例如，示例性資料輸入區塊4331(其可能由8個鎖存器或暫存器組成)及區塊4332(其可能包括資料至電壓轉換器電路或資料至脈衝轉換器電路)，區域4332在字元線上輸出信號4333。因此，這個低電壓列解碼器的輸入係具有適當控制邏輯的數位匯流排QIN[7：0]。對於每個電路區塊列解碼器4335，例如藉由同步時脈手段及方法(例如藉由串列至並列時脈介面)適當地鎖存數位輸入QIN[7：0] 4311及4312。
圖44描繪一個神經網路陣列輸入/輸出匯流排多工器4400，其接收來自一個VMM陣列(例如，來自一個ADC)的輸出及以多工形式將那些輸出分組地提供給其它VMM陣列的輸入區塊(例如，DAC或DPC)。在所示的實例中，輸入-輸出匯流排多工器4400的輸入包括2048個位元(256組，每組有8位元的NEU0……NEU255)，並且輸入-輸出匯流排多工器4400以分成64個不同組來提供那些位元(每組32個位元)，其中它例如藉由使用時分多工在不同組之間進行多工傳輸(其中它在任何給定時間提供一組32位元)。控制邏輯4401產生控制信號4402，以控制輸入-輸出匯流排多工器4400。
圖45A及45B描繪VMM陣列的示例性佈局，其中字元線以水平方式(圖45A)佈局相對於以垂直方式(圖45B，例如，圖34或35)佈局。
圖46描繪VMM陣列的示例性佈局，其中字元線以垂直方式佈局(例如，在圖34或35中)。然而，在這種佈局中，兩條字元線(例如，字元線4601及4602)可以佔據同一行，但是存取陣列中之不同列(由於它們之間的間隙)。
圖47描繪VMM高電壓解碼電路，其包括字元線解碼器電路4701、源極線解碼器電路4704及高電壓位準移位器4708，它們適用於圖2所示之類型的記憶體單元。
字元線解碼器電路4701包括如圖所配置之PMOS選擇電晶體4702(由信號HVO_B控制)及NMOS取消選擇電晶體4703(由信號HVO_B控制)。
源極線解碼器電路4704包括如圖所配置之NMOS監視電晶體4705(由信號HVO控制)、驅動電晶體4706(由信號HVO控制)及取消選擇電晶體4707(由信號HVO_B控制)。
高電壓位準移位器4708接收致能信號EN並輸出高電壓信號HV及其互補信號HVO_B。
圖48描繪VMM高電壓解碼電路，其包括抹除閘極解碼器電路4801、控制閘極解碼器電路4804、源極線解碼器電路4807及高電壓位準移位器4811，它們適用於圖3所示之類型的記憶體單元。
抹除閘極解碼器電路4801及控制閘極解碼器電路4804使用與圖47中之字元線解碼器電路4701相同的設計。
源極線解碼器電路4807使用與圖47中之源極線解碼器電路4704相同的設計。
高電壓位準移位器4811使用與圖47中之高電壓位準移位器4708相同的設計。
圖49描繪字元線驅動器4900。字元線驅動器4900選擇一條字元線(例如，在此所示之示例性字元線WL0、WL1、WL2及WL3)，並向那條字元線提供偏壓。每條字元線附接至一個選擇隔離電晶體(例如，選擇電晶體4901)，選擇電晶體4901由控制線4902控制。選擇電晶體(例如，選擇電晶體4901)使在抹除操作期間所使用之高電壓(例如，8-12V)與字元線解碼電晶體隔離，字元線解碼電晶體可以用在低電壓(例如，1.8V、3.3V)下操作之IO電晶體來實現。在此，在任何操作期間，啟動控制線4902，因而導通與選擇電晶體4901相似之所有選擇電晶體。示例性偏壓電晶體4903(字元線解碼電路的一部分)選擇性地將字元線耦接至第一偏壓(例如，3V)，以及示例性偏壓電晶體4904(字元線解碼電路的一部分)選擇性地將字元線耦接至第二偏壓 (低於第一偏壓，包括接地，在接地與第一偏壓之間的偏壓，或者用以減少來自未使用的記憶體列之漏電流的負偏壓)。在ANN(類比神經網路)讀取操作期間，將選擇所有使用的字元線並將連接至第一偏壓。所有未使用的字元線皆連接至第二偏壓。在諸如程式化操作之其它操作期間，將僅選擇一條字元線，而將其它字元線連接至第二偏壓，第二偏壓可以是負偏壓(例如，-0.3至-0.5V或更高)，以減少陣列漏電流。
偏壓電晶體4903及4904耦接至移位暫存器4905的級4906之輸出。移位暫存器4905使每一列能夠根據輸入資料型樣(在ANN操作開始時被載入)而被獨立地控制。
圖50描繪字元線驅動器5000。除每個選擇電晶體進一步耦接至電容器(例如，電容器5001)外，字元線驅動器5000相似於字元線驅動器4900。電容器5001可以在操作開始時向字元線提供預充電或偏壓，這由電晶體5002來允許，以對線5003上的電壓進行取樣。電容器5001用於對每條字元線的輸入電壓進行取樣及保持(S/H)。在VMM陣列的ANN操作(陣列電流加法器及激勵功能)期間，電晶體5004及5005處於關斷狀態，這表示在S/H電容器5001上之電壓將充當個別字元線的(浮動)電壓源。可替代地，電容器5001可以由來自VMM陣列的字元線電容來提供(或者如果輸入是在控制閘極上，則電容器5001提供作為控制閘極電容)。
應當注意，如本文所使用，術語「在上方」及「在上」均包含性地包括「直接在上」(沒有中間材料、元件或空間設置在其間)及「間接在上」(中間材料、元件或空間設置在其間)。同樣地，術語「相鄰」包括「直接相鄰」(沒有中間材料、元件或空間設置在其間)及「間接相鄰」(中間材料、元件或空間設置在其間)，「安裝至」包括「直接安裝至」(沒有中間材料、元件或空間設置在其間)及「間接安裝至」(中間材料、元件或空間設置在其間)，以及「電耦接至」包括「直接電耦接至」(沒有中間材料或元件在其間將元件電連接在一起)及「間接電耦接至」(中間材料或元件在其間將元件電連接在一起)。例如，「在基板上方」形成元件可以包括在基板上直接形成元件而在其間沒有中間材料/元件，以及在基板上間接形成元件而在其間具有一個或多個中間材料/元件。
12:半導體基板 14:源極區域 16:汲極區域 18:通道區域 20:浮動閘極 22:字元線端子(選擇閘極) 24:位元線端子 28:控制閘極(CG)端子 30:抹除閘極 31:數位至類比轉換器 32:VMM系統 32a:MM系統 32b:VMM系統 32c:VMM系統 32d:VMM系統 32e:VMM系統 33:VMM陣列(非揮發性記憶體單元陣列) 34:抹除閘極及字元線閘極解碼器 35:控制閘極解碼器 36:位元線解碼器 37:源極線解碼器 38:差分加法器 39:激勵函數電路 210:記憶體單元 310:記憶體單元 410:四-閘極記憶體單元 510:記憶體單元 610:三-閘極記憶體單元 710:堆疊式閘極記憶體單元 1100:神經元VMM 陣列 1101:非揮發性記憶體單元的記憶體陣列 1102:非揮發性參考記憶體單元的參考陣列 1103:控制閘極線 1104:抹除閘極線 1200:神經元VMM陣列 1201:第一非揮發性參考記憶體單元的參考陣列 1202:第二非揮發性參考記憶體單元的參考陣列 1203:非揮發性記憶體單元的記憶體陣列 1214:多工器 1300:神經元VMM陣列 1301:第一非揮發性參考記憶體單元的參考陣列 1302:第二非揮發性參考記憶體單元的參考陣列 1303:非揮發性記憶體單元的記憶體陣列 1400:神經元VMM陣列 1401:第一非揮發性參考記憶體單元的參考陣列 1402:第二非揮發性參考記憶體單元的參考陣列 1403:非揮發性記憶體單元的記憶體陣列 1404:疊接電晶體 1405:多工器 1412:多工器 1500:神經元VMM陣列 1501:第一非揮發性參考記憶體單元的參考陣列 1502:第二非揮發性參考記憶體單元的參考陣列 1503:非揮發性記憶體單元的記憶體陣列 1514:多工器 1600:LSTM 1601:單元 1602:單元 1603:單元 1604:單元 1700:LSTM單元 1701:S形(sigmoid)函數裝置 1702:S形(sigmoid)函數裝置 1703:S形(sigmoid)函數裝置 1704:雙曲正切(tanh)裝置 1705:雙曲正切(tanh)裝置 1706:乘法裝置 1707:乘法裝置 1708:乘法裝置 1709:加法裝置 1800:LSTM單元 1801:VMM陣列 1802:激勵函數區塊 1900:LSTM單元 1901:VMM陣列 1902:激勵函數區塊 1903:乘法裝置 1904:暫存器 1905:暫存器 1906:暫存器 1907:暫存器 1908:加法裝置 1909:多工器 1910:多工器 2000:GRU 2001:單元 2002:單元 2003:單元 2004:單元 2100:GRU單元 2101:S形(sigmoid)函數裝置 2102:S形(sigmoid)函數裝置 2103:雙曲正切(tanh)裝置 2104:乘法裝置 2105:乘法裝置 2106:乘法裝置 2107:加法裝置 2108:互補裝置 2200:GRU單元 2201:VMM陣列 2202:激勵函數區塊 2300:GRU單元 2301:VMM陣列 2302:激勵函數區塊 2303:乘法裝置 2304:多工器 2305:加法裝置 2306:暫存器 2307:暫存器 2308:暫存器 2309:互補裝置 2400:神經元VMM陣列 2500:神經元VMM陣列 2600:神經元VMM陣列 2700:神經元VMM陣列 2800:神經元VMM陣列 2900:神經元VMM陣列 2901-1-2901-N:位元線控制閘 3000:神經元VMM陣列 3100:神經元VMM陣列 3200:神經元VMM陣列 3300:VMM系統 3301:VMM陣列 3302:低電壓列解碼器 3303:高電壓列解碼器 3304:行解碼器 3305:行驅動器 3306:控制邏輯 3307:偏壓電路 3308:神經元輸出電路區塊 3309:輸入VMM電路區塊 3310:演算法控制器 3311:高電壓產生器區塊 3312:電荷泵 3313:電荷泵調節器 3314:高電壓產生電路 3315:類比電路區塊 3316:控制邏輯 3400:VMM系統 3401:VMM陣列 3402:VMM陣列 3403:VMM陣列 3404:VMM陣列 3405:低電壓列解碼器 3406:低電壓列解碼器 3407:低電壓列解碼器 3408:低電壓列解碼器 3409:共享高電壓列解碼器 3411:字元線或字元輸入線 3412:字元線或字元輸入線 3413:字元線或字元輸入線 3414:字元線或字元輸入線 3421:位元線 3422:位元線 3423:位元線 3424:位元線 3432:控制閘極線 3434:源極線 3436:抹除閘極線 3500:VMM系統 3501:VMM陣列 3502:VMM陣列 3503:VMM陣列 3504:VMM陣列 3505:低電壓讀取列解碼器 3506:低電壓讀取列解碼器 3507:低電壓讀取列解碼器 3508:低電壓讀取列解碼器 3509:共享高電壓列解碼器 3511:讀取字元線或字元輸入線 3512:讀取字元線或字元輸入線 3513:讀取字元線或字元輸入線 3514:讀取字元線或字元輸入線 3515:程式化預解碼列線 3521:位元線 3522:位元線 3523:位元線 3524:位元線 3530:共享低電壓程式化列解碼器 3532:控制閘極線 3533:源極線 3535:抹除閘極線 3600:低電壓讀取列解碼器 3601:陣列 3602:陣列 3603:陣列 3604:陣列 3605:低電壓讀取列解碼器 3606:低電壓讀取列解碼器 3607:低電壓讀取列解碼器 3608:低電壓讀取列解碼器 3611:讀取字元線或字元輸入線 3612:讀取字元線或字元輸入線 3613:讀取字元線或字元輸入線 3614:讀取字元線或字元輸入線 3615:程式化預解碼列線 3631:NAND閘 3632:NAND閘 3633:PMOS電晶體 3635:PMOS電晶體 3636:NMOS電晶體 3700:VMM系統 3701:VMM陣列 3702:VMM陣列 3703:VMM陣列 3704:VMM陣列 3705:低電壓列解碼器 3706:低電壓列解碼器 3707:低電壓列解碼器 3708:低電壓列解碼器 3709:區域高電壓列解碼器 3710:區域高電壓列解碼器 3711:字元線 3712:字元線 3713:字元線 3714:字元線 3721:位元線 3722:位元線 3723:位元線 3724:位元線 3730:全域高電壓列解碼器 3732:高電壓及/或低電壓(HV/LV)預解碼線 3733:源極線 3734:抹除閘極線 3800:VMM系統 3801:陣列 3802:陣列 3803:陣列 3804:陣列 3805:低電壓列解碼器 3806:低電壓列解碼器 3807:低電壓列解碼器 3808:低電壓列解碼器 3809:區域高電壓列解碼器 3810:區域高電壓列解碼器 3811:控制閘極線或控制閘極輸入線 3812:控制閘極線或控制閘極輸入線 3821:位元線 3822:位元線 3823:位元線 3824:位元線 3830:全域高電壓列解碼器 3833:HV/LV預解碼線 3834:源極線 3835:抹除閘極線 3900:VMM系統 3901:VMM陣列 3902:VMM陣列 3903:低電壓列解碼器 3904:全域高電壓列解碼器 3905:區域高電壓列解碼器 3906:位元線 3907:位元線 3908:控制閘極線 3909:控制閘極線 3910:低電壓列解碼線 3911:全域高電壓列解碼線 4000:低電壓列解碼器 4001:NAND閘 4002:PMOS電晶體 4003:NMOS電晶體 4004:列位址信號 4005:垂直字元線輸入 4006:水平字元線 4100:組合的共選擇/取消選擇字元線及控制閘極解碼器 4101:NAND閘 4102:PMOS電晶體 4103:NMOS電晶體 4104:列位址信號 4105:垂直輸入字元線 4106:水平字元輸出線 4107:反相器 4108:開關 4109:隔離電晶體 4110:控制閘極輸入 4111:控制閘極線 4112:開關 4200:位元線解碼器 4201:VMM陣列 4201a:陣列 4201b:區域位元線多工器 4202:VMM陣列 4202a:陣列 4202b:區域位元線多工器 4203:行多工器 4204:感測放大器 4220x:全域位元線 4300:VMM系統 4301:VMM陣列 4302:VMM陣列 4303:VMM陣列 4304:VMM陣列 4305:低電壓列解碼器 4306:區域高電壓列解碼器 4307:低電壓列解碼器 4308:區域高電壓列解碼器 4309:全域高電壓列解碼器 4311:數位匯流排輸入 4312:數位匯流排輸入 4321:位元線 4322:位元線 4323:位元線 4324:位元線 4331:資料輸入區塊 4332:區塊 4333:信號 4335:電路區塊列解碼器 4400:神經網路陣列輸入/輸出匯流排多工器 4401:控制邏輯 4402:控制信號 4601:字元線 4602:字元線 4701:字元線解碼器電路 4702:PMOS選擇電晶體 4703:NMOS取消選擇電晶體 4704:源極線解碼器電路 4705:NMOS監視電晶體 4706:驅動電晶體 4707:取消選擇電晶體 4708:高電壓位準移位器 4801:抹除閘極解碼器電路 4804:控制閘極解碼器電路 4807:源極線解碼器電路 4811:高電壓位準移位器 4900:字元線驅動器 4901:選擇電晶體 4902:控制線 4903:偏壓電晶體 4904:偏壓電晶體 4905:移位暫存器 4906:級 5000:字元線驅動器 5001:電容器 5002:電晶體 5003:線 5004:電晶體 5005:電晶體 5100:VMM系統 5101:VMM陣列 5102:VMM陣列 5103:VMM陣列 5104:VMM陣列 5111:輸入字元線 5112:輸入字元線 5121:位元線 5122:位元線 5123:位元線 5124:位元線 5130:高電壓解碼器 5132:控制閘極線 5133:源極線 5134:抹除閘極線 5151:路由區塊 5152:路由區塊 BL0-BLN:位元線 BLR0:端子 BLR1:端子 BLR2:端子 BLR3:端子 c0 :單元狀態向量 c1 :單元狀態向量 c2 :單元狀態向量 c(t-1):單元狀態向量 c(t):單元狀態向量 C1:層 C2:層 C3:層 CB1:突觸 CB2:突觸 CB3:突觸 CB4:突觸 CG0:控制閘極線(電壓輸入) CG1:控制閘極線(電壓輸入) CG2:控制閘極線(電壓輸入) CG3:控制閘極線(電壓輸入) CG0 -CGM :控制閘極線 CG0 -CGN :控制閘極線 EG0:EG線 EG1:EG線 EGR0:EG線 EGR1:EG線 h0 :輸出向量 h1 :輸出向量 h2 :輸出向量 h3 :輸出向量 h(t-1):輸出向量 h(t):輸出向量 INPUT0 -INPUTM :輸入 INPUT0 -INPUTN :輸入 Inputx:輸入 OUTPUT0 -OUTPUTN :輸出 P1:激勵函數 P2:激勵函數 S0:輸入層 S1:層 S2:層 S3:輸出層 SL0 :源極線 SL1 :源極線 SL2 :源極線 SL3 :源極線 SL0 -SLN :源極線 Sp:開關 Sr:開關 WL0:電壓輸入(字元線) WL1:電壓輸入(字元線) WL2:電壓輸入(字元線) WL3:電壓輸入(字元線) WL0 -WLM :字元線 WLA0:字元線 WLA1:字元線 WLA2:字元線 WLA3:字元線 WLB0:字元線 WLB1:字元線 WLB2:字元線 WLB3:字元線 Wlp0-n:程式化字元線 x0 :輸入向量 x1 :輸入向量 x2 :輸入向量 x3 :輸入向量 x(t):輸入向量
圖1係說明習知技藝的人工神經網路之示圖。
圖2描繪習知技藝的分離式閘極快閃記憶體單元。
圖3描繪另一個習知技藝的分離式閘極快閃記憶體單元。
圖4描繪另一個習知技藝的分離式閘極快閃記憶體單元。
圖5描繪另一個習知技藝的分離式閘極快閃記憶體單元。
圖6描繪另一個習知技藝的分離式閘極快閃記憶體單元。
圖7描繪習知技藝的堆疊式閘極快閃記憶體單元。
圖8係說明利用一個或多個非揮發性記憶體陣列之示例性人工神經網路的不同層級之示圖。
圖9係說明向量矩陣乘法系統的方塊圖。
圖10係說明利用一個或多個向量矩陣乘法系統之示例性人工神經網路的方塊圖。
圖11描繪向量矩陣乘法系統的另一個具體例。
圖12描繪向量矩陣乘法系統的另一個具體例。
圖13描繪向量矩陣乘法系統的另一個具體例。
圖14描繪向量矩陣乘法系統的另一個具體例。
圖15描繪向量矩陣乘法系統的另一個具體例。
圖16描繪習知技藝的長短期記憶體系統。
圖17描繪用於長短期記憶體系統中之一個示例性單元。
圖18描繪圖17的示例性單元之一個具體例。
圖19描繪圖17的示例性單元之另一個具體例。
圖20描繪習知技藝的閘控遞歸單元系統(gated recurrent unit system)。
圖21描繪用於閘控遞歸單元系統中之一個示例性單元。
圖22描繪圖21的示例性單元之一個具體例。
圖23描繪圖21的示例性單元之另一個具體例。
圖24描繪向量矩陣乘法系統的另一個具體例。
圖25描繪向量矩陣乘法系統的另一個具體例。
圖26描繪向量矩陣乘法系統的另一個具體例。
圖27描繪向量矩陣乘法系統的另一個具體例。
圖28描繪向量矩陣乘法系統的另一個具體例。
圖29描繪向量矩陣乘法系統的另一個具體例。
圖30描繪向量矩陣乘法系統的另一個具體例。
圖31描繪向量矩陣乘法系統的另一個具體例。
圖32描繪向量矩陣乘法系統的另一個具體例。
圖33描繪向量矩陣乘法系統的示例性方塊圖。
圖34描繪向量矩陣乘法系統的一個示例性解碼具體例。
圖35描繪向量矩陣乘法系統的另一個示例性解碼具體例。
圖36描繪一個示例性列解碼器。
圖37描繪向量矩陣乘法系統的另一個示例性解碼具體例。
圖38描繪向量矩陣乘法系統的另一個示例性解碼具體例。
圖39描繪向量矩陣乘法系統的另一個示例性解碼具體例。
圖40描繪低電壓列解碼器的一個具體例。
圖41描繪組合式低電壓列解碼器及控制閘極解碼器的一個具體例。
圖42描繪位元線解碼器的一個具體例。
圖43描繪向量矩陣乘法系統及輸入區塊。
圖44描繪用於接收來自一個陣列的輸出並將輸入以多工方式提供至一個或多個陣列的多工器。
圖45A及圖45B描繪向量矩陣乘法系統的示例性佈局。
圖46描繪向量矩陣乘法系統的示例性佈局。
圖47描繪與向量矩陣乘法器一起使用之字元解碼器電路、源極線解碼器電路及高電壓位準移位器。
圖48描繪與向量矩陣乘法器一起使用之抹除閘極解碼器電路、控制閘極解碼器電路、源極線解碼器電路及高電壓位準移位器。
圖49描繪與向量矩陣乘法器一起使用之字元線驅動器的另一個具體例。
圖50描繪與向量矩陣乘法器一起使用之字元線驅動器的另一個具體例。
圖51描繪向量矩陣乘法系統的另一個示例性解碼具體例。
C1:層
C2:層
C3:層
CB1:突觸
CB2:突觸
CB3:突觸
CB4:突觸
P1:激勵函數
P2:激勵函數
S0:輸入層
S1:層
S2:層
S3:輸出層

Claims (29)

  1. 一種類比神經記憶體系統，包括：一向量矩陣乘法陣列，其包括組織成列與行之一非揮發性記憶體單元陣列，其中每個記憶體單元包括一位元線端子、一控制閘極端子及一字元線端子，其中，該等非揮發性記憶體單元係分離式閘極快閃記憶體單元或堆疊式閘極快閃記憶體單元；複數條位元線，其中該複數條位元線中之每條位元線耦接至一行記憶體單元的位元線端子；複數條控制閘極線，其中該複數條控制閘極線中之每條控制閘極線耦接至一列記憶體單元的控制閘極端子；以及複數條字元線，其中該複數條字元線中之每條字元線耦接至一列記憶體單元的字元線端子，其中該複數條控制閘極線平行於該複數條位元線且垂直於該複數條字元線。
  2. 如請求項1之系統，其中，該等非揮發性記憶體單元係分離式閘極快閃記憶體單元。
  3. 如請求項1之系統，其中，該等非揮發性記憶體單元係堆疊式閘極快閃記憶體單元。
  4. 一種類比神經記憶體系統，包括：複數個向量矩陣乘法陣列，每個陣列包括組織成列與行之非揮發性記憶體單元，其中，該等非揮發性記憶體單元係分離式閘極快閃記憶體單元或堆疊式閘極快閃記憶體單元； 複數個低電壓列解碼器，每個低電壓列解碼器提供一列解碼器功能給該複數個向量矩陣乘法陣列中之一者；以及複數個全域高電壓列解碼器，每個全域高電壓列解碼器由該複數個向量矩陣乘法陣列中之兩個向量矩陣乘法陣列共享，並且提供高電壓信號至該複數個低電壓列解碼器中之兩個低電壓列解碼器。
  5. 如請求項4之系統，其中，該等非揮發性記憶體單元係分離式閘極快閃記憶體單元。
  6. 如請求項4之系統，其中，該等非揮發性記憶體單元係堆疊式閘極快閃記憶體單元。
  7. 一種類比神經記憶體系統，包括：一向量矩陣乘法陣列，其包括組織成列與行之一非揮發性記憶體單元陣列，其中每個記憶體單元包括一控制閘極端子及一字元線端子，其中，該等非揮發性記憶體單元係分離式閘極快閃記憶體單元或堆疊式閘極快閃記憶體單元；複數條字元線，其中該複數條字元線中之每條字元線耦接至一列記憶體單元的字元線端子；複數條控制閘極線，其中該複數條控制閘極線中之每條控制閘極線耦接至一列記憶體單元的控制閘極端子；以及複數個解碼器，每個解碼器選擇性地耦接至該複數條字元線以便提供一列解碼器功能，及耦接至該複數條控制閘極線以便提供一控制閘極解碼器功能中之一或二者。
  8. 如請求項7之系統，其中，該解碼器選擇性地耦接至該 複數條字元線，並且其中該列解碼器功能可以被選擇或取消選擇。
  9. 如請求項7之系統，其中，該解碼器選擇性地耦接至該等控制閘極線，並且其中該控制閘極解碼器功能可以被選擇或取消選擇。
  10. 如請求項8之系統，其中，該解碼器進一步選擇性地耦接至該等控制閘極線，並且其中該控制閘極解碼器功能可以被選擇或取消選擇。
  11. 如請求項7之系統，其中，該等非揮發性記憶體單元係分離式閘極快閃記憶體單元。
  12. 如請求項7之系統，其中，該等非揮發性記憶體單元係堆疊式閘極快閃記憶體單元。
  13. 一種類比神經記憶體系統，包括：一向量矩陣乘法陣列，其包括組織成列與行之一非揮發性記憶體單元陣列，其中每個記憶體單元包括一位元線端子、一源極線端子、一控制閘極端子及一字元線端子，其中，該等非揮發性記憶體單元係分離式閘極快閃記憶體單元或堆疊式閘極快閃記憶體單元；複數條位元線，其中該複數條位元線中之每條位元線耦接至一行記憶體單元的位元線端子；複數條字元線，其中該複數條字元線中之每條字元線耦接至一列記憶體單元的字元線端子；複數條控制閘極線，其中該複數條控制閘極線中之每條控制閘極線耦接至一列記憶體單元的控制閘極端子； 複數條源極線，其中該複數條源極線中之每條源極線耦接至兩列記憶體單元的源極線端子；一輸出區塊，其耦接至該複數條位元線；一輸入區塊，其耦接至該複數條字元線、該複數條控制閘極線或該複數條源極線；以及一多工器，用於接收來自該輸出區塊的位元，並且提供該等位元的一部分至該輸入區塊或一耦接至另一個向量矩陣乘法陣列之輸入區塊，以回應控制信號。
  14. 如請求項13之系統，其中，該等非揮發性記憶體單元係分離式閘極快閃記憶體單元。
  15. 如請求項13之系統，其中，該等非揮發性記憶體單元係堆疊式閘極快閃記憶體單元。
  16. 如請求項13之系統，其中，該多工器係一時分多工器。
  17. 一種類比神經記憶體系統，包括：複數條全域位元線；複數個感測放大器，該複數個感測放大器中之每個感測放大器耦接至該複數條全域位元線中之一者；一行多工器，其耦接至該複數條全域位元線，以便選擇用於一程式化及驗證操作之該複數條全域位元線中之一條或多條全域位元線；以及複數個向量矩陣乘法陣列，每個向量矩陣乘法陣列包括：一非揮發性記憶體單元陣列，其組織成列與行，每個記憶體單元包括一位元線端子，其中，該等非揮發性記憶體單元係分離式閘極快閃記 憶體單元或堆疊式閘極快閃記憶體單元；複數條區域位元線，該複數條區域位元線中之每條區域位元線耦接至該陣列中之個別的一行記憶體單元之位元線端子；以及複數個多工器，用於將該複數條區域位元線耦接至該複數條全域位元線，其中該行多工器及該複數個感測放大器由該複數個向量矩陣乘法陣列共享。
  18. 如請求項17之系統，其中，該等非揮發性記憶體單元係分離式閘極快閃記憶體單元。
  19. 如請求項17之系統，其中，該等非揮發性記憶體單元係堆疊式閘極快閃記憶體單元。
  20. 如請求項17之系統，其中，該感測放大器係一類比至數位轉換器。
  21. 一種類比神經記憶體系統，包括：一第一向量矩陣乘法陣列，其包括組織成列與行之一非揮發性記憶體單元陣列，每個記憶體單元包括一位元線端子及一控制閘極端子，其中，該等非揮發性記憶體單元係分離式閘極快閃記憶體單元或堆疊式閘極快閃記憶體單元；一第二向量矩陣乘法陣列，其包括組織成列與行之一非揮發性記憶體單元陣列，每個記憶體單元包括一位元線端子、一字元線端子及一控制閘極端子；一高電壓列解碼器，用於施加一高電壓至該第一向量矩陣乘法陣列內 之一被選列及該第二向量矩陣乘法陣列內之一被選列中的單元之字元線端子；一第一組控制閘極線，該等控制閘極線中之每條控制閘極線耦接至該第一向量矩陣乘法陣列中之一列單元的控制閘極端子，而不耦接至該第二向量矩陣乘法陣列；以及一第二組控制閘極線，該等控制閘極線中之每條控制閘極線耦接至該第二向量矩陣乘法陣列中之一列單元的控制閘極端子，而不耦接至該第一向量矩陣乘法陣列。
  22. 如請求項21之系統，其中，該等非揮發性記憶體單元係分離式閘極快閃記憶體單元。
  23. 如請求項21之系統，其中，該等非揮發性記憶體單元係堆疊式閘極快閃記憶體單元。
  24. 一種類比神經記憶體系統，包括：複數個向量矩陣乘法陣列，每個向量矩陣乘法陣列包括組織成列與行之一非揮發性記憶體單元陣列，其中每個記憶體單元包括一字元線端子；複數個讀取列解碼器，每個讀取列解碼器耦接至該複數個向量矩陣乘法陣列中之一者，以便在一讀取操作期間施加一電壓至一個或多個被選列；一共享程式化列解碼器，其耦接至所有該複數個向量矩陣乘法陣列，以便在一程式化操作期間施加一電壓至該等向量矩陣乘法陣列中之一個或多個向量矩陣乘法陣列內的一個或多個被選列。
  25. 如請求項24之系統，其中，該等非揮發性記憶體單元係分離式閘極快閃記憶體單元。
  26. 如請求項24之系統，其中，該等非揮發性記憶體單元係堆疊式閘極快閃記憶體單元。
  27. 一種類比神經記憶體系統，包括：複數個向量矩陣乘法陣列，每個陣列包括組織成列與行之非揮發性記憶體單元，其中，該等非揮發性記憶體單元係分離式閘極快閃記憶體單元或堆疊式閘極快閃記憶體單元；複數個低電壓列解碼器，每個低電壓列解碼器提供一列解碼器功能給該複數個向量矩陣乘法陣列中之一者；以及一高電壓列解碼器，其由該複數個向量矩陣乘法陣列共享，並且提供高電壓信號至一陣列中之一個或多個非揮發性記憶體單元的一個或多個端子。
  28. 如請求項27之系統，其中，該等非揮發性記憶體單元係分離式閘極快閃記憶體單元。
  29. 如請求項27之系統，其中，該等非揮發性記憶體單元係堆疊式閘極快閃記憶體單元。
TW109108295A 2019-04-29 2020-03-13 用於深度學習人工神經網路中之類比神經記憶體的解碼系統與實體佈局 TWI780415B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201962840318P 2019-04-29 2019-04-29
US62/840,318 2019-04-29
US16/503,355 2019-07-03
US16/503,355 US11423979B2 (en) 2019-04-29 2019-07-03 Decoding system and physical layout for analog neural memory in deep learning artificial neural network
USPCT/US19/61900 2019-11-17
PCT/US2019/061900 WO2020222867A1 (en) 2019-04-29 2019-11-17 Decoding system and physical layout for analog neural memory in deep learning artificial neural network

Publications (2)

Publication Number Publication Date
TW202107304A TW202107304A (zh) 2021-02-16
TWI780415B true TWI780415B (zh) 2022-10-11

Family

ID=72921758

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109108295A TWI780415B (zh) 2019-04-29 2020-03-13 用於深度學習人工神經網路中之類比神經記憶體的解碼系統與實體佈局

Country Status (7)

Country Link
US (2) US11423979B2 (zh)
EP (1) EP3963512B1 (zh)
JP (2) JP7464623B2 (zh)
KR (2) KR102657708B1 (zh)
CN (1) CN113748432A (zh)
TW (1) TWI780415B (zh)
WO (1) WO2020222867A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11023559B2 (en) 2019-01-25 2021-06-01 Microsemi Soc Corp. Apparatus and method for combining analog neural net with FPGA routing in a monolithic integrated circuit
US11829729B2 (en) * 2019-09-05 2023-11-28 Micron Technology, Inc. Spatiotemporal fused-multiply-add, and related systems, methods and devices
US11693657B2 (en) 2019-09-05 2023-07-04 Micron Technology, Inc. Methods for performing fused-multiply-add operations on serially allocated data within a processing-in-memory capable memory device, and related memory devices and systems
US11934824B2 (en) 2019-09-05 2024-03-19 Micron Technology, Inc. Methods for performing processing-in-memory operations, and related memory devices and systems
US11562205B2 (en) * 2019-09-19 2023-01-24 Qualcomm Incorporated Parallel processing of a convolutional layer of a neural network with compute-in-memory array
US11017851B1 (en) 2019-11-26 2021-05-25 Cypress Semiconductor Corporation Silicon-oxide-nitride-oxide-silicon based multi level non-volatile memory device and methods of operation thereof
US20210350217A1 (en) * 2020-05-10 2021-11-11 Silicon Storage Technology, Inc. Analog neural memory array in artificial neural network with source line pulldown mechanism
US11537861B2 (en) 2020-06-23 2022-12-27 Micron Technology, Inc. Methods of performing processing-in-memory operations, and related devices and systems
US11875852B2 (en) * 2020-07-06 2024-01-16 Silicon Storage Technology, Inc. Adaptive bias decoder to provide a voltage to a control gate line in an analog neural memory array in artificial neural network
TWI839588B (zh) * 2020-11-25 2024-04-21 美商英飛淩科技有限責任公司 基於矽-氧化物-氮化物-氧化物-矽的多階非揮發性記憶體裝置及操作其之方法
CN112633487B (zh) * 2020-12-25 2022-05-20 北京大学 一种卷积神经网络最大池化层电路
US20230022516A1 (en) * 2021-07-23 2023-01-26 Taiwan Semiconductor Manufacturing Company, Ltd. Compute-in-memory systems and methods with configurable input and summing units
US12040015B2 (en) * 2022-06-24 2024-07-16 Macronix International Co., Ltd. Memory device and operation method thereof for performing multiply-accumulate operation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040150032A1 (en) * 2003-01-30 2004-08-05 Ching-Yuan Wu Stack-gate flash cell structure having a high coupling ratio and its contactless flash memory arrays
TW201517524A (zh) * 2013-10-22 2015-05-01 Phison Electronics Corp 解碼方法、解碼電路、記憶體儲存裝置與控制電路單元
US20190042199A1 (en) * 2018-09-28 2019-02-07 Intel Corporation Compute in memory circuits with multi-vdd arrays and/or analog multipliers
US20190088329A1 (en) * 2017-09-15 2019-03-21 Silicon Storage Technology, Inc System And Method For Implementing Configurable Convoluted Neural Networks With Flash Memories

Family Cites Families (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2603414B1 (fr) 1986-08-29 1988-10-28 Bull Sa Amplificateur de lecture
JPH06103782B2 (ja) 1987-04-17 1994-12-14 日本シイエムケイ株式会社 プリント配線板
US5055897A (en) 1988-07-27 1991-10-08 Intel Corporation Semiconductor cell for neural network and the like
US4904881A (en) 1989-02-10 1990-02-27 Intel Corporation EXCLUSIVE-OR cell for neural network and the like
US5621336A (en) 1989-06-02 1997-04-15 Shibata; Tadashi Neuron circuit
JP3122756B2 (ja) 1991-01-12 2001-01-09 直 柴田 半導体装置
JPH0318985A (ja) 1989-06-16 1991-01-28 Hitachi Ltd 情報処理装置
US4961002A (en) 1989-07-13 1990-10-02 Intel Corporation Synapse cell employing dual gate transistor structure
US5028810A (en) 1989-07-13 1991-07-02 Intel Corporation Four quadrant synapse cell employing single column summing line
KR920010344B1 (ko) 1989-12-29 1992-11-27 삼성전자주식회사 반도체 메모리 어레이의 구성방법
US5242848A (en) 1990-01-22 1993-09-07 Silicon Storage Technology, Inc. Self-aligned method of making a split gate single transistor non-volatile electrically alterable semiconductor memory device
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
JP2746350B2 (ja) 1990-05-22 1998-05-06 インターナショナル・ビジネス・マシーンズ・コーポレーション 学習機械シナプス・プロセッサ・システム装置
US5150450A (en) 1990-10-01 1992-09-22 The United States Of America As Represented By The Secretary Of The Navy Method and circuits for neuron perturbation in artificial neural network memory modification
US5146602A (en) 1990-12-26 1992-09-08 Intel Corporation Method of increasing the accuracy of an analog neural network and the like
US5138576A (en) 1991-11-06 1992-08-11 Altera Corporation Method and apparatus for erasing an array of electrically erasable EPROM cells
US7071060B1 (en) 1996-02-28 2006-07-04 Sandisk Corporation EEPROM with split gate source side infection with sidewall spacers
EP0562737B1 (en) 1992-03-26 1998-06-17 Hitachi, Ltd. Flash memory
US5336936A (en) 1992-05-06 1994-08-09 Synaptics, Incorporated One-transistor adaptable analog storage element and array
US5264734A (en) 1992-05-19 1993-11-23 Intel Corporation Difference calculating neural network utilizing switched capacitors
US5256911A (en) 1992-06-10 1993-10-26 Intel Corporation Neural network with multiplexed snyaptic processing
US5298796A (en) 1992-07-08 1994-03-29 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Nonvolatile programmable neural network synaptic array
US5386132A (en) 1992-11-02 1995-01-31 Wong; Chun C. D. Multimedia storage system with highly compact memory device
JP2835272B2 (ja) 1993-12-21 1998-12-14 株式会社東芝 半導体記憶装置
KR0151623B1 (ko) 1994-12-07 1998-10-01 문정환 이이피롬 셀 및 그 제조방법
US5990512A (en) 1995-03-07 1999-11-23 California Institute Of Technology Hole impact ionization mechanism of hot electron injection and four-terminal ρFET semiconductor structure for long-term learning
US5825063A (en) 1995-03-07 1998-10-20 California Institute Of Technology Three-terminal silicon synaptic device
US6965142B2 (en) 1995-03-07 2005-11-15 Impinj, Inc. Floating-gate semiconductor structures
US5554874A (en) 1995-06-05 1996-09-10 Quantum Effect Design, Inc. Six-transistor cell with wide bit-line pitch, double words lines, and bit-line contact shared among four cells
US5721702A (en) 1995-08-01 1998-02-24 Micron Quantum Devices, Inc. Reference voltage generator using flash memory cells
US5966332A (en) 1995-11-29 1999-10-12 Sanyo Electric Co., Ltd. Floating gate memory cell array allowing cell-by-cell erasure
US6683645B1 (en) 1995-12-01 2004-01-27 Qinetiq Limited Imaging system with low sensitivity to variation in scene illumination
US5748534A (en) 1996-03-26 1998-05-05 Invox Technology Feedback loop for reading threshold voltage
US6389404B1 (en) 1998-12-30 2002-05-14 Irvine Sensors Corporation Neural processing module with input architectures that make maximal use of a weighted synapse array
US6222777B1 (en) 1999-04-09 2001-04-24 Sun Microsystems, Inc. Output circuit for alternating multiple bit line per column memory architecture
US6232180B1 (en) 1999-07-02 2001-05-15 Taiwan Semiconductor Manufacturing Corporation Split gate flash memory cell
US6282119B1 (en) 2000-06-02 2001-08-28 Winbond Electronics Corporation Mixed program and sense architecture using dual-step voltage scheme in multi-level data storage in flash memories
US6829598B2 (en) 2000-10-02 2004-12-07 Texas Instruments Incorporated Method and apparatus for modeling a neural synapse function by utilizing a single conventional MOSFET
US6563167B2 (en) 2001-01-05 2003-05-13 Silicon Storage Technology, Inc. Semiconductor memory array of floating gate memory cells with floating gates having multiple sharp edges
US6563733B2 (en) 2001-05-24 2003-05-13 Winbond Electronics Corporation Memory array architectures based on a triple-polysilicon source-side injection non-volatile memory cell
EP1274096B1 (en) * 2001-07-06 2007-09-19 Halo Lsi Design and Device Technology Inc. Control gate and word line voltage boosting scheme for twin MONOS memory cells
KR100983295B1 (ko) 2002-03-22 2010-09-24 조지아 테크 리서치 코오포레이션 부동 게이트 아날로그 회로
US6747310B2 (en) 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
JP2004171686A (ja) 2002-11-20 2004-06-17 Renesas Technology Corp 不揮発性半導体記憶装置およびそのデータ消去方法
JP4601287B2 (ja) 2002-12-26 2010-12-22 ルネサスエレクトロニクス株式会社 不揮発性半導体記憶装置
US6822910B2 (en) 2002-12-29 2004-11-23 Macronix International Co., Ltd. Non-volatile memory and operating method thereof
US6856551B2 (en) 2003-02-06 2005-02-15 Sandisk Corporation System and method for programming cells in non-volatile integrated memory devices
US6946894B2 (en) 2003-06-12 2005-09-20 Winbond Electronics Corporation Current-mode synapse multiplier circuit
ATE542176T1 (de) 2003-10-16 2012-02-15 Canon Kk Betriebsschaltung und betriebssteuerverfahren dafür
TWI220560B (en) 2003-10-27 2004-08-21 Powerchip Semiconductor Corp NAND flash memory cell architecture, NAND flash memory cell array, manufacturing method and operating method of the same
US7315056B2 (en) 2004-06-07 2008-01-01 Silicon Storage Technology, Inc. Semiconductor memory array of floating gate memory cells with program/erase and select gates
US7092290B2 (en) 2004-11-16 2006-08-15 Sandisk Corporation High speed programming system with reduced over programming
US7286439B2 (en) * 2004-12-30 2007-10-23 Sandisk 3D Llc Apparatus and method for hierarchical decoding of dense memory arrays using multiple levels of multiple-headed decoders
TWI270199B (en) 2005-01-31 2007-01-01 Powerchip Semiconductor Corp Non-volatile memory and manufacturing method and operating method thereof
US8443169B2 (en) 2005-03-28 2013-05-14 Gerald George Pechanek Interconnection network connecting operation-configurable nodes according to one or more levels of adjacency in multiple dimensions of communication in a multi-processor and a neural processor
US7304890B2 (en) 2005-12-13 2007-12-04 Atmel Corporation Double byte select high voltage line for EEPROM memory block
US7626868B1 (en) 2007-05-04 2009-12-01 Flashsilicon, Incorporation Level verification and adjustment for multi-level cell (MLC) non-volatile memory (NVM)
KR100910869B1 (ko) 2007-06-08 2009-08-06 주식회사 하이닉스반도체 테스트시 필요한 채널의 갯수를 줄인 반도체 메모리장치
US7733262B2 (en) 2007-06-15 2010-06-08 Micron Technology, Inc. Quantizing circuits with variable reference signals
US7630246B2 (en) 2007-06-18 2009-12-08 Micron Technology, Inc. Programming rate identification and control in a solid state memory
US20090039410A1 (en) 2007-08-06 2009-02-12 Xian Liu Split Gate Non-Volatile Flash Memory Cell Having A Floating Gate, Control Gate, Select Gate And An Erase Gate With An Overhang Over The Floating Gate, Array And Method Of Manufacturing
JP2009080892A (ja) * 2007-09-26 2009-04-16 Toshiba Corp 半導体記憶装置
US7894267B2 (en) 2007-10-30 2011-02-22 Spansion Llc Deterministic programming algorithm that provides tighter cell distributions with a reduced number of programming pulses
US7746698B2 (en) 2007-12-13 2010-06-29 Spansion Llc Programming in memory devices using source bitline voltage bias
JP4513865B2 (ja) 2008-01-25 2010-07-28 セイコーエプソン株式会社 並列演算装置および並列演算方法
JP2010267341A (ja) 2009-05-15 2010-11-25 Renesas Electronics Corp 半導体装置
US8204927B1 (en) 2010-03-15 2012-06-19 California Institute Of Technology System and method for cognitive processing for data fusion
JP5300773B2 (ja) * 2010-03-29 2013-09-25 ルネサスエレクトロニクス株式会社 不揮発性半導体記憶装置
US9665822B2 (en) 2010-06-30 2017-05-30 International Business Machines Corporation Canonical spiking neuron network for spatiotemporal associative memory
US8325521B2 (en) 2010-10-08 2012-12-04 Taiwan Semiconductor Manufacturing Company, Ltd. Structure and inhibited operation of flash memory with split gate
US8473439B2 (en) 2010-12-08 2013-06-25 International Business Machines Corporation Integrate and fire electronic neurons
US8892487B2 (en) 2010-12-30 2014-11-18 International Business Machines Corporation Electronic synapses for reinforcement learning
JP2013041654A (ja) 2011-08-19 2013-02-28 Toshiba Corp 不揮発性記憶装置
US8909576B2 (en) 2011-09-16 2014-12-09 International Business Machines Corporation Neuromorphic event-driven neural computing architecture in a scalable neural network
US8760955B2 (en) 2011-10-21 2014-06-24 Taiwan Semiconductor Manufacturing Company, Ltd. Electrical fuse memory arrays
WO2014021150A1 (ja) 2012-07-31 2014-02-06 シャープ株式会社 表示装置およびその駆動方法
US9466732B2 (en) 2012-08-23 2016-10-11 Silicon Storage Technology, Inc. Split-gate memory cell with depletion-mode floating gate channel, and method of making same
US9123401B2 (en) * 2012-10-15 2015-09-01 Silicon Storage Technology, Inc. Non-volatile memory array and method of using same for fractional word programming
US9153230B2 (en) 2012-10-23 2015-10-06 Google Inc. Mobile speech recognition hardware accelerator
CN103000218A (zh) 2012-11-20 2013-03-27 上海宏力半导体制造有限公司 存储器电路
US9275748B2 (en) 2013-03-14 2016-03-01 Silicon Storage Technology, Inc. Low leakage, low threshold voltage, split-gate flash cell operation
JP5659361B1 (ja) 2013-07-04 2015-01-28 パナソニックＩｐマネジメント株式会社 ニューラルネットワーク回路、およびその学習方法
US10019470B2 (en) 2013-10-16 2018-07-10 University Of Tennessee Research Foundation Method and apparatus for constructing, using and reusing components and structures of an artifical neural network
US20150213898A1 (en) 2014-01-27 2015-07-30 Silicon Storage Technololgy, Inc. Byte Erasable Non-volatile Memory Architecture And Method Of Erasing Same
US20150324691A1 (en) 2014-05-07 2015-11-12 Seagate Technology Llc Neural network connections using nonvolatile memory devices
US9286982B2 (en) 2014-08-08 2016-03-15 Silicon Storage Technology, Inc. Flash memory system with EEPROM functionality
US9760533B2 (en) 2014-08-14 2017-09-12 The Regents On The University Of Michigan Floating-gate transistor array for performing weighted sum computation
US9922715B2 (en) * 2014-10-03 2018-03-20 Silicon Storage Technology, Inc. Non-volatile split gate memory device and a method of operating same
US10312248B2 (en) 2014-11-12 2019-06-04 Silicon Storage Technology, Inc. Virtual ground non-volatile memory array
US9361991B1 (en) 2014-12-23 2016-06-07 Sandisk Technologies Inc. Efficient scanning of nonvolatile memory blocks
CN104615909B (zh) 2015-02-02 2018-02-13 天津大学 基于FPGA的Izhikevich神经元网络同步放电仿真平台
CN105990367B (zh) 2015-02-27 2019-03-12 硅存储技术公司 具有rom单元的非易失性存储器单元阵列
US9672930B2 (en) * 2015-05-29 2017-06-06 Silicon Storage Technology, Inc. Low power operation for flash memory system
US9972395B2 (en) * 2015-10-05 2018-05-15 Silicon Storage Technology, Inc. Row and column decoders comprising fully depleted silicon-on-insulator transistors for use in flash memory systems
WO2017131653A1 (en) 2016-01-27 2017-08-03 Hewlett Packard Enterprise Development Lp In situ transposition
US20170330070A1 (en) 2016-02-28 2017-11-16 Purdue Research Foundation Spin orbit torque based electronic neuron
US10269440B2 (en) 2016-05-17 2019-04-23 Silicon Storage Technology, Inc. Flash memory array with individual memory cell read, program and erase
JP6716022B2 (ja) 2016-05-17 2020-07-01 シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． 個々のメモリセルが読み出し、プログラミング、及び消去される３ゲートフラッシュメモリセルアレイ
US11308383B2 (en) 2016-05-17 2022-04-19 Silicon Storage Technology, Inc. Deep learning neural network classifier using non-volatile memory array
CN107425003B (zh) 2016-05-18 2020-07-14 硅存储技术公司 制造分裂栅非易失性闪存单元的方法
US9910827B2 (en) 2016-07-01 2018-03-06 Hewlett Packard Enterprise Development Lp Vector-matrix multiplications involving negative values
US10346347B2 (en) 2016-10-03 2019-07-09 The Regents Of The University Of Michigan Field-programmable crossbar array for reconfigurable computing
WO2018106969A1 (en) 2016-12-09 2018-06-14 Hsu Fu Chang Three-dimensional neural network array
US10860923B2 (en) 2016-12-20 2020-12-08 Samsung Electronics Co., Ltd. High-density neuromorphic computing element
JP6906058B2 (ja) 2017-02-24 2021-07-21 エーエスエムエル ネザーランズ ビー．ブイ． 機械学習によるプロセスモデルの決定方法
US10748059B2 (en) 2017-04-05 2020-08-18 International Business Machines Corporation Architecture for an electrochemical artificial neural network
US20200050099A1 (en) 2017-05-26 2020-02-13 Asml Netherlands B.V. Assist feature placement based on machine learning
US10482929B2 (en) 2017-07-13 2019-11-19 Qualcomm Incorporated Non-volative (NV) memory (NVM) matrix circuits employing NVM matrix circuits for performing matrix computations
US10460817B2 (en) * 2017-07-13 2019-10-29 Qualcomm Incorporated Multiple (multi-) level cell (MLC) non-volatile (NV) memory (NVM) matrix circuits for performing matrix computations with multi-bit input vectors
CN109522753B (zh) 2017-09-18 2020-11-06 清华大学 电路结构及其驱动方法、芯片及其认证方法、电子设备
US10303998B2 (en) 2017-09-28 2019-05-28 International Business Machines Corporation Floating gate for neural network inference
US10748630B2 (en) 2017-11-29 2020-08-18 Silicon Storage Technology, Inc. High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks
US11354562B2 (en) * 2018-01-03 2022-06-07 Silicon Storage Technology, Inc. Programmable neuron for analog non-volatile memory in deep learning artificial neural network
US10552510B2 (en) * 2018-01-11 2020-02-04 Mentium Technologies Inc. Vector-by-matrix multiplier modules based on non-volatile 2D and 3D memory arrays
US20190237470A1 (en) * 2018-01-31 2019-08-01 Sandisk Technologies Llc Vertical 1t ferroelectric memory cells, memory arrays and methods of forming the same
US10740181B2 (en) 2018-03-06 2020-08-11 Western Digital Technologies, Inc. Failed storage device rebuild method
US10496374B2 (en) 2018-03-22 2019-12-03 Hewlett Packard Enterprise Development Lp Crossbar array operations using ALU modified signals
US10217512B1 (en) 2018-05-15 2019-02-26 International Business Machines Corporation Unit cell with floating gate MOSFET for analog memory
US10692570B2 (en) 2018-07-11 2020-06-23 Sandisk Technologies Llc Neural network matrix multiplication in memory cells
US10891222B2 (en) 2018-12-24 2021-01-12 Macronix International Co., Ltd. Memory storage device and operation method thereof for implementing inner product operation
US11270763B2 (en) 2019-01-18 2022-03-08 Silicon Storage Technology, Inc. Neural network classifier using array of three-gate non-volatile memory cells
US10741611B1 (en) 2019-02-11 2020-08-11 International Business Machines Corporation Resistive processing units with complementary metal-oxide-semiconductor non-volatile analog memory

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040150032A1 (en) * 2003-01-30 2004-08-05 Ching-Yuan Wu Stack-gate flash cell structure having a high coupling ratio and its contactless flash memory arrays
TW201517524A (zh) * 2013-10-22 2015-05-01 Phison Electronics Corp 解碼方法、解碼電路、記憶體儲存裝置與控制電路單元
US20190088329A1 (en) * 2017-09-15 2019-03-21 Silicon Storage Technology, Inc System And Method For Implementing Configurable Convoluted Neural Networks With Flash Memories
US20190042199A1 (en) * 2018-09-28 2019-02-07 Intel Corporation Compute in memory circuits with multi-vdd arrays and/or analog multipliers

Also Published As

Publication number Publication date
KR20210146995A (ko) 2021-12-06
EP3963512B1 (en) 2023-08-30
US20200342938A1 (en) 2020-10-29
JP2023153778A (ja) 2023-10-18
TW202107304A (zh) 2021-02-16
US11423979B2 (en) 2022-08-23
EP3963512A1 (en) 2022-03-09
JP2022531193A (ja) 2022-07-06
KR102657708B1 (ko) 2024-04-16
US20230018166A1 (en) 2023-01-19
JP7464623B2 (ja) 2024-04-09
KR20240053660A (ko) 2024-04-24
CN113748432A (zh) 2021-12-03
WO2020222867A1 (en) 2020-11-05

Similar Documents

Publication Publication Date Title
TWI780415B (zh) 用於深度學習人工神經網路中之類比神經記憶體的解碼系統與實體佈局
TWI784642B (zh) 類比神經記憶體中之同時寫入及驗證操作
TWI784508B (zh) 深度學習人工神經網路中類比神經記憶體之字線和控制閘極線串聯解碼器
JP2023518469A (ja) 人工ニューラルネットワークにおけるアナログニューラルメモリアレイのための不揮発性メモリセルのページ又はワードの精密チューニング及び関連する高電圧回路
TWI785574B (zh) 具有源極線下拉機制之人工神經網路中之類比神經記憶體陣列
US20240112729A1 (en) Multiple Row Programming Operation In Artificial Neural Network Array
WO2024162978A1 (en) Multiplexors for neural network array
TW202331569A (zh) 包含類比陣列及數位陣列的人工神經網路
TW202312035A (zh) 深度學習人工神經網路中類比神經記憶體的分離陣列架構
WO2024196388A1 (en) Split array architecture for analog neural memory in a deep learning artificial neural network

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent