TW202147322A - 深度學習人工神經網路中類比神經記憶體之字線和控制閘極線串聯解碼器 - Google Patents

深度學習人工神經網路中類比神經記憶體之字線和控制閘極線串聯解碼器 Download PDF

Info

Publication number
TW202147322A
TW202147322A TW110116309A TW110116309A TW202147322A TW 202147322 A TW202147322 A TW 202147322A TW 110116309 A TW110116309 A TW 110116309A TW 110116309 A TW110116309 A TW 110116309A TW 202147322 A TW202147322 A TW 202147322A
Authority
TW
Taiwan
Prior art keywords
decoder
control gate
array
vmm
word line
Prior art date
Application number
TW110116309A
Other languages
English (en)
Other versions
TWI784508B (zh
Inventor
曉萬 陳
順 武
史蒂芬 鄭
史丹利 洪
英 李
Original Assignee
美商超捷公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商超捷公司 filed Critical 美商超捷公司
Publication of TW202147322A publication Critical patent/TW202147322A/zh
Application granted granted Critical
Publication of TWI784508B publication Critical patent/TWI784508B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G11C16/0441—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing multiple floating gate devices, e.g. separate read-and-write FAMOS transistors with connected floating gates
    • G11C16/0458—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing multiple floating gate devices, e.g. separate read-and-write FAMOS transistors with connected floating gates comprising two or more independent floating gates which store independent data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G11C16/0425—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing a merged floating gate and select transistor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G11C16/0433—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing a single floating gate transistor and one or more separate select transistors
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0483—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells having several storage transistors connected in series
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/08—Address circuits; Decoders; Word-line control circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C8/00—Arrangements for selecting an address in a digital store
    • G11C8/14—Word line organisation; Word line lay-out
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/24—Bit-line control circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/26—Sensing or reading circuits; Data output circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Neurology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Non-Volatile Memory (AREA)
  • Read Only Memory (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)

Abstract

揭示串聯列解碼器之各種具體例。一種串聯列解碼器之每一具體例包含一字線解碼器及一控制閘極解碼器。在不啟用該串聯列解碼器時，該串聯列解碼器在字線及控制閘極線上展現減小之洩漏電流。

Description

深度學習人工神經網路中類比神經記憶體之字線和控制閘極線串聯解碼器
[優先權主張]本申請案主張2020年6月3日申請且標題為「Word Line and Control Gate Line Tandem Decoder for Analog Neural Memory in Deep Learning Artificial Neural Network」之美國臨時專利申請案第63/033,953號，及2020年11月25日申請且標題為「Word Line and Control Gate Line Tandem Decoder for Analog Neural Memory in Deep Learning Artificial Neural Network」之美國專利申請案第17/104,385號的優先權。
揭示串聯列解碼器之各種具體例。串聯列解碼器之每一具體例包含字線解碼器及交叉耦接至字線解碼器之控制閘極解碼器。在並不啟用串聯列解碼器時，串聯列解碼器在字線或控制閘極線上展現不顯著之洩漏電流或不展現洩漏電流。
人工神經網路模擬生物神經網路(動物之中樞神經系統，特定而言大腦)，且用於估計或估算可取決於大量輸入且大體上未知的功能。人工神經網路大體上包括彼此交換訊息之互連「神經元」層。
圖1例示人工神經網路，其中圓圈表示神經元之輸入或層。連接(稱為突觸)由箭頭表示，且具有可基於經驗進行調諧之數值權重。此使得神經網路適應於輸入且能夠學習。通常，神經網路包括多個輸入之層。通常存在一或多個中間神經元層及提供神經網路之輸出的輸出神經元層。每一層級處之神經元基於自突觸所接收之資料而個別地或共同地作出決策。
用於高效能資訊處理之人工神經網路之發展中的其中一個主要挑戰為缺乏適當的硬體技術。實際上，切實可行的神經網路依賴於極大量之突觸，從而實現神經元之間的高連接性，亦即極高計算並行性。原則上，此複雜性可藉由數位超級電腦或專用圖形處理單元叢集來實現。然而，除了高成本之外，相比於生物網路，此等方法亦受中等能效困擾，主要因為生物網路執行低精度類比計算，所以其消耗少得多的能量。CMOS類比電路已用於人工神經網路，但鑒於需要大量神經元及突觸，故大多數CMOS實作之突觸已過於龐大。
申請人先前在公開為美國專利公開案第2017/0337466號之美國專利申請案第15/594,439號中揭示了一種人工(類比)神經網路，其利用一或多個非揮發性記憶體陣列作為突觸，該美國專利公開案以引用之方式併入。非揮發性記憶體陣列用作類比神經記憶體。神經網路裝置包括：第一複數個突觸，其經組構以接收第一複數個輸入且自第一複數個輸入產生第一複數個輸出；及第一複數個神經元，其經組構以接收第一複數個輸出。第一複數個突觸包括複數個記憶體單元，其中記憶體單元中之每一者包括形成於半導體基板中的間隔開之源極及汲極區，其中在該兩區之間延伸有通道區；安置於通道區之第一部分上方且與第一部分絕緣之浮動閘極；及安置於通道區之第二部分上方且與第二部分絕緣之非浮動閘極。複數個記憶體單元中之每一者經組構以儲存對應於浮動閘極上之電子數目的權重值。複數個記憶體單元經組構以使第一複數個輸入乘以所儲存權重值以產生第一複數個輸出。 非揮發性記憶體單元
數位非揮發性記憶體為熟知的。例如，以引用方式併入本文中之美國專利5,029,130(「'130專利」)揭示分離閘式非揮發性記憶體單元之陣列，其為一種類型的快閃記憶體單元。圖2中展示此記憶體單元210。每一記憶體單元210包括形成於半導體基板12中之源極區14及汲極區16，其中通道區18處於該源極區與該汲極區之間。浮動閘極20形成於通道區18之第一部分上方並與該第一部分絕緣(且控制該第一部分之導電性)，且形成於源極區14之一部分上方。字線端子22 (其通常耦接至字線)具有：第一部分，其安置於通道區18之第二部分上方且與第二部分絕緣(且控制第二部分之導電性)；及第二部分，其在浮動閘極20上及上方延伸。浮動閘極20及字線端子22藉由閘極氧化物與基板12絕緣。位元線端子24耦接至汲極區16。
記憶體單元210藉由將高正電壓置於字線端子22上來抹除(其中電子自浮動閘極移除)，此使得浮動閘極20上之電子經由富爾-諾罕(Fowler-Nordheim)穿隧自浮動閘極20穿過中間絕緣物穿隧至字線端子22。
記憶體單元210藉由將正電壓置於字線端子22上且將正電壓置於源極區14上來程式化(其中電子置於浮動閘極上)。電子電流將自源極區14 (源極線端子)朝向汲極區16流動。當電子到達字線端子22與浮動閘極20之間的間隙時，該等電子將加速且被加熱。經加熱電子中之一些將由於來自浮動閘極20之吸引靜電力而穿過閘極氧化物注入至浮動閘極20上。
記憶體單元210係藉由將正讀取電壓置於汲極區16及字線端子22上來讀取(此接通通道區18之在字線端子下的部分)。若浮動閘極20帶正電(亦即，電子經抹除)，則通道區18之在浮動閘極20下的部分亦被接通，且電流將跨越通道區18流動，此被感測為經抹除或「1」狀態。若浮動閘極20帶負電(亦即，用電子程式化)，則通道區之在浮動閘極20下的部分大部分或完全斷開，且電流將並不跨越通道區18流動(或將有極少電流流動)，此被感測為經程式化或「0」狀態。
表1描繪可施加至記憶體單元110之端子以用於執行讀取、抹除及程式化操作的典型電壓範圍：表 1 ：圖 2 之快閃記憶體單元 210 的操作
   WL BL SL
讀取1 0.5-3V 0.1-2V 0V
讀取2 0.5-3V 0-2V 2-0.1V
抹除 ~11-13V 0V 0V
程式化 1-2V 1-3µA 9-10V
「讀取1」為其中單元電流在位元線上輸出之讀取模式。「讀取2」為其中單元電流在源極線端子上輸出之讀取模式。
圖3展示記憶體單元310，其類似於圖2之記憶體單元210，且添加了控制閘極(CG)端子28。控制閘極端子28在程式化時被偏壓在高電壓，例如10 V下；在抹除時被偏壓在低或負電壓，例如0 v/-8 V下；在讀取時被偏壓在低或中間範圍，例如0 v/2.5 V下。其他端子以類似於圖2之方式經偏壓。
圖4描繪四閘極記憶體單元410，其包含源極區14、汲極區16、在通道區18之第一部分上方的浮動閘極20、在通道區18之第二部分上方的選擇閘極22(通常耦接至字線WL)、在浮動閘極20上方之控制閘極28，及在源極區14上方之抹除閘極30。此組構描述於美國專利6,747,310中，其出於所有目的以引用之方式併入本文中。此處，除了浮動閘極20之外，所有閘極皆為非浮動閘極，此意謂該等閘極電連接或可電連接至電壓源。程式化係藉由來自通道區18之經加熱電子將自身注入至浮動閘極20上來執行。抹除係藉由自浮動閘極20至抹除閘極30之電子穿隧來執行。
表2描繪可施加至記憶體單元310之端子以用於執行讀取、抹除及程式化操作的典型電壓範圍：表 2 ： 圖 4 之快閃記憶體單元 410 的操作
   WL/SG BL CG EG SL
讀取1 0.5-2V 0.1-2V 0-2.6V 0-2.6V 0V
讀取2 0.5-2V 0-2V 0-2.6V 0-2.6V 2-0.1V
抹除 -0.5V/0V 0V 0V/-8V 8-12V 0V
程式化 1V 1µA 8-11V 4.5-9V 4.5-5V
「讀取1」為其中單元電流在位元線上輸出之讀取模式。「讀取2」為其中單元電流在源極線端子上輸出之讀取模式。
圖5展示記憶體單元510，其類似於圖4的記憶體單元410，除了記憶體單元510不包含抹除閘極EG端子之外。藉由將基板18偏壓至高電壓及將控制閘極CG端子28偏壓至低或負電壓而執行抹除。替代地，抹除係藉由將字線端子22偏壓至正電壓及將控制閘極端子28偏壓至負電壓來執行。程式化及讀取類似於圖4之程式化及讀取。
圖6描繪三閘極記憶體單元610，其為另一類型之快閃記憶體單元。記憶體單元610與圖4的記憶體單元410相同，除了記憶體單元610不具有單獨的控制閘極端子之外。抹除操作(藉此經由使用抹除閘極端子進行抹除)及讀取操作類似於圖4的抹除操作及讀取操作，除了未施加控制閘極偏壓之外。程式化操作亦在無控制閘極偏壓之情況下進行，且結果，在程式化操作期間必須在源極線端子上施加較高電壓以補償控制閘極偏壓之缺乏。
表3描繪可施加至記憶體單元610之端子以用於執行讀取、抹除及程式化操作的典型電壓範圍：表 3 ： 圖 6 之快閃記憶體單元 610 的操作
   WL/SG BL EG SL
讀取1 0.5-2.2V 0.1-2V 0-2.6V 0V
讀取2 0.5-2.2V 0-2V 0-2.6V 2-0.1V
抹除 -0.5V/0V 0V 11.5V 0V
程式化 1V 2-3µA 4.5V 7-9V
「讀取1」為其中單元電流在位元線上輸出之讀取模式。「讀取2」為其中單元電流在源極線端子上輸出之讀取模式。
圖7描繪堆疊閘式記憶體單元710，其為另一類型之快閃記憶體單元。除了浮動閘極20在整個通道區18上方延伸，且控制閘極端子22(其在此處將耦接至字線)在浮動閘極20上方延伸之外，記憶體單元710類似於圖2的記憶體單元210，該浮動閘極由絕緣層(未示出)分離。抹除、程式化及讀取操作以與先前針對記憶體單元210所描繪之方式類似的方式操作。
表4描繪可施加至記憶體單元710之端子及基板12以用於執行讀取、抹除及程式化操作之典型電壓範圍：表 4 ：圖 7 之快閃記憶體單元 710 的操作
   CG BL SL 基板
讀取1 0-5V 0.1-2V 0-2V 0V
讀取2 0.5-2V 0-2V 2-0.1V 0V
抹除 -8至-10V/0V FLT FLT 8-10V/15-20V
程式化 8-12V 3-5V/0V 0V/3-5V 0V
「讀取1」為其中單元電流在位元線上輸出之讀取模式。「讀取2」為其中單元電流在源極線端子上輸出之讀取模式。視情況，在包含記憶體單元210、310、410、510、610或710之列及行之陣列中，源極線可耦接至一列記憶體單元或兩個鄰近列記憶體單元。亦即，源極線端子可由記憶體單元之鄰近列共用。
為了利用包含上文在人工神經網路中所描述之非揮發性記憶體單元類型中之一者的記憶體陣列，進行兩個修改。首先，線經組構以使得每一記憶體單元可個別地經程式化、抹除及讀取而不會不利地影響陣列中之其他記憶體單元的記憶體狀態，如下文進一步解釋。其次，提供記憶體單元之連續(類比)程式化。
特定而言，陣列中之每一記憶體單元的記憶體狀態(亦即，浮動閘極上之電荷)可連續地自完全抹除狀態改變為完全程式化狀態，其方式為獨立的且對其他記憶體單元之干擾最小。在另一具體例中，陣列中之每一記憶體單元的記憶體狀態(亦即，浮動閘極上之電荷)可連續地自完全程式化狀態改變為完全抹除狀態，且反之亦然，其方式為獨立的且對其他記憶體單元之干擾最小。此意謂單元儲存為類比的，或至少可儲存許多離散值(諸如16或64個不同值)中之一者，此允許對記憶體陣列中之所有單元進行極精確且個別的調諧，且此使得記憶體陣列對於儲存神經網路之突觸權重及對該等突觸權重進行精細調諧調整係理想的。
本文中所描述之方法及手段可應用於其他非揮發性記憶體技術，諸如但不限於矽-氧化物-氮化物-氧化物-矽(SONOS，氮化物中之電荷捕捉)、金屬-氧化物-氮化物-氧化物-矽(MONOS，氮化物中之金屬電荷捕捉)、電阻式ram (ReRAM)、相變記憶體(PCM)、磁性ram (MRAM)、鐵電ram (FeRAM)、雙層級或多層級一次性可程式化(OTP)及相關電子ram (CeRAM)。本文中所描述之方法及手段可應用於用於神經網路之揮發性記憶體技術，諸如但不限於SRAM、DRAM及揮發性突觸單元。 採用非揮發性記憶體單元陣列之神經網路
圖8在概念上例示利用本具體例之非揮發性記憶體陣列的神經網路之非限制性實施例。此實施例將非揮發性記憶體陣列神經網路用於面部辨識應用，但任何其他適當應用皆可使用基於非揮發性記憶體陣列之神經網路來實作。
S0為輸入層，對於此實施例，該輸入層為具有5位元精度之32×32像素RGB影像(亦即，三個32×32像素陣列，每種色彩R、G及B一個陣列，每一像素為5位元精度)。自輸入層S0行進至層C1之突觸CB1在一些情況下施加不同權重集合且在其他情況下共用權重，且用3×3像素重疊濾波器(核心)掃描輸入影像，從而使濾波器移位1個像素(或多於1個像素，如由模型指示)。特定而言，影像(亦即，稱作濾波器或核心)之3×3部分中之9個像素的值被提供至突觸CB1，其中使此等9個輸入值乘以適當權重，且在對彼乘法之輸出求和之後，判定單個輸出值且由第一突觸CB1提供該單個輸出值以用於產生特徵圖層C1中之一者的像素。3×3濾波器接著在輸入層S0內向右移位一個像素(亦即，在右側上添加三個像素之行，且在左側上丟棄三個像素之行)，藉此將此新近定位濾波器中之9個像素值提供至突觸CB1，其中使該等像素值乘以相同權重，且藉由相關聯突觸判定第二單個輸出值。此程序針對所有三種色彩且針對所有位元(精度值)繼續，直至3×3濾波器跨越輸入層S0之整個32×32像素影像進行掃描為止。程序接著使用不同權重集合進行重複以產生C1之不同特徵圖，直至層C1之所有特徵圖已經計算為止。
在層C1中，在本發明實施例中，存在16個特徵圖，每一特徵圖具有30×30個像素。每一像素為自使輸入與核心相乘提取之新特徵像素，且因此每一特徵圖為二維陣列，且因此在此實施例中，層C1構成二維陣列之16個層(應謹記，本文中所提及之層及陣列為邏輯關係，未必為實體關係，亦即，陣列未必定向於實體二維陣列中)。層C1中之16個特徵圖中的每一者皆由應用於濾波器掃描之突觸權重之十六個不同集合中的一者產生。C1特徵圖可皆針對同一影像特徵之不同態樣，諸如邊界識別。例如，第一圖(使用第一權重集合產生，對於用以產生此第一圖之所有掃描為共用的)可識別圓形邊緣，第二圖(使用不同於第一權重集合之第二權重集合產生)可識別矩形邊緣，或某些特徵之縱橫比等等。
在自層C1行進至層S1之前應用激發函數P1 (池化(pooling))，其池化來自每一特徵圖中之連續非重疊2×2區的值。池化函數之目的為使附近位置達到平均數(或亦可使用最大函數)，以例如降低邊緣位置之相依性且在行進至下一級之前縮減資料大小。在層S1處，存在16個15×15特徵圖(亦即，各自具有15×15個像素之十六個不同陣列)。自層S1行進至層C2之突觸CB2用4×4濾波器掃描S1中之圖，其中濾波器移位1個像素。在層C2處，存在22個12×12特徵圖。在自層C2行進至層S2之前應用激發函數P2 (池化)，其池化來自每一特徵圖中之連續非重疊2×2區的值。在層S2處，存在22個6×6特徵圖。在自層S2行進至層C3之突觸CB3處應用激發函數(池化)，其中層C3中之每一神經元經由CB3之各別突觸連接至層S2中之每一圖。在層C3處，存在64個神經元。自層C3行進至輸出層S3之突觸CB4將C3完全連接至S3，亦即，層C3中之每一神經元連接至層S3中之每一神經元。S3處之輸出包括10個神經元，其中最高輸出神經元判定類別。此輸出可例如指示原始影像之內容之識別或分類。
每一突觸層係使用非揮發性記憶體單元之陣列或陣列之一部分來實作。
圖9為可用於彼目的之系統的方塊圖。向量矩陣乘法(VMM)系統32包括非揮發性記憶體單元，且用作一個層與下一層之間的突觸(諸如圖6中之CB1、CB2、CB3及CB4)。具體而言，VMM系統32包括包含配置成列及行之非揮發性記憶體單元之VMM陣列33、抹除閘極及字線閘極解碼器34、控制閘極解碼器35、位元線解碼器36及源極線解碼器37，其解碼用於非揮發性記憶體單元陣列33之各別輸入。VMM陣列33之輸入可來自抹除閘極及字線閘極解碼器34或來自控制閘極解碼器35。源極線解碼器37在此實施例中亦解碼VMM陣列33之輸出。替代地，位元線解碼器36可解碼VMM陣列33之輸出。
VMM陣列33用於兩個目的。首先，其儲存將由VMM系統32使用之權重。其次，VMM陣列33有效地將輸入乘以儲存於VMM陣列33中之權重，且按輸出線(源極線或位元線)將結果相加以產生輸出，該輸出將為下一層之輸入或最終層之輸入。藉由執行乘法及加法函數，VMM陣列33消除了對單獨的乘法及加法邏輯電路之需要，且由於其就地記憶體計算亦為功率高效的。
VMM陣列33的輸出經供應至差分求和器(諸如求和運算放大器或求和電流鏡) 38，其對VMM陣列33之輸出進行求和以產生用於彼卷積之單個值。差分求和器38經配置以執行正權重輸入與負權重輸入之求和以輸出單個值。
接著將差分求和器38之總計輸出值供應至對輸出進行整流之激發函數電路39。激發函數電路39可提供S型(sigmoid)、雙曲正切(tanh)、ReLU函數，或任何其他非線性函數。激發函數電路39之經整流輸出值變成下一層(例如圖8中之C1)之特徵圖之元素，且隨後應用於下一突觸以產生下一特徵圖層或最終層。因此，在此實施例中，VMM陣列33構成複數個突觸(其自先前神經元層或自諸如影像資料庫之輸入層接收其輸入)，且求和器38及激發函數電路39構成複數個神經元。
圖9中之VMM系統32的輸入(WLx、EGx、CGx且視情況，BLx及SLx)可為類比位準、二進位位準、數位脈衝(在此情況下，可能需要脈衝至類比轉換器PAC以將脈衝轉換至適當的輸入類比位準)或數位位元(在此情況下，提供DAC以將數位位元轉換至適當的輸入類比位準)，且輸出可為類比位準(例如，電流、電壓或電荷)、二進位位準、數位脈衝或數位位元(在此情況下，提供輸出ADC以將輸出類比位準轉換成數位位元)。
圖10為描繪VMM系統32 (此處標記為VMM系統32a、32b、32c、32d及32e)之眾多層之使用的方塊圖。如圖10中所示，表示為Inputx之輸入由數位至類比轉換器31自數位轉換至類比，且被提供至輸入VMM系統32a。經轉換之類比輸入可為電壓或電流。第一層之輸入D/A轉換可藉由使用函數或查找表(LUT)來進行，該函數或LUT將輸入Inputx映射至用於輸入VMM系統32a之矩陣乘法器的適當類比位準。輸入轉換亦可由類比至類比(A/A)轉換器進行以將外部類比輸入轉換為至輸入VMM系統32a之經映射類比輸入。輸入轉換亦可由數位至數位脈衝(D/P)轉換器進行以將外部數位輸入轉換為至輸入VMM系統32a之一或多個經映射數位脈衝。
由輸入VMM系統32a產生之輸出被提供為下一VMM系統(隱藏層級1)32b之輸入，該下一VMM系統又產生被提供為下一VMM系統(隱藏層級2)32c之輸入的輸出，等等。VMM系統32之各種層充當卷積神經網路(CNN)之突觸及神經元的不同層。每一VMM系統32a、32b、32c、32d及32e可為獨立的實體非揮發性記憶體陣列，或多個VMM系統可利用同一實體非揮發性記憶體陣列之不同部分，或多個VMM系統可利用同一實體非揮發性記憶體系統之重疊部分。每一VMM系統32a、32b、32c、32d及32e亦可針對其陣列或神經元之各種部分進行時間多工。圖10中所示之實施例包含五個層(32a、32b、32c、32d、32e)：一個輸入層(32a)、兩個隱藏層(32b、32c)及兩個完全連接層(32d、32e)。一般熟習此項技術者將瞭解，此僅為例示性的，且系統替代地可包含多於兩個隱藏層及多於兩個完全連接層。 VMM陣列
圖11描繪神經元VMM陣列1100，其尤其適於如圖3中所示之記憶體單元310，且用作輸入層與下一層之間的突觸及神經元部分。VMM陣列1100包含非揮發性記憶體單元之記憶體陣列1101及非揮發性參考記憶體單元之參考陣列1102 (在陣列之頂部處)。替代地，另一參考陣列可置放於底部處。
在VMM陣列1100中，控制閘極線(諸如控制閘極線1103)在豎直方向上延行(因此，列方向上之參考陣列1102與控制閘極線1103正交)，且抹除閘極線(諸如抹除閘極線1104)在水平方向上延行。此處，VMM陣列1100之輸入提供於控制閘極線(CG0、CG1、CG2、CG3)上，且VMM陣列1100之輸出出現於源極線(SL0、SL1)上。在一個具體例中，僅使用偶數列，且在另一具體例中，僅使用奇數列。置於每一源極線(分別為SL0、SL1)上之電流對來自連接至彼特定源極線之記憶體單元的所有電流執行求和函數。
如本文中針對神經網路所描述，VMM陣列1100之非揮發性記憶體單元，亦即VMM陣列1100之快閃記憶體，較佳地經組構以在次臨限區中操作。
本文中所描述之非揮發性參考記憶體單元及非揮發性記憶體單元在弱反轉(weak inversion)中經偏壓： Ids = Io * e(Vg- Vth)/nVt = w * Io * e(Vg)/nVt ， 其中w = e(-Vth)/nVt 其中Ids為汲極至源極電流；Vg為記憶體單元上之閘極電壓；Vth為記憶體單元之臨限電壓；Vt為熱電壓，其=k*T/q，其中k為波茲曼常數，T為以克耳文為單位之溫度，且q為電子電荷；n為斜率因數，其= 1 + (Cdep/Cox)，其中Cdep=耗盡層之電容且Cox為閘極氧化物層之電容；Io為等於臨限電壓之閘極電壓下之記憶體單元電流，Io與(Wt/L)*u*Cox* (n-1) * Vt2 成比例，其中u為記憶體單元之載流子遷移率，且Wt及L分別為寬度及長度。
對於令使用記憶體單元(諸如參考記憶體單元或周邊記憶體單元)或電晶體將輸入電流Ids轉換成輸入電壓Vg之I至V對數轉換器： Vg= n*Vt*log [Ids/wp*Io] 此處，wp為參考或周邊記憶體單元之w。
對於用作向量矩陣乘法器VMM陣列之記憶體陣列，輸出電流為： Iout = wa * Io * e(Vg)/nVt ，亦即 Iout = (wa/wp) * Iin = W * Iin W = e(Vthp - Vtha)/nVt Iin = wp * Io * e(Vg)/nVt 此處，wa =記憶體陣列中之每一記憶體單元之w。Vthp為周邊記憶體單元之有效臨限電壓，且Vtha為主(資料)記憶體單元之有效臨限電壓。應注意，電晶體之臨限電壓為基板基底偏壓電壓之函數，且表示為Vsb之基板基底偏壓可經調變以補償此溫度下的各種條件。臨限電壓Vth可表示為： Vth = Vth0 + gamma (SQRT |Vsb - 2* ϕF) - SQRT |2* ϕF |) 其中Vth0為具有零基板偏壓之臨限電壓，ϕF為表面電位，且gamma為體效應參數。
字線或控制閘極可用作用於輸入電壓之記憶體單元之輸入。
替代地，本文中所描述之VMM陣列的非揮發性記憶體單元可經組構以在線性區中操作： Ids = beta* (Vgs-Vth)*Vds；beta = u*Cox*Wt/L， 因此，W α (Vgs-Vth)，亦即，線性區中之權重W與(Vgs-Vth)成比例。
字線或控制閘極或位元線或源極線可用作在線性區中操作之記憶體單元的輸入。位元線或源極線可用作記憶體單元之輸出。
對於I至V線性轉換器，可使用記憶體單元(諸如參考記憶體單元或周邊記憶體單元)或在線性區中操作之電晶體或電阻器將輸入/輸出電流線性地轉換成輸入/輸出電壓。
替代地，本文中所描述之VMM陣列的快閃記憶體單元可經組構以在飽和區中操作： Ids = ½ * beta* (Vgs-Vth)2 ；beta = u*Cox*Wt/L 因此，W α (Vgs-Vth)2 ，意謂飽和區中之權重W與(Vgs-Vth)2 成比例。
字線、控制閘極或抹除閘極可用作在飽和區中操作之記憶體單元的輸入。位元線或源極線可用作輸出神經元之輸出。
替代地，本文中所描述之VMM陣列之記憶體單元可用於所有區或其組合(次臨限、線性或飽和區)中。
用於圖9之VMM陣列32的其他具體例描述於美國專利申請案第15/826,345號中，該申請案以引用之方式併入本文中。如彼申請案中所描述，源極線或位元線可用作神經元輸出(電流求和輸出)。
圖12描繪神經元VMM陣列1200，其尤其適於如圖2中所示之記憶體單元210，且用作輸入層與下一層之間的突觸。VMM陣列1200包含非揮發性記憶體單元之記憶體陣列1203、第一非揮發性參考記憶體單元之參考陣列1201及第二非揮發性參考記憶體單元之參考陣列1202。配置於陣列之行方向上的參考陣列1201及1202用以將流入端子BLR0、BLR1、BLR2及BLR3中之電流輸入轉換成電壓輸入WL0、WL1、WL2及WL3。實際上，第一及第二非揮發性參考記憶體單元為二極體連接式貫穿多工器1214 (僅部分描繪)，其中電流輸入流入該等多工器中。參考單元經調諧(例如，經程式化)至目標參考位準。目標參考位準由參考迷你陣列矩陣(未示出)提供。
記憶體陣列1203用於兩個目的。首先，其儲存將由VMM陣列1200在其各別記憶體單元上使用之權重。其次，記憶體陣列1203有效地使輸入(亦即，在端子BLR0、BLR1、BLR2及BLR3中提供之電流輸入，其由參考陣列1201及1202轉換成輸入電壓以供應至字線WL0、WL1、WL2及WL3)乘以儲存於記憶體陣列1203中之權重，且接著將所有結果(記憶體單元電流)相加以在各別位元線(BL0至BLN)上產生輸出，該輸出將為下一層之輸入或最終層之輸入。藉由執行乘法及加法函數，記憶體陣列1203消除了對單獨的乘法及加法邏輯電路之需要，且亦為功率高效的。此處，電壓輸入提供於字線WL0、WL1、WL2及WL3上，且輸出在讀取(推理)操作期間出現於各別位元線BL0至BLN上。置於位元線BL0至BLN中之每一者上之電流對來自連接至彼特定位元線之所有非揮發性記憶體單元的電流執行求和函數。
表5描繪用於VMM陣列1200之操作電壓。該表中之行指示置於以下各者上的電壓：用於選定單元之字線、用於未選定單元之字線、用於選定單元之位元線、用於未選定單元之位元線、用於選定單元之源極線及用於未選定單元之源極線，其中FLT指示浮動，亦即未施加電壓。列指示讀取、抹除及程式化之操作。表 5 ：圖 12 之 VMM 陣列 1200 的操作：
   WL WL- 未選定 BL BL- 未選定 SL SL- 未選定
讀取 0.5-3.5V -0.5V/0V 0.1-2V (Ineuron) 0.6V-2V/FLT 0V 0V
抹除 ~5-13V 0V 0V 0V 0V 0V
程式化 1-2V -0.5V/0V 0.1-3 uA Vinh ~2.5V 4-10V 0-1V/FLT
圖13描繪神經元VMM陣列1300，其尤其適於如圖2中所示之記憶體單元210，且用作輸入層與下一層之間的突觸及神經元部分。VMM陣列1300包含非揮發性記憶體單元之記憶體陣列1303、第一非揮發性參考記憶體單元之參考陣列1301及第二非揮發性參考記憶體單元之參考陣列1302。參考陣列1301及1302在VMM陣列1300之列方向上延行。VMM陣列類似於VMM 1000，除了在VMM陣列1300中，字線在豎直方向上延行之外。此處，輸入提供於字線(WLA0、WLB0、WLA1、WLB1、WLA2、WLB2、WLA3、WLB3)上，且輸出在讀取操作期間出現於源極線(SL0、SL1)上。置於每條源極線上之電流對來自連接至彼特定源極線之記憶體單元的所有電流執行求和函數。
表6描繪用於VMM陣列1300之操作電壓。表中之行指示置於以下各者上之電壓：用於選定單元之字線、用於未選定單元之字線、用於選定單元之位元線、用於未選定單元之位元線、用於選定單元之源極線及用於未選定單元之源極線。列指示讀取、抹除及程式化之操作。表 6 ：圖 13 之 VMM 陣列 1300 的操作
   WL WL-未選定 BL BL-未選定 SL SL-未選定
讀取 0.5-3.5V -0.5V/0V 0.1-2V 0.1V-2V/FLT ~0.3-1V (Ineuron) 0V
抹除 ~5-13V 0V 0V 0V 0V SL-抑制(~4-8V)
程式化 1-2V -0.5V/0V 0.1-3 uA Vinh ~2.5V 4-10V 0-1V/FLT
圖14描繪神經元VMM陣列1400，其尤其適於如圖3中所示之記憶體單元310，且用作輸入層與下一層之間的突觸及神經元部分。VMM陣列1400包含非揮發性記憶體單元之記憶體陣列1403、第一非揮發性參考記憶體單元之參考陣列1401及第二非揮發性參考記憶體單元之參考陣列1402。參考陣列1401及1402用以將流入端子BLR0、BLR1、BLR2及BLR3中之電流輸入轉換成電壓輸入CG0、CG1、CG2及CG3。實際上，第一及第二非揮發性參考記憶體單元為二極體連接式貫穿多工器1412 (僅部分展示)，其中電流輸入經由BLR0、BLR1、BLR2及BLR3流入該等多工器中。多工器1412各自包括各別多工器1405及串疊(cascoding)電晶體1404，以確保在讀取操作期間第一及第二非揮發性參考記憶體單元中之每一者之位元線(諸如BLR0)上存在恆定電壓。參考單元經調諧至目標參考位準。
記憶體陣列1403用於兩個目的。首先，其儲存將由VMM陣列1400使用之權重。其次，記憶體陣列1403有效地使輸入(提供至端子BLR0、BLR1、BLR2及BLR3之電流輸入，其中參考陣列1401及1402將此等電流輸入轉換成輸入電壓以供應至控制閘極(CG0、CG1、CG2及CG3))乘以儲存於記憶體陣列中之權重，且接著將所有結果(單元電流)相加以產生輸出，該輸出呈現於BL0至BLN上，且將為下一層之輸入或最終層之輸入。藉由執行乘法及加法函數，記憶體陣列消除了對單獨的乘法及加法邏輯電路之需要，且亦為功率高效的。此處，輸入提供於控制閘極線(CG0、CG1、CG2及CG3)上，且輸出在讀取操作期間出現於位元線(BL0至BLN)上。置於每條位元線上之電流對來自連接至彼特定位元線之記憶體單元的所有電流執行求和函數。
VMM陣列1400對記憶體陣列1403中之非揮發性記憶體單元實施單向調諧。亦即，每一非揮發性記憶體單元經抹除且接著經部分程式化，直至達到浮動閘極上之所要電荷為止。此可例如使用下文所描述之精確程式化技術來執行。若過多電荷被置放於浮動閘極上(使得錯誤值儲存於單元中)，則單元必須被抹除且部分程式化操作之序列必須重新開始。如所示，共用同一抹除閘極(諸如EG0或EG1)之兩個列需要被一起抹除(此被稱為分頁抹除)，且此後，部分地程式化每一單元直至達到浮動閘極上之所要電荷為止。
表7描繪用於VMM陣列1400之操作電壓。該表中之行指示置於以下各者上之電壓：用於選定單元之字線、用於未選定單元之字線、用於選定單元之位元線、用於未選定單元之位元線、用於選定單元之控制閘極、用於與選定單元處於相同扇區中之未選定單元之控制閘極、用於與選定單元處於不同扇區中之未選定單元之控制閘極、用於選定單元之抹除閘極、用於未選定單元之抹除閘極、用於選定單元之源極線及用於未選定單元之源極線。列指示讀取、抹除及程式化之操作。表 7 ：圖 14 之 VMM 陣列 1400 的操作
   WL WL- 未選定 BL BL- 未選定 CG CG - 未選定同一扇區 CG- 未選定 EG EG- 未選定 SL SL- 未選定
讀取 0.5-2V -0.5V/ 0V 0.1-2V (Ineuron) 0V/FLT 0-2.6V 0-2.6V 0-2.6V 0-2.6V 0-2.6V 0V 0V
抹除 0V 0V 0V 0V 0V 0-2.6V 0-2.6V 5-12V 0-2.6V 0V 0V
程式化 0.7-1V -0.5V/ 0V 0.1-1uA Vinh (1-2V) 4-11V 0-2.6V 0-2.6V 4.5-5V 0-2.6V 4.5-5V 0-1V
圖15描繪神經元VMM陣列1500，其尤其適於如圖3中所示之記憶體單元310，且用作輸入層與下一層之間的突觸及神經元部分。VMM陣列1500包含非揮發性記憶體單元之記憶體陣列1503、第一非揮發性參考記憶體單元之參考陣列1501及第二非揮發性參考記憶體單元之參考陣列1502。EG線EGR0、EG0、EG1及EGR1豎直地延行，而CG線CG0、CG1、CG2及CG3以及SL線WL0、WL1、WL2及WL3水平地延行。VMM陣列1500類似於VMM陣列1400，除了VMM陣列1500實施雙向調諧之外，其中由於使用單獨的EG線，每一個別單元可視需要經完全抹除、部分程式化及部分抹除以達到浮動閘極上之所要電荷量。如所示，參考陣列1501及1502將端子BLR0、BLR1、BLR2及BLR3中之輸入電流轉換成待在列方向上施加至記憶體單元之控制閘極電壓CG0、CG1、CG2及CG3 (經由二極體連接式參考單元貫穿多工器1514之動作)。電流輸出(神經元)在位元線BL0至BLN中，其中每條位元線對來自連接至彼特定位元線之非揮發性記憶體單元的所有電流進行求和。
表8描繪用於VMM陣列1500之操作電壓。該表中之行指示置於以下各者上之電壓：用於選定單元之字線、用於未選定單元之字線、用於選定單元之位元線、用於未選定單元之位元線、用於選定單元之控制閘極、用於與選定單元處於相同扇區中之未選定單元之控制閘極、用於與選定單元處於不同扇區中之未選定單元之控制閘極、用於選定單元之抹除閘極、用於未選定單元之抹除閘極、用於選定單元之源極線及用於未選定單元之源極線。列指示讀取、抹除及程式化之操作。表 8 ：圖 15 之 VMM 陣列 1500 的操作
   WL WL- 未選定 BL BL- 未選定 CG CG- 未選定同一扇區 CG- 未選定 EG EG- 未選定 SL SL- 未選定
讀取 1.0-2V -0.5V/ 0V 0.6-2V (Ineuron) 0V/FLT 0-2.6V 0-2.6V 0-2.6V 0-2.6V 0-2.6V 0V 0V/FLT
抹除 0V 0V 0V 0V 0V 4-9V 0-2.6V 5-12V 0-2.6V 0V 0V
程式化 0.7-1V -0.5V/ 0V 0.1-1uA Vinh (1-2V) 4-11V 0-2.6V 0-2.6V 4.5-5V 0-2.6V 4.5- 5V 0-1V
圖24描繪神經元VMM陣列2400，其尤其適於如圖2中所示之記憶體單元210，且用作輸入層與下一層之間的突觸及神經元部分。在VMM陣列2400中，輸入INPUT0 ...INPUTN 分別在位元線BL0 ...BLN 上被接收，且輸出OUTPUT1 、OUTPUT2 、OUTPUT3 及OUTPUT4 分別產生於源極線SL0 、SL1 、SL2 及SL3 上。
圖25描繪神經元VMM陣列2500，其尤其適於如圖2中所示之記憶體單元210，且用作輸入層與下一層之間的突觸及神經元部分。在此實施例中，輸入INPUT0 、INPUT1 、INPUT2 及INPUT3 分別在源極線SL0 、SL1 、SL2 及SL3 上被接收，且輸出OUTPUT0 ...OUTPUTN 產生於位元線BL0 ...BLN 上。
圖26描繪神經元VMM陣列2600，其尤其適於如圖2中所示之記憶體單元210，且用作輸入層與下一層之間的突觸及神經元部分。在此實施例中，輸入INPUT0 ...INPUTM 分別在字線WL0 ...WLM 上被接收，且輸出OUTPUT0 ...OUTPUTN 產生於位元線BL0 ...BLN 上。
圖27描繪神經元VMM陣列2700，其尤其適於如圖3中所示之記憶體單元310，且用作輸入層與下一層之間的突觸及神經元部分。在此實施例中，輸入INPUT0 ...INPUTM 分別在字線WL0 ...WLM 上被接收，且輸出OUTPUT0 ...OUTPUTN 產生於位元線BL0 ...BLN 上。
圖28描繪神經元VMM陣列2800，其尤其適於如圖4中所示之記憶體單元410，且用作輸入層與下一層之間的突觸及神經元部分。在此實施例中，輸入INPUT0 ...INPUTn 分別在豎直控制閘極線CG0 ...CGN 上被接收，且輸出OUTPUT1 及OUTPUT2 產生於源極線SL0 及SL1 上。
圖29描繪神經元VMM陣列2900，其尤其適於如圖4中所示之記憶體單元410，且用作輸入層與下一層之間的突觸及神經元部分。在此實施例中，輸入INPUT0 ...INPUTN 分別在位元線控制閘極2901-1、2901-2...2901-(N-1)及2901-N之閘極上被接收，該等位元線控制閘極分別耦接至位元線BL0 ...BLN 。例示性輸出OUTPUT1 及OUTPUT2 產生於源極線SL0 及SL1 上。
圖30描繪神經元VMM陣列3000，其尤其適於如圖3中所示之記憶體單元310、如圖5中所示之記憶體單元510及如圖7中所示之記憶體單元710，且用作輸入層與下一層之間的突觸及神經元部分。在此實施例中，輸入INPUT0 ...INPUTM 在字線WL0 ...WLM 上被接收，且輸出OUTPUT0 ...OUTPUTN 分別產生於位元線BL0 ...BLN 上。
圖31描繪神經元VMM陣列3100，其尤其適於如圖3中所示之記憶體單元310、如圖5中所示之記憶體單元510及如圖7中所示之記憶體單元710，且用作輸入層與下一層之間的突觸及神經元部分。在此實施例中，輸入INPUT0 ...INPUTM 在控制閘極線CG0 ...CGM 上被接收。輸出OUTPUT0 ...OUTPUTN 分別產生於豎直源極線SL0 ...SLN 上，其中每條源極線SLi 耦接至行i中之所有記憶體單元之源極線。
圖32描繪神經元VMM陣列3200，其尤其適於如圖3中所示之記憶體單元310、如圖5中所示之記憶體單元510及如圖7中所示之記憶體單元710，且用作輸入層與下一層之間的突觸及神經元部分。在此實施例中，輸入INPUT0 ...INPUTM 在控制閘極線CG0 ...CGM 上被接收。輸出OUTPUT0 ...OUTPUTN 分別產生於豎直位元線BL0 ...BLN 上，其中每條位元線BLi 耦接至行i中之所有記憶體單元之位元線。 長短期記憶體
先前技術包括已知為長短期記憶體(LSTM)之概念。LSTM單元常常用於神經網路。LSTM允許神經網路在預定任意時間間隔內記住資訊且在後續操作中使用彼資訊。習知LSTM單元包含單元、輸入閘極、輸出閘極及遺忘閘極。三個閘極調節資訊進入及離開單元之流動及在LSTM中記住資訊的時間間隔。VMM尤其適用於LSTM單元。
圖16描繪例示性LSTM 1600。在此實施例中，LSTM 1600包含單元1601、1602、1603及1604。單元1601接收輸入向量x0 ，且產生輸出向量h0 及單元狀態向量c0 。單元1602接收輸入向量x1 、來自單元1601之輸出向量(隱藏狀態) h0 及來自單元1601之單元狀態c0 ，且產生輸出向量h1 及單元狀態向量c1 。單元1603接收輸入向量x2 、來自單元1602之輸出向量(隱藏狀態) h1 及來自單元1602之單元狀態c1 ，且產生輸出向量h2 及單元狀態向量c2 。單元1604接收輸入向量x3 、來自單元1603之輸出向量(隱藏狀態) h2 及來自單元1603之單元狀態c2 ，且產生輸出向量h3 。可使用額外單元，且具有四個單元之LSTM僅為實施例。
圖17描繪LSTM單元1700之例示性實作，其可用於圖16中之單元1601、1602、1603及1604。LSTM單元1700接收輸入向量x(t)、來自之前單元之單元狀態向量c(t-1)及來自之前單元之輸出向量h(t-1)，且產生單元狀態向量c(t)及輸出向量h(t)。
LSTM單元1700包含S型函數裝置1701、1702及1703，其中之每一者應用0與1之間的數字以控制輸入向量中之每一分量被允許通過輸出向量之量。LSTM單元1700亦包含用以將雙曲正切函數應用於輸入向量之雙曲正切裝置1704及1705、用以將兩個向量相乘在一起之乘法器裝置1706、1707及1708，以及用以將兩個向量相加在一起之加法裝置1709。輸出向量h(t)可被提供至系統中之下一LSTM單元，或其可經存取以用於其他目的。
圖18描繪LSTM單元1800，其為LSTM單元1700之實作的實施例。為了方便讀者，來自LSTM單元1700之相同編號用於LSTM單元1800中。S型函數裝置1701、1702及1703以及雙曲正切裝置1704各自包含多個VMM陣列1801及激發電路區塊1802。因此，可見VMM陣列尤其適用於在某些神經網路系統中使用之LSTM單元。乘法器裝置1706、1707及1708以及加法裝置1709以數位方式或以類比方式實作。激發函數區塊1802可以數位方式或以類比方式實作。
圖19中展示LSTM單元1800之替代例(及LSTM單元1700之實施的另一實施例)。在圖19中，S型函數裝置1701、1702及1703以及雙曲正切裝置1704可以時間多工方式共用同一實體硬體(VMM陣列1901及激發函數區塊1902)。LSTM單元1900亦包含用以將兩個向量相乘在一起之乘法器裝置1903、用以將兩個向量相加在一起之加法裝置1908、雙曲正切裝置1705 (其包含激發電路區塊1902)、用以在i(t)自S型函數區塊1902輸出時儲存值i(t)之暫存器1907、用以在值f(t) * c(t-1)經由多工器1910自乘法器裝置1903輸出時儲存彼值之暫存器1904、用以在值i(t) * u(t)經由多工器1910自乘法器裝置1903輸出時儲存彼值之暫存器1905，及用以在值o(t) * c~(t)經由多工器1910及多工器1909自乘法器裝置1903輸出時儲存彼值之暫存器1906。
儘管LSTM單元1800包含多個集合之VMM陣列1801及各別激發函數區塊1802，但LSTM單元1900僅包含一個集合之VMM陣列1901及激發函數區塊1902，其用於表示LSTM單元1900之具體例中之多個層。LSTM單元1900將需要比LSTM 1800少的空間，此係因為LSTM單元1900相比於LSTM單元1800將需要1/4之空間用於VMM及激發函數區塊。
可進一步瞭解，LSTM單元將通常包含多個VMM陣列，其中之每一者需要由VMM陣列外部之某些電路區塊(諸如求和器及激發電路區塊以及高電壓產生區塊)提供的功能性。為每一VMM陣列提供單獨電路區塊將需要半導體裝置內之大量空間且將略微低效。 閘控循環單元
類比VMM實作可用於閘控循環單元(GRU)系統。GRU為循環神經網路中之閘控機制。GRU類似於LSTM，除了GRU單元大體上包含少於LSTM單元之組件之外。
圖20描繪例示性GRU 2000。在此實施例中，GRU 2000包含單元2001、2002、2003及2004。單元2001接收輸入向量x0 且產生輸出向量h0 。單元2002接收輸入向量x1 、來自單元2001之輸出向量h0 且產生輸出向量h1 。單元2003接收輸入向量x2 及來自單元2002之輸出向量(隱藏狀態) h1 且產生輸出向量h2 。單元2004接收輸入向量x3 及來自單元2003之輸出向量(隱藏狀態) h2 且產生輸出向量h3 。可使用額外單元，且具有四個單元之GRU僅為實施例。
圖21描繪GRU單元2100之例示性實作，該GRU單元可用於圖20的單元2001、2002、2003及2004。GRU單元2100接收輸入向量x(t)及來自之前GRU單元之輸出向量h(t-1)，且產生輸出向量h(t)。GRU單元2100包含S型函數裝置2101及2102，其中之每一者將0與1之間的數字應用至來自輸出向量h(t-1)及輸入向量x(t)之分量。GRU單元2100亦包含用以將雙曲正切函數應用至輸入向量之雙曲正切裝置2103，用以將兩個向量相乘在一起之複數個乘法器裝置2104、2105及2106，用以將兩個向量相加在一起之加法裝置2107，及用以自1減去輸入以產生輸出之互補裝置2108。
圖22描繪GRU單元2200，其為GRU單元2100之實作的實施例。為了方便讀者，來自GRU單元2100之相同編號用於GRU單元2200中。如圖22中可見，S型函數裝置2101及2102以及雙曲正切裝置2103各自包含多個VMM陣列2201及激發函數區塊2202。因此，可見VMM陣列尤其用於在某些神經網路系統中使用之GRU單元。乘法器裝置2104、2105、2106，加法裝置2107及互補裝置2108以數位方式或以類比方式實作。激發函數區塊2202可以數位方式或以類比方式實作。
圖23中展示GRU單元2200之替代例(及GRU單元2300之實作的另一實施例)。在圖23中，GRU單元2300利用VMM陣列2301及激發函數區塊2302，該VMM陣列及激發函數區塊在經組構為S型函數時應用0與1之間的數字以控制輸入向量中之每一分量被允許通過輸出向量之量。在圖23中，S型函數裝置2101及2102以及雙曲正切裝置2103可以時間多工方式共用同一實體硬體(VMM陣列2301及激發函數區塊2302)。GRU單元2300亦包含用以將兩個向量相乘在一起之乘法器裝置2303、用以將兩個向量相加在一起之加法裝置2305、用以自1減去輸入以產生輸出之互補裝置2309、多工器2304、用以當經由多工器2304自乘法器裝置2303輸出值h(t-1) * r(t)時保持彼值之暫存器2306、用以當經由多工器2304自乘法器裝置2303輸出值h(t-1) *z(t)時保持彼值之暫存器2307，及用以當經由多工器2304自乘法器裝置2303輸出值h^(t) * (1-z(t))時保持彼值之暫存器2308。
儘管GRU單元2200包含多個集合之VMM陣列2201及激發函數區塊2202，但GRU單元2300僅包含一個集合之VMM陣列2301及激發函數區塊2302，其用於表示GRU單元2300之具體例中之多個層。GRU單元2300將需要比GRU單元2200少的空間，此係因為GRU單元2300相比於GRU單元2200將需要1/3之空間用於VMM及激發函數區塊。
可進一步瞭解，GRU系統將通常包含多個VMM陣列，其中之每一者需要由VMM陣列外部之某些電路區塊(諸如求和器及激發電路區塊以及高電壓產生區塊)提供的功能性。為每一VMM陣列提供單獨電路區塊將需要半導體裝置內之大量空間且將略微低效。
VMM陣列之輸入可為類比位準、二進位位準或數位位元(在此情況下，需要DAC以將數位位元轉換至適當輸入類比位準)，且輸出可為類比位準、二進位位準或數位位元(在此情況下，需要輸出ADC以將輸出類比位準轉換成數位位元)。
大體而言，對於VMM陣列中之每一記憶體單元，每一權重W可由單個記憶體單元或差分單元或兩個混合記憶體單元(2個單元之平均值)實作。在差分單元情況下，需要兩個記憶體單元以將權重W實作為差分權重(W = W+ - W-)。在兩個混合記憶體單元中，需要兩個記憶體單元以將權重W實作為兩個單元之平均值。
類比神經記憶體系統中使用之每一非揮發性記憶體單元必須經抹除及程式化，以在浮動閘極中保持特定且精確量之電荷，亦即電子數目。例如，每一浮動閘極必須保持N個不同值中之一者，其中N為可由每一單元指示之不同權重之數目。N之實施例包括16、32、64、128及256。
向量矩陣乘法(VMM)系統中之一個挑戰為選擇特定單元或單元群組，或在一些情況下整個單元陣列以用於抹除、程式化及讀取操作之能力。相關挑戰為減少且較佳地最小化每一單元中之洩漏，此係由於洩漏會負面地影響系統之準確性。
需要經改良解碼系統，其在類比神經記憶體系統中之非揮發性記憶體單元的讀取操作期間減少且較佳地最小化洩漏。
揭示用於利用非揮發性記憶體單元之類比神經記憶體系統的在讀取操作期間減少洩漏之經改良解碼系統。
本發明之人工神經網路利用CMOS技術與非揮發性記憶體陣列之組合。 用於VMM陣列之解碼系統及實體佈局具體例
圖33至圖51揭示可與先前關於圖2至圖7所描述的記憶體單元類型中的任一者或與其他非揮發性記憶體單元一起使用的用於VMM陣列之各種解碼系統及實體佈局。
圖33描繪VMM系統3300。VMM系統3300包含VMM陣列3301(其可係基於先前所論述VMM陣列設計中之任一者，諸如VMM陣列1000、1100、1200、1300、1400、1500、2400、2500、2600、2700、2800、2900、3000、3100及3200或其他VMM設計)、低電壓列解碼器3302、高電壓列解碼器3303、行解碼器3304、行驅動器3305、控制邏輯3306、偏壓電路3307、神經元輸出電路區塊3308、輸入VMM電路區塊3309、演算法控制器3310、高電壓產生器區塊3311、類比電路區塊3315及控制邏輯3316。
輸入電路區塊3309充當自外部輸入至記憶體陣列3301之輸入端子的介面。輸入電路區塊3309可包含但不限於數位至類比轉換器(DAC)、數位至脈衝轉換器(DPC)、類比至脈衝轉換器(APC)、電流至電壓轉換器(IVC)、類比至類比轉換器(AAC，諸如電壓至電壓定標器)或頻率至類比轉換器(FAC)。神經元輸出區塊3308充當自記憶體陣列輸出至外部介面(未示出)之介面。神經元輸出區塊3308可包含但不限於類比至數位轉換器(ADC)、類比至脈衝轉換器(APC)、數位至脈衝轉換器(DPC)、電流至電壓轉換器(IVC)或電流至頻率轉換器(IFC)。神經元輸出區塊3308可包括但不限於激發函數、正規化電路及/或重新縮放電路。
低電壓列解碼器3302為讀取及程式化操作提供偏壓電壓且為高電壓列解碼器3303提供解碼信號。高電壓列解碼器3303為程式化及抹除操作提供高電壓偏壓信號。
演算法控制器3310在程式化、驗證及抹除操作期間提供用於位元線之控制功能。
高電壓產生器區塊3311包含電荷泵3312、電荷泵調節器3313及高電壓產生電路3314，該電路提供各種程式化、抹除、程式化驗證及讀取操作所需之多個電壓。
圖34描繪VMM系統3400，其尤其適於與圖4中描繪為記憶體單元410的記憶體單元類型一起使用。VMM系統3400包含VMM陣列3401、3402、3403及3404(每一者可係基於先前所論述VMM陣列設計中之任一者，諸如VMM陣列1000、1100、1200、1300、1400、1500、2400、2500、2600、2700、2800、2900、3000及3100或其他VMM陣列設計)；低電壓列解碼器3405、3406、3407及3408；共用的高電壓列解碼器3409；字線或輸入字線3411、3412、3413及3414；位元線3421、3422、3423及3424；控制閘極線3432、源極線3434以及抹除閘極線3436。共用的高電壓列解碼器3409提供控制閘極線3432、源極線3434及抹除閘極線3436。在此配置中，字線3411、3412、3413及3414與位元線3421、3422、3423及3424彼此平行。在一個具體例中，字線及位元線係在豎直方向上配置。控制閘極線3432、源極線3434與抹除閘極線3436彼此平行且在水平方向上配置，且因此垂直於字線或輸入字線3411、3412、3413及3414以及位元線3421、3422、3423及3424。
在VMM系統3400中，VMM陣列3401、3402、3403及3404共用控制閘極線3432、源極線3434、抹除閘極線3436及高電壓列解碼器3409。然而，該等陣列中之每一者具有其自有低電壓列解碼器，使得低電壓列解碼器3405與VMM陣列3401一起使用；低電壓列解碼器3406與VMM陣列3402一起使用；低電壓列解碼器3407與VMM陣列3403一起使用；且低電壓列解碼器3408與VMM陣列3404一起使用。此配置之益處為以下實情：字線3411、3412、3413及3414在豎直方向上配置，使得字線3411可僅路由至VMM陣列3401，字線3412可僅路由至VMM陣列3402，字線3413可僅路由至VMM陣列3403，且字線3414可僅路由至VMM陣列3404。對於共用同一高電壓解碼器及同一高電壓解碼線之多個VMM陣列，在使用字線在水平方向上配置之習知佈局的情況下，此將係極低效的。
圖35描繪VMM系統3500，其尤其適於與圖4中描繪為記憶體單元410的記憶體單元類型一起使用。除了VMM系統3500包含用於讀取操作及程式化操作之單獨字線及低電壓列解碼器之外，VMM系統3500類似於圖33之VMM系統3300。
VMM系統3500包含VMM陣列3501、3502、3503及3504 (每一者可係基於先前所論述VMM設計中之任一者，諸如VMM陣列1000、1100、1200、1300、1400、1500、2400、2500、2600、2700、2800、2900、3000、3100及3200或其他VMM陣列設計)；低電壓讀取列解碼器3505、3506、3507及3508；共用的低電壓程式化列解碼器3530；共用的高電壓列解碼器3509；讀取字線或輸入字線3511、3512、3513及3514；程式化預解碼列線3515；位元線3521、3522、3523及3524；控制閘極線3532、源極線3533以及抹除閘極線3535。共用的高電壓列解碼器3509提供控制閘極線3532、源極線3533及抹除閘極線3535。在此佈局中，讀取字線或輸入字線3511、3512、3513及3514，程式化預解碼列線3515以及位元線3521、3522、3523及3524平行於彼此且在豎直方向上配置。控制閘極線3532、源極線3533與抹除閘極線3535彼此平行且在水平方向上配置，且因此垂直於讀取字線或輸入字線3511、3512、3513及3514，程式化預解碼列線3515以及位元線3521、3522、3523及3524。在此VMM系統3500中，跨越多個VMM陣列共用低電壓程式化列解碼器3530。
在VMM系統3500中，VMM陣列3501、3502、3503及3504共用控制閘極線3532、源極線3533、抹除閘極線3535及高電壓列解碼器3509。然而，VMM陣列中的每一者具有其自身之低電壓讀取列解碼器，使得低電壓讀取列解碼器3505與VMM陣列3501一起使用；低電壓讀取列解碼器3506與VMM陣列3502一起使用；低電壓讀取列解碼器3507與VMM陣列3503一起使用；且低電壓讀取列解碼器3508與VMM陣列3504一起使用。此佈局之益處為以下實情：讀取字線或輸入字線3511、3512、3513及3514在豎直方向上配置，使得字線3511可僅路由至VMM陣列3501，字線3512可僅路由至VMM陣列3502，字線3513可僅路由至VMM陣列3503，字線3514可僅路由至VMM陣列3504。對於共用同一高電壓解碼器及同一高電壓解碼線之多個陣列，在使用字線在水平方向上配置之習知佈局的情況下，此將係極低效的。值得注意地，程式化預解碼列線3515可經由低電壓程式化列解碼器3530連接至VMM陣列3501、3502、3503及3504中的任一者，使得彼等VMM陣列中之一或多者中的單元可同時經程式化。
圖36描繪關於VMM系統3500之某些態樣的額外細節，特定而言，關於例示為低電壓列解碼器3600之低電壓列解碼器3505、3506、3507及3508的細節。低電壓讀取列解碼器3600包含複數個開關，諸如所示之例示性開關，以將字線分別與VMM陣列3601、3602、3603及3604中之單元列選擇性地耦接。低電壓程式化解碼器3630包含如所示經組構的例示性反及閘3631及3632、PMOS電晶體3633及3635，以及NMOS電晶體3636及3636。反及閘3631及3632接收程式化預解碼列線XP 3615作為輸入。在程式化操作期間，低電壓讀取列解碼器3605、3606、3607及3608中之開關Sp(其可為CMOS多工器或另一類型之開關)閉合，且因此程式化字線Wlp0至n耦接至陣列中之字線以施加電壓進行程式化。在讀取操作期間，使用低電壓讀取列解碼器3605、3606、3607及3608內的Sr開關(閉合) (其可為CMOS多工器或另一類型之開關)選擇性地耦接讀取字線或輸入字線3611、3612、3613及3614，以將電壓施加至陣列3601、3602、3603及3604中之一或多者內的列之字線端子。
圖37描繪VMM系統3700，其尤其適於與圖4中描繪為記憶體單元410的記憶體單元類型一起使用。VMM系統3700包含VMM陣列3701、3702、3703及3704(每一者可係基於先前所論述VMM設計中之任一者，諸如VMM陣列1000、1100、1200、1300、1400、1500、2400、2500、2600、2700、2800、2900、3000及3100或其他VMM陣列設計)；低電壓列解碼器3705、3706、3707及3708；區域高電壓列解碼器3709及3710；全域高電壓列解碼器3730；字線3711、3712、3713及3714；位元線3721、3722、3723及3724；高電壓及/或低電壓(HV/LV)預解碼線3732、源極線3733、以及抹除閘極線3734。共用的全域高電壓列解碼器3730提供HV/LV預解碼線3732、源極線3733及抹除閘極線3734。在此佈局中，字線3711、3712、3713及3714與位元線3721、3722、3723及3724彼此平行且在豎直方向上配置。HV/LV預解碼線3732、源極線3733與抹除閘極線3734彼此平行且在水平方向上配置，且因此垂直於字線3711、3712、3713及3714以及位元線3721、3722、3723及3724。HV/LV預解碼線3732輸入至區域高電壓解碼器3709及3710。區域高電壓解碼器3709輸出用於VMM陣列3701及3702之區域控制閘極線。區域高電壓解碼器3710輸出用於VMM陣列3703及3704之區域控制閘極線。在另一具體例中，區域高電壓解碼器3709及3710可分別提供用於VMM陣列3701/3702及VMM陣列3703/3704之區域源極線。在另一具體例中，區域高電壓解碼器3709及3710可分別提供用於VMM陣列3701/3702及VMM陣列3703/3704之區域抹除閘極線。
此處，區域高電壓列解碼器3709由VMM陣列3701及3702共用，且區域高電壓列解碼器3710由VMM陣列3703及3704共用。全域高電壓解碼器3730將高電壓及低電壓預解碼信號路由至區域高電壓列解碼器，諸如區域高電壓列解碼器3709及3710。因此，高電壓解碼功能在全域高電壓列解碼器3730與諸如區域高電壓解碼器3709及3710之區域高電壓解碼器之間被分割。
在VMM系統3700中，VMM陣列3701、3702、3703及3704共用HV/LV預解碼線3732、源極線3733、抹除閘極線3734及全域高電壓列解碼器3730。然而，VMM陣列中之每一者具有其自身之低電壓列解碼器，使得低電壓列解碼器3705與VMM陣列3701一起使用；低電壓列解碼器3706與VMM陣列3702一起使用；低電壓列解碼器3707與VMM陣列3703一起使用；且低電壓列解碼器3708與VMM陣列3704一起使用。此佈局之益處為以下實情：字線3711、3712、3713及3714在豎直方向上配置，使得字線3711可僅路由至VMM陣列3701，字線3712可僅路由至VMM陣列3702，字線3713可僅路由至VMM陣列3703，且字線3714可僅路由至VMM陣列3704。對於共用單個高電壓解碼器之多個陣列，在使用字線在水平方向上配置之習知佈局的情況下，此將係極低效的。
圖38描繪VMM系統3800，其尤其適於與圖4中描繪為記憶體單元410的記憶體單元類型一起使用。VMM系統3800包含VMM陣列3801、3802、3803及3804(每一者可係基於先前所論述VMM設計中之任一者，諸如VMM陣列1000、1100、1200、1300、1400、1500、2400、2500、2600、2700、2800、2900、3000、3100及3200或其他VMM陣列設計)；低電壓列解碼器3805、3806、3807及3808；區域高電壓列解碼器3809及3810；全域高電壓列解碼器3830；位元線3821、3822、3823及3824；控制閘極線或控制閘極輸入線3811及3812、HV/LV預解碼線3833、源極線3834以及抹除閘極線3835。共用的全域高電壓列解碼器3830提供HV/LV預解碼線3833、源極線3834及抹除閘極線3835。區域高電壓解碼器3809及3810分別將控制閘極輸入CG 3811及3812耦接至VMM陣列3801、3802及3803、3804的區域控制閘極。低電壓列解碼器3805、3806、3807及3808分別將區域(水平)字線提供至陣列3801、3802、3803、3804。在此佈局中，控制閘極線3811及3812與位元線3821、3822、3823及3824彼此平行且在豎直方向上配置。源極線3834與抹除閘極線3835彼此平行且在水平方向上配置，且因此垂直於控制閘極線3811及3812以及位元線3821、3822、3823及3824。
如在圖37之VMM系統3700中，區域高電壓列解碼器3809由VMM陣列3801及3802共用，且區域高電壓列解碼器3810由VMM陣列3803及3804共用。全域高電壓解碼器3830將信號路由至區域高電壓列解碼器，諸如區域高電壓列解碼器3809及3810。因此，高電壓解碼功能在全域高電壓列解碼器3830與諸如區域高電壓解碼器3809及3810(其可提供區域源極線及/或區域抹除閘極線)之區域高電壓解碼器之間被分割。
在VMM系統3800中，VMM陣列3801、3802、3803及3804共用HV/LV預解碼線3833、源極線3834、抹除閘極線3835及全域高電壓列解碼器3830。然而，VMM陣列中之每一者具有其自身之低電壓列解碼器，使得低電壓列解碼器3805與VMM陣列3801一起使用；低電壓列解碼器3806與VMM陣列3802一起使用；低電壓列解碼器3807與VMM陣列3803一起使用；且低電壓列解碼器3808與VMM陣列3804一起使用。此佈局的益處為以下實情：控制閘極線3811及3812(其可為讀取線或輸入線)配置於豎直方向上，使得控制閘極線3811可僅路由至VMM陣列3801及3802，且控制閘極線3812可僅路由至VMM陣列3803及3804。在使用字線在水平方向上配置之習知佈局的情況下，此將係不可能的。
圖39描繪VMM系統3900，其尤其適於與圖3中描繪為記憶體單元310、圖4中描繪為記憶體單元410、圖5中描繪為記憶體單元510或圖7中描繪為記憶體單元710之記憶體單元類型一起使用。VMM系統3900包含VMM陣列3901及3902(每一者可係基於先前所論述VMM設計中的任一者，諸如VMM陣列1000、1100、1200、1300、1400、1500、2400、2500、2600、2700、2800、2900、3000、3100及3200或其他VMM陣列設計)；低電壓列解碼器3903(與陣列3901及3902一起使用)；區域高電壓列解碼器3905、全域高電壓列解碼器3904；控制閘極線3908及3909；以及位元線3906及3907。在此佈局中，控制閘極線3908僅由VMM陣列3901使用，且控制閘極線3909僅由VMM陣列3902使用。低電壓列解碼線3910用作全域高電壓列解碼器3904之解碼輸入。全域高電壓列解碼線3911用作區域高電壓解碼器3905之解碼輸入。
區域高電壓列解碼器3905由VMM陣列3901及3902共用。全域高電壓解碼器3904將信號路由至多個VMM系統之區域高電壓列解碼器，諸如VMM系統3900之區域高電壓列解碼器3905。因此，高電壓解碼功能在全域高電壓列解碼器3904與諸如如上文所描述之區域高電壓解碼器3905的區域高電壓解碼器之間被分割。
在VMM系統3900中，VMM陣列3901及3902共用字線(未示出)、源極閘極線(若存在) (未示出)、抹除閘極線(若存在) (未示出)及全域高電壓列解碼器3904。此處，VMM陣列3901及3902共用低電壓列解碼器3903。此佈局的益處為以下實情：VMM陣列3901及3902並不共用控制閘極線，此使得能夠分別使用控制閘極線3908及3909來獨立地存取每一陣列。
圖51A描繪VMM系統5100，其尤其適於與圖4中描繪為記憶體單元410的記憶體單元類型一起使用。VMM系統5100包含VMM陣列5101、5102、5103及5104(每一者可係基於先前所論述VMM陣列設計中的任一者，諸如VMM陣列1000、1100、1200、1300、1400、1510、2400、2510、2600、2700、2800、2900、3000、3100及3200或其他VMM陣列設計)；高電壓解碼器5130；路由區塊5151及5152；輸入字線5111及5112、位元線5121、5122、5123及5124；控制閘極線5132、源極線5133以及抹除閘極線5134。高電壓解碼器5130提供用於控制閘極線5132、源極線5133及抹除閘極線5134的信號。路由區塊5151、5152為將豎直地接收之輸入字線5111及5112分別路由至VMM陣列5101至5104之水平延行字線處。替代地，路由區塊5151、5152可將豎直地接收之控制閘極輸入線5132路由至VMM陣列之水平延行控制閘極線5132。
圖51B描繪VMM系統5150，其在所有方面均與VMM系統5100相同，不同之處在於可自陣列之頂部以及自底部路由位元線且可自陣列之右側以及自陣列之左側路由控制閘極(CG)。此意謂陣列的兩側皆可用於位元線路由或控制閘極(或字線)路由。在端子(BL、CG、WL)經向外路由的陣列之每一側處可能需要區域解碼器或多工。此路由方法例如為神經讀取模式(神經網路推理模式)所需要。
圖40描繪低電壓列解碼器4000，其包含反及閘4001、PMOS電晶體4002及NMOS電晶體4003。反及閘4001接收列位址信號4004。PMOS電晶體4002耦接至豎直字線輸入4005。輸出在水平字線4006上，該等字線為耦接至各別VMM陣列之許多字線中之一者。在此實施例中，總共存在16條字線，且因此將存在列解碼器4000的16個執行個體，其各自輸出16條字線中的一者。因此，基於所接收列位址信號，諸如字線4006的一條字線將輸出諸如電壓之各別信號，且其他字線將設定為接地。
圖41描繪組合之共選擇/取消選擇字線及控制閘極解碼器4100，其包含如圖40中之低電壓列解碼器，該低電壓列解碼器在此處包含反及閘4101、PMOS電晶體4102、NMOS電晶體4103、列位址信號4104、豎直輸入字線4105以及耦接至VMM陣列之字線的水平輸出字線4106。組合之字線及控制閘極解碼器4100進一步包含反相器4107、開關4108及4112以及隔離電晶體4109，且接收控制閘極輸入4110 CGIN0且輸出控制閘極線4111 CG0。藉由控制反及閘4101之解碼邏輯(未示出)同時選擇或取消選擇字線輸出4106 WL0及控制閘極輸出CG0 4111。
圖42描繪在VMM陣列4201及4202上操作之位元線解碼器4200。位元線解碼器4200包含行多工器4203(用於選擇一或多個位元線以進行程式化及驗證，其中驗證操作係用來確認單元電流在調諧操作(程式化或抹除操作)期間達到某一目標)，及感測放大器4204(用於對一或多個位元線執行讀取操作)。如所示，區域位元線多工器4201b及4202b將區域陣列位元線多工至待耦接至行多工器4203之全域位元線4220x。感測放大器包含ADC或其他裝置。因此，跨越多個陣列共用位元線解碼器4200。
圖43描繪VMM系統4300，其包含VMM陣列4301、4302、4303及4304；低電壓列解碼器4305及4307；區域高電壓列解碼器4306及4308；全域高電壓列解碼器4309；數位匯流排輸入QIN[7:0] 4311及4312(其在此處為VMM陣列之輸入)；以及位元線4321、4322、4323及4324。諸如低電壓列解碼器4305之每一低電壓列解碼器包含用於每條字線之電路區塊列解碼器4335，諸如例示性資料輸入區塊4331(其可由8個鎖存器或暫存器組成)及區塊4332(其可包含資料至電壓轉換器電路或資料至脈衝轉換器電路)，該區塊在字線上輸出信號4333。因此，至此低電壓列解碼器之輸入為具有適當控制邏輯之數位匯流排QIN [7:0]。對於每一電路區塊列解碼器4335，數位輸入QIN [7:0] 4311及4312諸如藉由同步計時構件及方法(諸如藉由串行至並行計時介面)適當地鎖存。
圖44描繪神經網路陣列輸入輸出匯流排多工器4400，其自VMM陣列(諸如自ADC)接收輸出且以多工方式將彼等輸出成組地提供至其他VMM陣列(諸如DAC或DPC)之輸入區塊。在所示之實施例中，輸入輸出匯流排多工器4400之輸入包含2048個位元(256個集合NEU0...NEU255，其各自具有8個位元)，且輸入輸出匯流排多工器4400以64個不同群組提供彼等位元，每群組具有32個位元，其中該多工器諸如藉由使用分時多工(其中其在任何給定時間提供1組32個位元)在不同群組之間進行多工。控制邏輯4401產生控制信號4402以控制輸入輸出匯流排多工器4400。
圖45A及圖45B描繪VMM陣列之例示性佈局，其中相較於以豎直方式(圖45B，諸如在圖34或圖35中)，字線以水平方式(圖45A)佈置。
圖46描繪VMM陣列之例示性佈局，其中字線以豎直方式佈置(諸如在圖34或圖35中)。然而，在此佈局中，兩條字線(諸如字線4601及4602)可佔用同一行，但存取陣列中之不同列(由於該等字線之間的間隙)。
圖47描繪適於與圖2中所示之記憶體單元類型一起使用的VMM高電壓解碼電路，其包含字線解碼器電路4701、源極線解碼器電路4704及高電壓位準移位器4708。
字線解碼器電路4701包含如所示組構的PMOS選擇電晶體4702(由信號HVO_B控制)及NMOS取消選擇電晶體4703(由信號HVO_B控制)。
源極線解碼器電路4704包含如所示組構的NMOS監視器電晶體4705(由信號HVO控制)、驅動電晶體4706(由信號HVO控制)及取消選擇電晶體4707(由信號HVO_B控制)。
高電壓位準移位器4708接收啟用信號EN且輸出高電壓信號HV及其互補HVO_B。
圖48描繪適於與圖3中所示之記憶體單元類型一起使用的VMM高電壓解碼電路，其包含抹除閘極解碼器電路4801、控制閘極解碼器電路4804、源極線解碼器電路4807以及高電壓位準移位器4811。
抹除閘極解碼器電路4801及控制閘極解碼器電路4804使用與圖47中之字線解碼器電路4701相同的設計。
源極線解碼器電路4807使用與圖47中之源極線解碼器電路4704相同的設計。
高電壓位準移位器4811使用與圖47中之高電壓位準移位器4708相同的設計。
圖49描繪字線驅動器4900。字線驅動器4900選擇字線(諸如此處所示之例示性字線WL0、WL1、WL2及WL3)且將偏壓電壓提供至彼字線。每條字線附接至由控制線4902控制之選擇隔離電晶體，諸如選擇電晶體4901。選擇電晶體(諸如選擇電晶體4901)將在抹除操作期間使用之高電壓(例如，8至12V)與字線解碼電晶體隔離，該字線解碼電晶體可藉由在低電壓(例如，1.8 V、3.3 V)下操作之IO電晶體來實作。此處，在任何操作期間，啟動控制線4902，且接通類似於選擇電晶體4901之所有選擇電晶體。例示性偏壓電晶體4903(字線解碼電路的部分)將字線選擇性地耦接至第一偏壓電壓(諸如3V)，且例示性偏壓電晶體4904(字線解碼電路的部分)將字線選擇性地耦接至第二偏壓電壓(低於第一偏壓電壓，其包括接地、接地與第一偏壓電壓之間的偏壓或負電壓偏壓以減少自未使用記憶體列的洩漏)。在類比神經網路(ANN)讀取操作期間，所有所使用字線將經選擇且與第一偏壓電壓相關聯。所有未使用字線與第二偏壓電壓相關聯。在諸如程式化操作之其他操作期間，將僅選擇一條字線且其他字線將與第二偏壓電壓相關聯，第二偏壓電壓可為負偏壓(例如，-0.3至-0.5V或更多)以減少陣列洩漏。
偏壓電晶體4903及4904耦接至移位暫存器4905之級4906的輸出。移位暫存器4905使得能夠根據輸入資料圖案(其在ANN操作開始時載入)獨立地控制每一列。
圖50描繪字線驅動器5000。字線驅動器5000類似於字線驅動器4900，除了每一選擇電晶體進一步耦接至諸如電容器5001之電容器之外。電容器5001可在操作開始時將預充電或偏壓提供至字線，其由電晶體5002啟用以取樣線5003上的電壓。電容器5001用以對每條字線之輸入電壓進行取樣及保持(S/H)。電晶體5004及5005在VMM陣列之ANN操作(陣列電流求和器及激發函數)期間關閉，此意謂S/H電容器5001上之電壓將充當用於各別字線之(浮動)電壓源。替代地，電容器5001可由來自VMM陣列之字線(或若輸入是在控制閘極上，則作為控制閘極電容)電容提供。 串聯列解碼器
圖52至圖55描繪串聯解碼器之具體例。串聯解碼器減少且較佳地最小化陣列洩漏。在神經讀取期間，較佳地關閉未使用列以減少陣列洩漏。在先前技術中，通常使用字線解碼器驅動控制閘極解碼器，及使用控制閘極切換斷開未使用單元。由於電流十倍數/VCG I-V(例如，2個電流十倍/1V)曲線特性，此對於較大電流位準而言並非最佳的；亦即，當控制閘極CG電壓減小了1V時，控制閘極線上之電流將自約100 nA變化至1 nA。串聯解碼器克服了先前技術的此限制。
在以下實施例中，在驗證操作期間，需要字線解碼器以過驅動控制閘極解碼器，此意謂並不改變控制閘極狀態，直至字線狀態改變為止。在讀取神經操作期間，控制閘極解碼器過驅動字線解碼器，此意謂並不改變字線狀態，直至控制閘極線狀態改變為止。
圖52描繪串聯列解碼器5200，其包含耦接至控制閘極解碼器5202之字線解碼器5201。在此實施例中，串聯列解碼器5200用於陣列中的列0。陣列中之所有其他列將具有指派給其之類似串聯列解碼器。
字線解碼器5201包含如所示組構的配置為反相器之PMOS電晶體5203及NMOS電晶體5204、反及閘5205、反及閘5206以及反相器5207。控制閘極解碼器5202包含如所示組構的反及閘5208、反相器5209、反及閘5210、反相器5211、開關5212、開關5213以及充當通過閘之隔離NMOS電晶體5214(其充當隔離電晶體，其中其閘極連接至諸如Vdd之中間電壓，以隔離非揮發性操作中CG上之高電壓位準(高電壓位準係自高電壓電路供應)與來自反相器5211以及開關5212及5213之邏輯信號)。
在進入需要字線WL0過驅動(以停用或啟用)控制閘極CG0的模式時(諸如在驗證操作期間)，饋送至反及閘5208之一個輸入的控制信號CFG_ENWL將設定為「1」，且饋送至反及閘5206之一個輸入的CFG_ENCG將設定為「0」。在進入需要控制閘極線CG0過驅動(以停用或啟用)字線WL0的模式時(諸如在讀取神經操作期間)，控制信號CFG_ENCG將設定為「1」且CFG_ENWL將設定為「0」。在進入根本未使用列0的模式時，則CFG_ENWL及CFG_ENCG均設定成「0」，此意謂串聯解碼器5200未經啟用。在根本未使用列0的模式下，需要個別地(單獨地)啟用/停用每一字線WL解碼器及每一控制閘極CG解碼器。
首先，將論述不啟用串聯解碼器5200的模式(亦即，CFG_ENWL及CFG_ENCG=「0」)。當CFG_ENCG及CFG_ENWL為「0」時，不論每一反及閘之其他輸入的值如何，反及閘5206及5208之輸出將各自為「1」。反及閘5205之輸出將為「1」，此係因為經預解碼位址線ENX0...ENXn由於列0未經定址而未經確證。PMOS電晶體5203將因此斷開且NMOS電晶體將接通，使得WL0將為「0」。反及閘5208之輸出將為「1」，此係由於輸入CFG_ENWL為「0」，且反及閘5210之輸出將為「1」，此係因為經預解碼線ENG0...ENGn由於列0未經定址而未經確證。開關5213將因此閉合。反相器5211之輸出將為「0」，此將斷開開關5212。在閉合狀態下之開關5213將通過閘5214之輸入拉低，且輸出CG0將為「0」。因此，在經預解碼線未經確證之此模式中，WL0及CG0將被拉至為所要狀態之「0」，此係由於並未使用串聯解碼器5200。值得注意地，記憶體單元將不展現任何明顯洩漏電流，此係因為端子WL0及CG0兩者分別經由下拉電晶體5204及開關5213(通常亦為NMOS電晶體)拉至接地。
其次，將論述啟用串聯解碼器5200且字線WL0過驅動(以啟用或停用)控制閘極CG0的模式。CFG_ENCG將設定為「0」且CFG_ENWL將設定為「1」。不論在另一輸入上所接收的值如何，反及閘5206之輸出將為「1」。在此情況下，假定接收了對應於列0之位址，因此反及閘5205之輸入ENX0...ENXn將各自為「1」，此意謂反及閘5205之輸出將為「0」。PMOS電晶體5203將接通，NMOS電晶體5204將斷開，且WL0將被拉至「1」，特定而言拉向字線偏壓電壓WLBIAS。反相器5209之輸入將為「1」，反相器5209之輸出將為「0」，且反及閘5208之輸出將為「1」。在此情況下，假定接收了對應於列0之位址，因此反及閘5210之輸入ENG0...ENGn將各自為「1」，此意謂反及閘5210之輸出將為「0」，從而斷開開關5213。反相器5211之輸出將為「1」，開關5212將閉合(啟用)，如上文所指示，開關5213將斷開(停用)，通過閘5214已接通，且控制閘極CG0將被拉至輸入CGIN0。CG0將並不自「0」切換至控制閘極偏壓電壓CGIN0，直至WL0自「0」切換至「1」為止，此係因為直至發生彼情況，反及閘5208將輸出「0」。
再次，將論述啟用串聯解碼器5200且啟用ENCGIN之控制閘極或控制閘極CG0過驅動(以啟用或停用)字線WL0的模式。 CFG_ENCG將設定為「1」且CFG_ENWL將設定為「0」。不論另一輸入上所接收之值如何，反及閘5208之輸出將為「1」。在此情況下，假定接收了對應於列0之位址，因此反及閘5210之輸入ENG0...ENGn將各自為「1」，此意謂反及閘5210之輸出將為「0」。反相器5211之輸出將為「1」，開關5212將閉合，開關5213將斷開，且CG0將被驅動至輸入CGIN0。反相器5207之輸入將為「1」，反相器5207之輸出將為「0」，反及閘5206之輸出將切換至「1」。在此情況下，假定接收了對應於列0之位址，因此反及閘5205之輸入ENX0...ENXn將各自為「1」，此意謂在假定反及閘5206之輸出經確證(亦即=「1」)的情況下，反及閘5205的輸出將為「0」。PMOS電晶體5203將接通且NMOS電晶體5204將斷開，從而使得輸出WL0為「1」。在此第三模式(CG解碼過驅動WL解碼)下，WL0將並不自「0」切換至「1」，直至CG0自「0」切換至「1」為止，此係因為直至發生彼情況，反及閘5206將輸出「0」。如取決於模式所示，使用WL0 (WL解碼)以交叉線方式(WL0互連線及CG0互連線)啟用/停用CG0 (CG解碼)，且反之亦然。
圖53描繪串聯列解碼器5300，其包含耦接至控制閘極解碼器5302之字線解碼器5301。在此實施例中，串聯列解碼器5300用於陣列中的列0。陣列中之所有其他列將具有指派給其之類似串聯列解碼器。字線解碼器5301與圖52中之字線解碼器5201相同。控制閘極解碼器5302與圖52中之控制閘極解碼器5202相同，除了自控制閘極解碼器5302至反相器5207之耦接已自開關5212的上游(如在圖52中)移動至輸出節點CG0之外，因此確保了WL0將並不自「0」切換至「1」，直至CG0自「0」切換至控制閘極偏壓電壓「CGIN0」為止，其中「CGIN0」處於充分高的電壓位準，諸如＞=參考位準，例如，0.5V。串聯列解碼器5300在其他方面以與串聯列解碼器5200相同的方式操作。反相器5207充當具有為電力供應之大約一半的跳脫點的比較器，此意謂若CG0＜ ~0.5 Vdd，則其輸出=「1」。展示了插入有比較器5207B之另一具體例，若輸入電壓位準IN (亦即，CG0)＜參考電壓位準VREF(例如，0.5V)，則其輸出OUT=「1」。類似地，反相器5209可實施為類似於比較器5207B的比較器。
圖54描繪串聯列解碼器5400，其包含字線解碼器5401及控制閘極解碼器5402。在此實施例中，串聯列解碼器5400用於陣列中的列0。陣列中之所有其他列將具有指派給其之類似串聯列解碼器。列解碼器5400使用各別區域鎖存器以用於啟用或停用每條字線或每條控制閘極線。替代地，可使用一個鎖存器以串聯方式一起啟用/停用每條字線及控制閘極線。
字線解碼器5401包含如所示組構的PMOS電晶體5403、NMOS電晶體5404、反及閘5405以及鎖存器5406。控制閘極解碼器5402包含如所示組構之反及閘5408、鎖存器5409、反相器5410、開關5411、開關5412以及通過閘5413。
藉由將EN_LATWL/EN_LATCG及DINLAT設定為「1」來啟用串聯列解碼器5400，此啟用字線解碼器5401及控制閘極解碼器5402。在此情況下，列0經選擇，因此解碼位址信號ENX0...ENXn及ENG0...ENGn將皆為「1」。在發生此情況時，鎖存器5406之輸出將設定為「1」，反及閘5405之輸出將為「0」，且PMOS電晶體5403將接通且NMOS電晶體5404將斷開。 WL0將被驅動高至WLBIAS，此為「1」。在EN_LATCG及DINLAT設定為「1」時，鎖存器5409之輸出將設定為「1」，反及閘5408的輸出將為「0」，反相器5410的輸出將為「1」，開關5411將閉合，且開關5412將斷開。CGO將被驅動至輸入CGIN0位準。
在不啟用串聯列解碼器5400時，EN_LATWL/EN_LATCG將設定為「1」且DINLAT將設定為「0」，從而使得並不啟用字線解碼器5401及控制閘極解碼器。不論所接收位址信號及EN0之狀態如何，鎖存器5406之輸出將為「0」，反及閘5405之輸出將為「1」，PMOS電晶體5403將斷開，且NMOS電晶體5404將接通，從而將WL0下拉至接地，此為「0」。鎖存器5409之輸出亦將為「0」，反及閘5408之輸出將為「1」，反相器5410之輸出將為「0」，開關5411將斷開，開關5412將閉合，且CG0將經由開關5412下拉至接地，此為「0」。值得注意地，由於WL0或CG0，記憶體單元中將不存在明顯洩漏電流，此係因為端子WL0及CG0兩者皆經由下拉電晶體5404及開關5412 (通常亦為NMOS電晶體)拉至接地。
圖55描繪串聯列解碼器5500，其包含字線解碼器5501及控制閘極解碼器5502。在此實施例中，串聯列解碼器5500用於陣列中的列0。陣列中之所有其他列將具有指派給其之類似串聯列解碼器。此解碼器使用用於輸出之位準移位器，例如以擴展輸出之電壓範圍，諸如多於較大電力供應Vdd (WLBIASH＞Vdd)或小於接地位準(WLBIASL＜0 V，諸如-0.4V至-1V之負位準，以甚至進一步減少記憶體單元洩漏)。
字線解碼器5501包含如所示組構的位準移位器5503、反及閘5504、反及閘5505、反相器5506以及反相器5507。控制閘極解碼器5502包含反及閘5508、反相器5509、反及閘5510、位準移位器5511、開關5512、開關5513、通過閘5514以及反相器5515。
在進入需要字線WL0過驅動控制閘極CG0之模式時，控制信號CFG_ENWL將設定為「1」且CFG_ENCG將設定為「0」。在進入需要控制閘極線CG0過驅動字線WL0之模式時，控制信號CFG_ENCG將設定為「1」且CFG_ENWL將設定為「0」。若並未在列解碼串聯模式下使用列0，則CFG_ENWL及CFG_ENCG皆設定為「0」，此意謂解碼器5500取決於其自身輸入個別地啟用WL及CG。
應注意，如本文中所使用，術語「在...上方」及「在...上」兩者包括「直接在...上」(其間未安置有中間材料、元件或空間)及「間接地在...上」(其間安置有中間材料、元件或空間)。同樣地，術語「鄰近」包括「直接鄰近」(其間未安置有中間材料、元件或空間)及「間接鄰近」(其間安置有中間材料、元件或空間)，「安裝至」包括「直接安裝至」(其間未安置有中間材料、元件或空間)及「間接安裝至」(其間安置有中間材料、元件或空間)，且「電耦接」包括「直接電耦接至」(其間無將元件電連接在一起的中間材料或元件)及「間接電耦接至」(其間具有將元件電連接在一起的中間材料或元件)。例如，「在基板上方」形成元件可包括直接在基板上形成元件而其間無中間材料/元件，以及間接地在基板上形成元件而其間具有一或多種中間材料/元件。
12:半導體基板 14:源極區 16:汲極區(DR) 18:通道區 20:浮動閘極(FG) 22:字線端子,選擇閘極,控制閘極端子 24:位元線端子,位元線接點(BL) 28:控制閘極(CG)端子 30:抹除閘極(EG) 31:數位至類比轉換器 32,32a,32b,32c,32d,32e,3300,3400,3500,3700,3800,3900,4300,5100,5150:向量矩陣乘法(VMM)系統 33:VMM陣列,非揮發性記憶體單元陣列 34:抹除閘極及字線閘極解碼器 35,5202,5302,5402,5502:控制閘極解碼器 36,4200:位元線解碼器 37:源極線解碼器 38:差分求和器 39:激發函數電路 210,310,510:記憶體單元 410:四閘極記憶體單元 610:三閘極記憶體單元 710:堆疊閘式記憶體單元 1100,1200,1300,1400,1500,2400,2500,2600,2700,2800,2900,3000,3100,3200:神經元VMM陣列 1101,1203,1303,1403,1503:非揮發性記憶體單元之記憶體陣列 1102:非揮發性參考記憶體單元之參考陣列 1103,3432,3532,3908,3909,5132:控制閘極線 1104,3436,3535,3734,3835,5134:抹除閘極線 1201,1301,1401,1501:第一非揮發性參考記憶體單元之參考陣列 1202,1302,1402,1502:第二非揮發性參考記憶體單元之參考陣列 1214,1412:二極體連接式貫穿多工器 1404:串疊電晶體 1405,1909,1910,2304:多工器 1514:二極體連接式參考單元貫穿多工器 1600:長短期記憶體(LSTM) 1601,1602,1603,1604,2001,2002,2003,2004:單元 1700,1800,1900:LSTM單元 1701,1702,1703,2101,2102:S型函數裝置 1704,1705,2103:雙曲正切裝置 1706,1707,1708,1903,2104,2105,2106,2303:乘法器裝置 1709,1908,2107,2305:加法裝置 1801,1901,2201,2301,3301,3401,3402,3403,3404,3501,3502,3503,3504,3601,3602,3603,3604,3701,3702,3703,3704,3801,3802,3803,3804,3901,3902,4201,4202,4301,4302,4303,4304,5101,5102,5103,5104:VMM陣列 1802,1902,2202,2302:激發函數區塊 1904,1905,1906,1907,2306,2307,2308:暫存器 2000:閘控循環單元(GRU) 2100,2200,2300:GRU單元 2108,2309:互補裝置 2901-1~2901-N:位元線控制閘極 3302,3405,3406,3407,3408,3705,3706,3707,3708,3805,3806,3807,3808,3903,4000,4305,4307:低電壓列解碼器 3303,3409,3509:高電壓列解碼器 3304:行解碼器 3305:行驅動器 3306,3316,4401:控制邏輯 3307:偏壓電路 3308:神經元輸出電路區塊 3309:輸入VMM電路區塊 3310:演算法控制器 3311:高電壓產生器區塊 3312:電荷泵 3313:電荷泵調節器 3314:高電壓產生電路 3315:類比電路區塊 3411,3412,3413,3414:字線或輸入字線 3421,3422,3423,3424,3521,3522,3523,3524,3721,3722,3723,3724,3821,3822,3823,3824,3906,3907,4321,4322,4323,4324,5121,5122,5123,5124:位元線 3434,3533,3733,3834,5133:源極線 3505,3506,3507,3508,3600,3605,3606,3607,3608:低電壓讀取列解碼器 3511,3512,3513,3514,3611,3612,3613,3614:讀取字線或輸入字線 3515,3615:程式化預解碼列線XP 3530:低電壓程式化列解碼器 3630:低電壓程式化解碼器 3631,3632,4001,4101,5205,5206,5208,5210,5405,5408,5504,5505,5508,5510:反及閘 3633,3635,4002,4102,5203,5403:PMOS電晶體 3636,4003,4103,5204,5404:NMOS電晶體 3709,3710,3809,3810,3905,4306,4308:區域高電壓列解碼器 3711,3712,3713,3714,4601,4602:字線 3730,3830,3904,4309:全域高電壓列解碼器 3732,3833:高電壓及/或低電壓(HV/LV)預解碼線 3811,3812:控制閘極線或控制閘極輸入線CG 3910:低電壓列解碼線 3911:全域高電壓列解碼線 4004,4104:列位址信號 4005,4105:豎直字線輸入 4006,4106:水平輸出字線WL0 4100:組合之共選擇/取消選擇字線及控制閘極解碼器 4107,5207,5209,5211,5410,5506,5507,5509,5515:反相器 4108,4112,5212,5213,5411,5412,5512,5513:開關 4109:隔離電晶體 4110:控制閘極輸入CGIN0 4111:控制閘極輸出CG0 4201b,4202b:區域位元線多工器 4203:行多工器 4204:感測放大器 4220x:全域位元線 4311,4312:數位匯流排輸入QIN[7:0] 4331:資料輸入區塊 4332:區塊 4333:信號 4335:電路區塊列解碼器 4400:神經網路陣列輸入輸出匯流排多工器 4402:控制信號 4701:字線解碼器電路 4702:PMOS選擇電晶體 4703:NMOS取消選擇電晶體 4704,4807:源極線解碼器電路 4705:NMOS監視器電晶體 4706:驅動電晶體 4707:取消選擇電晶體 4708,4811:高電壓位準移位器 4801:抹除閘極解碼器電路 4804:控制閘極解碼器電路 4900,5000:字線驅動器 4901:選擇電晶體 4902:控制線 4903,4904:偏壓電晶體 4905:移位暫存器 4906:級 5001:電容器 5002,5004,5005:電晶體 5003:線 5111,5112:輸入字線 5130:高電壓解碼器 5151,5152:路由區塊 5200,5300,5400,5500:串聯列解碼器 5201,5301,5401,5501:字線解碼器 5207B:比較器 5214:隔離NMOS電晶體 5406,5409:鎖存器 5413,5514:通過閘 5503,5511:位準移位器 BL0~BLN,BL0 ~BLN :位元線 BLR0,BLR1,BLR2,BLR3:端子 BLx,CGIN0,CGx,EGx,INPUT0 ~INPUTN ,Inputx,SLx,WLx:輸入 c0 ,c1 ,c2 :單元狀態向量 C1:特徵圖層 C2,C3,S1,S2:層 CB1:第一突觸 CB2,CB3,CB4:突觸 CFG_ENCG,CFG_ENWL:控制信號 CG0,CG1,CG2,CG3,CG0 ~CGN :控制閘極CG線 EG0,EG1,EGR0,EGR1,EGS:抹除閘極EG線 EN:啟用信號 ENG0~ENGn:經預解碼線 ENX0~ENXn:經預解碼位址線 EN_LATWL,EN_LATCG,DINLAT,HVO_B,HVO:信號 h0 ,h1 ,h2 ,h3 :輸出向量 HV:高電壓信號 IN:輸入電壓位準 OUT,OUTPUT0 ~OUTPUTN :輸出 P1,P2:激發函數 S0:輸入層 S3:輸出層 SL0,SL1,SL0 ,SL1 ,SL2 ,SL3 :源極線 Sp,Sr:開關 Vdd:較大電力供應 VREF:參考電壓位準 WL0,WL1,WL2,WL3,WLA0,WLB0,WLA1,WLB1,WLA2,WLB2,WLA3,WLB3,WL0 ~WLM :字線 WLBIAS:字線偏壓電壓 Wlp0~n:程式化字線 x0 ,x1 ,x2 ,x3 :輸入向量
圖1為例示先前技術人工神經網路之圖。
圖2描繪先前技術分離閘式快閃記憶體單元。
圖3描繪另一先前技術分離閘式快閃記憶體單元。
圖4描繪另一先前技術分離閘式快閃記憶體單元。
圖5描繪另一先前技術分離閘式快閃記憶體單元。
圖6描繪另一先前技術分離閘式快閃記憶體單元。
圖7描繪先前技術堆疊閘式快閃記憶體單元。
圖8為例示利用一或多個非揮發性記憶體陣列之例示性人工神經網路之不同層級的圖。
圖9為例示向量矩陣乘法系統之方塊圖。
圖10為例示利用一或多個向量矩陣乘法系統之例示性人工神經網路的方塊圖。
圖11描繪向量矩陣乘法系統之另一具體例。
圖12描繪向量矩陣乘法系統之另一具體例。
圖13描繪向量矩陣乘法系統之另一具體例。
圖14描繪向量矩陣乘法系統之另一具體例。
圖15描繪向量矩陣乘法系統之另一具體例。
圖16描繪先前技術長短期記憶體系統。
圖17描繪用於長短期記憶體系統中之例示性單元。
圖18描繪圖17之例示性單元的具體例。
圖19描繪圖17之例示性單元的另一具體例。
圖20描繪先前技術閘控循環單元系統。
圖21描繪用於閘控循環單元系統中之例示性單元。
圖22描繪圖21之例示性單元的具體例。
圖23描繪圖21之例示性單元的另一具體例。
圖24描繪向量矩陣乘法系統之另一具體例。
圖25描繪向量矩陣乘法系統之另一具體例。
圖26描繪向量矩陣乘法系統之另一具體例。
圖27描繪向量矩陣乘法系統之另一具體例。
圖28描繪向量矩陣乘法系統之另一具體例。
圖29描繪向量矩陣乘法系統之另一具體例。
圖30描繪向量矩陣乘法系統之另一具體例。
圖31描繪向量矩陣乘法系統之另一具體例。
圖32描繪向量矩陣乘法系統之另一具體例。
圖33描繪向量矩陣乘法系統之例示性方塊圖。
圖34描繪向量矩陣乘法系統之例示性解碼具體例。
圖35描繪向量矩陣乘法系統之另一例示性解碼具體例。
圖36描繪例示性列解碼器。
圖37描繪向量矩陣乘法系統之另一例示性解碼具體例。
圖38描繪向量矩陣乘法系統之另一例示性解碼具體例。
圖39描繪向量矩陣乘法系統之另一例示性解碼具體例。
圖40描繪低電壓列解碼器之具體例。
圖41描繪組合之低電壓列解碼器及控制閘極解碼器之具體例。
圖42描繪位元線解碼器之具體例。
圖43描繪向量矩陣乘法系統及輸入區塊。
圖44描繪用於自陣列接收輸出且以多工方式將輸入提供至一或多個陣列之多工器。
圖45A及圖45B描繪向量矩陣乘法系統之例示性佈局。
圖46描繪向量矩陣乘法系統之例示性佈局。
圖47描繪用於與向量乘法器矩陣一起使用之字線解碼器電路、源極線解碼器電路及高電壓位準移位器。
圖48描繪用於與向量乘法器矩陣一起使用之抹除閘極解碼器電路、控制閘極解碼器電路、源極線解碼器電路及高電壓位準移位器。
圖49描繪用於與向量乘法器矩陣一起使用之字線驅動器的另一具體例。
圖50描繪用於與向量乘法器矩陣一起使用之字線驅動器的另一具體例。
圖51A描繪向量矩陣乘法系統之另一例示性解碼具體例。
圖51B描繪向量矩陣乘法系統之又一例示性解碼具體例。
圖52描繪串聯解碼器之具體例。
圖53描繪串聯解碼器之另一具體例。
圖54描繪串聯解碼器之另一具體例。
圖55描繪串聯解碼器之另一具體例。
31:數位至類比轉換器
32a:向量矩陣乘法(VMM)系統
32b:向量矩陣乘法(VMM)系統
32c:向量矩陣乘法(VMM)系統
32d:向量矩陣乘法(VMM)系統
32e:向量矩陣乘法(VMM)系統

Claims (30)

  1. 一種用於控制耦接至一陣列中之一列非揮發性記憶體單元的一字線及一控制閘極線的串聯列解碼器，其包含： 一字線解碼器，其用於驅動該字線；及 一控制閘極解碼器，其用於驅動該控制閘極線； 其中在一第一模式下，並不啟用該串聯列解碼器，且該字線解碼器將該字線拉至接地且該控制閘極解碼器將該控制閘極線拉至接地。
  2. 如請求項1之串聯列解碼器， 其中，在一第二模式下，啟用該串聯列解碼器且啟用該字線解碼器，且在啟用該字線解碼器之後啟用該控制閘極解碼器。
  3. 如請求項1之串聯列解碼器， 其中，在一第三模式下，啟用該串聯列解碼器且啟用該控制閘極線解碼器，且在啟用該控制閘極線解碼器之後啟用該字線解碼器。
  4. 如請求項2之串聯列解碼器， 其中，在一第三模式下，啟用該串聯列解碼器且啟用該控制閘極線解碼器，且該字線解碼器在啟用該控制閘極線解碼器之後將該字線拉高。
  5. 如請求項1之串聯列解碼器，其中，該陣列為一神經類比記憶體。
  6. 如請求項1之串聯列解碼器，其中，該等非揮發性記憶體單元包含分離閘式記憶體單元。
  7. 如請求項1之串聯列解碼器，其中，該字線解碼器包含用於產生該字線解碼器之一輸出的一位準移位器。
  8. 如請求項7之串聯列解碼器，其中，該字線解碼器之該輸出包含一高位準或一低位準，其中該高位準大於該列解碼器之操作電壓Vdd且該低位準小於接地。
  9. 如請求項1之串聯列解碼器，其中，該控制閘極解碼器包含用於產生該控制閘極解碼器之一輸出的一位準移位器。
  10. 如請求項9之串聯列解碼器，其中，該控制閘極解碼器之該輸出包含一高位準或一低位準，其中該高位準大於該列解碼器之該操作電壓Vdd且該低位準小於接地。
  11. 一種用於控制耦接至一陣列中之一列非揮發性記憶體單元的一字線及一控制閘極線的串聯列解碼器，其包含： 一字線解碼器，其用於驅動該字線；及 一控制閘極解碼器，其用於驅動該控制閘極線； 其中該字線解碼器過驅動該控制閘極解碼器或該控制閘極解碼器過驅動該字線解碼器。
  12. 如請求項11之串聯列解碼器，其中，該陣列為一神經類比記憶體。
  13. 如請求項11之串聯列解碼器，其中，該等非揮發性記憶體單元為分離閘式記憶體單元。
  14. 如請求項11之串聯列解碼器，其中，該字線解碼器包含用於產生該字線解碼器之一輸出的一位準移位器。
  15. 如請求項14之串聯列解碼器，其中，該字線解碼器之該輸出包含一高位準或一低位準，其中該高位準大於該列解碼器之操作電壓Vdd且該低位準小於接地。
  16. 如請求項11之串聯列解碼器，其中，該控制閘極解碼器包含用於產生該字線解碼器之一輸出的一位準移位器。
  17. 如請求項16之串聯列解碼器，其中，該控制閘極解碼器之該輸出包含一高位準或一低位準，其中該高位準大於該列解碼器之該操作電壓Vdd且該低位準小於接地。
  18. 一種用於控制耦接至一陣列中之一列非揮發性記憶體單元的一字線的串聯列解碼器，其包含： 一字線解碼器，其用於驅動該字線；及 一鎖存器，其用於啟用或停用該字線解碼器。
  19. 如請求項18之串聯列解碼器，其進一步包含： 一控制閘極解碼器，其用於驅動控制閘極線。
  20. 如請求項19之串聯列解碼器，其中，該控制閘極解碼器能夠將一控制閘極偏壓電壓施加至該控制閘極線。
  21. 如請求項18之串聯列解碼器，其中，該陣列為一神經類比記憶體。
  22. 如請求項18之串聯列解碼器，其中，該等非揮發性記憶體單元包含分離閘式記憶體單元。
  23. 如請求項18之串聯列解碼器，其進一步包含： 一鎖存器，其用於啟用或停用該控制閘極解碼器。
  24. 如請求項18之串聯列解碼器，其中，控制閘極線端子位於該陣列之一第一側上且字線端子位於該陣列之與該第一側相對的第二側上。
  25. 如請求項24之串聯列解碼器，其中，自該陣列之一第三側及一第四側存取位元線，其中該第三側鄰近於該第一側及該第二側且該第四側與該第三側相對。
  26. 一種用於控制耦接至一陣列中之一列非揮發性記憶體單元的一控制閘極線的串聯列解碼器，其包含： 一控制閘極解碼器，其用於驅動該控制閘極線；及 一鎖存器，其用於啟用或停用該控制閘極解碼器。
  27. 如請求項26之串聯列解碼器，其進一步包含： 一字線解碼器，其用於驅動字線。
  28. 如請求項26之串聯列解碼器，其中，該陣列為一神經類比記憶體。
  29. 如請求項26之串聯列解碼器，其中，該等非揮發性記憶體單元包含分離閘式記憶體單元。
  30. 一種用於控制耦接至一陣列中之一列非揮發性記憶體單元的一控制閘極線的串聯列解碼器，其包含： 一字線解碼器，其包含用於選擇性地驅動一字線之一第一位準移位器；及 一控制閘極解碼器，其包含用於選擇性地驅動一控制閘極線之一第二位準移位器； 其中在一第一模式期間，該字線解碼器過驅動該控制閘極解碼器，且在一第二模式期間，該控制閘極解碼器過驅動該字線解碼器。
TW110116309A 2020-06-03 2021-05-06 深度學習人工神經網路中類比神經記憶體之字線和控制閘極線串聯解碼器 TWI784508B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202063033953P 2020-06-03 2020-06-03
US63/033,953 2020-06-03
US17/104,385 2020-11-25
US17/104,385 US11289164B2 (en) 2020-06-03 2020-11-25 Word line and control gate line tandem decoder for analog neural memory in deep learning artificial neural network
WOPCT/US20/62500 2020-11-27
PCT/US2020/062500 WO2021247072A1 (en) 2020-06-03 2020-11-27 Word line and control gate line tandem decoder for analog neural memory in deep learning artificial neural network

Publications (2)

Publication Number Publication Date
TW202147322A true TW202147322A (zh) 2021-12-16
TWI784508B TWI784508B (zh) 2022-11-21

Family

ID=78817792

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110116309A TWI784508B (zh) 2020-06-03 2021-05-06 深度學習人工神經網路中類比神經記憶體之字線和控制閘極線串聯解碼器

Country Status (7)

Country Link
US (2) US11289164B2 (zh)
EP (1) EP4162491B1 (zh)
JP (2) JP7353519B2 (zh)
KR (1) KR102630992B1 (zh)
CN (2) CN118098307A (zh)
TW (1) TWI784508B (zh)
WO (1) WO2021247072A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI846378B (zh) * 2022-04-07 2024-06-21 美商超捷公司 利用類比輸入的向量矩陣乘法陣列

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11308383B2 (en) * 2016-05-17 2022-04-19 Silicon Storage Technology, Inc. Deep learning neural network classifier using non-volatile memory array
US12033699B2 (en) * 2021-02-02 2024-07-09 Macronix International Co., Ltd. Memory device and operation method thereof for performing multiply accumulate operation
US12027211B2 (en) * 2022-05-26 2024-07-02 Micron Technology, Inc. Partial block handling protocol in a non-volatile memory device

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
KR100280395B1 (ko) * 1997-07-18 2001-03-02 김영환 워드라인제어회로
EP1274093A3 (en) * 2001-07-06 2004-12-08 Halo Lsi Design and Device Technology Inc. A control gate decoder for twin MONOS memory with two bit erase capability
US6747310B2 (en) 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
US7567458B2 (en) * 2005-09-26 2009-07-28 Silicon Storage Technology, Inc. Flash memory array having control/decode circuitry for disabling top gates of defective memory cells
US7978518B2 (en) * 2007-12-21 2011-07-12 Mosaid Technologies Incorporated Hierarchical common source line structure in NAND flash memory
CN103077742B (zh) * 2012-12-21 2017-02-08 上海华虹宏力半导体制造有限公司 行译码电路及存储器
CN105027216B (zh) * 2013-03-14 2017-09-22 硅存储技术公司 非易失性存储器编程算法装置和方法
US11308383B2 (en) 2016-05-17 2022-04-19 Silicon Storage Technology, Inc. Deep learning neural network classifier using non-volatile memory array
US9953719B2 (en) * 2016-05-18 2018-04-24 Silicon Storage Technology, Inc. Flash memory cell and associated decoders
US10431265B2 (en) * 2017-03-23 2019-10-01 Silicon Storage Technology, Inc. Address fault detection in a flash memory system
US10748630B2 (en) 2017-11-29 2020-08-18 Silicon Storage Technology, Inc. High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks
US11087207B2 (en) * 2018-03-14 2021-08-10 Silicon Storage Technology, Inc. Decoders for analog neural memory in deep learning artificial neural network
US10860918B2 (en) 2018-08-21 2020-12-08 Silicon Storage Technology, Inc. Analog neural memory system for deep learning neural network comprising multiple vector-by-matrix multiplication arrays and shared components

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI846378B (zh) * 2022-04-07 2024-06-21 美商超捷公司 利用類比輸入的向量矩陣乘法陣列

Also Published As

Publication number Publication date
US20220172781A1 (en) 2022-06-02
JP7353519B2 (ja) 2023-09-29
JP2023520255A (ja) 2023-05-16
EP4162491B1 (en) 2024-04-17
JP2023179502A (ja) 2023-12-19
TWI784508B (zh) 2022-11-21
CN118098307A (zh) 2024-05-28
US20210383869A1 (en) 2021-12-09
WO2021247072A1 (en) 2021-12-09
US11289164B2 (en) 2022-03-29
KR102630992B1 (ko) 2024-01-29
CN115668378A (zh) 2023-01-31
EP4162491A1 (en) 2023-04-12
CN115668378B (zh) 2024-03-22
US11935594B2 (en) 2024-03-19
KR20220158851A (ko) 2022-12-01

Similar Documents

Publication Publication Date Title
TWI780415B (zh) 用於深度學習人工神經網路中之類比神經記憶體的解碼系統與實體佈局
JP7547536B2 (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のデコーダ
US10956814B2 (en) Configurable analog neural memory system for deep learning neural network
WO2020040893A1 (en) Analog neural memory system for deep learning neural network comprising multiple vector-by-matrix multiplication arrays and shared components
TWI784508B (zh) 深度學習人工神經網路中類比神經記憶體之字線和控制閘極線串聯解碼器
JP7523674B2 (ja) アナログニューラルメモリにおける書き込みと検証との同時動作
KR20220141855A (ko) 인공 신경망에서 아날로그 신경 메모리 어레이를 위한 비휘발성 메모리 셀들 및 연관된 고전압 회로들의 페이지 또는 워드의 정밀 튜닝
CN115968495A (zh) 用于人工神经网络中的模拟神经存储器阵列的自适应偏置解码器
US20240112729A1 (en) Multiple Row Programming Operation In Artificial Neural Network Array
WO2024162978A1 (en) Multiplexors for neural network array