TW202349276A - 利用類比輸入的向量矩陣乘法陣列 - Google Patents

利用類比輸入的向量矩陣乘法陣列 Download PDF

Info

Publication number
TW202349276A
TW202349276A TW112109054A TW112109054A TW202349276A TW 202349276 A TW202349276 A TW 202349276A TW 112109054 A TW112109054 A TW 112109054A TW 112109054 A TW112109054 A TW 112109054A TW 202349276 A TW202349276 A TW 202349276A
Authority
TW
Taiwan
Prior art keywords
current
array
memory cells
input
output
Prior art date
Application number
TW112109054A
Other languages
English (en)
Inventor
曉萬 陳
順 武
史丹利 洪
史蒂芬 鄭
馬克 萊坦
Original Assignee
美商超捷公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/US2022/037230 external-priority patent/WO2023196000A1/en
Application filed by 美商超捷公司 filed Critical 美商超捷公司
Publication of TW202349276A publication Critical patent/TW202349276A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Non-Volatile Memory (AREA)
  • Semiconductor Memories (AREA)
  • Power Engineering (AREA)

Abstract

本發明揭示一人工神經網路之大量實例，該人工神經網路包含利用類比輸入之向量矩陣乘法陣列。在一個實例中，一種系統包含：一向量矩陣乘法陣列，其包含以列及行配置之複數個非揮發性記憶體胞元；一電容器，其包含一第一端子及一第二端子，該第二端子耦接至一共同電位；一列解碼器，其用以回應於一位址而使得一輸入信號施加至該電容器之該第一端子；及一緩衝器，其耦接至該電容器之該第一端子，該緩衝器用以產生該向量矩陣乘法陣列之一各別列的一輸出電壓。

Description

利用類比輸入的向量矩陣乘法陣列
本申請案主張2022年4月7日申請且名稱為「利用類比輸入及類比輸出之包括向量矩陣乘法陣列的人工神經網路」之美國臨時專利申請案第63/328,473號及2022年6月23日申請且名稱為「利用類比輸入的向量矩陣乘法陣列」之美國專利申請案第17/847,486號的優先權。
揭示人工神經網路之大量實例，該人工神經網路包含利用類比輸入之向量矩陣乘法陣列。
人工神經網路模擬生物神經網路(動物之中樞神經系統，特別地，大腦)且用於估計或估算可取決於大量輸入且通常未知的功能。人工神經網路通常包括彼此交換訊息之互連「神經元」的層。
圖1繪示人工神經網路，其中圓形表示神經元之輸入或層。連接(稱為突觸)由箭頭表示，且具有可基於經驗進行調諧之數值權重。此使得神經網路適應於輸入且能夠學習。典型地，神經網路包括一層多個輸入。典型地存在一或多個中間神經元層及提供神經網路之輸出的輸出神經元層。每一層級處之神經元基於自突觸所接收之資料而個別地或共同地作出決策。
用於高效能資訊處理之人工神經網路之發展中的主要挑戰中之一者在於缺乏充分的硬體技術。實際上，切實可行的神經網路依賴於極大量之突觸，從而實現神經元之間的高連接性，亦即極高計算並行性。原則上，此複雜性可利用數位超級電腦或專用圖形處理單元叢集來達成。然而，除高成本之外，與生物網路相比，此等方法亦受中等能效困擾，主要因為生物網路執行低精確度類比計算，所以其消耗少得多的能量。CMOS類比電路已用於人工神經網路，但鑒於大量神經元及突觸，故大部分實施CMOS之突觸已過於龐大。
申請人先前在美國專利申請公開案2017/0337466A1中揭示一種利用一或多個非揮發性記憶體陣列作為突觸之人工(類比)神經網路，該美國專利申請公開案以引用之方式併入。非揮發性記憶體陣列操作為類比神經記憶體，且包含以列及行配置之非揮發性記憶體胞元。神經網路包括：第一複數個突觸，其被組構成接收第一複數個輸入且自該第一複數個輸入產生第一複數個輸出；及第一複數個神經元，其被組構成接收第一複數個輸出。第一複數個突觸包括複數個記憶體胞元，其中該等記憶體胞元中之各者包括：形成於半導體基板中之間隔開的源極區及汲極區，以及在源極區與汲極區之間延伸的通道區；浮動閘極，其裝設於通道區之第一部分上方且與該第一部分絕緣；及非浮動閘極，其裝設於通道區之第二部分上方且與該第二部分絕緣。複數個記憶體胞元中之各者儲存對應於浮動閘極上之電子數目的權重值。複數個記憶體胞元將第一複數個輸入乘以所儲存權重值以產生第一複數個輸出。 非揮發性記憶體胞元
非揮發性記憶體為熟知的。舉例而言，以引用方式併入本文中之美國專利5,029,130(「'130專利」)揭示了一種分離閘極非揮發性記憶體胞元陣列，其為一種類型之快閃記憶體胞元。此記憶體胞元210顯示於圖2中。各記憶體胞元210包括形成於半導體基板12中之源極區14及汲極區16以及該源極區與該汲極區之間的通道區18。浮動閘極20形成於通道區18之第一部分上方並與該第一部分絕緣(且控制該第一部分之導電性)，且形成於源極區14之一部分上方。字元線端子22(其通常耦接至字元線)具有：第一部分，其裝設於通道區18之第二部分上方且與該第二部分絕緣(且控制該第二部分之導電性)；及第二部分，其在浮動閘極20上及上方延伸。浮動閘極20及字元線端子22藉由閘極氧化物與基板12絕緣。位元線24耦接至汲極區16。
記憶體胞元210藉由將高正電壓置放於字元線端子22上來抹除(其中電子自浮動閘極移除)，此使得浮動閘極20上之電子經由富爾-諾罕(Fowler-Nordheim；FN)穿隧自浮動閘極20穿過中間絕緣件穿隧至字元線端子22。
記憶體胞元210係藉由將正電壓置放於字元線端子22上並將正電壓置放於源極區14上而藉由運用熱電子之源極側注入(SSI)而經程式化(其中電子置放於浮動閘極上)。電子電流將自汲極區16朝向源極區14流動。當電子到達字元線端子22與浮動閘極20之間的間隙時，該等電子將加速並且被加熱。經加熱電子中之一些將由於來自浮動閘極20之吸引靜電力而穿過閘極氧化物注入至浮動閘極20上。
記憶體胞元210藉由將正讀取電壓置於汲極區16及字元線端子22上來讀取(此接通通道區18之在字元線端子下的部分)。若浮動閘極20帶正電(亦即，電子被抹除)，則通道區18之在浮動閘極20下方的部分亦接通，且電流將跨越通道區18流動，此被感測為抹除或「1」狀態。若浮動閘極20帶負電(亦即，用電子程式化)，則通道區之在浮動閘極20下方的部分被大部分或完全斷開，且電流將不跨越通道區18流動(或將有極少電流跨越該通道區流動)，此被感測為經程式化或「0」狀態。
表1描述可施加至記憶體胞元210之端子以用於執行讀取、抹除及程式化操作的典型電壓及電流範圍： 表1：圖2之快閃記憶體胞元210之操作
   WL BL SL
讀取 2-3V 0.6-2V 0V
抹除 ~11-13V 0V 0V
程式化 1-2V 10.5-3μA 9-10V
其他分離閘極記憶體胞元組構為眾所周知，其為其他類型之快閃記憶體胞元。舉例而言，圖3描繪四閘極記憶體胞元310，其包含源極區14、汲極區16、在通道區18之第一部分上方的浮動閘極20、在通道區18之第二部分上方的選擇閘極22(通常耦接至字元線WL)、在浮動閘極20上方之控制閘極28以及在源極區14上方之抹除閘極30。此組構描繪於美國專利6,747,310中，其出於所有目的以引用之方式併入本文中。此處，除浮動閘極20以外，所有閘極皆為非浮動閘極，此意謂該等閘極電連接或可電連接至電壓源。程式化藉由來自通道區18之經加熱電子將自身注入至浮動閘極20上來執行。抹除藉由自浮動閘極20至抹除閘極30之電子穿隧來執行。
表2描繪可施加至記憶體胞元310之端子以用於執行讀取、抹除及程式化操作之典型電壓及電流範圍： 表2：圖3之快閃記憶體胞元310之操作
   WL/SG BL CG EG SL
讀取 1.0-2V 0.6-2V 0-2.6V 0-2.6V 0V
抹除 -0.5V/0V 0V 0V/-8V 8-12V 0V
程式化 1V 0.1-1μA 8-11V 4.5-9V 4.5-5V
圖4描繪三閘極記憶體胞元410，其為另一類型之快閃記憶體胞元。記憶體胞元410與圖3之記憶體胞元310相同，除記憶體胞元410不具有單獨控制閘極外。抹除操作(其中抹除經由使用抹除閘極來進行)及讀取操作類似於圖3之抹除操作及讀取操作，除未施加控制閘極偏壓外。程式化操作亦在無控制閘極偏壓之情況下進行，且因此，較高電壓在程式化操作期間施加於源極線上以補償控制閘極偏壓之缺乏。
表3描繪可施加至記憶體胞元410之端子以用於執行讀取、抹除及程式化操作的典型電壓及電流範圍： 表3：圖4之快閃記憶體胞元410之操作
   WL/SG BL EG SL
讀取 0.7-2.2V 0.6-2V 0-2.6V 0V
抹除 -0.5V/0V 0V 11.5V 0V
程式化 1V 0.2-3μA 4.5V 7-9V
圖5描繪堆疊閘極記憶體胞元510，其為另一類型之快閃記憶體胞元。記憶體胞元510類似於圖2之記憶體胞元210，除浮動閘極20在整個通道區18上方延伸，且控制閘極22(其在此處將耦接至字元線)在浮動閘極20上方延伸，藉由絕緣層(圖中未示)分離以外。該抹除藉由電子自FG至基板之FN穿隧而進行，程式化藉由在通道區18與汲極區16之間的區處進行通道熱電子(CHE)注入、藉由電子自源極區14朝向汲極區16流動來進行，且讀取操作類似於針對具有較高控制閘極電壓之記憶體胞元210之讀取操作。
表4描述可施加至記憶體胞元510之端子及基板12以用於執行讀取、抹除及程式化操作的典型電壓範圍： 表4：圖5之快閃記憶體胞元510之操作
   CG BL SL 基板  
讀取 2-5V 0.6-2V 0V 0V  
抹除 -8至-10V/0V FLT FLT 8-10V/15-20V
程式化 8-12V 3-5V 0V 0V
本文中所描繪之方法及手段可應用於其他非揮發性記憶體技術，諸如但不限於FINFET分離閘極快閃或堆疊閘極快閃記憶體、NAND快閃、SONOS(氧化矽-氮化物-氧化物-矽，氮化物中之電荷捕捉)、MONOS(金屬-氧化物-氮化物-氧化物-矽，氮化物中之金屬電荷捕捉)、電阻式ram(ReRAM)、相變記憶體(PCM)、磁性ram(MRAM)、鐵電ram(FeRAM)、電荷捕捉(CT)記憶體、碳管(CN)記憶體、雙層級或多層級一次性可程式化(OTP)及相關電子ram(CeRAM)。
為了利用包含上文在人工神經網路中所描繪之非揮發性記憶體胞元類型中之一者的記憶體陣列，進行二個修改。首先，線被組構成使得各記憶體胞元可個別地經程式化、抹除及讀取而不會不利地影響陣列中之其他記憶體胞元的記憶狀態，如下文進一步解釋。其次，提供記憶體胞元之連續(類比)程式化。
具體而言，陣列中之各記憶體胞元之記憶狀態(亦即，浮動閘極上之電荷)可獨立地且在最少干擾其他記憶體胞元之情況下連續地自完全抹除狀態改變至完全程式化狀態，且反之亦然。此意謂胞元儲存器有效地類比或至少可儲存許多離散值(諸如，16或64個不同值)中之一者，此允許記憶體陣列中之所有記憶體胞元的極精確及個別調諧，且此使得記憶體陣列對於儲存及對神經網路之突觸權重進行微調調整而言係理想的。 採用非揮發性記憶體胞元陣列之神經網路
圖6在概念上說明利用本發明實例之非揮發性記憶體陣列的神經網路之非限制性實例。此實例將非揮發性記憶體陣列神經網路用於人臉辨識應用，但任何其他適當應用皆可使用基於非揮發性記憶體陣列之神經網路來實施。
S0為輸入層，對於此實例，該輸入層為具有5位元精確度之32×32像素RGB影像(亦即，三個32×32像素陣列，各色彩R、G及B一個陣列，各像素為5位元精確度)。在一些情況下，自輸入層S0進入層C1之突觸CB1施加不同權重集合，而在其它情況下共用權重且用3×3像素重疊濾波器(核心)掃描輸入影像，將濾波器移位1個像素(或大於1像素，如由模型指定)。具體地，影像之3×3部分(亦即，被稱作濾波器或核心)中之9個像素的值被提供給突觸CB1，其中此等9個輸入值乘以適當權重，且在求和彼相乘之輸出之後，單個輸出值被判定且藉由CB1之第一突觸提供，用於產生層C1之特徵圖中之一者的像素。3×3濾波器接著在輸入層S0內向右移位一個像素(亦即，在右側上添加三個像素之行，且在左側上丟棄三個像素之行)，藉此將此新定位濾波器中之9個像素值提供至突觸CB1，其中使該等像素值乘以相同權重，且第二單一輸出值藉由相關突觸來判定。此程序針對所有三種色彩且針對所有位元(精度值)繼續，直至3×3濾波器跨越輸入層S0之整個32×32像素影像進行掃描為止。程序接著使用不同權重集合進行重複以產生層C1之不同特徵圖，直至層C1之所有特徵圖已被計算為止。
在本實例中，在層C1中存在16個特徵圖，各特徵圖具有30×30個像素。各像素為自輸入與核心相乘而提取之新特徵像素，且因此各特徵圖為二維陣列，且因此在此實例中，層C1構成二維陣列之16個層(應謹記，本文中所提及之層及陣列為邏輯關係，未必為實體關係-亦即，陣列未必定向於實體二維陣列中)。層C1中之16個特徵圖中的各者皆由應用於濾波器掃描之突觸權重之十六個不同集合中的一者產生。C1特徵圖可皆針對同一影像特徵之不同態樣，諸如邊界識別。舉例而言，第一圖(使用第一權重集合產生，共用於用以產生此第一圖之所有掃描)可識別圓形邊緣，第二圖(使用不同於第一權重集合之第二權重集合產生)可識別矩形邊緣，或某些特徵的縱橫比等。
激勵函數P1(池化(pooling))在自層C1進入層S1之前應用，其池化來自各特徵圖中之連續非重疊2×2區的值。池化函數P1之目的為使附近位置達到平均數(或亦可使用最大函數)，以例如降低邊緣位置之相依性且在進入下一階段之前減小資料大小。在層S1處，存在16個15×15特徵圖(亦即，各自具有15×15像素之十六個不同陣列)。自層S1進入層C2之突觸CB2利用4×4濾波器掃描層S1中之圖，其中濾波器移位1個像素。在層C2處，存在22個12×12特徵圖。激勵函數P2(池化)在自層C2進入層S2之前應用，其池化來自各特徵圖中之連續非重疊2×2區的值。在層S2處，存在22個6×6特徵圖。激勵函數(池化)在自層S2進入層C3之突觸CB3處應用，其中層C3中之每個神經元經由CB3之各別突觸連接至層S2中之每個圖。在層C3處，存在64個神經元。自層C3進入輸出層S3之突觸CB4將C3完全連接至S3，亦即，層C3中之每一神經元連接至層S3中之每一神經元。層S3處之輸出包括10個神經元，其中最高輸出神經元判定類別。此輸出可例如指示原始影像之內容的識別或分類。
各突觸層係使用非揮發性記憶體胞元之陣列或陣列之一部分來實施。
圖7為可用於彼目的之陣列的方塊圖。向量乘矩陣乘法(VMM)陣列32包括非揮發性記憶體胞元，且用作一層與下一層之間的突觸(諸如圖6中之CB1、CB2、CB3及CB4)。具體地，VMM陣列32包括非揮發性記憶體胞元陣列33、抹除閘極及字元線閘極解碼器34、控制閘極解碼器35、位元線解碼器36及源極線解碼器37，該等解碼器對非揮發性記憶體胞元陣列33之各別輸入進行解碼。至VMM陣列32之輸入可來自抹除閘極及字元線閘極解碼器34或來自控制閘極解碼器35。在此實例中，源極線解碼器37亦對非揮發性記憶體胞元陣列33之輸出進行解碼。替代地，位元線解碼器36可解碼非揮發性記憶體胞元陣列33之輸出。
非揮發性記憶體胞元陣列33用於二個目的。首先，其儲存將由VMM陣列32使用之權重。其次，非揮發性記憶體胞元陣列33有效地使輸入乘以儲存於非揮發性記憶體胞元陣列33中之權重，且按輸出線(源極線或位元線)將結果相加以產生輸出，該輸出將為至下一層之輸入或至最終層之輸入。藉由執行乘法及加法函數，非揮發性記憶體胞元陣列33消除對單獨的乘法及加法邏輯電路之需求，且由於其原位記憶體計算而亦為功率高效的。
非揮發性記憶體胞元陣列33之輸出被供應至差分求和器(諸如求和運算放大器或求和電流鏡)38，該差分求和器對非揮發性記憶體胞元陣列33之輸出求和以產生用於彼卷積之單一值。差分求和器38經配置以執行正權重與負權重之求和。
接著將差分求和器38之總計輸出值供應至激勵函數區塊39，該激勵函數區塊對輸出進行糾正。激勵函數區塊39可提供S型(sigmoid)、雙曲正切(tanh)或ReLU函數。激勵函數區塊39之經糾正輸出值變成作為下一層(例如，圖6中之C1)之特徵圖之元素，且接著應用於下一突觸以產生下一特徵圖層或最終層。因此，在此實例中，非揮發性記憶體胞元陣列33構成複數個突觸(其自前一神經元層或自諸如影像資料庫之輸入層接收該等突觸之輸入)，且求和運算放大器38及激勵函數區塊39構成複數個神經元。
至圖7中之VMM陣列32之輸入(WLx，EGx，CGx，以及選擇地BLx及SLx)可為類比層級、二進位層級或數位位元(在此情況下，DAC被設置成為將數位位元轉換成適當輸入類比層級)，且輸出可為類比層級、二進位層級或數位位元(在此情況下，輸出ADC被設置成為將輸出類比層級轉換成數位位元)。
圖8為描繪此處標記為VMM陣列32a、32b、32c、32d及32e之VMM陣列32的眾多層之使用的方塊圖。如圖8中所顯示，表示為Inputx之輸入由數位至類比轉換器31自數位轉換成類比，且被提供至輸入VMM陣列32a。經轉換類比輸入可為電壓或電流。第一層之輸入D/A轉換可藉由使用函數或查找表(LUT)來進行，該函數或LUT將輸入Inputx映射至用於輸入VMM陣列32a之矩陣乘法器的適當類比層級。輸入轉換亦可藉由類比至類比(A/A)轉換器來進行以將外部類比輸入轉換成至輸入VMM陣列32a之經映射類比輸入。
由輸入VMM陣列32a產生之輸出被設置為至下一VMM陣列(隱藏層級1)32b之輸入，該下一VMM陣列又產生輸出，該輸出被設置為至下一VMM陣列(隱藏層級2)32c之輸入，等等。VMM陣列32之各種層充當卷積神經網路(CNN)之不同突觸層及神經元層。各VMM陣列32a、32b、32c、32d及32e可為單獨的實體非揮發性記憶體陣列，或多個VMM陣列可利用相同實體非揮發性記憶體陣列之不同部分，或多個VMM陣列可利用相同實體非揮發性記憶體陣列之重疊部分。圖8中所展示之實例含有五個層(32a、32b、32c、32d、32e)：一個輸入層(32a)、二個隱藏層(32b、32c)及二個完全連接層(32d、32e)。一般熟悉本技藝者應瞭解，此僅為實例，且系統替代地可包含多於二個隱藏層及多於二個完全連接層。 向量矩陣乘法(VMM)陣列
圖9描繪神經元VMM陣列900，其尤其適合於如圖3中所展示之記憶體胞元310，且用作輸入層與下一層之間的突觸及神經元部分。VMM陣列900包含非揮發性記憶體胞元之記憶體陣列901及非揮發性參考記憶體胞元之參考陣列902(在陣列之頂部處)。替代地，另一參考陣列可置放於底部處。
在VMM陣列900中，諸如控制閘極線903之控制閘極線在垂直方向上延行(因此，列方向上之參考陣列902與控制閘極線903正交)，且諸如抹除閘極線904之抹除閘極線在水平方向上延行。此處，至VMM陣列900之輸入被設置於控制閘極線(CG0、CG1、CG2、CG3)上，且VMM陣列900之輸出出現於源極線(SL0、SL1)上。在一個實例中，僅使用偶數列，且在另一實例中，僅使用奇數列。置放於各源極線(分別為SL0、SL1)上之電流對來自連接至彼特定源極線之記憶體胞元的所有電流執行求和函數。
如本文中針對神經網路所描繪，VMM陣列900之非揮發性記憶體胞元，亦即，VMM陣列900之記憶體胞元310，可被組構成在次臨限區中操作。
本文中所描述之非揮發性參考記憶體胞元及非揮發性記憶體胞元在弱反轉(次臨限區)中經偏壓： , 其中 其中Ids為汲極至源極電流；Vg為記憶體胞元上之閘極電壓；Vth為記憶體胞元之臨限電壓；Vt為熱電壓=k*T/q，其中k為波茲曼常數(Boltzmann constant)，T為以克耳文(Kelvin)為單位之溫度，並且q為電子電荷；n為斜率因數=1+(Cdep/Cox)，其中Cdep=耗盡層之電容，並且Cox為閘極氧化物層之電容；Io為等於臨限電壓之閘極電壓下之記憶體胞元電流，Io為與(Wt/L)*u*Cox*(n-1)*Vt 2成比例，其中u為記憶體胞元之載流子遷移率，且Wt及L分別為寬度及長度。
對於使用記憶體胞元(諸如參考記憶體胞元或周邊記憶體胞元)或電晶體將輸入電流轉換成輸入電壓之I至V對數轉換器： 其中，wp為參考或周邊記憶體胞元之w。
對於用作具有電流輸入之向量矩陣乘法器VMM陣列之記憶體陣列，輸出電流為： ，亦即 此處，wa=記憶體陣列中之各記憶體胞元之w。 Vthp為周邊記憶體胞元之有效臨限電壓，且Vtha為主(資料)記憶體胞元之有效臨限電壓。應注意，電晶體之臨限電壓為基板基底偏壓電壓之函數，且表示為Vsb之基板基底偏壓電壓可經調變以補償此溫度下之各種條件。臨限電壓Vth可表述為： 其中Vth0為具有零基板偏壓之臨限電壓，φF為表面電位，且γ為體效應參數。
字元線或控制閘極可用作用於輸入電壓之記憶體胞元之輸入。
替代地，本文中所描繪之VMM陣列之快閃記憶體胞元可被組構成在線性區中操作： ； 此意謂線性區中之權重W與(Vgs-Vth)成比例。
字元線或控制閘極或位元線或源極線可用作在線性區中操作之記憶體胞元的輸入。位元線或源極線可用作記憶體胞元之輸出。
對於I至V線性轉換器，記憶體胞元(諸如，參考記憶體胞元或周邊記憶體胞元)或在線性區中操作之電晶體可用以將輸入/輸出電流線性地轉換成輸入/輸出電壓。
替代地，本文中所描繪之VMM陣列之記憶體胞元可被組構成在飽和區中操作： ； ，此意謂權重W與(Vgs-Vth) 2成比例。
字元線、控制閘極或抹除閘極可用作在飽和區中操作之記憶體胞元之輸入。位元線或源極線可用作輸出神經元之輸出。
替代地，本文中所描繪之VMM陣列之記憶體胞元可用於神經網路之各層或多層之所有區或其組合(次臨限區、線性區或飽和區)中。
圖7之VMM陣列32的其他實例描述於美國專利第10,748,630號中，該專利以引用之方式併入本文中。如彼申請案中所描述，源極線或位元線可用作神經元輸出(電流求和輸出)。
圖10描繪神經元VMM陣列1000，其尤其適合於如圖2中所展示之記憶體胞元210，且用作輸入層與下一層之間的突觸。VMM陣列1000包含非揮發性記憶體胞元之記憶體陣列1003、第一非揮發性參考記憶體胞元之參考陣列1001及第二非揮發性參考記憶體胞元之參考陣列1002。配置於陣列之行方向上之參考陣列1001及1002用以將流動至端子BLR0、BLR1、BLR2及BLR3中之電流輸入轉換成電壓輸入WL0、WL1、WL2及WL3。實際上，第一及第二非揮發性參考記憶體胞元為二極體連接式貫穿多工器1014(僅部分描述)，其中電流輸入流入該等多工器中。參考胞元經調節(例如，經程式化)至目標參考層級。目標參考層級由參考小型陣列矩陣(圖中未示)提供。
記憶體陣列1003用於二個目的。首先，其儲存將由VMM陣列1000在其各別記憶體胞元上使用之權重。其次，記憶體陣列1003有效地使輸入(亦即，在端子BLR0、BLR1、BLR2及BLR3中提供之電流輸入，其由參考陣列1001及1002轉換成輸入電壓以供應至字元線WL0、WL1、WL2及WL3)乘以儲存於記憶體陣列1003中之權重，且隨後將所有結果(記憶體胞元電流)相加以在各別位元線(BL0至BLN)上產生輸出，該輸出將為至下一層的輸入或至最終層之輸入。藉由執行乘法及加法函數，記憶體陣列1003消除對單獨的乘法及加法邏輯電路之需求，且亦為功率高效的。此處，電壓輸入設置於字元線WL0、WL1、WL2及WL3上，且輸出在讀取(推理)操作期間出現於各別位元線BL0至BLN上。置放於位元線BL0至BLN中之各者上的電流對來自連接至彼特定位元線之所有非揮發性記憶體胞元的電流執行求和函數。
表5描繪用於VMM陣列1000之操作電壓及電流。表中之行指示置放於以下各者上之電壓：用於選定胞元之字元線、用於未選定胞元之字元線、用於選定胞元之位元線、用於未選定胞元之位元線、用於選定胞元之源極線及用於未選定胞元之源極線。列指示讀取、抹除及程式化之操作。 表5：圖10之VMM陣列1000之操作：
   WL WL-未選定 BL BL-未選定 SL SL-未選定
讀取 1-3.5V -0.5V/0V 0.6-2V(Ineuron) 0.6V-2V/0V 0V 0V
抹除 ~5-13V 0V 0V 0V 0V 0V
程式化 1-2V -0.5V/0V 0.1-3uA Vinh~2.5V 4-10V 0-1V/FLT
圖11描繪神經元VMM陣列1100，其尤其適合於如圖2中所展示之記憶體胞元210，且用作輸入層與下一層之間的突觸及神經元部分。VMM陣列1100包含非揮發性記憶體胞元之記憶體陣列1103、第一非揮發性參考記憶體胞元之參考陣列1101及第二非揮發性參考記憶體胞元之參考陣列1102。參考陣列1101及1102在VMM陣列1100之列方向上延行。VMM陣列類似於VMM 1000，除在VMM陣列1100中字元線在垂直方向上延行外。此處，輸入被設置於字元線(WLA0、WLB0、WLA1、WLB1、WLA2、WLB2、WLA3、WLB3)上，且輸出在讀取操作期間出現於源極線(SL0、SL1)上。置放於各源極線上之電流對來自連接至彼特定源極線之記憶體胞元的所有電流執行求和函數。
表6描繪用於VMM陣列1100之操作電壓及電流。表中之行指示置放於以下各者上之電壓：用於選定胞元之字元線、用於未選定胞元之字元線、用於選定胞元之位元線、用於未選定胞元之位元線、用於選定胞元之源極線及用於未選定胞元之源極線。列指示讀取、抹除及程式化之操作。 表6：圖11之VMM陣列1100之操作
   WL WL-未選定 BL BL-未選定 SL SL-未選定
讀取 1-3.5V -0.5V/0V 0.6-2V 0.6V-2V/0V ~0.3-1V (Ineuron) 0V
抹除 ~5-13V 0V 0V 0V 0V SL-禁止(~4-8V)
程式化 1-2V -0.5V/0V 0.1-3uA Vinh~2.5V 4-10V 0-1V/FLT
圖12描繪神經元VMM陣列1200，其尤其適合於如圖3中所展示之記憶體胞元310，且用作輸入層與下一層之間的突觸及神經元部分。VMM陣列1200包含非揮發性記憶體胞元之記憶體陣列1203、第一非揮發性參考記憶體胞元之參考陣列1201及第二非揮發性參考記憶體胞元之參考陣列1202。參考陣列1201及1202用以將流入端子BLR0、BLR1、BLR2及BLR3中之電流輸入轉換成電壓輸入CG0、CG1、CG2及CG3。實際上，第一及第二非揮發性參考記憶體胞元為二極體連接之貫穿多工器1212(僅部分展示)，其中電流輸入經由BLR0、BLR1、BLR2及BLR3流入該等多工器中。多工器1212各自包括各別多工器1205及串疊電晶體1204以確保在讀取操作期間第一及第二非揮發性參考記憶體胞元中之各者之位元線(諸如BLR0)上的恆定電壓。參考胞元經調諧至目標參考層級。
記憶體陣列1203用於二個目的。首先，其儲存將由VMM陣列1200使用之權重。其次，記憶體陣列1203有效地使輸入(提供至端子BLR0、BLR1、BLR2及BLR3之電流輸入，其中參考陣列1201及1202將此等電流輸入轉換成輸入電壓以供應至控制閘極(CG0、CG1、CG2及CG3)乘以儲存於記憶體陣列中之權重，且接著將所有結果(胞元電流)相加以產生輸出，該輸出顯現於BL0至BLN上，且將為至下一層之輸入或至最終層之輸入。藉由執行乘法及加法函數，記憶體陣列消除對單獨的乘法及加法邏輯電路之需求，且亦為功率高效的。此處，輸入設置於控制閘極線(CG0、CG1、CG2及CG3)上，且輸出在讀取操作期間出現於位元線(BL0至BLN)上。置放於各位元線上之電流對來自連接至彼特定位元線之記憶體胞元的所有電流執行求和函數。
VMM陣列1200針對記憶體陣列1203中之非揮發性記憶體胞元實施單向調諧。亦即，各非揮發性記憶體胞元經抹除且接著經部分程式化，直至達到浮動閘極上之所要電荷為止。若過多電荷被置放於浮動閘極上(使得錯誤值儲存於胞元中)，則胞元被抹除且部分程式化操作之序列重新開始。如所展示，共用相同抹除閘極(諸如EG0或EG1)之二個列被一起抹除(此已知為頁面抹除)，且此後，各胞元經部分程式化直至達到浮動閘極上之所要電荷為止。
表7描繪用於VMM陣列1200之操作電壓及電流。該表中之行指示置放於以下各者上之電壓：用於選定胞元之字元線、用於未選定胞元之字元線、用於選定胞元之位元線、用於未選定胞元之位元線、用於選定胞元之控制閘極、用於與選定胞元處於同一扇區中的未選定胞元之控制閘極、用於與選定胞元處於不同扇區中的未選定胞元之控制閘極、用於選定胞元之抹除閘極、用於未選定胞元之抹除閘極、用於選定胞元之源極線及用於未選定胞元之源極線。列指示讀取、抹除及程式化之操作。 表7：圖12之VMM陣列1200之操作
   WL WL- 未選定 BL BL- 未選定 CG CG-未 選定同 一扇區 CG- 未選定 EG EG- 未選定 SL SL- 未選定
讀取 1.0-2V -0.5V/0V 0.6-2V (Ineuron) 0V 0-2.6V 0-2.6V 0-2.6V 0-2.6V 0-2.6V 0V 0V
抹除 0V 0V 0V 0V 0V 0-2.6V 0-2.6V 5-12V 0-2.6V 0V 0V
程式化 0.7-1V -0.5V/0V 0.1-1uA Vinh (1-2V) 4-11V 0-2.6V 0-2.6V 4.5-5V 0-2.6V 4.5-5V 0-1V
圖13描繪神經元VMM陣列1300，其尤其適合於如圖3中所展示之記憶體胞元310，且用作輸入層與下一層之間的突觸及神經元部分。VMM陣列1300包含非揮發性記憶體胞元之記憶體陣列1303、第一非揮發性參考記憶體胞元之參考陣列1301及第二非揮發性參考記憶體胞元之參考陣列1302。EG線EGR0、EG0、EG1及EGR1垂直地延行，而CG線CG0、CG1、CG2及CG3以及WL線WL0、WL1、WL2及WL3水平地延行。VMM陣列1300類似於VMM陣列1400，除VMM陣列1300實施雙向調諧外，其中由於使用單獨的EG線，各個別胞元可視需要經完全抹除、部分程式化及部分抹除以達到浮動閘極上之所需電荷量。如所展示，參考陣列1301及1302將端子BLR0、BLR1、BLR2及BLR3中之輸入電流轉換成待在列方向上施加至記憶體胞元之控制閘極電壓CG0、CG1、CG2及CG3(經由二極體連接式參考胞元貫穿多工器1314進行之動作)。電流輸出(神經元)在位元線BL0至BLN中，其中各位元線對來自連接至彼特定位元線之非揮發性記憶體胞元的所有電流進行求和。
表8描繪用於VMM陣列1300之操作電壓及電流。該表中之行指示置放於以下各者上之電壓：用於選定胞元之字元線、用於未選定胞元之字元線、用於選定胞元之位元線、用於未選定胞元之位元線、用於選定胞元之控制閘極、用於與選定胞元處於同一扇區中的未選定胞元之控制閘極、用於與選定胞元處於不同扇區中的未選定胞元之控制閘極、用於選定胞元之抹除閘極、用於未選定胞元之抹除閘極、用於選定胞元之源極線及用於未選定胞元之源極線。列指示讀取、抹除及程式化之操作。 表8：圖13之VMM陣列1300之操作
   WL WL-未 選定 BL BL-未 選定 CG CG-未 選定同 一扇區 CG-未 選定 EG EG-未 選定 SL SL-未 選定
讀取 1.0-2V -0.5V/0V 0.6-2V (Ineuron) 0V 0-2.6V 0-2.6V 0-2.6V 0-2.6V 0-2.6V 0V 0V
抹除 0V 0V 0V 0V 0V 4-9V 0-2.6V 5-12V 0-2.6V 0V 0V
程式化 0.7-1V -0.5V/0V 0.1-1uA Vinh (1-2V) 4-11V 0-2.6V 0-2.6V 4.5-5V 0-2.6V 4.5-5V 0-1V
圖22描繪神經元VMM陣列2200，其尤其適合於如圖2中所展示之記憶體胞元210，且用作輸入層與下一層之間的突觸及神經元部分。在VMM陣列2200中，輸入INPUT 0、…、INPUT N分別接收於位元線BL 0、…、BL N上，且輸出OUTPUT 1、OUTPUT 2、OUTPUT 3及OUTPUT 4分別產生於源極線SL 0、SL 1、SL 2及SL 3上。
圖23描繪神經元VMM陣列2300，其尤其適合於如圖2中所展示之記憶體胞元210，且用作輸入層與下一層之間的突觸及神經元部分。在此實例中，輸入INPUT 0、INPUT 1、INPUT 2及INPUT 3分別接收於源極線SL 0、SL 1、SL 2及SL 3上，且輸出OUTPUT 0、…、OUTPUT N產生於位元線BL 0、…、BL N上。
圖24描繪神經元VMM陣列2400，其尤其適合於如圖2中所展示之記憶體胞元210，且用作輸入層與下一層之間的突觸及神經元部分。在此實例中，輸入INPUT 0、…、INPUT M分別接收於字元線WL 0、…、WL M上，且輸出OUTPUT 0、…、OUTPUT N產生於位元線BL 0、…、BL N上。
圖25描繪神經元VMM陣列2500，其尤其適合於如圖3中所展示之記憶體胞元310，且用作輸入層與下一層之間的突觸及神經元部分。在此實例中，輸入INPUT 0、...、INPUT M分別接收於字元線WL 0、...、WL M上，且輸出OUTPUT 0、...、OUTPUT N產生於位元線BL 0、...、BL N上。
圖26描繪神經元VMM陣列2600，其尤其適合於如圖4中所展示之記憶體胞元410，且用作輸入層與下一層之間的突觸及神經元部分。在此實例中，輸入INPUT 0、...、INPUT N分別接收於垂直控制閘極線CG 0、...、CG N上，且輸出OUTPUT 1及OUTPUT 2產生於源極線SL 0及SL 1上。
圖27描繪神經元VMM陣列2700，其尤其適合於如圖4中所展示之記憶體胞元410，且用作輸入層與下一層之間的突觸及神經元部分。在此實例中，輸入INPUT 0、…、INPUT N分別接收於位元線控制閘極2701-1、2701-2、…、2701-(N-1)及2701-N之閘極上，該等閘極分別耦接至位元線BL 0、…、BL N。實例輸出OUTPUT 1及OUTPUT 2產生於源極線SL 0及SL 1上。
圖28描繪神經元VMM陣列2800，其尤其適合於如圖3中所展示之記憶體胞元310、如圖5中所展示之記憶體胞元510及如圖7中所展示之記憶體胞元710，且用作輸入層與下一層之間的突觸及神經元部分。在此實例中，輸入INPUT 0、…、INPUT M接收於字元線WL 0、…、WL M上，且輸出OUTPUT 0、...、OUTPUT N分別產生於位元線BL 0、…、BL N上。
圖29描繪神經元VMM陣列2900，其尤其適合於如圖3中所展示之記憶體胞元310、如圖5中所展示之記憶體胞元510及如圖7中所展示之記憶體胞元710，且用作輸入層與下一層之間的突觸及神經元部分。在此實例中，輸入INPUT 0、...、INPUT M接收於控制閘極線CG 0、...、CG M上。輸出OUTPUT 0、...、OUTPUT N分別產生於垂直源極線SL 0、...、SL N上，其中各源極線SL i耦接至行i中之所有記憶體胞元之源極線。
圖30描繪神經元VMM陣列3000，其尤其適合於如圖3中所展示之記憶體胞元310、如圖5中所展示之記憶體胞元510及如圖7中所展示之記憶體胞元710，且用作輸入層與下一層之間的突觸及神經元部分。在此實例中，輸入INPUT 0、...、INPUT M接收於控制閘極線CG 0、...、CG M上。輸出OUTPUT 0、...、OUTPUT N分別產生於垂直位元線BL 0、...、BL N上，其中各位元線BL i耦接至行i中之所有記憶體胞元之位元線。 長短期記憶體
先前技術包括被稱為長短期記憶體(LSTM)之概念。LSTM單元常常用於神經網路中。LSTM允許神經網路在預定任意時間間隔內記住資訊且在後續操作中使用彼資訊。習知LSTM單元包含胞元、輸入閘極、輸出閘極及遺忘閘極。三個閘極調節資訊進入及離開胞元之流動及在LSTM中記住資訊之時間間隔。VMM尤其適用於LSTM單元。
圖14描繪實例LSTM 1400。此實例中之LSTM 1400包含胞元1401、1402、1403及1404。胞元1401接收輸入向量x 0，且產生輸出向量h 0及胞元狀態向量c 0。胞元1402接收輸入向量x 1、來自胞元1401之輸出向量(隱藏狀態)h 0及來自胞元1401之胞元狀態c 0，且產生輸出向量h 1及胞元狀態向量c 1。胞元1403接收輸入向量x 2、來自胞元1402之輸出向量(隱藏狀態)h 1及來自胞元1402之胞元狀態c 1，且產生輸出向量h 2及胞元狀態向量c 2。胞元1404接收輸入向量x 3、來自胞元1403之輸出向量(隱藏狀態)h 2及來自胞元1403之胞元狀態c 2，且產生輸出向量h 3。可使用額外胞元，且具有四個胞元之LSTM僅為實例。
圖15描繪LSTM胞元1500之示範性實施，其可用於圖14中之胞元1401、1402、1403及1404。LSTM胞元1500接收輸入向量x(t)、來自前一胞元之胞元狀態向量c(t-1)及來自前一胞元之輸出向量h(t-1)，且產生胞元狀態向量c(t)及輸出向量h(t)。
LSTM胞元1500包含S型函數構件1501、1502及1503，其中之各者應用0與1之間的數字以控制輸入向量中之各分量被允許通過輸出向量之量。LSTM胞元1500亦包含用以將雙曲正切函數應用於輸入向量之雙曲正切構件1504及1505、用以使二個向量相乘在一起之乘法器構件1506、1507及1508，及用以將二個向量相加在一起之加法構件1509。可將輸出向量h(t)提供至系統中之下一LSTM胞元，或可出於其他目的來存取該輸出向量。
圖16描繪LSTM胞元1600，其為LSTM胞元1500之實施之實例。為了方便讀者，來自LSTM胞元1500之相同編號用於LSTM胞元1600中。S型函數構件1501、1502及1503以及雙曲正切構件1504各自包含多個VMM陣列1601及激勵函數區塊1602。因此，可見VMM陣列尤其適用於在某些神經網路系統中使用之LSTM胞元。乘法器構件1506、1507及1508以及加法構件1509以數位方式或以類比方式實施。激勵函數區塊1602可以數位方式或以類比方式實施。
圖17中展示LSTM胞元1600之替代方案(及LSTM胞元1500之實施之另一實例)。在圖17中，S型函數構件1501、1502及1503以及雙曲正切構件1504以時間多工方式共用相同實體硬體(VMM陣列1701及激勵函數區塊1702)。LSTM胞元1700亦包含：乘法器構件1703，其用以使二個向量相乘在一起；加法構件1708，其用以將二個向量相加在一起；雙曲正切構件1505(其包含激勵函數區塊1702)；暫存器1707，其用以當i(t)自S型函數區塊1702輸出時儲存值i(t)；暫存器1704，其用以當值f(t)*c(t-1)經由多工器1710自乘法器構件1703輸出時儲存彼值；暫存器1705，其用以當值i(t)*u(t)經由多工器1710自乘法器構件1703輸出時儲存彼值；及暫存器1706，其用以當值o(t)*c~(t)經由多工器1710及多工器1709自乘法器構件1703輸出時儲存彼值。
LSTM胞元1600含有VMM陣列1601及各別激勵函數區塊1602之多個集合，而LSTM胞元1700僅含有VMM陣列1701及激勵函數區塊1702之一個集合，其用於表示LSTM胞元1700之實例中之多個層。LSTM胞元1700將需要相較於LSTM 1600較少的空間，此係因為LSTM胞元1700相比於LSTM胞元1600將需要1/4之空間用於VMM及激勵函數區塊。
可進一步瞭解，LSTM胞元將通常包含多個VMM陣列，其中之各者需要由VMM陣列外部之某些電路區塊，諸如求和器及激勵函數區塊以及高電壓產生區塊所提供之功能性。向各VMM陣列提供單獨電路區塊將需要半導體構件內之大量空間且將略微低效。因此，下文所描述之實例減少在VMM陣列自身外部所需之電路系統。 閘控遞回單元
類比VMM實施可用於閘控遞回單元(GRU)系統。GRU為遞回神經網路中之閘控機制。GRU類似於LSTM，除GRU胞元通常含有少於LSTM胞元之組件外。
圖18描繪示範性GRU 1800。此實例中之GRU 1800包含胞元1801、1802、1803及1804。胞元1801接收輸入向量x 0並且產生輸出向量h 0。胞元1802接收輸入向量x 1、來自胞元1801之輸出向量h 0，且產生輸出向量h 1。胞元1803接收輸入向量x 2及來自胞元1802之輸出向量(隱藏狀態)h 1，且產生輸出向量h 2。胞元1804接收輸入向量x 3及來自胞元1803之輸出向量(隱藏狀態)h 2且產生輸出向量h 3。可使用額外胞元，且具有四個胞元之GRU僅為實例。
圖19描繪GRU胞元1900之示範性實施，其可用於圖18之胞元1801、1802、1803及1804。GRU胞元1900接收輸入向量x(t)及來自前一GRU胞元之輸出向量h(t-1)，且產生輸出向量h(t)。GRU胞元1900包含S型函數構件1901及1902，其中之各者將0與1之間的數字應用至來自輸出向量h(t-1)及輸入向量x(t)之分量。GRU胞元1900亦包含用以將雙曲正切函數應用至輸入向量之雙曲正切構件1903，用以將二個向量相乘在一起之複數個乘法器構件1904、1905及1906，用以將二個向量相加在一起之加法構件1907及用以自1減去輸入以產生輸出之互補構件1908。
圖20描繪GRU胞元2000，其為GRU胞元1900之實施之實例。為了方便讀者，來自GRU胞元1900之相同編號用於GRU胞元2000中。如圖20中可見，S型函數構件1901及1902以及雙曲正切構件1903各自包含多個VMM陣列2001及激勵函數區塊2002。因此，可見VMM陣列尤其用於在某些神經網路系統中使用之GRU胞元。乘法器構件1904、1905、1906、加法構件1907及互補構件1908以數位方式或以類比方式實施。激勵函數區塊2002可以數位方式或以類比方式實施。
GRU胞元2000之替代方案(及GRU胞元1900之實施之另一實例)展示於圖21中。在圖21中，GRU胞元2100利用VMM陣列2101及激勵函數區塊2102，該激勵函數區塊在被組構為S型函數時應用0與1之間的數字以控制輸入向量中之各分量被允許通過輸出向量之量。在圖21中，S型函數構件1901及1902以及雙曲正切構件1903以時間多工方式共用相同實體硬體(VMM陣列2101及激勵函數區塊2102)。GRU胞元2100亦包含：乘法器構件2103，其用以使二個向量相乘在一起；加法構件2105，其用以使二個向量相加在一起；互補構件2109，其用以自1減去輸入以產生輸出；多工器2104；暫存器2106，其用以當值h(t-1)*r(t)經由多工器2104自乘法器構件2103輸出時保存彼值；暫存器2107，其用以當值h(t-1)*z(t)經由多工器2104自乘法器構件2103輸出時保存彼值；及暫存器2108，其用以當值h^(t)*(1-z(t))經由多工器2104自乘法器構件2103輸出時保存彼值。
GRU胞元2000含有VMM陣列2001及激勵函數區塊2002之多個集合，而GRU胞元2100僅含有VMM陣列2101及激勵函數區塊2102的一個集合，其用於表示GRU胞元2100之實例中的多個層。GRU胞元2100將需要相較於GRU胞元2000較少的空間，此係因為GRU胞元2100相比於GRU胞元2000將需要1/3之空間以用於VMM及激勵函數區塊。
可進一步瞭解，GRU系統將通常包含多個VMM陣列，其中之各者需要由VMM陣列外部之某些電路區塊，諸如求和器及激勵函數區塊以及高電壓產生區塊所提供之功能性。向各VMM陣列提供單獨電路區塊將需要半導體構件內之大量空間且將略微低效。因此，下文所描述之實例減少在VMM陣列自身外部所需之電路系統。
至VMM陣列之輸入可為類比層級、二進位層級、脈衝、時間調變脈衝或數位位元(在此情況下，需要DAC將數位位元轉換成適當的輸入類比層級)，且輸出可為類比層級、二進位層級、定時脈衝、脈衝或數位位元(在此情況下，需要輸出ADC將輸出類比層級轉換成數位位元)。
一般而言，對於VMM陣列中之各記憶體胞元，各權重W可由單一記憶體胞元或差分胞元或二個混合記憶體胞元(2個胞元之平均值)實施。在差分胞元情況下，需要二個記憶體胞元以將權重W實施為差分權重(W=W+-W-)。在二個混合記憶體胞元中，需要二個記憶體胞元以將權重W實施為二個胞元之平均值。
圖31描述VMM系統3100。在一些實例中，儲存於VMM陣列中之權重W經儲存為差分對W+(正權重)及W-(負權重)，其中W=(W+)-(W-)。在VMM系統3100中，一半位元線被指定為W+線，亦即，連接至將儲存正權重W+之記憶體胞元的位元線，且另一半位元線被指定為W-線，亦即，連接至實施負權重W-之記憶體胞元的位元線。W-線以交替方式穿插於W+線當中。減法運算由自W+線及W-線接收電流之求和電路執行，該求和電路諸如為求和電路3101及3102。W+線之輸出及W-線之輸出組合在一起，從而對於所有對(W+,W-)線之各對(W+,W-)胞元，有效地得出W=W+-W-。雖然上文已關於W-線以交替方式穿插在W+線當中進行描述，但在其他實例中，W+線及W-線可任意地位於陣列中之任何位置。
圖32描繪另一實例。在VMM系統3210中，正權重W+實施於第一陣列3211中且負權重W-實施於第二陣列3212中，第二陣列3212與第一陣列分離，且所得權重係藉由求和電路3213適當地組合在一起。
圖33描述VMM系統3300。儲存於VMM陣列中之權重W經儲存為差分對W+(正權重)及W-(負權重)，其中W=(W+)-(W-)。VMM系統3300包含陣列3301及陣列3302。陣列3301及3302中之各者中的一半位元線被指定為W+線，亦即，連接至將儲存正權重W+之記憶體胞元的位元線，且陣列3301及3302中之各者中的另一半位元線被指定為W-線，亦即，連接至實施負權重W-之記憶體胞元的位元線。W-線以交替方式穿插於W+線當中。減法運算由自W+線及W-線接收電流之求和電路執行，該求和電路諸如為求和電路3303、3304、3305及3306。來自各陣列3301、3302之W+線之輸出及W-線之輸出分別組合在一起，從而對於所有對(W+,W-)線之各對(W+,W-)胞元，有效地得出W=W+-W-。另外，來自各陣列3301及3302之W值可經由求和電路3307及3308進一步組合，以使得各W值為來自陣列3301之W值減去來自陣列3302之W值的結果，此意謂來自求和電路3307及3308之最終結果為二個差分值之差分值。
用於類比神經記憶體系統中之各非揮發性記憶體胞元待經抹除及程式化，以在浮動閘極中保持極特定且精確的電荷量，亦即電子數目。舉例而言，各浮動閘極應保存N個不同值中之一者，其中N為可由各胞元指示之不同權重的數目。N之實例包括16、32、64、128及256。
隨著人工神經網路之應用變得更複雜，對增大的速度之需要逐漸增加，同時維持準確度。在先前技術VMM系統中，數位輸入及數位輸出被利用，其在各種階段需要類比至數位及數位至類比轉換。
需要用於在類比領域中操作之VMM系統之架構，其中輸入呈類比形式。
描述用於提供人工神經網路系統之大量實例，該人工神經網路系統包含利用類比輸入之向量矩陣乘法陣列。
VMM系統架構
圖34描繪VMM系統3400之方塊圖。VMM系統3400包含VMM陣列3401、列解碼器3402、高電壓解碼器3403、行解碼器3404、位元線驅動器3405、輸入電路3406、輸出電路3407、控制邏輯3408及偏壓產生器3409。VMM系統3400進一步包含高電壓產生區塊3410，該高電壓產生區塊包含電荷泵3411、電荷泵調節器3412及高電壓類比精度位準產生器3413。VMM系統3400進一步包含(程式化/抹除，或權重調諧)演算法控制器3414、類比電路系統3415、控制引擎3416(其可包括但不限於特殊函數，諸如算術函數、激勵函數、嵌入式微控制器邏輯)及測試控制邏輯3417。
如下文進一步詳細論述，輸入電路3406可包括諸如AAC(類比至類比轉換器，諸如電流至電壓轉換器或對數轉換器)、PAC(脈衝至類比位準轉換器)或任何其他類型之轉換器的電路。輸入電路3406可實施正規化、線性或非線性按比例放大/按比例縮小函數，或算術函數中之一或多者。輸入電路3406可針對輸入位準實施溫度補償函數。輸入電路3406可實施激勵函數，諸如整流線性激勵函數(ReLU)或S型。
亦如下文進一步詳細論述，輸出電路3407可包括諸如AAC(類比至類比轉換器，諸如電流至電壓轉換器或對數轉換器)、APC(類比至脈衝轉換器或類比至時間調變脈衝轉換器)或任何其他類型之轉換器的電路。輸出電路3407可實施激勵函數，例如ReLU或S型。輸出電路3407可實施統計正規化、正則化、按比例放大/按比例縮小/增益函數，統計捨入或算術函數(例如，加法、減法、除法、乘法、移位、對數)中之一或多者以用於神經元輸出。輸出電路3407可實施溫度補償函數以用於神經元輸出或陣列輸出(諸如位元線輸出)，以便使陣列之功率消耗在溫度範圍內保持近似恆定或諸如藉由使IV斜率在溫度範圍內保持大致相同而改良陣列(神經元)輸出之精度。輸出電路3407可包括用於諸如ADC電路之輸出電路的輸出溫度補償電路系統，諸如藉由在不同陣列輸出電流範圍內保持ADC之全規模輸入範圍近似恆定。
關於輸入電路3406之實施例的額外細節現將被描述。
表8描繪可由輸入電路3406在類比領域中執行之各種類型的函數： 表8：由輸入電路3406執行之示範性函數
實施例 編號 由輸入電路3406接收到之信號 由輸入電路3406至VMM陣列3401之信號輸出
1 神經元電流(經縮放或未經縮放) 類比電壓(對數或線性)
2 類比電流 類比電壓(對數或線性)
3 脈衝信號(脈衝寬度改變) 類比電壓
4 脈衝信號(脈衝數目改變) 類比電壓
5 神經元電流(經縮放或未經縮放) 脈衝信號(脈衝寬度改變)
6 神經元電流(經縮放或未經縮放) 脈衝信號(脈衝數目改變)
7 類比電壓 脈衝信號(脈衝寬度改變或脈衝數目改變)
圖35A描繪可用於執行表8中之實施例1(神經元電流至類比電壓)之類比電壓輸入電路3500。輸入電路3500接收經縮放或未經縮放之n個神經元輸入電流Ineu[n:0]，且以線性方式將n個神經元輸入電流轉換成各別類比電壓。輸入電路3500包含區塊3501-0、3501-1、...、3501(n-1)、3501-n，其中各區塊耦接至VMM陣列(諸如圖34中之VMM陣列3401)中之n+1個列中之一者。區塊3501-0包含列解碼器3502-0、開關3503-0、電容器3504-0及緩衝器3505-0。列解碼器3502-0至3502-n接收各別列位址，且當接收到之列位址為對應列之位址時，各別輸出被斷言。舉例而言，諸如列0之個別列可被斷言，或諸如列0至列512之複數個列可被斷言。舉例而言，參考區塊3501-0，各別列解碼器3502-0之經斷言輸出信號將開關3503-0閉合預定時間量tp(回應於接收到之脈衝寬度為tp的脈衝)，該開關3503-0接著通過電流Ineu[n:0]且對電容器3504-0之一個端子充電以產生電壓，該電壓實際上為電流Ineu_0之經取樣及保持電壓VCGSH_0，該電壓被提供至緩衝器3505-0，該緩衝器為電壓緩衝器且即使在開關3503-0在預定時間量之後斷開之後亦在其輸出處維持電壓VCG0。電容器3504-0之其他端子連接至共同電位，諸如接地。因此，列解碼器3502-0啟用電流Ineu[n:0]至電容器3504歷時預定時間量tp之施加。區塊3501-0執行取樣保持函數。接著電壓VCG0被施加至VMM陣列中之列0之控制閘極線。各區塊3501-1、...、3501(n-1)、3501-n含有與區塊3501-0相同的組件且以相同方式操作。在所展示之實施例中，開關3503-1亦接收脈衝寬度為tp之脈衝，而開關3503-(n-1)及3503-n並不接收脈衝。
圖35B描繪可用於執行表8中之實施例2(類比電流至類比電壓)之類比電壓輸入電路3550。輸入電路3550接收神經元輸入電壓Vneu[n:0]，且以線性方式將其轉換成類比電壓。輸入電路3550包含區塊3551-0、3551-1、...、3551(n-1)、3551-n，其中各區塊耦接至VMM陣列(諸如圖34中之VMM陣列3401)中之n+1個列中之各別者。區塊3551-0包含列解碼器3552-0、開關3553-0、電容器3554-0及緩衝器3555-0。列解碼器3552-0至3552-n接收各別列位址，且當列位址為對應列之位址時，各別輸出被斷言。舉例而言，諸如列0之個別列可被斷言，或諸如列0至列512之複數個列可被斷言。經斷言輸出信號將開關3553-0閉合預定時間量tp(回應於接收到之寬度為tp的脈衝，未展示)，該開關接著通過電壓Vneu_0且對電容器3554-0之一個端子充電以產生電壓，該電壓實際上為被提供至緩衝器3555-0之經取樣及保持電壓VCGSH_0，該緩衝器充當電壓緩衝器且即使在開關3553-0在預定時間量之後斷開之後亦在其輸出處維持電壓VCG0。電容器3554-0之其他端子連接至共同電位，諸如接地。因此，列解碼器3552-0啟用Vneu_0至電容器3554之施加。因此，區塊3551-0執行取樣保持函數。接著電壓VCG0被施加至VMM陣列中之列0之控制閘極線。各區塊3551-1、...、3551(n-1)、3551-n含有與區塊3551-0相同的組件且以相同方式操作。
圖35C描繪可用於執行表8中之實施例2(類比電流至類比電壓)之類比電壓輸入電路3580。在此圖中，輸入神經元電壓藉由具有適當位址之列解碼器3551-0、3552-1、...、3552-(n-1)、3552-n直接啟用(通過)，且藉由開關3552-0、3552-1、...、3552-(n-1)、3552-n施加至對應列之VCG0電壓。VCG0施加於VMM陣列之控制閘極。
圖36描繪可用於在輸入電路3406中執行表8中之實施例3及4以按線性方式將包含一或多個脈衝之輸入轉換成電壓之類比電壓輸入電路3600。輸入電路3600包含區塊3601-0、3601-1、...、3601(n-1)、3601-n，其中各各別區塊耦接至VMM陣列(諸如圖34中之VMM陣列3401)中之n+1列中的一者。區塊3601-0包含列解碼器3602-0、開關3603-0、電容器3604-0、開關3607-0、輸入信號3608-0、電流源3609-0及緩衝器3605-0。列解碼器3602-0接收列位址，且當列位址為對應列之位址時，輸出經斷言。舉例而言，諸如列0之個別列可被斷言，或諸如列0至列512之複數個列可被斷言。列解碼器3602-0之經斷言輸出信號閉合開關3607-0，此使得作為脈衝寬度為tp0(表示時間)之脈衝的輸入信號3608-0能夠通過以將開關3603-0閉合脈衝寬度tp0之時間，該經關閉開關3603-0通過來自各別電流源3609-0之電流以產生脈衝電流，該脈衝電流對電容器3604-0之一個端子充電以產生被提供至緩衝器3605-0之電壓VCGSH_0，該緩衝器充當電壓緩衝器且即使在開關3603-0在脈衝寬度tp0之結束時斷開之後亦在其輸出處維持電壓VCG0。電容器3604-0之其他端子連接至共同電位，諸如接地。各脈衝輸入3608-0可為其脈衝寬度tp可改變之單脈衝，如由列0之tp0所說明，或寬度不變但脈衝之數目不同的一或多個脈衝，如由列1之恆定寬度tp1的二個脈衝所說明。此處，脈衝寬度或脈衝數目之變化反映待施加至特定列之激勵值。舉例而言，對於8位元激勵值，激勵值可在0至256之範圍內變化。因此，區塊3601-0將脈衝輸入信號轉換成經取樣及保持電壓VCG0。電壓VCG0接著被施加至VMM陣列中之列0的控制閘極線。各區塊3601-1、...、3601(n-1)、3601-n含有與區塊3601-0相同的組件且以相同方式操作。
圖37描繪可用於在輸入電路3406中執行表8中之實施例5以將經縮放神經元輸入電流Ineu_scaled轉換成脈衝信號之類比電壓輸入電路3700，其中脈衝信號之寬度與Ineu_scaled之量值成比例。輸入電路3700包含區塊3701-0、3701-1、...、3701(n-1)、3701-n，其中各別區塊耦接至VMM陣列(諸如圖34中之VMM陣列3401)中之n+1列中之各別者。區塊3701-0包含列解碼器3702-0、開關3703-0、電容器3704-0及電壓至脈衝(VtP)轉換器3705-0。列解碼器3702-0接收列位址，且當列位址為列0之位址時，列解碼器3702-0之輸出EN被斷言預定時間量tp以產生脈衝寬度為tp之脈衝。經斷言輸出信號閉合開關3703-0，其在閉合時通過信號Ineu_scaled以在脈衝寬度tp期間對電容器3704-0之一個端子充電以產生被提供至電壓至脈衝轉換器3705-0之電壓VCGSH_0。電容器3704-0之其他端子連接至共同電位，諸如接地。電壓至脈衝轉換器3705-0包含比較器3706-0，其將所產生電壓VCGSH_0與如圖中所示向上傾斜之參考電壓VRAMP進行比較。當VCGSH_0＞VRAMP時，比較器之輸出Control_0為高，且當該Control_0高時閉合開關3707-0以產生等於電壓Vsource之電壓VCG0，例如1.5V。當VCGSH_0＜VRAMP時，Control_0將切換至低，其斷開開關3707-0，從而致使VCG0變低，從而有效地結束脈衝。因此，區塊3701-0將輸入電流Ineu_scaled轉換成恆定電壓之脈衝VCG0，其中脈衝之寬度與輸入電流之量值成比例。脈衝VCG0接著被施加至VMM陣列中之列0的控制閘極線。各區塊3701-1、...、3701(n-1)、3701-n含有與區塊3701-0相同的組件且以相同方式操作。
VtP區塊3705-0可同樣應用於圖35A/圖35B/圖35C以將經取樣及保持電壓轉換成待施加至VMM陣列以執行表8中之實施例7的脈衝。
關於圖34中之輸出電路3407之實施例的額外細節現將被描述。
表9描繪可由輸出電路3407在類比領域中執行之各種類型的函數： 表9：由輸出電路3407執行之示範性函數
實施例編號 由輸出電路3407接收到之信號 藉由輸出電路3407之信號輸出
1 神經元電流(未經縮放) 神經元電流(經縮放)
2 神經元電流(未經縮放) 類比電壓(對數或線性)
3 神經元電流(未經縮放) 脈衝信號(脈衝寬度改變)
4 神經元電流(未經縮放) 脈衝信號(脈衝數目改變)
圖38描繪包含VMM陣列3401及輸出電路3407之VMM系統3800，其中輸出電路3407包含Ineuron縮放器3801以執行表9中之實施例1。Ineuron縮放器3801自VMM陣列3401接收呈神經元電流Ineu形式之輸出。Ineuron縮放器3801將神經元電流Ineu轉換成經縮放神經元電流Ineu_scaled。舉例而言，Ineuron縮放器3801可使用電流鏡比電路來縮放電流。
圖39描繪包含VMM陣列3401及輸出電路3407之VMM系統3900，其中輸出電路3407包含Ineuron縮放器3801及電流至電壓轉換器(ItV)3901以執行表9中之實施例2。Ineuron縮放器3801自VMM陣列3401接收呈神經元電流Ineu形式之輸出。Ineuron縮放器3801將神經元電流Ineu轉換成經縮放神經元電流Ineu_scaled。電流至電壓轉換器3901接收經縮放神經元電流Ineu_scaled，且根據線性函數或對數函數將電流轉換成電壓Vout。
圖40描繪包含VMM陣列3401及輸出電路3407之VMM系統4000，其中輸出電路3407包含電流至脈衝寬度(ItPW)轉換器4001以執行表9中之實施例3。電流至脈衝寬度轉換器4001自VMM陣列3401之行接收呈神經元電流Ineu形式之輸出。
電流至脈衝寬度轉換器4001將神經元電流Ineu轉換成信號Pulse_width，其為含有其寬度與Ineu之量值成比例之單脈衝的信號。
圖41描繪包含VMM陣列3401及輸出電路3407之VMM系統4100，其中輸出電路3407包含電流至脈衝計數(ItPC)轉換器4101以執行表9中之實施例4。電流至脈衝計數轉換器4101自VMM陣列3401之行接收呈神經元電流Ineu形式之輸出。電流至脈衝計數轉換器4101將神經元電流Ineu轉換成信號Pulse_count，其為含有寬度均勻之一或多個脈衝的信號，其中脈衝之數目與Ineu之量值成比例。
圖42A、圖42B、圖43及圖44分別描繪VMM系統4200、4250、4300及4400，該等VMM系統類似於圖39至圖41之VMM系統，除激勵電路4201被添加至輸出電路3407外。激勵電路4201執行激勵函數，諸如ReLU、S型或雙曲正切，但不限於此。
在圖42A中，輸出電路3407包含Ineuron縮放器3801、激勵電路4201及電流至電壓轉換器3901。Ineuron縮放器3801自VMM陣列3401接收呈神經元電流Ineu形式之輸出。Ineuron縮放器3801將神經元電流Ineu轉換成經縮放神經元電流Ineu_scaled。激勵電路4201接收經縮放神經元電流Ineu_scaled，且對其執行函數以產生I_active。電流至電壓轉換器3901接收I_active且根據線性函數或對數函數將電流轉換成電壓Vout。
替代地，激勵可置放於電流至電壓轉換器之後，如圖42B中所展示。
在圖43中，輸出電路3407包含Ineuron縮放器3801、激勵電路4201及電流至脈衝寬度轉換器4001。Ineuron縮放器3801自VMM陣列3401接收呈神經元電流Ineu形式之輸出。Ineuron縮放器3801將神經元電流Ineu轉換成經縮放神經元電流Ineu_scaled。激勵電路4201接收經縮放神經元電流Ineu_scaled，且對其執行函數以產生I_active。電流至脈衝寬度轉換器4001將I_active轉換成信號Pulse_width，其為含有其寬度與I_active之量值成比例之單脈衝的信號。
在圖44中，輸出電路3407包含Ineuron縮放器3801、激勵電路4201及電流至脈衝計數轉換器4101。Ineuron縮放器3801自VMM陣列3401接收呈神經元電流Ineu形式之輸出。Ineuron縮放器3801將神經元電流Ineu轉換成經縮放神經元電流Ineu_scaled。激勵電路4201接收經縮放神經元電流Ineu_scaled，且對其執行函數以產生I_active。電流至脈衝計數轉換器4101將l_active轉換成信號Pulse_count，其為含有寬度均勻之一或多個脈衝的信號，其中脈衝之數目與I_active之量值成比例。
圖45至圖51描繪實施圖38至圖44中論述之輸出電路3407的函數之示範性電路。
圖45A描繪可用於電流至電壓轉換器(對數)3901之電流至電壓轉換器4500。電流至電壓轉換器4500包含耦接至位元線BLR0之示範性區塊4501及其他位元線之相同區塊。電流至電壓轉換器4500亦包含開關4506、4507、4508及4509以及控制器4510。區塊4501-0包含參考胞元4502-0、運算放大器(operational amplifier/op amp)4504-0及開關4505-0。控制器4510控制開關4505-0以及開關4506、4507、4508及4509之操作。
在電流至電壓轉換器之操作期間，控制器4510閉合開關4505-0且斷開開關4506、4507、4508及4509。區塊4501-0接收位元線BLR0上之輸入電流I0，其中輸入電流I0可為來自VMM陣列3401之電流，其為來自陣列中之行0的Ineu之貢獻。運算放大器4504-0將經由自運算放大器4504-0之輸出至參考胞元4502-0之控制閘極的回饋強制其輸入之電壓相等，此強制恆定電壓VREF至位元線BLR0上。參考胞元4502-0之電流將藉由其控制閘極(運算放大器4504-0之輸出)調整，使得該電流等於輸入電流I0。與參考胞元4502-0之控制閘極電壓Vout-0相同的運算放大器4504-0之輸出為電壓信號，該電壓信號為工作於次臨限區中之參考胞元在BLR0上接收到之輸入電流I0之對數函數。對於在次臨限區中操作之胞元，VCG為胞元電流Icell之對數函數。與區塊4501-0相同的區塊耦接至來自VMM陣列3401之各別陣列輸出。
圖45B描繪可用於電流至電壓轉換器(對數)3901之電流至電壓轉換器4550。電流至電壓轉換器4550包含耦接至位元線BLR0之示範性區塊4551及其他位元線之相同區塊。電流至電壓轉換器4550亦包含開關4558、4559、4560及4561以及控制器4562。區塊4551-0包含參考胞元4552-0、運算放大器4554-0、開關4555-0、電容器4556-0及緩衝器4557-0。控制器4562控制4558、4559、4560及4561。
在操作期間，區塊4551-0接收電流I0，其為來自VMM陣列3401之輸出之位元線BLR0的電流之反相版本。位元電流經反相以使得電流自Vdd(高供應)流動至低(至此電路中)。選擇地，電流可在被提供至此電路之前經縮放。
(陣列輸出)電流被提供至參考胞元4552-0，當各別開關閉合時，其亦接收其控制閘極端子上之電壓Vsweep。Vsweep為當開關4550-0閉合時在掃掠操作期間對電容器4556-0充電之不同電壓(諸如斜坡信號)。當比較器4554-0之輸出歸因於Vsweep之改變而改變時，開關4555-0斷開，此使得Vsweep被取樣至電容器4556-0，使得彼瞬時Vsweep之電壓可保持在電容器4556-0上，其中所保持電壓表示使得參考胞元傳導與陣列相同的電流之輸出電壓。彼電壓被提供至緩衝器4557-0且作為電壓Vout-0輸出。Vout-0為電壓信號，其為在BL0上接收到之電流I0之對數函數，其歸因於在次臨限區中操作之胞元，亦即VCG為對數(Icell)函數。與區塊4551-0相同的區塊耦接至VMM陣列3401之陣列電流輸出。
圖46A描繪可用於電流至電壓轉換器(對數)3901之電流至電壓轉換器4600。電流至電壓轉換器4600包含參考記憶體胞元4601、開關4602、運算放大器4603及控制器4604，如所展示配置。參考記憶體胞元4601自VMM陣列中之位元線接收電流BLR，該電流為VMM陣列中之特定行之Ineuron的貢獻。運算放大器4603輸出電壓VNEUOUT，且開關4602藉由控制器4604閉合且將電壓施加至參考記憶體胞元4601之控制閘極端子。此回饋迴路將致使VNEUOUT移動至致使施加至運算放大器4603之反相端子之電壓等於施加至運算放大器4603之非反相端子之電壓VREF的值。以此方式，電流至電壓轉換器4600根據次臨限區中之胞元的對數函數及線性區中之胞元的線性函數將接收到之電流BLR轉換成電壓VNEUOUT。
圖46B描繪可用於圖39中之電流至電壓轉換器(對數)3901之電流至電壓轉換器4650。電流至電壓轉換器4650包含參考記憶體胞元4651、開關4652、比較器4653、開關4654、電容器4655、緩衝器4656及控制器4657，如所展示配置。參考記憶體胞元4650自VMM陣列中之位元線接收電流IBL，該電流為VMM陣列中之特定行之Ineuron的貢獻。運算放大器4653輸出電壓COMPOUT，且開關4654及4652藉由控制器4657閉合且將電壓施加至參考記憶體胞元4651之控制閘極端子。此回饋迴路將致使COMPOUT移動至致使施加至運算放大器4653之反相端子之電壓等於施加至運算放大器4653之非反相端子之電壓VREF的值。電容器4655之電壓亦將為COMPOUT，且其將保持彼電壓。彼電壓輸入至緩衝器4656且作為VNEUOUT輸出。以此方式，電流至電壓轉換器4650根據對數函數將接收到之電流IBL轉換成電壓VNEUOUT。
圖47描繪可用於以線性方式將電流轉換成電壓之電流至電壓轉換器3901的電流至電壓轉換器4700。具體而言，電流至電壓轉換器3901包含用於VMM陣列3401中之各位元線輸出的電流至電壓轉換器4700之例項。電流至電壓轉換器4700包含PMOS電晶體4701及運算放大器4702，如所展示配置。PMOS電晶體4701之一個端子附接至電壓源。PMOS電晶體4701之另一端子附接至PMOS電晶體4701之閘極且耦接至VMM陣列3401中之位元線及運算放大器4702之非反相端子。運算放大器4702之反相端子連接至運算放大器4702之輸出。由位元線汲取之電流I-BL產生自運算放大器4702輸出之電壓V_IBL。運算放大器4702充當緩衝器，且V_IBL將維持其位準，該位準反映由位元線汲取之電流I-BL，儘管其可附接至任何負載。選擇地，電流至電壓轉換器4700亦可用於位元線電流鏡緩衝器中。在此實施例中，電壓V_IBL饋入至類似PMOS(未展示)之閘極，且此PMOS中之電流接著為PMOS 4701之鏡像電流。圖48描繪可用於將電流轉換成一或多個脈衝之電流至脈衝寬度轉換器4001或電流至脈衝計數轉換器4101的電流至脈衝轉換器4800。電流至脈衝轉換器4800接收神經元電流I_BL及啟用信號EN，且包含電容器4801、比較器4802及閘極4806。在操作期間，電容器4801由I_BL充電。起初，電容器4801之電壓將低於VREF，且輸出COMPOUT將高。當電容器4801之電壓超過VREF時，比較器4802之輸出COMPOUT將自高變為低。COMPOUT及啟用信號EN輸入至AND閘極4806中，且AND閘極4806之輸出將為脈衝VNEU_PW，其中脈衝之寬度與I_BL之量值成比例。此在圖4803及4804中說明。
選擇地，AND閘極4807可替代AND閘極4806使用。AND閘極4807接收COMPOUT、EN及時鐘信號作為輸入，且輸出VNEU_PC。VNEU_PC包含具有CLK之頻率及相位的一系列脈衝，其中該等脈衝在COMPOUT及EN為高時開始，且該等脈衝在COMPOUT或EN變低時結束。此將電流I_BL轉換成一系列均勻脈衝，其中脈衝之數目與I_BL之量值成比例。
圖49描繪作為雙曲正切激勵電路4201之示範性實施之激勵電路4900。激勵電路4900包含電流至電壓轉換器4901、PMOS電晶體4902及4903(其形成電流鏡)、NMOS電晶體4904及4905以及NMOS電晶體4906，如所展示配置。激勵電路4900接收電流輸入I_input，且根據使用差分對執行之S型函數產生電流輸出Iout，如下：Iout=I1-I2=Ibias*tanh(K*(V1-V2)/2)。因此，激勵電路4900根據S型函數將I_input轉換成Iout。圖4907展示IO隨著I_input變化。
圖50描繪作為激勵電路4201之示範性實施之激勵電路5000。激勵電路5000包含NMOS電晶體5001、運算放大器5002及NMOS電晶體5003，如所展示配置。激勵電路5000接收電流輸入I_In，且根據ReLu函數產生電壓輸出OUT，如由圖5004展示。
圖51描繪平均電流池化電路5100，其選擇地可為輸出電路3407之部分以執行平均函數。平均電流池化電路5100包含N個電流源5101-1、...、5101-N(其各自表示來自VMM陣列中之位元線的電流)、NMOS電晶體5102及NMOS電晶體5103。NMOS電晶體5102將自電流源5101-1、...、5101-N接收到之所有電流一起求和。NMOS電晶體5102及5103配置於電流鏡組構中。然而，NMOS電晶體5102及5103之寬度相差N倍，使得經由NMOS電晶體5103汲取之電流Iout為由NMOS電晶體5102汲取之電流的1/N，此有效地產生自所有N個位元線接收到之電流的平均值。
圖52描繪選擇地可為輸出電路3407之部分的最大電壓池化電路5200。最大電壓池化電路5200接收n個電壓(VIN1、...、VINn)且輸出電壓中之最大者作為VOUT。此藉由比較電壓對(VIN1及VIN2、...、VINn-1及VINn)且輸出兩者中之較大者且接著比較結果對並繼續彼程序直至僅保留一個電壓VOUT為止而進行。比較使用電路5201進行，該電路包含比較器5202、NMOS電晶體5203、反相器5204及NMOS電晶體5205。電路5201接收二個電壓，諸如VIN1及VIN2，且輸出作為兩者中之較大者的電壓作為OUT。較詳細地，比較器5202在VIN1大於VIN2時輸出高信號，該高信號接通NMOS電晶體5203以將VIN1傳送至OUT，且經由反相器5204關斷NMOS電晶體5205。類似地，比較器5202在VIN2大於VIN1時輸出低信號，該低信號關斷NMOS電晶體5203，且經由反相器5204接通NMOS電晶體5205以將VIN2傳送至OUT。
圖53描繪選擇地可為輸出電路3407之部分的最小電壓池化電路5300。最小電壓池化電路5300接收n個電壓(VIN1、...、VINn)且輸出電壓中之最小者作為VOUT。此藉由比較電壓對(VIN1及VIN2、...、VINn-1及VINn)且輸出兩者中之較小者且接著比較結果對並繼續彼程序直至僅保留一個電壓VOUT為止而進行。比較使用電路5301進行，該電路包含比較器5302、NMOS電晶體5303、反相器5304及NMOS電晶體5305。電路5301接收二個電壓，諸如VIN1及VIN2，且輸出作為兩者中之較小者的電壓作為OUT。
較詳細地，比較器5302在VIN1大於VIN2時輸出高信號，該高信號接通NMOS電晶體5303以將VIN1傳送至OUT，且經由反相器5304關斷NMOS電晶體5305。類似地，比較器5302在VIN2小於VIN1時輸出低信號，該低信號關斷NMOS電晶體5303，且經由反相器5304接通NMOS電晶體5305以將VIN2傳送至OUT。
應注意，如本文中所使用，術語「在...上方」及「在...上」兩者包括性地包括「直接在...上」(其間未裝設有中間材料、元件或空間)及「間接地在...上」(其間裝設有中間材料、元件或空間)。同樣地，術語「鄰近」包括「直接鄰近」(其間未裝設有中間材料、元件或空間)及「間接鄰近」(其間裝設有中間材料、元件或空間)，「安裝至」包括「直接安裝至」(其間未裝設有中間材料、元件或空間)及「間接安裝至」(其間裝設有中間材料、元件或空間)，且「電耦接」包括「直接電耦接至」(其間無將元件電連接在一起之中間材料或元件)及「間接電耦接至」(其間具有將元件電連接在一起之中間材料或元件)。舉例而言，「在基板上方」形成元件可包括直接在基板上形成元件而其間無中間材料/元件，以及間接地在基板上形成元件而其間具有一或多種中間材料/元件。
12:半導體基板 14:源極區 16:汲極區 18:通道區 20:浮動閘極 22:字元線端子 24:位元線 28:控制閘極 30:抹除閘極 31:數位至類比轉換器 32,32a,32b,32c,32d,32e:向量乘矩陣乘法 33:非揮發性記憶體胞元陣列 34:抹除閘極及字元線閘極解碼器 35:控制閘極解碼器 36:位元線解碼器 37:源極線解碼器 38:差分求和器 39,1602,1702,2002,2102:激勵函數區塊 210,310,410,510:記憶體胞元 900,1000,1100,1200,1300,1601,1701,2001,2101,2200,2300,2400,2500,2600,2700,2800,2900,3000,3401:VMM陣列 901,1003,1103,1203,1303:記憶體陣列 902,1001,1002,1101,1102,1201,1202,1301,1302:參考陣列 903:控制閘極線 904:抹除閘極線 1012,1014:二極體連接式貫穿多工器 1204:串疊電晶體 1205:多工器 1314:二極體連接式參考胞元貫穿多工器 1400:LSTM 1401,1402,1403,1404,1801,1802,1803,1804:胞元 1500,1600,1700:LSTM胞元 1501,1502,1503,1901,1902:S型函數構件 1504,1505,1903:雙曲正切構件 1506,1507,1508,1703,1904,1905,1906,2103:乘法器構件 1509,1708,1907,2105:加法構件 1704,1705,1706,1707,2106,2107,2108:暫存器 1709,1710,2104:多工器 1800:GRU 1900,2000,2100:GRU胞元 1908,2109:互補構件 2701-1,2701-2,…,2701-(N-1),2701-N:位元線控制閘極 3100,3210,3300,3400,3800,3900,4000,4100,4200,4250,4300,4400:VMM系統 3101,3102,3213,3303,3304,3305,3306,3307,3308:求和電路 3211:第一陣列 3212:第二陣列 3301,3302:陣列 3402:列解碼器 3403:高電壓解碼器 3404:行解碼器 3405:位元線驅動器 3406:輸入電路 3407:輸出電路 3408:控制邏輯 3409:偏壓產生器 3410:高電壓產生區塊 3411:電荷泵 3412:電荷泵調節器 3413:高電壓類比精度位準產生器 3414:演算法控制器 3415:類比電路系統 3416:控制引擎 3417:測試控制邏輯 3500,3550,3580,3600,3700:類比電壓輸入電路 3501-0,3501-1,...,3501(n-1),3501-n,3551-0,3551-1,...,3551(n-1),3551-n,3601-0,3601-1,...,3601(n-1),3601-n,3701-0,3701-1,...,3701(n-1),3701-n,4501-0,4551-0:區塊 3502-0,3502-1,...,3502(n-1),3502-n,3552-0,3552-1,...,3552(n-1),3552-n,3602-0,3602-1,...,3602(n-1),3602-n,3702-0,3702-1,...,3702(n-1),3702-n:列解碼器 3503-0,3503-1,...,3503(n-1),3503-n,3553-0,3553-1,...,3553(n-1),3553-n,3603-0,3603-1,...,3603(n-1),3603-n,3607-0,3607-1,...,3607(n-1),3607-n,3703-0,3703-1,...,3703(n-1),3703-n,4505-0,4506,4507,4508,4509,4555-0,4558,4559,4560,4561,4602,4652,4654:開關 3504-0,3504-1,...,3504(n-1),3504-n,3554-0,3554-1,...,3554(n-1),3554-n,3604-0,3604-1,...,3604(n-1),3604-n,3704-0,3704-1,...,3704(n-1),3704-n,4556-0,4655,4801:電容器 3505-0,3505-1,...,3505(n-1),3505-n,3555-0,3555-1,...,3555(n-1),3555-n,3605-0,3605-1,...,3605(n-1),3605-n,4557-0,4656:緩衝器 3608-0,3608-1,...,3608(n-1),3608-n:輸入信號 3609-0,3609-1,...,3609(n-1),3609-n,5101-1,...,5101-N:電流源 3705-0,3705-1,...,3705(n-1),3705-n:電壓至脈衝轉換器 3706-0,3706-1,...,3706(n-1),3706-n,4653,4802,5202,5302:比較器 3801:Ineuron縮放器 3901,4500,4550,4600,4650,4700,4901:電流至電壓轉換器 4001:電流至脈衝寬度轉換器 4101:電流至脈衝計數轉換器 4201,4900,5000:激勵電路 4502-0,4552-0:參考胞元 4504-0,4554-0,4603,4702,5002:運算放大器 4510,4562,4604,4657:控制器 4601,4651:參考記憶體胞元 4701,4902,4903:PMOS電晶體 4800:電流至脈衝轉換器 4803,4804,5004:圖 4806,4807:AND閘極 4904,4905,4906,5001,5003,5102,5103,5203,5205,5303,5305:NMOS電晶體 5100:平均電流池化電路 5200:最大電壓池化電路 5201,5301:電路 5204,5304:反相器 5300:最小電壓池化電路 BL0,BL1,BL2,BL3,…,BLN:位元線 BLR,IBL,I-BL,Iout:電流 BLR0,BLR1,BLR2,BLR3:端子 c 0,c 1,c 2,c 3,c(t-1),c(t):胞元狀態向量 C1,C2,C3,S1,S2,S3:層 CB1,CB2,CB3,CB4:突觸 CG0,CG1,CG2,CG3,CG M-1,CG M:控制閘極線/控制閘極電壓 EG0,EG1:抹除閘極/EG線 EGR0,EGR1:EG線 EN:啟用信號 h 0,h 1,h 2,h 3,h(t-1),h(t):輸出向量 I0:輸入電流 Icell:胞元電流 Ineu[n:0]:神經元輸入電流 Ineu,I_BL:神經元電流 Ineu_scaled:經縮放神經元輸入電流 INPUT 0,INPUT 1,…,INPUT N-1,INPUT N,INPUT M-1,INPUT M:輸入 I_In:電流輸入 OUT:電壓輸出 OUTPUT 0,OUTPUT 1,OUTPUT 2,OUTPUT 3,OUTPUT 4,OUTPUT N-1,OUTPUT N,Control_0:輸出 P1,P2:激勵函數 Pulse_width,Pulse_count:信號 S0:輸入層 SL0,SL1,SL2,SL3:源極線 VCGSH_0,VCGSH_1,...,VCGSH_n-1,VCGSH_n,VCG0,VCG1,...,VCGn-1,VCGn,Vsource,Vout,Vout-0,Vsweep,VNEUOUT,VREF,COMPOUT,V_IBL, VIN1,VIN2,VIN3,VIN4,...,VINn-3,VINn-2,VINn-1,VINn,OUT:電壓 Vneu[n:0]:神經元輸入電壓 VNEU_PW:脈衝 VRAMP:參考電壓 WL0,WL1,WL2,WL3,WL4,WL5,WL6,WL7,WL M-1,WL M,WLA0,WLB0,WLA1,WLB1,WLA2,WLB2,WLA3,WLB3:字元線 x 0,x 1,x 2,x 3,x(t):輸入向量
圖1為說明人工神經網路之圖。
圖2描繪先前技術分離閘極快閃記憶體胞元。
圖3描繪另一先前技術分離閘極快閃記憶體胞元。
圖4描繪另一先前技術分離閘極快閃記憶體胞元。
圖5描繪另一先前技術分離閘極快閃記憶體胞元。
圖6為說明利用一或多個非揮發性記憶體陣列之例示性人工神經網路之不同層級的圖。
圖7為說明VMM系統之方塊圖。
圖8為說明利用一或多個VMM系統之示範性人工神經網路的方塊圖。
圖9描繪VMM系統之另一實例。
圖10描繪VMM系統之另一實例。
圖11描繪VMM系統之另一實例。
圖12描繪VMM系統之另一實例。
圖13描繪VMM系統之另一實例。
圖14描繪先前技術長短期記憶體系統。
圖15描繪供用於長短期記憶體系統中之示範性胞元。
圖16描繪圖15之胞元之示範性實施。
圖17描繪圖15之胞元之另一示範性實施。
圖18描繪先前技術閘控遞回單元系統。
圖19描繪用於閘控遞回單元系統中之示範性胞元。
圖20描繪圖19之胞元的示範性實施。
圖21描繪圖19之胞元之另一示範性實施。
圖22描繪VMM系統之另一實例。
圖23描繪VMM系統之另一實例。
圖24描繪VMM系統之另一實例。
圖25描繪VMM系統之另一實例。
圖26描繪VMM系統之另一實例。
圖27描繪VMM系統之另一實例。
圖28描繪VMM系統之另一實例。
圖29描繪VMM系統之另一實例。
圖30描繪VMM系統之另一實例。
圖31描繪VMM系統之另一實例。
圖32描繪VMM系統之另一實例。
圖33描繪VMM系統之另一實例。
圖34描繪VMM系統之另一實例。
圖35A、圖35B及圖35C描繪類比電壓輸入電路。
圖36描繪類比電壓輸入電路。
圖37描繪類比電壓輸入電路。
圖38描繪VMM系統之另一實例。
圖39描繪VMM系統之另一實例。
圖40描繪VMM系統之另一實例。
圖41描繪VMM系統之另一實例。
圖42A及圖42B描繪VMM系統之實例。
圖43描繪VMM系統之另一實例。
圖44描繪VMM系統之另一實例。
圖45A描繪示範性交流至電壓轉換器。
圖45B描繪另一示範性電流至電壓轉換器。
圖46A描繪另一示範性電流至電壓轉換器。
圖46B描繪另一示範性電流至電壓轉換器。
圖47描繪另一示範性電流至電壓轉換器。
圖48描繪示範性電流至脈衝轉換器。
圖49描繪示範性激勵電路。
圖50描繪另一示範性激勵電路。
圖51描繪示範性平均電流池化電路。
圖52描繪示範性最大電壓池化電路。
圖53描繪示範性最小電壓池化電路。
C1:層
C2:層
C3:層
CB1:突觸
CB2:突觸
CB3:突觸
CB4:突觸
P1:激勵函數
P2:激勵函數
S1:層
S2:層

Claims (17)

  1. 一種系統，其包含： 一向量矩陣乘法陣列，其包含以列及行配置之複數個非揮發性記憶體胞元； 一電容器，其包含一第一端子及一第二端子，該第二端子耦接至一共同電位； 一列解碼器，其用以回應於一位址而使得一輸入信號施加至該電容器之該第一端子；及 一緩衝器，其耦接至該電容器之該第一端子，該緩衝器用以產生該向量矩陣乘法陣列之一各別列的一輸出電壓。
  2. 如請求項1之系統， 其中，該列解碼器藉由用該列解碼器之一輸出閉合一開關來啟用該輸入信號，其中，在一閉合位置中的該開關將作為該輸入信號的一輸入神經元電流耦接至該電容器之該第一端子；及 其中，該列解碼器藉由用該列解碼器之該輸出斷開該開關而停用該輸入信號，其中，在一斷路位置中的該開關將該輸入神經元電流與該電容器之該第一端子斷開。
  3. 如請求項2之系統，其中，該輸入神經元電流自一神經網路陣列接收。
  4. 如請求項2之系統，其中，該輸入神經元電流為基於自一神經網路陣列接收之一電流之一縮放電流。
  5. 如請求項2之系統，其中，該輸出電壓根據由該開關及該電容器對該輸入神經元電流執行之一線性函數來產生。
  6. 如請求項1之系統，其中，該複數個非揮發性記憶體胞元包含堆疊閘極快閃記憶體胞元。
  7. 如請求項1之系統，其中，該複數個非揮發性記憶體胞元包含分離閘極快閃記憶體胞元。
  8. 一種系統，其包含： 一向量矩陣乘法陣列，其包含以列及行配置之複數個非揮發性記憶體胞元； 一開關，其將一各別輸入可切換地耦接至該向量矩陣乘法陣列之一各別列；及 一列解碼器，其用於回應於一位址而啟用該開關以便將該各別輸入耦接至該向量矩陣乘法陣列之該各別列。
  9. 如請求項8之系統，其中，該各別輸入自一神經網路陣列接收。
  10. 如請求項8之系統，其中，該各別輸入施加至該各別列中之非揮發性記憶體胞元的控制閘極端子。
  11. 如請求項8之系統，其中，該複數個非揮發性記憶體胞元包含堆疊閘極快閃記憶體胞元。
  12. 如請求項8之系統，其中，該複數個非揮發性記憶體胞元包含分離閘極快閃記憶體胞元。
  13. 一種方法，其包含： 藉由一列解碼器回應於一位址而使得一輸入信號施加至一電容器； 通過施加藉由一緩衝器使用儲存於該電容器上之一電壓而產生一輸出電壓；及 將該輸出電壓提供至一向量矩陣乘法陣列中之一列非揮發性記憶體胞元。
  14. 如請求項13之方法，其中，該輸入信號自一神經網路陣列接收。
  15. 如請求項13之方法，其中，該輸出電壓根據對該輸入信號執行之一線性函數產生。
  16. 如請求項13之方法，其中，該等非揮發性記憶體胞元包含堆疊閘極快閃記憶體胞元。
  17. 如請求項13之方法，其中，該等非揮發性記憶體胞元包含分離閘極快閃記憶體胞元。
TW112109054A 2022-04-07 2023-03-13 利用類比輸入的向量矩陣乘法陣列 TW202349276A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202263328473P 2022-04-07 2022-04-07
US63/328,473 2022-04-07
US17/847,486 2022-06-23
US17/847,486 US20230325649A1 (en) 2022-04-07 2022-06-23 Vector-by-matrix-multiplication array utilizing analog inputs
PCT/US2022/037230 WO2023196000A1 (en) 2022-04-07 2022-07-15 Vector-by-matrix-multiplication array utilizing analog inputs
WOPCT/US22/37230 2022-07-15

Publications (1)

Publication Number Publication Date
TW202349276A true TW202349276A (zh) 2023-12-16

Family

ID=88239444

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112109054A TW202349276A (zh) 2022-04-07 2023-03-13 利用類比輸入的向量矩陣乘法陣列

Country Status (2)

Country Link
US (2) US20230325650A1 (zh)
TW (1) TW202349276A (zh)

Also Published As

Publication number Publication date
US20230325649A1 (en) 2023-10-12
US20230325650A1 (en) 2023-10-12

Similar Documents

Publication Publication Date Title
TWI799355B (zh) 精確資料調校方法及用於人工神經網路中之類比神經記憶體之裝置
JP2023515531A (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリセルの超精密チューニング
TW202322128A (zh) 人工神經網路中於差異單元對中儲存有突觸權重的類比神經記憶體陣列
TW202236170A (zh) 用於人工神經網路中之類比神經記憶體之精確資料調校方法及裝置
CN115516565A (zh) 人工神经网络中的具有源极线拉低机构的模拟神经存储器阵列
TW202349276A (zh) 利用類比輸入的向量矩陣乘法陣列
TW202343311A (zh) 利用類比輸出的向量矩陣乘法陣列
TWI814383B (zh) 深度學習人工神經網路中類比神經記憶體的輸出電路
TWI822198B (zh) 深度學習人工神經網路中類比神經記憶體的輸出電路
US20230048411A1 (en) Input circuitry for analog neural memory in a deep learning artificial neural network
TWI834397B (zh) 包含類比陣列及數位陣列的人工神經網路
US11989440B2 (en) Hybrid memory system configurable to store neural memory weight data in analog form or digital form
US20230325645A1 (en) Artificial neural network comprising a three-dimensional integrated circuit
US20240112729A1 (en) Multiple Row Programming Operation In Artificial Neural Network Array
TW202343451A (zh) 包含ｉ－ｖ斜率組構的參考陣列之人工神經網路
TW202407579A (zh) 包含三維積體電路的人工神經網路
WO2023196000A1 (en) Vector-by-matrix-multiplication array utilizing analog inputs
TW202416179A (zh) 用於人工神經網路陣列的輸入電路
TW202416180A (zh) 用於人工神經網路陣列的輸出電路
CN117716427A (zh) 用于深度学习人工神经网络中的模拟神经存储器的输入电路
WO2022245384A1 (en) Output circuit for analog neural memory in a deep learning artificial neural network
CN117751406A (zh) 可配置为以模拟形式或数字形式存储神经存储器权重数据的混合存储器系统
TW202336748A (zh) 決定施加至神經網路中的一或多個記憶體胞元的偏壓
TW202312035A (zh) 深度學習人工神經網路中類比神經記憶體的分離陣列架構
JP2024521006A (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の出力回路