TW202131337A - 用於深度學習人工類神經網路中的類比類神經記憶體之解碼器 - Google Patents

用於深度學習人工類神經網路中的類比類神經記憶體之解碼器 Download PDF

Info

Publication number
TW202131337A
TW202131337A TW110100981A TW110100981A TW202131337A TW 202131337 A TW202131337 A TW 202131337A TW 110100981 A TW110100981 A TW 110100981A TW 110100981 A TW110100981 A TW 110100981A TW 202131337 A TW202131337 A TW 202131337A
Authority
TW
Taiwan
Prior art keywords
voltage
word line
coupled
gate
circuit
Prior art date
Application number
TW110100981A
Other languages
English (en)
Other versions
TWI764503B (zh
Inventor
曉萬 陳
史丹利 洪
英 李
順 武
新 范
開 阮
漢 陳
Original Assignee
美商超捷公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商超捷公司 filed Critical 美商超捷公司
Publication of TW202131337A publication Critical patent/TW202131337A/zh
Application granted granted Critical
Publication of TWI764503B publication Critical patent/TWI764503B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G11C16/0425—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing a merged floating gate and select transistor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/08—Address circuits; Decoders; Word-line control circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/24—Bit-line control circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C27/00—Electric analogue stores, e.g. for storing instantaneous values
    • G11C27/02—Sample-and-hold arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2216/00—Indexing scheme relating to G11C16/00 and subgroups, for features not directly covered by these groups
    • G11C2216/02—Structural aspects of erasable programmable read-only memories
    • G11C2216/04—Nonvolatile memory cell provided with a separate control gate for erasing the cells, i.e. erase gate, independent of the normal read control gate
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2216/00—Indexing scheme relating to G11C16/00 and subgroups, for features not directly covered by these groups
    • G11C2216/12—Reading and writing aspects of erasable programmable read-only memories
    • G11C2216/14—Circuits or methods to write a page or sector of information simultaneously into a nonvolatile memory, typically a complete row or word line in flash memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Neurology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Non-Volatile Memory (AREA)
  • Read Only Memory (AREA)

Abstract

揭示用於與一人工類神經網路中的一向量矩陣乘法(vector-by-matrix multiplication, VMM)陣列一起使用的多個解碼器實施例。該等解碼器包括位元線解碼器、字線解碼器、控制閘解碼器、源極線解碼器、及抹除閘解碼器。在某些實施例中，使用一高電壓版本及一低電壓版本的解碼器。

Description

用於深度學習人工類神經網路中的類比類神經記憶體之解碼器
本申請案主張2018年3月14日申請且標題為「Decoders for Analog Neuromorphic Memory in Artificial Neural Network」之美國臨時專利申請案第62/642,884號及2018年5月29日申請且標題為「Decoders For Analog Neural Memory In Deep Learning Artificial Neural Network」之美國專利申請案第15/991,890號之優先權。
揭示用於與一人工類神經網路中的一向量矩陣乘法(vector-by-matrix multiplication, VMM)陣列一起使用的多個解碼器實施例。
人工類神經網路模仿生物神經網路（動物的中樞神經系統，特別係大腦），其用以評估或近似可取決於大數目的輸入且通常未知的功能。人工類神經網路通常包括在彼此間交換訊息之互連的「神經元」的層。
圖1繪示一人工類神經網路，其中圓形表示神經元的輸入或層。連接（稱為突觸）係以箭頭表示，並具有可基於經驗調諧的數字權重。此使類神經網路適應輸入並能夠學習。一般而言，類神經網路包括多個輸入的一層。一般而言有一或多個神經元中間層，及提供類神經網路的輸出之一神經元輸出層。各級的神經元基於自突觸接收之資料個別地或共同地做決策。
用於高效能資訊處理的人工類神經網路之發展中的主要挑戰之一者係缺少適當的硬體技術。的確，實際的類神經網路依賴非常大數目的突觸，而在神經元之間實現高連接性，亦即，非常高的計算平行性。原理上，此種複雜性可以數位超級電腦或專用圖形處理單元叢集實現。然而，除了高成本以外，此等方法與生物網路相比時也苦於中等的能量效率，主要因為生物網路實施低精確度類比計算而消耗更少的能量。CMOS類比電路已用於人工類神經網路，但大多數CMOS實作的突觸在給定高數目的神經元及突觸情況下已過於龐大。
申請人先前在美國專利申請案第15/594,439號（其以引用方式併入本文中）中揭示一種人工（類比）類神經網路，其利用一或多個非揮發性記憶體陣列作為突觸。非揮發性記憶體陣列作為類比神經形態記憶體進行操作。該類神經網路裝置包括一第一複數個突觸及一第一複數個神經元，該第一複數個突觸經組態以接收一第一複數個輸入並由此產生一第一複數個輸出，該第一複數個神經元經組態以接收該第一複數個輸出。該第一複數個突觸包括複數個記憶體單元，其中該等記憶體單元之各者包括形成於一半導體基材中之間隔開的源極區域及汲極區域，其中一通道區域在該源極區域與該汲極區域之間延伸；一浮閘，其設置於該通道區域之一第一部分上方並與該第一部分絕緣；及一非浮閘，其設置於該通道區域之一第二部分上方並與該第二部分絕緣。該複數個記憶體單元之各者經組態來儲存對應於該浮閘上之數個電子的權重值。該複數個記憶體單元經組態以使該第一複數個輸入乘以所儲存的該等權重值，以產生該第一複數個輸出。
該類比神經形態記憶體系統中所用的各非揮發性記憶體單元必須經抹除及程式化以在該浮閘中保持一非常特定且精確的電荷量。例如，各浮閘必須保持N個不同值之一者，其中N係可由各單元指示之不同權重的數目。N的實例包括16、32、及64。
用於習知快閃記憶體陣列中的先前技術解碼電路（諸如位元線解碼器、字線解碼器、控制閘解碼器、源極線解碼器、以及抹除閘解碼器）不適用於與類比神經形態記憶體系統中的VMM一起使用。原因之一是：在一個VMM系統中，一個程式化與驗證操作的驗證部分（其屬於一種讀取操作）係在單一選定的記憶體單元上操作，而讀取操作則係在陣列中的所有記憶體單元上操作。
此時需要的是適用於在類比神經形態記憶體系統中與VMM一起使用之經改良的解碼電路。
揭示用於與一人工類神經網路中的一向量矩陣乘法(vector-by-matrix multiplication, VMM)陣列一起使用的多個解碼器實施例。
本發明的人工類神經網路利用CMOS技術與非揮發性記憶體陣列的組合。非揮發性記憶體單元
數位非揮發性記憶體係已知。例如，美國專利第5,029,130號（「'130專利」）揭示分離閘非揮發性記憶體單元之一陣列，且係為所有目的以引用方式併入本文中。此一類記憶體單元顯示於圖2中。各記憶體單元210包括形成在半導體基材12中的源極區域14及汲極區域16，其間具有通道區域18。浮閘20形成在通道區域18的第一部分上方且與該第一部分絕緣（且控制該第一部分的導電性），及形成在源極區域16的一部分上方。字線端子22（其一般耦接至字線）具有設置在通道區域18之第二部分上方且與該第二部分絕緣（且控制該第二部分的導電性）的第一部分，及向上並於浮閘20上方延伸的第二部分。浮閘20及字線端子22藉由閘極氧化物與基材12絕緣。位元線24耦接至汲極區域16。
記憶體單元210係藉由將高正電壓置於字線端子22上而抹除（其中將電子從浮閘移除），其導致浮閘20上的電子經由富爾諾罕穿隧而從浮閘20穿隧通過中間絕緣體至字線端子22。
記憶體單元210係藉由將正電壓置於字線端子22上及將正電壓置於源極16上而程式化（其中將電子置於浮閘上）。電子流將自源極16朝向汲極14流動。當電子抵達字線端子22與浮閘20之間的間隙時，其等將加速且變成經加熱的。由於來自浮閘20的吸引靜電力，該等經加熱電子的一些將通過閘極氧化物26注入至浮閘20上。
記憶體單元210係藉由將正讀取電壓置於汲極14及字線端子22上（其導通字線端子下方的通道區域）而讀取。若浮閘20帶正電荷（亦即電子經抹除並正耦接至汲極16），則浮閘20下方的通道區域部分亦經接通，且電流將跨通道區域18流動，其係感測為經抹除或「1」狀態。若浮閘20帶負電荷（亦即以電子程式化），則浮閘20下方的通道區域部分係大部分或完全斷開，且電流將不會跨通道區域18流動（或將有少許流動），其係感測為經程式化或「0」狀態。
表1描繪可施加至記憶體單元210的端子之用於執行讀取、抹除、及程式化操作的典型電壓範圍：表1 ：圖2 之快閃記憶體單元210 的操作
  WL BL SL
讀取 2至3V 0.6至2V 0V
抹除 ~11至13V 0V 0V
程式化 1至2V 1至3 µA 9至10V
其它分離閘記憶體單元組態為已知。例如，圖3描繪四閘極記憶體單元310，其包含源極區域14、汲極區域16、在通道區域18的第一部分上方的浮閘20、在通道區域18的第二部分上方的選擇閘28（一般耦接至字線）、在浮閘20上方的控制閘22、及在源極區域14上方的抹除閘30。此組態描述於美國專利第6,747,310號中，其針對所有目的以引用方式併入本文中。此處，除了浮閘20以外的所有閘係非浮閘，意指其等經電氣連接或可連接至電壓源。程式化係藉由變熱的電子自通道區域18將其本身注入至浮閘20上來顯示。抹除係藉由自浮閘20至抹除閘30之電子穿隧來顯示。
表2描繪可施加至記憶體單元310的端子之用於執行讀取、抹除、及程式化操作的一般電壓範圍：表 2 ：圖 3 之快閃記憶體單元 310 的操作
  WL/SG BL CG EG SL
讀取 1.0至2V 0.6至2V 0至2.6 V 0至2.6 V 0V
抹除 -0.5 V/0 V 0V 0V/-8V 8至12V 0V
程式化 1V 1 µA 8至11V 4.5至9V 4.5至5 V
圖4描繪分離閘三閘極記憶體單元410。記憶體單元410與圖3的記憶體單元310相同，但記憶體單元410不具有分開控制閘。除了沒有控制閘偏壓以外，抹除操作（通過抹除閘抹除）與讀取操作與圖3所示者類似。程式化操作的完成也未使用控制閘偏壓，因此為了彌補對於控制閘偏壓的缺乏，源極線上的程式化電壓比較高。
表3描繪可施加至記憶體單元410的端子之用於執行讀取、抹除、及程式化操作的一般電壓範圍：表 3 ：圖 4 之快閃記憶體單元 410 的操作
  WL/SG BL EG SL
讀取 0.7至2.2V 0.6至2V 0至2.6 V 0V
抹除 -0.5 V/0 V 0V 11.5V 0V
程式化 1V 2至3 µA 4.5V 7至9V
圖5描繪堆疊閘極記憶體單元510。記憶體單元510類似於圖2的記憶體單元210，但浮閘20在整個通道區域18上方延伸，及控制閘22在浮閘20上方延伸，藉由絕緣層分隔。抹除、程式化、及讀取操作以與先前針對記憶體單元210描述的類似方式操作。
表4描繪可施加至記憶體單元510的端子之用於執行讀取、抹除、及程式化操作的一般電壓範圍：表 4 ：圖 5 之快閃記憶體單元 510 的操作
  CG BL SL P基材
讀取 2至5V 0.6至2V 0V 0V
抹除 -8至-10V/0V FLT FLT 8至10V / 15至20V
程式化 8至12V 3至5V 0V 0V
為了在人工類神經網路中利用包含上述非揮發性記憶體單元之類型的一者的記憶體陣列，進行二種修改。第一，該等線經組態使得各記憶體單元可個別地程式化、抹除、及讀取而不會不利地影響陣列中之其他記憶體單元的記憶體狀態，如下文所進一步解釋者。第二，提供記憶體單元連續（類比）程式化。
具體而言，陣列中的各記憶體單元的記憶體狀態（亦即，浮閘上的電荷）可獨立地且對其他記憶體單元的干擾最小地從完全抹除狀態連續地改變至完全程式化狀態。在另一個實施例中，陣列中的各記憶體單元的記憶體狀態（亦即，浮閘上的電荷）可獨立地且對其他記憶體單元的干擾最小地從完全程式化狀態連續地改變至完全抹除狀態，且反之亦然。此意指單元儲存係類比的或至少可儲存許多離散值（諸如16或64個不同的值）之一者，其允許非常精確且個別地調諧記憶體陣列中的所有單元，且其使記憶體陣列非常適於儲存類神經網路的突觸權重並對該等突觸權重進行微調調整。採用非揮發性記憶體單元陣列的類神經網路
圖6概念性地繪示利用非揮發性記憶體陣列之類神經網路的非限制性實例。此實例將非揮發性記憶體陣列類神經網路使用於面部識別應用，但任何其他適當應用可使用基於非揮發性記憶體陣列的類神經網路實作。
S0係輸入，針對此實例，其係具有5位元精確度之32×32像素的RGB影像（亦即，三個32×32像素陣列，一者用於各顏色R、G、及B，各像素係5位元精確度）。從S0到C1的突觸CB1具有二組不同的權重及共享權重，並以3×3像素重疊濾波器（核心），將濾波器移位1個像素（或如模型所決定而多於1個像素）掃描輸入影像。具體而言，將影像之3×3部分中的9個像素（亦即，稱為濾波器或核心）的值提供至突觸CB1，藉此將此等9個輸入值乘以合適權重，且在對該乘法的輸出加總之後，由CB1的第一神經元判定並提供用於產生特徵圖譜(feature map) C1之該等層的一者之像素的單一輸出值。然後將3×3濾波器右移一個像素（亦即，在右邊加入三個像素之行，並在左邊丟棄三個像素之行），藉此將此新定位濾波器中的9個像素值提供至突觸CB1，藉此將彼等乘以相同權重，並藉由關聯神經元判定第二單一輸出值。繼續此程序直到3×3濾波器針對所有三種顏色及所有位元（精確值）掃描整個32×32像素影像。然後使用不同組的權重重複該程序，以產生C1之不同的特徵圖譜，直到層C1的所有特徵圖譜已計算。
在本實例中，在C1處，有各具有30×30個像素之16個特徵圖譜。各像素係從將輸入與核心相乘所擷取的新特徵像素，且因此各特徵圖譜係二維陣列，且因此在此實例中，突觸CB1構成二維陣列的16層（請記住本文中所提及的神經元層及陣列係邏輯關係，不一定係實體關係–亦即，陣列不一定以實體的二維陣列定向）。16個特徵圖譜之各者係由經施加至濾波器掃描之十六組不同的突觸權重之一者產生。C1特徵圖譜可全部關於相同影像特徵的不同態樣，諸如邊界識別。例如，第一圖譜（使用第一組權重產生，用於所有掃描所共享而用以產生此第一圖譜）可識別圓形邊緣，第二圖譜（使用與第一組權重不同的第二組權重產生）可識別矩形邊緣，或某些特徵的縱橫比，並依此類推。
啟動功能P1（彙整）係在從C1到S1之前施加，其彙整來自各特徵圖譜中之連續、非重疊2x2區域的值。彙整階段的目的係平均附近位置（或也能使用max函數），以減少，例如，邊緣位置的相依性，並在進入下一階段之前減少資料大小。在S1處，有16個15×15特徵圖譜（亦即，各15×15像素的十六個不同陣列）。從S1到C2之CB2中的突觸及關聯神經元使用4×4濾波器，以1個像素的濾波器移位來掃描S1中的圖譜。在C2處，有22個12×12特徵圖譜。啟動功能P2（彙整）係在從C2到S2之前施加，其彙整來自各特徵圖譜中之連續、非重疊2×2區域的值。在S2處，有22個6×6特徵圖譜。將啟動功能施加在從S2到C3的突觸CB3處，其中C3中的每個神經元連接至S2中的每個圖譜。在C3處，有64個神經元。從C3到輸出S3的突觸CB4將S3完全連接至C3。在S3處的輸出包括10個神經元，其中最高的輸出神經元判定類別。該輸出可例如指示原始影像之內容的識別或類別。
突觸的各級係使用非揮發性記憶體單元的陣列或陣列的一部分實作。圖7係包括非揮發性記憶體單元且用作輸入層與次一層之間的突觸之向量矩陣乘法(vector-by-matrix multiplication, VMM)陣列的方塊圖。具體而言，VMM 32包括非揮發性記憶體單元33的陣列、抹除閘及字線閘解碼器34、控制閘解碼器35、位元線解碼器36、及源極線解碼器37，其等解碼記憶體陣列33的輸入。此實例中的源極線解碼器37也解碼記憶體單元陣列的輸出。替代地，位元線解碼器36可解碼記憶體陣列的輸出。記憶體陣列用作兩個目的。第一，其儲存將由VMM使用的權重。第二，記憶體陣列有效地將輸入乘以儲存在記憶體陣列中的權重並將各輸出線（源極線或位元線）的結果相加以產生輸出，其將係至次一層的輸入或至最終層的輸入。藉由執行乘法與加法功能，記憶體陣列不再需要分開的乘法與加法邏輯電路，且亦由於原位記憶體運算而係有能源效率的。
將記憶體陣列的輸出供應至一差動加算器（諸如加總運算放大器）38，其加總記憶體單元陣列的輸出以創建用於該卷積的單一值。該差動加算器係諸如用以實現正權重及負權重與正輸入的加總。然後將該經加總輸出值供應至整流輸出的啟動功能電路39。啟動功能可包括S形(sigmoid)函數、雙曲正切(tanh)函數、ReLU函數。經整流輸出值變成作為次一層（例如，以上描述中的C1）之特徵圖譜的元素，然後經施加於次一突觸以產生次一特徵圖譜層或最終層。因此，在此實例中，記憶體陣列構成複數個突觸（其從神經元的先前層或從輸入層（諸如影像資料庫）接收其等的輸入），且加總運算放大器38及啟動功能電路39構成複數個神經元。
圖8係VMM之各種級的方塊圖。如圖14所示，輸入係藉由數位類比轉換器31從數位轉換成類比，並提供至輸入VMM 32a。將由輸入VMM 32a產生的輸出提供作為至次一VMM（隱藏級1）32b的輸入，其繼而產生提供作為至次一VMM（隱藏級2）32b之輸入的輸出，並依此類推。VMM 32之各種層如卷積式類神經網路(convolutional neural network, CNN)之突觸及神經元的不同層而作用。各VMM可係獨立的非揮發性記憶體陣列，或多個VMM可利用相同的非揮發性記憶體陣列的不同部分，或多個VMM可利用相同的非揮發性記憶體陣列的重疊部分。圖8所示的實例含有五層(32a、32b、32c、32d、32e)：一個輸入層(32a)、兩個隱藏層(32b、32c)、以及兩個完全連接的層(32d、32e)。所屬技術領域中具有通常知識者將理解此僅係例示性的，且一個系統可包含多於兩個隱藏層及多於兩個完全連接的層。向量矩陣乘法 (VMM) 陣列
圖9描繪神經元VMM 900，其特別適於圖2所示之類型的記憶體單元，且利用為輸入層與次一層之間的神經元的突觸及部件。VMM 900包含非揮發性記憶體單元的一記憶體陣列903、參考陣列901、及參考陣列902。參考陣列901及902用以將流入端子BLR0至BLR3中的電流輸入轉換成電壓輸入WL0至WL3。如圖示之參考陣列901及902係在行方向上。一般而言，參考陣列方向正交於輸入線。實際上，參考記憶體單元係通過多工器（多工器914，其包括多工器及用於偏壓參考位元線的疊接電晶體VBLR）的二極體式連接，該等多工器具有流入其等的電流輸入。參考單元經調諧至目標參考位準。
記憶體陣列903供兩個目的使用。第一，其儲存將由VMM 900使用的權重。第二，記憶體陣列903有效地將輸入（在端子BLR0至BLR3中提供的電流輸入；參考陣列901及902將此等電流輸入轉換成輸入電壓以供應至字線WL0至WL3）乘以儲存在記憶體陣列中的權重以產生輸出，該輸出將係至次一層的輸入或至最終層的輸入。藉由實施乘法功能，記憶體陣列否定對分開的乘法邏輯電路的需求，且也係有能源效率的。此處，電壓輸入係在字線上提供，且輸出在一讀取（推論）操作期間顯現於位元線上。置於位元線上的電流執行來自連接至位元線之記憶體單元的所有電流之一加總功能。
圖42描繪用於VMM 900的操作電壓。表中的行指示置於用於經選擇單元之字線、用於未經選擇單元之字線、用於經選擇單元之位元線、用於未經選擇單元之位元線、用於經選擇單元之源極線、以及用於未經選擇單元之源極線上的電壓。列指示讀取、抹除、及程式化操作。
圖10描繪神經元VMM 1000，其特別適於圖2所示之類型的記憶體單元，且利用為輸入層與次一層之間的神經元的突觸及部件。VMM 1000包含非揮發性記憶體單元的一記憶體陣列1003、參考陣列1001、及參考陣列1002。VMM 1000類似於VMM 900，但在VMM 1000中，字線在垂直方向上延行。有兩個參考陣列1001（在頂部，其提供將輸入電流轉換成用於偶數列之電壓的參考）及1002（在底部，其提供將輸入電流轉換成用於奇數列之電壓的參考）。此處，輸入係在字線上提供，且輸出在一讀取操作期間顯現於源極線上。置於源極線上的電流執行來自連接至源極線之記憶體單元的所有電流之一加總功能。
圖43描繪用於VMM 1000的操作電壓。表中的行指示置於用於經選擇單元之字線、用於未經選擇單元之字線、用於經選擇單元之位元線、用於未經選擇單元之位元線、用於經選擇單元之源極線、以及用於未經選擇單元之源極線上的電壓。列指示讀取、抹除、及程式化操作。
圖11描繪神經元VMM 1100，其特別適於圖3所示之類型的記憶體單元，且利用為輸入層與次一層之間的神經元的突觸及部件。VMM 1100包含非揮發性記憶體單元的一記憶體陣列1101、參考陣列1102（其提供將輸入電流轉換成用於偶數列之輸入電壓的參考）、及參考陣列1103（其提供將輸入電流轉換成用於奇數列之輸入電壓的參考）。VMM 1100類似於VMM 900，但VMM 1100進一步包含耦接至一列記憶體單元之控制閘的控制線1106，以及耦接至鄰接列記憶體單元之抹除閘的控制線1107。此處，字線、控制閘線、及抹除閘線的方向相同。VMM進一步包含參考位元線選擇電晶體1104（mux 1114的部件），該電晶體選擇性地將一參考位元線耦接至一選定之參考記憶體單元的位元線接觸件，以及開關1105（mux 1114的部件），該開關選擇性地將一參考位元線耦接至用於一特定選定之參考記憶體單元的控制線1106。此處，輸入係在（記憶體陣列1101的）字線上提供，且輸出在一讀取操作期間顯現於位元線（諸如位元線1109）上。置於位元線上的電流執行來自連接至位元線之記憶體單元的所有電流的加總功能。
圖44描繪用於VMM 1100的操作電壓。表中的行指示置於用於經選擇單元之字線、用於未經選擇單元之字線、用於經選擇單元之位元線、用於未經選擇單元之位元線、用於經選擇單元之控制閘、用於與經選擇單元相同扇區中之未經選擇單元之控制閘、用於不同於經選擇單元之一扇區中之未經選擇單元之控制閘、用於經選擇單元之抹除閘、用於未經選擇單元之抹除閘、用於經選擇單元之源極線、用於未經選擇單元之源極線上的電壓。列指示讀取、抹除、及程式化操作。
圖12描繪神經元VMM 1200，其特別適於圖3所示之類型的記憶體單元，且利用為輸入層與次一層之間的神經元的突觸及部件。VMM 1200類似於VMM 1100，但在VMM 1200中，抹除閘線（諸如抹除閘線1201）在垂直方向上延行。此處，輸入係在字線上提供，且輸出顯現於源極線上。置於位元線上的電流執行來自連接至位元線之記憶體單元的所有電流的加總功能。
圖45描繪用於VMM 1200的操作電壓。表中的行指示置於用於經選擇單元之字線、用於未經選擇單元之字線、用於經選擇單元之位元線、用於未經選擇單元之位元線、用於經選擇單元之控制閘、用於與經選擇單元相同扇區中之未經選擇單元之控制閘、用於不同於經選擇單元之一扇區中之未經選擇單元之控制閘、用於經選擇單元之抹除閘、用於未經選擇單元之抹除閘、用於經選擇單元之源極線、用於未經選擇單元之源極線上的電壓。列指示讀取、抹除、及程式化操作。
圖13描繪神經元VMM 1300，其特別適於圖3所示之類型的記憶體單元，且利用為輸入層與次一層之間的神經元的突觸及部件。VMM 1300包含非揮發性記憶體單元的一記憶體陣列1301及參考陣列1302（在陣列的頂部）。替代地，可將另一參考陣列置於底部，類似於圖10者。在其它方面，VMM 1300類似於VMM 1200，但在VMM 1300中，控制閘線（諸如控制閘線1303）在垂直方向上延行（因此參考陣列1302在列方向上，正交於輸入控制閘線），且抹除閘線（諸如抹除閘線1304）在水平方向上延行。此處，輸入經提供在控制閘線上，且輸出出現在源極線上。在一個實施例中，僅使用偶數列，且在另一實施例中，僅使用奇數列。置於源極線上的電流執行來自連接至源極線之記憶體單元的所有電流之一加總功能。
如本文針對類神經網路所描述的，快閃單元較佳地經組態以在次臨限區域中操作。
在本文中描述的記憶體單元以弱反轉偏壓： Ids = Io * e(Vg- Vth)/kVt = w * Io * e(Vg)/kVt w = e(- Vth)/kVt
對於使用記憶體單元以將輸入電流轉換成輸入電壓的I至V對數轉換器： Vg= k*Vt*log [Ids/wp*Io]
對於使用作為向量矩陣乘法器VMM的記憶體陣列，輸出電流係： Iout = wa * Io * e(Vg)/kVt ，即 Iout = (wa/wp) * Iin = W * Iin W = e(Vthp - Vtha)/kVt
字線或控制閘可用作記憶體單元用於輸入電壓的輸入。
替代地，快閃記憶體單元可經組態以在線性區域中操作： Ids = beta* (Vgs-Vth)*Vds ; beta = u*Cox*W/L W α (Vgs-Vth)
對於I至V線性轉換器，在線性區域中操作的記憶體單元可使用以將輸入/輸出電流線性地轉換成輸入/輸出電壓。
ESF向量矩陣乘法器的其他實施例描述於美國專利申請案第15/826,345號中，其以引用方式併入本文中。源極線或位元線可使用為神經元輸出（電流加總輸出）。
圖14描繪位元線解碼器電路1400的一實施例。位元線解碼器電路1400包含行解碼器1402及類比神經形態神經元(analog neuromorphic neuron, ANN)行解碼器1403，其每一者耦接至VMM陣列1401。VMM陣列可基於先前討論之任一種VMM設計（諸如VMM 900、VMM 1000、VMM 1100、VMM 1200、及VMM 1300）或其他VMM設計。
類比神經形態系統的一個挑戰是系統必須能夠程式化及驗證（其涉及到讀取操作）個別選定之單元，且必須能夠執行一ANN讀取（其中陣列中的所有單元皆經選擇及讀取）。換言之，位元線解碼器必須有時只選擇一位元線，而在其他情況下必須選擇所有位元線。
位元線解碼器電路1400實現了此目的。行解碼器1402是一習知的行解碼器（程式化及抹除(program and erase, PE)解碼路徑），且可用於選擇一個別之位元線，諸如用於程式化及程式化驗證（其為一種感測操作）。行解碼器1402的輸出係耦接至用於控制程式化、PE驗證、及抹除之程式化/抹除(program/erase, PE)行驅動器電路（圖14中未示出）。ANN行解碼器1403是特別設計為在同一時間於每條位元線上啟用讀取操作的一行解碼器。ANN行解碼器1403包含耦接至一位元線（此處為BL0）的例示性選擇電晶體1405及輸出電路1406（例如電流加算器及啟動功能，諸如tanh、sigmoid、及ReLU）。一組相同的裝置係附接至其他位元線之各者。所有選擇電晶體（諸如選擇電晶體1405）係耦接至選擇線1404。在一ANN讀取操作期間，選擇線1404經啟用，進而導通選擇電晶體之各者（諸如選擇電晶體1405），然後使得來自每個位元線的電流由一輸出電路（諸如電路1406）所接收並輸出。
圖15描繪位元線解碼器電路1500的一實施例。位元線解碼器電路1500係耦接至VMM陣列1501。VMM陣列可基於先前討論之任一種VMM設計（諸如VMM 900、VMM 1000、VMM 1100、VMM 1200、及VMM 1300）或其他VMM設計。
選擇電晶體1502及1503係由一對互補的控制信號（V0及VB_0）所控制，且耦接至一位元線(BL0)。選擇電晶體1504及1505係由另一對互補的控制信號（V1及VB_1）所控制，且耦接至另一位元線(BL1)。選擇電晶體1502及1504係耦接至相同的輸出，諸如用於啟用程式化，而選擇電晶體1503及1505係耦接至相同的輸出，諸如用於抑制程式化。電晶體1502/1503/1504/1505的輸出線（程式化及抹除(PE)解碼路徑）係諸如耦接至一PE行驅動器電路以用於控制程式化、PE驗證、及抹除（未示出）。
選擇電晶體1506係耦接至一位元線(BL0)及耦接至輸出及啟動功能電路1507（例如，電流加算器及啟動功能，諸如tanh、sigmoid、及ReLU）。選擇電晶體1506係由控制線1508所控制。
當僅欲啟動BL0時，控制線1508經解除確立且信號V0經確立，從而只讀取BL0。在一ANN讀取操作期間，控制線1508經確立，選擇電晶體1506及類似的電晶體經導通，且所有位元線被讀取，諸如用於所有的神經元處理。
圖16描繪位元線解碼器電路1600的一實施例。位元線解碼器電路1600係耦接至VMM陣列1601。VMM陣列可基於先前討論之任一種VMM設計（諸如VMM 900、VMM 1000、VMM 1100、VMM 1200、及VMM 1300）或其他VMM設計。
選擇電晶體1601係耦接至一位元線(BL0)及耦接至輸出及啟動功能電路1603。選擇電晶體1602係耦接至一位元線(BL0)及耦接至一共同輸出（PE解碼路徑）。
當僅欲啟動BL0時，選擇電晶體1602經啟動，且BL0經附接至共同輸出。在一ANN讀取操作期間，選擇電晶體1601及類似的電晶體經導通，且所有位元線被讀取。
為了在圖14、圖15、及圖16中對一未選擇的電晶體進行解碼，可施加負偏壓以減少電晶體洩漏，避免影響記憶體單元性能。或者，當陣列處於ANN操作期間時，可將負偏壓施加至PE解碼路徑。負偏壓可為自-0.1V至-0.5V或更高。
圖17描繪VMM系統1700。VMM系統1700包含VMM陣列1701及參考陣列1720（其可基於前述VMM設計的任一者，諸如VMM 900、VMM 1000、VMM 1100、VMM 1200、VMM 1300,、或其他VMM設計）、低電壓列解碼器1702、高電壓列解碼器1703、參考單元低電壓行解碼器1704（顯示用於在行方向上的參考陣列，意即在列方向上提供輸入至輸出轉換）、位元線PE驅動器1712、位元線多工器1706、啟動功能電路及加算器1707、控制邏輯1705、及類比偏壓電路1708。
如圖所示，參考單元低電壓行解碼器1704係用於在行方向上之參考陣列1720，意即在列方向上提供輸入至輸出轉換。如果參考陣列係在列方向上，參考解碼器需要於陣列的頂部及/或底部完成，以在行方向上提供輸入至輸出轉換。
低電壓列解碼器1702提供一用於讀取及程式化操作的偏壓電壓，並為高電壓列解碼器1703提供一解碼信號。高電壓列解碼器1703提供一用於程式化及抹除操作的高電壓偏壓信號。參考單元低電壓行解碼器1704為參考單元提供一解碼功能。位元線PE驅動器1712為位元線提供用於程式化、驗證、及抹除的控制功能。偏壓電路1705係一提供各種程式化、抹除、程式化驗證、及讀取操作所需之多個電壓的共用偏壓區塊。
圖18描繪VMM系統1800。VMM系統1800類似於VMM系統1700，但VMM系統1800進一步包含紅色陣列1801、位元線PE驅動器BLDRV 1802、高電壓行解碼器1803、NVR磁區1804、及參考陣列1820。高電壓行解碼器1803提供一用於垂直解碼線的高電壓偏壓。紅色陣列1802提供用於置換有缺陷陣列部分的陣列冗餘。NVR（非揮發性暫存器，又稱作資訊磁區）磁區1804係用於儲存用戶資訊、裝置ID、密碼、安全密鑰、修整位元(trimbit)、組態位元、製造資訊等的陣列磁區。
圖19描繪VMM系統1900。VMM系統1900類似於VMM系統1800，但VMM系統1900進一步包含參考系統1999。參考系統1999包含參考陣列1901、參考陣列低電壓列解碼器1902、參考陣列高電壓列解碼器1903、及參考陣列低電壓行解碼器1904。參考系統可跨多個VMM系統共享。VMM系統進一步包含NVR磁區1905。
參考陣列低電壓列解碼器1902提供一用於涉及參考陣列1901之讀取及程式化操作的偏壓電壓，亦提供一用於參考陣列高電壓列解碼器1903的解碼信號。參考陣列高電壓列解碼器1903提供一用於涉及參考陣列1901之程式化及操作的高電壓偏壓。參考陣列低電壓行解碼器1904提供一用於參考陣列1901的解碼功能。參考陣列1901係諸如用以提供用於程式化驗證或單元定邊限(cell margining)（搜尋邊限單元）的參考目標。
圖20描繪字線驅動器2000。字線驅動器2000選擇一字線（諸如此處所示之例示性字線WL0、WL1、WL2、及WL3），且向該字線提供一偏壓電壓。各字線被附接至一透過控制線2001控制的選擇電晶體，諸如select iso（隔離）電晶體2002。Iso電晶體2002係用以將諸如來自抹除（例如，8至12V）的高電壓與字線解碼電晶體隔離開來，其可利用IO電晶體（例如，1.8V, 3.3V）實現。此處，在任何操作期間，控制線2001經啟動，且所有類似於select iso電晶體2002的選擇電晶體被導通。例示性偏壓電晶體2003（字線解碼電路的部件）選擇性地將一字線耦接至第一偏壓電壓（諸如3V），而例示性偏壓電晶體2004（字線解碼電路的部件）選擇性地將一字線耦接至第二偏壓電壓（其低於第一偏壓電壓，包括接地、一介於之間的偏壓、一負電壓偏壓，以減少來自未使用之記憶列的洩漏）。在一ANN讀取操作期間，將選擇所有使用的字線，並綁定至第一偏壓電壓。所有未使用的字線都被綁定至第二偏壓電壓。在諸如程式化操作之類的其他操作期間，僅將選擇一字線，並將其他字線綁定至第二偏壓電壓，其可作為一用於減少陣列洩漏的負偏壓（例如，-0.3至-0.5V或更多）。
圖21描繪字線驅動器2100。字線驅動器2100類似於字線驅動器2000，但頂部電晶體（諸如偏壓電晶體2103）可個別地耦接至一偏壓電壓，且所有此等電晶體不如在字線驅動器2000中般綁定在一起。這允許所有字線同時並行地具有不同的獨立電壓。
圖22描繪字線驅動器2200。字線驅動器2200類似於字線驅動器2100，但偏壓電晶體2103及2104係耦接至解碼器電路2201及反相器2202。因此，圖22描繪在字線驅動器2200內之一解碼子電路2203。
圖23描繪字線驅動器2300。字線驅動器2300類似於字線驅動器2100，但偏壓電晶體2103及2104係耦接至移位暫存器2301之階段2302的輸出。移位暫存器1301允許透過串列移入資料（對暫存器串列地控時）以獨立地控制各列，諸如根據移入資料型態使一或多列得以同時啟用。
圖24描繪字線驅動器2400。字線驅動器2400類似於字線驅動器2000，但各選擇電晶體進一步耦接至一電容器，諸如電容器2403。電容器2403可於一操作開始時向字線提供一預充電或偏壓，此係由電晶體2401啟用以在線2440上取樣電壓。電容器2403作用以取樣及保持(sample and hold, S/H)每個字線的輸入電壓。在VMM陣列的ANN操作（陣列電流加算器及啟動功能）期間，電晶體2401為斷開，意即在S/H電容器上的電壓將用作為字線的（浮動）電壓源。替代地，電容器2403可由來自記憶體陣列的字線電容提供。
圖25描繪字線驅動器2500。字線驅動器2500類似於先前所述的字線驅動器，但偏壓電晶體2501及2502分別係連接至開關2503及2504。開關2503接收opa（運算放大器）2505的輸出，且開關2504提供對opa 2505之負輸入的參考輸入，其基本上係通過由opa 2505、電晶體2501、開關2503、及開關2504提供之閉合迴路的作用來提供由電容器2403所儲存的電壓。以此方式，當開關2503及2504閉合時，輸入2506上的電壓係藉由電晶體2501疊加在電容器2403上。替代地，電容器2403可由來自記憶體陣列的字線電容提供。
圖26描繪字線驅動器。字線驅動器2600類似於先前所述的字線驅動器，但加入放大器2601，其將作用為一用於電容器2604上之電壓的電壓緩衝器，以將電壓驅動至字線WL0中，意即在S/H電容器上的電壓將用作為字線的（浮動）電壓源。這係為了例如避免字線間的耦接影響電容器上的電壓。
圖27描繪高電壓源極線解碼器電路2700。高電壓源極線解碼器電路包含電晶體2701、2702、及2703，組態如圖所示。電晶體2703用於取消選取源極線至低電壓。電晶體2702用於將高電壓驅動至陣列的源極線中，且電晶體2701用於監測源極線上的電壓。電晶體2702、2701及驅動器電路（諸如opa）係以一閉迴路方式（力/感測）組態，以在PVT（process, voltage, temperature,製程、電壓、溫度）上及不同電流負載狀況下保持電壓。SLE（受驅動之源極線節點）及SLB（受監視之源極線節點）可以位於源極線的一端。替代地，SLE可位於源極線的一端，而SLN位於源極線的另一端。
圖28描繪VMM高電壓解碼電路，其包含字線解碼器電路2801、源極線解碼器電路2804、及高電壓位準偏移器2808，其適合與圖2所示類型之記憶體單元一起使用。
字線解碼器電路2801包含PMOS選擇電晶體2802（由信號HVO_B控制）及NMOS取消選取電晶體2803（由信號HVO_B控制），組態如圖所示。
源極線解碼器電路2804包含NMOS監測電晶體2805（由信號HVO控制）、驅動電晶體2806（由信號HVO控制）、及取消選取電晶體2807（由信號HVO_B控制），組態如圖所示。
高電壓位準偏移器2808接收啟用信號EN，並輸出高電壓信號HV及其互補信號HVO_B。
圖29描繪VMM高電壓解碼電路，其包含抹除閘解碼器電路2901、控制閘解碼器電路2904、源極線解碼器電路2907、及高電壓位準偏移器2911，其適合與圖3所示類型之記憶體單元一起使用。
抹除閘解碼器電路2901及控制閘解碼器電路2904使用與圖28中之字線解碼器電路2801相同的設計。
源極線解碼器電路2907使用與圖28中之源極線解碼器電路2804相同的設計。
高電壓位準偏移器2911使用與圖28中之高電壓位準偏移器2808相同的設計。
圖30描繪用於例示性字線WL0、WL1、WL2、及WL3的字線解碼器300。例示性字線WL0耦接至上拉電晶體3001及下拉電晶體3002。當啟動上拉電晶體3001時，WL0經啟用。當啟動下拉電晶體3002時，WL0經停用。圖30的功能類似於無隔離電晶體的圖21的功能。
圖31描繪用於例示性控制閘線CG0、CG1、CG2、及CG3之控制閘解碼器3100。例示性控制閘線CG0耦接至上拉電晶體3101及下拉電晶體3102。當啟動上拉電晶體3101時，CG0經啟用。當啟動下拉電晶體3102時，CG0經停用。圖31的選擇及取消選取功能係類似於圖30用於控制閘的相同功能。
圖32描繪用於例示性控制閘線CG0、CG1、CG2、及CG3的控制閘解碼器3200。控制閘解碼器3200類似於控制閘解碼器3100，但控制閘解碼器3200包含一耦接至各控制閘線之電容器（諸如電容器3203）。這些取樣及保持(S/H)電容器可於操作前提供一預充電偏壓至各控制閘線上，意即該S/H電容器上的電壓將用作為一用於控制閘線的（浮動）電壓源。該S/H電容器可通過來自記憶體單元的控制閘電容來提供。
圖33描繪用於例示性控制閘線CG0、CG1、CG2、及CG3的控制閘解碼器3300。控制閘解碼器3300類似於控制閘解碼器3200，但控制閘解碼器3300進一步包含一緩衝器3301（例如opa）。
圖34描繪電流轉電壓電路3400。該電路包含一經組態的二極體連接之參考單元電路3450及一取樣及保持電路3460。電路3450包含輸入電流源3401、NMOS電晶體3402、疊接偏壓電晶體3403、及參考記憶體單元3404。取樣及保持電路係由開關3405及S/H電容器3406組成。記憶體3404在二極體連接的組態中被加偏壓，其中一偏壓係位於其位元線上，以將輸入電流轉換成電壓，諸如用於供應字線。
圖35描繪電流轉電壓電路3500，其類似於電流轉電壓電路3400，但於S/H電容器後方加入放大器3501。電流轉電壓電路3500包含一經組態的二極體連接之參考單元電路3550、取樣及保持電路3470、及放大器階段3562。
圖36描繪電流轉電壓電路3600，其設計相同於用在二極體連接之組態中控制閘的電流轉電壓電路3400。電流轉電壓電路3600包含一經組態的二極體連接之參考單元電路3650及一取樣及保持電路3660。
圖37描繪電流轉電壓電路3700，其中一緩衝器3790係置於參考電路3750與S/H電路3760之間。
圖38描繪電流轉電壓電路3800，其類似於圖35，但其控制閘係以一二極體連接組態連接。電流轉電壓電路3800包含一經組態的二極體連接之參考單元電路3550、取樣及保持電路3870、及放大器階段3862。
圖39描繪電流轉電壓電路3900，其類似於圖34，如應用至圖2中之記憶體單元。電流轉電壓電路3900包含一經組態的二極體連接之參考單元電路3950及一取樣及保持電路3960。
圖40描繪電流轉電壓電路4000，其類似於圖37，如應用至圖2中之記憶體單元，其中一緩衝器4090係置於參考電路4050與S/H電路4060之間。
圖41描繪電流轉電壓電路4100，其類似於圖38，如應用至圖2中之記憶體單元。電流轉電壓電路4100包含一經組態的二極體連接之參考單元電路4150、取樣及保持電路4170、及放大器階段4162。
應注意的是，如本文中所使用，「在…上方(over)」及「在…上(on)」之用語皆含括性地包括了「直接在…之上(directly on)」（無居中的材料、元件或間隔設置於其間）及「間接在…之上(indirectly on)」（有居中的材料、元件或間隔設置於其間）的含意。同樣地，「相鄰的(adjacent)」一詞包括了「直接相鄰的」（無居中的材料、元件或間隔設置於其間）及「間接相鄰的」（有居中的材料、元件或間隔設置於其間）的含意，「安裝於(mounted to)」一詞則包括了「直接安裝於(directly mounted to)」（無居中的材料、元件或間隔設置於其間）及「間接安裝於(indirectly mounted to)」（有居中的材料、元件或間隔設置於其間）的含意，以及「電耦接(electrically coupled)」一詞則包括了「直接電耦接(directly electrically coupled to)」（無居中的材料或元件於其間將各元件電性相連接）及「間接電耦接(indirectly electrically coupled to)」（有居中的材料或元件於其間將各元件電性相連接）的含意。舉例而言，「在基材上方(over a substrate)」形成元件可包括直接在基材上形成元件而其間無居中的材料/元件存在，以及間接在基材上形成元件而其間有一或多個居中的材料/元件存在。
12:半導體基材,基材 14:源極區域,汲極 16:汲極區域,源極區域,源極,汲極 18:通道區域 20:浮閘 22:字線端子,控制閘 24:位元線 26:閘極氧化物 28:選擇閘 30:抹除閘 31:數位類比轉換器 32:VMM 32a:輸入VMM,輸入層 32b:VMM,隱藏層 32c:隱藏層 32d:層 32e:層 33:非揮發性記憶體單元,記憶體陣列 34:抹除閘及字線閘解碼器 35:控制閘解碼器 36:位元線解碼器 37:源極線解碼器 38:差動加算器,加總運算放大器 39:啟動功能電路 210:記憶體單元 300:字線解碼器 310:四閘極記憶體單元,記憶體單元 410:分離閘三閘極記憶體單元,記憶體單元 510:堆疊閘極記憶體單元,記憶體單元 900:神經元VMM,VMM 901:參考陣列 902:參考陣列 903:記憶體陣列 914:多工器 1000:神經元VMM,VMM 1001:參考陣列 1002:參考陣列 1003:記憶體陣列 1100:神經元VMM,VMM 1101:記憶體陣列 1102:參考陣列 1103:參考陣列 1104:參考位元線選擇電晶體 1105:開關 1106:控制線 1107:控制線 1109:位元線 1114:mux 1200:神經元VMM,VMM 1201:抹除閘線 1300:神經元VMM,VMM 1301:記憶體陣列,移位暫存器 1302:參考陣列 1303:控制閘線 1304:抹除閘線 1400:位元線解碼器電路 1401:VMM陣列 1402:行解碼器 1403:行解碼器,ANN行解碼器 1404:選擇線 1405:選擇電晶體 1406:輸出電路,電路 1500:位元線解碼器電路 1501:VMM陣列 1502,1503,1504,1505:選擇電晶體,電晶體 1506:選擇電晶體 1507:輸出及啟動功能電路 1508:控制線 1600:位元線解碼器電路 1601:VMM陣列,選擇電晶體 1602:選擇電晶體 1603:輸出及啟動功能電路 1700:VMM系統 1701:VMM陣列 1702:低電壓列解碼器 1703:高電壓列解碼器 1704:參考單元低電壓行解碼器 1705:控制邏輯,偏壓電路 1706:位元線多工器 1707:啟動功能電路及加算器 1708:類比偏壓電路 1712:位元線PE驅動器 1720:參考陣列 1800:VMM系統 1801:紅色陣列 1802:位元線PE驅動器BLDRV,紅色陣列 1803:高電壓行解碼器 1804:NVR磁區 1820:參考陣列 1900:VMM系統 1901:參考陣列 1902:參考陣列低電壓列解碼器 1903:參考陣列高電壓列解碼器 1904:參考陣列低電壓行解碼器 1905:NVR磁區 1999:參考系統 2000:字線驅動器 2001:控制線 2002:iso（隔離）電晶體 2003:偏壓電晶體 2004:偏壓電晶體 2100:字線驅動器 2103:偏壓電晶體 2104:偏壓電晶體 2200:字線驅動器 2201:解碼器電路 2202:反相器 2203:解碼子電路 2300:字線驅動器 2301:移位暫存器 2302:階段 2400:字線驅動器 2401:電晶體 2403:電容器 2440:線 2500:字線驅動器 2501:偏壓電晶體,電晶體 2502:偏壓電晶體 2503:開關 2504:開關 2505:opa（運算放大器） 2506:輸入 2600:字線驅動器 2601:放大器 2604:電容器 2700:高電壓源極線解碼器電路 2701:電晶體 2702:電晶體 2703:電晶體 2801:字線解碼器電路 2802:PMOS選擇電晶體 2803:NMOS取消選取電晶體 2804:源極線解碼器電路 2805:NMOS監測電晶體 2806:驅動電晶體 2807:取消選取電晶體 2808:高電壓位準偏移器 2901:抹除閘解碼器電路 2904:控制閘解碼器電路 2907:源極線解碼器電路 2911:高電壓位準偏移器 3001:上拉電晶體 3002:下拉電晶體 3100:控制閘解碼器 3101:上拉電晶體 3102:下拉電晶體 3200:控制閘解碼器 3203:電容器 3300:控制閘解碼器 3301:緩衝器 3400:電流轉電壓電路 3401:輸入電流源 3402:NMOS電晶體 3403:疊接偏壓電晶體 3404:參考記憶體單元,記憶體 3405:開關 3406:S/H電容器 3450:參考單元電路,電路 3460:取樣及保持電路 3470:取樣及保持電路 3500:電流轉電壓電路 3501:放大器 3550:參考單元電路 3562:放大器階段 3600:電流轉電壓電路 3650:參考單元電路 3660:取樣及保持電路 3700:電流轉電壓電路 3750:參考電路 3760:S/H電路 3790:緩衝器 3800:電流轉電壓電路 3862:放大器階段 3870:取樣及保持電路 3900:電流轉電壓電路 3950:參考單元電路 3960:取樣及保持電路 4000:電流轉電壓電路 4050:參考電路 4060:S/H電路 4090:緩衝器 4100:電流轉電壓電路 4150:參考單元電路 4162:放大器階段 4170:取樣及保持電路 BL0:位元線 BL1:位元線 C1:特徵圖譜,層 C2,C3,S1~3:符號 CB1:突觸 CB2:突觸 CB3:突觸 CB4:突觸 BLR0:端子 BLR1:端子 BLR2:端子 BLR3:端子 CG0:控制閘線 CG1:控制閘線 CG2:控制閘線 CG3:控制閘線 HV:高電壓信號 HVO_B:互補信號 P1:啟動功能 P2:啟動功能 V0:控制信號 V1:控制信號 VB_0:控制信號 VB_1:控制信號 VBLR:疊接電晶體 WL0:字線 WL1:字線 WL2:字線 WL3:字線
圖1係繪示一人工類神經網路的圖。
圖2係習知的2閘極非揮發性記憶體單元的截面側視圖。
圖3係習知的4閘極非揮發性記憶體單元的截面側視圖。
圖4係習知的3閘極非揮發性記憶體單元的側截面側視圖。
圖5係另一習知的2閘極非揮發性記憶體單元的截面側視圖。
圖6係繪示利用非揮發性記憶體陣列的例示性人工類神經網路之不同級的圖。
圖7係繪示一向量乘法器矩陣的方塊圖。
圖8係繪示一向量乘法器矩陣之各種級的方塊圖。
圖9描繪一向量乘法器矩陣的一實施例。
圖10描繪一向量乘法器矩陣的另一實施例。
圖11描繪一向量乘法器矩陣的另一實施例。
圖12描繪一向量乘法器矩陣的另一實施例。
圖13描繪一向量乘法器矩陣的另一實施例。
圖14描繪用於一向量乘法器矩陣之一位元線解碼器的一實施例。
圖15描繪用於一向量乘法器矩陣之一位元線解碼器的另一實施例。
圖16描繪用於一向量乘法器矩陣之一位元線解碼器的另一實施例。
圖17描繪一個用於操作一向量乘法器矩陣的系統。
圖18描繪另一個用於操作一向量乘法器矩陣的系統。
圖19描繪另一個用於操作一向量乘法器矩陣的系統。
圖20描繪用於與一向量乘法器矩陣一起使用的一字線驅動器之一實施例。
圖21描繪用於與一向量乘法器矩陣一起使用的一字線驅動器之另一實施例。
圖22描繪用於與一向量乘法器矩陣一起使用的一字線驅動器之另一實施例。
圖23描繪用於與一向量乘法器矩陣一起使用的一字線驅動器之另一實施例。
圖24描繪用於與一向量乘法器矩陣一起使用的一字線驅動器之另一實施例。
圖25描繪用於與一向量乘法器矩陣一起使用的一字線驅動器之另一實施例。
圖26描繪用於與一向量乘法器矩陣一起使用的一字線驅動器之另一實施例。
圖27描繪用於與一向量乘法器矩陣一起使用的一源極線解碼器電路。
圖28描繪用於與一向量乘法器矩陣一起使用的一字線解碼器電路、一源極線解碼器電路、以及一高電壓位準偏移器。
圖29描繪用於與一向量乘法器矩陣一起使用的一抹除閘解碼器電路、一控制閘解碼器電路、一源極線解碼器電路、以及一高電壓位準偏移器。
圖30描繪用於與一向量乘法器矩陣一起使用的一字線解碼器電路。
圖31描繪用於與一向量乘法器矩陣一起使用的一控制閘解碼器電路。
圖32描繪用於與一向量乘法器矩陣一起使用的另一控制閘解碼器電路。
圖33描繪用於與一向量乘法器矩陣一起使用的另一控制閘解碼器電路。
圖34描繪用於在一向量乘法器矩陣中控制一字線的一種電流轉電壓電路。
圖35描繪用於在一向量乘法器矩陣中控制一字線的另一種電流轉電壓電路。
圖36描繪用於在一向量乘法器矩陣中控制一控制閘線的一種電流轉電壓電路。
圖37描繪用於在一向量乘法器矩陣中控制一控制閘線的另一種電流轉電壓電路。
圖38描繪用於在一向量乘法器矩陣中控制一控制閘線的另一種電流轉電壓電路。
圖39描繪用於在一向量乘法器矩陣中控制一字線的另一種電流轉電壓電路。
圖40描繪用於在一向量乘法器矩陣中控制一字線的另一種電流轉電壓電路。
圖41描繪用於在一向量乘法器矩陣中控制一字線的另一種電流轉電壓電路。
圖42描繪用於圖9之向量乘法器矩陣的操作電壓。
圖43描繪用於圖10之向量乘法器矩陣的操作電壓。
圖44描繪用於圖11之向量乘法器矩陣的操作電壓。
圖45描繪用於圖12之向量乘法器矩陣的操作電壓。
CB1~4:突觸
C1:特徵圖譜/層
C2,C3,S1~3:符號
P1,P2:啟動功能

Claims (57)

  1. 一種類比神經形態記憶體系統，其包含： 一向量矩陣乘法陣列，其包含經組織成列與行的一非揮發性記憶體單元陣列，其中各行連接至一位元線，且各記憶體單元包含一字線端子及一源極線端子； 一字線解碼器電路，其耦接至該等非揮發性記憶體單元之該等字線端子，其中該字線解碼器電路能夠施加一低電壓或一高電壓至耦接的字線端子；及 一源極線解碼器電路，其耦接至該等非揮發性記憶體單元之該等源極線端子，其中該源極線解碼器電路能夠施加一低電壓或一高電壓至耦接的源極線端子。
  2. 如請求項1之系統，其中各記憶體單元進一步包含一抹除閘端子，該系統進一步包含： 一抹除閘解碼器電路，其耦接至該等非揮發性記憶體單元之該等抹除閘端子，其中該抹除閘解碼器電路能夠施加一低電壓或一高電壓至耦接的抹除閘端子。
  3. 一種耦接至一向量矩陣乘法陣列的字線驅動器，該向量矩陣乘法陣列包含經組織成列及行的一非揮發性記憶體單元陣列，其中各列耦接至一字線且各字線耦接至該字線驅動器，該字線驅動器包含： 複數個選擇電晶體，該複數個選擇電晶體之各者包含一第一端子、一第二端子、及一閘極，其中該複數個選擇電晶體之各者的該閘極耦接至一共同控制線，且該複數個選擇電晶體之各者的該第一端子耦接至一不同的字線，且其中該複數個選擇電晶體之各者的該第二端子耦接至一或多個偏壓電晶體； 其中耦接至該複數個選擇電晶體之各者之該等偏壓電晶體能夠提供一偏壓電壓至一單一選擇電晶體或至所有的該等選擇電晶體。
  4. 如請求項3之字線驅動器，其中耦接至該複數個選擇電晶體之各者的至少一偏壓電晶體耦接至一共同控制線。
  5. 如請求項3之字線驅動器，其中耦接至該複數個選擇電晶體之各者的各偏壓電晶體耦接至一不同的控制線。
  6. 如請求項3之字線驅動器，其中該等偏壓電晶體之各者耦接至用於解碼一字線位址的一電路。
  7. 如請求項3之字線驅動器，其中該等偏壓電晶體耦接至一移位暫存器。
  8. 如請求項3之字線驅動器，其中各選擇電晶體耦接至一電容器。
  9. 如請求項3之字線驅動器，其中各偏壓電晶體耦接至一比較器。
  10. 一種類比神經形態記憶體系統，其包含： 一向量矩陣乘法陣列，其包含經組織成列與行的一非揮發性記憶體單元陣列，其中各行連接至一位元線，且各記憶體單元包含一字線端子及一源極線端子； 一字線解碼器電路，其耦接至該等非揮發性記憶體單元的該等字線端子，其中該字線解碼器電路能夠通過一低電壓電晶體施加一低電壓或通過一高電壓電晶體施加一高電壓至耦接的字線端子，該字線解碼器電路包含耦接至各字線的一隔離電晶體以隔離該高電壓電晶體與該低電壓電晶體。
  11. 如請求項10之系統，其中一負偏壓係在一程式化與驗證操作或一讀取操作期間施加至各未選取之記憶體單元的該等字線。
  12. 如請求項10之系統，其中該等非揮發性記憶體單元之各者係一分離閘快閃記憶體單元。
  13. 如請求項10之系統，其中該等非揮發性記憶體單元之各者係一堆疊閘快閃記憶體單元。
  14. 如請求項10之系統，其中該等非揮發性記憶體單元之各者經組態以在一次臨限區域中操作。
  15. 如請求項10之系統，其中該等非揮發性記憶體單元之各者經組態以在一線性區域中操作。
  16. 一種類比神經形態記憶體系統，其包含： 一向量矩陣乘法陣列，其包含經組織成列與行的一非揮發性記憶體單元陣列，其中各行連接至一位元線，且各記憶體單元包含一字線端子及一源極線端子； 一字線解碼器電路，其耦接至該等非揮發性記憶體單元之該等字線端子，其中該字線解碼器電路能夠施加一低電壓或一高電壓至耦接的字線端子；及 一取樣及保持電容器，其耦接至各字線。
  17. 如請求項16之系統，其中一負偏壓係在一程式化與驗證操作或一讀取操作期間施加至各未選取之記憶體單元的該等字線。
  18. 如請求項16之系統，其中該取樣及保持電容器中的該電容器係由一字線的一固有電容提供。
  19. 如請求項16之系統，其中該等非揮發性記憶體單元之各者係一分離閘快閃記憶體單元。
  20. 如請求項16之系統，其中該等非揮發性記憶體單元之各者係一堆疊閘快閃記憶體單元。
  21. 如請求項16之系統，其中該等非揮發性記憶體單元之各者經組態以在一次臨限區域中操作。
  22. 如請求項16之系統，其中該等非揮發性記憶體單元之各者經組態以在一線性區域中操作。
  23. 如請求項16之系統，其中該S/H電容器用作該字線的一電壓源。
  24. 一種類比神經形態記憶體系統，其包含： 一向量矩陣乘法陣列，其包含經組織成列與行的一非揮發性記憶體單元陣列，其中各行連接至一位元線，且各記憶體單元包含一字線端子及一源極線端子；及 一源極線解碼器電路，其耦接至該等非揮發性記憶體單元之該等字線端子，其中該源極線解碼器電路能夠施加一低電壓或一高電壓至耦接的源極線端子，其中該源極線解碼器電路包含一驅動電晶體及一監測電晶體。
  25. 如請求項24之系統，其中該系統進一步包含於一閉迴路中操作的一力感測電路。
  26. 如請求項24之系統，其中該等非揮發性記憶體單元之各者係一分離閘快閃記憶體單元。
  27. 如請求項24之系統，其中該等非揮發性記憶體單元之各者係一堆疊閘快閃記憶體單元。
  28. 如請求項24之系統，其中該等非揮發性記憶體單元之各者經組態以在一次臨限區域中操作。
  29. 如請求項24之系統，其中該等非揮發性記憶體單元之各者經組態以在一線性區域中操作。
  30. 一種類比神經形態記憶體系統，其包含： 一向量矩陣乘法陣列，其包含經組織成列與行的一非揮發性記憶體單元陣列，其中各行連接至一位元線，且各記憶體單元包含一字線端子及一源極線端子； 一控制閘解碼器電路，其耦接至該等非揮發性記憶體單元之該等控制閘線端子，其中該控制閘解碼器電路能夠施加一低電壓或一高電壓至耦接的控制閘端子；及 一取樣及保持電容器，其耦接至各字線。
  31. 如請求項30之系統，其中一負偏壓係在一程式化與驗證操作或一讀取操作期間施加至各未選取之記憶體單元的該等字線。
  32. 如請求項30之系統，其中該取樣及保持電容器包含控制閘電容。
  33. 如請求項30之系統，其中該等非揮發性記憶體單元之各者係一分離閘快閃記憶體單元。
  34. 如請求項30之系統，其中該等非揮發性記憶體單元之各者係一堆疊閘快閃記憶體單元。
  35. 如請求項30之系統，其中該等非揮發性記憶體單元之各者經組態以在一次臨限區域中操作。
  36. 如請求項30之系統，其中該等非揮發性記憶體單元之各者經組態以在一線性區域中操作。
  37. 如請求項30之系統，其中該S/H電容器用作該控制閘線的一電壓源。
  38. 一種電流轉電壓電路，其包含： 一參考電路，其用於接收一輸入電流並回應於該輸入電流而輸出一第一電壓，該參考電路包含一輸入電流源、一NMOS電晶體、一疊接偏壓電晶體、及一參考記憶體單元； 一取樣及保持電路，其用於接收該第一電壓並輸出一第二電壓，該第二電壓構成該第一電壓的一取樣值，該取樣及保持電路包含一開關及電容器。
  39. 如請求項38之電流轉電壓電路，其進一步包含用於接收該第二電壓並輸出一第三電壓的一放大器。
  40. 如請求項38之電流轉電壓電路，其中該第二電壓經提供至一快閃記憶體系統中的一字線。
  41. 如請求項39之電流轉電壓電路，其中該第二電壓經提供至一快閃記憶體系統中的一字線。
  42. 如請求項38之電流轉電壓電路，其中該第二電壓經提供至一快閃記憶體系統中的一控制閘線。
  43. 如請求項39之電流轉電壓電路，其中該第二電壓經提供至一快閃記憶體系統中的一控制閘線。
  44. 一種電流轉電壓電路，其包含： 一參考電路，其用於接收一輸入電流並回應於該輸入電流而輸出一第一電壓，該參考電路包含一輸入電流源、一NMOS電晶體、一疊接偏壓電晶體、及一參考記憶體單元； 一放大器，其用於接收該第一電壓並輸出一第二電壓； 一取樣及保持電路，其用於接收該第二電壓並輸出一第三電壓，該第三電壓構成該第二電壓的一取樣值，該取樣及保持電路包含一開關及電容器。
  45. 如請求項44之電流轉電壓電路，其中該第三電壓經提供至一快閃記憶體系統中的一字線。
  46. 如請求項44之電流轉電壓電路，其中該第三電壓經提供至一快閃記憶體系統中的一控制閘線。
  47. 一種類比神經形態記憶體系統，其包含： 一向量矩陣乘法陣列，其包含經組織成列及行的一非揮發性記憶體單元陣列；及 一冗餘磁區。
  48. 如請求項47之系統，其進一步包含用於儲存系統資訊的一非揮發性暫存器。
  49. 一種類比神經形態記憶體系統，其包含： 一向量矩陣乘法陣列，其包含經組織成列及行的一非揮發性記憶體單元陣列；及 一非揮發性暫存器，其用於儲存系統資訊。
  50. 一種類神經網路裝置，包含： 第一複數個突觸，組配來接收第一複數個輸入並由此產生第一複數個輸出，其中該等第一複數個突觸包含： 複數個記憶體單元，其中該等記憶體單元各包括形成於一半導體基材中之間隔開的一源極區域及一汲極區域，其中一通道區域在該源極區域與該汲極區域之間延伸；一浮閘，設置於該通道區域之一第一部分上方並與該第一部分絕緣；一第一閘，設置於該通道區域之一第二部分上方並與該第二部分絕緣；一第二閘，設置於該浮閘上方並與該浮閘絕緣；以及一第三閘，設置於該源極區域上方並與該源極區域絕緣； 該等複數個記憶體單元各組配來儲存對應於該浮閘上之電子數目的權重值； 該等複數個記憶體單元組配成基於該等第一複數個輸入以及所儲存的該等權重值來產生該等第一複數個輸出； 其中該等第一複數個突觸之該等記憶體單元成多列與多行排列，以及其中該等第一複數個突觸包含： 複數條第一線，各將該等記憶體單元之該等列中的一者中之該等第一閘電氣連接在一起； 複數條第二線，各將該等記憶體單元之該等行中的一者中之該等第二閘電氣連接在一起； 複數條第三線，各將該等記憶體單元之該等列中的一者中之該等第三閘電氣連接在一起； 複數條第四線，各將該等記憶體單元之該等列中的一者中之該等源極區域電氣連接在一起； 複數條第五線，各將該等記憶體單元之該等行中的一者中之該等汲極區域電氣連接在一起； 其中該等第一複數個突觸組配來接收該等第一複數個輸入作為該等複數條第二線或該等複數條第五線上的電壓，以及提供該等第一複數個輸出作為該等複數條第四線上的電流。
  51. 如請求項50之類神經網路裝置，其中該等第一複數個突觸組配來接收該等第一複數個輸入作為該等複數條第二線上的電壓。
  52. 如請求項50之類神經網路裝置，其中該等第一複數個突觸組配來接收該等第一複數個輸入作為該等複數條第五線上的電壓。
  53. 如請求項50之類神經網路裝置，進一步包含： 第一複數個神經元，組配來接收該等第一複數個輸出。
  54. 如請求項53之類神經網路裝置，進一步包含： 第二複數個突觸，組配來接收從該等第一複數個神經元來的第二複數個輸入，並由此產生第二複數個輸出，其中該等第二複數個突觸包含： 複數個第二記憶體單元，其中該等第二記憶體單元各包括形成於該半導體基材中之間隔開的一第二源極區域及一第二汲極區域，其中一第二通道區域在該第二源極區域與該第二汲極區域之間延伸；一第二浮閘，設置於該第二通道區域之一第一部分上方並與該第一部分絕緣；一第四閘，設置於該第二通道區域之一第二部分上方並與該第二部分絕緣；一第五閘，設置於該第二浮閘上方並與該第二浮閘絕緣；以及一第六閘，設置於該第二源極區域上方並與該第二源極區域絕緣； 該等複數個第二記憶體單元各組配來儲存對應於該第二浮閘上之電子數目的第二權重值； 該等複數個第二記憶體單元組配成基於該等第二複數個輸入以及所儲存的該等第二權重值來產生該等第二複數個輸出； 其中該等第二複數個突觸之該等第二記憶體單元成多列與多行排列，以及其中該等第二複數個突觸包含： 複數條第六線，各將該等第二記憶體單元之該等列中的一者中之該等第四閘電氣連接在一起； 複數條第七線，各將該等第二記憶體單元之該等行中的一者中之該等第五閘電氣連接在一起； 複數條第八線，各將該等第二記憶體單元之該等列中的一者中之該等第六閘電氣連接在一起； 複數條第九線，各將該等第二記憶體單元之該等列中的一者中之該等第二源極區域電氣連接在一起； 複數條第十線，各將該等第二記憶體單元之該等行中的一者中之該等第二汲極區域電氣連接在一起； 其中該等第二複數個突觸組配來接收該等第二複數個輸入作為該等複數條第七線或該等複數條第十線上的電壓，以及提供該等第二複數個輸出作為該等複數條第九線上的電流。
  55. 如請求項54之類神經網路裝置，其中該等第二複數個突觸組配來接收該等第二複數個輸入作為該等複數條第七線上的電壓。
  56. 如請求項54之類神經網路裝置，其中該等第二複數個突觸組配來接收該等第二複數個輸入作為該等複數條第十線上的電壓。
  57. 如請求項54之類神經網路裝置，進一步包含： 第二複數個神經元，組配來接收該等第二複數個輸出。
TW110100981A 2018-03-14 2019-03-11 用於深度學習人工類神經網路中的類比類神經記憶體之解碼器 TWI764503B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862642884P 2018-03-14 2018-03-14
US62/642,884 2018-03-14
US15/991,890 US11087207B2 (en) 2018-03-14 2018-05-29 Decoders for analog neural memory in deep learning artificial neural network
US15/991,890 2018-05-29
PCT/US2019/015022 WO2019177698A1 (en) 2018-03-14 2019-01-24 Decoders for analog neural memory in deep learning artificial neural network
WOPCT/US19/15022 2019-01-24

Publications (2)

Publication Number Publication Date
TW202131337A true TW202131337A (zh) 2021-08-16
TWI764503B TWI764503B (zh) 2022-05-11

Family

ID=67905831

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108108059A TWI717703B (zh) 2018-03-14 2019-03-11 用於深度學習人工類神經網路中的類比類神經記憶體之解碼器
TW110100981A TWI764503B (zh) 2018-03-14 2019-03-11 用於深度學習人工類神經網路中的類比類神經記憶體之解碼器

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW108108059A TWI717703B (zh) 2018-03-14 2019-03-11 用於深度學習人工類神經網路中的類比類神經記憶體之解碼器

Country Status (7)

Country Link
US (4) US11087207B2 (zh)
EP (2) EP4303772A3 (zh)
JP (2) JP7253563B2 (zh)
KR (3) KR20230163572A (zh)
CN (1) CN111886804A (zh)
TW (2) TWI717703B (zh)
WO (1) WO2019177698A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11893478B2 (en) 2019-01-18 2024-02-06 Silicon Storage Technology, Inc. Programmable output blocks for analog neural memory in a deep learning artificial neural network
US11500442B2 (en) * 2019-01-18 2022-11-15 Silicon Storage Technology, Inc. System for converting neuron current into neuron current-based time pulses in an analog neural memory in a deep learning artificial neural network
US11023559B2 (en) 2019-01-25 2021-06-01 Microsemi Soc Corp. Apparatus and method for combining analog neural net with FPGA routing in a monolithic integrated circuit
CN111313914B (zh) * 2019-11-05 2021-09-28 北京航空航天大学 一种基于神经网络分类器的scl简化译码方法
US11551072B2 (en) * 2020-02-04 2023-01-10 Macronix International Co., Ltd. Spiking neural networks circuit and operation method thereof
US11289164B2 (en) * 2020-06-03 2022-03-29 Silicon Storage Technology, Inc. Word line and control gate line tandem decoder for analog neural memory in deep learning artificial neural network
CN112633487B (zh) * 2020-12-25 2022-05-20 北京大学 一种卷积神经网络最大池化层电路
CN112784971A (zh) * 2021-01-13 2021-05-11 天津智模科技有限公司 基于数模混合神经元的神经网络运算电路
TWI821746B (zh) * 2021-02-02 2023-11-11 旺宏電子股份有限公司 記憶體裝置及其操作方法
US11935603B2 (en) * 2021-11-04 2024-03-19 Infineon Technologies LLC Erase power loss indicator (EPLI) implementation in flash memory device
CN115688897B (zh) * 2023-01-03 2023-03-31 浙江大学杭州国际科创中心 低功耗紧凑型Relu激活函数神经元电路

Family Cites Families (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2603414B1 (fr) 1986-08-29 1988-10-28 Bull Sa Amplificateur de lecture
JP3122756B2 (ja) 1991-01-12 2001-01-09 直 柴田 半導体装置
US5621336A (en) 1989-06-02 1997-04-15 Shibata; Tadashi Neuron circuit
JPH0318985A (ja) 1989-06-16 1991-01-28 Hitachi Ltd 情報処理装置
US4961002A (en) 1989-07-13 1990-10-02 Intel Corporation Synapse cell employing dual gate transistor structure
GB2236881B (en) * 1989-10-11 1994-01-12 Intel Corp Improved synapse cell employing dual gate transistor structure
KR920010344B1 (ko) 1989-12-29 1992-11-27 삼성전자주식회사 반도체 메모리 어레이의 구성방법
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
US5146602A (en) 1990-12-26 1992-09-08 Intel Corporation Method of increasing the accuracy of an analog neural network and the like
US5138576A (en) 1991-11-06 1992-08-11 Altera Corporation Method and apparatus for erasing an array of electrically erasable EPROM cells
EP0562737B1 (en) 1992-03-26 1998-06-17 Hitachi, Ltd. Flash memory
US5336936A (en) 1992-05-06 1994-08-09 Synaptics, Incorporated One-transistor adaptable analog storage element and array
US5264734A (en) 1992-05-19 1993-11-23 Intel Corporation Difference calculating neural network utilizing switched capacitors
US5256911A (en) 1992-06-10 1993-10-26 Intel Corporation Neural network with multiplexed snyaptic processing
US5386132A (en) 1992-11-02 1995-01-31 Wong; Chun C. D. Multimedia storage system with highly compact memory device
JP2835272B2 (ja) 1993-12-21 1998-12-14 株式会社東芝 半導体記憶装置
KR0151623B1 (ko) 1994-12-07 1998-10-01 문정환 이이피롬 셀 및 그 제조방법
US5825063A (en) 1995-03-07 1998-10-20 California Institute Of Technology Three-terminal silicon synaptic device
US5554874A (en) 1995-06-05 1996-09-10 Quantum Effect Design, Inc. Six-transistor cell with wide bit-line pitch, double words lines, and bit-line contact shared among four cells
US5721702A (en) 1995-08-01 1998-02-24 Micron Quantum Devices, Inc. Reference voltage generator using flash memory cells
US6683645B1 (en) 1995-12-01 2004-01-27 Qinetiq Limited Imaging system with low sensitivity to variation in scene illumination
TW332954B (en) * 1997-05-16 1998-06-01 Ind Tech Res Inst Data processing method and apparatus in neural network system
JPH10320989A (ja) * 1997-05-16 1998-12-04 Toshiba Microelectron Corp 不揮発性半導体メモリ
US6222777B1 (en) 1999-04-09 2001-04-24 Sun Microsystems, Inc. Output circuit for alternating multiple bit line per column memory architecture
US6829598B2 (en) 2000-10-02 2004-12-07 Texas Instruments Incorporated Method and apparatus for modeling a neural synapse function by utilizing a single conventional MOSFET
US6563167B2 (en) 2001-01-05 2003-05-13 Silicon Storage Technology, Inc. Semiconductor memory array of floating gate memory cells with floating gates having multiple sharp edges
US6563733B2 (en) 2001-05-24 2003-05-13 Winbond Electronics Corporation Memory array architectures based on a triple-polysilicon source-side injection non-volatile memory cell
TW594727B (en) * 2002-02-22 2004-06-21 Toshiba Corp Magnetic random access memory
KR100983295B1 (ko) 2002-03-22 2010-09-24 조지아 테크 리서치 코오포레이션 부동 게이트 아날로그 회로
US6747310B2 (en) 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
ITMI20022240A1 (it) * 2002-10-22 2004-04-23 Atmel Corp Architettura di memoria flash con cancellazione di modo
JP2004171686A (ja) 2002-11-20 2004-06-17 Renesas Technology Corp 不揮発性半導体記憶装置およびそのデータ消去方法
US6822910B2 (en) 2002-12-29 2004-11-23 Macronix International Co., Ltd. Non-volatile memory and operating method thereof
US6856551B2 (en) 2003-02-06 2005-02-15 Sandisk Corporation System and method for programming cells in non-volatile integrated memory devices
TWI220560B (en) 2003-10-27 2004-08-21 Powerchip Semiconductor Corp NAND flash memory cell architecture, NAND flash memory cell array, manufacturing method and operating method of the same
JP4585213B2 (ja) * 2004-03-24 2010-11-24 株式会社日立製作所 データ保護方法及び認証方法並びにプログラム
JP4157065B2 (ja) * 2004-03-29 2008-09-24 株式会社東芝 半導体記憶装置
US7315056B2 (en) 2004-06-07 2008-01-01 Silicon Storage Technology, Inc. Semiconductor memory array of floating gate memory cells with program/erase and select gates
US7092290B2 (en) 2004-11-16 2006-08-15 Sandisk Corporation High speed programming system with reduced over programming
TWI270199B (en) 2005-01-31 2007-01-01 Powerchip Semiconductor Corp Non-volatile memory and manufacturing method and operating method thereof
US7304890B2 (en) 2005-12-13 2007-12-04 Atmel Corporation Double byte select high voltage line for EEPROM memory block
US7626868B1 (en) 2007-05-04 2009-12-01 Flashsilicon, Incorporation Level verification and adjustment for multi-level cell (MLC) non-volatile memory (NVM)
US7630246B2 (en) 2007-06-18 2009-12-08 Micron Technology, Inc. Programming rate identification and control in a solid state memory
US20090039410A1 (en) 2007-08-06 2009-02-12 Xian Liu Split Gate Non-Volatile Flash Memory Cell Having A Floating Gate, Control Gate, Select Gate And An Erase Gate With An Overhang Over The Floating Gate, Array And Method Of Manufacturing
US7894267B2 (en) 2007-10-30 2011-02-22 Spansion Llc Deterministic programming algorithm that provides tighter cell distributions with a reduced number of programming pulses
US8464123B2 (en) * 2009-05-07 2013-06-11 Ramot At Tel Aviv University Ltd. Matrix structure for block encoding
JP2010267341A (ja) 2009-05-15 2010-11-25 Renesas Electronics Corp 半導体装置
US8553466B2 (en) * 2010-03-04 2013-10-08 Samsung Electronics Co., Ltd. Non-volatile memory device, erasing method thereof, and memory system including the same
US8325521B2 (en) 2010-10-08 2012-12-04 Taiwan Semiconductor Manufacturing Company, Ltd. Structure and inhibited operation of flash memory with split gate
US8892487B2 (en) 2010-12-30 2014-11-18 International Business Machines Corporation Electronic synapses for reinforcement learning
JP2013041654A (ja) 2011-08-19 2013-02-28 Toshiba Corp 不揮発性記憶装置
US8909576B2 (en) 2011-09-16 2014-12-09 International Business Machines Corporation Neuromorphic event-driven neural computing architecture in a scalable neural network
US8760955B2 (en) 2011-10-21 2014-06-24 Taiwan Semiconductor Manufacturing Company, Ltd. Electrical fuse memory arrays
US9466732B2 (en) 2012-08-23 2016-10-11 Silicon Storage Technology, Inc. Split-gate memory cell with depletion-mode floating gate channel, and method of making same
US9275748B2 (en) 2013-03-14 2016-03-01 Silicon Storage Technology, Inc. Low leakage, low threshold voltage, split-gate flash cell operation
US10095718B2 (en) 2013-10-16 2018-10-09 University Of Tennessee Research Foundation Method and apparatus for constructing a dynamic adaptive neural network array (DANNA)
US20150213898A1 (en) 2014-01-27 2015-07-30 Silicon Storage Technololgy, Inc. Byte Erasable Non-volatile Memory Architecture And Method Of Erasing Same
US9431111B2 (en) * 2014-07-08 2016-08-30 Ememory Technology Inc. One time programming memory cell, array structure and operating method thereof
US9286982B2 (en) 2014-08-08 2016-03-15 Silicon Storage Technology, Inc. Flash memory system with EEPROM functionality
US9984754B2 (en) 2014-09-29 2018-05-29 Toshiba Memory Corporation Memory device and method for operating the same
US10312248B2 (en) 2014-11-12 2019-06-04 Silicon Storage Technology, Inc. Virtual ground non-volatile memory array
US9361991B1 (en) 2014-12-23 2016-06-07 Sandisk Technologies Inc. Efficient scanning of nonvolatile memory blocks
CN105990367B (zh) 2015-02-27 2019-03-12 硅存储技术公司 具有rom单元的非易失性存储器单元阵列
US9595332B2 (en) * 2015-06-15 2017-03-14 Cypress Semiconductor Corporation High speed, high voltage tolerant circuits in flash path
KR102473665B1 (ko) * 2015-07-28 2022-12-02 삼성전자주식회사 스토리지 디바이스 및 스토리지 가상화 시스템
US10014318B2 (en) * 2015-10-24 2018-07-03 Monocithic 3D Inc Semiconductor memory device, structure and methods
US10418369B2 (en) * 2015-10-24 2019-09-17 Monolithic 3D Inc. Multi-level semiconductor memory device and structure
US10269440B2 (en) 2016-05-17 2019-04-23 Silicon Storage Technology, Inc. Flash memory array with individual memory cell read, program and erase
WO2017200883A1 (en) * 2016-05-17 2017-11-23 Silicon Storage Technology, Inc. Deep learning neural network classifier using non-volatile memory array
WO2017200850A1 (en) 2016-05-17 2017-11-23 Silicon Storage Technology, Inc. Array of three-gate flash memory cells with individual memory cell read, program and erase
US9910827B2 (en) 2016-07-01 2018-03-06 Hewlett Packard Enterprise Development Lp Vector-matrix multiplications involving negative values
US10748059B2 (en) 2017-04-05 2020-08-18 International Business Machines Corporation Architecture for an electrochemical artificial neural network
CN109522753B (zh) 2017-09-18 2020-11-06 清华大学 电路结构及其驱动方法、芯片及其认证方法、电子设备
US10803943B2 (en) 2017-11-29 2020-10-13 Silicon Storage Technology, Inc. Neural network classifier using array of four-gate non-volatile memory cells
US10970441B1 (en) * 2018-02-26 2021-04-06 Washington University System and method using neural networks for analog-to-information processors
US11270763B2 (en) 2019-01-18 2022-03-08 Silicon Storage Technology, Inc. Neural network classifier using array of three-gate non-volatile memory cells

Also Published As

Publication number Publication date
EP4303772A3 (en) 2024-04-10
CN111886804A (zh) 2020-11-03
EP3766178B1 (en) 2024-02-28
KR20230163572A (ko) 2023-11-30
KR20230044340A (ko) 2023-04-03
US20210342682A1 (en) 2021-11-04
KR102516399B1 (ko) 2023-03-30
EP4303772A2 (en) 2024-01-10
EP3766178A1 (en) 2021-01-20
US20240095509A1 (en) 2024-03-21
KR20200102506A (ko) 2020-08-31
JP2021517705A (ja) 2021-07-26
WO2019177698A1 (en) 2019-09-19
KR102604405B1 (ko) 2023-11-20
TWI764503B (zh) 2022-05-11
TWI717703B (zh) 2021-02-01
TW201941209A (zh) 2019-10-16
US20190286976A1 (en) 2019-09-19
US20240095508A1 (en) 2024-03-21
JP2023093463A (ja) 2023-07-04
EP3766178A4 (en) 2021-12-15
US11087207B2 (en) 2021-08-10
JP7253563B2 (ja) 2023-04-06

Similar Documents

Publication Publication Date Title
TWI717703B (zh) 用於深度學習人工類神經網路中的類比類神經記憶體之解碼器
EP3841527B1 (en) Analog neural memory system for deep learning neural network comprising multiple vector-by-matrix multiplication arrays and shared components
TWI760853B (zh) 用於在深度學習人工類神經網路中的類比類神經記憶體之高電壓產生之方法及設備
TWI780415B (zh) 用於深度學習人工神經網路中之類比神經記憶體的解碼系統與實體佈局
TWI733451B (zh) 用於偵測類比神經形態記憶體系統中之單元中資料漂移之方法
TWI736845B (zh) 用於程式化深度學習人工類神經網路中的類比神經記憶體之方法及設備
KR20220141855A (ko) 인공 신경망에서 아날로그 신경 메모리 어레이를 위한 비휘발성 메모리 셀들 및 연관된 고전압 회로들의 페이지 또는 워드의 정밀 튜닝
TWI784508B (zh) 深度學習人工神經網路中類比神經記憶體之字線和控制閘極線串聯解碼器