TW202042116A - 使用4-閘極非揮發性記憶體單元陣列之神經網路分類器 - Google Patents

使用4-閘極非揮發性記憶體單元陣列之神經網路分類器 Download PDF

Info

Publication number
TW202042116A
TW202042116A TW109100676A TW109100676A TW202042116A TW 202042116 A TW202042116 A TW 202042116A TW 109100676 A TW109100676 A TW 109100676A TW 109100676 A TW109100676 A TW 109100676A TW 202042116 A TW202042116 A TW 202042116A
Authority
TW
Taiwan
Prior art keywords
lines
memory cells
synapses
gate
electrically connects
Prior art date
Application number
TW109100676A
Other languages
English (en)
Other versions
TWI705389B (zh
Inventor
曉萬 陳
史蒂芬 利姆克
維平 蒂瓦里
恩漢 杜
馬克 萊坦
Original Assignee
美商超捷公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/382,034 external-priority patent/US10803943B2/en
Application filed by 美商超捷公司 filed Critical 美商超捷公司
Application granted granted Critical
Publication of TWI705389B publication Critical patent/TWI705389B/zh
Publication of TW202042116A publication Critical patent/TW202042116A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Neurology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Non-Volatile Memory (AREA)
  • Semiconductor Memories (AREA)
  • Read Only Memory (AREA)

Abstract

一種具有突觸之神經網路裝置，突觸具有記憶體單元，每個記憶體單元具有在通道區域的第一及第二部分上方之浮動閘極及第一閘極以及在浮動閘極上方及在源極區域上方之第二及第三閘極。第一線各自將記憶體單元列中之一的第一閘極電連接在一起，第二線各自將記憶體單元列中之一的第二閘極電連接在一起，第三線各自將記憶體單元列中之一的第三閘極電連接在一起，第四線各自將記憶體單元列中之一的源極區域電連接在一起，以及第五線各自將記憶體單元行中之一的汲極區域電連接在一起。突觸接收複數個第一輸入作為在第一、第二或第三線上之電壓，並且提供複數個第一輸出作為第五線上之電流。

Description

使用4-閘極非揮發性記憶體單元陣列之神經網路分類器
[相關申請案] 本申請案主張2019年4月11日提出之美國申請案第16/382,034號的優先權，所述申請案主張2019年1月29日提出之美國臨時申請案第62/798,417號的優先權。
本發明係有關於神經網路。
人工神經網路模擬生物神經網路(動物的中樞神經系統，特別是大腦)及用於估計或近似可依賴於大量輸入且通常是未知的函數。人工神經網路通常包括可彼此交換信息之互連的「神經元」層。圖1說明人工神經網路，其中圓圈表示神經元輸入或層。連結(稱為突觸)以箭頭來表示，並且具有可根據經驗調整的數字權重。這使得神經網路適應於輸入且能夠學習。通常，神經網路包括一層多個輸入。通常有一個或多個神經元中間層及提供神經網路輸出的一個神經元輸出層。每個層級的神經元個別地或共同地根據從突觸接收的資料做出決定。
開發用於高性能資訊處理之人工神經網路的主要挑戰中之一是缺乏足夠的硬體技術。實際上，實際的神經網路依賴於非常大量的突觸，以使神經元之間的高連結性(亦即，非常高的計算並行性)成為可能。原則上，這樣的複雜性可以用數位超級電腦或專用圖形處理單元叢集來實現。然而，除了高成本之外，相較於生物網路，這些方法還因平庸的能量效率而更糟，其中生物網路主要因為執行低精度類比計算而消耗非常少的能量。CMOS類比電路已經用於人工神經網路，但是有鑑於大量的神經元及突觸，大多數CMOS實施的突觸過於龐大。
前述問題及需求藉由一種神經網路裝置來解決，該神經網路裝置包括複數個第一突觸，其配置成接收複數個第一輸入並由此產生複數個第一輸出。該複數個第一突觸包括複數個記憶體單元，其中該等記憶體單元中之每一者包括間隔開的源極區域及汲極區域，其形成在一半導體基板中，並且具有一通道區域在其間延伸；一浮動閘極，其設置在該通道區域的一第一部分上方且與該通道區域的該第一部分絕緣；一第一閘極，其設置在該通道區域的一第二部分上方且與該通道區域的該第二部分絕緣；一第二閘極，其設置在該浮動閘極上方且與該浮動閘極絕緣；以及一第三閘極，其設置在該源極區域上方且與該源極區域絕緣。該複數個記憶體單元中之每一者配置成儲存與該浮動閘極上之電子數目相對應的權重值。該複數個記憶體單元配置成根據該複數個第一輸入及所儲存之該等權重值產生該複數個第一輸出。該複數個第一突觸的記憶體單元以列與行來排列。該複數個第一突觸包括複數條第一線，每條第一線將該等記憶體單元列中之一列中的該等第一閘極電連接在一起；複數條第二線，每條第二線將該等記憶體單元列中之一列中的該等第二閘極電連接在一起；複數條第三線，每條第三線將該等記憶體單元列中之一列中的該等第三閘極電連接在一起；複數條第四線，每條第四線將該等記憶體單元列中之一列中的該等源極區域電連接在一起；以及複數條第五線，每條第五線將該等記憶體單元行中之一行中的該等汲極區域電連接在一起。該複數個第一突觸配置成接收該複數個第一輸入作為在該複數條第二線上或在該複數條第三線上或在該複數條第四線上之電壓，並且提供該複數個第一輸出作為在該複數條第五線上之電流。
一種神經網路裝置可以包括複數個第一突觸，其配置成接收複數個第一輸入並由此產生複數個第一輸出。該複數個第一突觸包括複數個記憶體單元，其中該等記憶體單元中之每一者包括間隔開的源極區域及汲極區域，其形成在一半導體基板中，並且具有一通道區域在其間延伸；一浮動閘極，其設置在該通道區域的一第一部分上方且與該通道區域的該第一部分絕緣；一第一閘極，其設置在該通道區域的一第二部分上方且與該通道區域的該第二部分絕緣；一第二閘極，其設置在該浮動閘極上方且與該浮動閘極絕緣；以及一第三閘極，其設置在該源極區域上方且與該源極區域絕緣。該複數個記憶體單元中之每一者配置成儲存與該浮動閘極上之電子數目相對應的權重值。該複數個記憶體單元配置成根據該複數個第一輸入及所儲存之該等權重值產生該複數個第一輸出。該複數個第一突觸的記憶體單元以列與行來排列。該複數個第一突觸包括複數條第一線，每條第一線將該等記憶體單元列中之一列中的該等第一閘極電連接在一起；複數條第二線，每條第二線將該等記憶體單元行中之一行中的該等第二閘極電連接在一起；複數條第三線，每條第三線將該等記憶體單元列中之一列中的該等第三閘極電連接在一起；複數條第四線，每條第四線將該等記憶體單元列中之一列中的該等源極區域電連接在一起；以及複數條第五線，每條第五線將該等記憶體單元行中之一行中的該等汲極區域電連接在一起。該複數個第一突觸配置成接收該複數個第一輸入作為在該複數條第五線上之電壓，並且提供該複數個第一輸出作為在該複數條第四線上之電流。
一種神經網路裝置可以包括複數個第一突觸，其配置成接收複數個第一輸入並由此產生複數個第一輸出。該複數個第一突觸包括複數個記憶體單元，其中該等記憶體單元中之每一者包括間隔開的源極區域及汲極區域，其形成在一半導體基板中，並且具有一通道區域在其間延伸；一浮動閘極，其設置在該通道區域的一第一部分上方且與該通道區域的該第一部分絕緣；一第一閘極，其設置在該通道區域的一第二部分上方且與該通道區域的該第二部分絕緣；一第二閘極，其設置在該浮動閘極上方且與該浮動閘極絕緣；以及一第三閘極，其設置在該源極區域上方且與該源極區域絕緣。該複數個記憶體單元中之每一者配置成儲存與該浮動閘極上之電子數目相對應的權重值。該複數個記憶體單元配置成根據該複數個第一輸入及所儲存之該等權重值產生該複數個第一輸出。該複數個第一突觸的記憶體單元以列與行來排列。該複數個第一突觸包括複數條第一線，每條第一線將該等記憶體單元列中之一列中的該等第一閘極電連接在一起；複數條第二線，每條第二線將該等記憶體單元列中之一列中的該等第二閘極電連接在一起；複數條第三線，每條第三線將該等記憶體單元列中之一列中的該等第三閘極電連接在一起；複數條第四線，每條第四線將該等記憶體單元列中之一列中的該等源極區域電連接在一起；複數條第五線，每條第五線將該等記憶體單元行中之一行中的該等汲極區域電連接在一起；以及複數個電晶體，每個電晶體以串聯方式與該等第五線中之一電連接。該複數個第一突觸配置成接收該複數個第一輸入作為在該複數個電晶體的閘極上之電壓，並且提供該複數個第一輸出作為在該複數條第四線上之電流。
藉由閱讀說明書、申請專利範圍及附圖，本發明的其它目的及特徵將變得顯而易見。
本發明的人工神經網路利用CMOS技術與非揮發性記憶體陣列的組合。例如，美國專利第5,029,130號(「'130專利」)揭露一種分離式閘極非揮發性記憶體單元陣列。'130專利中所揭露之記憶體單元被顯示為圖2中之記憶體單元10。每個記憶體單元10包括在半導體基板12中形成之源極區域14及汲極區域16，並且在其間具有通道區域18。浮動閘極20形成在通道區域18的第一部分上方且與其絕緣(並控制其導電性)，並且形成在汲極區域16的一部分上方。控制閘極22(亦即，第二通道控制閘極)具有第一部分22b及第二部分22c，其中第一部分22b設置在通道區域18的第二部分上方且與其絕緣(並控制其導電性)，而第二部分22c向上延伸且在浮動閘極20上方。浮動閘極20及控制閘極22藉由閘極氧化物26與基板12絕緣。
藉由在控制閘極22上施加高正電壓來抹除記憶體單元10(其中從浮動閘極20移除電子)，這導致浮動閘極20上的電子藉由富爾-諾罕穿隧(Fowler-Nordheim tunneling)從浮動閘極20貫穿中間絕緣體24至控制閘極22。
藉由在控制閘極22上施加正電壓及在汲極16上施加正電壓來程式化記憶體單元10(其中在浮動閘極20上放置電子)。電子流將從源極14流向汲極16。當電子到達控制閘極子22與浮動閘極20之間的間隙時，電子將加速並變熱。由於來自浮動閘極20的靜電吸引力，一些加熱的電子將經由閘極氧化物26注入至浮動閘極20上。
藉由在汲極16及控制閘極22上施加正讀取電壓(這會導通在控制閘極下方之通道區域18的部分)來讀取記憶體單元10。如果浮動閘極20帶正電(亦即，被抹除電子且電容耦合至汲極16上的正電壓)，則浮動閘極20下方之通道區域18的部分亦導通，並且電流將流過通道區域18，因而被感測為抹除狀態或狀態「1」。如果浮動閘極20帶負電(亦即，用電子來程式化)，則浮動閘極20下方之通道區域的部分大部分或完全截止，並且電流不會流過(或者幾乎不流過)通道區域18，因而被感測為程式化狀態或狀態「0」。
在圖3中顯示用於記憶體單元10的傳統陣列架構。記憶體單元10以列與行來排放。在每一行中，記憶體單元以鏡像方式首尾相連地排列，以致於它們形成為成對的記憶體單元，每對記憶體單元共用一個共同源極區域14(S)，並且每一組相鄰的記憶體單元對共用一個共同汲極區域16(D)。給定的任何一列記憶體單元之所有源極區域14藉由源極線14a電連接在一起。給定的任何一行記憶體單元之所有汲極區域16藉由位元線16a電連接在一起。給定的任何一列記憶體單元之所有控制閘極22藉由控制閘極線22a電連接在一起。因此，雖然可以個別地程式化及讀取記憶體單元，但記憶體單元抹除是逐列執行(藉由在控制閘極線22a上施加高電壓，一起抹除每一列記憶體單元)。如果要抹除一個特定記憶體單元，則在同一列中之所有其它記憶體單元亦將被抹除。
熟悉該項技藝者理解，源極與汲極可以互換，其中如圖4所示，浮動閘極20可以部分地在源極14上而不是汲極16上延伸。圖5最佳地顯示相應的記憶體單元架構，其包括記憶體單元10、源極線14a、位元線16a及控制閘極線22a。從圖可以明顯看出，同一列的記憶體單元10共用同一條源極線14a及同一條控制閘極線22a，而同一行的所有單元之汲極區域電連接至同一條位元線16a。陣列設計針對數位應用進行最佳化，並且例如藉由分別向被選控制閘極線22a及源極線14a施加1.6V和7.6V且將被選位元線16a接地，允許被選單元的個別程式化。藉由在未被選位元線16a上施加大於2伏特的電壓且將其餘的線接地，避免擾亂同一對中之未被選記憶體單元。不能個別地抹除記憶體單元10，因為汲極電壓(亦即，對於在列方向上共用同一條源極線14a的兩個相鄰單元，唯一可能是不同的電壓)僅微弱地影響負責抹除的過程(電子從浮動閘極20至控制閘極22的富爾-諾罕穿隧)。操作電壓的非限制性實例可以包括： 表1
   CG 22a BL 16a SL 14a
讀取1 0.5-3V 0.1-2V 0V
讀取2 0.5-3V 0-2V 2-0.1V
抹除 ~11-13V 0V 0V
程式化 1-2V 1-3uA 9-10V
讀取1係單元電流在位元線上流出的一種讀取模式。讀取2係單元電流在源極線上流出的一種讀取模式。
具有超過兩個閘極的分離式閘極記憶體單元亦是已知的。如圖6所示，知道具有源極區域14、汲極區域16、在通道區域18的第一部分上方之浮動閘極20、在通道區域18的第二部分上方之選擇閘極28(亦即，第二通道控制閘極)、在浮動閘極20上方之控制閘極22以及在源極區域14上方之抹除閘極30的記憶體單元(參見例如美國專利第6,747,310號)。在此，除浮動閘極20外，所有其它閘極皆是非浮動閘極，這意味著它們電連接或可連接至電壓或電流源。藉由將加熱的電子從通道區域18注入至浮動閘極20上來顯示程式化。藉由電子從浮動閘極20貫穿至抹除閘極30來顯示抹除。
如圖7所示，可以配置用於4-閘極記憶體單元陣列的架構。在此具體例中，每條水平選擇閘極線28a將用於那列記憶體單元的所有選擇閘極28電連接在一起。每條水平控制閘極線22a將用於那列記憶體單元的所有控制閘極22電連接在一起。每條水平源極線14a將共用源極區域14之兩列記憶體單元的所有源極區域14電連接在一起。每條位元線16a將用於那行記憶體單元的所有汲極區域16電連接在一起。每條抹除閘極線30a將共用抹除閘極30之兩列記憶體單元的所有抹除閘極30電連接在一起。如同先前的架構，可以獨立地程式化及讀取個別的記憶體單元。然而，沒有辦法個別地抹除記憶體單元。藉由在抹除閘極線30a上施加高的正電壓來執行抹除，這導致共用相同的抹除閘極線30a之兩列記憶體單元的同時抹除。示例性非限制操作電壓可以包括以下表2中的電壓(在此具體例中，選擇閘極線28a可以稱為字元線WL)： 表2
   SG 28a BL 16a CG 22a EG 30a SL 14a
讀取1 0.5-2V 0.1-2V 0-2.6V 0-2.6V 0V
讀取2 0.5-2V 0-2V 0-2.6V 0-2.6V 2-0.1V
抹除 -0.5V/0V 0V 0V/-8V 8-12V 0V
程式化 1V 1uA 8-11V 4.5-5V 4.5-5V
讀取1係單元電流在位元線上流出的一種讀取模式。讀取2係單元電流在源極線上流出的一種讀取模式。
為了在神經網路中使用上述非揮發性記憶體陣列，可以進行兩個修改。第一，如下面進一步說明，線路可以配置成使得每個記憶體單元可以個別地被程式化、抹除及讀取，而不會不利地影響陣列中之其它記憶體單元的記憶狀態。第二，可以提供記憶體單元的連續(類比)程式化。具體地，陣列中之每個記憶體單元的記憶或程式狀態(亦即，由浮動閘極上的電子數量所反映之浮動閘極上的電荷)可以獨立地且以對其它記憶體單元的最小干擾從完全抹除狀態連續地變成完全程式化狀態，反之亦然。這意味著單元儲存係類比的，或者至少可以儲存許多離散值中之一個，這允許對記憶體陣列中之所有單元進行非常精確且個別的調整，並且這使記憶體陣列非常適合儲存神經網路的突觸權重及對其進行微調。 記憶體單元程式化及儲存
記憶體單元中所儲存之神經網路權重等級賦值可以如圖8A所示均勻地間隔開，或者如圖8B所示不均勻地間隔開。可以使用雙向調整演算法(諸如圖9所示者)來實施非揮發性記憶體單元的程式化。Icell係正在被程式化的目標單元之讀取電流，而Itarget係在單元被理想地程式化時的期望讀取電流。讀取目標單元讀取電流Icell(步驟1)，並且與目標讀取電流Itarget進行比較(步驟2)。如果目標單元讀取電流Icell大於目標讀取電流Itarget，則執行程式化調整程序(步驟3)，以增加在浮動閘極20上之電子的數量(其中可以使用查找表或矽基近似函數(silicon based approximate function)來決定在控制閘極22上之期望的初始及增量程式化電壓VCG)(步驟3a-3b)，可以根據需要重複步驟3b(步驟3c)。如果目標單元讀取電流Icell小於目標讀取電流Itarget，則執行抹除調整程序(步驟4)，以減少在浮動閘極20上之電子的數量(其中可以使用查找表或矽基近似函數來決定在抹除閘極30上之期望的初始及增量擦除電壓VEG(步驟4a-4b)，可以根據需要重複步驟4b(步驟4c)。如果程式化調整程序超越目標讀取電流，則執行擦除調整程序(步驟3d，然後從步驟4a開始)，反之亦然（步驟4d，然後從步驟3a開始)，直到達到目標讀取電流(在可接受的差異值內)為止。
非揮發性記憶體單元的程式化可以取而代之地以使用程式化調整的單向調整演算法來實施。關於這種演算法，首先完全抹除記憶體單元10，然後執行圖9中之程式化調整步驟3a-3c，直到目標記憶體單元10的讀取電流達到目標臨界值為止。可替代地，非揮發性記憶體單元的調整可以以使用抹除調整的單向調整演算法來實施。在這種方法中，首先完全程式化記憶體單元，然後執行圖9中之抹除調整步驟4a-4c，直到目標記憶體單元的讀取電流達到目標臨界值為止。
圖10係說明使用電流比較之權重映射的示圖。權重數位位元(例如，每個突觸的5-位元權重，其代表記憶體單元的目標數位權重)輸入至數位至類比轉換器(DAC)40，數位至類比轉換器(DAC)40將位元轉換成電壓Vout(例如，64個電壓位準-5位元)。電壓至電流轉換器(V/I Conv)42將Vout轉換成電流Iout(例如64個電流位準-5位元)。將電流Iout供應至電流比較器(IComp)44。程式化或抹除演算法致能信號輸入至記憶體單元10(例如，抹除：增量EG電壓；或程式化：增量CG電壓)。將輸出的記憶體單元電流Icellout(亦即，來自讀取操作)供應至電流比較器(IComp)44。電流比較器(IComp)44將記憶體單元電流Icellout與從權重數位位元得出的電流Iout進行比較，以產生表示在記憶體單元10中儲存之權重的信號。
圖11係說明使用電壓比較之權重映射的示圖。權重數位位元(例如，每個突觸的5-位元權重)輸入至數位至類比轉換器(DAC)40，數位至類比轉換器(DAC)40將位元轉換成電壓Vout(例如，64個電壓位準-5位元)。將Vout供應至電壓比較器(VComp)46。程式化或抹除演算法致能信號輸入至記憶體單元10(例如，抹除：增量EG電壓；或程式化：增量CG電壓)。將輸出的記憶體單元電流Icellout供應至電流至電壓轉換器(I/V Conv)48，以便轉換成電壓V2out(例如，64個電壓位準-5位元)。將電壓V2out供應至電壓比較器(VComp)46。電壓比較器(VComp)46將電壓Vout與V2out進行比較，以產生表示在記憶體單元10中儲存之權重的信號。
權重映射比較的另一個具體例對於記憶體單元的輸入權重及/或輸出使用可變的脈衝寬度(亦即，脈衝寬度與權重值成正比或反比)。在權重映射比較的又一個具體例中，使用數位脈衝(例如，由時鐘產生的脈衝，其中脈衝數與權重值成正比或反比)於記憶體單元的輸入權重及/或輸出。 使用非揮發性記憶體單元陣列之神經網路
圖12概念性地說明使用非揮發性記憶體陣列之神經網路的非限制性實例。此實例將非揮發性記憶體陣列神經網路用於臉部辨識應用，但是可以使用以非揮發性記憶體陣列為基礎的神經網路來實施任何其它適當的應用。S0係輸入層，對於這個實例，其為具有5位元精度的32×32像素RGB影像(亦即，三個32×32像素陣列，一個陣列用於各自的顏色R、G及B，每個像素為5位元精度)。從S0至C1的突觸CB1具有不同組的權重及共享權重，並且用3×3像素重疊濾波器(核心)掃描輸入影像，將濾波器移位1個像素(或者根據模型所規定，超過1個像素)。具體地，提供用於影像的一個3×3部分中之9個像素的數值(亦即，稱為一個濾波器或核心)給突觸CB1，藉以將這9個輸入值乘以適當的權重，並且在計算乘法輸出的總和之後，由CB1的第一突觸確定及提供單一輸出值，以便產生數層特徵圖(feature map)C1中之一層的一個像素。然後，將3×3濾波器向右移動一個像素(亦即，添加在右側之三個像素的行及丟棄在左側之三個像素的行)，藉以將這個新定位的濾波器中之9個像素值提供給突觸CB1，藉以將它們乘以相同的權重，並且由相關的突觸確定第二個單一輸出值。持續這個過程，直到3×3濾波器針對所有三種顏色及所有位元(精度值)掃描整個32×32像素影像為止。然後，使用不同組的權重重複這個過程，以產生C1的一個不同特徵圖，直到已經計算層C1的所有特徵圖為止。
在層C1處，在本實例中，具有16個特徵圖，每個特徵圖有30×30像素。每個像素是從輸入與核心相乘得到之新特徵像素，因此每個特徵圖是二維陣列，因此在這個實例中，突觸CB1構成16層二維陣列(記住這裡引用的神經元層及陣列是邏輯關係，不一定是實體關係-亦即，陣列不一定以實體二維陣列來定向)。16個特徵圖的每個特徵圖由應用於濾波器掃描之16組不同的突觸權重中之一組來產生。C1特徵圖可以全部有關於諸如邊界識別之同一個影像特徵的不同態樣。例如，第一圖(使用第一組權重所產生，第一組權重對用於產生此第一圖的所有掃描係共享的)可以識別圓形邊緣，第二圖(使用與第一組權重不同的第二組權重所產生)可以識別矩形邊緣或某些特徵的縱橫比等。
在從層C1到層S1之前應用激勵函數P1(池化(pooling))，其對來自每個特徵圖中之連續的非重疊2×2區域的數值進行池化。池化階段的目的是算出附近位置的平均值(或者亦可以使用最大值函數)，以減少例如邊緣位置的依賴性及在進入下一階段之前減小資料大小。在層S1處，具有16個15×15特徵圖(亦即，16個不同陣列，每個陣列有15×15像素)。從層S1到層C2的CB2中之突觸及相關神經元用4×4濾波器掃描S1中之圖，並且有一個像素的濾波器移位。在層C2處，具有22個12×12特徵圖。在從層C2到層S2之前應用激勵函數P2(池化)，其對來自每個特徵圖中之連續非重疊2×2區域的數值進行池化。在層S2處，具有22個6×6特徵圖。在從層S2至層C3的突觸CB3處應用激勵函數，其中層C3中之每個神經元連接至層S2中之每個圖。在層C3處，具有64個神經元。從層C3至輸出層S3的突觸CB4將S3完全連接至C3。層S3處的輸出包括10個神經元，其中最高輸出神經元確定類別。此輸出可能例如表示原始影像的內容之識別或分類。
使用一個陣列的非揮發性記憶體單元或一個陣列的非揮發性記憶體單元之一部分來實施每層的突觸。圖13係向量矩陣乘法(VMM)陣列的方塊圖，其包括非揮發性記憶體單元，並用作一輸入層與下一層之間的突觸。具體地，VMM陣列32包括非揮發性記憶體單元陣列33、抹除閘極及字元線閘極解碼器34、控制閘極解碼器35、位元線解碼器36以及源極線解碼器37，它們對記憶體單元陣列33的輸入進行解碼。此實例中之源極線解碼器37亦對記憶體單元陣列33的輸出進行解碼。或者，位元線解碼器36可以對非揮發性記憶體單元陣列33的輸出進行解碼。所述記憶體陣列提供兩個用途。第一，它儲存將由VMM陣列32使用的權重。第二，記憶體單元陣列有效地將輸入乘以記憶體單元陣列中所儲存的權重，並且沿著每條輸出線將它們加起來，以產生輸出，所述輸出將是下一層的輸入或最後一層的輸入。藉由執行乘法及加法函數，記憶體陣列不需要個別的乘法及加法邏輯電路，並且因原位記憶體計算而亦具功率效率。
記憶體單元陣列的輸出被供應至單個或差分求和電路38，其計算記憶體單元陣列的輸出之總和，以產生用於卷積的單一數值。然後，將加總的輸出值供應至激勵函數電路39，其對輸出進行整流。激勵函數電路可以是S形(sigmoid)、雙曲正切(tanh)或ReLU函數。來自電路39之經整流的輸出值變成作為下一層(例如，上述描述中的C1)之特徵圖的元素，然後應用於下一個突觸，以產生下一個特徵圖層或最後一層。因此，在此實例中，記憶體單元陣列33構成複數個突觸(其從先前的神經元層或從諸如影像資料庫的輸入層接收它們的輸入)，並且求和電路38及激勵函數電路39構成複數個神經元。
圖14係描繪許多層的VMM陣列32之使用的方塊圖，這裡標記為VMM陣列32a、32b、32c、32d及32e。如圖14所示，藉由數位至類比轉換器31將輸入(表示為Inputx)從數位轉換成類比，並提供至輸入VMM陣列32a。由輸入VMM陣列32a產生的輸出作為輸入提供給下一個VMM陣列(隱藏層級1)32b，其轉而產生作為輸入提供給下一個VMM陣列(隱藏層級2)32c的輸出等等。各種層的VMM陣列32充當卷積神經網路(CNN)之不同層的突觸及神經元。每個VMM陣列32a、32b、32c、32d及32e可以是獨立的實體非揮發性記憶體陣列，或者多個VMM陣列可以利用同一個實體非揮發性記憶體陣列的不同部分，或者多個VMM陣列可以利用同一個實體非揮發性記憶體陣列的重疊部分。圖14所示的實例包含五層(32a、32b、32c、32d、32e)：一個輸入層(32a)、兩個隱藏層(32b、32c)及兩個完全連接層(32d、32e)。所屬技術領域之具通常技藝人士將理解，這僅僅是示例性的，並且系統反而可以包括超過兩個隱藏層及超過兩個完全連接層。
圖15說明排列成汲極(位元線)求和矩陣乘法器之圖6的4-閘極記憶體單元10之陣列的配置。圖15的陣列之各種閘極線及區域線與圖7的陣列中之閘極線及區域線相同(對於相應的結構具有相同的元件符號)。在每個記憶體單元用那個單元的適當權重值來程式化之後，所述陣列充當汲極求和矩陣乘法器。矩陣電壓輸入係Vin0-Vin3且放置在選擇閘極線28a上。在位元線16a上產生矩陣電流輸出Iout0…Ioutn。對於這行中之所有單元，每個輸出Iout係輸入電流I乘以在單元中所儲存之權重W的總和： Iout=Σ(Ii*Wij) 其中「i」代表列，而「j」代表行，這是記憶體單元所在的位置。在如圖15之Vin0-Vin3所示，施加輸入電壓而不是輸入電流之情況下，對於這行中之所有單元，每個輸出Iout與輸入電壓乘以在單元中所儲存之權重W的總和成正比： IoutαΣ(Vj*Wij)
每個記憶體行充當具有總權重值之單個神經元，所述總權重值被表示為由那行之記憶體單元中所儲存之權重值的總和來決定的輸出電流。任何給定的神經元之輸出係電流的形式，其接著可以在經過激勵函數電路的調整之後用作下一個後續VMM陣列級的輸入電流Iin。
有鑑於輸入係電壓及輸出係電流，在圖15中，在第一級之後的每個後續VMM級較佳地包括用於將來自前一個VMM級的輸入電流轉換成要作為輸入電壓Vin之電壓的電路。圖16說明這樣的電流至電壓轉換電路的一個實例，其係一列經修改記憶體單元，這列經修改記憶體單元將輸入電流Iin0…IinN對數轉換成用於施加至後續級的輸入電壓Vin0…VinN。在弱倒轉中施加偏壓於本文所述之記憶體單元， Ids=Io*e(Vg-Vth)/kVt =w*Io*e(Vg)/kVt 其中w=e(-Vth)/kVt 對於使用記憶體單元將輸入電流轉換成輸入電壓之I至V對數轉換器： Vg=k*Vt*log[Ids/wp*Io] 在此，wp係參考或周邊記憶體單元的w。對於用作向量矩陣乘法器VMM的記憶體陣列，輸出電流為： Iout=wa*Io*e(Vg)/kVt ，亦即 Iout=(wa/wp)*Iin=W*Iin W=e(Vthp-Vtha)/kVt 在此，wa=記憶體陣列中之每個記憶體單元的w。可以使用選擇閘極線28a作為用於輸入電壓之記憶體單元的輸入，其藉由開關BLR連接至位元線16a，所述開關BLR在電流至電壓轉換期間係關閉的。
或者，本文所描述之VMM陣列的非揮發性記憶體單元可以配置成在線性區域中操作： Ids=beta*(Vgs-Vth)*Vds；beta=u*Cox*Wt/L， 其中Wt及L分別是電晶體的寬度及長度 Wα(Vgs-Vth)，其表示權重W與(Vgs-Vth)成正比。
可以使用選擇閘極線28a或控制閘極線22a或位元線16a或源極線14a作為在線性區域中操作之記憶體單元的輸入。可以使用位元線或源極線作為輸出神經元的輸出。
對於I至V線性轉換器，可以使用在線性區域中操作之記憶體單元(例如，參考記憶體單元或周邊記憶體單元)或電晶體或者電阻器，將輸入/輸出電流線性地轉換成輸入/輸出電壓。或者，本文所述之VMM陣列的非揮發性記憶體單元可以配置成在飽和區域中操作： Ids=α1/2 *beta*(Vgs-Vth)2 ；beta=u*Cox*Wt/L Wα(Vgs-Vth)2 ，其表示權重W與(Vgs-Vth)2 成正比。
可以使用選擇閘極線或控制閘極作為在飽和區域中操作之記憶體單元的輸入。可以使用位元線或源極線作為輸出神經元的輸出。或者，本文所述之VMM陣列的非揮發性記憶體單元可以使用在所有區域或其組合中(次臨界、線性或飽和)。任何上述電流至電壓轉換電路或技術可以與本文的任何具體例一起使用，以致於處於電流形式之來自任何給定神經元的電流輸出可以在經過激勵函數電路的調整之後用作下一個後續VMM陣列級的輸入。
圖17說明排列成汲極求和矩陣乘法器之圖6的4-閘極記憶體單元10之陣列的另一個配置。用於圖17之陣列的線路與圖7的陣列中之線路相同。在每個記憶體單元用那個單元的適當權重值來程式化之後，所述陣列充當汲極求和矩陣乘法器。矩陣電壓輸入係Vin0-Vin3且放置在控制閘極線22a上。在位元線16a上產生矩陣電流輸出Iout0…Ioutn。對於行中之所有單元，每個輸出Iout係與單元中儲存的權重W成比例之單元電流的和。如同前一個具體例，任何給定神經元的輸出處於電流形式，其接著可以在經過激勵函數電路的調整之後用作下一個後續VMM陣列級的輸入。
圖18說明排列成汲極求和矩陣乘法器之圖6的4-閘極記憶體單元10之陣列的另一個配置。用於圖18之陣列的線路與圖7的陣列中之線路相同。在每個記憶體單元用那個單元的適當權重值來程式化之後，所述陣列充當汲極求和矩陣乘法器。矩陣電壓輸入係Vin0-Vin1且放置在抹除閘極線30a上。在位元線16a上產生矩陣電流輸出Iout0…Ioutn。對於行中之所有單元，每個輸出Iout係與單元中儲存的權重W成比例之單元電流的和。如同前一個具體例，任何給定神經元的輸出處於電流形式，其接著可以在經過激勵函數電路的調整之後用作下一個後續VMM陣列級的輸入。
圖19說明排列成汲極求和矩陣乘法器之圖6的4-閘極記憶體單元10之陣列的另一個配置。用於圖19之陣列的線路與圖7的陣列中之線路相同。在每個記憶體單元用那個單元的適當權重值來程式化之後，所述陣列充當汲極求和矩陣乘法器。矩陣電壓輸入係Vin0-Vin1且放置在源極線14a上。在位元線16a上產生矩陣電流輸出Iout0…Ioutn。對於行中之所有單元，每個輸出Iout係與單元中儲存的權重W成比例之單元電流的和。如同前一個具體例，任何給定神經元的輸出處於電流形式，其接著可以在經過激勵函數電路的調整之後用作下一個後續VMM陣列級的輸入。
圖20說明排列成源極求和矩陣乘法器之圖6的4-閘極記憶體單元10之陣列的另一個配置。除控制閘極線22a垂直地而不是水平地延伸外，用於圖20之陣列的線路與圖7的陣列中之線路相同，以致於可以獨立地程式化、抹除及讀取每個記憶體單元。具體地，每行記憶體單元包括將那行中之記憶體單元的所有控制閘極22連接在一起之控制閘極線22a。在控制閘極線22a上提供矩陣電壓輸入Vin0…VinN，並且在源極線14a上產生矩陣電流輸出Iout0…Iout1。對於列中之所有單元，每個輸出Iout係與單元中儲存的權重W成比例之單元電流的和。如同前一個具體例，任何給定神經元的輸出處於電流形式，其接著可以在經過激勵函數電路的調整之後用作下一個後續VMM陣列級的輸入。
圖21說明排列成源極求和矩陣乘法器之圖6的4-閘極記憶體單元10之陣列的另一個配置。用於圖21之陣列的線路與圖20的陣列中之線路相同。在位元線16a上提供矩陣電壓輸入Vin0…VinN，並且在源極線14a上產生矩陣電流輸出Iout0…Iout1。對於列中之所有單元，每個輸出Iout係與單元中儲存的權重W成比例之單元電流的和。如同前一個具體例，任何給定神經元的輸出處於電流形式，其接著可以在經過激勵函數電路的調整之後用作下一個後續VMM陣列級的輸入。
圖22說明排列成源極求和矩陣乘法器之圖6的4-閘極記憶體單元10之陣列的另一個配置。除每條位元線包括與此位元線串接之一個位元線緩衝電晶體60(亦即，在此位元線上的任何電流在其源極與汲極之間流經電晶體)外，用於圖22之陣列的線路與圖7的陣列中之線路相同。電晶體充當分度開關(graduated switch)，其在增加電晶體的閘極端子上之輸入電壓時選擇地且逐漸地使位元線導通(亦即，電晶體將位元線耦接至其電流或電壓源)。將矩陣電壓輸入Vin0…VinN提供至電晶體60的閘極，並且在源極線14a上提供矩陣電流輸出Iout0…Iout1。這種配置的優點在於：矩陣輸入可以作為(用以操作電晶體60的)電壓來提供，而不是以電壓形式將輸入直接供應至位元線。這允許使用恆壓源來操作位元線，其中使用電晶體60逐漸地將恆壓源耦接至位元線，以回應被供應至電晶體的閘極之輸入電壓Vin，從而無需供應電壓輸入至記憶體陣列。如同前一個具體例，任何給定神經元的輸出處於電流形式，其接著可以在經過激勵函數電路的調整之後用作下一個後續VMM陣列級的輸入。
可以在控制器100的控制下執行上面所有功能，控制器100連接至用於神經網路功能之上述記憶體單元10的記憶體陣列。如圖23所示，控制器100較佳地與記憶體陣列120在同一個半導體晶片或基板110上。然而，控制器100亦可以位於不同的半導體晶片或基板上，並且可以是設置在半導體晶片或基板110上或以外之不同位置的多個控制器。
應當理解，本發明並非侷限於上面所述及本文所示之具體例，而是包括落入任何請求項的範圍內之任何及所有變化。例如，本文中對本發明的引用沒有意欲限制任何請求或請求項的範圍，而是僅引用可能由一個或多個請求項涵蓋之一個或多個特徵。上述材料、製程及數值實例僅是示例性的，並且不應該被視為對請求項的限制。單層材料可以形成為多層的這種或相似材料，反之亦然。雖然每個記憶體單元陣列的輸出在傳送至下一個神經元層之前藉由濾波器壓縮來操作，但是它們沒有必要如此。最後，對於上述每個矩陣乘法器陣列具體例，在未用於輸入電壓或輸出電流的任何線路方面，可以在操作期間將本文列表中所揭露之用於記憶體單元配置的標稱讀取電壓施加至那些線路。
應當注意，如本文所使用，術語「在......上方」及「在......上」均包含性地包括「直接在......上」(沒有中間材料、元件或空間設置在其間)及「間接在......上」(中間材料、元件或空間設置在其間)。同樣地，術語「相鄰」包括「直接相鄰」(沒有中間材料、元件或空間設置在其間)及「間接相鄰」(中間材料、元件或空間設置在其間)，「安裝至」包括「直接安裝至」(沒有中間材料、元件或空間設置在其間)及「間接安裝至」(中間材料、元件或空間設置在其間)，以及「電耦接至」包括「直接電耦接至」(沒有中間材料或元件在其間將元件電連接在一起)及「間接電耦接至」(中間材料或元件在其間將元件電連接在一起)。例如，「在基板上方」形成元件可以包括在基板上直接形成元件而在其間沒有中間材料/元件，以及在基板上間接形成元件而在其間具有一個或多個中間材料/元件。
10:記憶體單元 12:半導體基板 14:源極區域 14a:源極線 16:汲極區域 16a:位元線 18:通道區域 20:浮動閘極 22:控制閘極 22a:控制閘極線 22b:控制閘極的第一部分 22c:控制閘極的第二部分 24:中間絕緣體 26:閘極氧化物 28:選擇閘極 28a:選擇閘極線 30:抹除閘極 30a:抹除閘極線 31:數位至類比轉換器 32:VMM陣列 32a:VMM陣列 32b:VMM陣列 32c:VMM陣列 32d:VMM陣列 32e:VMM陣列 33:非揮發性記憶體單元陣列 34:抹除閘極及字元線閘極解碼器 35:控制閘極解碼器 36:位元線解碼器 37:源極線解碼器 38:單個或差分求和電路 39:激勵函數電路 40:數位至類比轉換器(DAC) 42:電壓至電流轉換器(V/I Conv) 44:電流比較器(IComp) 46:電壓比較器(VComp) 48:電流至電壓轉換器(I/V Conv) 60:位元線緩衝電晶體 100:控制器 110:半導體晶片或基板 120:記憶體陣列 C1:層 C2:層 C3:層 CB1:突觸 CB2:突觸 CB3:突觸 CB4:突觸 Icellout:記憶體單元電流 Iin0:輸入電流 Iin1:輸入電流 Iout:電流 Iout0:矩陣電流輸出 Iout1:矩陣電流輸出 Ioutn-1:矩陣電流輸出 Ioutn:矩陣電流輸出 P1:激勵函數 P2:激勵函數 S0:輸入層 S1:層 S2:層 S3:輸出層 V2out:電壓 Vin0:矩陣電壓輸入 Vin1:矩陣電壓輸入 Vin2:矩陣電壓輸入 Vin3:矩陣電壓輸入 Vinn-1:矩陣電壓輸入 Vinn:矩陣電壓輸入 Vout:電壓
圖1係說明人工神經網路之示圖。
圖2係傳統2-閘極非揮發性記憶體單元的側視剖面圖。
圖3係說明用於圖2的記憶體單元之傳統陣列架構的示圖。
圖4係傳統2-閘極非揮發性記憶體單元的側視剖面圖。
圖5係說明用於圖4的記憶體單元之傳統陣列架構的示圖。
圖6係傳統4-閘極非揮發性記憶體單元的側視剖面圖。
圖7係說明用於圖6的記憶體單元之傳統陣列架構的示圖。
圖8A係說明均勻間隔開的神經網路權重等級賦值之示圖。
圖8B係說明不均勻間隔開的神經網路權重等級賦值之示圖。
圖9係說明雙向調整式演算法的流程圖。
圖10係說明使用電流比較的權重映射之方塊圖。
圖11係說明使用電壓比較的權重映射之方塊圖。
圖12係說明使用非揮發性記憶體陣列的示例性神經網路之不同層級的示圖。
圖13係說明向量矩陣乘法器的方塊圖。
圖14係說明向量矩陣乘法器的各種層級之方塊圖。
圖15係說明排列成汲極求和矩陣乘法器的4-閘極記憶體單元之陣列的第一架構之示意圖。
圖16係說明使用4-閘極記憶體單元的電流至電壓轉換器之示意圖。
圖17係說明排列成汲極求和矩陣乘法器的4-閘極記憶體單元之陣列的第二架構之示意圖。
圖18係說明排列成汲極求和矩陣乘法器的4-閘極記憶體單元之陣列的第三架構之示意圖。
圖19係說明排列成汲極求和矩陣乘法器的4-閘極記憶體單元之陣列的第四架構之示意圖。
圖20係說明排列成源極求和矩陣乘法器的4-閘極記憶體單元之陣列的第五架構之示意圖。
圖21係說明排列成源極求和矩陣乘法器的4-閘極記憶體單元之陣列的第六架構之示意圖。
圖22係說明排列成源極求和矩陣乘法器的4-閘極記憶體單元之陣列的第七架構之示意圖。
圖23係說明與記憶體陣列在同一個晶片上之用於實施記憶體陣列的操作之控制器的示圖。
10:記憶體單元
14a:源極線
16a:位元線
22a:控制閘極線
28a:選擇閘極線
30a:抹除閘極線
Iout0:矩陣電流輸出
Iout1:矩陣電流輸出
Ioutn-1:矩陣電流輸出
Ioutn:矩陣電流輸出
Vin0:矩陣電壓輸入
Vin1:矩陣電壓輸入
Vin2:矩陣電壓輸入
Vin3:矩陣電壓輸入

Claims (18)

  1. 一種神經網路裝置，包括： 複數個第一突觸，其配置成接收複數個第一輸入並由此產生複數個第一輸出，其中該複數個第一突觸包括： 複數個記憶體單元，其中該等記憶體單元中之每一者包括間隔開的源極區域及汲極區域，其形成在一半導體基板中，並且具有一通道區域在其間延伸；一浮動閘極，其設置在該通道區域的一第一部分上方且與該通道區域的該第一部分絕緣；一第一閘極，其設置在該通道區域的一第二部分上方且與該通道區域的該第二部分絕緣；一第二閘極，其設置在該浮動閘極上方且與該浮動閘極絕緣；以及一第三閘極，其設置在該源極區域上方且與該源極區域絕緣； 該複數個記憶體單元中之每一者配置成儲存與該浮動閘極上之電子數目相對應的權重值； 該複數個記憶體單元配置成根據該複數個第一輸入及所儲存之該等權重值產生該複數個第一輸出； 其中該複數個第一突觸的記憶體單元以列與行來排列，以及其中該複數個第一突觸包括： 複數條第一線，每條第一線將該等記憶體單元列中之一列中的該等第一閘極電連接在一起； 複數條第二線，每條第二線將該等記憶體單元列中之一列中的該等第二閘極電連接在一起； 複數條第三線，每條第三線將該等記憶體單元列中之一列中的該等第三閘極電連接在一起； 複數條第四線，每條第四線將該等記憶體單元列中之一列中的該等源極區域電連接在一起； 複數條第五線，每條第五線將該等記憶體單元行中之一行中的該等汲極區域電連接在一起； 其中該複數個第一突觸配置成接收該複數個第一輸入作為在該複數條第二線上或在該複數條第三線上或在該複數條第四線上之電壓，並且提供該複數個第一輸出作為在該複數條第五線上之電流。
  2. 如請求項1之神經網路裝置，其中，該複數個第一突觸配置成接收該複數個第一輸入作為在該複數條第二線上之電壓。
  3. 如請求項1之神經網路裝置，其中，該複數個第一突觸配置成接收該複數個第一輸入作為在該複數條第三線上之電壓。
  4. 如請求項1之神經網路裝置，其中，該複數個第一突觸配置成接收該複數個第一輸入作為在該複數條第四線上之電壓。
  5. 如請求項1之神經網路裝置，進一步包括： 複數個第一神經元，其配置成接收該複數個第一輸出。
  6. 如請求項5之神經網路裝置，進一步包括： 複數個第二突觸，其配置成從該複數個第一神經元接收複數個第二輸入並由此產生複數個第二輸出，其中該複數個第二突觸包括： 複數個第二記憶體單元，其中該等第二記憶體單元中之每一者包括間隔開的第二源極區域及第二汲極區域，其形成在該半導體基板中，並且具有一第二通道區域在其間延伸；一第二浮動閘極，其設置在該第二通道區域的一第一部分上方且與該第二通道區域的該第一部分絕緣；一第四閘極，其設置在該第二通道區域的一第二部分上方且與該第二通道區域的該第二部分絕緣；一第五閘極，其設置在該第二浮動閘極上方且與該第二浮動閘極絕緣；以及一第六閘極，其設置在該第二源極區域上方且與該第二源極區域絕緣； 該複數個第二記憶體單元中之每一者配置成儲存與該第二浮動閘極上之電子數目相對應的第二權重值； 該複數個第二記憶體單元配置成根據該複數個第二輸入及所儲存之該等第二權重值產生該複數個第二輸出； 其中該複數個第二突觸的第二記憶體單元以列與行來排列，以及其中該複數個第二突觸包括： 複數條第六線，每條第六線將該等第二記憶體單元列中之一列中的該等第四閘極電連接在一起； 複數條第七線，每條第七線將該等第二記憶體單元列中之一列中的該等第五閘極電連接在一起； 複數條第八線，每條第八線將該等第二記憶體單元列中之一列中的該等第六閘極電連接在一起； 複數條第九線，每條第九線將該等第二記憶體單元列中之一列中的該等第二源極區域電連接在一起； 複數條第十線，每條第十線將該等第二記憶體單元行中之一行中的該等第二汲極區域電連接在一起； 其中該複數個第二突觸配置成接收該複數個第二輸入作為在該複數條第七線上或在該複數條第八線上或在該複數條第九線上之電壓，並且提供該複數個第二輸出作為在該複數條第十線上之電流。
  7. 如請求項6之神經網路裝置，其中，該複數個第二突觸配置成接收該複數個第二輸入作為在該複數條第七線上之電壓。
  8. 如請求項6之神經網路裝置，其中，該複數個第二突觸配置成接收該複數個第二輸入作為在該複數條第八線上之電壓。
  9. 如請求項6之神經網路裝置，其中，該複數個第二突觸配置成接收該複數個第二輸入作為在該複數條第九線上之電壓。
  10. 如請求項6之神經網路裝置，進一步包括： 複數個第二神經元，其配置成接收該複數個第二輸出。
  11. 一種神經網路裝置，包括： 複數個第一突觸，其配置成接收複數個第一輸入並由此產生複數個第一輸出，其中該複數個第一突觸包括： 複數個記憶體單元，其中該等記憶體單元中之每一者包括間隔開的源極區域及汲極區域，其形成在一半導體基板中，並且具有一通道區域在其間延伸；一浮動閘極，其設置在該通道區域的一第一部分上方且與該通道區域的該第一部分絕緣；一第一閘極，其設置在該通道區域的一第二部分上方且與該通道區域的該第二部分絕緣；一第二閘極，其設置在該浮動閘極上方且與該浮動閘極絕緣；以及一第三閘極，其設置在該源極區域上方且與該源極區域絕緣； 該複數個記憶體單元中之每一者配置成儲存與該浮動閘極上之電子數目相對應的權重值； 該複數個記憶體單元配置成根據該複數個第一輸入及所儲存之該等權重值產生該複數個第一輸出； 其中該複數個第一突觸的記憶體單元以列與行來排列，以及其中該複數個第一突觸包括： 複數條第一線，每條第一線將該等記憶體單元列中之一列中的該等第一閘極電連接在一起； 複數條第二線，每條第二線將該等記憶體單元行中之一行中的該等第二閘極電連接在一起； 複數條第三線，每條第三線將該等記憶體單元列中之一列中的該等第三閘極電連接在一起； 複數條第四線，每條第四線將該等記憶體單元列中之一列中的該等源極區域電連接在一起； 複數條第五線，每條第五線將該等記憶體單元行中之一行中的該等汲極區域電連接在一起； 其中該複數個第一突觸配置成接收該複數個第一輸入作為在該複數條第五線上之電壓，並且提供該複數個第一輸出作為在該複數條第四線上之電流。
  12. 如請求項11之神經網路裝置，進一步包括： 複數個第一神經元，其配置成接收該複數個第一輸出。
  13. 如請求項12之神經網路裝置，進一步包括： 複數個第二突觸，其配置成從該複數個第一神經元接收複數個第二輸入並由此產生複數個第二輸出，其中該複數個第二突觸包括： 複數個第二記憶體單元，其中該等第二記憶體單元中之每一者包括間隔開的第二源極區域及第二汲極區域，其形成在該半導體基板中，並且具有一第二通道區域在其間延伸；一第二浮動閘極，其設置在該第二通道區域的一第一部分上方且與該第二通道區域的該第一部分絕緣；一第四閘極，其設置在該第二通道區域的一第二部分上方且與該第二通道區域的該第二部分絕緣；一第五閘極，其設置在該第二浮動閘極上方且與該第二浮動閘極絕緣；以及一第六閘極，其設置在該第二源極區域上方且與該第二源極區域絕緣； 該複數個第二記憶體單元中之每一者配置成儲存與該第二浮動閘極上之電子數目相對應的第二權重值； 該複數個第二記憶體單元配置成根據該複數個第二輸入及所儲存之該等第二權重值產生該複數個第二輸出； 其中該複數個第二突觸的第二記憶體單元以列與行來排列，以及其中該複數個第二突觸包括： 複數條第六線，每條第六線將該等第二記憶體單元列中之一列中的該等第四閘極電連接在一起； 複數條第七線，每條第七線將該等第二記憶體單元行中之一行中的該等第五閘極電連接在一起； 複數條第八線，每條第八線將該等第二記憶體單元列中之一列中的該等第六閘極電連接在一起； 複數條第九線，每條第九線將該等第二記憶體單元列中之一列中的該等第二源極區域電連接在一起； 複數條第十線，每條第十線將該等第二記憶體單元行中之一行中的該等第二汲極區域電連接在一起； 其中該複數個第二突觸配置成接收該複數個第二輸入作為在該複數條第十線上之電壓，並且提供該複數個第二輸出作為在該複數條第九線上之電流。
  14. 如請求項13之神經網路裝置，進一步包括： 複數個第二神經元，其配置成接收該複數個第二輸出。
  15. 一種神經網路裝置，包括： 複數個第一突觸，其配置成接收複數個第一輸入並由此產生複數個第一輸出，其中該複數個第一突觸包括： 複數個記憶體單元，其中該等記憶體單元中之每一者包括間隔開的源極區域及汲極區域，其形成在一半導體基板中，並且具有一通道區域在其間延伸；一浮動閘極，其設置在該通道區域的一第一部分上方且與該通道區域的該第一部分絕緣；一第一閘極，其設置在該通道區域的一第二部分上方且與該通道區域的該第二部分絕緣；一第二閘極，其設置在該浮動閘極上方且與該浮動閘極絕緣；以及一第三閘極，其設置在該源極區域上方且與該源極區域絕緣； 該複數個記憶體單元中之每一者配置成儲存與該浮動閘極上之電子數目相對應的權重值； 該複數個記憶體單元配置成根據該複數個第一輸入及所儲存之該等權重值產生該複數個第一輸出； 其中該複數個第一突觸的記憶體單元以列與行來排列，以及其中該複數個第一突觸包括： 複數條第一線，每條第一線將該等記憶體單元列中之一列中的該等第一閘極電連接在一起； 複數條第二線，每條第二線將該等記憶體單元列中之一列中的該等第二閘極電連接在一起； 複數條第三線，每條第三線將該等記憶體單元列中之一列中的該等第三閘極電連接在一起； 複數條第四線，每條第四線將該等記憶體單元列中之一列中的該等源極區域電連接在一起； 複數條第五線，每條第五線將該等記憶體單元行中之一行中的該等汲極區域電連接在一起； 複數個電晶體，每個電晶體以串聯方式與該等第五線中之一電連接； 其中該複數個第一突觸配置成接收該複數個第一輸入作為在該複數個電晶體的閘極上之電壓，並且提供該複數個第一輸出作為在該複數條第四線上之電流。
  16. 如請求項15之神經網路裝置，進一步包括： 複數個第一神經元，其配置成接收該複數個第一輸出。
  17. 如請求項16之神經網路裝置，進一步包括： 複數個第二突觸，其配置成從該複數個第一神經元接收複數個第二輸入並由此產生複數個第二輸出，其中該複數個第二突觸包括： 複數個第二記憶體單元，其中該等第二記憶體單元中之每一者包括間隔開的第二源極區域及第二汲極區域，其形成在該半導體基板中，並且具有一第二通道區域在其間延伸；一第二浮動閘極，其設置在該第二通道區域的一第一部分上方且與該第二通道區域的該第一部分絕緣；一第四閘極，其設置在該第二通道區域的一第二部分上方且與該第二通道區域的該第二部分絕緣；一第五閘極，其設置在該第二浮動閘極上方且與該第二浮動閘極絕緣；以及一第六閘極，其設置在該第二源極區域上方且與該第二源極區域絕緣； 該複數個第二記憶體單元中之每一者配置成儲存與該第二浮動閘極上之電子數目相對應的第二權重值； 該複數個第二記憶體單元配置成根據該複數個第二輸入及所儲存之該等第二權重值產生該複數個第二輸出； 其中該複數個第二突觸的第二記憶體單元以列與行來排列，以及其中該複數個第二突觸包括： 複數條第六線，每條第六線將該等第二記憶體單元列中之一列中的該等第四閘極電連接在一起； 複數條第七線，每條第七線將該等第二記憶體單元列中之一列中的該等第五閘極電連接在一起； 複數條第八線，每條第八線將該等第二記憶體單元列中之一列中的該等第六閘極電連接在一起； 複數條第九線，每條第九線將該等第二記憶體單元列中之一列中的該等第二源極區域電連接在一起； 複數條第十線，每條第十線將該等第二記憶體單元行中之一行中的該等第二汲極區域電連接在一起； 複數個第二電晶體，每個第二電晶體以串聯方式與該等第十線中之一電連接； 其中該複數個第二突觸配置成接收該複數個第二輸入作為在該複數個第二電晶體的閘極上之電壓，並且提供該複數個第二輸出作為在該複數條第九線上之電流。
  18. 如請求項17之神經網路裝置，進一步包括： 複數個第二神經元，其配置成接收該複數個第二輸出。
TW109100676A 2019-01-29 2020-01-09 使用4-閘極非揮發性記憶體單元陣列之神經網路分類器 TWI705389B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201962798417P 2019-01-29 2019-01-29
US62/798,417 2019-01-29
US16/382,034 US10803943B2 (en) 2017-11-29 2019-04-11 Neural network classifier using array of four-gate non-volatile memory cells
US16/382,034 2019-04-11
PCT/US2019/048929 WO2020159579A1 (en) 2019-01-29 2019-08-29 Neural network classifier using array of four-gate non-volatile memory cells
USPCT/US19/48929 2019-08-29

Publications (2)

Publication Number Publication Date
TWI705389B TWI705389B (zh) 2020-09-21
TW202042116A true TW202042116A (zh) 2020-11-16

Family

ID=67953879

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109100676A TWI705389B (zh) 2019-01-29 2020-01-09 使用4-閘極非揮發性記憶體單元陣列之神經網路分類器

Country Status (6)

Country Link
EP (1) EP3918532B1 (zh)
JP (1) JP7270747B2 (zh)
KR (1) KR102350213B1 (zh)
CN (1) CN113366504B (zh)
TW (1) TWI705389B (zh)
WO (1) WO2020159579A1 (zh)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0318985A (ja) * 1989-06-16 1991-01-28 Hitachi Ltd 情報処理装置
US4956564A (en) * 1989-07-13 1990-09-11 Intel Corporation Adaptive synapse cell providing both excitatory and inhibitory connections in an associative network
GB2236881B (en) * 1989-10-11 1994-01-12 Intel Corp Improved synapse cell employing dual gate transistor structure
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
US5444821A (en) * 1993-11-10 1995-08-22 United Microelectronics Corp. Artificial neuron element with electrically programmable synaptic weight for neural networks
US6747310B2 (en) * 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
KR20170080473A (ko) * 2015-12-30 2017-07-10 에스케이하이닉스 주식회사 뉴로모픽 장치
EP3459019A4 (en) * 2016-05-17 2020-02-19 Silicon Storage Technology, Inc. NEURONAL NETWORK CLASSIFIER WITH IN-DEPTH LEARNING USING A NON-VOLATILE MEMORY NETWORK
KR102182583B1 (ko) * 2016-05-17 2020-11-24 실리콘 스토리지 테크놀로지 인크 비휘발성 메모리 어레이를 사용하는 딥러닝 신경망 분류기
KR102449586B1 (ko) * 2017-02-24 2022-10-04 에이에스엠엘 네델란즈 비.브이. 기계 학습에 의해 공정 모델들을 결정하는 방법들
KR20210119578A (ko) * 2017-05-26 2021-10-05 에이에스엠엘 네델란즈 비.브이. 기계 학습에 기초한 어시스트 피처 배치

Also Published As

Publication number Publication date
WO2020159579A1 (en) 2020-08-06
JP2022519494A (ja) 2022-03-24
KR20210095712A (ko) 2021-08-02
EP3918532B1 (en) 2023-01-25
JP7270747B2 (ja) 2023-05-10
EP3918532A1 (en) 2021-12-08
KR102350213B1 (ko) 2022-01-11
CN113366504B (zh) 2022-09-13
CN113366504A (zh) 2021-09-07
TWI705389B (zh) 2020-09-21

Similar Documents

Publication Publication Date Title
TWI719757B (zh) 使用3-閘極非揮發性記憶體單元陣列之神經網路分類器
US11853856B2 (en) Programming methods for neural network using non-volatile memory array
TWI705390B (zh) 使用堆疊式閘極非揮發性記憶體單元陣列之神經網路分類器
TW202030735A (zh) 用於人工類神經網路中之類比神經形態記憶體之高精確度及高效率調諧機制及演算法
US10803943B2 (en) Neural network classifier using array of four-gate non-volatile memory cells
TWI705389B (zh) 使用4-閘極非揮發性記憶體單元陣列之神經網路分類器