TWI705390B - 使用堆疊式閘極非揮發性記憶體單元陣列之神經網路分類器 - Google Patents

使用堆疊式閘極非揮發性記憶體單元陣列之神經網路分類器 Download PDF

Info

Publication number
TWI705390B
TWI705390B TW109100677A TW109100677A TWI705390B TW I705390 B TWI705390 B TW I705390B TW 109100677 A TW109100677 A TW 109100677A TW 109100677 A TW109100677 A TW 109100677A TW I705390 B TWI705390 B TW I705390B
Authority
TW
Taiwan
Prior art keywords
memory cells
synapses
lines
floating gate
outputs
Prior art date
Application number
TW109100677A
Other languages
English (en)
Other versions
TW202042117A (zh
Inventor
曉萬 陳
史蒂芬 利姆克
維平 蒂瓦里
恩漢 杜
馬克 萊坦
Original Assignee
美商超捷公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商超捷公司 filed Critical 美商超捷公司
Application granted granted Critical
Publication of TWI705390B publication Critical patent/TWI705390B/zh
Publication of TW202042117A publication Critical patent/TW202042117A/zh

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C11/00Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065Analogue means
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C11/00Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/56Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency
    • G11C11/5621Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency using charge storage in a floating gate
    • G11C11/5628Programming or writing circuits; Data input circuits
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C11/00Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/56Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency
    • G11C11/5621Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency using charge storage in a floating gate
    • G11C11/5642Sensing or reading circuits; Data output circuits
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C14/00Digital stores characterised by arrangements of cells having volatile and non-volatile storage properties for back-up when the power is down
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C16/00Erasable programmable read-only memories
    • G11C16/02Erasable programmable read-only memories electrically programmable
    • G11C16/04Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G11C16/0425Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing a merged floating gate and select transistor
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C16/00Erasable programmable read-only memories
    • G11C16/02Erasable programmable read-only memories electrically programmable
    • G11C16/06Auxiliary circuits, e.g. for writing into memory
    • G11C16/10Programming or data input circuits
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C16/00Erasable programmable read-only memories
    • G11C16/02Erasable programmable read-only memories electrically programmable
    • G11C16/06Auxiliary circuits, e.g. for writing into memory
    • G11C16/26Sensing or reading circuits; Data output circuits
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C16/00Erasable programmable read-only memories
    • G11C16/02Erasable programmable read-only memories electrically programmable
    • G11C16/06Auxiliary circuits, e.g. for writing into memory
    • G11C16/26Sensing or reading circuits; Data output circuits
    • G11C16/28Sensing or reading circuits; Data output circuits using differential sensing or reference cells, e.g. dummy cells
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C16/00Erasable programmable read-only memories
    • G11C16/02Erasable programmable read-only memories electrically programmable
    • G11C16/06Auxiliary circuits, e.g. for writing into memory
    • G11C16/34Determination of programming status, e.g. threshold voltage, overprogramming or underprogramming, retention
    • G11C16/349Arrangements for evaluating degradation, retention or wearout, e.g. by counting erase cycles
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C16/00Erasable programmable read-only memories
    • G11C16/02Erasable programmable read-only memories electrically programmable
    • G11C16/06Auxiliary circuits, e.g. for writing into memory
    • G11C16/34Determination of programming status, e.g. threshold voltage, overprogramming or underprogramming, retention
    • G11C16/349Arrangements for evaluating degradation, retention or wearout, e.g. by counting erase cycles
    • G11C16/3495Circuits or methods to detect or delay wearout of nonvolatile EPROM or EEPROM memory devices, e.g. by counting numbers of erase or reprogram cycles, by using multiple memory areas serially or cyclically
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
    • H01L29/40Electrodes ; Multistep manufacturing processes therefor
    • H01L29/41Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions
    • H01L29/423Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions not carrying the current to be rectified, amplified or switched
    • H01L29/42312Gate electrodes for field effect devices
    • H01L29/42316Gate electrodes for field effect devices for field-effect transistors
    • H01L29/4232Gate electrodes for field effect devices for field-effect transistors with insulated gate
    • H01L29/42324Gate electrodes for transistors with a floating gate
    • H01L29/42328Gate electrodes for transistors with a floating gate with at least one additional gate other than the floating gate and the control gate, e.g. program gate, erase gate or select gate
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10BELECTRONIC MEMORY DEVICES
    • H10B41/00Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates
    • H10B41/30Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates characterised by the memory core region
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10BELECTRONIC MEMORY DEVICES
    • H10B69/00Erasable-and-programmable ROM [EPROM] devices not provided for in groups H10B41/00 - H10B63/00, e.g. ultraviolet erasable-and-programmable ROM [UVEPROM] devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Neurology (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Ceramic Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Non-Volatile Memory (AREA)
  • Read Only Memory (AREA)
  • Semiconductor Memories (AREA)

Abstract

一種具有突觸之神經網路裝置,該等突觸具有記憶體單元,每個記憶體單元具有在半導體基板中之源極及汲極區域,並且有通道區域在其間延伸;在整個通道區域上方之浮動閘極;以及在浮動閘極上方之第一閘極。第一線各自將一記憶體單元列中之第一閘極電連接在一起,第二線各自將一記憶體單元列中之源極區域電連接在一起,以及第三線各自將一記憶體單元行中之汲極區域電連接在一起 。該等突觸配置成接收複數個第一輸入作為在第一線上或在第二線上之電壓,並且提供複數個第一輸出作為在第三線上之電流。

Description

使用堆疊式閘極非揮發性記憶體單元陣列之神經網路分類器
[相關申請案]本申請案主張2019年4月11日提出之美國申請案第16/382,051號的優先權,所述申請案主張2019年1月29日提出之美國臨時申請案第62/798,417號的優先權。
本發明係有關於神經網路。
人工神經網路模擬生物神經網路(動物的中樞神經系統,特別是大腦)及用於估計或近似可依賴於大量輸入且通常是未知的函數。人工神經網路通常包括可彼此交換信息之互連的「神經元」層。圖1說明人工神經網路,其中圓圈表示神經元輸入或層。連結(稱為突觸)以箭頭來表示,並且具有可根據經驗調整的數字權重。這使得神經網路適應於輸入且能夠學習。通常,神經網路包括一層多個輸入。通常有一個或多個神經元中間層及提供神經網路輸出的一個神經元輸出層。每個層級的神經元個別地或共同地根據從突觸接收的資料做出決定。
開發用於高性能資訊處理之人工神經網路的主要挑戰中之一是缺乏足夠的硬體技術。實際上,實際的神經網路依賴於非常大量的突觸,以使神經元之間的高連結性(亦即,非常高的計算並行性)成為可能。原則上,這樣的複雜性可以用數位超級電腦或專用圖形處理單元叢集來實現。然而,除了高成本之外,相較於生物網路,這些方法還因平庸的能量效率而更糟,其中生物網路消耗非常少的能量,主要是因為它們執行低精度類比計算。CMOS類比電路已經用於人工神經網路,但是有鑑於大量的神經元及突觸,大多數CMOS實施的突觸過於龐大。
前述問題及需求藉由一種神經網路裝置來解決,該神經網路裝置包括複數個第一突觸,其配置成接收複數個第一輸入並由此產生複數個第一輸出。該複數個第一突觸包括複數個記憶體單元,其中該等記憶體單元中之每一者包括間隔開的源極及汲極區域,其形成在一半導體基板中,並且具有一通道區域在其間延伸;一浮動閘極,其設置在整個該通道區域上方且與該通道區域絕緣;以及一第一閘極,其設置在該浮動閘極上方且與該浮動閘極絕緣。該複數個記憶體單元中之每一者配置成儲存與該浮動閘極上之電子數目相對應的權重值。該複數個記憶體單元配置成根據該複數個第一輸入及該等儲存權重值產生該複數個第一輸出。該複數個第一突觸的記憶體單元以列與行來排列。該複數個第一突觸包括複數條第一線,每條第一線將該等記憶體單元列中之一列中的該等第一閘極電連接在一起;複數條第二線,每條第二線將該等記憶體單元列中之一列中的該等源極區域電連接在一起;以及複數條第三線,每條第三線將該等記憶體單元行中之一行中的該等汲極區域電連接在一起。該複數個第一突觸配置成接收該複數個第一輸入作為在該複數條第一線上或在該複數條第二線上之電壓,並且提供該複數個第一輸出作為在該複數條第三線上之電流。
一種神經網路裝置可以包括複數個第一突觸,其配置成接收複數個第一輸入並由此產生複數個第一輸出。該複數個第一突觸包括複數個記憶體單元,其中該等記憶體單元中之每一者包括間隔開的源極及汲極區域,其形成在一半導體基板中,並且具有一通道區域在其間延伸;一浮動閘極,其設置在整個該通道區域上方且與該通道區域絕緣;以及一第一閘極,其設置在該浮動閘極上方且與該浮動閘極絕緣。該複數個記憶體單元中之每一者配置成儲存與該浮動閘極上之電子數目相對應的權重值。該複數個記憶體單元配置成根據該複數個第一輸入及該等儲存權重值產生該複數個第一輸出。該複數個第一突觸的記憶體單元以列與行來排列。該複數個第一突觸包括複數條第一線,每條第一線將該等記憶體單元列中之一列中的該等第一閘極電連接在一起;複數條第二線,每條第二線將該等記憶體單元列中之一列中的該等源極區域電連接在一起;以及複數條第三線,每條第三線將該等記憶體單元行中之一行中的該等汲極區域電連接在一起。該複數個第一突觸配置成接收該複數個第一輸入作為在該複數條第三線上之電壓,並且提供該複數個第一輸出作為在該複數條第二線上之電流。
一種神經網路裝置可以包括複數個第一突觸,其配置成接收複數個第一輸入並由此產生複數個第一輸出。該複數個第一突觸包括複數個記憶體單元,其中該等記憶體單元中之每一者包括間隔開的源極及汲極區域,其形成在一半導體基板中,並且具有一通道區域在其間延伸;一浮動閘極,其設置在整個該通道區域上方且與該通道區域絕緣;以及一第一閘極,其設置在該浮動閘極上方且與該浮動閘極絕緣。該複數個記憶體單元中之每一者配置成儲存與該浮動閘極上之電子數目相對應的權重值。該複數個記憶體單元配置成根據該複數個第一輸入及該等儲存權重值產生該複數個第一輸出。該複數個第一突觸的記憶體單元以列與行來排列。該複數個第一突觸包括複數條第一線,每條第一線將該等記憶體單元列中之一列中的該等第一閘極電連接在一起;複數條第二線,每條第二線將該等記憶體單元行中之一行中的該等源極區域電連接在一起;以及複數條第三線,每條第三線將該等記憶體單元行中之一行中的該等汲極區域電連接在一起。該複數個第一突觸配置成接收該複數個第一輸入作為在該複數條第一線上之電壓,並且提供該複數個第一輸出作為在該複數條第二線上或在該複數條第三線上之電流。
一種神經網路裝置可以包括複數個第一突觸,其配置成接收複數個第一輸入並由此產生複數個第一輸出。該複數個第一突觸包括複數個記憶體單元,其中該等記憶體單元中之每一者包括間隔開的源極及汲極區域,其形成在一半導體基板中,並且具有一通道區域在其間延伸;一浮動閘極,其設置在整個該通道區域上方且與該通道區域絕緣;以及一第一閘極,其設置在該浮動閘極上方且與該浮動閘極絕緣。該複數個記憶體單元中之每一者配置成儲存與該浮動閘極上之電子數目相對應的權重值。該複數個記憶體單元配置成根據該複數個第一輸入及該等儲存權重值產生該複數個第一輸出。該複數個第一突觸的記憶體單元以列與行來排列。該複數個第一突觸包括複數條第一線,每條第一線將該等記憶體單元行中之一行中的該等第一閘極之至少一些電連接在一起;複數條第二線,每條第二線將該等記憶體單元列中之一列中的該等源極區域電連接在一起;以及複數條第三線,每條第三線將該等記憶體單元行中之一行中的該等汲極區域電連接在一起。該複數個第一突觸配置成接收該複數個第一輸入作為在該複數條第一線上之電壓,並且提供該複數個第一輸出作為在該複數條第二線上之電流。
一種神經網路裝置可以包括複數個第一突觸,其配置成接收複數個第一輸入並由此產生複數個第一輸出。該複數個第一突觸包括複數個記憶體單元,其中該等記憶體單元中之每一者包括間隔開的源極及汲極區域,其形成在一半導體基板中,並且具有一通道區域在其間延伸;一浮動閘極,其設置在整個該通道區域上方且與該通道區域絕緣;以及一第一閘極,其設置在該浮動閘極上方且與該浮動閘極絕緣。該複數個記憶體單元中之每一者配置成儲存與該浮動閘極上之電子數目相對應的權重值。該複數個記憶體單元配置成根據該複數個第一輸入及該等儲存權重值產生該複數個第一輸出。該複數個第一突觸的記憶體單元以列與行來排列。該複數個第一突觸包括複數條第一線,每條第一線將該等記憶體單元列中之一列中的該等第一閘極電連接在一起;複數條第二線,每條第二線將該等記憶體單元列中之一列中的該等源極區域電連接在一起;複數條第三線,每條第三線將該等記憶體單元行中之一行中的該等汲極區域電連接在一起;以及複數個電晶體,每個電晶體以串聯方式與該等第三線中之一電連接。該複數個第一突觸配置成接收該複數個第一輸入作為在該複數個電晶體的閘極上之電壓,並且提供該複數個第一輸出作為在該複數條第二線上之電流。
藉由閱讀說明書、申請專利範圍及附圖,本發明的其它目的及特徵將變得顯而易見。
本發明的人工神經網路利用CMOS技術與非揮發性記憶體陣列的組合。例如,美國專利第5,029,130號(「'130專利」)揭露一種分離式閘極非揮發性記憶體單元陣列。'130專利中所揭露之記憶體單元被顯示為圖2中之記憶體單元10。每個記憶體單元10包括在半導體基板12中形成之源極區域14及汲極區域16,並且在其間具有通道區域18。浮動閘極20形成在通道區域18的第一部分上方且與其絕緣(並控制其導電性),並且形成在汲極區域16的一部分上方。控制閘極22(亦即,第二通道控制閘極)具有第一部分22b及第二部分22c,其中第一部分22b設置在通道區域18的第二部分上方且與其絕緣(並控制其導電性),而第二部分22c向上延伸且在浮動閘極20上方。浮動閘極20及控制閘極22藉由閘極氧化物26與基板12絕緣。
藉由在控制閘極22上施加高正電壓來抹除記憶體單元10(其中從浮動閘極20移除電子),這導致浮動閘極20上的電子藉由富爾-諾罕穿隧(Fowler-Nordheim tunneling)從浮動閘極20隧穿中間絕緣體24至控制閘極22。
藉由在控制閘極22上施加正電壓及在汲極16上施加正電壓來程式化記憶體單元10(其中在浮動閘極20上放置電子)。電子流將從源極14流向汲極16。當電子到達控制閘極22與浮動閘極20之間的間隙時,電子將加速並變熱。由於來自浮動閘極20的靜電吸引力,一些加熱的電子將經由閘極氧化物26注入至浮動閘極20上。
藉由在汲極16及控制閘極22上施加正讀取電壓(這會導通在控制閘極下方之通道區域的部分)來讀取記憶體單元10。如果浮動閘極20帶正電(亦即,被抹除電子且電容耦合至汲極16上的正電壓),則浮動閘極20下方之通道區域18的部分亦導通,並且電流將流過通道區域18,因而被感測為抹除狀態或狀態「1」。如果浮動閘極20帶負電(亦即,用電子來程式化),則浮動閘極20下方之通道區域18的部分大部分或完全截止,並且電流不會流過(或者幾乎不流過)通道區域18,因而被感測為程式化狀態或狀態「0」。
在圖3中顯示用於記憶體單元10的傳統陣列架構。記憶體單元10以列與行來排放。在每一行中,記憶體器單元以鏡像方式首尾相連地排列,以致於它們形成為成對的記憶體單元,每對記憶體單元共用一個共同源極區域14(S),並且每一組相鄰的記憶體單元對共用一個共同汲極區域16(D)。給定的任何一列記憶體單元之所有源極區域14藉由源極線14a電連接在一起。給定的任何一行記憶體單元之所有汲極區域16藉由位元線16a電連接在一起。給定的任何一列記憶體單元之所有控制閘極22藉由控制閘極線22a電連接在一起。因此,雖然可以個別地程式化及讀取記憶體單元,但是逐列執行記憶體單元抹除(藉由在控制閘極極線22a上施加高電壓,一起抹除每一列記憶體單元)。如果要抹除一個特定記憶體單元,則在同一列中之所有其它記憶體單元亦將被抹除。
熟悉該項技藝者理解,源極與汲極可以互換,其中如圖4所示,浮動閘極20可以部分地在源極14上而不是汲極16上延伸。圖5最佳地顯示相應的記憶體單元架構,其包括記憶體單元10、源極線14a、位元線16a及控制閘極線22a。從圖可以明顯看出,同一列的記憶體單元10共用同一條源極線14a及同一條控制閘極線22a,而同一行的所有單元之汲極區域電連接至同一條位元線16a。陣列設計針對數位應用進行最佳化,並且例如藉由分別向被選控制閘極線22a及源極線14a施加1.6V和7.6V且將被選位元線16a接地,允許被選單元的個別程式化。藉由在未被選位元線16a上施加大於2特伏的電壓且將其餘的線接地,避免擾亂同一對中之未被選記憶體單元。不能個別地抹除記憶體單元10,因為汲極電壓(亦即,對於在列方向上共用同一條源極線14a的兩個相鄰單元,唯一可能是不同的電壓)僅微弱地影響負責抹除的過程(電子從浮動閘極20至控制閘極22的富爾-諾罕穿隧)。操作電壓的非限制性實例可以包括: 表1
  CG 22a BL 16a SL 14a
讀取1 0.5-3V 0.1-2V 0V
讀取2 0.5-3V 0-2V 2-0.1V
抹除 ~11-13V 0V 0V
程式化 1-2V 1-3 uA 9-10V
讀取1係單元電流在位元線上流出的一種讀取模式。 讀取2係單元電流在源極線上流出的一種讀取模式。
具有超過兩個閘極的分離式閘極記憶體單元亦是已知的。如圖6所示,知道具有源極區域14、汲極區域16、在通道區域18的第一部分上方之浮動閘極20、在通道區域18的第二部分上方之選擇閘極28(亦即,第二通道控制閘極)、在浮動閘極20上方之控制閘極22以及在源極區域14上方之抹除閘極30的記憶體單元(參見例如美國專利第6,747,310號)。在此,除浮動閘極20外,所有其它閘極皆是非浮動閘極,這意味著它們電連接或可連接至電壓或電流源。藉由將加熱的電子從通道區域18注入至浮動閘極20上來顯示程式化。藉由電子從浮動閘極20隧穿至抹除閘極30來顯示抹除。
如圖7所示,可以配置用於4-閘極記憶體單元陣列的架構。在此具體例中,每條水平選擇閘極線28a將用於那列記憶體單元的所有選擇閘極28電連接在一起。每條水平控制閘極線22a將用於那列記憶體單元的所有控制閘極22電連接在一起。每條水平源極線14a將共用源極區域14之兩列記憶體單元的所有源極區域14電連接在一起。每條位元線16a將用於那行記憶體單元的所有汲極區域16電連接在一起。每條抹除閘極線30a將共用抹除閘極30之兩列記憶體單元的所有抹除閘極30電連接在一起。如同先前的架構,可以獨立地程式化及讀取個別的記憶體單元。然而,沒有辦法個別地抹除記憶體單元。藉由在抹除閘極線30a上施加高的正電壓來執行抹除,這導致共用相同的抹除閘極線30a之兩列記憶體單元的同時抹除。示例性非限制操作電壓可以包括以下表2中的電壓(在此具體例中,選擇閘極線28a可以稱為字元線WL): 表2
  SG 28a BL 16a CG 22a EG 30a SL 14a
讀取1 0.5-2V 0.1-2V 0-2.6V 0-2.6V 0V
讀取2 0.5-2V 0-2V 0-2.6V 0-2.6V 2-0.1V
抹除 -0.5V/0V 0V 0V/-8V 8-12V 0V
程式化 1V 1uA 8-11V 4.5-5V 4.5-5V
讀取1係單元電流在位元線上流出的一種讀取模式。 讀取2係單元電流在源極線上流出的一種讀取模式。
為了在神經網路中使用上述非揮發性記憶體陣列,可以進行兩個修改。第一,如下面進一步說明,線路可以配置成使得每個記憶體單元可以個別地被程式化、抹除及讀取,而不會不利地影響陣列中之其它記憶體單元的記憶狀態。第二,可以提供記憶體單元的連續(類比)程式化。具體地,陣列中之每個記憶體單元的記憶或程式狀態(亦即,由浮動閘極上的電子數量所反映之浮動閘極上的電荷)可以獨立地且以對其它記憶體單元的最小干擾從完全抹除狀態連續地變成完全程式化狀態,反之亦然。這意味著單元儲存係類比的,或者至少可以儲存許多離散值中之一個,這允許對記憶體陣列中之所有單元進行非常精確且個別的調整,並且這使記憶體陣列非常適合儲存神經網路的突觸權重及對其進行微調。 記憶體單元程式化及儲存
記憶體單元中所儲存之神經網路權重等級賦值可以如圖8A所示均勻地間隔開,或者如圖8B所示不均勻地間隔開。可以使用雙向調整演算法(諸如圖9所示者)來實施非揮發性記憶體單元的程式化。Icell係正在被程式化的目標單元之讀取電流,而Itarget係在單元被理想地程式化時的期望讀取電流。讀取目標單元讀取電流Icell(步驟1),並且與目標讀取電流Itarget進行比較(步驟2)。如果目標單元讀取電流Icell大於目標讀取電流Itarget,則執行程式化調整程序(步驟3),以增加在浮動閘極20上之電子的數量(其中可以使用查找表或矽基近似函數(silicon based approximate function)來決定在控制閘極22上之期望的初始及增量程式化電壓VCG)(步驟3a-3b),可以根據需要重複步驟3b(步驟3c)。如果目標單元讀取電流Icell小於目標讀取電流Itarget,則執行抹除調整程序(步驟4),以減少在浮動閘極20上之電子的數量(其中可以使用查找表或矽基近似函數來決定在抹除閘極30上之期望的初始及增量擦除電壓VEG(步驟4a-4b),可以根據需要重複步驟4b(步驟4c)。如果程式化調整程序超越目標讀取電流,則執行擦除調整程序(步驟3d,然後從步驟4a開始),反之亦然(步驟4d,然後從步驟3a開始),直到達到目標讀取電流(在可接受的差異值內)為止。
非揮發性記憶體單元的程式化可以取而代之地以使用程式化調整的單向調整演算法來實施。關於這種演算法,首先完全抹除記憶體單元10,然後執行圖9中之程式化調整步驟3a-3c,直到目標記憶體單元10的讀取電流達到目標臨界值為止。可替代地,非揮發性記憶體單元的調整可以以使用抹除調整的單向調整演算法來實施。在這種方法中,首先完全程式化記憶體單元,然後執行圖9中之抹除調整步驟4a-4c,直到目標記憶體單元的讀取電流達到目標臨界值為止。
圖10係說明使用電流比較之權重映射的示圖。權重數位位元(例如,每個突觸的5-位元權重,其代表記憶體單元的目標數位權重)輸入至數位至類比轉換器(DAC)40,數位至類比轉換器(DAC)40將位元轉換成電壓Vout(例如, 64個電壓位準-5位元)。電壓至電流轉換器(V/I Conv) 42將Vout轉換成電流Iout(例如64個電流位準-5位元)。將電流Iout供應至電流比較器(IComp) 44。程式化或抹除演算法致能信號輸入至記憶體單元10(例如,抹除:增量EG電壓;或程式化:增量CG電壓)。將輸出的記憶體單元電流Icellout(亦即,來自讀取操作)供應至電流比較器(IComp)44。電流比較器(IComp)44將記憶體單元電流Icellout與從權重數位位元得出的電流Iout進行比較,以產生表示在記憶體單元10中儲存之權重的信號。
圖11係說明使用電壓比較之權重映射的示圖。權重數位位元(例如,每個突觸的5-位元權重)輸入至數位至類比轉換器(DAC)40,數位至類比轉換器(DAC)40將位元轉換成電壓Vout(例如,64個電壓位準-5位元)。將Vout供應至電壓比較器(VComp)46。程式化或抹除演算法致能信號輸入至記憶體單元10(例如,抹除:增量EG電壓;或程式化:增量CG電壓)。將輸出的記憶體單元電流Icellout供應至電流至電壓轉換器(I/V Conv)48,以便轉換成電壓V2out(例如,64個電壓位準-5位元)。將電壓V2out供應至電壓比較器(VComp)46。電壓比較器(VComp)46將電壓Vout與V2out進行比較,以產生表示在記憶體單元10中儲存之權重的信號。
權重映射比較的另一個具體例對於記憶體單元的輸入權重及/或輸出使用可變的脈衝寬度(亦即,脈衝寬度與權重值成正比或反比)。在權重映射比較的又一個具體例中,使用數位脈衝(例如,由時鐘產生的脈衝,其中脈衝數與權重值成正比或反比)於記憶體單元的輸入權重及/或輸出。 使用非揮發性記憶體單元陣列之神經網路
圖12概念性地說明使用非揮發性記憶體陣列之神經網路的非限制性實例。此實例將非揮發性記憶體陣列神經網路用於臉部辨識應用,但是可以使用以非揮發性記憶體陣列為基礎的神經網路來實施任何其它適當的應用。S0係輸入層,對於這個實例,其為具有5位元精度的32×32像素RGB影像(亦即,三個32×32像素陣列,一個陣列用於各自的顏色R、G及B,每個像素為5位元精度)。從S0至C1的突觸CB1具有不同組的權重及共享權重,並且用3×3像素重疊濾波器(核心)掃描輸入影像,將濾波器移位1個像素(或者根據模型所規定,超過1個像素)。具體地,提供用於影像的一個3×3部分中之9個像素的數值(亦即,稱為一個濾波器或核心)給突觸CB1,藉以將這9個輸入值乘以適當的權重,並且在計算乘法輸出的總和之後,由CB1的第一突觸確定及提供單一輸出值,以便產生數層特徵圖(feature map)C1中之一層的一個像素。然後,將3×3濾波器向右移動一個像素(亦即,添加在右側之三個像素的行及丟棄在左側之三個像素的行),藉以將這個新定位的濾波器中之9個像素值提供給突觸CB1,藉以將它們乘以相同的權重,並且由相關的突觸確定第二個單一輸出值。持續這個過程,直到3×3濾波器針對所有三種顏色及所有位元(精度值)掃描整個32×32像素影像為止。然後,使用不同組的權重重複這個過程,以產生C1的一個不同特徵圖,直到已經計算層C1的所有特徵圖為止。
在層C1處,在本實例中,具有16個特徵圖,每個特徵圖有30×30像素。每個像素是從輸入與核心相乘得到之新特徵像素,因此每個特徵圖是二維陣列,因此在這個實例中,突觸CB1構成16層二維陣列(記住這裡引用的神經元層及陣列是邏輯關係,不一定是實體關係-亦即,陣列不一定以實體二維陣列來定向)。16個特徵圖的每個特徵圖由應用於濾波器掃描之16組不同的突觸權重中之一組來產生。C1特徵圖可以全部有關於諸如邊界識別之同一個影像特徵的不同態樣。例如,第一圖(使用第一組權重所產生,第一組權重對用於產生此第一圖的所有掃描係共享的)可以識別圓形邊緣,第二圖(使用與第一組權重不同的第二組權重所產生)可以識別矩形邊緣或某些特徵的縱橫比等。
在從層C1到層S1之前應用激勵函數P1(池化(pooling)),其對來自每個特徵圖中之連續的非重疊2×2區域的數值進行池化。池化階段的目的是算出附近位置的平均值(或者亦可以使用最大值函數),以減少例如邊緣位置的依賴性及在進入下一階段之前減小資料大小。在層S1處,具有16個15×15特徵圖(亦即,16個不同陣列,每個陣列有15×15像素)。從層S1到層C2的CB2中之突觸及相關神經元用4×4濾波器掃描S1中之圖,並且有一個像素的濾波器移位。在層C2處,具有22個12×12特徵圖。在從層C2到層S2之前應用激勵函數P2(池化),其對來自每個特徵圖中之連續非重疊2×2區域的數值進行池化。在層S2處,具有22個6×6特徵圖。在從層S2至層C3的突觸CB3處應用激勵函數,其中層C3中之每個神經元連接至層S2中之每個圖。在層C3處,具有64個神經元。從層C3至輸出層S3的突觸CB4將S3完全連接至C3。層S3處的輸出包括10個神經元,其中最高輸出神經元確定類別。此輸出可能例如表示原始影像的內容之識別或分類。
使用一個陣列的非揮發性記憶體單元或一個陣列的非揮發性記憶體單元之一部分來實施每層的突觸。圖13係向量矩陣乘法(VMM)陣列的方塊圖,其包括非揮發性記憶體單元,並用作一輸入層與下一層之間的突觸。具體地,VMM陣列32包括非揮發性記憶體單元陣列33、抹除閘極及字元線閘極解碼器34、控制閘極解碼器35、位元線解碼器36以及源極線解碼器37,它們對記憶體單元陣列33的輸入進行解碼。此實例中之源極線解碼器37亦對記憶體單元陣列33的輸出進行解碼。或者,位元線解碼器36可以對非揮發性記憶體單元陣列33的輸出進行解碼。所述記憶體陣列提供兩個用途。第一,它儲存將由VMM陣列32使用的權重。第二,記憶體單元陣列有效地將輸入乘以記憶體單元陣列中所儲存的權重,並且沿著每條輸出線將它們加起來,以產生輸出,所述輸出將是下一層的輸入或最後一層的輸入。藉由執行乘法及加法函數,記憶體陣列不需要個別的乘法及加法邏輯電路,並且因原位記憶體計算而亦具功率效率。
記憶體單元陣列的輸出被供應至單個或差分求和電路38,其計算記憶體單元陣列的輸出之總和,以產生用於卷積的單一數值。然後,將加總的輸出值供應至激勵函數電路39,其對輸出進行整流。激勵函數電路可以是S形(sigmoid)、雙曲正切(tanh)或ReLU函數。來自電路39之經整流的輸出值變成作為下一層(例如,上述描述中的C1)之特徵圖的元素,然後應用於下一個突觸,以產生下一個特徵圖層或最後一層。因此,在此實例中,記憶體陣列33構成複數個突觸(其從先前的神經元層或從諸如影像資料庫的輸入層接收它們的輸入),並且求和電路38及激勵函數電路39構成複數個神經元。
圖14係描繪許多層的VMM陣列32之使用的方塊圖,這裡標記為VMM陣列32a、32b、32c、32d及32e。如圖14所示,藉由數位至類比轉換器31將輸入(表示為Inputx)從數位轉換成類比,並提供至輸入VMM 陣列32a。由輸入VMM 32a產生的輸出作為輸入提供給下一個VMM陣列(隱藏層級1)32b,其轉而產生作為輸入提供給下一個VMM陣列(隱藏層級2)32c的輸出等等。各種層的VMM 陣列32充當卷積神經網路(CNN)之不同層的突觸及神經元。每個VMM陣列32a、32b、32c、32d及32e可以是獨立的實體非揮發性記憶體陣列,或者多個VMM陣列可以利用同一個實體非揮發性記憶體陣列的不同部分,或者多個VMM陣列可以利用同一個實體非揮發性記憶體陣列的重疊部分。圖14所示的實例包含五層(32a、32b、32c、32d、32e):一個輸入層(32a)、兩個隱藏層(32b、32c)及兩個完全連接層(32d、32e)。所屬技術領域之具通常技藝人士將理解,這僅僅是示例性的,並且系統反而可以包括超過兩個隱藏層及超過兩個完全連接層。
圖15-16說明排列成汲極求和矩陣乘法器之堆疊式閘極記憶體單元的陣列之配置。堆疊式閘極記憶體單元10顯示在圖15中,並且如同上述分離閘極型記憶體單元的情況,包括源極區域14及汲極區域16,在它們之間具有通道區域18。然而,關於堆疊式閘極記憶體單元配置,浮動閘極20在整個通道區域18上方延伸(並且控制整個通道區域18的導電性),以及控制閘極22設置在浮動閘極上方。沒有其它閘極。可以藉由在汲極側上的熱電子注入或來自基板12的隧穿來對記憶體單元進行程式化。可以藉由在基板12、源極區域14及/或汲極區域16上施加高的正電壓來對記憶體單元進行抹除,其中電子從浮動閘極20隧穿至基板12。藉由在控制閘極22及源極區域14上施加讀取電壓並且感測流過通道區域18之任何電流來讀取記憶體單元。示例性非限制操作電壓可以包括下面表3中的那些電壓: 表3
  CG 22a BL 16a SL 14a 基板12
讀取1 0-5V 0.1-2V 0-2V 0V
讀取2 0.5-2V 0-2V 2-0.1V 0V
抹除 0V/-12V 0V 0V 20V/8V
程式化 5-12V ~10-50uA 4.5V 0V
讀取1係單元電流在位元線上流出的一種讀取模式。 讀取2係單元電流在源極線上流出的一種讀取模式。
圖16顯示使用圖15的堆疊式閘極記憶體單元10之記憶體單元陣列架構,其中控制閘極線22a及源極線14a在水平/列方向上延伸,而位元線16a在垂直/行方向上延伸。在每個記憶體單元用那個單元的適當權重值來程式化之後,所述陣列充當位元線求和矩陣乘法器。矩陣電壓輸入係Vin0-Vin3且放置在控制閘極線22a上。在位元線16a上產生矩陣輸出Iout0……Ioutn。對於這行中之所有單元,每個輸出Iout係輸入電流I乘以在單元中所儲存之權重W的總和: Iout=Σ(Ii*Wij) 其中「i」代表列,而「j」代表行,這是記憶體單元所在的位置。在如圖16之Vin0-Vin3所示,施加輸入電壓而不是輸入電流之情況下,對於這行中之所有單元,每個輸出Iout與輸入電壓乘以在單元中所儲存之權重W的總和成正比: IoutαΣ(Vi*Wij)。
每個記憶體行充當具有總權重值之單個神經元,所述總權重值被表示為由那行之記憶體單元中所儲存之權重值的總和來決定的輸出電流Iout。任何給定的神經元之輸出係電流的形式,其接著可以在經過激勵函數電路的調整之後用作下一個後續VMM陣列級的輸入電流Iin。
有鑑於輸入係電壓及輸出係電流,在圖16中,在第一級之後的每個後續VMM級較佳地包括用於將來自前一個VMM級的輸入電流轉換成要作為輸入電壓Vin之電壓的電路。圖17說明這樣的電流至電壓轉換電路的一個實例,其係一列經修改記憶體單元,這列經修改記憶體單元將輸入電流Iin0……Iin1對數轉換成用於施加至後續級的輸入電壓Vin0……Vin1。在弱倒轉中施加偏壓於本文所述之記憶體單元, Ids=Io*e (Vg-Vth)/kVt=w*Io*e (Vg)/kVt其中w=e (-Vth)/kVt對於使用記憶體單元將輸入電流轉換成輸入電壓之I至V對數轉換器: Vg=k*Vt*log[Ids/wp*Io] 在此,wp係參考或周邊記憶體單元的w。對於用作向量矩陣乘法器VMM的記憶體陣列,輸出電流為: Iout=wa*Io*e (Vg)/kVt,亦即 Iout=(wa/wp)*Iin=W*Iin W=e (Vthp-Vtha)/kVt在此,wa=記憶體陣列中之每個記憶體單元的w。可以使用控制閘極線22a作為用於輸入電壓之記憶體單元的輸入,其藉由開關BLR連接至位元線16a,所述開關BLR在電流至電壓轉換期間係關閉的。
或者,本文所描述之VMM陣列的非揮發性記憶體單元可以配置成在線性區域中操作: Ids=beta*(Vgs-Vth)*Vds;beta=u*Cox*Wt/L, 其中Wt及L分別是電晶體的寬度及長度 Wα(Vgs-Vth),其表示權重W與(Vgs-Vth)成正比。
可以使用控制閘極線或位元線或源極線作為在線性區域中操作之記憶體單元的輸入。可以使用位元線或源極線作為輸出神經元的輸出。
對於I至V線性轉換器,可以使用在線性區域中操作之記憶體單元(例如,參考記憶體單元或周邊記憶體單元)或電晶體或者電阻器,將輸入/輸出電流線性地轉換成輸入/輸出電壓。或者,本文所述之VMM陣列的非揮發性記憶體單元可以配置成在飽和區域中操作: Ids=α 1/2*beta*(Vgs-Vth) 2;beta=u*Cox*Wt/L Wα(Vgs-Vth) 2,其表示權重W與(Vgs-Vth) 2成正比。
可以使用控制閘極線作為在飽和區域中操作之記憶體單元的輸入。可以使用位元線或源極線作為輸出神經元的輸出。或者,本文所述之VMM陣列的非揮發性記憶體單元可以使用在所有區域或其組合中(次臨界、線性或飽和)。任何上述電流至電壓轉換電路或技術可以與本文的任何具體例一起使用,以致於處於電流形式之來自任何給定神經元的電流輸出可以在經過激勵函數電路的調整之後用作下一個後續VMM陣列級的輸入。
圖18說明排列成汲極求和矩陣乘法器之圖15的堆疊式閘極記憶體單元10之陣列的另一個配置。用於圖18之陣列的線路與圖16的陣列中之線路相同。然而,在源極線14a上施加矩陣電壓輸入Vin0-Vin1,以及在位元線16a上產生矩陣電流輸出Iout0……IoutN(亦即,對於這行中之所有單元,每個輸出Iout係與單元中所儲存之權重W成正比的單元電流之總和)。如同前一個具體例,任何給定神經元的輸出處於電流形式,其接著可以在經過激勵函數電路的調整之後用作下一個後續VMM陣列級的輸入。
圖19說明排列成源極求和矩陣乘法器之圖15的堆疊式閘極記憶體單元10之陣列的另一個配置。用於圖19之陣列的線路與圖16的陣列中之線路相同。然而,在位元線16a上施加矩陣電壓輸入Vin0-Vinn,以及在源極線14a上產生矩陣電流輸出Iout0……Iout1(亦即,對於這列中之所有單元,每個輸出Iout係與單元中所儲存之權重W成正比的單元電流之總和)。如同先前的具體例,任何給定神經元的輸出處於電流形式,其接著可以在經過激勵函數電路的調整之後用作下一個後續VMM陣列級的輸入。
圖20說明排列成源極求和矩陣乘法器之圖15的堆疊式閘極記憶體單元10之陣列的另一個配置。除源極線14a垂直地而不是水平地延伸外,用於圖20的陣列之線路與圖16的線路相同。具體地,每行記憶體單元包括源極線14a,源極線14a將那行中之記憶體單元的所有源極區域14連接在一起,以致於可以對單元進行個別的程式化、讀取及抹除。在每個記憶體單元用那個單元的適當權重值來程式化之後,所述陣列充當源極線求和矩陣乘法器。矩陣電壓輸入係Vin0-Vin3且放置在控制閘極線22a上。在源極線14a上產生矩陣輸出Iout0……Ioutn。對於這行中之所有單元,每個輸出Iout係與單元中所儲存之權重W成正比的單元電流之總和。如同先前的具體例,任何給定神經元的輸出處於電流形式,其接著可以在經過激勵函數電路的調整之後用作下一個後續VMM陣列級的輸入。
圖21說明排列成汲極求和矩陣乘法器之圖15的堆疊式閘極記憶體單元10之陣列的另一個配置。用於圖21的陣列之線路與圖20的線路相同。在每個記憶體單元用那個單元的適當權重值來程式化之後,所述陣列充當汲極求和矩陣乘法器。矩陣電壓輸入係Vin0-Vin3且放置在控制閘極線22a上。在位元線16a上產生矩陣輸出Iout0……Ioutn。對於這行中之所有單元,每個輸出Iout係與單元中所儲存之權重W成正比的單元電流之總和。如同先前的具體例,任何給定神經元的輸出處於電流形式,其接著可以在經過激勵函數電路的調整之後用作下一個後續VMM陣列級的輸入。
圖22說明排列成源極求和矩陣乘法器之圖15的堆疊式閘極記憶體單元10之陣列的另一個配置。除控制閘極線22a垂直地而不是水平地延伸外,用於圖22的陣列之線路與圖16的線路相同。具體地,每行記憶體單元包括控制閘極線22a,控制閘極線22a將那行中之所有控制閘極22連接在一起。在每個記憶體單元用那個單元的適當權重值來程式化之後,所述陣列充當源極求和矩陣乘法器。矩陣電壓輸入係Vin0-Vinn且放置在控制閘極線22a上。在源極線14a上產生矩陣電流輸出Iout0……Iout1。對於這列中之所有單元,每個輸出Iout係與單元中所儲存之權重W成正比的單元電流之總和。如同先前的具體例,任何給定神經元的輸出處於電流形式,其接著可以在經過激勵函數電路的調整之後用作下一個後續VMM陣列級的輸入。
圖23說明排列成源極求和矩陣乘法器之圖15的堆疊式閘極記憶體單元10之陣列的另一個配置。除每行記憶體單元具有兩條控制閘極線22a外,用於圖23的陣列之線路與圖22的線路相同。具體地,每行記憶體單元包括第一控制閘極線22a1及第二控制閘極線22a2。對於每一行,第一控制閘極線22a1將在偶數列中之所述行中的所有記憶體單元之控制閘極22連接在一起,以及第二控制閘極線22a2將在奇數列中之所述行中的所有記憶體單元之控制閘極22連接在一起。在每個記憶體單元用那個單元的適當權重值來程式化之後,所述陣列充當源極求和矩陣乘法器。矩陣電壓輸入係Vin0-Vinn且放置在控制閘極線22a1及22a2上。在源極線14a上產生矩陣輸出Iout0……Iout2。對於這列中之所有單元,每個輸出Iout係與單元中所儲存之權重W成正比的單元電流之總和。每行的兩個輸入可以是差分輸入。如同先前的具體例,任何給定神經元的輸出處於電流形式,其接著可以在經過激勵函數電路的調整之後用作下一個後續VMM陣列級的輸入。
圖24說明排列成汲極求和矩陣乘法器之圖15的堆疊式閘極記憶體單元10之陣列的另一個配置。除每條位元線包括與位元線串接之位元線緩衝電晶體60(亦即,位元線上之任何電流 在其源極與汲極之間流經電晶體)外,用於圖24的陣列之線路與圖19的陣列中之線路相同。電晶體60充當分度開關(graduated switch),其在增加電晶體的閘極端子上之輸入電壓時選擇地且逐漸地使位元線接通(亦即,電晶體將位元線耦接至其電流或電壓源)。將矩陣電壓輸入Vin0……Vinn提供至電晶體60的閘極,並且在源極線14a上提供矩陣電流輸出Iout0……Iout1。這種配置的優點在於:矩陣輸入可以作為(用以操作電晶體60的)電壓來提供,而不是以電壓形式將輸入直接供應至位元線。這允許使用恆壓源來操作位元線,其中使用電晶體60逐漸地將恆壓源耦接至位元線,以回應被供應至電晶體的閘極之輸入電壓Vin,從而無需供應電壓輸入至記憶體陣列。如同先 前具體例,任何給定神經元的輸出處於電流形式,其接著可以在經過激勵函數電路的調整之後用作下一個後續VMM陣列級的輸入。
可以在控制器100的控制下執行上面所有功能,控制器100連接至用於神經網路功能之上述記憶體單元10的記憶體陣列。如圖25所示,控制器100較佳地與記憶體陣列120在同一個半導體晶片或基板110上。然而,控制器100亦可以位於不同的半導體晶片或基板上,並且可以是設置在半導體晶片或基板110上或以外之不同位置的多個控制器。
應當理解,本發明並非侷限於上面所述及本文所示之具體例,而是包括落入任何請求項的範圍內之任何及所有變化。例如,本文中對本發明的引用沒有意欲限制任何請求或請求項的範圍,而是僅引用可能由一個或多個請求項涵蓋之一個或多個特徵。 上述材料、製程及數值實例僅是示例性的,並且不應該被視為對請求項的限制。單層材料可以形成為多層的這種或相似材料,反之亦然。 雖然每個記憶體單元陣列的輸出在傳送至下一個神經元層之前藉由濾波器壓縮來操作,但是它們沒有必要如此。最後,對於上述每個矩陣乘法器陣列具體例,在未用於輸入電壓或輸出電流的任何線路方面,可以在操作期間將本文列表中所揭露之用於記憶體單元配置的標稱讀取電壓施加至那些線路。
應當注意,如本文所使用,術語「在......上方」及「在......上」均包含性地包括「直接在......上」(沒有中間材料、元件或空間設置在其間)及「間接在......上」(中間材料、元件或空間設置在其間)。同樣地,術語「相鄰」包括「直接相鄰」(沒有中間材料、元件或空間設置在其間)及「間接相鄰」(中間材料、元件或空間設置在其間),「安裝至」包括「直接安裝至」(沒有中間材料、元件或空間設置在其間)及「間接安裝至」(中間材料、元件或空間設置在其間),以及「電耦接至」包括「直接電耦接至」(沒有中間材料或元件在其間將元件電連接在一起)及「間接電耦接至」(中間材料或元件在其間將元件電連接在一起)。例如,「在基板上方」形成元件可以包括在基板上直接形成元件而在其間沒有中間材料/元件,以及在基板上間接形成元件而在其間具有一個或多個中間材料/元件。
10:記憶體單元 12:半導體基板 14:源極區域 14a:源極線 16:汲極區域 16a:位元線 18:通道區域 20:浮動閘極 22:控制閘極 22a:控制閘極線 22a1:第一控制閘極線 22a2:第二控制閘極線 22b:控制閘極的第一部分 22c:控制閘極的第二部分 24:中間絕緣體 26:閘極氧化物 28:選擇閘極 28a:選擇閘極線 30:抹除閘極 30a:抹除閘極線 31:數位至類比轉換器 32:VMM陣列 32a:VMM陣列 32b:VMM陣列 32c:VMM陣列 32d:VMM陣列 32e:VMM陣列 33:非揮發性記憶體單元陣列 34:抹除閘極及字元線閘極解碼器 35:控制閘極解碼器 36:位元線解碼器 37:源極線解碼器 38:單個或差分求和電路 39:激勵函數電路 40:數位至類比轉換器(DAC) 42:電壓至電流轉換器(V/I Conv) 44:電流比較器(IComp) 46:電壓比較器(VComp) 48:電流至電壓轉換器(I/V Conv) 60:位元線緩衝電晶體 100:控制器 110:半導體晶片或基板 120:記憶體陣列 C1:層 C2:層 C3:層 CB1:突觸 CB2:突觸 CB3:突觸 CB4:突觸 Icellout:記憶體單元電流 Iin0:輸入電流 Iin1:輸入電流 Iout:電流 Iout0:矩陣電流輸出 Iout1:矩陣電流輸出 Ioutn-1:矩陣電流輸出 Ioutn:矩陣電流輸出 P1: 激勵函數 P2: 激勵函數 S0: 輸入層 S1: 層 S2: 層 S3: 輸出層 V2out:電壓 Vin0:矩陣電壓輸入 Vin1:矩陣電壓輸入 Vin2:矩陣電壓輸入 Vin3:矩陣電壓輸入 Vinn-1:矩陣電壓輸入 Vinn-2:矩陣電壓輸入 Vinn-3:矩陣電壓輸入 Vinn:矩陣電壓輸入 Vout:電壓
圖1係說明人工神經網路之示圖。
圖2係傳統2-閘極非揮發性記憶體單元的側視剖面圖。
圖3係說明用於圖2的記憶體單元之傳統陣列架構的示圖。
圖4係傳統2-閘極非揮發性記憶體單元的側視剖面圖。
圖5係說明用於圖4的記憶體單元之傳統陣列架構的示圖。
圖6係傳統4-閘極非揮發性記憶體單元的側視剖面圖。
圖7係說明用於圖6的記憶體單元之傳統陣列架構的示圖。
圖8A係說明均勻間隔開的神經網路權重等級賦值之示圖。
圖8B係說明不均勻間隔開的神經網路權重等級賦值之示圖。
圖9係說明雙向調整式演算法的流程圖。
圖10係說明使用電流比較的權重映射之方塊圖。
圖11係說明使用電壓比較的權重映射之方塊圖。
圖12係說明使用非揮發性記憶體陣列的示例性神經網路之不同層級的示圖。
圖13係說明向量矩陣乘法器的方塊圖。
圖14係說明向量矩陣乘法器的各種層級之方塊圖。
圖15係堆疊式閘極非揮發性記憶體單元的側視剖面圖。
圖16係說明排列成汲極求和矩陣乘法器之圖15的堆疊式閘極記憶體單元之陣列的架構之示意圖。
圖17係說明使用堆疊式閘極記憶體單元之電流至電壓轉換器的示意圖。
圖18至24係說明排列成汲極或源極求和矩陣乘法器之圖15的堆疊式閘極記憶體單元之陣列的架構之示意圖。
圖25係說明與記憶體陣列在同一個晶片上之用於實施記憶體陣列的操作之控制器的示圖。
10:記憶體單元
14a:源極線
16a:位元線
22a:控制閘極線
Iout0:矩陣電流輸出
Iout1:矩陣電流輸出
Ioutn-1:矩陣電流輸出
Ioutn:矩陣電流輸出
Vin0:矩陣電壓輸入
Vin1:矩陣電壓輸入
Vin2:矩陣電壓輸入
Vin3:矩陣電壓輸入

Claims (32)

  1. 一種神經網路裝置,包括: 複數個第一突觸,其配置成接收複數個第一輸入並由此產生複數個第一輸出,其中該複數個第一突觸包括: 複數個記憶體單元,其中該等記憶體單元中之每一者包括間隔開的源極區域及汲極區域,其形成在一半導體基板中,並且具有一通道區域在其間延伸;一浮動閘極,其設置在整個該通道區域上方且與該通道區域絕緣;以及一第一閘極,其設置在該浮動閘極上方且與該浮動閘極絕緣; 該複數個記憶體單元中之每一者配置成儲存與該浮動閘極上之電子數目相對應的權重值; 該複數個記憶體單元配置成根據該複數個第一輸入及所儲存之該等權重值產生該複數個第一輸出; 其中該複數個第一突觸的記憶體單元以列與行來排列,以及其中該複數個第一突觸包括: 複數條第一線,每條第一線將該等記憶體單元列中之一列中的該等第一閘極電連接在一起; 複數條第二線,每條第二線將該等記憶體單元列中之一列中的該等源極區域電連接在一起;以及 複數條第三線,每條第三線將該等記憶體單元行中之一行中的該等汲極區域電連接在一起; 其中該複數個第一突觸配置成接收該複數個第一輸入作為在該複數條第一線上或在該複數條第二線上之電壓,並且提供該複數個第一輸出作為在該複數條第三線上之電流。
  2. 如請求項1之神經網路裝置,其中,該複數個第一突觸配置成接收該複數個第一輸入作為在該複數條第一線上之電壓。
  3. 如請求項1之神經網路裝置,其中,該複數個第一突觸配置成接收該複數個第一輸入作為在該複數條第二線上之電壓。
  4. 如請求項1之神經網路裝置,進一步包括: 複數個第一神經元,其配置成接收該複數個第一輸出。
  5. 如請求項4之神經網路裝置,進一步包括: 複數個第二突觸,其配置成從該複數個第一神經元接收複數個第二輸入並由此產生複數個第二輸出,其中該複數個第二突觸包括: 複數個第二記憶體單元,其中該等第二記憶體單元中之每一者包括間隔開的第二源極區域及第二汲極區域,其形成在該半導體基板中,並且具有一第二通道區域在其間延伸;一第二浮動閘極,其設置在整個該第二通道區域上方且與該第二通道區域絕緣;以及一第二閘極,其設置在該第二浮動閘極上方且與該第二浮動閘極絕緣; 該複數個第二記憶體單元中之每一者配置成儲存與該第二浮動閘極上之電子數目相對應的第二權重值; 該複數個第二記憶體單元配置成根據該複數個第二輸入及所儲存之該等第二權重值產生該複數個第二輸出; 其中該複數個第二突觸的第二記憶體單元以列與行來排列,以及其中該複數個第二突觸包括: 複數條第四線,每條第四線將該等第二記憶體單元列中之一列中的該等第二閘極電連接在一起; 複數條第五線,每條第五線將該等第二記憶體單元列中之一列中的該等第二源極區域電連接在一起; 複數條第六線,每條第六線將該等第二記憶體單元行中之一行中的該等第二汲極區域電連接在一起; 其中該複數個第二突觸配置成接收該複數個第二輸入作為在該複數條第四線上或在該複數條第五線上之電壓,並且提供該複數個第二輸出作為在該複數條第六線上之電流。
  6. 如請求項5之神經網路裝置,其中,該複數個第二突觸配置成接收該複數個第二輸入作為在該複數條第四線上之電壓。
  7. 如請求項5之神經網路裝置,其中,該複數個第二突觸配置成接收該複數個第二輸入作為在該複數條第五線上之電壓。
  8. 如請求項5之神經網路裝置,進一步包括: 複數個第二神經元,其配置成接收該複數個第二輸出。
  9. 一種神經網路裝置,包括: 複數個第一突觸,其配置成接收複數個第一輸入並由此產生複數個第一輸出,其中該複數個第一突觸包括: 複數個記憶體單元,其中該等記憶體單元中之每一者包括間隔開的源極區域及汲極區域,其形成在一半導體基板中,並且具有一通道區域在其間延伸;一浮動閘極,其設置在整個該通道區域上方且與該通道區域絕緣;以及一第一閘極,其設置在該浮動閘極上方且與該浮動閘極絕緣; 該複數個記憶體單元中之每一者配置成儲存與該浮動閘極上之電子數目相對應的權重值; 該複數個記憶體單元配置成根據該複數個第一輸入及所儲存之該等權重值產生該複數個第一輸出; 其中該複數個第一突觸的記憶體單元以列與行來排列,以及其中該複數個第一突觸包括: 複數條第一線,每條第一線將該等記憶體單元列中之一列中的該等第一閘極電連接在一起; 複數條第二線,每條第二線將該等記憶體單元列中之一列中的該等源極區域電連接在一起; 複數條第三線,每條第三線將該等記憶體單元行中之一行中的該等汲極區域電連接在一起: 其中該複數個第一突觸配置成接收該複數個第一輸入作為在該複數條第三線上之電壓,並且提供該複數個第一輸出作為在該複數條第二線上之電流。
  10. 如請求項9之神經網路裝置,進一步包括: 複數個第一神經元,其配置成接收該複數個第一輸出。
  11. 如請求項10之神經網路裝置,進一步包括: 複數個第二突觸,其配置成從該複數個第一神經元接收複數個第二輸入並由此產生複數個第二輸出,其中該複數個第二突觸包括: 複數個第二記憶體單元,其中該等第二記憶體單元中之每一者包括間隔開的第二源極區域及第二汲極區域,其形成在該半導體基板中,並且具有一第二通道區域在其間延伸;一第二浮動閘極,其設置在整個該第二通道區域上方且與該第二通道區域絕緣;以及一第二閘極,其設置在該第二浮動閘極上方且與該第二浮動閘極絕緣; 該複數個第二記憶體單元中之每一者配置成儲存與該第二浮動閘極上之電子數目相對應的第二權重值; 該複數個第二記憶體單元配置成根據該複數個第二輸入及所儲存之該等第二權重值產生該複數個第二輸出; 其中該複數個第二突觸的第二記憶體單元以列與行來排列,以及其中該複數個第二突觸包括: 複數條第四線,每條第四線將該等第二記憶體單元列中之一列中的該等第二閘極電連接在一起; 複數條第五線,每條第五線將該等第二記憶體單元列中之一列中的該等第二源極區域電連接在一起; 複數條第六線,每條第六線將該等第二記憶體單元行中之一行中的該等第二汲極區域電連接在一起; 其中該複數個第二突觸配置成接收該複數個第二輸入作為在該複數條第六線上之電壓,並且提供該複數個第二輸出作為在該複數條第五線上之電流。
  12. 如請求項11之神經網路裝置,進一步包括: 複數個第二神經元,其配置成接收該複數個第二輸出。
  13. 一種神經網路裝置,包括: 複數個第一突觸,其配置成接收複數個第一輸入並由此產生複數個第一輸出,其中該複數個第一突觸包括: 複數個記憶體單元,其中該等記憶體單元中之每一者包括間隔開的源極區域及汲極區域,其形成在一半導體基板中,並且具有一通道區域在其間延伸;一浮動閘極,其設置在整個該通道區域上方且與該通道區域絕緣;以及一第一閘極,其設置在該浮動閘極上方且與該浮動閘極絕緣; 該複數個記憶體單元中之每一者配置成儲存與該浮動閘極上之電子數目相對應的權重值; 該複數個記憶體單元配置成根據該複數個第一輸入及所儲存之該等權重值產生該複數個第一輸出; 其中該複數個第一突觸的記憶體單元以列與行來排列,以及其中該複數個第一突觸包括: 複數條第一線,每條第一線將該等記憶體單元列中之一列中的該等第一閘極電連接在一起; 複數條第二線,每條第二線將該等記憶體單元行中之一行中的該等源極區域電連接在一起; 複數條第三線,每條第三線將該等記憶體單元行中之一行中的該等汲極區域電連接在一起; 其中該複數個第一突觸配置成接收該複數個第一輸入作為在該複數條第一線上之電壓,並且提供該複數個第一輸出作為在該複數條第二線上或在該複數條第三線上之電流。
  14. 如請求項13之神經網路裝置,其中,該複數個第一突觸配置成提供該複數個第一輸出作為在該複數條第二線上之電流。
  15. 如請求項13之神經網路裝置,其中,該複數個第一突觸配置成提供該複數個第一輸出作為在該複數條第三線上之電流。
  16. 如請求項13之神經網路裝置,進一步包括: 複數個第一神經元,其配置成接收該複數個第一輸出。
  17. 如請求項16之神經網路裝置,進一步包括: 複數個第二突觸,其配置成從該複數個第一神經元接收複數個第二輸入並由此產生複數個第二輸出,其中該複數個第二突觸包括: 複數個第二記憶體單元,其中該等第二記憶體單元中之每一者包括間隔開的第二源極區域及第二汲極區域,其形成在該半導體基板中,並且具有一第二通道區域在其間延伸;一第二浮動閘極,其設置在整個該第二通道區域上方且與該第二通道區域絕緣;以及一第二閘極,其設置在該第二浮動閘極上方且與該第二浮動閘極絕緣; 該複數個第二記憶體單元中之每一者配置成儲存與該第二浮動閘極上之電子數目相對應的第二權重值; 該複數個第二記憶體單元配置成根據該複數個第二輸入及所儲存之該等第二權重值產生該複數個第二輸出; 其中該複數個第二突觸的第二記憶體單元以列與行來排列,以及其中該複數個第二突觸包括: 複數條第四線,每條第四線將該等第二記憶體單元列中之一列中的該等第二閘極電連接在一起; 複數條第五線,每條第五線將該等第二記憶體單元行中之一行中的該等第二源極區域電連接在一起; 複數條第六線,每條第六線將該等第二記憶體單元行中之一行中的該等第二汲極區域電連接在一起; 其中該複數個第二突觸配置成接收該複數個第二輸入作為在該複數條第四線上之電壓,並且提供該複數個第二輸出作為在該複數條第五線上或在該複數條第六線上之電流。
  18. 如請求項17之神經網路裝置,其中,該複數個第二突觸配置成提供該複數個第二輸出作為在該複數條第五線上之電流。
  19. 如請求項17之神經網路裝置,其中,該複數個第二突觸配置成提供該複數個第二輸出作為在該複數條第六線上之電流。
  20. 如請求項17之神經網路裝置,進一步包括: 複數個第二神經元,其配置成接收該複數個第二輸出。
  21. 一種神經網路裝置,包括: 複數個第一突觸,其配置成接收複數個第一輸入並由此產生複數個第一輸出,其中該複數個第一突觸包括: 複數個記憶體單元,其中該等記憶體單元中之每一者包括間隔開的源極區域及汲極區域,其形成在一半導體基板中,並且具有一通道區域在其間延伸;一浮動閘極,其設置在整個該通道區域上方且與該通道區域絕緣;以及一第一閘極,其設置在該浮動閘極上方且與該浮動閘極絕緣; 該複數個記憶體單元中之每一者配置成儲存與該浮動閘極上之電子數目相對應的權重值; 該複數個記憶體單元配置成根據該複數個第一輸入及所儲存之該等權重值產生該複數個第一輸出; 其中該複數個第一突觸的記憶體單元以列與行來排列,以及其中該複數個第一突觸包括: 複數條第一線,每條第一線將該等記憶體單元行中之一行中的該等第一閘極之至少一些電連接在一起; 複數條第二線,每條第二線將該等記憶體單元列中之一列中的該等源極區域電連接在一起; 複數條第三線,每條第三線將該等記憶體單元行中之一行中的該等汲極區域電連接在一起; 其中該複數個第一突觸配置成接收該複數個第一輸入作為在該複數條第一線上之電壓,並且提供該複數個第一輸出作為在該複數條第二線上之電流。
  22. 如請求項21之神經網路裝置,其中,每條第一線電連接至該等記憶體單元行中之一行中的記憶體單元之所有第一閘極。
  23. 如請求項21之神經網路裝置,其中,該等記憶體單元列以交替的偶數及奇數列來排列,以及其中: 每行記憶體單元包括:該等第一線中之一條將在該等奇數列的記憶體單元中之該行記憶體單元中的記憶體單元之第一閘極電連接在一起;以及該等第一線中之另一條將在該等偶數列的記憶體單元中之該行記憶體單元中的記憶體單元之第一閘極電連接在一起。
  24. 如請求項21之神經網路裝置,進一步包括: 複數個第一神經元,其配置成接收該複數個第一輸出。
  25. 如請求項24之神經網路裝置,進一步包括: 複數個第二突觸,其配置成從該複數個第一神經元接收複數個第二輸入並由此產生複數個第二輸出,其中該複數個第二突觸包括: 複數個第二記憶體單元,其中該等第二記憶體單元中之每一者包括間隔開的第二源極區域及第二汲極區域,其形成在該半導體基板中,並且具有一第二通道區域在其間延伸;一第二浮動閘極,其設置在整個該第二通道區域上方且與該第二通道區域絕緣;以及一第二閘極,其設置在該第二浮動閘極上方且與該第二浮動閘極絕緣; 該複數個第二記憶體單元中之每一者配置成儲存與該第二浮動閘極上之電子數目相對應的第二權重值; 該複數個第二記憶體單元配置成根據該複數個第二輸入及所儲存之該等第二權重值產生該複數個第二輸出; 其中該複數個第二突觸的第二記憶體單元以列與行來排列,以及其中該複數個第二突觸包括: 複數條第四線,每條第四線將該等第二記憶體單元行中之一行中的該等第二閘極之至少一些電連接在一起; 複數條第五線,每條第五線將該等第二記憶體單元列中之一列中的該等第二源極區域電連接在一起; 複數條第六線,每條第六線將該等第二記憶體單元行中之一行中的該等第二汲極區域電連接在一起; 其中該複數個第二突觸配置成接收該複數個第二輸入作為在該複數條第四線上之電壓,並且提供該複數個第二輸出作為在該複數條第五線上之電流。
  26. 如請求項25之神經網路裝置,其中,每條第四線電連接至該等第二記憶體單元行中之一行中的第二記憶體單元之所有第二閘極。
  27. 如請求項25之神經網路裝置,其中,該等第二記憶體單元列以交替的偶數及奇數列來排列,以及其中: 每行第二記憶體單元包括:該等第四線中之一條將在該等奇數列的第二記憶體單元中之該行第二記憶體單元中的第二記憶體單元之第二閘極電連接在一起;以及該等第四線中之另一條將在該等偶數列的第二記憶體單元中之該行第二記憶體單元中的第二記憶體單元之第二閘極電連接在一起。
  28. 如請求項25之神經網路裝置,進一步包括: 複數個第二神經元,其配置成接收該複數個第二輸出。
  29. 一種神經網路裝置,包括: 複數個第一突觸,其配置成接收複數個第一輸入並由此產生複數個第一輸出,其中該複數個第一突觸包括: 複數個記憶體單元,其中該等記憶體單元中之每一者包括間隔開的源極區域及汲極區域,其形成在一半導體基板中,並且具有一通道區域在其間延伸;一浮動閘極,其設置在整個該通道區域上方且與該通道區域絕緣;以及一第一閘極,其設置在該浮動閘極上方且與該浮動閘極絕緣; 該複數個記憶體單元中之每一者配置成儲存與該浮動閘極上之電子數目相對應的權重值; 該複數個記憶體單元配置成根據該複數個第一輸入及所儲存之該等權重值產生該複數個第一輸出: 其中該複數個第一突觸的記憶體單元以列與行來排列,以及其中該複數個第一突觸包括: 複數條第一線,每條第一線將該等記憶體單元列中之一列中的該等第一閘極電連接在一起; 複數條第二線,每條第二線將該等記憶體單元列中之一列中的該等源極區域電連接在一起; 複數條第三線,每條第三線將該等記憶體單元行中之一行中的該等汲極區域電連接在一起; 複數個電晶體,每個電晶體以串聯方式與該等第三線中之一電連接; 其中該複數個第一突觸配置成接收該複數個第一輸入作為在該複數個電晶體的閘極上之電壓,並且提供該複數個第一輸出作為在該複數條第二線上之電流。
  30. 如請求項29之神經網路裝置,進一步包括: 複數個第一神經元,其配置成接收該複數個第一輸出。
  31. 如請求項30之神經網路裝置,進一步包括: 複數個第二突觸,其配置成從該複數個第一神經元接收複數個第二輸入並由此產生複數個第二輸出,其中該複數個第二突觸包括: 複數個第二記憶體單元,其中該等第二記憶體單元中之每一者包括間隔開的第二源極區域及第二汲極區域,其形成在該半導體基板中,並且具有一第二通道區域在其間延伸;一第二浮動閘極,其設置在整個該第二通道區域上方且與該第二通道區域絕緣;以及一第二閘極,其設置在該第二浮動閘極上方且與該第二浮動閘極絕緣; 該複數個第二記憶體單元中之每一者配置成儲存與該第二浮動閘極上之電子數目相對應的第二權重值; 該複數個第二記憶體單元配置成根據該複數個第二輸入及所儲存之該等第二權重值產生該複數個第二輸出; 其中該複數個第二突觸的第二記憶體單元以列與行來排列,以及其中該複數個第二突觸包括: 複數條第四線,每條第四線將該等第二記憶體單元列中之一列中的該等第二閘極電連接在一起; 複數條第五線,每條第五線將該等第二記憶體單元列中之一列中的該等第二源極區域電連接在一起; 複數條第六線,每條第六線將該等第二記憶體單元行中之一行中的該等第二汲極區域電連接在一起; 複數個第二電晶體,每個第二電晶體以串聯方式與該等第六線中之一電連接; 其中該複數個第二突觸配置成接收該複數個第二輸入作為在該複數個第二電晶體的閘極上之電壓,並且提供該複數個第二輸出作為在該複數條第五線上之電流。
  32. 如請求項31之神經網路裝置,進一步包括: 複數個第二神經元,其配置成接收該複數個第二輸出。
TW109100677A 2019-01-29 2020-01-09 使用堆疊式閘極非揮發性記憶體單元陣列之神經網路分類器 TWI705390B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201962798417P 2019-01-29 2019-01-29
US62/798,417 2019-01-29
US16/382,051 US11270771B2 (en) 2019-01-29 2019-04-11 Neural network classifier using array of stacked gate non-volatile memory cells
US16/382,051 2019-04-11
USPCT/US19/48934 2019-08-29
PCT/US2019/048934 WO2020159580A1 (en) 2019-01-29 2019-08-29 Neural network classifier using array of stacked gate non-volatile memory cells

Publications (2)

Publication Number Publication Date
TWI705390B true TWI705390B (zh) 2020-09-21
TW202042117A TW202042117A (zh) 2020-11-16

Family

ID=71612006

Family Applications (2)

Application Number Title Priority Date Filing Date
TW109100678A TWI732414B (zh) 2019-01-29 2020-01-09 用於基於使用頻率而改變程式狀態分隔的記憶體構件及方法
TW109100677A TWI705390B (zh) 2019-01-29 2020-01-09 使用堆疊式閘極非揮發性記憶體單元陣列之神經網路分類器

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW109100678A TWI732414B (zh) 2019-01-29 2020-01-09 用於基於使用頻率而改變程式狀態分隔的記憶體構件及方法

Country Status (7)

Country Link
US (2) US10720217B1 (zh)
EP (2) EP3918534B1 (zh)
JP (2) JP7008167B1 (zh)
KR (2) KR102607530B1 (zh)
CN (3) CN113366506A (zh)
TW (2) TWI732414B (zh)
WO (2) WO2020159580A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6708146B2 (ja) * 2017-03-03 2020-06-10 株式会社デンソー ニューラルネットワーク回路
US10902921B2 (en) * 2018-12-21 2021-01-26 Texas Instruments Incorporated Flash memory bitcell erase with source bias voltage
US11023559B2 (en) 2019-01-25 2021-06-01 Microsemi Soc Corp. Apparatus and method for combining analog neural net with FPGA routing in a monolithic integrated circuit
US10720217B1 (en) * 2019-01-29 2020-07-21 Silicon Storage Technology, Inc. Memory device and method for varying program state separation based upon frequency of use
US11328778B2 (en) * 2020-07-09 2022-05-10 Stmicroelectronics S.R.L. Methods and devices for wear leveling
US11462279B1 (en) 2021-05-13 2022-10-04 Western Digital Technologies, Inc. Modified distribution of memory device states
US11989440B2 (en) * 2021-08-11 2024-05-21 Silicon Storage Technology, Inc. Hybrid memory system configurable to store neural memory weight data in analog form or digital form

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337466A1 (en) * 2016-05-17 2017-11-23 Silicon Storage Technology, Inc. Deep Learning Neural Network Classifier Using Non-volatile Memory Array
TW201837759A (zh) * 2017-02-24 2018-10-16 荷蘭商Asml荷蘭公司 藉由機器學習來判定製程模型之方法
TW201901285A (zh) * 2017-05-26 2019-01-01 荷蘭商Asml荷蘭公司 基於機器學習之輔助特徵置放

Family Cites Families (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2603414B1 (fr) 1986-08-29 1988-10-28 Bull Sa Amplificateur de lecture
JPH06103782B2 (ja) 1987-04-17 1994-12-14 日本シイエムケイ株式会社 プリント配線板
US5055897A (en) 1988-07-27 1991-10-08 Intel Corporation Semiconductor cell for neural network and the like
US4904881A (en) 1989-02-10 1990-02-27 Intel Corporation EXCLUSIVE-OR cell for neural network and the like
US5621336A (en) 1989-06-02 1997-04-15 Shibata; Tadashi Neuron circuit
JP3122756B2 (ja) 1991-01-12 2001-01-09 直 柴田 半導体装置
JPH0318985A (ja) 1989-06-16 1991-01-28 Hitachi Ltd 情報処理装置
US4961002A (en) 1989-07-13 1990-10-02 Intel Corporation Synapse cell employing dual gate transistor structure
US4956564A (en) * 1989-07-13 1990-09-11 Intel Corporation Adaptive synapse cell providing both excitatory and inhibitory connections in an associative network
US5028810A (en) 1989-07-13 1991-07-02 Intel Corporation Four quadrant synapse cell employing single column summing line
KR920010344B1 (ko) 1989-12-29 1992-11-27 삼성전자주식회사 반도체 메모리 어레이의 구성방법
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
US5242848A (en) 1990-01-22 1993-09-07 Silicon Storage Technology, Inc. Self-aligned method of making a split gate single transistor non-volatile electrically alterable semiconductor memory device
EP0486635A1 (en) 1990-05-22 1992-05-27 International Business Machines Corporation Scalable flow virtual learning neurocomputer
US5150450A (en) 1990-10-01 1992-09-22 The United States Of America As Represented By The Secretary Of The Navy Method and circuits for neuron perturbation in artificial neural network memory modification
US5146602A (en) 1990-12-26 1992-09-08 Intel Corporation Method of increasing the accuracy of an analog neural network and the like
US5138576A (en) 1991-11-06 1992-08-11 Altera Corporation Method and apparatus for erasing an array of electrically erasable EPROM cells
US7071060B1 (en) 1996-02-28 2006-07-04 Sandisk Corporation EEPROM with split gate source side infection with sidewall spacers
EP0562737B1 (en) 1992-03-26 1998-06-17 Hitachi, Ltd. Flash memory
US5336936A (en) 1992-05-06 1994-08-09 Synaptics, Incorporated One-transistor adaptable analog storage element and array
US5264734A (en) 1992-05-19 1993-11-23 Intel Corporation Difference calculating neural network utilizing switched capacitors
US5256911A (en) 1992-06-10 1993-10-26 Intel Corporation Neural network with multiplexed snyaptic processing
US5298796A (en) 1992-07-08 1994-03-29 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Nonvolatile programmable neural network synaptic array
US5386132A (en) 1992-11-02 1995-01-31 Wong; Chun C. D. Multimedia storage system with highly compact memory device
JP2835272B2 (ja) 1993-12-21 1998-12-14 株式会社東芝 半導体記憶装置
KR0151623B1 (ko) 1994-12-07 1998-10-01 문정환 이이피롬 셀 및 그 제조방법
US6965142B2 (en) 1995-03-07 2005-11-15 Impinj, Inc. Floating-gate semiconductor structures
US5825063A (en) * 1995-03-07 1998-10-20 California Institute Of Technology Three-terminal silicon synaptic device
US5990512A (en) 1995-03-07 1999-11-23 California Institute Of Technology Hole impact ionization mechanism of hot electron injection and four-terminal ρFET semiconductor structure for long-term learning
US5554874A (en) 1995-06-05 1996-09-10 Quantum Effect Design, Inc. Six-transistor cell with wide bit-line pitch, double words lines, and bit-line contact shared among four cells
US5721702A (en) 1995-08-01 1998-02-24 Micron Quantum Devices, Inc. Reference voltage generator using flash memory cells
US5966332A (en) 1995-11-29 1999-10-12 Sanyo Electric Co., Ltd. Floating gate memory cell array allowing cell-by-cell erasure
JP4036896B2 (ja) 1995-12-01 2008-01-23 キネティック リミテッド イメージングシステム
US5748534A (en) 1996-03-26 1998-05-05 Invox Technology Feedback loop for reading threshold voltage
US6389404B1 (en) 1998-12-30 2002-05-14 Irvine Sensors Corporation Neural processing module with input architectures that make maximal use of a weighted synapse array
US6222777B1 (en) 1999-04-09 2001-04-24 Sun Microsystems, Inc. Output circuit for alternating multiple bit line per column memory architecture
US6232180B1 (en) 1999-07-02 2001-05-15 Taiwan Semiconductor Manufacturing Corporation Split gate flash memory cell
US6282119B1 (en) 2000-06-02 2001-08-28 Winbond Electronics Corporation Mixed program and sense architecture using dual-step voltage scheme in multi-level data storage in flash memories
US6829598B2 (en) 2000-10-02 2004-12-07 Texas Instruments Incorporated Method and apparatus for modeling a neural synapse function by utilizing a single conventional MOSFET
US6563167B2 (en) 2001-01-05 2003-05-13 Silicon Storage Technology, Inc. Semiconductor memory array of floating gate memory cells with floating gates having multiple sharp edges
US6563733B2 (en) 2001-05-24 2003-05-13 Winbond Electronics Corporation Memory array architectures based on a triple-polysilicon source-side injection non-volatile memory cell
JP2005522071A (ja) 2002-03-22 2005-07-21 ジョージア テック リサーチ コーポレイション 浮遊ゲートアナログ回路
US6747310B2 (en) 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
JP2004171686A (ja) 2002-11-20 2004-06-17 Renesas Technology Corp 不揮発性半導体記憶装置およびそのデータ消去方法
JP4601287B2 (ja) 2002-12-26 2010-12-22 ルネサスエレクトロニクス株式会社 不揮発性半導体記憶装置
US6822910B2 (en) 2002-12-29 2004-11-23 Macronix International Co., Ltd. Non-volatile memory and operating method thereof
US6781186B1 (en) 2003-01-30 2004-08-24 Silicon-Based Technology Corp. Stack-gate flash cell structure having a high coupling ratio and its contactless flash memory arrays
US6856551B2 (en) 2003-02-06 2005-02-15 Sandisk Corporation System and method for programming cells in non-volatile integrated memory devices
US6946894B2 (en) 2003-06-12 2005-09-20 Winbond Electronics Corporation Current-mode synapse multiplier circuit
ATE542176T1 (de) 2003-10-16 2012-02-15 Canon Kk Betriebsschaltung und betriebssteuerverfahren dafür
TWI220560B (en) 2003-10-27 2004-08-21 Powerchip Semiconductor Corp NAND flash memory cell architecture, NAND flash memory cell array, manufacturing method and operating method of the same
US7020017B2 (en) * 2004-04-06 2006-03-28 Sandisk Corporation Variable programming of non-volatile memory
US7315056B2 (en) 2004-06-07 2008-01-01 Silicon Storage Technology, Inc. Semiconductor memory array of floating gate memory cells with program/erase and select gates
US7092290B2 (en) 2004-11-16 2006-08-15 Sandisk Corporation High speed programming system with reduced over programming
TWI270199B (en) 2005-01-31 2007-01-01 Powerchip Semiconductor Corp Non-volatile memory and manufacturing method and operating method thereof
US8443169B2 (en) 2005-03-28 2013-05-14 Gerald George Pechanek Interconnection network connecting operation-configurable nodes according to one or more levels of adjacency in multiple dimensions of communication in a multi-processor and a neural processor
US7304890B2 (en) 2005-12-13 2007-12-04 Atmel Corporation Double byte select high voltage line for EEPROM memory block
US7558109B2 (en) * 2006-11-03 2009-07-07 Sandisk Corporation Nonvolatile memory with variable read threshold
KR100850509B1 (ko) * 2007-01-10 2008-08-05 삼성전자주식회사 프로그램 에러를 감소시킬 수 있는 멀티 비트 플래시메모리 장치의 프로그램 방법
CN102005244B (zh) * 2007-02-20 2015-10-21 桑迪士克科技公司 非易失性存储的可变编程
KR100874920B1 (ko) * 2007-03-15 2008-12-19 삼성전자주식회사 셀 사이의 커플링에 의한 영향을 감소시킨 플래시 메모리장치 및 그 구동방법
US7626868B1 (en) 2007-05-04 2009-12-01 Flashsilicon, Incorporation Level verification and adjustment for multi-level cell (MLC) non-volatile memory (NVM)
US7733262B2 (en) 2007-06-15 2010-06-08 Micron Technology, Inc. Quantizing circuits with variable reference signals
US7630246B2 (en) 2007-06-18 2009-12-08 Micron Technology, Inc. Programming rate identification and control in a solid state memory
US20090039410A1 (en) 2007-08-06 2009-02-12 Xian Liu Split Gate Non-Volatile Flash Memory Cell Having A Floating Gate, Control Gate, Select Gate And An Erase Gate With An Overhang Over The Floating Gate, Array And Method Of Manufacturing
JP2009080892A (ja) * 2007-09-26 2009-04-16 Toshiba Corp 半導体記憶装置
US7894267B2 (en) 2007-10-30 2011-02-22 Spansion Llc Deterministic programming algorithm that provides tighter cell distributions with a reduced number of programming pulses
US7746698B2 (en) 2007-12-13 2010-06-29 Spansion Llc Programming in memory devices using source bitline voltage bias
JP4513865B2 (ja) 2008-01-25 2010-07-28 セイコーエプソン株式会社 並列演算装置および並列演算方法
JP2010267341A (ja) 2009-05-15 2010-11-25 Renesas Electronics Corp 半導体装置
CN102473140B (zh) * 2009-07-17 2015-05-13 株式会社东芝 存储器管理装置
US8077515B2 (en) * 2009-08-25 2011-12-13 Micron Technology, Inc. Methods, devices, and systems for dealing with threshold voltage change in memory devices
AU2010306750B2 (en) * 2009-10-15 2014-11-13 Children's Medical Center Corporation Sepiapterin reductase inhibitors for the treatment of pain
US8204927B1 (en) 2010-03-15 2012-06-19 California Institute Of Technology System and method for cognitive processing for data fusion
JP5300773B2 (ja) 2010-03-29 2013-09-25 ルネサスエレクトロニクス株式会社 不揮発性半導体記憶装置
US9665822B2 (en) 2010-06-30 2017-05-30 International Business Machines Corporation Canonical spiking neuron network for spatiotemporal associative memory
US8325521B2 (en) 2010-10-08 2012-12-04 Taiwan Semiconductor Manufacturing Company, Ltd. Structure and inhibited operation of flash memory with split gate
US8473439B2 (en) 2010-12-08 2013-06-25 International Business Machines Corporation Integrate and fire electronic neurons
US8892487B2 (en) 2010-12-30 2014-11-18 International Business Machines Corporation Electronic synapses for reinforcement learning
JP2013041654A (ja) 2011-08-19 2013-02-28 Toshiba Corp 不揮発性記憶装置
US8909576B2 (en) 2011-09-16 2014-12-09 International Business Machines Corporation Neuromorphic event-driven neural computing architecture in a scalable neural network
US8760955B2 (en) 2011-10-21 2014-06-24 Taiwan Semiconductor Manufacturing Company, Ltd. Electrical fuse memory arrays
US9443471B2 (en) 2012-07-31 2016-09-13 Sharp Kabushiki Kaisha Display device and driving method thereof
US9466732B2 (en) 2012-08-23 2016-10-11 Silicon Storage Technology, Inc. Split-gate memory cell with depletion-mode floating gate channel, and method of making same
US9153230B2 (en) 2012-10-23 2015-10-06 Google Inc. Mobile speech recognition hardware accelerator
CN103000218A (zh) 2012-11-20 2013-03-27 上海宏力半导体制造有限公司 存储器电路
US9275748B2 (en) 2013-03-14 2016-03-01 Silicon Storage Technology, Inc. Low leakage, low threshold voltage, split-gate flash cell operation
JP5659361B1 (ja) 2013-07-04 2015-01-28 パナソニックIpマネジメント株式会社 ニューラルネットワーク回路、およびその学習方法
US9513692B2 (en) * 2013-09-18 2016-12-06 Intel Corporation Heterogenous memory access
US9798751B2 (en) 2013-10-16 2017-10-24 University Of Tennessee Research Foundation Method and apparatus for constructing a neuroscience-inspired artificial neural network
US20150213898A1 (en) 2014-01-27 2015-07-30 Silicon Storage Technololgy, Inc. Byte Erasable Non-volatile Memory Architecture And Method Of Erasing Same
US20150324691A1 (en) 2014-05-07 2015-11-12 Seagate Technology Llc Neural network connections using nonvolatile memory devices
US20160034812A1 (en) * 2014-07-31 2016-02-04 Qualcomm Incorporated Long short-term memory using a spiking neural network
US9286982B2 (en) 2014-08-08 2016-03-15 Silicon Storage Technology, Inc. Flash memory system with EEPROM functionality
US9760533B2 (en) 2014-08-14 2017-09-12 The Regents On The University Of Michigan Floating-gate transistor array for performing weighted sum computation
US9984754B2 (en) 2014-09-29 2018-05-29 Toshiba Memory Corporation Memory device and method for operating the same
US10312248B2 (en) 2014-11-12 2019-06-04 Silicon Storage Technology, Inc. Virtual ground non-volatile memory array
US9361991B1 (en) 2014-12-23 2016-06-07 Sandisk Technologies Inc. Efficient scanning of nonvolatile memory blocks
CN104615909B (zh) 2015-02-02 2018-02-13 天津大学 基于FPGA的Izhikevich神经元网络同步放电仿真平台
CN105990367B (zh) 2015-02-27 2019-03-12 硅存储技术公司 具有rom单元的非易失性存储器单元阵列
US10650308B2 (en) * 2015-09-23 2020-05-12 Politecnico Di Milano Electronic neuromorphic system, synaptic circuit with resistive switching memory and method of performing spike-timing dependent plasticity
US10325006B2 (en) * 2015-09-29 2019-06-18 International Business Machines Corporation Scalable architecture for analog matrix operations with resistive devices
US10509999B2 (en) * 2015-12-30 2019-12-17 SK Hynix Inc. Neuromorphic device including post-synaptic neurons having a comparator for deciding quasi- learned synapses
WO2017131653A1 (en) 2016-01-27 2017-08-03 Hewlett Packard Enterprise Development Lp In situ transposition
US20170330070A1 (en) 2016-02-28 2017-11-16 Purdue Research Foundation Spin orbit torque based electronic neuron
US10269440B2 (en) 2016-05-17 2019-04-23 Silicon Storage Technology, Inc. Flash memory array with individual memory cell read, program and erase
KR102384654B1 (ko) 2016-05-17 2022-04-11 실리콘 스토리지 테크놀로지 인크 개별 메모리 셀 판독, 프로그래밍, 및 소거를 갖는 3-게이트 플래시 메모리 셀들의 어레이
CN107425003B (zh) 2016-05-18 2020-07-14 硅存储技术公司 制造分裂栅非易失性闪存单元的方法
US9910827B2 (en) 2016-07-01 2018-03-06 Hewlett Packard Enterprise Development Lp Vector-matrix multiplications involving negative values
US10043573B2 (en) * 2016-08-04 2018-08-07 Intel Corporation Apparatus and method for endurance friendly programming using lower voltage thresholds
US10346347B2 (en) 2016-10-03 2019-07-09 The Regents Of The University Of Michigan Field-programmable crossbar array for reconfigurable computing
CN110574043B (zh) 2016-12-09 2023-09-15 许富菖 三维神经网络阵列
US10860923B2 (en) * 2016-12-20 2020-12-08 Samsung Electronics Co., Ltd. High-density neuromorphic computing element
US10748059B2 (en) 2017-04-05 2020-08-18 International Business Machines Corporation Architecture for an electrochemical artificial neural network
US10482929B2 (en) 2017-07-13 2019-11-19 Qualcomm Incorporated Non-volative (NV) memory (NVM) matrix circuits employing NVM matrix circuits for performing matrix computations
US10460817B2 (en) 2017-07-13 2019-10-29 Qualcomm Incorporated Multiple (multi-) level cell (MLC) non-volatile (NV) memory (NVM) matrix circuits for performing matrix computations with multi-bit input vectors
US10580492B2 (en) 2017-09-15 2020-03-03 Silicon Storage Technology, Inc. System and method for implementing configurable convoluted neural networks with flash memories
CN109522753B (zh) 2017-09-18 2020-11-06 清华大学 电路结构及其驱动方法、芯片及其认证方法、电子设备
US10303998B2 (en) * 2017-09-28 2019-05-28 International Business Machines Corporation Floating gate for neural network inference
US11354562B2 (en) 2018-01-03 2022-06-07 Silicon Storage Technology, Inc. Programmable neuron for analog non-volatile memory in deep learning artificial neural network
US10552510B2 (en) 2018-01-11 2020-02-04 Mentium Technologies Inc. Vector-by-matrix multiplier modules based on non-volatile 2D and 3D memory arrays
US10740181B2 (en) 2018-03-06 2020-08-11 Western Digital Technologies, Inc. Failed storage device rebuild method
US10496374B2 (en) 2018-03-22 2019-12-03 Hewlett Packard Enterprise Development Lp Crossbar array operations using ALU modified signals
US10522226B2 (en) * 2018-05-01 2019-12-31 Silicon Storage Technology, Inc. Method and apparatus for high voltage generation for analog neural memory in deep learning artificial neural network
US10217512B1 (en) * 2018-05-15 2019-02-26 International Business Machines Corporation Unit cell with floating gate MOSFET for analog memory
US10692570B2 (en) 2018-07-11 2020-06-23 Sandisk Technologies Llc Neural network matrix multiplication in memory cells
US10534840B1 (en) * 2018-08-08 2020-01-14 Sandisk Technologies Llc Multiplication using non-volatile memory cells
US11061646B2 (en) 2018-09-28 2021-07-13 Intel Corporation Compute in memory circuits with multi-Vdd arrays and/or analog multipliers
US10891222B2 (en) 2018-12-24 2021-01-12 Macronix International Co., Ltd. Memory storage device and operation method thereof for implementing inner product operation
US10720217B1 (en) 2019-01-29 2020-07-21 Silicon Storage Technology, Inc. Memory device and method for varying program state separation based upon frequency of use
US10741611B1 (en) * 2019-02-11 2020-08-11 International Business Machines Corporation Resistive processing units with complementary metal-oxide-semiconductor non-volatile analog memory

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337466A1 (en) * 2016-05-17 2017-11-23 Silicon Storage Technology, Inc. Deep Learning Neural Network Classifier Using Non-volatile Memory Array
TWI631517B (zh) * 2016-05-17 2018-08-01 超捷公司 類神經網路裝置
TW201837759A (zh) * 2017-02-24 2018-10-16 荷蘭商Asml荷蘭公司 藉由機器學習來判定製程模型之方法
TW201901285A (zh) * 2017-05-26 2019-01-01 荷蘭商Asml荷蘭公司 基於機器學習之輔助特徵置放

Also Published As

Publication number Publication date
JP2022514111A (ja) 2022-02-09
EP3918533A1 (en) 2021-12-08
US10720217B1 (en) 2020-07-21
WO2020159581A1 (en) 2020-08-06
CN113366506A (zh) 2021-09-07
CN113366505A (zh) 2021-09-07
US20200243139A1 (en) 2020-07-30
KR20210110354A (ko) 2021-09-07
CN115511068A (zh) 2022-12-23
EP3918534A1 (en) 2021-12-08
EP3918534B1 (en) 2024-02-21
JP2022519041A (ja) 2022-03-18
KR102607530B1 (ko) 2023-11-29
TW202042118A (zh) 2020-11-16
KR20210105428A (ko) 2021-08-26
EP3918533B1 (en) 2022-11-23
WO2020159580A1 (en) 2020-08-06
TWI732414B (zh) 2021-07-01
TW202042117A (zh) 2020-11-16
JP7314286B2 (ja) 2023-07-25
KR102407363B1 (ko) 2022-06-10
JP7008167B1 (ja) 2022-01-25
US11270771B2 (en) 2022-03-08
US20200242453A1 (en) 2020-07-30
CN113366505B (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
TWI719757B (zh) 使用3-閘極非揮發性記憶體單元陣列之神經網路分類器
US11829859B2 (en) Verification of a weight stored in a non-volatile memory cell in a neural network following a programming operation
TWI705390B (zh) 使用堆疊式閘極非揮發性記憶體單元陣列之神經網路分類器
TWI693610B (zh) 用於以快閃記憶體實作可組態卷積式類神經網路的系統及方法
TW202030735A (zh) 用於人工類神經網路中之類比神經形態記憶體之高精確度及高效率調諧機制及演算法
US10803943B2 (en) Neural network classifier using array of four-gate non-volatile memory cells
TWI705389B (zh) 使用4-閘極非揮發性記憶體單元陣列之神經網路分類器