TWI699711B - 記憶體裝置及其製造方法 - Google Patents

記憶體裝置及其製造方法 Download PDF

Info

Publication number
TWI699711B
TWI699711B TW108106145A TW108106145A TWI699711B TW I699711 B TWI699711 B TW I699711B TW 108106145 A TW108106145 A TW 108106145A TW 108106145 A TW108106145 A TW 108106145A TW I699711 B TWI699711 B TW I699711B
Authority
TW
Taiwan
Prior art keywords
type
memory cells
memory cell
memory
synaptic
Prior art date
Application number
TW108106145A
Other languages
English (en)
Other versions
TW202006609A (zh
Inventor
林榆瑄
王超鴻
李明修
Original Assignee
旺宏電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 旺宏電子股份有限公司 filed Critical 旺宏電子股份有限公司
Publication of TW202006609A publication Critical patent/TW202006609A/zh
Application granted granted Critical
Publication of TWI699711B publication Critical patent/TWI699711B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C27/00—Electric analogue stores, e.g. for storing instantaneous values
    • G11C27/005—Electric analogue stores, e.g. for storing instantaneous values with non-volatile charge storage, e.g. on floating gate or MNOS
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C5/00—Details of stores covered by group G11C11/00
    • G11C5/02—Disposition of storage elements, e.g. in the form of a matrix array
    • G11C5/025—Geometric lay-out considerations of storage- and peripheral-blocks in a semiconductor storage device
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1006—Data managing, e.g. manipulating data before writing or reading out, data bus switches or control circuits therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2213/00—Indexing scheme relating to G11C13/00 for features not covered by this group
    • G11C2213/70—Resistive array aspects
    • G11C2213/77—Array wherein the memory element being directly connected to the bit lines and word lines without any access device being used

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Neurology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Semiconductor Memories (AREA)

Abstract

一種記憶體內運算裝置包括數個突觸層。此些突觸層包括一第一類型突觸層及一第二類型突觸層。第一類型突觸層包括數個第一類型記憶胞，第二類型的突觸層包括數個第二類型記憶胞。第一類型記憶胞相異於第二類型記憶胞。第一類型記憶胞和第二類型記憶胞可以是不同類型的記憶體，具有不同的結構、不同的記憶體材料及/或不同的讀/寫演算法，任一其中之一可導致穩定性或資料儲存準確性的變化。

Description

記憶體裝置及其製造方法
本發明是有關於一種記憶體內運算裝置(in-memory computing device)，特別是涉及一種包括多種類型記憶胞的記憶體內運算裝置。
類神經網路(neural network)是一種受到生物神經系統處理資訊方式所啟發的資訊處理方法。隨著大型訓練數據集合和複雜的學習演算法的發展，類神經網路促進了電腦視覺、語音識別和自然語言處理等眾多領域的重大進步。
類神經網路中的基本運算單元是神經元(neuron)。神經元接收來自其他神經元或來自外部的輸入來計算輸出。第1圖示例說明類神經網路100。類神經網路100包含多層排列的神經元。類神經網路100包括輸入神經元(input neurons)的輸入層(input layer)102(即提供輸入數據的神經元)、隱藏神經元(hidden neurons)的三個隱藏層(hidden layers)106、108、110(即執行運算並從輸入神經元傳遞信息至輸出神經元的神經元)及輸出神經元(output neurons)的輸出層(output layer)104(即提供輸出 資料的神經元)。相鄰層的神經元之間透過突觸層(synaptic layers)連接。例如，突觸層112連接輸入層102及隱藏層106中的神經元，突觸層114連接隱藏層106及隱藏層108中的神經元，突觸層116連接隱藏層108及隱藏層110的神經元，突觸層118連接隱藏層110和輸出層104中的神經元。所有的這些連接皆具有相關聯的權重。例如，隱藏層106中的神經元122、124、126分別透過權重w1 132、w2 134及w3 136的連接而連接到隱藏層108中的神經元128。隱藏層108之神經元128的輸出可依據來自隱藏層106中的神經元122、124和126的輸入(x1、x2和x3)以及連接上的權重w1 132、w2 134和w3 136之函數來運算。該函數可表示如下：
Figure 108106145-A0305-02-0004-1
在上述乘積和(sum-of-products)中，每個乘積項是可變輸入xi和權重wi的乘積。權重wi對應到的可變輸入xi可能不同。類似地，在隱藏層的其他神經元的輸出也能夠被計算出來。隱藏層110中的兩個神經元的輸出係作為輸出層104中的輸出神經元的輸入。
類神經網路係用以學習出最能代表大數據集合的資訊。靠近輸入層的隱藏層學習高階通用模式，而靠近輸出層的隱藏層學習更多數據特定模式。訓練是類神經網路從訓練數據中進行學習的階段。在訓練期間，突觸層的連接依據訓練期間的結果來分配權重。推論(inference)是一個藉由預測來推論/預測輸入數據且產生輸出數據的階段。類神經網路的推論準確性係為正確預測或推論輸入數據的比率。
記憶體內運算(In memory computing)是一種方法，記憶體內運算裝置內之記憶胞可用於數據處理和記憶體儲存。類神經網路可以在記憶體內運算裝置中實現。用於乘積和函數的權重可以儲存在記憶體內運算裝置的記憶胞中。乘積和函數可以是記憶體內運算裝置中的電路操作，其透過記憶胞陣列實現該功能。
記憶胞的變動、錯誤讀取和寫入操作及其他非理想裝置特性將可能導致儲存在記憶體內運算裝置的記憶胞權重有所波動。特別是在記憶體內運算裝置中使用可編程的非揮發記憶胞(reprogrammable non-volatile memory cells)(例如浮動閘極記憶體(floating gate memories)、相變記憶體(phase change memories)、電阻式隨機存取記憶體(resistive RAMs)等)，儲存權重的波動可能會導致類神經網路較為不準確的輸出數據。因此，需要提供一種具有更高推論準確度的記憶體內運算裝置。
本揭露描述了一種積體電路，其包括實現類神經網路的記憶體內運算裝置(in-memory computing device)。記憶體內運算裝置具有複數個突觸層(synaptic layers)。此些突觸層包括數個第一類型突觸層(first type of synaptic layers)及數個第二類型突觸層(second type of synaptic layers)。第一類型突觸層包括數個第一類型記憶胞(first type of memory cells)，而第二類型突觸層包括數個第二類型記憶胞(second type of memory cells)。相較於第二類型記憶胞，第一類型記憶胞具有較準確的數據儲存及 /或更穩定的讀/寫操作。相較於第二類型記憶胞，儲存在第一類型記憶胞之權重的波動趨勢較低。第一類型記憶胞與第二類型記憶胞在記憶胞的結構、記憶胞的尺寸及/或在執行讀/寫操作的演算法可以不相同。
在一些實施例中，儲存於第一和第二類型記憶胞中的權重可以是記憶胞的電阻。舉例來說，記憶胞例如是電阻式隨機存取記憶體(resistive RAM)、磁性隨機存取記憶體(magnetic RAM)、鐵電隨機存取記憶體(ferroelectric RAM)和電荷捕獲記憶體(charge trapping memories)。在一些實施例中，儲存的權重可以是儲存在記憶胞的資訊，例如是靜態隨機存取記憶體(static RAM)和動態隨機存取記憶體(dynamic RAM)中的位元“0”和“1”。在一些實施例中，權重的數值可以儲存在一列記憶胞中，其中每個記憶胞表示一二進位數。
第一類型突觸層和第二類型突觸層可包括具有M列和N行的記憶胞陣列。記憶胞陣列中的每個記憶胞儲存權重因子wmn。陣列中數行記憶胞耦接到一第一存取線集合(set of first access lines)，而數列記憶胞耦接到一第二存取線集合(set of second access lines)。記憶胞陣列可以更包括一解碼與驅動電路(decoder and driver circuitry)及一感測電路(sensing circuitry)及激活函數電路(activation function circuit)。解碼與驅動電路電性耦接至第一存取線集合及第二存取線集合。感測電路(例如是感測放大器(sense amplifiers))電性耦接至第二存取線集合。
在一些實施例中，第一存取線集合中的第一存取線之訊號表示各列的輸入xm。藉由感測電路在第二存取線集合中的特定第二存取線上所感測的輸出電流可表示藉由耦接到特定第二存取線的一行記憶胞的權重 因子Wmn與輸入xm之乘積和。在一些實施例中，在第一類型突觸層或第二類型突觸層中的記憶體陣列中感測的輸出是另一突觸層中的記憶胞陣列的輸入訊號。
記憶體內運算裝置的一些實施例可更包括乘法與累加單元(multiplier and accumulator unit)。乘法與累加單元可接收儲存於第一類型突觸層和第二類型突觸層之記憶胞的權重因子及輸入，以估計輸入與權重因子的乘積和。
記憶體內運算裝置的一些實施例還可包括數個第三類型突觸層(third type of synaptic layer)，第三類型突觸層包括一第三類型記憶胞(third type of memory cells)。第三類型記憶胞不同於第一類型記憶胞和第二類型記憶胞。
本發明還提供了如本文所述之用於製造記憶體內運算裝置的方法。
為了對本發明之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：
100:類神經網路
102、106、108、110:隱藏層
104:輸出層
112、114、116、118:突觸層
200、502、600:記憶體系統
210、220、230:第一類型突觸層
240、250、260:第二類型突觸層
302、402:低電阻擴展
303、404:高電阻擴展
306、406:第一電阻擴展
308、408:第二電阻擴展
310、410:第三電阻擴展
312、412:第四電阻擴展
416:電阻範圍
500、1000:記憶體內運算裝置
503:匯流排
504:控制器
505:數據匯流排
512:偏壓配置狀態機
590:緩衝電路
593:輸入/輸出電路
610、620:第一類型突觸層
611、621:第一類型記憶胞陣列
612、761、762、763、781、782、841、842、843、853、854、901:第一存取線集合
613、771、772、851、852、863、864、865、911、912、913:第二存取線集合
615、625、635、645:列解碼器/驅動器
616、626、636、646:行解碼器/驅動器
617、627、637、647:感測電路
618、628、638、648:數據緩衝器
614、624、634、644:激活函數電路
630、640:第二類型突觸層
631、641:第二類型記憶胞陣列
711、712、713、721、722、723、731、732、741、742、751、752:第一類型記憶胞
811、812、821、822、831、832、871、872、873、881、882、883:記憶胞
861、862:第三存取線
900:第一類型記憶胞的列記憶胞之一部分
921、922、923:第一類型記憶胞
1010:乘法與累加單元
1210、1220、1230:步驟
本技術之實施例係搭配第1~12圖進行詳細說明。
第1圖示例說明類神經網路。
第2圖繪示具有第一類型突觸層和第二類型突觸層的記憶體內運算裝置。
第3A圖和第3B圖說明第一類型記憶胞的電阻值。
第4A圖、第4B圖及第4C圖說明第二類型記憶胞的電阻值。
第5圖繪示具有第一類型突觸層和第二類型突觸層的記憶體內運算裝置的簡化晶片方塊圖之第一例。
第6圖繪示具有兩個第一類型突觸層和兩個第二類型突觸層的記憶體系統。
第7圖繪示第6圖之第一類型突觸層中的第一類型記憶胞陣列。
第8圖繪示第6圖之第一類型突觸層中的第一類型記憶胞陣列與第二類型突觸層中的第二類型記憶胞陣列。
第9圖繪示儲存權重之數值的一列記憶胞。
第10圖繪示包括記憶體內運算裝置及乘法與累加單元之積體電路的簡化晶片方塊圖(記憶體內運算裝置具有第一類型突觸層和第二類型突觸層)。
第11圖說明具有第一類型突觸層和第二類型突觸層的記憶體內運算裝置之推論準確性。
第12圖繪示根據本技術之製造積體電路之記憶體內運算裝置的簡化流程圖。
本技術之實施例係搭配第1~12圖進行詳細說明。
參考第1圖，類神經網路(neural network)100的推論準確性(inference accuracy)可取決於儲存在一些突觸層(synaptic layers)中的權重而非儲存在其他突觸層中的權重。例如，儲存權重的準確性在靠近輸入層(input layer)102的突觸層比靠近輸出層(output layer)104的突觸 層更為重要。換句話說，相較於靠近輸出層104的突觸層中的權重波動(weight fluctuations)，靠近輸入層102的突觸層中的權重波動更容易造成推論不準確。對靠近輸入層的突觸層中，減少其權重波動或增加其權重精確性可提高類神經網路的整體推論準確性。
第2圖係為記憶體內運算裝置(in-memory computing device)的記憶體系統200之示例性簡化圖。記憶體系統200包括數個第一類型突觸層(first type of synaptic layers)(例如突觸層210、220、230)及數個第二類型突觸層(second type of synaptic layers)(例如突觸層240、250、260)。為了清楚起見，第2圖僅繪示出第一類型突觸層和第二類型突觸層的三層。然而，第一類型突觸層的一或多個與第二類型突觸層中的一個或多個之任何組合可用於實現本文描述技術的記憶體系統中。
記憶體系統200中的第一類型突觸層包括第一類型記憶胞(first type of memory cells)，其可用於儲存靠近輸入層的權重。記憶體系統200中的第二類型突觸層包括第二類型記憶胞(second type of memory cells)，其可用於儲存靠近輸出層的權重。
相較於第二類型記憶胞的記憶胞，藉由在第一類型突觸層中使用第一類型記憶胞可增加類神經網路的總體推論準確性，第一類型記憶胞可以儲存更準確的權重，或者使其不易於產生權重波動。相較於第二類型記憶胞的記憶胞，第一類型記憶胞具有更準確的數據儲存籍/或更穩定的讀/寫操作。就記憶胞類型、記憶胞結構或記憶胞尺寸而言，第一類型記憶胞可以不同於第二類型記憶胞。第一類型記憶胞也較不容易產生裝置變化和操作失敗，例如讀取或寫入操作失敗。
第一類型記憶胞的記憶胞可以是揮發性記憶胞(volatile memory cells)(如靜態隨機存取記憶體(SRAM)和動態隨機存取記憶體(DRAM))或非揮發性記憶胞(non-volatile memory cells)(如遮罩式唯讀記憶體(mask ROM)、熔絲唯讀記憶體(fuse ROM)和電阻式隨機存取記憶體(resistive RAM))。第一類型記憶胞的記憶胞可以是唯讀記憶胞(read-only memory cells)(如遮罩式ROM、熔絲ROM)或可重新編程的記憶胞(reprogrammable memory cells)(如SRAM、DRAM和電阻式RAM)。在一些實施例中，儲存在第一類型記憶胞中的權重可以是儲存在記憶胞中的資料，例如是以SRAM和DRAM儲存位元“0”和“1”。儲存在SRAM或DRAM單元中之權重的準確性可以由連接到記憶胞的感測放大器來處理。在一些實施例中，儲存在第一類型記憶胞中的權重可透過感測記憶胞的電阻來獲得，記憶胞例如是電阻式RAM、浮動閘極金屬氧化物半導體場效電晶體(floating gate MOSFETs)、介電電荷捕獲裝置(dielectric charge trapping devices)(如SONOS、BE-SONOS、TANOS、MA BE-SONOS)和相變記憶體(phase change memories)。
相較於第一類型記憶胞，第二類型記憶胞更易於產生權重波動、裝置變化和操作失敗。第二類型記憶胞可以是非揮發性記憶胞，例如電阻式RAM、浮動柵極MOSFET、介電電荷捕獲器件(如SONOS、BE-SONOS、TANOS、MA BE-SONOS)、相變記憶體、鐵電隨機存取記憶體(ferroelectric RAMS)和磁性隨機存取記憶體(magnetic RAM)。第二類型記憶胞可以是可重新編程的記憶胞，使得在訓練類神經網路或微調類神經網路時，儲存在第二類型記憶胞中的權重可以被改變，以提高的推 論準確性。
在一些實施例中，儲存在第二類型記憶胞中的權重可以透過感測記憶胞的電阻來獲得，記憶胞例如是電阻式RAM、浮動閘極MOSFET、介電電荷捕獲器件的記憶胞(如SONOS、BE-SONOS、TANOS、MA BE-SONOS)和相變記憶體等記憶胞。
第3A圖和第4A圖分別繪示第一類型記憶胞和第二類型記憶胞之電阻值的分佈。第3A圖和第4A圖中的記憶胞具有兩種電阻狀態。在第3A圖中的第一類型記憶胞具有低電阻擴展(low resistance spread)302和高電阻擴展(high resistance spread)303。在第4A圖中的第二類型記憶胞也具有低電阻擴展402和高電阻擴展404。第一類型記憶胞的電阻擴展比第二類型記憶胞的電阻擴展(resistance spreads)窄。相較於第4B圖中的第二類型記憶胞，在第3A圖中的第一類型記憶胞較不易產生電阻漂移(resistance drift)和雜訊(如隨機電報雜訊(random telegraph noises)、熱雜訊(thermal noises)等)。相較於第一類型記憶胞，第二類型記憶胞較易產生電阻漂移和熱雜訊。對第二類型記憶胞重新編成為低電阻(low resistance)可能會在低電阻擴展中的任何地方產生電阻。換句話說，較不准確的權重可以儲存在第二類型記憶胞中。
在第一類型記憶胞的一些實施例中，儲存的權重可以是儲存在記憶胞的二位元或更多位元資料，例如是儲存於SRAM、DRAM和唯讀記憶體(ROM)中的位元“0”和“1”。
第3B圖和第4B圖分別說明第一類型記憶胞和第二類型記憶胞的電阻值，其在每個記憶胞儲存兩個或多位元的數據。這種記憶胞具有 多個電阻層(resistance levels)，如第3B圖中第一類型記憶胞的第一電阻擴展(first resistance spread)306、第二電阻擴展(second resistance spread)308、第三電阻擴展(third resistance spread)310和第四電阻擴展(fourth resistance spread)312及第4B圖中第二類型記憶胞的第一電阻擴展406、第二電阻擴展408、第三電阻擴展410和第四電阻擴展412。相較於第二類型記憶胞，具有多個電阻狀態的第一類型記憶胞類似於具有兩個電阻狀態的第一類型記憶胞，也不易於發生電阻漂移和雜訊。第二類型記憶胞可具有如第4C圖所示之電阻範圍(range of resistance)416。
在一些實施例中，第一類型記憶胞和第二類型的記憶胞可以包括不同的記憶胞，即第一類型記憶胞的結構不同於第二類型記憶胞的結構。第一類型記憶胞可以包括揮發性記憶胞(如SRAM和DRAM)，第二類型記憶胞可以包括非揮發性記憶胞(如電阻式RAM)。在一些實施例中，第一類型記憶胞可以包括唯讀記憶胞(如熔絲ROM)，第二類型記憶胞可以包括可重新編程的記憶胞(如電阻式RAM、相位追踪記憶體、電荷捕獲記憶體)。
在記憶體內運算(in-memory computing)的一些實施例中，第一類型記憶胞和第二類型記憶胞可包括相同類型的記憶體(如電阻式RAM)，第一類型記憶胞的尺寸可以大於第二種類型記憶胞。較大的第一類型記憶胞將比第二類型記憶胞有較少的雜訊，其導致第一類型記憶胞中較少的權重波動。在一些實施例中，第一類型記憶胞的製造過程(fabrication process)可能不同於第二類型記憶胞的製造過程，其導致第一類型記憶胞比第二類型記憶胞具有較少的裝置變化。在一些實施例中，用於第一類型 記憶胞中數據儲存的記憶體材料可以不同於第二類型記憶胞中使用的記憶體材料。例如，第一類型記憶胞可以是以HfOx作為材料的電阻式隨機存取記憶體(resistive RAMs)，而第二類型記憶胞單元可以是以CoOx作為材料的電阻式隨機存取記憶體(resistive RAMs)。
在一些實施例中，可以利用不同演算法來來對第一類型記憶胞及第二類型記憶胞讀取或寫入資料。例如，當以儲存電荷捕獲記憶體的多個位元作為第一類型記憶胞和第二類型記憶胞時，增量步階脈衝編程(incremental-step-pulse programming，ISPP)可以被用來收縮第一類型記憶胞的閾值電壓分佈(threshold voltage distribution)和電阻擴展，單脈衝編程(single pulse programming)則可用於第二類型記憶胞。
在一些實施例中，記憶體系統200可包括多個第三類型突觸層(third type of synaptic layer)。第三類型突觸層可包括第三類型記憶胞(third type of memory cells)，第三類型記憶胞可用於儲存權重至類神經網路的中間突觸層(middle synaptic layers)。儲存在第三類型記憶胞中的權重相較於第一類型記憶胞中的權重可以較不準確，但比儲存在第二類型記憶胞中的權重更準確。在一些實施例中，記憶體系統200可包括任何數量類型的記憶胞，每種類型的記憶胞具有不同程度的權重波動。
第5圖繪示實施類神經網路的記憶體內運算裝置500之簡化晶片方塊圖的第一範例。記憶體內運算裝置500包括記憶體系統502。記憶體系統502包括多個第一類型突觸層和多個第二類型突觸層。記憶體系統502中第一類型突觸層的第一類型記憶胞儲存權重於輸入層附近的突觸層。第二類型突觸層的第二類型記憶胞儲存權重於輸出層附近之突觸層。 第一類型突觸層和第二類型突觸層之第一類型記憶胞和第二類型記憶胞的電路操作執行類神經網路輸入數據的推論並產生輸出數據。
輸入/輸出電路(Input/output circuits)593接收從外部至記憶體內運算裝置500的輸入數據(input data)。輸入/輸出電路593也驅動輸出數據至記憶體內運算裝置500之外部。輸入/輸出數據和控制訊號透過數據匯流排(data bus)505移動於輸入/輸出電路593、記憶體內運算裝置500上的控制器504和輸入/輸出端口(input/output ports)或運算裝置500中其他內部或外部數據源(data sources internal or external)之間，例如通用處理器(general purpose processor)或專用應用電路(special purpose application circuitry)，或提供由記憶體系統502支持的系統晶片功能的模組。緩衝電路(Buffer circuits)590可耦接到輸入/輸出電路593和控制器(controller)504以儲存輸入/輸出數據和控制訊號。
控制器504可以包括用於選擇性地將編程電壓(program voltages)施加到第一類型突觸層中的第一類型記憶胞以及在記憶體系統502中第二類型突觸層的第二類型記憶胞之電路，以響應於緩衝電路590中的輸入數據和控制訊號。在第5圖所示的範例中，控制器504使用偏壓配置狀態機(bias arrangement state machine)512來控制通過記憶體系統502之電壓源所供應之供應電壓，以用於乘積和運算(sum-of-products operations)、用於第一類型記憶胞之第一寫入演算法(first write algorithm)和用於第二類型記憶胞之第二寫入演算法(second write algorithm)的寫入運算(write operations)、和用於第一類型記憶胞之第一讀取演算法(first read algorithm)與用於第二類型記憶胞的第二讀取演算法(second read algorithm) 的讀取操作(read operations)。控制器504耦接到緩衝電路590和記憶體系統502。控制器504可以使用已知技術的專用邏輯電路(special-purpose logic circuitry)來實現。在另一代實施例中，控制器504包括通用處理器(general-purpose processor)，通用處理器可以在同一積體電路上實現，積體電路執行計算機編程(computer program)以控制裝置的操作。在其他實施例中，專用邏輯電路和通用處理器的組合可用於實現控制器504。偏壓配置狀態機512控制如本文所述的偏壓配置供應電壓。
第6圖繪示了具有兩個第一類型突觸層610和620以及兩個第二類型突觸層630和640的記憶體系統600。第一類型突觸層610包括第一類型記憶胞陣列(array of memory cells of first type)611。為清楚起見，在第6圖中的第一類型突觸層610的突觸層中僅繪示了一個第一類型記憶胞陣列。然而，第一類型突觸層可具有多個第一類型記憶胞陣列。第一類型突觸層610也包括耦接到第一類型記憶胞的各列中的第一類型記憶胞之一第一存取線集合(a set of first access lines)612，以及列解碼器/驅動器(row decoder/drivers)615。列解碼器/驅動器615可接收來自第5圖中控制器504的輸入或其他突觸層，以及表示第一類型記憶胞的各列輸入之第一存取線集合中的第一存取線上的訊號。
第一類型突觸層610還包括耦接到第一類型記憶胞的各行中的第一類型記憶胞之第二存取線集合(a set of second access lines)613，以及行解碼器/驅動器(column decoder/drivers)616。感測電路集合617(set of sensing circuits)(例如感測放大器)經由行解碼器/驅動器616耦接到第二存取線集合中的各第二存取線。在一些實施例中，該感測電路集合617可 直接耦接到第二存取線集合(set of second access line)中的第二存取線。對於使用第一類型記憶胞陣列的乘積和運算，感測電路集合617可以感測來自第一類型記憶胞陣列611的第二存取線613的電流。在第二存取線集合中的特定第二存取線上所感測的電流可以表示第一存取線之輸入與儲存在第一類型記憶胞陣列611之權重因子的乘積和。來自第二存取線的感測數據(Sensed data)提供至激活函數電路(activation function circuit)614進行非線性數據運算。運算後的感測數據會提供至數據緩衝器(data buffer)618。數據緩衝器618可以儲存來自第一類型記憶胞陣列611的輸出。
來自外部來源的記憶胞地址(Memory cell addresses)和輸入數據透過匯流排(bus)503從控制器504提供至第一類型記憶胞陣列611的列解碼器/驅動器(row decoder/drivers)615。來自其他突觸層的輸入數據也可以提供給第一類型記憶胞陣列611的列解碼器/驅動器615。對於記憶體讀取操作(memory read operations)，來自感測電路(sensing circuits)617的感測數據被提供至激活函數電路(activation function circuit)614。運算後的感測數據會提供至數據緩衝器618，數據緩衝器618透過匯流排503耦接到控制器504。
類似於第一類型突觸層610，第一類型突觸層620包括第一類型記憶胞陣列621、列解碼器/驅動器625、行解碼器/驅動器626、一組感測電路集合627和數據緩衝器628。
記憶體系統600還包括第二類型突觸層630和640。第二類型突觸層630包括第二類型記憶胞陣列631、列解碼器/驅動器635、行解碼器/驅動器636、一組感測電路集合637和數據緩衝器638。第二類型突觸層 640包括第二類型記憶胞陣列641、列解碼器/驅動器645、行解碼器/驅動器646、一組感測電路集合647和數據緩衝器648。
第一類型記憶胞和第二類型記憶胞包括相變記憶體、電阻式RAM、鐵電RAM和磁性RAM，第一存取線可以是位元線(bit lines)，第二存取線可以是字線(word lines)，反之亦然。對於電荷捕獲記憶體，第一存取線可以是字線，第二存取線可以是位元線。電荷捕獲記憶體還可以具有第三存取線(third access lines)，例如電源線(source lines)。
第7圖繪示了第6圖中兩個第一類型突觸層610和620的第一類型記憶胞陣列611和621的範例。第一類型記憶胞陣列611和621可以是電阻式RAM，其中記憶胞的電阻表示儲存於記憶胞的權重。第一類型記憶胞陣列包括M列和N行記憶胞。陣列中每個記憶胞表示單元的權重因子Wmn。第一類型記憶胞的記憶胞陣列611包括兩列和三行。第一類型記憶胞711、712、713、721、722和723的記憶胞分別儲存權重w11、w12、w13、w21、w22和w23。
一第二存取線集合(例如791、792、793)耦接到第一類型記憶胞的各行中的第一類型記憶胞。一第一存取線集合(例如781、782)耦接到第一類型記憶胞的各列中的第一類型記憶胞。第一存取線集合(例如781、782)耦接到列解碼器/驅動器615，並且第二存取線集合耦接到行解碼器/驅動器616。在第一存取線集合中的第一存取線上的訊號表示各列輸入x1、x2。如第6圖所示，列解碼器/驅動器615施加一輸入x1於第一存取線781上以及施加一輸入x2於第一存取線782上。
感測電路617經由行解碼器/驅動器616耦接到第二存取線 集合中的各第二存取線。在第二存取線集合中的特定第二存取線(例如，791、792、793)處的電流感測訊號(例如y1、y2、y3)可代表由各個權重因子的輸入之乘積和。感測訊號y1、y2、y3可以儲存在數據緩衝器618中。儲存的感測訊號可以被發送到記憶體系統600的第二類型突觸層620的第二類型記憶胞陣列621中。
第一類型記憶胞陣列621包括三列和兩行。陣列中的每個記憶胞表示單元的權重因子Wmn。第一類型記憶胞的記憶胞731、732、741、742、751和752分別儲存權重w31、w32、w41、w42、w51和w52。
一第二存取線集合(例如771、772)耦接到記憶胞的各列中的記憶胞。一第一存取線集合(例如761、762和763)耦接到記憶胞的各列中的記憶胞。第一存取線集合(例如761、762、763)耦接到列解碼器/驅動器625，並且第二存取線集合耦接到行解碼器/驅動器626。列解碼器/驅動器625接收來自第一類型突觸層610的突觸層中的第一類型記憶胞的記憶胞陣列611的輸入訊號y1’、y2’、y3’，並將其記錄於第一存取線集合中。如第6圖所示，列解碼器/驅動器625施加輸入y1’於第一存取線761上、施加輸入訊號y2’於第一存取線762上，以及施加輸入訊號y3’於第一存取線763上。
感測電路627經由行解碼器/驅動器626耦接到第二存取線集合中的各第二存取線。在第二存取線集合中的特定第二存取線(例如771、772)處的電流感測訊號(例如z1、z2)可代表由各個權重因子的輸入之乘積和。感測訊號z1、z2可以儲存在數據緩衝器628中。儲存的感測訊號可以被發送到記憶體系統600的第二類型突觸層630的第二類型記憶 胞陣列631中或第5圖的控制器504。
第8圖繪示了採電荷捕獲記憶體之第一類型突觸層620的第一類型記憶胞和採電阻式隨機存取記憶體之第二類型突觸層630的第二類型記憶胞。
第一類型記憶胞621的記憶胞陣列包括第一類型記憶胞的三列和兩行，其中一第三存取線集合(例如電荷捕獲記憶體的源極線)耦接第一類型記憶胞的各行中的第一類型記憶胞。陣列中第一類型記憶胞可各自包括具有電壓閾值的電晶體，表示單元的權重因子Wmn。記憶胞811、812、821、822、831和832分別儲存權重w31、w32、w41、w42、w51和w52。
一第二存取線集合(例如851、852)耦接到第一類型記憶胞的各行中的第一類型記憶胞。一第一存取線集合(例如841、842和843)耦接到第一類型記憶胞的各列中的第一類型記憶胞。第一存取線集合(例如841、842和843)耦接到列解碼器/驅動器625。第一存取線集合中的第一存取線上的訊號可以表示各列的輸入訊號y1‘、y2‘、y3‘。如第8圖所示，列解碼器/驅動器625施加輸入y1‘於第一存取線841上，列解碼器/驅動器625施加輸入訊號y2‘於第一存取線842上和列解碼器/驅動器625施加輸入訊號y3‘於第一存取線843上。第二存取線集合(例如851、852)耦接到第一類型記憶胞的各行中的電晶體閘極。在第二存取線集合中的第二存取線上的訊號可以選擇第一類型記憶胞的各行。
第三存取線集合(例如861、862)耦接到行解碼器/驅動器626。感測電路627耦接到第三存取線集合中的各第三存取線。在第三存取 線集合中的特定第二存取線(例如861、862)處的電流感測訊號(例如z1、z2)可以表示由各個權重因子的輸入之乘積和。感測訊號z1、z2可以儲存在數據緩衝器628中。儲存的感測訊號z1、z2可以被發送到記憶體系統600的第二類型突觸層630的第二類型記憶胞陣列631中。
第二類型記憶胞的記憶胞陣列631包括兩列和三行電阻RAM。陣列中每個第二類型記憶胞表示單元的權重因子W。記憶胞871、872、873、881、882和883分別儲存權重w71、w72、w73、w81、w82和w83。
一第二存取線集合(例如863、864和865)耦接到記憶胞的各行中的記憶胞。一第一存取線集合(例如853、854)耦接到記憶胞的各列中的記憶胞。第一存取線集合(例如853、854)耦接到列解碼器/驅動器635，並且第二存取線集合(例如863、864和865)耦接到行解碼器/驅動器636。列解碼器/驅動器635從第一類型突觸層610中第一類型記憶胞的記憶胞陣列621接收輸入訊號z1’、z2’，並將其施加於第一存取線集合中的第一存取線上。輸入訊號z1’施加於第一存取線853上，並且輸入訊號z2’施加於第一存取線854上。
在第二存取線集合中的特定第二存取線(例如863、864、865)處的電流感測訊號(例如a1、a2、a3)可以表示由各個權重因子的輸入之乘積和。感測訊號a1、a2、a3可以儲存在數據緩衝器638中。
權重的代表數字也可以儲存在第一類型記憶胞陣列中。第9圖示繪示了第一類型記憶胞900的列記憶胞(row of memory cells)的一部分，其儲存了權重的代表數字w1、w2、w3。第一類型記憶胞耦接到第一 存取線901和第二存取線911、912和913。第一類型記憶胞921、922和923的三個記憶胞具有兩個電阻狀態，低電阻狀態(low resistance state)表示位元“0”和表示位“1”的高電阻狀態(high resistance state)。儲存在第一類型記憶胞921中的權重w1、儲存在第一類型記憶胞922中的權重w2和儲存在第一類型記憶胞923中的權重w3表示數字權重展示的第一數字(first digit)、第二數字(second digit)和第三數字(third digit)。輸入x施加於第一存取線901上。在第二存取線集合中的特定第二存取線(例如911、912、913)處的電流感測訊號(例如y1、y2、y3)可以表示輸入x和數字權重w1、w2、w3的乘積和。
第10圖繪示了實現類神經網路的記憶體內運算裝置1000的第二示例之簡化晶片方塊圖。類似於第5圖中的記憶體內運算裝置500，記憶體內運算裝置1000包括記憶體系統502，該記憶體系統502包括多個第一類型突觸層、多個第二類型突觸層、輸入/輸出電路593、緩衝電路590、控制器504和偏壓配置狀態機512。此外，記憶體內運算裝置1000包括乘法與累加單元(multiplier and accumulator unit)1010。
記憶體系統502的第一類型突觸層中第一類型記憶胞儲存權重於輸入層附近的類神經網路之突觸層。第二類型突觸層中的第二類型記憶胞儲存權重於類神經網路的輸出層附近之突觸層。乘法與累加單元1010利用從記憶體內運算裝置外部來源接收的輸入數據和儲存於第一類型記憶胞與第二類型記憶胞的權重來執列乘積和運算。乘法與累加單元1010可以是通用處理器或專用應用電路，或者是提供晶片上系統功能的模組。
控制器504可更包括用於提供儲存於第N個突觸層權重的記 憶胞位址至記憶體系統502中的列解碼器和行解碼器以及將第N個突觸層輸入提供至乘法與累加單元1010的電路。乘法與累加單元1010從記憶體系統502接收第N個突觸層所儲存的權重，以計算乘積和。乘法與累加單元向控制器504提供乘積和，以作為第N個突觸層的輸出。第N個突觸層輸出可以用作第N+1個突觸層輸入，或者輸出可以是類神經網路的最終輸出。
第11圖繪示了總共具有九個突觸層的記憶體內運算裝置之推論準確性。前N個突觸層是具有SRAM裝置的第一類型突觸層，以作為第一類型記憶胞，其餘的N-9突觸層是具有電阻式RAM裝置的第二類型突觸層，以作為第二類型記憶胞。當所有突觸層都是第一類型突觸層時，推論準確性為90.94%。推論準確性由分類10,000個測試圖像數據後的平均準確性來決定。當所有突觸層都是第二類型突觸層時，推論準確性為16.73%。當存在一個第一類型突觸層和八個第二類型突觸層時，推論準確性為84.45%。對於一個額外的第一類型突觸層，推論準確度增加到87.78%。當所有突觸層都是第一類型突觸層時，將第一類型突觸層數量增加到四個提高的推論準確性。
第12圖是依據本技術而用於製造積體電路裝置中的記憶體內運算裝置之簡化流程圖。在步驟1210中，包含第一類型記憶胞的複數個第一類型突觸層被形成(例如第6圖中的第一類型突觸層610、620)。在步驟1220中，包含第二類型記憶胞的複數個第二類型突觸層被形成(例如第6圖中的第二類型突觸層630、640)
第一類型記憶胞比第二類型記憶胞更不易於出現權重波動。 在一些實施例中，第一類型記憶胞的製造過程可以不同於第二類型記憶胞的製造過程，與第二類型記憶胞相比，第一類型記憶胞具有較少的裝置變化性。
在記憶體內運算裝置的一些實施例中，第一類型記憶胞和第二類型記憶胞可包括相同類型的記憶胞(例如電阻式RAMs)，以及第一類型記憶胞的尺寸可以大於第二類型記憶胞，較大的第一類型記憶胞將比第二類型記憶胞有較少的雜訊，其導致第一類型記憶胞中較少的權重波動。
在一些實施例中，第一類型記憶胞和第二類型記憶胞可包括不同的記憶胞，即第一類型記憶胞的結構不同於第二類型記憶胞的結構。第一類型記憶胞可包括揮發性記憶胞(例如SRAM和DRAM)，並且第二類型記憶胞可包括非揮發性記憶胞(例如電阻式RAM)。在一些實施例中，第一類型記憶胞可包括唯讀記憶胞(例如熔絲ROM)，而第二類型記憶胞可包括可重新編程的記憶胞(例如電阻式RAM)。
第一類型記憶胞可以是揮發性記憶胞(例如SRAM和DRAM)或非揮發性記憶胞(例如遮罩式ROM、熔絲ROM和電阻式RAM)。第一類型記憶胞可以是唯讀記憶胞(例如遮罩式ROM、熔絲ROM)或可重新編程的記憶胞(例如SRAM、DRAM和電阻式RAM)。在一些實施例中，儲存在第一類型記憶胞的權重可以是記憶胞的電阻，例如電阻式RAM、浮動閘極MOSFET、介電電荷捕獲裝置(例如SONOS、BE-SONOS、TANOS、MA BE-SONOS)和相變記憶體等記憶胞。在一些實施例中，儲存的權重可以是儲存在記憶胞中的兩個或更多位元的信息，例如SRAM、DRAM和 ROM中的位元“0”和“1”。
第二類型記憶胞可以是非揮發性記憶胞，例如電阻式RAM，浮動閘極MOSFET、介電電荷捕獲裝置(例如SONOS、BE-SONOS、TANOS、MA BE-SONOS)、相變記憶體、鐵電RAMS和磁性RAMs。在一些實施例中，儲存在第二類型記憶胞的權重可以是記憶胞的電阻，例如像是電阻式RAM、浮動閘極MOSFET、介電電荷捕獲裝置(例如SONOS、BE-SONOS、TANOS、MA BE-SONOS)和相變記憶體等記憶胞。
在步驟1330，支持記憶體內運算裝置的周邊電路(peripheral circuitries)被形成。周邊電路可以是列解碼器/驅動器(例如第6圖中的列解碼器/驅動器615、625、635、645)、行解碼器/驅動器(例如第6圖中的行解碼器/驅動器616、626、636、646)、感測電路(例如第6圖中的感測電路617、627、637、647)和緩衝電路(例如第6圖中的數據緩衝器618、628、638、648)。周邊電路也可以包括控制器(例如第5圖中的控制器504)，以及乘法與累加單元(例如，第10圖中的單元1010)。控制器也可以包括在第一類型記憶胞中利用第一寫入演算法和在第二類型記憶胞中利用第二寫入演算法來執行寫入操作的電路。控制器也可以包括在第一類型記憶胞中利用第一讀取演算法和在第二類型記憶胞中利用第二讀取演算法來執行讀取操作的電路。
綜上所述，雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
200:記憶體系統
210、220、230:第一類型突觸層
240、250、260:第二類型突觸層

Claims (10)

  1. 一種記憶體裝置，包括：複數個突觸層(synaptic layer)，該些突觸層之至少其中之一係為一第一類型突觸層，該第一類型突觸層包含複數個第一類型記憶胞，該些突觸層之至少其中之一係為一第二類型突觸層，該第二類型突觸層包含複數個第二類型記憶胞，該些第一類型記憶胞不同於該些第二類型記憶胞，其中該些第一類型突觸層和該些第二類型突觸層包括：一記憶胞陣列，具有M列和N行記憶胞，該記憶胞陣列中的各該記憶胞儲存一權重因子，其中M與N為大於0的正整數；其中該些第一類型記憶胞的權重因子的波動低於該些第二類型記憶胞的權重因子的波動。
  2. 如申請專利範圍第1項所述之記憶體裝置，包括一周邊電路，該周邊電路於該些第一類型記憶胞中以一第一寫入演算法來執行寫入操作，該周邊電路於該些第二類型記憶胞中以一第二寫入演算法來執行寫入操作，該第一寫入演算法不同於該第二寫入演算法。
  3. 如申請專利範圍第1項所述之記憶體裝置，其中該些第一類型記憶胞為唯讀記憶胞，該些第二類型記憶胞為可重複編程記憶胞。
  4. 如申請專利範圍第1項所述之記憶體裝置，其中該些第一類型記憶胞為揮發性記憶胞，該些第二類型記憶胞為非揮發性記憶胞。
  5. 如申請專利範圍第1項所述之記憶體裝置，其中該些第一類型突觸層和該些第二類型突觸層之至少其中之一包括：一第一存取線集合，耦接於該些記憶胞之各行；以及一第二存取線集合，耦接於該些記憶胞之各列。
  6. 如申請專利範圍第5項所述之記憶體裝置，其中表示複數個輸入的複數個訊號記載於該第一存取線集合之複數個第一存取線上；在該些第二存取線集合中的特定之一第二存取線上感測到的一電流為儲存在耦接於特定之一第二存取線的特定之一行記憶胞中的該些權重因子與該些輸入之乘積和。
  7. 如申請專利範圍第5項所述之記憶體裝置，其中該些第一類型突觸層及該些第二類型突觸層之至少其中之一的乘積和係為該些第一類型突觸層及該些第二類型突觸層之另一的輸入。
  8. 一種製造記憶體裝置的方法，包括： 形成複數個突觸層，該些突觸層之至少其中之一係為一第一類型突觸層，該第一類型突觸層包含複數個第一類型記憶胞，該些突觸層之至少其中之一係為一第二類型突觸層，該第二類型突觸層包含複數個第二類型記憶胞，該些第一類型記憶胞不同於該些第二類型記憶胞，其中該些第一類型突觸層和該些第二類型突觸層包括：一記憶胞陣列，具有M列和N行記憶胞，該記憶胞陣列中的各該記憶胞儲存一權重因子，其中M與N為大於0的正整數；其中該些第一類型記憶胞的權重因子的波動低於該些第二類型記憶胞的權重因子的波動。
  9. 如申請專利範圍第8項所述之方法，更包括一周邊電路於該些第一類型記憶胞以一第一寫入演算法來執行寫入操作，該周邊電路於該些第二類型記憶胞中以一第二寫入演算法來執行寫入操作，該第一寫入演算法不同於該第二寫入演算法。
  10. 如申請專利範圍第9項所述之方法，該周邊電路更於該些第一類型記憶胞中以一第一讀取演算法執行讀取操作，該周邊電路更於該些第二類型記憶胞中以一第二讀取演算法來執行讀取操作，該第一讀取演算法不同於該第二讀取演算法。
TW108106145A 2018-07-17 2019-02-23 記憶體裝置及其製造方法 TWI699711B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862698982P 2018-07-17 2018-07-17
US62/698,982 2018-07-17
US16/224,602 US11138497B2 (en) 2018-07-17 2018-12-18 In-memory computing devices for neural networks
US16/224,602 2018-12-18

Publications (2)

Publication Number Publication Date
TW202006609A TW202006609A (zh) 2020-02-01
TWI699711B true TWI699711B (zh) 2020-07-21

Family

ID=69163107

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108106145A TWI699711B (zh) 2018-07-17 2019-02-23 記憶體裝置及其製造方法

Country Status (3)

Country Link
US (1) US11138497B2 (zh)
CN (1) CN110729011B (zh)
TW (1) TWI699711B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11531898B2 (en) * 2019-05-16 2022-12-20 International Business Machines Corporation Training of artificial neural networks
US11183266B2 (en) 2019-06-26 2021-11-23 Micron Technology, Inc. Apparatuses and methods for repairing defective memory cells based on a specified error rate for certain memory cells
US11551072B2 (en) 2020-02-04 2023-01-10 Macronix International Co., Ltd. Spiking neural networks circuit and operation method thereof
US11663455B2 (en) * 2020-02-12 2023-05-30 Ememory Technology Inc. Resistive random-access memory cell and associated cell array structure
WO2022047423A1 (en) * 2020-08-31 2022-03-03 Zidan Mohammed Memory processing unit architecture mapping techniques

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718994A (zh) * 2015-07-29 2016-06-29 上海磁宇信息科技有限公司 细胞阵列计算系统
CN105789139A (zh) * 2016-03-31 2016-07-20 上海新储集成电路有限公司 一种神经网络芯片的制备方法
TW201723934A (zh) * 2015-05-21 2017-07-01 咕果公司 類神經網路處理器中之批次處理
US20180174026A1 (en) * 2016-12-20 2018-06-21 Michael I. Davies Scalable neuromorphic core with shared synaptic memory and variable precision synaptic memory

Family Cites Families (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2619663C3 (de) 1976-05-04 1982-07-22 Siemens AG, 1000 Berlin und 8000 München Feldeffekttransistor, Verfahren zu seinem Betrieb und Verwendung als schneller Schalter sowie in einer integrierten Schaltung
US4987090A (en) 1987-07-02 1991-01-22 Integrated Device Technology, Inc. Static ram cell with trench pull-down transistors and buried-layer ground plate
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
JP3073645B2 (ja) 1993-12-27 2000-08-07 株式会社東芝 不揮発性半導体記憶装置およびその動作方法
US7089218B1 (en) 2004-01-06 2006-08-08 Neuric Technologies, Llc Method for inclusion of psychological temperament in an electronic emulation of the human brain
US6107882A (en) 1997-12-11 2000-08-22 Lucent Technologies Inc. Amplifier having improved common mode voltage range
US6960499B2 (en) 1998-02-24 2005-11-01 Texas Instruments Incorporated Dual-counterdoped channel field effect transistor and method
US6313486B1 (en) 2000-06-15 2001-11-06 Board Of Regents, The University Of Texas System Floating gate transistor having buried strained silicon germanium channel layer
US6829598B2 (en) 2000-10-02 2004-12-07 Texas Instruments Incorporated Method and apparatus for modeling a neural synapse function by utilizing a single conventional MOSFET
US6703661B2 (en) 2001-12-27 2004-03-09 Ching-Yuan Wu Contactless NOR-type memory array and its fabrication methods
JP4620943B2 (ja) 2003-10-16 2011-01-26 キヤノン株式会社 積和演算回路及びその方法
US7057216B2 (en) 2003-10-31 2006-06-06 International Business Machines Corporation High mobility heterojunction complementary field effect transistors and methods thereof
US6906940B1 (en) 2004-02-12 2005-06-14 Macronix International Co., Ltd. Plane decoding method and device for three dimensional memories
US20050287793A1 (en) 2004-06-29 2005-12-29 Micron Technology, Inc. Diffusion barrier process for routing polysilicon contacts to a metallization layer
US7372753B1 (en) 2006-10-19 2008-05-13 Unity Semiconductor Corporation Two-cycle sensing in a two-terminal memory array having leakage current
WO2008126365A1 (ja) 2007-03-29 2008-10-23 Panasonic Corporation 不揮発性記憶装置、不揮発性記憶素子および不揮発性記憶素子アレイ
KR20090037690A (ko) 2007-10-12 2009-04-16 삼성전자주식회사 비휘발성 메모리 소자, 그 동작 방법 및 그 제조 방법
US8000151B2 (en) 2008-01-10 2011-08-16 Micron Technology, Inc. Semiconductor memory column decoder device and method
US8860124B2 (en) 2009-01-15 2014-10-14 Macronix International Co., Ltd. Depletion-mode charge-trapping flash device
JP5462490B2 (ja) 2009-01-19 2014-04-02 株式会社日立製作所 半導体記憶装置
JP5317742B2 (ja) 2009-02-06 2013-10-16 株式会社東芝 半導体装置
US8203187B2 (en) 2009-03-03 2012-06-19 Macronix International Co., Ltd. 3D memory array arranged for FN tunneling program and erase
US9099181B2 (en) 2009-08-19 2015-08-04 Grandis, Inc. Non-volatile static ram cell circuit and timing method
JP2011065693A (ja) 2009-09-16 2011-03-31 Toshiba Corp 不揮発性半導体記憶装置
US8275728B2 (en) 2009-11-05 2012-09-25 The United States Of America As Represented By The Secretary Of The Air Force Neuromorphic computer
US8311965B2 (en) 2009-11-18 2012-11-13 International Business Machines Corporation Area efficient neuromorphic circuits using field effect transistors (FET) and variable resistance material
TWI427636B (zh) 2009-11-27 2014-02-21 Macronix Int Co Ltd 於一記憶積體電路上進行抹除操作之方法與裝置
SG182538A1 (en) 2010-02-07 2012-08-30 Zeno Semiconductor Inc Semiconductor memory device having electrically floating body transistor, and having both volatile and non-volatile functionality and method
US8331127B2 (en) 2010-05-24 2012-12-11 Macronix International Co., Ltd. Nonvolatile memory device having a transistor connected in parallel with a resistance switching device
US8547720B2 (en) 2010-06-08 2013-10-01 Sandisk 3D Llc Non-volatile memory having 3D array of read/write elements with efficient decoding of vertical bit lines and word lines
US8890233B2 (en) 2010-07-06 2014-11-18 Macronix International Co., Ltd. 3D memory array with improved SSL and BL contact layout
US9342780B2 (en) 2010-07-30 2016-05-17 Hewlett Packard Enterprise Development Lp Systems and methods for modeling binary synapses
US20120044742A1 (en) 2010-08-20 2012-02-23 Micron Technology, Inc. Variable resistance memory array architecture
US8432719B2 (en) 2011-01-18 2013-04-30 Macronix International Co., Ltd. Three-dimensional stacked and-type flash memory structure and methods of manufacturing and operating the same hydride
US8630114B2 (en) 2011-01-19 2014-01-14 Macronix International Co., Ltd. Memory architecture of 3D NOR array
US8759895B2 (en) 2011-02-25 2014-06-24 Micron Technology, Inc. Semiconductor charge storage apparatus and methods
JP2013069356A (ja) 2011-09-20 2013-04-18 Toshiba Corp 半導体記憶装置
JP5722180B2 (ja) 2011-09-26 2015-05-20 株式会社日立製作所 不揮発性記憶装置
US9698185B2 (en) 2011-10-13 2017-07-04 Omnivision Technologies, Inc. Partial buried channel transfer device for image sensors
US9430735B1 (en) 2012-02-23 2016-08-30 Micron Technology, Inc. Neural network in a memory device
US8981445B2 (en) 2012-02-28 2015-03-17 Texas Instruments Incorporated Analog floating-gate memory with N-channel and P-channel MOS transistors
JP5998521B2 (ja) 2012-02-28 2016-09-28 セイコーエプソン株式会社 不揮発性半導体メモリー及び不揮発性半導体メモリーの製造方法
JP2014053056A (ja) 2012-09-06 2014-03-20 Toshiba Corp 半導体記憶装置
WO2014062543A2 (en) 2012-10-15 2014-04-24 Rambus Inc. Memory rank and odt configuration in a memory system
US9019771B2 (en) 2012-10-26 2015-04-28 Macronix International Co., Ltd. Dielectric charge trapping memory cells with redundancy
US20140149773A1 (en) 2012-11-29 2014-05-29 Agency For Science, Technology And Research Latch circuit and data processing system
KR20140113024A (ko) 2013-03-15 2014-09-24 에스케이하이닉스 주식회사 저항 변화 메모리 장치 및 그 구동방법
KR102179899B1 (ko) 2013-08-05 2020-11-18 삼성전자주식회사 뉴로모픽 시스템 및 그 구현 방법
WO2015053009A1 (ja) 2013-10-11 2015-04-16 シャープ株式会社 半導体装置
KR102139944B1 (ko) 2013-11-26 2020-08-03 삼성전자주식회사 3차원 반도체 메모리 장치
KR20150070819A (ko) 2013-12-17 2015-06-25 에스케이하이닉스 주식회사 반도체 메모리 소자 및 그 제조방법
US9535831B2 (en) 2014-01-10 2017-01-03 Advanced Micro Devices, Inc. Page migration in a 3D stacked hybrid memory
US9698156B2 (en) 2015-03-03 2017-07-04 Macronix International Co., Ltd. Vertical thin-channel memory
US9147468B1 (en) 2014-05-21 2015-09-29 Macronix International Co., Ltd. Multiple-bit-per-cell, independent double gate, vertical channel memory
US9391084B2 (en) 2014-06-19 2016-07-12 Macronix International Co., Ltd. Bandgap-engineered memory with multiple charge trapping layers storing charge
US9536969B2 (en) 2014-09-23 2017-01-03 Taiwan Semiconductor Manufacturing Co., Ltd. Self-aligned split gate flash memory
US9607692B2 (en) 2014-10-03 2017-03-28 Micron Technology, Inc. Threshold voltage distribution determination
SG11201702791TA (en) 2014-10-15 2017-05-30 Agency Science Tech & Res Flip-flop circuit, method of controlling a flip-flop circuit and memory device
US9431099B2 (en) 2014-11-11 2016-08-30 Snu R&Db Foundation Neuromorphic device with excitatory and inhibitory functionalities
US9356074B1 (en) 2014-11-17 2016-05-31 Sandisk Technologies Inc. Memory array having divided apart bit lines and partially divided bit line selector switches
KR20160073847A (ko) 2014-12-17 2016-06-27 에스케이하이닉스 주식회사 전자 장치 및 그 제조 방법
US10403363B2 (en) 2015-02-11 2019-09-03 Samsung Electronics Co., Ltd. Nonvolatile memory and storage device including nonvolatile memory
KR102396422B1 (ko) 2015-02-11 2022-05-11 삼성전자주식회사 불휘발성 메모리 및 불휘발성 메모리를 포함하는 스토리지 장치
US9524980B2 (en) 2015-03-03 2016-12-20 Macronix International Co., Ltd. U-shaped vertical thin-channel memory
US9379129B1 (en) 2015-04-13 2016-06-28 Macronix International Co., Ltd. Assist gate structures for three-dimensional (3D) vertical gate array memory structure
KR20160122531A (ko) 2015-04-14 2016-10-24 에스케이하이닉스 주식회사 전자 장치
TWI580087B (zh) 2015-04-28 2017-04-21 旺宏電子股份有限公司 記憶裝置及其製造方法
US10074661B2 (en) 2015-05-08 2018-09-11 Sandisk Technologies Llc Three-dimensional junction memory device and method reading thereof using hole current detection
US9934463B2 (en) 2015-05-15 2018-04-03 Arizona Board Of Regents On Behalf Of Arizona State University Neuromorphic computational system(s) using resistive synaptic devices
KR102445662B1 (ko) 2015-07-01 2022-09-22 삼성전자주식회사 스토리지 장치
KR101701250B1 (ko) 2015-08-03 2017-02-01 서울대학교산학협력단 딥 빌리프 네트워크를 위한 복수 레이어가 적층된 뉴런 어레이 및 뉴런 어레이 동작 방법
KR102311916B1 (ko) 2015-08-17 2021-10-15 삼성전자주식회사 스토리지 장치
US10020317B2 (en) 2015-08-31 2018-07-10 Cypress Semiconductor Corporation Memory device with multi-layer channel and charge trapping layer
US10037167B2 (en) 2015-09-11 2018-07-31 Sandisk Technologies Llc Multiple scheduling schemes for handling read requests
US9589982B1 (en) 2015-09-15 2017-03-07 Macronix International Co., Ltd. Structure and method of operation for improved gate capacity for 3D NOR flash memory
US10157012B2 (en) 2015-09-29 2018-12-18 Sandisk Technologies Llc Zero read on trimmed blocks in a non-volatile memory system
US9892800B2 (en) 2015-09-30 2018-02-13 Sunrise Memory Corporation Multi-gate NOR flash thin-film transistor strings arranged in stacked horizontal active strips with vertical control gates
US9842651B2 (en) 2015-11-25 2017-12-12 Sunrise Memory Corporation Three-dimensional vertical NOR flash thin film transistor strings
US10418369B2 (en) 2015-10-24 2019-09-17 Monolithic 3D Inc. Multi-level semiconductor memory device and structure
US9767028B2 (en) 2015-10-30 2017-09-19 Advanced Micro Devices, Inc. In-memory interconnect protocol configuration registers
KR102412781B1 (ko) 2015-11-03 2022-06-24 삼성전자주식회사 비휘발성 메모리 장치 및 비휘발성 메모리 장치의 독출 방법
EP3381036B1 (en) 2015-11-25 2021-07-21 Sunrise Memory Corporation Three-dimensional vertical nor flash thin film transistor strings
US9983829B2 (en) 2016-01-13 2018-05-29 Sandisk Technologies Llc Physical addressing schemes for non-volatile memory systems employing multi-die interleave schemes
US10725860B2 (en) 2016-03-04 2020-07-28 Sandisk Technologies Llc Storage system and method for handling a burst of errors
US10664748B2 (en) 2016-03-18 2020-05-26 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and system using the same
JP2017195275A (ja) 2016-04-20 2017-10-26 東芝メモリ株式会社 半導体記憶装置およびその製造方法
KR102508532B1 (ko) 2016-05-02 2023-03-09 삼성전자주식회사 감지 증폭기 및 이를 포함하는 메모리 장치
JP6833873B2 (ja) 2016-05-17 2021-02-24 シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． 不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器
CN106530210B (zh) 2016-10-31 2019-09-06 北京大学 基于阻变存储器件阵列实现并行卷积计算的设备和方法
US10649665B2 (en) 2016-11-08 2020-05-12 Micron Technology, Inc. Data relocation in hybrid memory
EP3373304A3 (en) * 2016-11-21 2018-12-05 IMEC vzw Semiconductor cell for performing a logic xnor or xor operation
US10521229B2 (en) 2016-12-06 2019-12-31 Gsi Technology, Inc. Computational memory cell and processing array device using memory cells
US10296224B2 (en) 2016-12-21 2019-05-21 Intel Corporation Apparatus, system and method for increasing the capacity of a storage device available to store user data
US10565494B2 (en) * 2016-12-31 2020-02-18 Via Alliance Semiconductor Co., Ltd. Neural network unit with segmentable array width rotator
US10269824B2 (en) 2017-04-01 2019-04-23 Intel Corporation Non-volatile memory structures having multi-layer conductive channels
JP7187442B2 (ja) 2017-04-10 2022-12-12 株式会社半導体エネルギー研究所 半導体装置、電子部品、及び電子機器
US20210019609A1 (en) 2017-04-27 2021-01-21 The Regents Of The University Of California Mixed signal neuromorphic computing with nonvolatile memory devices
US10460817B2 (en) 2017-07-13 2019-10-29 Qualcomm Incorporated Multiple (multi-) level cell (MLC) non-volatile (NV) memory (NVM) matrix circuits for performing matrix computations with multi-bit input vectors
JP2019028569A (ja) 2017-07-26 2019-02-21 株式会社東芝 メモリシステム、半導体記憶装置及び信号処理システム
US10073733B1 (en) 2017-09-01 2018-09-11 Purdue Research Foundation System and method for in-memory computing
US10777566B2 (en) 2017-11-10 2020-09-15 Macronix International Co., Ltd. 3D array arranged for memory and in-memory sum-of-products operations
US11361215B2 (en) * 2017-11-29 2022-06-14 Anaflash Inc. Neural network circuits having non-volatile synapse arrays
US10552510B2 (en) 2018-01-11 2020-02-04 Mentium Technologies Inc. Vector-by-matrix multiplier modules based on non-volatile 2D and 3D memory arrays
US10719296B2 (en) 2018-01-17 2020-07-21 Macronix International Co., Ltd. Sum-of-products accelerator array
US20190244662A1 (en) 2018-02-02 2019-08-08 Macronix International Co., Ltd. Sum-of-products array for neuromorphic computing system
US10242737B1 (en) 2018-02-13 2019-03-26 Macronix International Co., Ltd. Device structure for neuromorphic computing system
US10635398B2 (en) 2018-03-15 2020-04-28 Macronix International Co., Ltd. Voltage sensing type of matrix multiplication method for neuromorphic computing system
US11429348B2 (en) 2018-03-16 2022-08-30 Tdk Corporation Multiply and accumulate calculation device, neuromorphic device, and method for using multiply and accumulate calculation device
US20190311749A1 (en) * 2018-04-09 2019-10-10 Anaflash Inc. Logic Compatible Embedded Flash Memory
US10741246B2 (en) * 2018-04-23 2020-08-11 Arm Limited Method, system and device for integration of volatile and non-volatile memory bitcells
US20190363131A1 (en) * 2018-05-25 2019-11-28 Gyrfalcon Technology Inc. Memory architecture having different type of memory devices and logic circuit disposed over a semiconductor substrate
US20200160165A1 (en) 2018-06-26 2020-05-21 Vishal Sarin Methods and systems of operating a neural circuit in a non-volatile memory based neural-array
JP7070190B2 (ja) 2018-07-18 2022-05-18 株式会社デンソー ニューラルネットワーク回路
US10528643B1 (en) 2018-08-01 2020-01-07 Sandisk Technologies Llc Vector-matrix multiplication using non-volatile memory cells
US10534840B1 (en) 2018-08-08 2020-01-14 Sandisk Technologies Llc Multiplication using non-volatile memory cells
US10860918B2 (en) 2018-08-21 2020-12-08 Silicon Storage Technology, Inc. Analog neural memory system for deep learning neural network comprising multiple vector-by-matrix multiplication arrays and shared components
US10642922B2 (en) 2018-09-28 2020-05-05 Intel Corporation Binary, ternary and bit serial compute-in-memory circuits
US10877752B2 (en) 2018-09-28 2020-12-29 Intel Corporation Techniques for current-sensing circuit design for compute-in-memory
US10831446B2 (en) 2018-09-28 2020-11-10 Intel Corporation Digital bit-serial multi-multiply-and-accumulate compute in memory
US10748603B2 (en) 2018-09-28 2020-08-18 Intel Corporation In-memory multiply and accumulate with global charge-sharing
US10643713B1 (en) 2019-02-08 2020-05-05 Sandisk Technologies Llc Toggling power supply for faster bit line settling during sensing
US10825510B2 (en) 2019-02-09 2020-11-03 Purdue Research Foundation Multi-bit dot product engine

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201723934A (zh) * 2015-05-21 2017-07-01 咕果公司 類神經網路處理器中之批次處理
CN105718994A (zh) * 2015-07-29 2016-06-29 上海磁宇信息科技有限公司 细胞阵列计算系统
CN105789139A (zh) * 2016-03-31 2016-07-20 上海新储集成电路有限公司 一种神经网络芯片的制备方法
US20180174026A1 (en) * 2016-12-20 2018-06-21 Michael I. Davies Scalable neuromorphic core with shared synaptic memory and variable precision synaptic memory

Also Published As

Publication number Publication date
CN110729011B (zh) 2021-07-06
US11138497B2 (en) 2021-10-05
TW202006609A (zh) 2020-02-01
CN110729011A (zh) 2020-01-24
US20200026991A1 (en) 2020-01-23

Similar Documents

Publication Publication Date Title
TWI699711B (zh) 記憶體裝置及其製造方法
US11663457B2 (en) Neural network circuits having non-volatile synapse arrays
US10552510B2 (en) Vector-by-matrix multiplier modules based on non-volatile 2D and 3D memory arrays
US11604974B2 (en) Neural network computation circuit including non-volatile semiconductor memory element
US11568223B2 (en) Neural network circuit
CN111581141B (zh) 存储器装置及其操作方法
US11615299B2 (en) Neural network computation circuit including non-volatile semiconductor memory element
JP2018521400A (ja) メモリスタ神経形態学的回路及びメモリスタ神経形態学的回路をトレーニングするための方法
TWI751403B (zh) 具有非揮發性突觸陣列的神經網路電路及神經晶片
US20210319293A1 (en) Neuromorphic device and operating method of the same
CN110543937A (zh) 神经网络及操作方法、神经网络信息处理系统
CN108154227B (zh) 一种使用模拟计算的神经网络芯片
JP7480391B2 (ja) インメモリコンピューティングのための記憶装置
US20230317124A1 (en) Memory system and operating method of memory system
US20240037394A1 (en) System and method for neural network multiple task adaptation
US11881260B2 (en) Neuromorphic computing device and method of designing the same
CN111656371B (zh) 具有非易失性突触阵列的神经网络电路
US20230053948A1 (en) Apparatus and method with in-memory computing
Han Radiation Effects on In-Memory Computing Architectures
KR20230078024A (ko) 삼항 정밀도 xor 논리 연산을 기반으로 하는 반도체 소자 및 이를 포함하는 뉴로모픽 컴퓨팅 시스템
TW202305670A (zh) 神經網路運算裝置及其運算方法
CN117808062A (zh) 计算装置、电子装置以及用于计算装置的操作方法
CN117409830A (zh) 存储器内计算的存储器装置以及固态驱动模块
CN116997187A (zh) Cmos半导体存储阵列及存内计算电路