TWI810855B - 記憶體元件 - Google Patents

記憶體元件 Download PDF

Info

Publication number
TWI810855B
TWI810855B TW111110414A TW111110414A TWI810855B TW I810855 B TWI810855 B TW I810855B TW 111110414 A TW111110414 A TW 111110414A TW 111110414 A TW111110414 A TW 111110414A TW I810855 B TWI810855 B TW I810855B
Authority
TW
Taiwan
Prior art keywords
memory
chip
chips
memory chip
controller
Prior art date
Application number
TW111110414A
Other languages
English (en)
Other versions
TW202338666A (zh
Inventor
陳士弘
洪俊雄
Original Assignee
旺宏電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 旺宏電子股份有限公司 filed Critical 旺宏電子股份有限公司
Priority to TW111110414A priority Critical patent/TWI810855B/zh
Application granted granted Critical
Publication of TWI810855B publication Critical patent/TWI810855B/zh
Publication of TW202338666A publication Critical patent/TW202338666A/zh

Links

Images

Landscapes

  • Read Only Memory (AREA)
  • Iron Core Of Rotating Electric Machines (AREA)
  • Vehicle Body Suspensions (AREA)
  • Valve Device For Special Equipments (AREA)

Abstract

一種記憶體元件包含一記憶體結構、一控制器晶片，以及一處理器晶片。記憶體結構包含第一記憶體晶片，以及複數個第二記憶體晶片所形成的一堆疊，其中第二記憶體晶片的每一者的記憶體密度高於第一記憶體晶片的記憶體密度。控制器晶片電性連接至第一記憶體晶片以及第二記憶體晶片。處理器晶片電性連接至控制器晶片。

Description

記憶體元件
本揭露是關於一種記憶體結構。
近年來，半導體裝置的結構不斷改變，且半導體裝置的儲存容量不斷增加。記憶體裝置被應用於許多產品的儲存元件中。隨著這些應用的增加，記憶體裝置的需求集中在小尺寸與大儲存容量上。為了滿足此條件，需要具有高元件密度與小尺寸的記憶體裝置。
根據本揭露的部分實施例，一種記憶體元件包含一記憶體結構、一控制器晶片，以及一處理器晶片。記憶體結構包含第一記憶體晶片，以及複數個第二記憶體晶片所形成的一堆疊，其中第二記憶體晶片的每一者的記憶體密度高於第一記憶體晶片的記憶體密度。控制器晶片電性連接至第一記憶體晶片以及第二記憶體晶片。處理器晶片電性連接至控制器晶片。
在部分實施例中，第二記憶體晶片呈階梯狀排列。
在部分實施例中，第二記憶體晶片的數量大於或等於4個。
在部分實施例中，第一記憶體晶片包含一揮發性記憶體，而第二記憶體晶片的每一者包括不同於揮發性記憶體的一記憶體。
在部分實施例中，第二記憶體晶片的記憶體密度大於或等於第一記憶體晶片的記憶體密度的8倍。
在部分實施例中，第一記憶體晶片具有一輸入輸出數量IO D、一資料傳輸速率f D。第二記憶體晶片的每一者具有一輸入輸出數量IO N、一資料傳輸速率f N，第二記憶體晶片的數量為N s。第一記憶體晶片以及第二記憶體晶片滿足IO D*f D＞=IO N*f N*N s。
在部分實施例中，第一記憶體晶片的輸入輸出數量大於第二記憶體晶片的每一者的輸入輸出數量。
在部分實施例中，第一記憶體晶片位於第二記憶體晶片所形成的堆疊和控制器晶片之間。
在部分實施例中，記憶體元件更包含複數個第一凸塊接觸第一記憶體晶片的下表面和控制器晶片的上表面。複數個導電柱分別接觸第二記憶體晶片的下表面。第二凸塊分別連接導電柱至控制器晶片的上表面。
在部分實施例中，記憶體元件更包含複數個凸塊接觸第一記憶體晶片的下表面和控制器晶片的上表面。複數個導線分別連接第二記憶體晶片的上表面至控制器晶片的上表面。
以下揭露提供眾多不同的實施例或範例，用於實施本案提供的主要內容之不同特徵。下文描述一特定範例之組件及配置以簡化本揭露。當然，此範例僅為示意性，且並不擬定限制。舉例而言，以下描述「第一特徵形成在第二特徵之上方或之上」，於實施例中可包括第一特徵與第二特徵直接接觸，且亦可包括在第一特徵與第二特徵之間形成額外特徵使得第一特徵及第二特徵無直接接觸。此外，本揭露可在各範例中重複使用元件符號及/或字母。此重複之目的在於簡化及釐清，且其自身並不規定所討論的各實施例及/或配置之間的關係。
此外，空間相對術語，諸如「下方(beneath)」、「以下(below)」、「下部(lower)」、「上方(above)」、「上部(upper)」等等在本文中用於簡化描述，以描述如附圖中所圖示的一個元件或特徵結構與另一元件或特徵結構的關係。除了描繪圖示之方位外，空間相對術語也包含元件在使用中或操作下之不同方位。此設備可以其他方式定向（旋轉90度或處於其他方位上），而本案中使用之空間相對描述詞可相應地進行解釋。
第1圖為根據本揭露之部分實施例之深度學習神經網路(Deep Learning Neural Network)的示意圖。神經網路是受生物神經系統處理資訊的方式所啟發的資訊處理範例。隨著大型訓練資料集和複雜學習演算法的可用性，神經網路促進了例如計算機視覺、語音識別、和自然語言處理等眾多領域的重大進步。
神經網路中的基本計算單元是神經元。神經元接收來自其他神經元或來自外部來源的輸入並計算輸出。第1圖繪示範例性神經網路100。神經網路100包含按層排列的多個神經元。神經網路100包括輸入神經元的輸入層(input layer)102(亦即，提供輸入資料的神經元)、隱藏神經元的三個隱藏層(hidden layer)106、108、及110(亦即，執行計算並將資訊從輸入神經元傳輸到輸出神經元、及輸出神經元的輸出層(output layer)104(亦即，提供輸出資料的神經元)。相鄰層中的神經元具有連接在它們之間的突觸層(synaptic layer)。例如，突觸層112連接輸入層102和隱藏層106中的神經元，突觸層114連接隱藏層106和108中的神經元，突觸層116連接隱藏層108和110中的神經元，而突觸層118連接隱藏層110和輸出層104中的神經元。所有這些連接具有與它們相關聯的權重。例如，隱藏層106中的神經元122、124和126分別通過與權重w 1132、w 2134、和w 3136的連接而連接到隱藏層108中的神經元128。隱藏層108中的神經元128的輸出可以根據來自隱藏層106中的神經元122、124和126的輸入(x 1、x 2和x 3)以及連接中的權重w 1132、w 2134、和w 3136而被計算為函數。此函數可表達如下:
在上面的乘積和(sum-of-product)表達式中，每個乘積項是可變輸入x i和權重w i的乘積。權重w i可以在此些項之間變化，例如對應於可變輸入x i的係數。相仿地，也可以計算隱藏層中其他神經元的輸出。隱藏層110中的兩個神經元的輸出用作輸出層104中的輸出神經元的輸入。
神經網路可用於學習最能代表大量資料的圖案。靠近輸入層的隱藏層學習高級通用模式，而靠近輸出層的隱藏層學習更多資料特定圖案。訓練是神經網路從訓練資料中學習的階段。在訓練期間，基於訓練期的結果為突觸層中的連接分配權重。推理(inference)是使用訓練過的神經網路來推斷/預測輸入資料並基於預測產生輸出資料的階段。
在第1圖的神經網路100中，每一個點，每一條線都是數據，需要經由記憶體來記憶。其中第1圖的X方向可以視為模型深度，Y方向可以視為模型寬度，而Z方向(未顯示)可視為平行處理的批次量(batch size)。因此，XYZ可以視為記憶體的需求量。
神經網路的訓練目的是為了促進網路的學習能力。更詳細而言，神經網路藉由正向計算(forward calculation)來計算一個輸入的預測結果，並且將此預測結果和標準答案進行比較。預測結果和標準答案的差異將會經由反向傳遞(backward propagation)傳送回神經網路。而神經網路中的權重將會根據該差異進行更新。一般而言，正向計算可視為沿著第1圖的X方向，一層一層進行乘加計算。另一方面，反向傳遞可視為逆著第1圖的X方向，一層一層進行較為複雜的微分計算。
上述操作的完成，記憶體資料會改變一次或二次。舉例來說，在正向計算中，少量記憶體的資料會改變一次。而在反向傳遞中，大量記憶體的資料會改變一次。
一旦訓練完成，經過訓練的神經網路可沿著第1圖的X方向用於實際狀況。亦即，可以執行推理。在此狀況下，神經網路會基於輸入特徵，經由正向計算來計算出一個合理的預測結果。
以正向計算為例，每一個層的神經元的資料是透過三個階段計算而成，其中第一階段a為讀寫神經元資料階段，第二階段b為讀寫權重資料階段，第三階段為計算階段。以神經元128為範例，在第一階段a中，記憶體讀取隱藏層106中神經元122、124、126的資料。在第二階段b中，記憶體讀取突觸層114中權重w 1132、w 2134、和w 3136的資料。在第三階段c中，藉由處理器計算上述所提及的乘積和表達式。
上述的三個階段可以視為一個計算迴圈(cycle)。在部分實施例中，神經網路100的層的數量等同於計算迴圈的數量。舉例而言，神經網路100具有100個層，則在正向計算中需要進行100次的計算迴圈。
在反向傳遞中，同樣會有類似的操作。舉例而言，在反向計算中，要經過讀寫神經元資料(第一階段a)、修改/寫入權重資料(第二階段b)，以及計算(第三階段c)。如前述所提及，由於反向傳遞是較為複雜的微分計算，且反向傳遞需要修改/寫入大量的權重資料。因此，反向傳遞所需要的整體的操作時間是大於正向計算的操作時間的。在部分實施例中，推理操作只有經歷正向計算，速度較快。而訓練操作會歷經正向計算以及反向傳遞，其操作時間較長且大多花在反向傳遞上。
在計算迴圈中，第一階段a和第二階段b和記憶體的讀寫相關，在此階段中記憶體需要高速操作。然而，在第三階段c中並不需要操作到記憶體，而是透過處理器對資料進行運算。在部分實施例中，處理器可為GPU、TPU、超小CPU、DPU、APU、FPGA等等。
傳統的高頻寬記憶體(High Bandwidth Memory；HBM)經常使用於人工智慧的運算中。HBM具有複數個堆疊DRAM晶片的特徵。如前述所提及，記憶體在上述第一階段a和第二階段b之間全速運作，但在第三階段c中並不需要操作。而某些實驗顯示傳統HBM中DRAM的全速運作時間僅平均只佔一個計算迴圈的總運算時間的3.2%。
為解決上述問題，本揭露提出一種記憶體元件，其具有多個堆疊的記憶體晶片，其中只需一小部分的記憶體(例如DRAM)需求高速操作，而另一部分的記憶體可以藉由配置數顆高密度的NAND架構記憶體，藉由上述的第三階段c將資料從高速記憶體複製到NAND架構記憶體，這不僅大幅降低記憶體速度規格需求，且有利於增加記憶體密度。
第2圖為本揭露之部分實施例之NAND架構的記憶體的電路示意圖。在部分實施例中，此NAND架構記憶體包含NAND串31、32(NAND string)，其中NAND串31、32分別包含數個串聯的記憶體單元30。在部分實施例中，每個記憶體單元具有類似電晶體的結構。記憶體單元內可包含核心記憶材料。在部分實施例中，核心記憶材料可以為電荷捕捉材料(charge trapping material)，例如氮化矽(SiN)，或其他適合的材料。在其他實施例中，核心記憶材料可以為導體或是經摻雜的半導體，例如浮動閘極(floating gate)元件。
此NAND架構記憶體還包含複數個字元線WL。字元線WL分別電性連接至記憶體單元30。在部分實施例中，每一個字元線WL分別電性連接至對應的記憶體單元30的閘極。
NAND串31、32分別藉由串選擇電晶體36(string select transistor)耦接至對應的位元線BL-1、BL-2，以及藉由接地選擇電晶體37(ground select transistor)耦接至共同源極線35。
在一般非揮發性的NAND記憶體中，由於記憶細胞小，因此通常具有大容量。此外，非揮發性的NAND記憶體一般而言具有極高的資料保存(retention)、較差的延遲(latency)以及較差的耐久度(endurance)。因此，非揮發性NAND記憶體過往皆使用於儲存裝置，例如硬碟。
本揭露藉所使用的NAND架構記憶體，藉由例如調整電荷捕捉材料的厚度或是材料，或是改變電荷捕捉材料，以及改變編程/擦除的方法，使得此NAND架構的記憶體具有高耐久度。在部分實施例中，此NAND架構的記憶體的耐久度可達10 6次至約10 10次。在部分實施例中，NAND架構的記憶體的資料保存較傳統的非揮發性NAND記憶體低。例如，傳統的非揮發性NAND記憶體的資料保存可能為10年，而本揭露的NAND架構的記憶體的資料保存可能為約1秒至約1年。在部分實施例中，本揭露的NAND架構記憶體具有揮發性的特性，需要透過刷新(refresh)機制來維持記憶體中的資料。因此，本揭露的NAND架構記憶體亦可稱為揮發性NAND記憶體。在本文中，詞彙「耐久度(endurance)」可視為記憶體允許編程/擦除的最高次數。詞彙「資料保存(retention)」可視為儲存狀態在記憶體細胞中維持的最大時間。
根據上述，本揭露藉所使用的NAND架構記憶體保有了常見的非揮發性NAND記憶體密度高的優勢，亦具有高耐久度，適合大數據及人工智慧的運算需求。雖然，NAND架構記憶體具有較差延遲的問題，由於大數據及人工智慧的運算對於延遲的需求度較低。綜上所述，此「揮發性」的NAND架構記憶體在未來大數據及人工智慧的運算是有幫助的。
第3圖為根據本揭露之部分實施例之記憶體元件的示意圖。圖示為一用於人工智能的記憶體元件200，其中記憶體元件200可以用於執行如第1圖所討論的神經網路的訓練。記憶體元件200包括記憶體結構202、一控制器晶片(controller　chip)225、一處理器晶片(processor chip)210，一中介板(interposer)215，以及一封裝基板(package substrate)216。
記憶體結構202可以視為一種三維記憶體陣列的樣態。舉例來說，記憶體結構202可以包括一記憶體晶片202A，以及複數個以階梯狀堆疊的記憶體晶片202B。在部分實施例中，記憶體晶片202A位於記憶體晶片202B所形成的堆疊和控制器晶片225之間。
記憶體晶片202A以及記憶體晶片202B可分別電性連接至控制器晶片225。在部分實施例中，控制器晶片225可以作為記憶體晶片202A以及記憶體晶片202B的記憶體控制元件，用以存取記憶體晶片202A以及記憶體晶片202B的記憶體細胞。舉例來說，控制器晶片225可以包含列解碼器(row decoder)、欄解碼器(column decoder)、字元線、位元線、其他組件，或上述之組合。在部分實施例中，控制器晶片225可以用於將資料傳入及/或出記憶體晶片202A以及記憶體晶片202B。在部分實施例中，控制器晶片225具有訊號傳輸介面，用以將記憶體晶片202A以及記憶體晶片202B的資料傳輸至中介板215。
在部分實施例中，記憶體元件200還包含一介電材料203包覆記憶體晶片202B的堆疊。在部分實施例中，介電材料203至少覆蓋最底層的記憶體晶片202B的下表面，以及覆蓋最上層記憶體晶片202B的上表面。在部分實施例中，最底層的記憶體晶片202B的下表面藉由介電材料203和記憶體202A分開。
記憶體元件200還包含在介電材料203中的複數個導電柱235。在部分實施例中，每一個導電柱235分別接觸對應的記憶體晶片202B的下表面，並與對應的記憶體晶片202B電性連接。在部分實施例中，每一個導電柱235分別從對應的記憶體晶片202B的下表面，向下延伸並自介電材料203的下表面曝露。在部分實施例中，記憶體晶片202A亦接觸介電材料203的下表面。在部分實施例中，導電柱235可以稱為穿介電質通孔(through dielectric via；TDV)。
記憶體元件200還包含凸塊240A和240B。其中凸塊240A配置於記憶體晶片202A和控制器晶片225之間，並將記憶體晶片202A電性連接至控制器晶片225。另一方面，凸塊240B分別配置於介電材料203的下表面和控制器晶片225之間。在部分實施例中，凸塊240B分別和對應的導電柱235接觸，以分別將記憶體晶片202B電性連接至控制器晶片225。在部分實施例中，凸塊240A和240B具有不同的尺寸。舉例來說，凸塊240A的高度(厚度)小於凸塊240B的高度。在其他實施例中，可以不具有凸塊240A，而記憶體晶片202A可以藉由銅-銅連接(cu-cu bonding)的方式連接至控制器晶片225。
在部分實施例中，記憶體晶片202A和202B皆經由其下表面電性連接至控制器晶片225。換句話說，記憶體晶片202A和202B是經由同一側電性連接至控制器晶片225。在部分實施例中，記憶體晶片202A和202B僅在其下表面處具有訊號傳輸介面，其上表面皆不具有訊號傳輸介面。在部分實施例中，記憶體晶片202A和202B的上下表面處都具有訊號傳輸介面，然而記憶體晶片202A和202B僅透過下表面電性連接至控制器晶片225。
在部分實施例中，記憶體晶片202A與記憶體晶片202B為不同種類的記憶體。記憶體晶片202B可包括具有如第2圖所討論的NAND架構記憶體。在部分實施例中，此NAND架構記憶體可具有高耐久度，且具有「揮發」的特性。另一方面，記憶體晶片202A可包含其他揮發性記憶體，例如DRAM、SRAM。也就是說，記憶體結構202是一種複合式(hybrid)記憶體結構，其包含了至少兩種不同的記憶體。
在部分實施例中，記憶體晶片202A可為DRAM，而每一個記憶體晶片202B為上述具有揮發特性的NAND架構記憶體。在部分實施例中，記憶體晶片202A的輸入/輸出數量為IO D，記憶體晶片202A的輸入/輸出的資料傳輸速率為f D，而記憶體晶片202A的記憶體密度為D D。另一方面，記憶體晶片202B的輸入/輸出數量為IO N，記憶體晶片202B的輸入/輸出的資料傳輸速率為f N，而記憶體晶片202B的記憶體密度為D N，且記憶體晶片202B的堆疊數量為N S。
記憶體晶片202A和記憶體晶片202B的堆疊可以滿足下列條件。例如，IO D*f D＞=IO N*f N*N s。也就是說，一個記憶體晶片202A的總傳輸速率大於等於記憶體晶片202B的堆疊的總傳輸速率。在部分實施例中，32＞= N S＞=4。在部分實施例中，D N＞=8*D D。也就是說，每一個記憶體晶片202B的記憶體密度大於等於記憶體晶片202A的記憶體密度的8倍。在部分實施例中，IO D＞=32(例如可為64/128/256/1024或更多)，且IO N=8或16。也就是說，每一個記憶體晶片202A的輸入/輸出數量會多於每一個記憶體晶片202B的輸入/輸出數量。在部分實施例中，記憶體晶片202A不超過2個。
舉例來說，若記憶體晶片202A為DRAM，其包括了8Gb容量、1024個輸入/輸出，以及2Gb/s的存取速率。另一方面，若每一個記憶體晶片202B為上述具有揮發特性的NAND架構記憶體，其包括了64Gb容量、8個輸入/輸出，以及2Gb/s的存取速率。在第3圖的實施例中，繪製有8個記憶體晶片202B的堆疊，因此具有總容量512Gb，以及64個輸入/輸出。
在部分實施例中，記憶體晶片202B不一定要是如第2圖所討論的NAND架構記憶體。在其他實施例中，記憶體晶片202B具有比記憶體晶片202A高的記憶體密度。也就是說，在單位面積內，記憶體晶片202B具有比記憶體晶片202A更多的記憶體細胞，也具有更高的記憶體容量。舉例來說，記憶體晶片202B亦可以為相變化記憶體(phase change memory；PCM)，或其他適合的記憶體。
處理器晶片210可包含大量的小核心。舉例來說，處理器晶片210可包含圖形元件(graphics device)，例如圖形處理單元(graphics processing unit；GPU)。在其他實施例中，處理器晶片210可包含TPU、超小CPU、DPU、APU等等。在又其他實施例中，處理器晶片210可包含中央處理單元(central processing unit；CPU)。處理器晶片210可以藉由凸塊245和中介板215電性連接。控制器晶片225可以藉由凸塊246和中介板215電性連接。中介板215可以用於連接不同的組件，例如記憶體結構202、處理器晶片210，及/或下方的封裝基板216。在部分實施例中，中介板215可以透過凸塊250和下方的封裝基板216電性連接。在部分實施例中，可以不具有封裝基板216以及凸塊250。
第4圖為根據本揭露之部分實施例之記憶體元件的示意圖。第4圖的部分元件和第3圖所描述的類似，因此，這些元件將使用相同的元件符號，且相關的細節將不再贅述。
第4圖的記憶體元件201和第3圖的記憶體元件200不同的地方在於，第4圖的處理器晶片210是配置在中介板215相對於記憶體結構202的另一側。也就是說，在第3圖的實施例中，記憶體結構202和處理器晶片210是配置在中介板215的相同側。然而，在第4圖的實施例中，記憶體結構202和處理器晶片210是配置在中介板215的相反側。
更詳細而言，第4圖的處理器晶片210是經由凸塊251和中介板215的下表面進行電性連接。因此，處理器晶片210可以藉由中介板215和控制器晶片225進行電性連接。在部分實施例中，可以不具有中介板215。也就是說，處理器晶片210可以僅藉由凸塊和控制器晶片225進行電性連接，而不需要經由其他的晶片。此配置可使記憶體元件201的整體所占面積降低。
第5圖為根據本揭露之部分實施例之記憶體元件的示意圖。第5圖的部分元件和第3圖所描述的類似，因此，這些元件將使用相同的元件符號，且相關的細節將不再贅述。
第5圖的記憶體元件302包含了記憶體晶片202A以及複數個記憶體晶片302B的堆疊，其中第5圖的記憶體晶片302B是以階梯狀的方式堆疊。第5圖的記憶體晶片302B的結構類似於第3圖的記憶體晶片202B。且記憶體晶片202A和記憶體晶片302B的關係類似於第3圖所討論的記憶體晶片202A和記憶體晶片202B的關係，相關細節將不再贅述。
第5圖不同於第3圖的地方在於，記憶體晶片302B是藉由打線接合的方式和控制器晶片225電性連接。在部分實施例中，記憶體元件302包含了複數個導線335，其中每一個導線335分別接觸對應的記憶體晶片302B的上表面，並與對應的記憶體晶片302B電性連接。在部分實施例中，每一個導線335分別從對應的記憶體晶片302B的上表面連接至控制器晶片225的上表面。因此，相較於第3圖的記憶體晶片202B，第5圖的每一個記憶體晶片302B僅需透過導線335電性連接至控制器晶片225，而不需要透過凸塊。
在部分實施例中，記憶體晶片202A是經由其下表面電性連接至控制器晶片225。然而，記憶體晶片302B是經由其上表面電性連接至控制器晶片225。換句話說，記憶體晶片202A和302B是經由不同側電性連接至控制器晶片225。在部分實施例中，記憶體晶片202A僅在其下表面處具有訊號傳輸介面，其上表面不具有訊號傳輸介面。記憶體晶片302B僅在其上表面處具有訊號傳輸介面，其下表面不具有訊號傳輸介面。在部分實施例中，記憶體晶片202A和302B的上下表面處都具有訊號傳輸介面訊號傳輸介面，然而記憶體晶片202A僅透過下表面電性連接至控制器晶片225，而記憶體晶片302B僅透過上表面電性連接至控制器晶片225。
第6圖為根據本揭露之部分實施例之記憶體元件的示意圖。第6圖的部分元件和第5圖所描述的類似，因此，這些元件將使用相同的元件符號，且相關的細節將不再贅述。
第6圖的記憶體元件301和第5圖的記憶體元件300不同的地方在於，第6圖的處理器晶片210是配置在中介板215相對於記憶體結構302的另一側。也就是說，在第5圖的實施例中，記憶體結構302和處理器晶片210是配置在中介板215的相同側。然而，在第6圖的實施例中，記憶體結構302和處理器晶片210是配置在中介板215的相反側。
更詳細而言，處理器晶片210是經由凸塊251和中介板215的下表面進行電性連接。因此，處理器晶片210可以藉由中介板215和控制器晶片225進行電性連接。在部分實施例中，可以不具有中介板215。也就是說，處理器晶片210可以僅藉由凸塊和控制器晶片225進行電性連接，而不需要經由其他的晶片。此配置可使記憶體元件301的整體所占面積降低。
本揭露提出了一種適用於人工智慧計算的記憶體元件，此記憶體元件只需少量具有高速操作的需求的第一記憶體晶片(例如第3圖至第6圖所討論的記憶體晶片202A)。此外，記憶體元件可配置數顆高密度的第二記憶體晶片(例如第3圖至第6圖所討論的記憶體晶片202B及302B)。在第1圖的寫入操作中，控制晶片(例如第3圖至第6圖所討論的控制器晶片225)可以在第一時間(例如第一階段a及第二階段b)內將資料寫入第一記憶體晶片(例如記憶體晶片202A)，而在第二時間(例如第3階段)內將資料從第一記憶體晶片複製到第二記憶體晶片(例如記憶體晶片202B或302B)。類似的，在第1圖的讀取操作中，控制晶片可以在第一時間(例如第一階段a及第二階段b)內將資料從第二記憶體晶片(例如記憶體晶片202B或302B)複製到第一記憶體晶片(例如記憶體晶片202A)，而在第二時間(例如第3階段)內將資料從第一記憶體晶片傳輸到處理器晶片(例如處理器晶片210)。
根據以上討論，可以看出本揭露提供了優點。然而，應當理解，其他實施例可以提供額外的優點，並且並非所有的優點都必須在揭露中公開，且不是所有實施例都具有特定優點。在大數據或是人工智慧的運算上，經常採用高度平行以及深度學習的方式處理問題。因此，大量、深度的結構，除了需要大量記憶體之外，也拉長了記憶體資料留存時間，降低了讀寫次數的需求。 本揭露其中一個優點是，將NAND架構的非揮發性記憶體運用在大數據或是人工智慧的運算上，不僅可以大幅降低記憶體速度規格的需求，亦可以增加記憶體的密度。
上文概述了若干實施例的特徵，以便本領域熟習此項技藝者可更好地理解本揭示案的態樣。本領域熟習此項技藝者應當瞭解到他們可容易地使用本揭示案作為基礎來設計或者修改其他製程及結構，以實行相同目的及/或實現相同優勢的。本領域熟習此項技藝者亦應當瞭解到，此類等效構造不脫離本揭示案的精神及範疇，以及在不脫離本揭示案的精神及範疇的情況下，其可對本文進行各種改變、取代及變更。
30:記憶體單元 31, 32:NAND串 35:共同源極線35 36:串選擇電晶體36 37:接地選擇電晶體37 100:記憶體元件 102:輸入層 106,108, 110:隱藏層 104:輸出層 112, 114, 116, 118:突觸層 122, 124, 126, 128:神經元 132, 134, 136:權重 200, 201, 300, 301:記憶體元件 202:記憶體結構 202A, 202B, 302B:記憶體晶片 203:介電材料 210:處理器晶片 215:中介層 216:封裝基板 225:控制器晶片 235:導電柱 240A, 240B, 245, 246, 250, 251:凸塊
閱讀以下詳細敘述並搭配對應之圖式，可了解本揭露之多個態樣。應注意，根據業界中的標準做法，多個特徵並非按比例繪製。事實上，多個特徵之尺寸可任意增加或減少以利於討論的清晰性。 第1圖為根據本揭露之部分實施例之深度學習神經網路的示意圖。 第2圖為本揭露之部分實施例之NAND架構的記憶體的電路示意圖。 第3圖為根據本揭露之部分實施例之記憶體元件的示意圖。 第4圖為根據本揭露之部分實施例之記憶體元件的示意圖。 第5圖為根據本揭露之部分實施例之記憶體元件的示意圖。 第6圖為根據本揭露之部分實施例之記憶體元件的示意圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
200:記憶體元件
202:記憶體結構
202A,202B:記憶體晶片
203:介電材料
210:處理器晶片
215:中介層
216:封裝基板
225:控制器晶片
235:導電柱
240A,240B,245,246,250:凸塊

Claims (9)

  1. 一種記憶體元件，包含：一記憶體結構，包含：一第一記憶體晶片；以及複數個第二記憶體晶片所形成的一堆疊，其中該些第二記憶體晶片的每一者包括一NAND架構的記憶體，且該第一記憶體晶片包括不同於該NAND架構的記憶體的一揮發性記憶體，且該些第二記憶體晶片的每一者的一記憶體密度高於該第一記憶體晶片的一記憶體密度，且該第一記憶體晶片的一總傳輸速率大於等於該些第二記憶體晶片的一總傳輸速率；一控制器晶片，電性連接至該第一記憶體晶片以及該些第二記憶體晶片；以及一處理器晶片，電性連接至該控制器晶片。
  2. 如請求項1所述之記憶體元件，其中該些第二記憶體晶片呈階梯狀排列。
  3. 如請求項1所述之記憶體元件，其中該些第二記憶體晶片的數量大於或等於4個。
  4. 如請求項1所述之記憶體元件，其中該些第二記憶體晶片的該記憶體密度大於或等於該第一記憶體晶片的該記憶體密度的8倍。
  5. 如請求項1所述之記憶體元件，其中，該第一記憶體晶片具有一輸入輸出數量IOD、一資料傳輸速率fD，該些第二記憶體晶片的每一者具有一輸入輸出數量ION、一資料傳輸速率fN，該些第二記憶體晶片的數量為Ns，該第一記憶體晶片以及該些第二記憶體晶片滿足IOD*fD>=ION*fN*Ns。
  6. 如請求項1所述之記憶體元件，其中該第一記憶體晶片的一輸入輸出數量大於該些第二記憶體晶片的每一者的一輸入輸出數量。
  7. 如請求項1所述之記憶體元件，其中該第一記憶體晶片位於該些第二記憶體晶片所形成的該堆疊和該控制器晶片之間。
  8. 如請求項1所述之記憶體元件，更包含：複數個第一凸塊，接觸該第一記憶體晶片的一下表面和該控制器晶片的一上表面；複數個導電柱，分別接觸該些第二記憶體晶片的複數個下表面；以及複數個第二凸塊，分別連接該些導電柱至該控制器晶片的該上表面。
  9. 如請求項1所述之記憶體元件，更包含：複數個凸塊，接觸該第一記憶體晶片的一下表面和該控制器晶片的一上表面；以及複數個導線，分別連接該些第二記憶體晶片的複數個上表面至該控制器晶片的該上表面。
TW111110414A 2022-03-21 2022-03-21 記憶體元件 TWI810855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW111110414A TWI810855B (zh) 2022-03-21 2022-03-21 記憶體元件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111110414A TWI810855B (zh) 2022-03-21 2022-03-21 記憶體元件

Publications (2)

Publication Number Publication Date
TWI810855B true TWI810855B (zh) 2023-08-01
TW202338666A TW202338666A (zh) 2023-10-01

Family

ID=88585475

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111110414A TWI810855B (zh) 2022-03-21 2022-03-21 記憶體元件

Country Status (1)

Country Link
TW (1) TWI810855B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8399973B2 (en) * 2007-12-20 2013-03-19 Mosaid Technologies Incorporated Data storage and stackable configurations
TW201448071A (zh) * 2013-02-25 2014-12-16 Ps4 Luxco Sarl 晶片堆疊、具有晶片堆疊之半導體裝置及晶片堆疊之製造方法
US9251863B2 (en) * 2010-11-30 2016-02-02 Samsung Electronics Co., Ltd. Multi channel semiconductor memory device and semiconductor device including the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8399973B2 (en) * 2007-12-20 2013-03-19 Mosaid Technologies Incorporated Data storage and stackable configurations
US9251863B2 (en) * 2010-11-30 2016-02-02 Samsung Electronics Co., Ltd. Multi channel semiconductor memory device and semiconductor device including the same
TW201448071A (zh) * 2013-02-25 2014-12-16 Ps4 Luxco Sarl 晶片堆疊、具有晶片堆疊之半導體裝置及晶片堆疊之製造方法

Also Published As

Publication number Publication date
TW202338666A (zh) 2023-10-01

Similar Documents

Publication Publication Date Title
US11055606B2 (en) Vertically integrated neuro-processor
Wang et al. Three-dimensional NAND flash for vector–matrix multiplication
CN107220704B (zh) 含有三维存储阵列的集成神经网络处理器
Li et al. Design of ternary neural network with 3-D vertical RRAM array
US11164632B2 (en) Nonvolatile memory device and method of processing in memory (PIM) using the same
US11462270B2 (en) Nonvolatile memory device and memory system including the same
US11989646B2 (en) Neuromorphic apparatus having 3D stacked synaptic structure and memory device having the same
Park et al. 3-D stacked synapse array based on charge-trap flash memory for implementation of deep neural networks
US11397886B2 (en) Vertical mapping and computing for deep neural networks in non-volatile memory
US20220398438A1 (en) Compute in memory three-dimensional non-volatile nor memory for neural networks
Lee et al. Operation scheme of multi-layer neural networks using NAND flash memory as high-density synaptic devices
Agrawal et al. X-CHANGR: Changing memristive crossbar mapping for mitigating line-resistance induced accuracy degradation in deep neural networks
KR102607860B1 (ko) 3차원 적층 시냅스 구조를 갖는 뉴로모픽 장치 및 이를 포함하는 메모리 장치
JP7152562B2 (ja) マルチレベル超低電力推論エンジンアクセラレータ
TWI810855B (zh) 記憶體元件
TWI806506B (zh) 記憶體元件
CN116863973A (zh) 存储器元件
US20230301085A1 (en) Memory device
An et al. A three-dimensional (3D) memristive spiking neural network (M-SNN) system
US20230361081A1 (en) In-memory computing circuit and fabrication method thereof
KR102656337B1 (ko) 삼항 정밀도 xor 논리 연산을 기반으로 하는 반도체 소자 및 이를 포함하는 뉴로모픽 컴퓨팅 시스템
노유현 Synaptic Devices Based on 3-D AND Flash Memory Architecture for Neuromorphic Computing
CN111435460A (zh) 神经网络处理器封装