TW202139074A - 神經形態裝置及其操作方法 - Google Patents

神經形態裝置及其操作方法 Download PDF

Info

Publication number
TW202139074A
TW202139074A TW110110177A TW110110177A TW202139074A TW 202139074 A TW202139074 A TW 202139074A TW 110110177 A TW110110177 A TW 110110177A TW 110110177 A TW110110177 A TW 110110177A TW 202139074 A TW202139074 A TW 202139074A
Authority
TW
Taiwan
Prior art keywords
layer
output
synapse array
neural network
signal
Prior art date
Application number
TW110110177A
Other languages
English (en)
Other versions
TWI754567B (zh
Inventor
李炅奐
金容錫
金炫哲
山田悟
柳成原
弘載昊
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW202139074A publication Critical patent/TW202139074A/zh
Application granted granted Critical
Publication of TWI754567B publication Critical patent/TWI754567B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0009—RRAM elements whose operation depends upon chemical change
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0007—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements comprising metal oxide memory material, e.g. perovskites
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G11C13/0023—Address circuits or decoders
    • G11C13/0028—Word-line or row circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G11C13/003—Cell access
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N—ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N70/00—Solid-state devices having no potential barriers, and specially adapted for rectifying, amplifying, oscillating or switching
    • H10N70/801—Constructional details of multistable switching devices
    • H10N70/821—Device geometry
    • H10N70/826—Device geometry adapted for essentially vertical current flow, e.g. sandwich or pillar type devices
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N—ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N70/00—Solid-state devices having no potential barriers, and specially adapted for rectifying, amplifying, oscillating or switching
    • H10N70/801—Constructional details of multistable switching devices
    • H10N70/841—Electrodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2213/00—Indexing scheme relating to G11C13/00 for features not covered by this group
    • G11C2213/70—Resistive array aspects
    • G11C2213/79—Array wherein the access device being a transistor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2213/00—Indexing scheme relating to G11C13/00 for features not covered by this group
    • G11C2213/70—Resistive array aspects
    • G11C2213/82—Array having, for accessing a cell, a word line, a bit line and a plate or source line receiving different potentials

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Materials Engineering (AREA)
  • Semiconductor Memories (AREA)
  • Memory System (AREA)

Abstract

本發明提供一種神經形態裝置,包含突觸陣列，突觸陣列包含：輸入線，在第一方向上延伸且自連接至輸入線的軸突電路獨立地接收輸入信號；位元線，在與第一方向交叉的第二方向上延伸且輸出輸出信號；單元串，各自包含在輸入線與位元線之間串聯的至少兩個電阻性憶阻器元件及串選擇電晶體；電極襯墊，在輸入線與位元線之間堆疊且彼此間隔開，且連接至串選擇電晶體及至少兩個電阻性憶阻器元件；解碼器，將串選擇信號或字元線選擇信號施加至電極襯墊；以及神經元電路，各自連接至與單元串中的一者連接的位元線中的一者，對輸出信號求和，當求和信號超過預定臨限值時轉換及輸出求和信號。

Description

神經形態裝置及其操作方法
本揭露是關於一種神經形態裝置，且更特定言之，是關於一種包含三維突觸陣列的神經形態裝置。
對類似於人類神經系統的神經形態處理器的興趣不斷增加。已經進行了研究以藉由設計對應於人類神經系統中現有的神經元及突觸的神經元電路及突觸電路來實現神經形態處理器。此神經形態處理器可用於驅動各種神經網路，諸如卷積神經網路（convolutional neural network；CNN）、遞歸神經網路（recurrent neural network；RNN）以及前饋神經網路（feedforward neural network；FNN），且可用於諸如資料分類或影像識別的領域中。
實施例是針對一種包含至少一個突觸陣列的神經形態裝置，其中突觸陣列包含：多個輸入線，在第一方向上延伸且自分別連接至所述多個輸入線的多個軸突電路彼此獨立地接收輸入信號；多個位元線，在與第一方向正交的第二方向上延伸且彼此獨立地輸出輸出信號；多個單元串，各自包含在第三方向上串聯連接於多個輸入線中的任一者與多個位元線中的任一者之間的至少兩個電阻性憶阻器元件及串選擇電晶體；多個電極襯墊，在多個輸入線與多個位元線之間在第三方向上堆疊同時彼此間隔開，且連接至串選擇電晶體及至少兩個電阻性憶阻器元件；解碼器，經組態以將串選擇信號或字元線選擇信號施加至多個電極襯墊中的每一者；以及多個神經元電路，各自連接至與單元串中的一者連接的位元線中的一者，對輸出信號求和，當求和信號超過預定臨限值時轉換及輸出求和信號，其中突觸陣列對層的電阻性憶阻器元件中的輸入信號進行人工神經網路計算，所述層藉由經過施加串選擇信號的至少一個單元串中的字元線選擇信號激活。
根據本揭露內容的另一實施例，一種神經形態裝置包含：晶片上記憶體，經組態以讀取及儲存神經形態資料；神經形態處理器，包含至少一個突觸陣列以根據突觸陣列中的神經形態資料進行人工神經網路計算，其中突觸陣列包含：多個輸入線，分別連接至多個軸突電路以彼此獨立地基於神經形態資料接收輸入信號；多個位元線，與多個輸入線間隔開，每一位元線根據人工神經網路計算輸出輸出電流；多個神經元電路，分別連接至多個位元線以對輸出電流求和，且當求和輸出電流超過預定臨限值時輸出求和輸出電流作為輸出信號；多個電極襯墊，在多個輸入線與多個位元線之間以預定間隔堆疊及配置；多個憶阻器貫通結構，各自穿過多個電極襯墊以連接於輸入線中的任一者與位元線中的一者之間，以形成輸出電流的電流路徑；多個串選擇電晶體，分別安置於多個憶阻器貫通結構與多個位元線之間；以及解碼器，連接至多個電極襯墊中的每一者以施加字元線選擇信號及串選擇信號。
根據本揭露內容的其他實施例，一種神經形態裝置的操作方法，所述神經形態裝置包含具有多個層的至少一個三維突觸陣列，所述操作方法包括：在接收到彼此獨立的多個輸入信號之後，對對應於字元線選擇信號的層的多個電阻性憶阻器元件中的輸入信號進行人工神經網路計算；作為人工神經網路計算的結果，經由位元線將多個輸出電流輸出至神經元電路；對輸出電流求和，以當求和輸出電流超過預定臨限值時輸出求和輸出電流作為輸出電壓；以及其中三維突觸陣列針對由字元線選擇信號激活的每一層獨立地進行人工神經網路計算。
然而，本揭露的態樣不限於本文中所闡述的彼等。本揭露的上述及其他態樣對於藉由參考下文給出的本揭露的詳細描述的本揭露關於的所屬領域中具有通常知識者將變得更顯而易見。
圖1繪示神經形態計算的數學模型。圖2為解釋神經形態計算的概念圖。
生物神經元為存在於人類神經系統中的單元。生物神經元為基本生物計算實體中的一個。人類大腦含有約1000億生物神經元及生物神經元之間的100萬億個互連。
人類大腦可藉由經由神經網路傳輸且處理各種信號來學習並記住大量資訊，所述神經網路藉由將大量神經元彼此連接來形成。人類大腦中的神經元之間的大量互連與生物計算的大規模並行性質直接相關，且因此已進行了各種嘗試以藉由模擬人工神經網路來有效處理大量資訊。舉例而言，作為設計以在神經元級別下實施人工神經網路的計算系統，正在研究神經形態裝置。
可藉由數學模型模擬生物神經元的行為。對應於生物神經元的數學模型可包含：將來自多個神經元的資訊乘以突觸權重的乘法運算，乘以突觸權重的數值的加法運算（Σ），以及將特徵函數（b）及主動函數（f）應用至加法運算結果的運算，作為神經形態運算的實例。
參考圖1，示出包含輸入層、隱藏層以及輸出層的人工神經網路的實例。人工神經網路可基於接收到的輸入資料（例如，Vin1、Vin2、Vin3）進行運算，且基於運算結果產生輸出資料（例如，Vout1、Vout2）。
人工神經網路可為包含兩個或大於兩個隱藏層或n層神經網路的深度神經網路（deep neural network；DNN）。舉例而言，如圖1中所示出，人工神經網路可為包含輸入層層1、兩個隱藏層層2及隱藏層層3以及輸出層層4的DNN。DNN可包含CNN、RNN、FNN、深度信念網路或受限波爾茲曼機（restricted Boltzmann machine）等。
圖1的人工神經網路示出為包含四個層，但此僅為實例，且人工神經網路可包含更少或更多的層。另外，人工神經網路可包含具有與圖1中所繪示的結構不同的各種結構的層。
人工神經網路中所包含的層中的每一者可包含多個人工神經元。人工神經元可指「神經元」、「處理元件（processing element；PE）」、「單元」或類似術語。
如圖1中所示出，層1可包含三個神經元，且層2可包含四個神經元。然而，此僅為實例，且人工神經網路中所包含的層中的每一者可包含各種數目的神經元。
在圖1中，人工神經網路中的層中的每一者中所包含的神經元可彼此連接以交換資料。舉例而言，一個神經元可自先前層的其他神經元接收資料，且計算所述資料以將計算結果輸出至下一層的其他神經元。
神經元中的每一者的輸出值可稱作激活。激活可為來自一個神經元的輸出值，且可為對下一層中所包含的神經元的輸入值。神經元中的每一者可基於自先前層中所包含的神經元接收到的權重及激活來判定其自身的激活值。權重為用於計算每一神經元中的激活的參數，且可為指派給神經元之間的連接關係的值。權重可儲存於連接神經元的突觸中。
神經元中的每一者可為接收輸入且輸出激活的計算單元，且可映射輸入及輸出。舉例而言，當σ為激活函數時，
Figure 02_image001
為自(i-1)th 層中所包含的kth 神經元至ith 層中所包含的jth 神經元的權重，
Figure 02_image003
為ith 層中所包含的jth 神經元的偏差，且
Figure 02_image005
為ith 層中的jth 神經元的激活，激活
Figure 02_image005
可遵循等式1：
Figure 02_image007
等式1
因而，人工神經網路的運算可包含：將先前層的神經元的輸出值與突觸的權重相乘的乘法運算，以及將接收神經元中的每一乘法的結果相加的加法運算。
圖3至圖5為解釋根據一些實例實施例的神經形態裝置中的突觸陣列電路的組態的圖。
參考圖3，二維地示出神經形態裝置200中的陣列電路的組態。根據本實例實施例的神經形態裝置200包含軸突電路210、突觸電路220、樹突電路230、神經元電路240以及網路260。神經形態裝置200可包含自軸突電路210在第一方向上延伸的第一方向線（或軸突線）及在第二方向上延伸且對應於樹突電路230的第二方向線（或樹突線）。第一方向線及第二方向線彼此相交，且突觸電路220可安置於第一方向線及第二方向線的相交點上。在圖3中，第一方向示出為列方向，且第二方向示出為行方向，但此僅為實例。
軸突電路210中的每一者可為模擬生物神經元的軸突的電路。由於神經元的軸突進行將信號自神經元傳輸至另一神經元的功能，因此模擬神經元的軸突的軸突電路210中的每一者可接收激活且將其傳輸至第一方向線。激活對應於經由神經元傳輸的神經傳遞質，且可為輸入至軸突電路210中的每一者的電信號。另外，軸突電路210中的每一者可包含用於儲存輸入資訊的記憶體或暫存器。
突觸電路220中的每一者可為模擬神經元之間的突觸的電路。突觸電路220可儲存對應於神經元之間的連接強度的權重。突觸電路220中的每一者可包含用於儲存權重的記憶體元件，或可連接至已具有權重的記憶體元件。在實例實施例中，此記憶體元件可為憶阻器或包含憶阻器。
樹突電路230可為模擬神經元的樹突的電路。樹突電路230可自其他外部神經元接收信號，且經由第二方向線將權重及激活的計算結果提供至神經元電路240中的每一者。神經元電路240中的每一者可基於經由對應第二方向線接收到的計算結果來判定是否輸出尖峰。舉例而言，當接收的計算結果的累積值大於或等於預定臨限值時，神經元電路240中的每一者可輸出尖峰。自神經元電路240輸出的尖峰可對應於經由網路260輸入至下一階段的軸突的激活。
神經元電路240可位於相對於突觸電路220的後端，且因此可稱作突觸後神經元電路。軸突電路210可位於相對於突觸電路220的前端，且因此可稱作突觸前神經元電路。
突觸電路220中的每一者可藉由諸如憶阻器元件250的記憶體元件實施。憶阻器元件250可經由基於憶阻器的設計將權重儲存於其中，且在相交處進行乘法（亦即，AND運算）。根據本實例實施例的突觸電路220中的每一者的憶阻器元件250可實施為電阻性元件，諸如使用相變材料的相變隨機存取記憶體（phase change random access memory；PRAM）或使用諸如複合金屬氧化物的可變電阻材料的電阻性隨機存取記憶體（resistive random access memory；RRAM）。構成電阻性元件的材料具有取決於電流或電壓的幅值及/或方向而變化的可變電阻值，且具有即使當切斷電流或電壓時仍保持其電阻不變的非揮發性特性。
參考圖4，根據一些實例實施例的突觸陣列可包含多個輸入線IL、多個位元線BL以及安置於每一輸入線與每一位元線之間的多個單元串。為描述的簡單起見，突觸陣列描述為包含三個位元線及三個輸入線，但可包含根據各種實施例的較大數目的位元線及輸入線。
突觸陣列的輸入線IL及位元線BL可彼此正交，同時在Z方向上彼此間隔開。舉例而言，輸入線IL可在X方向上延伸，且位元線可在Y方向上延伸。輸入線IL可連接至軸突電路，且位元線BL可連接至樹突電路。
多個單元串可並行連接至位元線BL1至位元線BL3中的每一者。多個單元串可彼此獨立地連接至輸入線IL1至輸入線IL3。因此，多個單元串中的每一者可連接至一個輸入線（例如IL1）及一個位元線（例如BL1）。
多個輸入線IL1至輸入線IL3中的每一者可在X方向上延伸，同時在Y方向上彼此平行地間隔開。輸入信號可獨立地施加至輸入線IL1至輸入線IL3中的每一者。根據一些實例實施例，軸突電路210可實施為輸入開關（SW）310，且連接至每一輸入線IL1至輸入線IL3的輸入端子以施加輸入信號Vin1至輸入信號Vin3。根據一些實例實施例，軸突電路210可實施為記憶體或暫存器，以儲存輸入信號Vin1至輸入信號Vin3且將其輸出。
單元串中的每一者可包含連接至位元線BL的串選擇電晶體、串聯連接於輸入線IL與串選擇電晶體之間的多個憶阻器元件320以及輸入線IL。憶阻器元件320中的每一者可包含字元線電晶體及權重儲存元件。可豎直地堆疊一個單元串以藉由共用且使用一個神經元電路來減少開銷。將參考圖6A至圖6D進一步詳細地描述單元串。
在一些實例實施例中，突觸陣列可基於層操作。可藉由針對每一層獨立地進行人工神經網路計算學習神經形態裝置。
一個層可包含安置於同一平面上且沿突觸陣列中的一個字元線WL激活的憶阻器元件。每一層可包含如參考圖1所描述的不同數目個憶阻器元件。一個層中所包含的憶阻器元件的數目可在解碼器370及周邊電路360的控制下變化。舉例而言，第一層可包含3 x 3憶阻器元件，且第二層可包含2 x 3憶阻器元件。
位元線BL1至位元線BL3中的每一者可將輸出信號Iout輸出至神經元電路340。根據一些實例實施例，一個神經元電路340可連接至一個位元線BL。
神經元電路340可將輸出信號Iout自電流值轉換為電壓值Vout，且將其傳輸至周邊電路360。
解碼器370可回應於字元線選擇信號WL1至字元線選擇信號WL3及串選擇信號SEL而激活多個字元線當中的至少一個字元線，以激活特定位址的憶阻器元件。在此情況下，通過電壓Vpass或截止電壓Voff可施加至字元線。
參考圖5更詳細地描述操作，周邊電路460可包含至少兩個電晶體461及電晶體462。第一電晶體461及第二電晶體462可連接於周邊電路460與位元線BL之間。第一電晶體461可連接至突觸陣列的輸入端子側，且第二電晶體462可連接至突觸陣列的輸出端子側。
在實例實施例中，周邊電路460首先將輸入信號Vin輸出至軸突電路410。當施加輸入信號Vin時，訓練脈衝產生電路401基於關於是否進行學習的控制信號來產生訓練脈衝。第一電晶體461連接於訓練脈衝產生電路401與位元線BL之間，且在周邊電路460的控制下將訓練脈衝輸出至位元線。
當回應於串選擇信號SEL而選擇至少一個串X時，截止電壓Voff可回應於控制信號CON而施加至經由解碼器470所選擇的至少一個字元線，且通過電壓Vpass可施加至剩餘未選擇字元線。
舉例而言，當選擇字元線WL3時，截止電壓Voff施加至字元線WL3的電晶體，且通過電壓Vpass施加至字元線WL1、字元線WL2以及字元線WL4。突觸陣列對對應於字元線WL3的層進行人工神經網路計算。舉例而言，字元線WL3的憶阻器元件450可將輸入信號Vin乘以權重以輸出乘法結果作為輸出信號Iout。
在位元線BL中，可對自每一串輸出的輸出信號Iout求和。當接收求和輸出信號Itot時，當在周邊電路460的控制下打開第二電晶體462時，第二電晶體462將求和輸出信號Itot輸出至神經元電路440。當求和輸出信號Itot超過預定臨限值時，神經元電路440可將求和輸出信號Itot轉換至輸出電壓Vout中且將其輸出至周邊電路460。
圖6A至圖6D為示出根據一些實例實施例的突觸陣列的一個串的圖。
參考圖6A，一個單元串X可包含串聯連接的至少兩個憶阻器元件320。單元串X可包含位元線BL與輸入線IL之間的串選擇電晶體。憶阻器元件可包含一個字元線選擇電晶體及電阻性記憶體單元。在彼此不同的層中可包含分別對應於單元串X中的字元線的憶阻器元件。
參考圖6B，在沿著X-Y方向的平面中延伸的電極襯墊可堆疊於在Z方向上彼此正交穿過同時間隔開的位元線BL與輸入線IL之間。
電極襯墊在Z方向上以預定間隔堆疊，且可包含用於字元線WL1至字元線WL4的電極襯墊之間的電極間絕緣膜（inter-electrode insulating film；ILD）。電極間絕緣膜可包含例如氧化矽等。每一電極襯墊可包含記憶體單元的字元線WL1至字元線WL3。另外，儘管未示出，但每一電極襯墊可包含軸突電路的輸出端子及參考圖4至圖6A所描述的串選擇電晶體中所包含的柵電極。
串聯連接的憶阻器元件可形成為憶阻器貫通結構。憶阻器貫通結構具有沿著Z軸延伸較長的柱形狀，且安置以經由堆疊的電極襯墊將一個位元線BL連接至一個輸入線IL。
參考圖6C及圖6D，憶阻器元件Y（參見圖6B）可包含控制閘極電極510、閘極絕緣膜520、多晶矽氧化物530、電阻性材料或相變材料540以及柱氧化物550。
憶阻器元件Y可呈柱的形式，所述柱的形式在其中心處具有柱氧化物550且藉由按電阻性材料540、多晶矽氧化物530、閘極絕緣膜520以及控制閘極電極510次序的層包圍。
在圖6B至6D中，控制閘極電極510可為電極襯墊。控制閘極電極510可由鉑（Pt）、釕（Ru）、銥（Ir）、銀（Ag）、鋁（Al）、鈦（Ti）、鉭（Ta）、鎢（W）、矽（Si）、銅（Cu）、鎳（Ni）、鈷（Co）、其導電氮化物（例如TiN）或其組合（例如Ti/TiN）製成。在實例實施例中，控制閘極電極510可由TiN製成，其與基於Si CMOS的製程很好地相容。
根據一些實例實施例，憶阻器元件Y可包含具有特性（亦即，可變電阻特性）的材料中的至少一個，其中憶阻器元件的電阻可藉由穿過憶阻器元件的電流而選擇性地改變。根據一些實例實施例，電阻性材料540可為過渡金屬氧化物膜，例如TiO2 層、NiO層、HfO2 層、Al2 O3 層、ZrO2 層以及ZnO層中的任一者或其組合。在另一實施中，電阻性材料540可由能夠可變地切換電阻的材料形成，諸如硫族元素類化合物或鈣鈦礦類化合物。可使用具有低電阻狀態中的電阻值與高電阻狀態中的電阻值之間的較大比率的且具有用於降低功率消耗的較小驅動電壓的材料。
在圖式中，電阻性材料540及控制閘極電極510各自示出為單層，但各自可具有包含適合於其他實施例的障壁膜的多層結構。
圖7為描述根據一些實例實施例的當在突觸陣列中選擇一個層時的操作的圖。
參考圖7及圖6B的「A」，電流路徑自輸入線IL至位元線BL形成。當截止電壓Voff施加至電極襯墊511至電極襯墊514中的任一者（例如電極襯墊513）且通過電壓Vpass施加至剩餘電極襯墊511、電極襯墊512以及電極襯墊514時，電流可流動通過通道層，亦即多晶矽氧化物530，且由於截止電壓Voff迂迴至對應於電極襯墊513的層中的電阻性材料540，且接著在下一電極襯墊514處流回至多晶矽氧化物530。
當電流流動通過用於所選擇的字元線的電阻性材料540時，電阻值取決於穿過電阻性材料540的電流的程度而變化。接著，與輸入電壓Vin相比，可自變化的電阻值判定輸出電流Iout。在單元串中，串聯連接電阻性記憶體元件，且基於電流相對於電阻組件的線性特性，可在神經元電路中對輸出電流Iout求和。
圖8及圖9為描述根據一些實例實施例的神經形態裝置的操作的概念圖。
在圖8及圖9中，神經形態裝置600可包含至少兩個突觸陣列，例如突觸陣列621及突觸陣列622。至少兩個突觸陣列621及突觸陣列622各自可包含軸突電路611、軸突電路612以及在突觸陣列621與突觸陣列622之間可彼此串聯連接的神經元電路641、神經元電路642。
突觸陣列621、突觸陣列622的每一層可彼此獨立地進行人工神經網路計算。根據一些實例實施例，對應於突觸陣列621、突觸陣列622的字元線WL1的第一層可進行用於面部識別的人工神經網路計算，對應於字元線WL2的第二層可進行用於密碼術的人工神經網路計算，對應於字元線WL3的第三層可進行用於趨向推斷的人工神經網路計算，以及對應於字元線WL4的第四層可進行用於圖案識別的人工神經網路計算。
在圖9中，根據一些實例實施例第一突觸陣列621及第二突觸陣列622實施為4×4陣列，但根據各種實例實施例可實施為至少2×2的陣列。
解碼器630可連接至第一突觸陣列621及第二突觸陣列622，以選擇一個突觸陣列且施加所選擇的突觸陣列的串選擇信號及字元線電壓。
當輸入信號Vin1（亦即，Vin11、Vin12、Vin13）經由第一軸突電路611輸入至第一突觸陣列621時，解碼器630可回應於輸入信號Vin1而選擇一個層（在圖式中繪示為陣列4），以進行人工神經網路計算。作為人工神經網路計算的結果，輸出信號Iout1（亦即，Iout11、Iout12、Iout13）自第一突觸陣列621輸出。接著，輸出信號藉由第一神經元電路641（亦即，6411、6412、6413）轉換為輸入信號Vin2（亦即，Vin21、Vin22、Vin23）。當樹突，亦即位元線中求和的輸出信號Iout1、輸出信號Iout2、輸出信號Iout3超過預定臨限值時，可輸出輸入信號Vin2。
輸入信號Vin2經由第二軸突電路612輸入至第二突觸陣列622，且解碼器630可回應於輸入信號Vin2而選擇一個層（在圖式中繪示為陣列4）以進行人工神經網路計算。作為人工神經網路計算的結果，輸出信號Iout2（亦即，Iout21、Iout22、Iout23）自第二突觸陣列622輸出。接著，輸出信號Iout2藉由第二神經元電路642（亦即，6421、6422、6423）轉換為輸出信號Vout2（亦即，Vout21、Vout22、Vout23）。當樹突，亦即位元線中求和的輸出信號Iout21、輸出信號Iout22、輸出信號Iout23超過預定臨限值時，可輸出輸出信號Vout2。
根據一些實例實施例，神經形態裝置600可藉由激活多個突觸陣列的相同層來進行人工神經網路計算。因此，藉由經由解碼器630激活第一突觸陣列621的陣列4及第二突觸陣列622的陣列4，可進行人工神經網路計算以輸出輸出信號。在此情況下，第一突觸陣列621的陣列4及第二突觸陣列622的陣列4可具有相同的N×M陣列（N及M為2或大於2的自然數）。
第一突觸陣列621及第二突觸陣列622的陣列1至陣列4可具有彼此獨立的大小以用於人工神經網路計算。根據一些實例實施例，每一層中的陣列的大小可為陣列1的3×3、陣列2的2×3、陣列3的4×4以及陣列4的2×2。
圖10（a）、圖10（b）以及圖11為描述根據一些實例實施例的神經形態裝置的操作的概念圖。
參考圖10（a）、圖10（b）以及圖11，根據一些實例實施例的神經形態裝置700可包含軸突電路710、一個突觸陣列720、解碼器730、神經元電路740以及鎖存器電路750。
不同於圖8及圖9的實施例，神經形態裝置700可使用如圖10（b）中所示出的一個突觸陣列720來進行人工神經網路計算。在此情況下，先前層的計算結果儲存於鎖存器電路750中，且當需要下一人工神經網路的學習時，儲存於鎖存器電路750中的數值可輸入至突觸陣列720，且可進行下一人工神經網路計算。
突觸陣列720的每一層可以彼此相關聯的方式進行人工神經網路計算。根據一些實例實施例，在人工神經網路計算用於面部識別的情況下，第一層（對應於突觸陣列621、突觸陣列622的字元線WL1）至第四層（對應於字元線WL4）可藉由接收儲存於鎖存器電路750中的數值以進行用於面部識別的人工神經網路計算來學習。在此情況下，可藉由在一個突觸陣列中的不同層中進行人工神經網路計算來最小化讀取干擾現象，且當存在多個突觸陣列時，可改良用於將陣列彼此連接的連接自由度。
在圖10（a）及圖10（b）中，在神經形態裝置700中，輸入信號Vin1可經由軸突電路710輸入至突觸陣列720，且解碼器730可回應於輸入訊號Vin1而選擇一個層（例如，對應於的WL1的層）以進行人工神經網路計算。作為人工神經網路計算的結果，輸出信號Iout1自突觸陣列720輸出。接著，神經元電路740可自電流Iout1將輸出信號轉換為電壓Vout1以輸出轉換的信號。轉換的輸出信號Vout1儲存於鎖存器電路750中，且接著在下一人工神經網路計算（2nd ）處被調用，以作為輸入信號Vin2輸入至對應於字元線WL2的層。類似地，第三人工神經網路計算（3rd ）及第四人工神經網路計算（4th ）亦可接收先前的計算結果（輸入信號Vin3及輸入信號Vin4），將其儲存於鎖存器電路750（亦即，7501、7502、7503）中，且將其依序輸入至不同層（例如，如圖式中所繪示，對應於字元線WL3的層及對應於字元線WL4的層），以經由神經元電路740（亦即，7401、7402、7403）輸出輸出信號Vout。
圖12及圖13為描述根據一些實例實施例的突觸陣列中的每一層的操作的概念圖。根據一些實例實施例，假設進行四次人工神經網路學習。
在圖12中，根據一些實例實施例，當神經形態裝置600'包含多個突觸陣列時，突觸陣列可針對對應於每一字元線的每一層獨立地進行人工神經網路計算。對於四次人工神經網路學習，4個突觸陣列可串聯連接，且依序激活以在相同字元線的層（在圖式中繪示為使用陣列4）中依序進行第一人工神經網路計算至第四人工神經網路計算且輸出輸出信號Vout。
在圖13中，根據一些實例實施例，當神經形態裝置700'包含一個突觸陣列時，突觸陣列的所有層可進行相同的人工神經網路計算。對於四次人工神經網路學習，突觸陣列可依序激活每一層以進行第一層（陣列1）中的第一人工神經網路計算、第二層（陣列2）中的第二人工神經網路計算、第三層（陣列3）中的第三人工神經網路計算以及第四層（陣列4）中的第四人工神經網路計算，且輸出輸出信號Vout。
圖14為示出根據實例實施例的神經形態裝置的硬體組態的方塊圖。
參考圖14，根據本實例實施例的神經形態裝置100包含具有神經形態處理器（N-處理器）112及晶片上記憶體114的神經形態晶片110以及外部記憶體120。應注意，在圖14中所繪示的神經形態裝置100中，僅示出與本實例實施例有關的一些組件，且除圖14中所繪示的組件之外，神經形態裝置100中可更包含其他通用組件，例如中央處理單元（central processing unit；CPU）、圖形處理單元（graphic processing unit；GPU）、應用處理器（application processor；AP）、感測器模組、通信模組以及類似者。
神經形態裝置100可包含於各種類型的電子裝置中，諸如個人電腦（personal computer；PC）、伺服器裝置、行動裝置以及嵌入裝置。神經形態裝置100可對應於硬體組件，所述硬體組件包含於例如使用神經網路進行例如語音識別、影像識別以及影像分類的智慧型電話、平板電腦裝置、擴增現實（augmented reality；AR）裝置、物聯網（Internet of Things；IoT）裝置以及自控車輛、機器人、醫療裝置以及類似者中。因此，神經形態裝置100可對應於安裝於上述電子裝置上的專用的硬體加速器，或對應於諸如神經處理單元（neural processing unit；NPU）、張量處理單元（tensor processing unit；TPU）或神經引擎（其為用於驅動神經網路的專用模組）等的硬體加速器。
神經形態晶片110可用來控制用於在神經形態裝置100中驅動神經網路的整體功能。舉例而言，神經形態晶片110的神經形態處理器112可存取儲存於神經形態裝置100中的外部記憶體120中的神經形態資料（例如，軸突值、突觸值等），以執行神經形態有關的程式，由此大體上控制神經形態裝置100。神經形態處理器112可包含圖1至圖13中所示出的根據一些實例實施例的突觸陣列。神經形態晶片110可在可提供於神經形態裝置100內部或外部的CPU、GPU、AP或類似者的控制下驅動神經網路。
外部記憶體120可為儲存在神經形態晶片110中處理的各種神經形態資料的硬體。外部記憶體120可將在神經形態晶片110中已處理的資料及在神經形態晶片110中待處理的資料儲存於其中。另外，外部記憶體120可將待由神經形態晶片110運行的應用、驅動器以及類似者儲存於其中。外部記憶體120可包含諸如動態隨機存取記憶體（dynamic random access memory；DRAM）及靜態隨機存取記憶體（static random access memory；SRAM）的隨機存取記憶體（random access memory；RAM）、唯讀記憶體（read-only memory；ROM）、電可擦除可編程唯讀記憶體（electrically erasable programmable read-only memory；EEPROM）、CD-ROM、Blu-ray或另一光碟儲存器、硬碟驅動機（hard disk drive；HDD）、固態驅動機（solid state drive；SSD）或快閃記憶體。
神經形態晶片110的晶片上記憶體114可自外部記憶體120讀取及儲存（或緩衝）突觸前神經元電路的神經形態資料（例如，軸突值、突觸值），且可執行神經網路，亦即使用儲存的神經形態資料進行人工神經網路計算。另外，晶片上記憶體114可儲存突觸後神經元電路的資料，諸如由於執行神經網路所產生的神經元值及尖峰值。
圖15為示出根據一些實例實施例的電子系統的組態的方塊圖。
參考圖15，電子系統1000可基於神經網路實時分析輸入資料以提取有效資訊，且基於提取的資訊可判定情形或控制其上安裝有電子系統1000的電子裝置的組件。舉例而言，電子系統1000可施加至諸如無人機及高級駕駛輔助系統（advanced driver assistance system；ADAS）的機器人裝置、智慧型TV、智慧型電話、醫療裝置、行動裝置、影像顯示裝置、量測裝置以及IoT裝置以及類似者。另外，電子系統1000可安裝於各種其他類型的電子裝置中的至少一個上。
電子系統1000可包含處理器1010、RAM 1020、神經形態裝置1030、記憶體1040、感測器模組1050以及通信模組1060。電子系統1000可更包含輸入/輸出模組、安全模組、功率控制裝置以及類似者。電子系統1000的硬體組件中的一些可安裝於至少一個半導體晶片上。
處理器1010可控制電子系統1000的整體操作。處理器1010可包含一個處理器核心（單核心）或多個處理器核心（多核心）。處理器1010可處理或進行儲存於記憶體1040中的程式及/或資料。在一些實例實施例中，處理器1010可藉由執行儲存於記憶體1040中的程式來控制神經形態裝置1030的功能。處理器1010可實施為CPU、GPU、AP或類似者。
RAM 1020可暫時儲存程式、資料或指令。舉例而言，儲存於記憶體1040中的程式及/或資料可根據處理器1010的控制或啟動碼暫時儲存於RAM 1020中。 RAM 1020可實施為動態RAM（DRAM）、靜態RAM（SRAM）或類似者。
神經形態裝置1030可基於接收到的輸入資料進行神經網路的計算，且基於計算結果產生資訊信號。神經網路可包含但不限於CNN、RNN、FNN、深度信念網路、受限波爾茲曼機以及類似者。根據實例實施例，神經形態裝置1030為專用於神經網路或包含其的裝置的硬體加速器，且可包含根據上文所描述的實例實施例的神經形態處理器。
資訊信號可包含各種類型的識別信號中的一個，諸如語音識別信號、對象識別信號、影像識別信號以及生物識別資訊識別信號。舉例而言，神經形態裝置1030可接收視訊流中所包含的訊框資料作為輸入資料，且自訊框資料產生由訊框資料表示的影像中所包含的對象的識別信號。在其他實例實施例中，神經形態裝置1030可取決於其上安裝有電子系統1000的電子裝置的類型或功能而接收各種類型的輸入資料，且可根據輸入資料產生識別信號。
記憶體1040為用於儲存資料的儲存位置，且可儲存操作系統（operating system；OS）、各種程式以及各種資料。在實施例中，記憶體1040可儲存在神經形態裝置1030的計算過程期間產生的中間結果。
記憶體1040可為DRAM等。記憶體1040可包含揮發性記憶體或非揮發性記憶體中的至少一者。非揮發性記憶體包含ROM、可程式ROM（programmable ROM；PROM）、可擦除PROM（erasable PROM；EPROM）、電可擦除PROM（EEPROM）、快閃記憶體、相變隨機存取記憶體（PRAM）、磁阻性RAM（magnetoresistive RAM；MRAM）、電阻性RAM（RRAM）、鐵電RAM（ferroelectric RAM；FRAM）以及類似者。揮發性記憶體包含DRAM、SRAM、SDRAM、PRAM、MRAM、RRAM、FeRAM以及類似者。在實施例中，記憶體1040可包含HDD、SSD、CF、SD、微SD、微型SD、xD或記憶卡中的至少一者。
感測器模組1050可收集其上安裝有電子系統1000的電子裝置的周邊資訊。感測器模組1050可自電子裝置外部感測或接收信號（例如，視訊信號、音訊信號、磁性信號、生物信號、觸摸信號等），且將感測到的或接收到的信號轉換為資料。舉例而言，感測器模組1050可包含各種類型的感測裝置中的至少一者，諸如麥克風、成像裝置、影像感測器、光偵測及測距（light detection and ranging；LIDAR）感測器、超音波感測器、紅外感測器、生物感測器以及觸摸感測器。
感測器模組1050可將轉換的資料提供至神經形態裝置1030作為輸入資料。舉例而言，感測器模組1050可包含影像感測器，藉由攝影電子裝置的外部環境產生視訊流，且將視訊流的連續的資料訊框按次序提供至神經形態裝置1030作為輸入資料。在其他實例實施例中，感測器模組1050可將各種類型的資料提供至神經形態裝置1030。
通信模組1060可具備能夠與外部裝置通信的各種有線或無線介面。舉例而言，通信模組1060可包含可存取有線局部區域網路（wired local area network；LAN）、諸如無線保真（wireless fidelity；Wi-Fi）的無線局部區域網路（wireless local area network；WLAN）、諸如藍芽的無線個人區域網路（wireless personal area network；WPAN）、無線通用串列匯流排（無線USB）、紫蜂、近場通信（near field communication；NFC）、射頻識別（radio-frequency identification；RFID）、電力線通信（power line communication；PLC）或諸如第3代（3rd generation；3G）、第4代（4th generation；4G）的移動蜂巢式網路的通信介面及長期演進（long-term evolution；LTE）。
藉助於總結及回顧，神經形態裝置可包含儲存神經元之間的連接強度的突觸電路，且可使用包含儲存一或多個位元的可變電阻元件的記憶體裝置來實施突觸電路。
如上文所描述，實施例可提供高度整合的高功率突觸陣列。實施例亦可提供高度整合的高功率神經形態裝置。實施例亦可提供高度整合的高功率神經形態裝置的操作方法。
本文中已揭露實例實施例，且儘管採用特定術語，但此等術語僅在一般及描述性意義上使用及解釋，而非出於限制的目的。在一些情況下，如所屬領域中具有通常知識者截至本申請案申請時顯而易見，除非另外具體指示，否則結合特定實施例所描述的特徵、特性及/或元件可單獨使用或結合其他實施例所描述的特徵、特性及/或元件組合使用。因此，所屬領域中具有通常知識者將理解，在不脫離如以下申請專利範圍中所闡述的本發明的精神及範疇的情況下，可在形式及細節上作出各種改變。
100、200、600、600'、700、700'、1030:神經形態裝置 110:神經形態晶片 112:神經形態處理器 114:晶片上記憶體 120:外部記憶體 210、410、611、612、710:軸突電路 220:突觸電路 230:樹突電路 240、340、440、641、642、740、6411、6412、6413、6421、6422、6423、7401、7402、7403:神經元電路 250、320、450:憶阻器元件 260:網路 310:輸入開關 360、460:周邊電路 370、630、730:解碼器 401:訓練脈衝產生電路 461:第一電晶體 462:第二電晶體 510:控制閘極電極 511、512、513、514:電極襯墊 520:閘極絕緣膜 530:多晶矽氧化物 540:電阻性材料/相變材料 550:柱氧化物 621、622、720:突觸陣列 750、7501、7502、7503:鎖存器電路 1000:電子系統 1010:處理器 1020:隨機存取記憶體 1040:記憶體 1050:感測器模組 1060:通信模組 Array 1:陣列1 Array 2:陣列2 Array 3:陣列3 Array 4:陣列4 BL、BL1、BL2、BL3:位元線 CON:控制信號 IL、IL1、IL2、IL3:輸入線 Iout、Iout1、Iout2、Iout3、Iout11、Iout12、Iout13、Iout21、Iout22、Iout23、Vout、Vout1、Vout2、Vout21、Vout22、Vout23:輸出信號 Itot:求和輸出信號 Layer 1:輸入層 Layer 2、Layer 3:隱藏層 Layer 4:輸出層 SEL:串選擇信號 SW:輸入開關 Vin、Vin1、Vin2、Vin3、Vin11、Vin12、Vin13、Vin21、Vin22、Vin23:輸入信號 Voff:截止電壓 Vpass:通過電壓 WL1、WL2、WL3、WL4:字元線 X:單元串 Y:憶阻器元件
藉由參考隨附圖式詳細地描述實例實施例，特徵將對於所屬領域中具有通常知識者變得顯而易見，在隨附圖式中： 圖1繪示神經形態計算的數學模型。 圖2為解釋神經形態計算的概念圖。 圖3至圖5為解釋根據一些實例實施例的神經形態裝置中的突觸陣列電路的組態的圖。 圖6A至圖6D為示出根據一些實例實施例的突觸陣列的一個串的圖。 圖7為描述根據一些實例實施例的當在突觸陣列中選擇一個層時的操作的圖。 圖8及圖9為描述根據一些實例實施例的神經形態裝置的操作的概念圖。 圖10（a）、圖10（b）以及圖11為描述根據一些實例實施例的神經形態裝置的操作的概念圖。 圖12及圖13為描述根據一些實例實施例的突觸陣列中的每一層的操作的概念圖。 圖14為示出根據實例實施例的神經形態裝置的硬體組態的方塊圖。 圖15為示出根據一些實例實施例的電子系統的組態的方塊圖。
200:神經形態裝置
210:軸突電路
220:突觸電路
230:樹突電路
240:神經元電路
250:憶阻器元件
260:網路

Claims (22)

  1. 一種神經形態裝置，包括： 至少一個突觸陣列， 其中所述至少一個突觸陣列包含： 多個輸入線，在第一方向上延伸且自分別連接至所述多個輸入線的多個軸突電路彼此獨立地接收輸入信號； 多個位元線，在與所述第一方向正交的第二方向上延伸且彼此獨立地輸出輸出信號； 多個單元串，所述多個單元串中的每一者包含在第三方向上串聯連接於所述多個輸入線中的任一者與所述多個位元線中的任一者之間的至少兩個電阻性憶阻器元件及串選擇電晶體； 多個電極襯墊，在所述多個輸入線與所述多個位元線之間在所述第三方向上堆疊同時彼此間隔開，且連接至所述串選擇電晶體及所述至少兩個電阻性憶阻器元件； 解碼器，經組態以將串選擇信號或字元線選擇信號施加至所述多個電極襯墊中的每一者；以及 多個神經元電路，所述多個神經元電路中的每一者連接至與所述單元串中的一者連接的所述位元線中的一者，對所述輸出信號求和，當求和信號超過預定臨限值時轉換及輸出所述求和信號， 其中所述至少一個突觸陣列對層的所述電阻性憶阻器元件中的所述輸入信號進行人工神經網路計算，所述層藉由經過施加所述串選擇信號的至少一個單元串中的所述字元線選擇信號激活。
  2. 如請求項1所述的神經形態裝置，其中所述多個單元串中的每一者穿過堆疊的電極襯墊，且以連接所述位元線及所述輸入線的柱形狀配置。
  3. 如請求項2所述的神經形態裝置，其中所述多個單元串中的每一者形成為所述柱形狀，所述柱形狀在其中心處具有柱氧化物且藉由按電阻性材料層、多晶矽氧化物層以及閘極絕緣膜次序的層包圍。
  4. 如請求項3所述的神經形態裝置，其中所述至少一個突觸陣列： 藉由將所述串選擇信號施加至所述多個電極襯墊中的最上部電極襯墊來激活至少一個單元串， 回應於激活的單元串中的所述字元線選擇信號而激活電阻性憶阻器元件，以及 藉由將所述輸入信號輸入至激活的電阻性憶阻器元件以將所述輸出信號輸出至所述位元線來進行所述人工神經網路計算。
  5. 如請求項1所述的神經形態裝置，其中第一突觸陣列及第二突觸陣列串聯連接，且 所述第一突觸陣列及所述第二突觸陣列在所述第一方向或所述第二方向上間隔開，且共用所述多個電極襯墊及所述解碼器。
  6. 如請求項5所述的神經形態裝置，其中： 回應於所述輸入信號而在所述第一突觸陣列的第一層中進行第一人工神經網路計算，且回應於自所述第一突觸陣列輸出的中間信號而在所述第二突觸陣列的第二層中進行第二人工神經網路計算，以產生所述輸出信號，且 所述第一層及所述第二層由同一字元線選擇信號激活。
  7. 如請求項1所述的神經形態裝置，其中所述至少一個突觸陣列包含分別連接於所述多個神經元電路與所述多個輸入線之間以儲存所述輸出信號的多個鎖存器電路。
  8. 如請求項7所述的神經形態裝置，其中所述神經形態裝置回應於所述輸入信號而在所述至少一個突觸陣列的第一層中進行第一人工神經網路計算，且將自所述神經元電路輸出的中間信號儲存於所述鎖存器電路中，且回應於儲存的所述中間信號而在所述至少一個突觸陣列的第二層中進行第二人工神經網路計算，且自所述神經元電路輸出所述輸出信號。
  9. 如請求項8所述的神經形態裝置，其中所述第一層及所述第二層由不同字元線選擇信號激活。
  10. 如請求項6或請求項8所述的神經形態裝置，其中所述第二人工神經網路計算具有與所述第一人工神經網路計算相同的權重。
  11. 一種神經形態裝置，包括： 晶片上記憶體，經組態以讀取及儲存神經形態資料； 神經形態處理器，包含至少一個突觸陣列以根據所述至少一個突觸陣列中的所述神經形態資料進行人工神經網路計算， 其中所述至少一個突觸陣列包含： 多個輸入線，分別連接至多個軸突電路以彼此獨立地基於所述神經形態資料接收輸入信號； 多個位元線，與所述多個輸入線間隔開，每一位元線根據所述人工神經網路計算輸出輸出電流； 多個神經元電路，分別連接至所述多個位元線以對所述輸出電流求和，且當求和輸出電流超過預定臨限值時輸出所述求和輸出電流作為輸出信號； 多個電極襯墊，在所述多個輸入線與所述多個位元線之間以預定間隔堆疊及配置； 多個憶阻器貫通結構，所述多個憶阻器貫通結構中的每一者穿過所述多個電極襯墊以連接於所述輸入線中的任一者與所述位元線中的一者之間，以形成所述輸出電流的電流路徑； 多個串選擇電晶體，分別安置於所述多個憶阻器貫通結構與所述多個位元線之間；以及 解碼器，連接至所述多個電極襯墊中的每一者以施加字元線選擇信號及串選擇信號。
  12. 如請求項11所述的神經形態裝置，其中所述多個憶阻器貫通結構中的每一者形成為柱形狀，所述柱形狀在其中心處具有柱氧化物且藉由按電阻性材料層、多晶矽氧化物層以及閘極絕緣膜次序的層包圍。
  13. 如請求項12所述的神經形態裝置，其中： 所述字元線選擇信號包含通過電壓及截止電壓，且 在所述憶阻器貫通結構中，對應於經過施加所述通過電壓的電極襯墊的區域為在其中形成所述電流路徑的所述多晶矽氧化物層，且對應於經過施加所述截止電壓的電極襯墊的區域為在其中形成所述電流路徑的所述電阻性材料層，以將所述輸出電流輸出至所述位元線。
  14. 如請求項11所述的神經形態裝置，其中： 所述至少一個突觸陣列包含至少兩個層，所述至少兩個層含有對應於所述憶阻器貫通結構中的所述多個電極襯墊中的每一電極襯墊的至少兩個電阻性憶阻器元件，且 根據所述串選擇信號來改變對應層中所包含的電阻性憶阻器元件的數目。
  15. 如請求項11所述的神經形態裝置，其中： 第一突觸陣列及第二突觸陣列串聯連接，且 所述第一突觸陣列及所述第二突觸陣列在第一方向或第二方向上間隔開，且共用每一層的所述多個電極襯墊。
  16. 如請求項15所述的神經形態裝置，其中： 回應於所述輸入信號而在所述第一突觸陣列的第一層中進行第一人工神經網路計算，且回應於自所述第一突觸陣列輸出的中間信號而在所述第二突觸陣列的第二層中進行第二人工神經網路計算，以產生所述輸出信號，且 所述第一層及所述第二層由同一字元線選擇信號激活。
  17. 如請求項11所述的神經形態裝置，其中所述至少一個突觸陣列包含分別連接於所述多個神經元電路與所述多個輸入線之間以儲存所述輸出信號的多個鎖存器電路。
  18. 如請求項17所述的神經形態裝置，其中所述神經形態裝置回應於所述輸入信號而在所述至少一個突觸陣列的第一層中進行第一人工神經網路計算，且將自所述神經元電路輸出的中間信號儲存於所述鎖存器電路中，且回應於儲存的所述中間信號而在所述至少一個突觸陣列的第二層中進行第二人工神經網路計算且自所述神經元電路輸出所述輸出信號。
  19. 一種神經形態裝置的操作方法，所述神經形態裝置包含具有多個層的至少一個三維突觸陣列，所述操作方法包括： 在接收到彼此獨立的多個輸入信號之後，對對應於字元線選擇信號的層的多個電阻性憶阻器元件中的所述輸入信號進行人工神經網路計算； 作為所述人工神經網路計算的結果，經由位元線將多個輸出電流輸出至神經元電路； 對所述輸出電流求和，以當求和輸出電流超過預定臨限值時輸出所述求和輸出電流作為輸出電壓；以及 其中所述三維突觸陣列針對由所述字元線選擇信號激活的每一層獨立地進行人工神經網路計算。
  20. 如請求項19所述的操作方法，其中所述神經形態裝置包含串聯電連接且彼此間隔開的第一突觸陣列及第二突觸陣列， 所述操作方法更包括： 將中間信號輸出至所述第二突觸陣列，所述中間信號藉由回應於所述輸入信號而在所述第一突觸陣列的第一層中進行第一人工神經網路計算來獲得；以及 藉由回應於所述中間信號而在所述第二突觸陣列的第二層中進行第二人工神經網路計算來產生所述輸出電流， 其中所述第一層及所述第二層由同一字元線選擇信號激活。
  21. 如請求項19所述的操作方法，更包括： 將所述輸出電壓儲存於鎖存器電路中； 回應於所述字元線選擇信號而對屬於不同層的多個電阻性憶阻器元件中的儲存的所述輸出電壓進行下一人工神經網路計算；以及 根據所述下一人工神經網路計算,基於下一輸出電流輸出下一輸出電壓。
  22. 如請求項19所述的操作方法，其中所述神經形態裝置包含堆疊於多個輸入線與多個位元線之間的多個電極襯墊，所述字元線選擇信號施加至所述多個電極襯墊中的每一者，且 其中所述多個電阻性憶阻器元件中的每一者形成為柱形狀，所述柱形狀在其中心處具有柱氧化物且藉由按電阻性材料層、多晶矽氧化物層以及閘極絕緣膜次序的層包圍，且所述多個電阻性憶阻器元件中的每一者為憶阻器貫通結構,所述憶阻器貫通結構穿過所述多個電極襯墊且連接於所述輸入線中的任一者與所述位元線中的一者之間。
TW110110177A 2020-04-10 2021-03-22 神經形態裝置及其操作方法 TWI754567B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0044024 2020-04-10
KR1020200044024A KR20210126335A (ko) 2020-04-10 2020-04-10 뉴로모픽 장치 및 그 동작방법

Publications (2)

Publication Number Publication Date
TW202139074A true TW202139074A (zh) 2021-10-16
TWI754567B TWI754567B (zh) 2022-02-01

Family

ID=78006456

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110110177A TWI754567B (zh) 2020-04-10 2021-03-22 神經形態裝置及其操作方法

Country Status (4)

Country Link
US (1) US20210319293A1 (zh)
KR (1) KR20210126335A (zh)
CN (1) CN113517014A (zh)
TW (1) TWI754567B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200069901A (ko) * 2018-12-07 2020-06-17 삼성전자주식회사 뉴럴 네트워크를 분할하는 방법 및 뉴로모픽 장치
IT202200004229A1 (it) * 2022-03-07 2023-09-07 Fondazione St Italiano Tecnologia Rete neurale tridimensionale
KR102541000B1 (ko) * 2022-11-01 2023-06-07 인하대학교 산학협력단 인공신경망 구현을 위한 3차원 적층형 시냅스 어레이 스트링
CN115983357B (zh) * 2022-12-22 2024-05-28 清华大学 仿生神经网络芯片
CN116523013B (zh) * 2023-07-04 2023-10-20 清华大学 人工神经元及人工神经网络
CN118014818A (zh) * 2024-02-27 2024-05-10 国科大杭州高等研究院 一种用于红外感存算一体系统的激活函数硬件电路

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009080892A (ja) * 2007-09-26 2009-04-16 Toshiba Corp 半導体記憶装置
JP6602279B2 (ja) * 2016-09-20 2019-11-06 株式会社東芝 メムキャパシタ、ニューロ素子およびニューラルネットワーク装置
CN110543937B (zh) * 2018-05-28 2022-09-30 厦门半导体工业技术研发有限公司 神经网络及操作方法、神经网络信息处理系统
US11507808B2 (en) * 2018-06-01 2022-11-22 Arizona Board Of Regents On Behalf Of Arizona State University Multi-layer vector-matrix multiplication apparatus for a deep neural network
KR102542998B1 (ko) * 2018-06-26 2023-06-14 에스케이하이닉스 주식회사 3차원 적층형 반도체 메모리 소자

Also Published As

Publication number Publication date
KR20210126335A (ko) 2021-10-20
TWI754567B (zh) 2022-02-01
US20210319293A1 (en) 2021-10-14
CN113517014A (zh) 2021-10-19

Similar Documents

Publication Publication Date Title
TWI754567B (zh) 神經形態裝置及其操作方法
US11361216B2 (en) Neural network circuits having non-volatile synapse arrays
US11521046B2 (en) Time-delayed convolutions for neural network device and method
CN110914906B (zh) 用于执行具有多位输入矢量的矩阵计算的多级单元(mlc)非易失性(nv)存储器(nvm)矩阵电路
WO2021098821A1 (zh) 神经网络系统中数据处理的方法、神经网络系统
CN110892480A (zh) 采用nvm矩阵电路以执行矩阵计算的非易失性(nv)存储器(nvm)矩阵电路
TWI751403B (zh) 具有非揮發性突觸陣列的神經網路電路及神經晶片
An et al. Realizing behavior level associative memory learning through three-dimensional memristor-based neuromorphic circuits
TWI699711B (zh) 記憶體裝置及其製造方法
US20190325291A1 (en) Resistive processing unit with multiple weight readers
Musisi-Nkambwe et al. The viability of analog-based accelerators for neuromorphic computing: a survey
Agrawal et al. X-CHANGR: Changing memristive crossbar mapping for mitigating line-resistance induced accuracy degradation in deep neural networks
US11763153B2 (en) Method and apparatus with neural network operation
KR102607860B1 (ko) 3차원 적층 시냅스 구조를 갖는 뉴로모픽 장치 및 이를 포함하는 메모리 장치
US20230113627A1 (en) Electronic device and method of operating the same
Dalgaty et al. Insect-inspired elementary motion detection embracing resistive memory and spiking neural networks
JP2022020560A (ja) プロセシング装置、及びそれを含む電子システム
Manem et al. An extendable multi-purpose 3D neuromorphic fabric using nanoscale memristors
US11694065B2 (en) Spiking neural unit
Lu et al. NVMLearn: a simulation platform for non-volatile-memory-based deep learning hardware
An Powering next-generation artificial intelligence by designing three-dimensional high-performance neuromorphic computing system with memristors
KR20230005309A (ko) 아날로그 인공지능 네트워크 추론을 위한 행별 컨볼루션 신경망 매핑을 위한 효율적 타일 매핑
Garbin A variability study of PCM and OxRAM technologies for use as synapses in neuromorphic systems
US20220114427A1 (en) Neural network apparatus
Aziza et al. Experimental analysis of oxide-based ram analog synaptic behavior