TWI789589B - 脈衝神經網路電路及其運作方法 - Google Patents

脈衝神經網路電路及其運作方法 Download PDF

Info

Publication number
TWI789589B
TWI789589B TW109115659A TW109115659A TWI789589B TW I789589 B TWI789589 B TW I789589B TW 109115659 A TW109115659 A TW 109115659A TW 109115659 A TW109115659 A TW 109115659A TW I789589 B TWI789589 B TW I789589B
Authority
TW
Taiwan
Prior art keywords
circuit
bit
transistors
line
source
Prior art date
Application number
TW109115659A
Other languages
English (en)
Other versions
TW202131231A (zh
Inventor
宋政霖
葉騰豪
Original Assignee
旺宏電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 旺宏電子股份有限公司 filed Critical 旺宏電子股份有限公司
Publication of TW202131231A publication Critical patent/TW202131231A/zh
Application granted granted Critical
Publication of TWI789589B publication Critical patent/TWI789589B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/08—Address circuits; Decoders; Word-line control circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G11C16/14—Circuits for erasing electrically, e.g. erase voltage switching circuits
    • G11C16/16—Circuits for erasing electrically, e.g. erase voltage switching circuits for erasing blocks, e.g. arrays, words, groups
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/24—Bit-line control circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/26—Sensing or reading circuits; Data output circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Neurology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Read Only Memory (AREA)
  • Memory System (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Electrotherapy Devices (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Semiconductor Memories (AREA)

Abstract

脈衝神經網路電路及其運作方法。脈衝神經網路電路包括一位元線輸入突觸陣列及一神經元電路。位元線輸入突觸陣列包括數個頁面緩衝器、數個位元線電晶體、數個位元線、數個記憶胞、一字元線、數個源極線及數個源極線電晶體。頁面緩衝器用以提供數個資料訊號。各個位元線電晶體電性連接於此些頁面緩衝器之其中之一。各個位元線接收此些資料訊號之其中之一。此些源極線電晶體連接在一起。神經元電路用以輸出一反饋脈衝。

Description

脈衝神經網路電路及其運作方法
本發明是有關於一種電路及其運作方法，且特別是有關於一種脈衝神經網路電路及其運作方法。
隨著人工智慧的蓬勃發展，能夠提供隱私保護、強大計算能力和低能耗的邊緣計算的新興架構已經引起各個應用領域的廣泛關注。
利用對本地存儲設備的訓練和推理的優勢，可以徹底減少馮．諾依曼(von Neumann)架構之數據移動的能耗，脈衝神經網路(spiking neural networks,SNN)被認為是邊緣計算最有希望的候選者之一。雖然使用脈衝神經網路從概念上能夠提高能源效率，但儲存陣列之操作功耗仍然相當的高，而無法被忽視。
本發明係有關於一種脈衝神經網路電路及其運作方法，其採用位元線輸入架構來輸入資料訊號。相對於字元線輸入 架構，位元線輸入架構不僅降低了能量消耗，更顯著增加記憶陣列的面積效率。
根據本發明之一方面，提出一種脈衝神經網路電路(spiking neural networks circuit,SNN circuit)。脈衝神經網路電路包括一位元線輸入突觸陣列(bit-line input synapse array)及一神經元電路(neuron circuit)。位元線輸入突觸陣列包括數個頁面緩衝器、數個位元線電晶體、數個位元線、數個記憶胞、一字元線、數個源極線及數個源極線電晶體。頁面緩衝器用以提供數個資料訊號。各個位元線電晶體電性連接於此些頁面緩衝器之其中之一。各個位元線電性連接於此些位元線電晶體之其中之一，以接收此些資料訊號之其中之一。各個記憶胞電性連接於此些位元線之其中之一。字元線電性連接於此些記憶胞。各個源極線電性連接於此些記憶胞之其中之一。各個源極線電晶體電性連接於此些源極線之其中之一。此些源極線電晶體連接在一起。神經元電路用以輸出一反饋脈衝(feedback pulse)。
根據本發明之一方面，提出一種脈衝神經網路電路(spiking neural networks circuit,SNN circuit)之運作方法。脈衝神經網路電路包括一位元線輸入突觸陣列(bit-line input synapse array)及一神經元電路(neuron circuit)。位元線輸入突觸陣列包括數個位元線、數個記憶胞、一字元線及數個源極線。各個記憶胞電性連接於此些位元線之其中之一。字元線電性連接於此些記憶胞。各個源極線電性連接於此些記憶胞之其中之一。運作方法 包括以下步驟。於一讀取程序(read phase)中，輸入數個資料訊號至此些位元線。於讀取程序中，以此些源極線收集反映此些資料訊號之數個電流。
為了對本發明之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：
1000:脈衝神經網路電路
A1,A2:軸突
B1,B2:細胞本體
BL:位元線
BLT:位元線電晶體
R1,R2:樹突
d1:資料訊號
d1’:偏移後資料訊號
EP:抹除脈衝
I1:電流
IAF:集成和發射電路
IH:抑制場效電晶體
LC:閂鎖器
LS:位準移位器
LTD:長期抑制訊號
LTP:長期增益訊號
N1,N2:NMOS電晶體
NC:神經元電路
NC’:其他神經元電路
N_post:突觸後神經元
N_pre:突觸前神經元
NS:類神經系統
N_in:輸入神經元
N_out:輸出神經元
M1:第一電流鏡
M2:第二電流鏡
MC:薄膜電容
MEM:記憶胞
MR:電流鏡電路
PS1:反饋脈衝
PS2:輸出脈衝
PB:頁面緩衝器
PG:脈衝產生器
PP:編程脈衝
S12:突觸
S51,S52,S53,S54,S55,S56,S57,S71,S72,S73,S74,S75,S76:步驟
SA:位元線輸入突觸陣列
SA’:後位元線輸入突觸陣列
SL:源極線
SLT:源極線電晶體
S_update:更新程序
S_read:讀取程序
S_ers:抹除步驟
S_pgm:編程步驟
SM:突波率測量單元
WL:字元線
Z0:突觸區
Z1:突觸區突觸前區
Z2:突觸區突觸後區
第1圖繪示類神經系統(neural system)之概念圖。
第2圖繪示脈衝神經網路電路(spiking neural networks circuit,SNN circuit)之概念圖
第3圖繪示脈衝神經網路電路之示意圖。
第4圖繪示位元線輸入突觸陣列之示意圖。
第5圖說明脈衝神經網路電路之運作方法的流程。
第6圖說明贏者全取規則。
第7圖繪示位元線輸入突觸陣列之運作流程。
第8A~8E圖說明第7圖之各步驟。
第9A圖說明贏家被輸入圖案訊號時的操作條件。
第9B圖說明贏家被輸入背景訊號時的操作條件。
第10A圖說明頁面緩衝器於輸入程序之運作。
第10B圖說明頁面緩衝器於讀取程序的運作。
第10C圖說明贏家之頁面緩衝器於更新程序的運作。
第10D圖說明輸家之頁面緩衝器於更新程序的運作。
請參照第1圖，其繪示類神經系統(neural system)NS之概念圖。突觸前神經元(presynaptic cell)N_pre包括一細胞本體(cell body)B1、數個樹突(dendrite)R1及一軸突(axon)A1。突觸後神經元(postsynaptic cell)N_post包括一細胞本體B2、數個樹突R2及一軸突A2。訊號從軸突A1輸出至樹突R2。軸突A1與樹突R2之連接處即為突觸(synapse)S12。
請參照第2圖，其繪示脈衝神經網路電路(spiking neural networks circuit,SNN circuit)1000之概念圖。脈衝神經網路電路1000可以用以進行類神經網路運算(Neuromorphic computing)。類似於類神經系統NS之突觸前神經元N_pre及突觸後神經元N_post，輸入神經元(input neuron)N_in傳輸資料訊號d1至輸出神經元(output neuron)N_out。資料訊號d1係輸入於一位元線輸入突觸陣列(bit-line input synapse array)SA，並且將反映資料訊號d1之電流I1累積於薄膜電容(membrane capacitor)MC中。當薄膜電容MC的電位超過一臨界值，一集成和發射電路(integrated-and-fired circuit)IAF觸發脈衝產生器(pulse generator)PG去產生反饋脈衝(feedback pulse)PS1或輸出脈衝(output pulse)PS2。
請參照第3圖，其繪示脈衝神經網路電路1000之示意圖。位元線輸入突觸陣列SA包括數個頁面緩衝器(page buffer)PB、數個位元線電晶體BLT、數個位元線BL、數個記憶胞MEM、一字元線WL、數個源極 線SL及數個源極線電晶體SLT。頁面緩衝器PB提供數個資料訊號d1。各個位元線電晶體BLT電性連接於頁面緩衝器PB之其中之一。舉例來說，位元線電晶體BLT例如是三重井元件(triple well device)。各個位元線BL電性連接於位元線電晶體BLT之其中之一，以接收資料訊號d1之其中之一。各個記憶胞MEM電性連接於位元線BL之其中之一。一條字元線WL電性連接於記憶胞MEM。各個源極線SL電性連接於記憶胞MEM之其中之一。各個源極線電晶體SLT電性連接於源極線SL之其中之一。舉例來說，源極線電晶體SLT例如是三重井元件。源極線電晶體SLT連接在一起，以收集反映資料訊號d1之電流I1。
神經元電路NC包括一電流鏡電路(current mirror circuit)MR、一薄膜電容MC、一抑制場效電晶體(inhibitory field-effect transistor,FET)IH、一集成和發射電路(integrated-and-fired circuit)IAF及脈衝產生器(pulse generator)PG。電流鏡電路MR電性連接於位元線輸入突觸陣列SA。電流I1由電流鏡電路MR的複製並向後傳遞。薄膜電容MC電性連接於電流鏡電路MR，以接收並累積電流I1。集成和發射電路IAF電性連接於薄膜電容MC及抑制場效電晶體IH。脈衝產生器PG電性連接於集成和發射電路IAF、位元線電晶體BLT及源極線電晶體SLT。
當薄膜電容MC之電位超過臨界值時，集成和發射電路IAF觸發脈衝產生器PG去產生反饋脈衝PS1或觸發脈衝產生器PG去產生輸出脈衝PS2至後位元線輸入突觸陣列(post bit-line input synapse array)SA’，並且抑制場效電晶體IH會暫停其他神經元電路NC’的發射動作(firing action)。
電流鏡電路MR包括一第一電流鏡M1及一第二電流鏡M2。第一電流鏡M1包括二NMOS電晶體(N type Metal-Oxide-Semiconductor transistors)N1、N2。舉例來說，NMOS電晶體N1、N2例如是三重井元件。第二電流鏡M2連接於第一電流鏡M1。第二電流鏡M2包括二PMOS電晶體(P type Metal-Oxide-Semiconductor transistors)P1、P2。第二電流鏡M2係為設計給位元線輸入機制之反向電流鏡。
在一實施例中，電流鏡電路MR可以包括串接的數個電流鏡，以縮小薄膜電容MC的尺寸。
請參照第4圖，其繪示位元線輸入突觸陣列SA之示意圖。位元線電晶體BLT及位元線BL形成前區突觸區(presynaptic zone)Z1，記憶胞MEM及字元線WL形成突觸區(synaptic zone)Z0，源極線電晶體SLT及源極線SL形成突觸後區(postsynaptic zone)Z2。資料係儲存於一條字元線WL(輸入4V者)中。也就是說，對應於此筆資料所儲存權重(weights)的記憶胞MEM僅連接於一條字元線WL。本揭露稱之為字元線方向資料儲存(word line direction data storage)或一維資料儲存(1-dimensional data storage)。其他的字元線WL則可以儲存其他種類的資料。因此，記憶胞陣列之面積效率可以顯著的提高。
請參照第5圖，其說明脈衝神經網路電路1000之運作方法的流程。脈衝神經網路電路1000之運作方法包括一讀取程序(read phase)S_read及更新程序(update phase)S_update。讀取程序S_read包括步驟S51~S54。在步驟S51中，資料訊號d1從輸入神經元N_in輸入至位元線輸入突觸陣列SA。然後，在步驟S52中，對反映資料訊號d1之電流I1進行累積。接 著，在步驟S53中，集成和發射電路IAF產生一突波(spike)並提供至脈衝產生器PG。在步驟S54中，在接收突波後，脈衝產生器PG產生輸出脈衝PS2，並提供至突波率測量單元(spike rate measurement unit)SM。
更新程序S_update包括步驟S51、S52、S55、S56及S57。在步驟S55中，集成和發射電路IAF產生一突波並提供至脈衝產生器PG。在步驟S56中，在接收突波後，脈衝產生器PG產生反饋脈衝PS1至位元線輸入突觸陣列SA以開啟位元線電晶體BLT。在步驟S57，集成和發射電路IAF產生抑制訊號(inhibitory signal)並提供至其他神經元電路NC’，以暫停其他神經元電路NC’(輸家)的發射動作(firing action)。
在本實施例中，更新程序S_update係按照一贏者全取規則(Winner-Take-All operation,WTA operation)進行。請參照第6圖，其說明贏者全取規則。僅有一個最近似輸入神經元N_in的輸出神經元N_out可以贏得更新機會來強化與資料訊號d1的連結。並且，贏家能夠抑制輸入神經元N_in與其他輸出神經元N_out的連結。贏者全取規則可以讓各個輸出神經元N_out去學習不同的特徵。
根據贏者全取規則，贏家及輸家執行不同的更新程序S_update。請參照第7~8E圖。第7圖繪示位元線輸入突觸陣列SA之運作流程。第8A~8E圖說明第7圖之各步驟。
在步驟S71中，讀取程序S_read係被執行以讀取資料訊號d1。請參照第8A圖，在讀取程序S_read中，字元線WL被施加4V。位元線電晶體BLT之閘極被施加0.9V。資料訊號d1輸入於位元線BL。各個資料訊號d1係為一圖案訊號(pattern signal)或一背景訊號(background signal)。圖 案訊號係為0.2V。背景訊號係為0V。部分之記憶胞MEM已被抹除，部分之記憶胞MEM已被編程，以使記憶胞MEM內所儲存之權重能夠代表欲辨識之特徵。流經記憶胞MEM之電流I1可以反映資料訊號d1的內容。舉例來說，若資料訊號d1為0.2V且記憶胞MEM已被抹除，則會形成較高的電流I1；若資料訊號d1為0V且記憶胞MEM已被抹除，則會形成較低的電流I1。
源極線電晶體SLT被施加3.3V，以開啟源極線電晶體SLT。於是反映資料訊號d1之電流I1可以被收集起來。這些電流I1被累積於薄膜電容MC(如第3圖所示)中。若資料訊號d1近似於所欲辨識之特徵，薄膜電容MC的電位會很快地超過臨界值，且此一輸出神經元N_out成為贏家。其他的輸出神經元N_out則成為輸家。
接著，在步驟步驟S72中，判斷此輸出神經元N_out係為贏家或是輸家。對於贏家之輸出神經元N_out，流程將進入步驟S73及S74，以執行更新程序S_update；對於輸家之輸出神經元N_out，流程將進入步驟S75及S76，以抑制更新程序S_update。也就是說，贏家與輸家在更新程序S_update執行不同的動作。
在步驟S73中，執行更新程序S_update之抹除步驟S_ers(erasing step)。請參照第8B圖，在更新程序S_update之抹除步驟S_ers中，字元線WL被施加-6V。位元線電晶體BLT之閘極被施加8V，以開啟位元線電晶體BLT。源極線電晶體SLT之閘極被施加0V，以關閉源極線電晶體SLT並使源極線SL位於浮接(floating)狀態。偏移後資料訊號(shifted data signal)d1’被輸入至位元線BL。各個偏移後資料訊號d1’係為一偏移後圖案訊號(shifted pattern signal)或一偏移後背景訊號(shifted background signal)。 偏移後圖案訊號係為0.2V訊號偏移後所獲得的6V訊號。偏移後背景訊號係為0V訊號偏移後所獲得的-6V訊號。字元線WL與偏移後資料訊號d1’之偏移後圖案訊號的電壓差為-12V，故偏移後圖案訊號通過之記憶胞MEM將被抹除。字元線WL與偏移後資料訊號d1’之偏移後背景訊號的電壓差為0V，故偏移後背景訊號通過之記憶胞MEM將不會被抹除。
在步驟S74中，執行更新程序S_update之編程步驟(programing step)S_pgm。請參照第8C圖，在更新程序S_update之編程步驟S_pgm中，字元線WL被施加6V。位元線電晶體BLT之閘極被施加8V，以開啟位元線電晶體BLT。源極線電晶體SLT之閘極被施加0V，以關閉源極線電晶體SLT並使源極線SL位於浮接狀態。偏移後資料訊號d1’輸入至位元線BL。各個偏移後資料訊號d1’係為偏移後圖案訊號或偏移後背景訊號。偏移後圖案訊號係為0.2V訊號偏移後所獲得的6V訊號。偏移後背景訊號係為0V訊號偏移後所獲得的-6V訊號。字元線WL與偏移後資料訊號d1’之偏移後圖案訊號的電壓差為0V，故偏移後圖案訊號通過之記憶胞MEM將不會被編程。字元線WL與偏移後資料訊號d1’之偏移後背景訊號的電壓差為12V，故偏移後背景訊號通過之記憶胞MEM將會被編程。
贏家基於上述的步驟S73及S74，通過偏移後圖案訊號(6V)之記憶胞MEM將會被抹除，通過偏移後背景訊號(-6V)之記憶胞MEM將會被編程。
在步驟S75中，抑制更新程序S_update之抹除步驟S_ers。請參照第8D圖，在更新程序S_update之抹除步驟S_ers中，字元線被施加-6V。位元線電晶體BLT之閘極被施加0V，以關閉位元線電晶體BLT。源極線電 晶體SLT之閘極被施加0V，以關閉源極線電晶體SLT並使源極線SL維持於浮接狀態。偏移後資料訊號d1’被輸入至位元線BL。由於位元線電晶體BLT被關閉，位元線BL被阻礙且記憶胞MEM無法被抹除。
在步驟S76中，抑制更新程序S_update之編程步驟S_pgm。請參照第8E圖，在更新程序S_update之編程步驟S_pgm中，字元線被施加6V。位元線電晶體BLT之閘極被施加0V，以關閉位元線電晶體BLT。源極線電晶體SLT被施加0V，以關閉源極線電晶體SLT並使源極線SL維持於浮接狀態。偏移後資料訊號d1’輸入至位元線BL。由於位元線電晶體BLT被關閉，位元線BL被阻礙且記憶胞MEM無法被編程。
輸家基於上述步驟S75及S76，記憶胞MEM並不會被抹除或編程。
請參照第9A圖，其說明贏家被輸入圖案訊號時的操作條件。在讀取程序S_read中，圖案訊號之資料訊號d1(0.2V)輸入至位元線BL，字元線WL被施加4V，且源極線SL被施加0V。因此，在讀取程序S_read中，反映資料訊號d1之電流I1(繪示於第3圖)可以透過源極線SL收集起來。
在更新程序S_update中，偏移後資料訊號d1’(6V)被輸入至位元線BL。在更新程序S_update之抹除步驟S_ers中，一長期增益訊號(long-term potentiation signal)LTP(-6V)被施加於字元線WL，且源極線SL維持於浮接狀態。因此，在字元線WL與位元線BL之間形成一抹除脈衝(erasing pulse)EP(-12V)，並抹除了記憶胞MEM。
請參照第9B圖，其說明贏家被輸入背景訊號時的操作條件。在讀取程序S_read中，背景訊號之資料訊號d1(0V)被輸入至位元線 BL，字元線WL被施加4V，且源極線SL被施加0V。因此，在讀取程序S_read中，反映資料訊號d1之電流I1(繪示於第3圖)可以透過源極線SL收集起來。
在更新程序S_update中，偏移後資料訊號d1’(-6V)被輸入至位元線BL。在更新程序S_update之編程步驟S_pgm中，一長期抑制訊號(long-term depression signal)LTD(6V)被施加於字元線WL，且源極線SL維持於浮接狀態。因此，在字元線WL與位元線BL之間形成一編程脈衝(programming pulse)PP(12V)，並編程了記憶胞MEM。
如第9A~9B圖所示，通過偏移圖案訊號(6V)之記憶胞MEM將會被抹除，通過偏移背景訊號(-6V)之記憶胞MEM將會被編程。
請參照第10A圖，其說明頁面緩衝器PB於輸入程序(input phase)之運作。如第10A圖所示，頁面緩衝器PB包括一閂鎖器(latch)LC及一位準移位器(level shifter)LS。在輸入程序中，資料訊號d1從一輸入/輸出裝置取得並以Q及
Figure 109115659-A0305-02-0014-4
儲存於閂鎖器LC中。當接收到的是圖案訊號，Q係為1.8V；當接收到的是背景訊號，Q係為0V。
請參照第10B圖，其說明頁面緩衝器PB於讀取程序S_read的運作。在讀取程序S_read中，位準移位器LS將Q維持於1.8V或0V。位元線電晶體BLT之閘極被施加0.9V且位元線電晶體BLT之基極被施加0V。由於訊號夾持效應(signal clamping)，當Q為1.8V時，位元線電晶體BLT輸出的資料訊號d1為0.2V，當Q為0V，位元線電晶體BLT輸出的資料訊號d1為0V。記憶胞MEM之閘極透過字元線WL被施加4V。源極線電晶體SLT之閘極被施加3.3V且源極線電晶體SLT之基極被施加0V。通過記憶胞MEM之電流I1將會反映於資料訊號d1的內容。
請參照第10C圖，其說明贏家之頁面緩衝器PB於更新程序S_update的運作。在更新程序S_update中，位準移位器LS輸出偏移後資料訊號d1’。各個偏移後資料訊號d1’係為偏移後圖案訊號或偏移後背景訊號。偏移後圖案訊號係為0.2V訊號偏移後所獲得的6V訊號。偏移後背景訊號係為0V訊號偏移後所獲得的-6V訊號。偏移後資料訊號d1’之偏移量大於資料訊號d1之偏移量。位元線電晶體BLT之閘極被施加8V，且位元線電晶體BLT之基極被施加-6V。通過偏移後圖案訊號(6V)之記憶胞MEM將會被抹除，通過偏移後背景訊號(-6V)之記憶胞MEM將會被編程。
請參照第10D圖，其說明輸家之頁面緩衝器PB於更新程序S_update的運作。位元線電晶體BLT之閘極被施加0V，以關閉位元線電晶體BLT。由於位元線電晶體BLT被關閉，位元線BL被阻礙且記憶胞MEM無法被抹除或編程。
根據上述實施例，脈衝神經網路電路1000透過位元線BL輸入資料訊號。相對於字元線輸入架構，位元線輸入架構不僅降低了能量消耗，更顯著增加記憶陣列的面積效率。此種低功耗的架構特別適用於邊緣運算技術(edge computing)上。
舉例來說，在脈衝神經網路電路的實驗中，對字元線輸入架構與位元線輸入架構進行了比較，其結果如下表一所示。從量測結果可以看出，位元線的電容值為0.075pF，字元線的電容值為1.882pF(位元線之電容值低於字元線之電容值)。採用位元線輸入架構之脈衝神經網路電路相對於採用字元線輸入架構之脈衝神經網路電路可以在讀取程序降低91%的能耗，並在更新程序降低56%的能耗。
Figure 109115659-A0305-02-0016-1
綜上所述，雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
1000:脈衝神經網路電路
BLT:位元線電晶體
d1:資料訊號
I1:電流
IAF:集成和發射電路
IH:抑制場效電晶體
N1,N2:NMOS電晶體
NC:神經元電路
NC’:其他神經元電路
M1:第一電流鏡
M2:第二電流鏡
MC:薄膜電容
MEM:記憶胞
MR:電流鏡電路
PS1:反饋脈衝
PS2:輸出脈衝
PB:頁面緩衝器
PG:脈衝產生器
SA:位元線輸入突觸陣列
SA’:後位元線輸入突觸陣列
SL:源極線
SLT:源極線電晶體
WL:字元線

Claims (9)

  1. 一種脈衝神經網路電路(spiking neural networks circuit,SNN circuit)，包括：一位元線輸入突觸陣列(bit-line input synapse array)，包括：複數個頁面緩衝器，用以提供複數個資料訊號；複數個位元線電晶體，各該位元線電晶體電性連接於該些頁面緩衝器之其中之一；複數個位元線，各該位元線電性連接於該些位元線電晶體之其中之一；複數個記憶胞，各該記憶胞電性連接於該些位元線之其中之一；一字元線，電性連接於該些記憶胞；複數個源極線，各該源極線電性連接於該些記憶胞之其中之一；及複數個源極線電晶體，各該源極線電晶體電性連接於該些源極線之其中之一，其中該些源極線電晶體連接在一起；以及一神經元電路(neuron circuit)，用以輸出一反饋脈衝(feedback pulse)；其中該些位元線電晶體及該些位元線形成一突觸前區(presynaptic zone)，該些記憶胞及該字元線形成一突觸區(synaptic zone)，該些源極線電晶體及該些源極線形成一突 觸後區(postsynaptic zone)。
  2. 如請求項1所述之脈衝神經網路電路，其中該神經元電路包括：一電流鏡電路(current mirror circuit)，電性連接於該位元線輸入突觸陣列；一薄膜電容(membrane capacitor)，電性連接於該電流鏡電路；一集成和發射電路(integrated-and-fired circuit)，電性連接於該薄膜電容；以及一脈衝產生器(pulse generator)，電性連接於該集成和發射電路及該些位元線電晶體，其中當該薄膜電容之一電位超過一臨界值，則該集成和發射電路觸發該脈衝產生器產生該反饋脈衝或一輸出脈衝(output pulse)。
  3. 如請求項2所述之脈衝神經網路電路，其中該反饋脈衝用以開啟該些位元線電晶體。
  4. 如請求項2所述之脈衝神經網路電路，其中該電流鏡電路包括：一第一電流鏡，包括二NMOS電晶體(N type Metal-Oxide-Semiconductor transistor)；以及一第二電流鏡，連接該第一電流鏡，其中該第二電流鏡包括二PMOS電晶體(P type Metal-Oxide-Semiconductor transistor)。
  5. 如請求項1所述之脈衝神經網路電路，其中各該頁面緩衝器包括：一位準移位器(level shifter)，用以輸出一偏移後資料訊號(shifted data signal)，其中該偏移後資料訊號的偏移量大於該資料訊號的偏移量。
  6. 一種脈衝神經網路電路(spiking neural networks circuit,SNN circuit)之運作方法，其中該脈衝神經網路電路包括一位元線輸入突觸陣列(bit-line input synapse array)及一神經元電路(neuron circuit)，該位元線輸入突觸陣列包括複數個位元線電晶體、複數個位元線、複數個記憶胞、一字元線、複數個源極線及複數個源極線電晶體，各該記憶胞電性連接於該些位元線之其中之一，該字元線電性連接於該些記憶胞，各該源極線電性連接於該些記憶胞之其中之一，該運作方法包括：於一讀取程序(read phase)中，輸入複數個資料訊號至該些位元線；以及於該讀取程序中，以該些源極線收集反映該些資料訊號之複數個電流；其中該些位元線電晶體及該些位元線形成一突觸前區(presynaptic zone)，該些記憶胞及該字元線形成一突觸區(synaptic zone)，該些源極線電晶體及該些源極線形成一突 觸後區(postsynaptic zone)。
  7. 如請求項6所述之運作方法，其中於該讀取程序中，該些位元線電晶體被開啟，該些源極線電晶體被開啟，各該位元線電晶體連接於該些位元線之其中之一，各該源極線電晶體連接於該些源極線之其中之一。
  8. 如請求項6所述之運作方法，其中若該神經元電路為贏家，則該運作方法更包括：於一更新程序(update phase)中，輸入複數個偏移後資料訊號(shifted data signal)至該些位元線，其中該些偏移後資料訊號係由一位準移位器(level shifter)產生，且該些偏移後資料訊號之偏移量大於該些資料訊號之偏移量；於該更新程序之一抹除步驟(erasing step)中，施加一長期增益訊號(long-term potentiation signal)至該字元線長期增益訊號，使得一抹除脈衝(erasing pulse)形成於該字元線與該些位元線之間；以及於該更新程序之一編程步驟(programing step)中，施加一長期抑制訊號(long-term depression signal)至該字元線，使得一編程脈衝(programing pulse)形成於該字元線及該些位元線之間。
  9. 如請求項8所述之運作方法，其中於該更新程序中，若該神經元電路為贏家，則該些位元線電晶體被開 啟，且該些源極線電晶體被開啟，各該位元線電晶體連接於該些位元線之其中之一，各該源極線電晶體連接於該些源極線之其中之一。
TW109115659A 2020-02-04 2020-05-12 脈衝神經網路電路及其運作方法 TWI789589B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202062970153P 2020-02-04 2020-02-04
US62/970,153 2020-02-04

Publications (2)

Publication Number Publication Date
TW202131231A TW202131231A (zh) 2021-08-16
TWI789589B true TWI789589B (zh) 2023-01-11

Family

ID=77411097

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109115659A TWI789589B (zh) 2020-02-04 2020-05-12 脈衝神經網路電路及其運作方法

Country Status (2)

Country Link
US (1) US11551072B2 (zh)
TW (1) TWI789589B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230152336A (ko) * 2022-04-27 2023-11-03 서울대학교산학협력단 뉴런 회로
CN116306857B (zh) * 2023-05-18 2023-07-18 湖北大学 一种基于神经元膜高低电位采样的脉冲电路

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108701473A (zh) * 2016-02-17 2018-10-23 美光科技公司 用于数据移动的设备及方法
US20190243651A1 (en) * 2016-08-13 2019-08-08 Intel Corporation Apparatuses, methods, and systems for access synchronization in a shared memory
TW201946064A (zh) * 2018-05-01 2019-12-01 美商超捷公司 用於在深度學習人工類神經網路中的類比類神經記憶體之高電壓產生之方法及設備
TW201946066A (zh) * 2018-04-30 2019-12-01 韓商愛思開海力士有限公司 資料儲存裝置及其操作方法
TW202006609A (zh) * 2018-07-17 2020-02-01 旺宏電子股份有限公司 用於類神經網路的記憶體內運算裝置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482929B2 (en) * 2017-07-13 2019-11-19 Qualcomm Incorporated Non-volative (NV) memory (NVM) matrix circuits employing NVM matrix circuits for performing matrix computations
US11087207B2 (en) * 2018-03-14 2021-08-10 Silicon Storage Technology, Inc. Decoders for analog neural memory in deep learning artificial neural network
KR20210001574A (ko) * 2019-06-28 2021-01-06 에스케이하이닉스 주식회사 벡터-매트릭스 곱셈을 수행하는 연산 회로 및 이를 포함하는 반도체 장치
KR20210047413A (ko) * 2019-10-21 2021-04-30 삼성전자주식회사 플래시 메모리 장치 및 플래시 메모리 셀들을 포함하는 컴퓨팅 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108701473A (zh) * 2016-02-17 2018-10-23 美光科技公司 用于数据移动的设备及方法
US20190243651A1 (en) * 2016-08-13 2019-08-08 Intel Corporation Apparatuses, methods, and systems for access synchronization in a shared memory
TW201946066A (zh) * 2018-04-30 2019-12-01 韓商愛思開海力士有限公司 資料儲存裝置及其操作方法
TW201946064A (zh) * 2018-05-01 2019-12-01 美商超捷公司 用於在深度學習人工類神經網路中的類比類神經記憶體之高電壓產生之方法及設備
TW202006609A (zh) * 2018-07-17 2020-02-01 旺宏電子股份有限公司 用於類神經網路的記憶體內運算裝置

Also Published As

Publication number Publication date
TW202131231A (zh) 2021-08-16
US11551072B2 (en) 2023-01-10
US20210241081A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
Kim et al. Demonstration of unsupervised learning with spike-timing-dependent plasticity using a TFT-type NOR flash memory array
US20180075344A1 (en) Neural network hardware accelerator architectures and operating method thereof
TWI789589B (zh) 脈衝神經網路電路及其運作方法
JPWO2019049741A1 (ja) 不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路
EP3654250B1 (en) Machine learning accelerator
Choi et al. AND flash array based on charge trap flash for implementation of convolutional neural networks
Kang et al. A spiking neural network with a global self-controller for unsupervised learning based on spike-timing-dependent plasticity using flash memory synaptic devices
Lee et al. Neuromorphic technology based on charge storage memory devices
TWI699711B (zh) 記憶體裝置及其製造方法
Kwon et al. Capacitive neural network using charge-stored memory cells for pattern recognition applications
US20200167638A1 (en) Circuit neuronal apte à mettre en oeuvre un apprentissage synaptique
US10546623B2 (en) Resistive memory device having memory cell array and system including the same
US20190280694A1 (en) Fe-fet-based xnor cell usable in neuromorphic computing
Heittmann et al. Limits of writing multivalued resistances in passive nanoelectronic crossbars used in neuromorphic circuits
JP3572179B2 (ja) 不揮発性半導体記憶装置およびその書き込み方法
Oh et al. Hardware implementation of spiking neural networks using time-to-first-spike encoding
Muńoz-Martín et al. Hardware implementation of PCM-based neurons with self-regulating threshold for homeostatic scaling in unsupervised learning
WO2001001420A1 (fr) Circuit de memoire non volatile
CN113222127A (zh) 脉冲神经网络电路及其运作方法
Lee et al. Highly linear analog spike processing block integrated with an AND-type flash array and CMOS neuron circuits
Doevenspeck et al. Analytic variability study of inference accuracy in RRAM arrays with a binary tree winner-take-all circuit for neuromorphic applications
권동석 Hybrid training method for neuromorphic hardware based on analog AND-flash arrays
KR102511526B1 (ko) 하드웨어 기반 인공 신경망 제공 장치
JP7480391B2 (ja) インメモリコンピューティングのための記憶装置
Bayat et al. Exponential-weight multilayer perceptron