TW202236172A - 分佈式多組件突觸計算結構 - Google Patents

分佈式多組件突觸計算結構 Download PDF

Info

Publication number
TW202236172A
TW202236172A TW110140644A TW110140644A TW202236172A TW 202236172 A TW202236172 A TW 202236172A TW 110140644 A TW110140644 A TW 110140644A TW 110140644 A TW110140644 A TW 110140644A TW 202236172 A TW202236172 A TW 202236172A
Authority
TW
Taiwan
Prior art keywords
presynaptic
synaptic
output
input signal
current
Prior art date
Application number
TW110140644A
Other languages
English (en)
Inventor
巴特 李奧納多 海特瑪
安敏兒 茲哈荷
Original Assignee
荷蘭商因納特拉納米系統有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 荷蘭商因納特拉納米系統有限公司 filed Critical 荷蘭商因納特拉納米系統有限公司
Publication of TW202236172A publication Critical patent/TW202236172A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Networks Using Active Elements (AREA)
  • Analogue/Digital Conversion (AREA)

Abstract

本發明揭示一種尖峰神經網路（100），其包含複數個突觸前積分器（209）、複數個權重應用元件（210）以及複數個輸出神經元（220）。該複數個突觸前積分器（213）中之每一者經調適以接收促使電荷在該突觸前積分器內累積的一突觸前脈衝信號（204），並且基於該所累積電荷而產生一突觸輸入信號（214），使得該突觸輸入信號具有一預定時間動力。該複數個權重應用元件（210）中之一第一組權重應用元件（211）經連接以自該複數個突觸前積分器（213）中之一第一者接收該突觸輸入信號（214）。該第一組權重應用元件中之每一權重應用元件（211）經調適以將一權重值應用於該突觸輸入信號（214）以產生一突觸輸出電流（215），其中該突觸輸出電流之強度隨該所應用權重值而變。該複數個輸出神經元（222）中之每一者經連接以自該複數個權重應用元件中之一第二組權重應用元件接收一突觸輸出電流（214），並且基於該所接收一或多個突觸輸出電流而產生一時空尖峰序列輸出信號（223）。

Description

分佈式多組件突觸計算結構
本發明係關於自動信號辨識技術，且更特定言之，係關於一種用於分佈式多組件突觸計算結構之系統及方法，其允許網路中之面積最佳及高效能處理機構。特定言之，計算結構為尖峰神經網路。
受大腦啟發之神經形態尖峰神經網路（SNN）仿真器形成分佈式、並行及事件驅動之系統，其提供諸如自適應、自組織及學習之能力。此等仿真器實施以實驗方式展現之若干概念，例如依賴於活動之短期及長期可塑性。參見C. Mead，“ 神經形態電子系統（ Neuromorphic electronic systems）”，IEEE之科研報告集（Proceedings of IEEE），第78卷，第10期，第1629-1636頁，1990年10月。
輸入資訊係由神經元之群體中發生之活動之模式編碼，並且突觸（其各自形成自一個神經元至後續神經元之連接）可取決於其接收之脈衝（例如，呈時空尖峰序列之形式）而調適其功能，從而提供信號發射高效能以及儲存及重新調用資訊之靈活性。參見R. Douglas、M. Mahowald、C. Mead，“ 神經形態類比 VLSI（ Neuromorphic analogue VLSI）”，《神經科學年度評論（Annual Reviews Neuroscience）》，第18卷，第255-281頁，1995年。
突觸執行雙重功能，即突觸實施記憶體儲存能力以及其充當執行分佈式計算之複雜非線性運算子。由於處理元件與記憶體之分離，傳統的基於馮諾依曼的計算系統未針對涉及大量高維資料，例如影像處理、物件辨識、機率性推斷或語音辨識之計算任務進行最佳化；此等計算任務可藉由功能強大但概念簡單且高度並行之方法，諸如SNN高效地完成，其中記憶體及處理元件為共定位的。神經形態系統係由輸入資料直接驅動，即突觸接收尖峰及神經元產生尖峰分別在傳入資料之速率下進行。因此，僅在電路正處理資料時，才會發生動態功耗。對於其中時空信號活動稀疏之應用，大多數神經元在每一特定時刻處皆為非活動的，從而導致功耗最小。
神經形態計算元件，即神經元及突觸，顯示廣泛範圍之尖峰行為，其通常表示為具有各種複雜性之動態系統，表示生理準確性與計算能力之間的各種權衡。生物學上合理、受生物學啟發以及整合及激發之神經元模型的若干獨特硬體實施方式結合膜動力學（模型化跨越膜之電荷洩漏）；離子通道動力學（控管離子流動）；軸突模型（具有相關聯延遲組件）；以及樹突模型（模型化突觸前及突觸後神經元之影響）。參見C.D. Schuman等人，“ 硬體中神經形態運算及神經網路之調查（ A survey of neuromorphic computing and neural networks in hardware）”，arXiv.1705.06963，第88頁，2017年。
突觸模型之硬體實施方式（其經重新設置以用於新材料之開發及採用）主要集中於最佳化突觸實施方式。更複雜之突觸模型包括可塑性機制（例如，短期及長期增強及抑制兩者，參見S.-C. Liu，“ 用於短期動態突觸之類比 VLSI 電路（ Analog VLSI circuits for short-term dynamic synapses）”，《EURASIP所應用信號處理雜誌（EURASIP Journal on Applied Signal Processing）》，第7卷，第620-628頁，2003年），或對於更受生物學啟發的神經形態網路包括突觸之化學相互作用（參見F.L. Maldonado Huayaney等人，“ 藉由基於鈣之動力學實施多因素突觸可塑性（ Implementation of multi-factor synaptic plasticity with calcium-based dynamics）"，《IEEE電路與系統彙刊-I（IEEE Transactions on Circuits and Systems-I）》，第63卷，第12期，第2189-2199頁，2016年）。突觸亦用作用於使網路活動穩定化之動態平衡機構（參見S.-C.Liu、B.A. Minch，“ 用於動態平衡及對比度增益控制之矽突觸自適應機構（ Silicon synaptic adaptation mechanisms for homeostasis and contrast gain control）”，《IEEE神經網路彙刊（IEEE Transactions on Neural Networks）》，第13卷，第6期，第1497-1503頁，2002年）。
現代深度學習架構通常由多個層組成，其中每一層由藉由突觸矩陣實施之向量矩陣乘法組成，其結果用作神經元處之具體非線性啟動函數（例如，S型函數、經矯正線性單元（ReLU）啟動函數或基於膜電位動力學之啟動函數）之輸入。神經元處之啟動函數亦被稱為神經元啟動函數。神經突觸陣列採用混合類比-數位信號表示，即脈衝/尖峰之序列在事件之時序中發射類比資訊，其在突觸矩陣之輸入處轉換回類比信號。類比縱橫陣列固有地實現點積運算（其形成密集型向量矩陣乘法中之基本運算）。在類比域中，藉由將電壓信號之向量應用於突觸縱橫之列，藉由基爾霍夫電流定律（Kirchhoff's Current Law；KCL）規則執行每一突觸之乘法（權重 w），並且在每一行上對電流進行求和。即，突觸之輸出通常在電流域中，此係因為電流域中之信號求和僅將所有輸出連接在一起。此突觸（後）電流標示乘法結果，而信號求和以及非線性功能性係藉由由神經元啟動函數表示之神經元動力學提供。
大體而言，兩個獨特方法用於導出加權輸入，如分別由圖1A及圖1B所例示。
圖1A揭示已知第一方法，其中所有突觸具有兩個對稱輸出電流，首先對該等電流分別求和。因此，兩個和之差接著為加權輸入。圖1A實際上展示先前技術尖峰神經網路100之部分之實例，該先前技術尖峰神經網路包括突觸輸入信號103、 m個突觸元件101、電流鏡106、突觸輸出電流107、加權突觸輸出104、輸出神經元102及神經元輸出信號105。突觸元件101經組態以接收突觸輸入信號100，該等突觸輸入信號為時空尖峰序列。突觸元件101將突觸輸入信號103中之輸入尖峰轉換為電流，以便接著各自應用權重 w 11、 w 21、…、 w m 1（此處，第一索引指示突觸矩陣之列，而第二索引指示突觸矩陣之行），以產生兩個突觸對稱輸出電流107。藉由電流鏡106計算此等電流之差，以產生最終加權突觸輸出104。輸出神經元102接著基於加權突觸輸出104而產生神經元輸出信號105。應注意，突觸元件101中之每一者經組態以執行突觸輸入信號100之積分以產生電流以及權重至此電流之後續應用以產生突觸輸出電流107兩者。
圖1B揭示已知第二方法，其中所有突觸具有一個雙極（正/負、興奮性/抑制性）輸出電流，並且接著加權輸入為此等雙極輸出電流之和。圖1B實際上展示先前技術尖峰神經網路110之部分之另一實例，該先前技術尖峰神經網路包括突觸輸入信號113、突觸元件111、突觸輸出電流114、輸出神經元112及神經元輸出信號115。與先前實例中相似，突觸元件111執行突觸輸入信號之積分及使用權重 w 11、 w 21、…、 w m 1之後續權重應用兩者的功能。然而，在此方法中，突觸元件111經組態以產生正或負輸出電流104，對應於興奮性或抑制性信號，使得不需要減去信號來產生正確加權輸出。
由於每一突觸通常包括電流鏡，因此每一突觸需要較大晶片面積。然而，此實例中之佈線經簡化，因為所有構建塊為相同的，即在使用較高或較低維度之輸入向量實施神經元時，即在改變突觸元件之數目 m時，不需要重新設計電流鏡。
圖1C揭示由神經網路矩陣組成之已知神經突觸陣列，該神經網路矩陣將 m×n個可程式化突觸連接至 n個神經元。神經突觸計算元件能夠產生複雜時空動力，可擴展至目標信號處理功能之具體特徵。神經元尖峰性質係經由具體參數集合控制。實際上，圖1C展示形成尖峰神經網路之部分的先前技術神經突觸陣列120，其包含神經網路矩陣130，該神經網路矩陣將多組可程式化突觸元件121連接至 n個輸出神經元122之陣列140，該等輸出神經元包含神經元 N 1、 N 2、…、 N n ，其中突觸元件121接收突觸輸入信號123以產生突觸輸出電流124，並且其中輸出神經元122經組態以產生神經元輸出信號125。雖然神經元122中之每一者連接至突觸元件121之不同行，但由突觸元件213之每一列接收的突觸輸入信號123相同，儘管不同權重值 w i 1、 w i 2、…、 w in 可由具有列索引 i之同一列中的不同突觸元件211應用。最終，神經元可藉由一或多個神經元控制信號127組態。此等神經元控制信號127可例如藉由改變神經元啟動函數之參數來控制由神經元啟動函數表示之神經元動力學。同樣，突觸元件121中之每一者經組態以執行突觸輸入信號之積分及後續權重應用功能兩者。
在完全連接之網路中，突觸整合電容為陣列之總面積的最大貢獻者。電容器佔據大量空間且消耗相對大量能量。在尖峰神經網路之先前技術硬體實施方式中，突觸元件中之突觸整合需要電容器。因此，包含許多層突觸及神經元之先前技術尖峰神經網路在面積及能量使用方面未最佳化。因此，行業需要一種更高效尖峰神經網路。
在本專利申請案中，為了實現面積高效及功率高效設計，吾等報告了一種新穎之分佈式多組件突觸結構，其中分佈式組件中之每一者實施獨特計算特性且可針對預定義信號處理功能之特殊性進行最佳化。
根據本揭示內容之第一態樣，揭示一種尖峰神經網路100，其包含複數個突觸前積分器209、複數個權重應用元件210及複數個輸出神經元220。複數個突觸前積分器213中之每一者經調適以接收促使電荷在突觸前積分器內累積的突觸前脈衝信號204，並且基於所累積電荷而產生突觸輸入信號214，使得突觸輸入信號具有預定時間動力。複數個權重應用元件210中之第一組權重應用元件211經連接以自複數個突觸前積分器213中之第一者接收突觸輸入信號214。第一組權重應用元件中之每一權重應用元件211經調適以將權重值應用於突觸輸入信號214，以產生突觸輸出電流215，其中突觸輸出電流之強度隨所應用權重值而變。複數個輸出神經元222中之每一者經連接以自複數個權重應用元件中之第二組權重應用元件接收突觸輸出電流214，並且基於所接收一或多個突觸輸出電流而產生時空尖峰序列輸出信號223。
對於面積最佳化之設計（及隨後高能效設計），本發明因此用兩個專用電路，即突觸前積分器及權重應用元件來再現突觸動力學，而非使用一個電路來再現突觸動力學。各自實施經明確定義之功能，第一電路執行脈衝（尖峰）積分，並且第二電路執行權重應用。因此，每一個輸入信號僅需要單個尖峰積分器（且因此單個電容器，而非每一突觸一個電容器）。因此，此產生面積高效設計，其中權重應用元件211之每列共用預積分。此外，由於現在僅需要執行單個預積分而非 n個預積分，因此本發明提供突觸矩陣之更功率高效之實施方式。
根據實施例，權重應用元件中之每一者包含權重應用電路，該權重應用電路包含：突觸輸入接收器，其經組態以自突觸前積分器接收突觸輸入信號且基於突觸輸入信號而產生突觸輸入電流；權重儲存元件，其經組態以儲存權重值；修改元件，其經組態以將儲存於權重儲存元件中之權重值應用於突觸輸入電流，以產生突觸輸出電流；其中權重值較佳地以數位形式儲存且經由電流導向式數位至類比轉換器變換至類比域，其中電流導向式數位至類比轉換器較佳地基於R-2R架構，並且其中電流導向式數位至類比轉換器較佳地應用預定因子以使突觸輸入電流衰減，並且基於經衰減突觸輸入電流而產生突觸輸出電流。
在實施例中，儲存於權重儲存元件中之權重值為可調整的，較佳地其中儲存於權重儲存元件中之權重值係基於學習規則而調整。
在實施例中，網路進一步包含列尖峰解碼器，該列尖峰解碼器經組態以基於突觸前輸入尖峰而供應突觸前脈衝信號，使得突觸前脈衝信號基於尖峰神經網路之組態而分配至突觸前積分器。
在實施例中，尖峰神經網路包含產生突觸前脈衝信號之輸入神經元，並且其中突觸前積分器多路複用源自不同輸入神經元之時間尖峰。
在實施例中，突觸前積分器產生之突觸輸入信號之預定時間動力為AMPA、NMDA、GABA A或GABA B時間動力。
在實施例中，突觸前積分器產生獨立於可調諧時間常數之可調諧增益，其中時間常數判定洩漏電流，該洩漏電流減少突觸前積分器內之所累積電荷且表徵突觸前積分器之突觸輸入信號之時間動力。
在實施例中，突觸前積分器可藉由控制信號組態，較佳地其中控制信號控制突觸輸入信號之時間形狀。
在實施例中，輸出神經元係由神經元控制信號控制，以便控制神經元動力學。
在實施例中，尖峰神經網路包含複數個第一組權重應用元件，其中每一第一組權重應用元件中之權重應用元件中之每一者經連接以自各別突觸前積分器接收相同突觸輸入信號，並且其中每一第一組權重應用元件經連接以自複數個突觸前積分器中之不同者接收突觸輸入信號。
在實施例中，尖峰神經網路包含複數個輸入神經元，其中輸入神經元中之各別者經連接以將突觸前脈衝信號提供至突觸前積分器中之各別者，以用於為各別第一組權重應用元件提供突觸輸入信號。
在實施例中，尖峰神經網路包含複數個第二組權重應用元件，其中每一第二組權重應用元件經連接以將突觸輸出信號提供至複數個輸出神經元中之不同者。
在實施例中，尖峰神經網路顯示在使用中之一系列模式活動，包含完全同步、集群或異步狀態、輸入模式中之異質性、神經突觸元件時空動力學、非線性尖峰行為及/或頻率可調適性。
根據本揭示內容之第二態樣，揭示一種突觸前積分電路，其經組態以產生突觸輸入電流以輸入至複數個權重應用元件。突觸前積分電路包含：輸入元件，其經組態以接收突觸前脈衝信號，較佳地突觸前脈衝電壓，較佳地其中突觸前脈衝信號為時空尖峰序列；電容器，其經組態以回應於突觸前脈衝信號而累積電荷；洩漏元件，其經組態以釋放由電容器累積之電荷之至少部分；以及輸出元件，其經組態以基於由電容器累積之電荷而產生突觸輸入信號，以供應至複數個權重應用元件。
在實施例中，突觸前積分電路進一步包含控制元件，其經調適以控制突觸輸入信號之時間動力，其中控制元件經組態以：接收控制信號，較佳地控制電壓；基於控制信號而調節由電容器進行之電荷之累積；以及藉由控制電容器上之最大電荷來調節突觸輸入信號之最大振幅。
根據本揭示內容之第三態樣，揭示一種突觸前積分電路，其經組態以產生突觸輸入信號以用於後續權重應用。突觸前積分電路包含：輸入元件，其經組態以接收突觸前脈衝信號，較佳地突觸前脈衝電壓，其中突觸前脈衝信號為時空尖峰序列；    電容器，其經組態以基於時空尖峰序列中之尖峰而累積電荷；洩漏元件，其經組態以釋放由電容器累積之電荷之至少部分；輸出元件，其經組態以基於由電容器累積之電荷而產生突觸輸入信號；輸出控制元件，其經組態以基於突觸前脈衝信號而控制由輸出元件執行之突觸輸入信號之產生，使得突觸輸入信號之產生係由時空尖峰序列控制，較佳地其中突觸輸入信號不在時空尖峰序列之尖峰期間產生；以及控制元件，其經組態以：接收控制信號，較佳地控制電壓，調節由電容器進行之電荷之累積，使得由電容器累積之電荷之量獨立於時空尖峰序列中之尖峰之持續時間及電容器之電容值，較佳地電容器中之製造變化；以及藉由控制電容器上之最大電荷來調節突觸輸入信號之時間形狀及最大振幅。
由電容器累積之電荷之量獨立於時空尖峰序列中之尖峰之持續時間及電容器之電容值，因此突觸前積分電路之功能及效能獨立於電容器之製造中之差異。
在實施例中，輸出控制元件包含場效電晶體及反相器，反相器經組態以基於突觸前輸入信號而應用輸出控制元件之場效電晶體之閘源極電壓，較佳地其中在突觸前輸入信號沒有尖峰時應用閘源極電壓，並且其中突觸輸入信號係由輸出控制元件之場效電晶體上之汲源極電流產生。
在第二或第三態樣之實施例中，洩漏元件係由時間常數控制，較佳地其中時間常數表徵AMPA、NMDA、GABA A或GABA B時間動力。
在第二或第三態樣之實施例中，洩漏元件包含場效電晶體，其中時間常數為洩漏元件之場效電晶體之閘源極電壓，並且其中電容器係藉由洩漏元件之場效電晶體之汲源極電流放電。
在第二或第三態樣之實施例中，輸入元件包含場效電晶體，其中突觸前脈衝信號為輸入元件之場效電晶體之閘源極電壓，並且其中輸入元件之場效電晶體上之汲源極電流為電容器充電。
在第二或第三態樣之實施例中，輸出元件包含場效電晶體，其中由電容器累積之電荷產生輸出元件之場效電晶體之閘源極電壓，並且其中輸出元件之場效電晶體上之汲源極電流產生突觸輸入信號。
在第二或第三態樣之實施例中，控制元件包含場效電晶體，其中控制信號為控制元件之場效電晶體之閘源極電壓，並且其中電容器係由控制元件之場效電晶體上之汲源極電流充電。
在第二或第三態樣之實施例中，輸出元件進一步包含輸出電流鏡，其經組態以在電壓域中產生突觸輸入信號；或輸出串迭電流鏡，其經組態以在電壓域中產生突觸輸入信號，所得突觸輸入信號包含兩個電壓信號。
在第二或第三態樣之實施例中，在電容器放電時，突觸輸入信號以指數方式減小。
根據本揭示內容之第四態樣，揭示一種極性選擇電路，其經組態以複製或反相突觸輸出電流。極性選擇電路包含：極性輸入元件，其經組態以接收突觸輸出電流；極性選擇端子，其經組態以基於極性輸入信號而選擇供給電流鏡或下沈電流鏡；其中供給電流鏡經組態以複製突觸輸出電流；且其中下沈電流鏡經組態以反相突觸輸出電流；極性輸出元件，其基於經複製或經反相突觸輸出電流而產生極性輸出電流。
根據本發明之第一態樣之實施例，權重應用元件中之每一者進一步包含極性選擇元件，極性選擇元件包含根據本發明之第四態樣之極性選擇電路，使得根據本發明之第一態樣之突觸輸出信號由極性選擇電路使用以產生極性輸出電流，較佳地其中輸入神經元接收極性輸出電流，並且其中經複製突觸輸出電流對應於興奮性突觸輸出信號且經反相突觸輸出電流對應於抑制性突觸輸出信號。
在第一態樣之實施例中，突觸前積分器包含根據第二或第三態樣之突觸前積分電路。
根據本揭示內容之第五態樣，揭示一種用於尖峰神經網路之突觸前積分及權重應用之方法。尖峰神經網路包含複數個突觸前積分器209、複數個權重應用元件210及複數個輸出神經元220。方法包含：藉由複數個突觸前積分器213中之每一者接收促使電荷在突觸前積分器中累積之突觸前脈衝信號204；藉由複數個突觸前積分器213中之每一者基於所累積電荷而產生突觸輸入信號214，使得突觸輸入信號具有預定時間動力；藉由複數個權重應用元件210中之第一組權重應用元件211自複數個突觸前積分器213中之第一者接收突觸輸入信號214；藉由第一組權重應用元件中之每一權重應用元件211將權重值應用於突觸輸入信號214，以產生突觸輸出電流215，其中突觸輸出電流之強度隨所應用權重值而變；以及藉由複數個輸出神經元222中之每一者自複數個權重應用元件中之第二組權重應用元件接收突觸輸出電流214，並且基於所接收一或多個突觸輸出電流而產生時空尖峰序列輸出信號223。
在實施例中，權重應用元件中之每一者包含權重應用電路，其經調適以：自突觸前積分器接收突觸輸入信號且基於突觸輸入信號而產生突觸輸入電流；儲存權重值；將所儲存權重值應用於突觸輸入電流以產生突觸輸出電流。
在實施例中，突觸前積分器產生獨立於可調諧時間常數之可調諧增益，其中時間常數判定洩漏電流，該洩漏電流減少突觸前積分器內之所累積電荷且表徵突觸前積分器之突觸輸入信號之時間動力。
在實施例中，尖峰神經網路包含複數個第一組權重應用元件；其中每一第一組權重應用元件中之權重應用元件中之每一者經連接以自各別突觸前積分器接收相同突觸輸入信號；並且其中每一第一組權重應用元件經連接以自複數個突觸前積分器中之不同者接收突觸輸入信號。
在實施例中，尖峰神經網路包含複數個輸入神經元，其中輸入神經元中之各別者經連接以將突觸前脈衝信號提供至突觸前積分器中之各別者，以用於為各別第一組權重應用元件提供突觸輸入信號。
根據本揭示內容之第六態樣，揭示一種用於尖峰神經網路之突觸前積分之方法。方法包含：提供突觸前積分電路，其經組態以產生突觸輸入電流以輸入至複數個權重應用元件；    接收突觸前脈衝信號，較佳地突觸前脈衝電壓，較佳地其中突觸前脈衝信號為時空尖峰序列；回應於突觸前脈衝信號而累積電荷；經由洩漏元件釋放所累積之電荷之至少部分；以及基於所累積之電荷而產生突觸輸入信號以供應至複數個權重應用元件。
根據本揭示內容之第七態樣，揭示一種用於尖峰神經網路之突觸前積分之方法。方法包含：提供突觸前積分電路，其經組態以產生突觸輸入信號以用於後續權重應用；接收突觸前脈衝信號，較佳地突觸前脈衝電壓，其中突觸前脈衝信號為時空尖峰序列；基於時空尖峰序列中之尖峰而藉由電容器累積電荷；經由洩漏元件釋放由電容器累積之電荷之至少部分；基於由電容器累積之電荷而產生突觸輸入信號；基於突觸前脈衝信號而控制由輸出元件執行之突觸輸入信號之產生，使得突觸輸入信號之產生係由時空尖峰序列控制，較佳地其中突觸輸入信號不在時空尖峰序列中之尖峰期間產生；以及提供控制元件，其經組態以：接收控制信號，較佳地控制電壓，調節電荷之累積，使得由電容器累積之電荷之量獨立於時空尖峰序列中之尖峰之持續時間及電容器之電容值，較佳地電容器中之製造變化；以及藉由控制電容器上之最大電荷來調節突觸輸入信號之時間形狀及最大振幅。
根據本揭示內容之第八態樣，揭示一種用於極性選擇之方法。方法包含：提供極性選擇電路，其經組態以複製或反相突觸輸出電流；接收突觸輸出電流；基於極性輸入信號而選擇供給電流鏡或下沈電流鏡；複製突觸輸出電流及/或反相突觸輸出電流；基於經複製或經反相突觸輸出電流而產生極性輸出電流。
根據本揭示內容之第九態樣，揭示一種使用根據第一態樣之尖峰神經網路對輸入信號進行分類之方法。
在下文中，將更詳細地描述某些實施例。然而，應瞭解，此等實施例不可被視為限制對本揭示內容之保護範圍。
如上文所提及，在具有 m×n個突觸之完全連接之網路中，用於突觸整合之電容器為陣列之總面積的最大貢獻者。對於面積最佳化之設計（及隨後高能效設計），本發明用兩個專用電路再現突觸動力學（圖2），該等專用電路各自實施經明確定義之功能，第一電路執行脈衝（尖峰）積分，並且第二電路執行權重應用，而非使用一個電路來再現突觸動力學（如圖1A-C中）。因此，每一個輸入信號僅需要單個尖峰積分器（且因此單個電容器，而非 n個電容器）。因此，此產生面積高效設計，其中權重應用元件211之每列共用預積分。此外，由於現在僅需要執行單個預積分而非 n個預積分，因此本發明提供突觸矩陣之更功率高效之實施方式。
圖2展示根據例示性實施例之尖峰神經網路200之部分，其可在包含複數個子網路之較大神經網路內形成子網路（或系集），並且可實施為神經-突觸核心。圖2展示輸出神經元222，其連接至權重應用元件211，該等權重應用元件連接至突觸前積分器213。例示性實施例包括至少一個突觸前積分器213、權重應用元件211中之複數者210及輸出神經元222中之複數者220。在一些實施例中，尖峰神經網路200包含若干層，使得由輸出神經元222產生之時空尖峰序列輸出信號223可形成由下一層中之突觸前積分器213接收之突觸前信號204，並且使得由突觸前積分器213接收之突觸前脈衝信號204可由輸入神經元，即來自前一層之輸出神經元222產生。為了不使影像雜亂，僅展示少量神經元222、突觸前積分器213及權重應用元件211，並且僅一些具有附接至其的參考標號。
突觸動力學係由突觸前積分器213及權重應用元件211複製。突觸前積分器213執行突觸前脈衝（尖峰）積分之功能，使得突觸前（快速）脈衝信號204轉化成（長效）突觸輸入信號214。在一些實施例中，突觸輸入信號214可為以指數方式減小之尖峰，類似於由AMPA受體發射之信號。在一些實施例中，突觸輸入信號214可為突觸輸入電流。在一些實施例中，突觸輸入信號214可為突觸輸入電壓。在一些實施例中，突觸前積分器213可藉由控制信號203組態，較佳地其中控制信號203控制由突觸前積分器213產生之突觸輸入信號214之時間形狀。
每一權重應用元件211執行典型突觸功能，連接輸入及輸出神經元，並且將儲存於對應權重儲存元件212中之權重值應用於突觸輸入信號214，以產生突觸輸出電流215。特定言之，所應用權重值判定突觸輸出電流215之強度。在一些實施例中，權重應用元件應用介於零至一之範圍內的因子以使其突觸輸入信號衰減，以產生包含突觸輸入信號之所選擇部分之突觸輸出電流。在一些實施例中，由權重儲存元件212儲存之權重值為可調整的，較佳地根據學習規則。
輸出神經元222經組態以自權重應用元件211接收至少一個突觸輸出電流215，以基於所接收一或多個突觸輸出電流而產生時空尖峰序列輸出信號。在一些實施例中，輸出神經元222可藉由神經元控制信號224組態。此等神經元控制信號127可例如藉由改變神經元啟動函數之參數來控制由神經元啟動函數表示之神經元動力學。
在替代實施例中，尖峰神經網路進一步包含列尖峰解碼器202，其經組態以基於突觸前輸入尖峰201而對突觸前脈衝信號204進行解碼且將其分配至對應突觸前積分器213。將哪一突觸前脈衝信號發送至哪一突觸前積分器213取決於尖峰神經網路之組態。涵蓋對突觸前輸入尖峰201進行解碼。
圖3展示根據另一例示性實施例之尖峰神經網路300之部分的另一實例，其可在包含複數個子網路之較大神經網路內形成子網路（或系集），並且可實施為神經-突觸核心。輸出神經元322連接至權重應用元件311，該等權重應用元件連接至突觸前積分器313。例示性實施例包括至少一個突觸前積分器313、權重應用元件311中之複數者310及輸出神經元322中之複數者320。在一些實施例中，尖峰神經網路300包含若干層，使得由輸出神經元322產生之時空尖峰序列輸出信號326可形成由下一層中之突觸前積分器213接收之突觸前信號204，並且使得由突觸前積分器313接收之突觸前脈衝信號307可由輸入神經元，即來自前一層之輸出神經元322產生。為了不使影像雜亂，僅展示少數神經元322、突觸前積分器313及權重應用元件311，並且僅一些具有附接至其的參考標號。
此實施例進一步包含神經突觸核心控制元件304、神經元控制元件323、神經元解碼器元件321及類似於來自圖2之列尖峰解碼器202之列尖峰解碼器302，使得列尖峰解碼器302基於突觸前輸入尖峰301而對突觸前脈衝信號307進行解碼且將其分配至突觸前積分器313。
配置於核心陣列中之複數個神經突觸核心配置用於學習系統之高層級架構。每一核心包含以硬體實施之神經元網路，該等神經元由突觸元件互連。單個核心可實施完整尖峰神經網路，或形成單獨子網路之尖峰神經網路之部分。以此方式，大型尖峰神經網路可劃分為數個較小子網路，每一子網路實施於陣列之核心中之一者中。在一個實施例中，核心可實施具有相關聯輸入資料埠、輸出埠及/或控制及組態介面之尖峰神經網路，例如，每一核心實施包括圖2或圖3之配置的一或多個子網路。
藉由將大型尖峰神經網路劃分為較小子網路且在一或多個核心上實施子網路中之每一者，該等核心各自具有其自有必備電路系統，在較小處理幾何結構及較低操作電流下操作的電路之非理想性中之一些得到緩解，尤其對於大型陣列。基於核心之實施方法因此減少了實體非理想性之影響。
形成協作組之子網路或神經元系集可例如形成分類器、分類器系集、處置資料轉換、特徵編碼或僅分類之神經元組等。
在此類情況下，大型系集網路劃分且映射至核心之陣列上，該等核心中之每一者含有尖峰神經元之可程式化網路。因此，每一核心實施單個系集、多個小系集（與核心中之神經元及突觸之數目相關），或在大型系集之情況下，僅單個系集之部分，其中其他部分實施於陣列之其他核心上。如何將系集劃分且映射至核心的模態係藉由映射方法判定。映射方法可包含約束驅動之劃分。約束可為鏈接至每一各別子網路之功能的效能度量。效能度量可取決於功率面積限制、記憶體結構、記憶體存取、時間常數、偏置、技術限制、彈性、所接受失配之位準以及網路或實體假影。
神經突觸核心控制元件304經組態以可能自輸入神經元之前一層接收尖峰輸入306，以將突觸前輸入尖峰301發送至列尖峰解碼器302，並且將控制信號303發送至突觸前積分器303。此外，神經突觸核心控制元件304經組態以自神經元解碼器元件321接收且隨後發射神經元尖峰輸出信號325。另外，神經突觸核心控制元件304經組態以控制神經元控制元件323及神經元解碼器元件321兩者。最終，神經突觸核心控制元件可藉由組態信號305組態。
神經元控制元件323經組態以經由神經元控制信號324控制輸出神經元322中之複數者320。神經元解碼器元件321經組態以基於至少一個時空尖峰序列輸出信號326而產生神經元尖峰輸出信號325，該時空尖峰序列輸出信號由輸出神經元322基於突觸輸出電流315而產生。
本發明中所揭示之神經-突觸核心可因此組織為突觸電路及神經元單元之重複陣列，其中每一單元可形成胞元總成。系統可在陣列之連接點處併入電子突觸之存在。陣列周邊可包括突觸電路列，該突觸電路列模仿生物神經元之體組織及軸突小凸起之動作。
此外，陣列中之每一神經-突觸核心可具有局部路由器，該局部路由器與專用即時可重新組態晶片上網路內之其他核心之路由器通信。分類器可例如假設具有輸出神經元集合（每一類別一個輸出神經元），其中每一者根據其激發機率分佈激發事件（尖峰）。
接下來，將描述根據本發明之突觸前積分電路。
圖4A展示根據突觸前積分器213、313之例示性實施例的突觸前積分電路400，其包含正電壓電源420（亦被稱為具有電壓 V DD 之汲極）、負電壓電源440（亦被稱為具有電壓 V SS 之源極）、電容器404、若干場效電晶體（FET），特定言之輸入FET 401、洩漏FET 403、輸出FET 405，以及電流鏡406。突觸前積分器213、313在亞臨限值區中操作且提供低面積及線性濾波性質。突觸前積分器213、313將快速突觸前脈衝信號204、307轉化成（長效）突觸輸入信號214、314。突觸輸入信號可例如成形為以指數方式減小之尖峰（同時保留AMPA樣受體時間動力）。突觸前積分器213、313提供源自不同神經元之多路複用時間尖峰之可能性，並且提供獨立於（可調諧）時間常數之可調諧增益。
在此實施例中，來自列尖峰解碼器213、302之突觸前脈衝信號204、307在輸入FET 401上形成閘源極電壓。在閘源極電壓為正，對應於突觸前脈衝信號中之尖峰時，輸入FET 401接通，從而使汲源極電流能夠流動。
一些實施例可進一步包括控制FET 402，其經組態以基於控制信號而控制突觸輸入信號214、314之時間動力，該控制信號為控制FET 402上之閘源極電壓。在此實施例中，控制信號為來自列尖峰解碼器202或神經突觸核心控制元件304之控制信號203、303。在閘源極電壓為例如正時，控制FET 402接通，從而使汲源極電流能夠流動。
電容器404連接至輸入FET 401及有可能控制FET 402，使得在輸入FET 401及控制FET 402兩者接通時，形成閉合電路，從而經由電容器404將正電壓電源420連接至負電壓電源440，使得電容器404累積電荷，直至連接結束。
若電容器404具有所累積電荷，則在輸出FET 405之閘源極電壓等於由電容器404累積之電荷時，該輸出FET接通。在輸出FET 405接通時，汲源極電流經啟用以自正電壓電源420通過輸出FET 405及電流鏡406至負電壓電源440。輸出FET 405可經組態以在其亞臨限值區中操作，使得若電容器404上之電荷線性減小，則輸出FET 405上之汲源極電流以指數方式減小。在一些實施例中，輸出FET 405在其亞臨限值區中操作，並且因此，提供其閘源極電壓與其源汲極電流之間的指數關係。因此，將電容器404上之電荷的線性減小轉換成汲源極電流之指數衰變。
洩漏FET 403經組態以在電容器404接通之情況下對其進行放電。由於通過洩漏FET 403之電流恆定，由電容器404累積之電荷線性減小。在一些實施例中，洩漏FET 403係由時間常數控制，時間常數判定洩漏FET 403之閘源極電壓。時間常數可經選擇以使得例如AMPA、NDMA、GABA A或GABA B時間動力實現。
若電流流動通過電流鏡406，則與該電流之強度成比例地產生電壓信號。在此實施例中，由突觸前積分器213、313產生之突觸輸入信號214、314為此電壓信號。實際上，流動通過電流鏡406之電流經複製為電壓信號。替代地或另外，電流鏡406可為串迭電流鏡，使得突觸輸入信號214、314包含兩個電壓信號，以用於減少電流複製之變化且增加其準確性。即，串迭實施方式藉由改進阻抗來改進輸出驅動強度。
圖4B展示根據突觸前積分器213、313之另一例示性實施例的突觸前積分電路410，其包含正電壓電源430、負電壓電源450、電容器414、若干場效電晶體（FET），特定言之輸入FET 411、控制FET 412、洩漏FET 413、輸出FET 415、鏡FET 417，以及串迭電流鏡416。為了使由電容器累積之電荷之量獨立於電容器414之電容值（其可由於製造變化性而變化高達20%），採用圖4B中之電路。因此，電路不再取決於突觸前脈衝信號204、307中之尖峰之持續時間，只要其足夠長以穩定電容器414上之電荷。此實施例進一步包括輸出控制元件，其包含輸出控制FET 419、電流控制FET 418及反相器423。
在此實施例中，突觸前脈衝信號204、307為輸入FET 411上之閘源極電壓。若在應用輸入脈衝時輸入FET 411上之閘源極電壓變高，則電流開始流動，通過控制FET 412，從而將電容器414充電至鏡FET 417之二極體電壓。值得注意的，輸入FET 411上之閘源極電壓脈衝需要足夠長，以便由電容器414累積之電荷之量達至恆定值。
控制FET 412經組態以基於控制信號203、303而控制突觸輸入信號214、314之時間動力。在此實施例中，控制信號203、303為控制FET 402上之閘源極電壓。在閘源極電壓為正時，控制FET 412接通，從而使汲源極電流能夠流動。在此實施例中，控制信號203、303經組態以調節由電容器進行之電荷之累積，使得由電容器累積之電荷之量獨立於時空尖峰序列中之尖峰之持續時間及電容器之電容值，並且藉由控制電容器上之最大電荷來調節突觸輸入信號之時間形狀及最大振幅。在一些實施例中，控制FET 412為恆定電流源。
電容器414連接至輸入FET 411及控制FET 412，使得在輸入FET 411及控制FET 412兩者接通時，形成閉合電路，從而經由電容器414將正電壓電源430連接至負電壓電源450，使得電容器414累積電荷，直至連接結束。
若電容器414具有所累積電荷，則在輸出FET 415之閘源極電壓等於由電容器414累積之電荷時，該輸出FET接通。在突觸前脈衝信號204、307變低時，啟用輸出；在洩漏FET 413隨時間推移而對電容器414進行放電時，輸出FET 415上之汲源極電流將因此減小。在輸出FET 415及輸出控制FET 419兩者接通時，汲源極電流經啟用以自正電壓電源430通過輸出FET 415、輸出控制FET 419及串迭電流鏡416至負電壓電源450。輸出FET 415可經組態以在其亞臨限值區中操作，使得若電容器414上之電荷線性減小，則輸出FET 415上之汲源極電流以指數方式減小。
輸出級可採用串迭電流鏡416以用於減少電流複製之變化且增加其準確性。若電流流動通過串迭電流鏡416，則與該電流之強度成比例地產生兩個電壓信號。在此實施例中，由突觸前積分器213、313產生之突觸輸入信號214、314因此包含電壓信號。實際上，流動通過串迭電流鏡416之電流經複製為兩個電壓信號。替代地，串迭電流鏡416可為產生一個電壓信號之常規電流鏡，而非如圖4A之實施例中所見。
包含反相器423、輸出控制FET 419及電流控制FET 418之輸出控制元件經組態以調節輸出電流之流動。箭頭421標示輸出FET 415之汲源極上之輸出電流的方向。然而，若輸出FET 415及輸出控制FET 419兩者接通，則此電流僅流動。反相器423連接至輸入FET 411，使得若突觸前輸入信號204、307為負，則在其輸出處產生正電壓，並且若突觸前輸入信號204、307為正，則在反相器423之輸出處產生負電壓。因此，若突觸前輸入信號為負，即在突觸前輸入信號沒有尖峰時，則輸出控制FET 419僅接通。FET 415及419上之輸出電流因此僅在時空尖峰序列中之尖峰已結束之後有可能。另外，在突觸前脈衝信號204、307出現尖峰時，電流控制FET 418僅接通。因此，在尖峰已結束之後，藉由FET 418及411中之任一者上之汲源極電流對電容器414之放電為不可能的，從而確保對電容器414之放電係由洩漏FET 413控制。
洩漏FET 413經組態以在其接通之情況下經由其汲源極電流（由箭頭422所指示之電流方向）對電容器414放電。在突觸前脈衝信號204、307變低且電荷電路閉合時，電容器414經由洩漏FET 413以恆定電流放電。在一些實施例中，洩漏FET 413係由時間常數控制，該時間常數判定洩漏FET 413的閘源極電壓。時間常數可經選擇以使得AMPA、NDMA、GABA A或GABA B時間動力實現。
鏡FET 417耦合至輸出FET 415，使得鏡FET 417及輸出FET 415共同形成電流鏡，從而確保輸出FET 415上之汲源極電流與鏡FET 417上之汲源極電流相同。因此，對於預積分電路之功能，由在預積分電路內之電容器感應到之電壓不再重要。
接下來，將描述根據本發明之權重應用電路。
圖2及圖3之權重應用（乘法）電路為完全分佈式的且執行典型突觸功能，連接輸入及輸出神經元且應用所儲存權重。應保留乘法器之線性以便使學習不降級。數位儲存之權重經由基於R-2R架構之電流導向式D/A轉換器變換至類比域，此展示於圖5A及圖5B中。權重應用元件可將介於零至一之範圍內的因子應用於其輸入電流上，從而使其衰減，並且將輸入電流之所選擇部分發送至其輸出。
為了最小化對權重誤差之敏感性，具有小跨導為有利的。由於設計係基於電流導向式D/A轉換，因此多個權重應用元件之輸出可直接地求和。
圖5A展示根據權重應用元件211、311之例示性實施例的權重應用電路500。為了不使影像雜亂，僅一些元件具有附接至其的參考標號，並且重複元件僅展示有限次數。權重應用電路500包含正電壓電源520、負電壓電源540、第一突觸輸入接收器507、第二突觸輸入接收器508、輸出端子509及輸出選擇元件550之階梯，其各自包含雙電阻FET 503、單電阻FET 504、正輸出FET 501及負輸出FET 502。FET 505及FET 506亦可連接至正電壓電源520。
突觸輸入接收器507及508經組態以接收呈閘源極電壓之形式的突觸輸入信號214、314。參考圖4A，突觸輸入信號214、314可由輸出電流鏡406提供。突觸輸入接收器507、508上之閘源極電壓使電流能夠流動通過權重應用電路500之其餘部分，尤其沿著輸出選擇元件550之階梯至輸出端子509。
輸出選擇元件550依序連接，使得流動通過突觸輸入接收器507之電流分佈於輸出選擇元件550中。輸出選擇元件550中之每一者包含單電阻電晶體504及雙電阻電晶體503，該等電晶體經定位以使得來自突觸輸入接收器507之電流對於其穿過之每一輸出選擇元件550經二分。因此，第一輸出選擇元件550接收突觸輸入電流之一半，第二輸出選擇元件550接收四分之一，第三輸出選擇元件550接收八分之一，等等。包括越多輸出選擇元件550，在權重應用中可獲得之準確性就越高。
輸出選擇元件550中之每一者包含正輸出FET 501及負輸出FET 502。此等FET上之閘源極電壓係藉由儲存於權重儲存元件212中之數位儲存之權重值判定。權重值經儲存為位元，其中位元之量等於輸出控制元件550之量。所儲存權重值之每一位元判定輸出控制元件之設定，使得正輸出FET 501或負輸出FET 502接通。若正輸出FET 501接通，則分配至對應輸出選擇元件之突觸輸入電流之部分連接至輸出端子509。若負輸出FET 502接通，則突觸輸入電流之所選擇部分對突觸輸出電流沒有貢獻。因而，實現了基於所儲存二進位權重值之權重應用。
圖5B展示根據權重應用元件211、311之另一例示性實施例的權重應用電路500。在此電路中，突觸輸入接收器507、508各自包含兩個場效電晶體，其經組態以接收呈兩個閘源極電壓之形式的突觸輸入信號214、314。參考圖5B，突觸輸入信號214、314可由輸出串迭電流鏡416提供。
接下來，將描述根據本發明之極性選擇電路。
圖6展示根據本發明之例示性實施例的極性選擇電路600，其包含極性選擇。權重應用元件211、311之輸出之極性可經組態以產生抑制性尖峰，對應於GABA接收器之行為。極性選擇電路600採用供給電流鏡632來供給電流且使用下沈電流鏡642來下沈電流。極性選擇電路進一步包含正電壓電源610、負電壓電源620、極性輸出元件603、第一通路FET 631、第二通路FET 641、供給選擇FET 630、下沈選擇FET 640及經組態以接收突觸輸出電流215、315之極性輸入元件601。突觸輸出電流215、315之方向由箭頭604指示。取決於應用於極性選擇端子602之電壓被設定為高抑或低，供給電流鏡或下沈電流鏡經啟用，分別對應於興奮性或抑制性突觸。
極性輸入元件601經組態以接收突觸輸出電流作為汲源極電流，並且將此電流轉化為閘源極電壓。此閘源極電壓應用於供給電流鏡632或下沈電流鏡642之閘極端子。
若適用，通路FET 631及632經組態以將由極性輸入元件601接收之信號傳遞至下沈電流鏡。若電壓應用於第一通路FET 631之閘極，則汲源極電流開始流動。此汲源極電流判定流動通過第二通路FET 641之汲源極電流，此判定第二通路FET 641之閘源極電壓。若下沈選擇FET 640接通，則應用於通路FET 641之此閘源極電壓可接著應用於下沈電流鏡642。第二通路FET 641上之閘源極電壓將與由極性輸入元件601產生之閘源極電壓相同。
若高或低電壓應用於極性選擇端子602，則供給選擇FET 630接通，或下沈選擇FET 640接通。
若供給選擇FET 630接通，則供給選擇FET 630上之汲源極電流經啟用。因此，極性輸入元件601上之閘源極電壓亦應用於供給電流鏡632，從而接通供給電流鏡632。若供給電流鏡632接通，則電流開始自正電壓電源610流動至極性輸出元件603，該電流與由極性輸入元件601接收之突觸輸出電流相同。
若下沈選擇FET 640接通，則下沈選擇FET 640上之汲源極電流經啟用。因此，極性輸入元件601上之閘源極電壓亦應用於下沈電流鏡642，從而接通下沈電流鏡642。若下沈電流鏡642接通，則電流開始自極性輸出元件603流動至負電壓電源620。因此，等於由極性輸入元件601接收之經反相突觸輸入電流的電流流動通過極性輸出元件603。
經由使用極性選擇電路，尖峰神經網路可在不損失一般性之情況下實施為基於電導之整合及激發模型，此為廣義整合及激發模型之一種可能實施方式。
接下來，將描述可藉由本發明達成之可能信號模式。
根據本發明之尖峰神經網路可顯示廣泛範圍之模式活動，例如完全同步、集群或異步狀態，取決於興奮性/抑制性網路相互作用條件，輸入模式中之異質性，以及突觸前積分器中所實施之時空動力學。
圖7A展示繪製以安培為單位的興奮性突觸輸出電流（或興奮性突觸後電流，即突觸EPSC電流）701隨以秒為單位的時間702而變的圖表700，其中興奮性突觸輸出電流701為突觸輸出電流215、315之一個例示性實施例。
圖7B及圖7C展示繪製以伏特為單位的時空尖峰序列之電壓711、721隨以秒為單位的時間712、722而變的圖表710、720，其中時空尖峰序列為時空尖峰序列204、307之例示性實施例。特定言之，圖7B展示在神經元（節點）之膜上累積電荷導致尖峰產生。在圖7C中，展示非線性尖峰行為及頻率可調適性。
本發明可實施於積體電路上，特定言之實施於微控制器積體電路上。舉例言之，核心陣列中之核心可在微控制器積體電路上形成晶片上網路。晶片上網路提高了微控制器積體電路之可縮放性及功率效率。晶片上網路可為即時可重新組態的，或在生產階段期間靜態地定義。在晶片上網路即時可重新組態時，核心陣列中之核心之設定及其互連結構設定可更改。此更改可例如基於改變微控制器積體電路之輸入或輸出、對分類之準確性或穩定性的不同需求、基於其學習規則之網路之演進及通信協定之改變而進行。
本發明提供實現突觸處理功能之最佳面積及功率設計的分佈式多組件硬體結構之實施方式。其可藉由允許對尖峰神經網路內之個別信號處理特性及功能進行每組件最佳化來實現突觸結構維度之增加。
本發明提供對陣列不均勻性穩固的面積高效及功率高效突觸前自適應機構之實施方式，其中對於每一個輸入神經元僅需要單個尖峰積分器（而非 n個）。
本發明提供突觸前自適應（突觸前積分及電流產生）機構之實施方式，其最小化突觸電容變化之影響。此外，其提供用於藉由將因子範圍應用於其輸入電流上且將輸入電流之所選擇部分發送至其輸出來將數位儲存之權重變換至類比域的高效機構之實施方式。
此外，本發明提供用以在突觸元件中在興奮性輸出與抑制性輸出之間進行選擇的機構之實施方式。其提供能夠產生複雜動力之突觸元件之實施方式，該等複雜動力可延長至特定功能性，諸如時間特性之改變，以執行依賴於時間之計算。
上述實施例中之兩者或更多者可以任何適當方式組合。
100:先前技術尖峰神經網路 101:突觸元件 102:輸出神經元 103:突觸輸入信號 104:最終加權突觸輸出/加權突觸輸出/正或負輸出電流 105:神經元輸出信號 106:電流鏡 107:突觸輸出電流/突觸對稱輸出電流 110:先前技術尖峰神經網路 111:突觸元件 112:輸出神經元 113:突觸輸入信號 114:突觸輸出電流 115:神經元輸出信號 120:先前技術神經突觸陣列 121:可程式化突觸元件/突觸元件 122:輸出神經元/神經元 123:突觸輸入信號 124:突觸輸出電流 125:神經元輸出信號 127:神經元控制信號 130:神經網路矩陣 140:陣列 200:尖峰神經網路 201:突觸前輸入尖峰 202:列尖峰解碼器 203:控制信號 204:突觸前脈衝信號/突觸前信號/快速突觸前脈衝信號/突觸前輸入信號/時空尖峰序列 209:突觸前積分器 210:權重應用元件 211:突觸元件/權重應用元件 212:權重儲存元件 213:突觸元件/突觸前積分器 214:突觸輸入信號/（長效）突觸輸入信號 215:突觸輸出電流 220:輸出神經元 222:輸出神經元/神經元 223:時空尖峰序列輸出信號 224:神經元控制信號 300:尖峰神經網路 301:突觸前輸入尖峰 302:列尖峰解碼器 303:控制信號 304:神經突觸核心控制元件 305:組態信號 306:尖峰輸入 307:突觸前脈衝信號/快速突觸前脈衝信號/突觸前輸入信號/時空尖峰序列 310:複數個權重應用元件 311:權重應用元件311 313:突觸前積分器 314:（長效）突觸輸入信號/突觸輸入信號 315:突觸輸出電流 320:複數個輸出神經元 321:神經元解碼器元件 322:輸出神經元 323:神經元控制元件 324:神經元控制信號 325:神經元尖峰輸出信號 326:時空尖峰序列輸出信號 400:突觸前積分電路 401:輸入場效電晶體 402:控制場效電晶體 403:洩漏場效電晶體 404:電容器 405:輸出場效電晶體 406:電流鏡 410:突觸前積分電路 411:輸入場效電晶體 412:控制場效電晶體 413:洩漏場效電晶體 414:電容器 415:輸出場效電晶體 416:串迭電流鏡 417:鏡場效電晶體 418:電流控制場效電晶體 419:輸出控制場效電晶體 420:正電壓電源 421:箭頭 422:箭頭 423:反相器 430:正電壓電源 440:負電壓電源 450:負電壓電源 500:權重應用電路 501:正輸出場效電晶體 502:負輸出場效電晶體 503:雙電阻電晶體/雙電阻場效電晶體 504:單電阻電晶體/單電阻場效電晶體 505:場效電晶體 506:場效電晶體 507:第一突觸輸入接收器/突觸輸入接收器 508:第二突觸輸入接收器/突觸輸入接收器 509:輸出端子 520:正電壓電源 540:負電壓電源 550:輸出選擇元件 600:極性選擇電路 601:極性輸入元件 602:極性選擇端子 603:極性輸出元件 604:箭頭 610:正電壓電源 620:負電壓電源 630:供給選擇場效電晶體 631:第一通路場效電晶體/通路場效電晶體 632:供給電流鏡 640:下沈選擇場效電晶體 641:第二通路場效電晶體/通路場效電晶體 642:下沈電流鏡 700:圖表 701:興奮性突觸輸出電流 702:時間 710:圖表 711:電壓 712:時間 720:圖表 721:電壓 722:時間
現在將參考隨附示意性圖式而僅作為實例來描述實施例，在該等圖式中對應參考符號指示對應部件，並且在該等圖式中：
圖1A-1C展示先前技術尖峰神經網路之至少部分之實例；
圖2展示根據例示性實施例之尖峰神經網路之至少部分；
圖3展示根據另一例示性實施例之尖峰神經網路之至少部分；
圖4A展示根據例示性實施例之突觸前積分電路；
圖4B展示根據另一例示性實施例之突觸前積分電路；
圖5A展示根據例示性實施例之權重應用電路；
圖5B展示根據另一例示性實施例之權重應用電路；
圖6展示根據例示性實施例之極性選擇電路；
圖7A展示說明根據例示性實施例之興奮性突觸輸出電流動力學之圖表；
圖7B展示說明根據例示性實施例之時空尖峰序列動力學之圖表；
圖7C展示說明根據另一例示性實施例之時空尖峰序列動力學之圖表。
圖式僅意謂出於說明之目的，並且不充當對如由申請專利範圍列出的範圍或保護的限制。
200:尖峰神經網路
201:突觸前輸入尖峰
202:列尖峰解碼器
203:控制信號
204:突觸前脈衝信號/突觸前信號/快速突觸前脈衝信號/突觸前輸入信號
209:突觸前積分器
210:權重應用元件
211:突觸元件/權重應用元件
212:權重儲存元件
213:突觸元件/突觸前積分器
214:突觸輸入信號/突觸輸出電流/(長效)突觸輸入信號
215:突觸輸出電流
220:輸出神經元
222:輸出神經元/神經元
223:時空尖峰序列輸出信號
224:神經元控制信號

Claims (34)

  1. 一種尖峰神經網路（100），其包含複數個突觸前積分器（209）、複數個權重應用元件（210）以及複數個輸出神經元（220）； 其中該複數個突觸前積分器（213）中之每一者經調適以接收促使電荷在該突觸前積分器內累積的一突觸前脈衝信號（204），並且基於該所累積電荷而產生一突觸輸入信號（214），使得該突觸輸入信號具有一預定時間動力； 其中該複數個權重應用元件（210）中之一第一組權重應用元件（211）經連接以自該複數個突觸前積分器（213）中之一第一者接收該突觸輸入信號（214）； 其中該第一組權重應用元件中之每一權重應用元件（211）經調適以將一權重值應用於該突觸輸入信號（214），以產生一突觸輸出電流（215），其中該突觸輸出電流之強度隨該所應用權重值而變；並且 其中該複數個輸出神經元（222）中之每一者經連接以自該複數個權重應用元件中之一第二組權重應用元件接收一突觸輸出電流（214），並且基於該所接收一或多個突觸輸出電流而產生一時空尖峰序列輸出信號（223）。
  2. 如請求項1之尖峰神經網路，其中該等權重應用元件中之每一者包含一權重應用電路，該權重應用電路包含： 一突觸輸入接收器，其經組態以自該突觸前積分器接收該突觸輸入信號且基於該突觸輸入信號而產生一突觸輸入電流； 一權重儲存元件，其經組態以儲存該權重值； 一修改元件，其經組態以將儲存於該權重儲存元件中之該權重值應用於該突觸輸入電流，以產生該突觸輸出電流； 其中該權重值較佳地以數位形式儲存且經由一電流導向式數位至類比轉換器變換至一類比域， 其中該電流導向式數位至類比轉換器較佳地基於一R-2R架構，並且 其中電流導向式數位至類比轉換器較佳地應用一預定因子以使該突觸輸入電流衰減，並且基於該經衰減突觸輸入電流而產生該突觸輸出電流。
  3. 如請求項2之脈衝神經網路，其中儲存於該權重儲存元件中之該權重值為可調整的，較佳地其中儲存於該權重儲存元件中之該權重值係基於一學習規則而調整。
  4. 如請求項1至3中任一項之尖峰神經網路，其中該網路進一步包含一列尖峰解碼器，該列尖峰解碼器經組態以基於一突觸前輸入尖峰而供應該突觸前脈衝信號，使得該突觸前脈衝信號基於該尖峰神經網路之組態而分配至該突觸前積分器。
  5. 如請求項1至3中任一項之尖峰神經網路，其中該尖峰神經網路包含產生該突觸前脈衝信號之輸入神經元，並且其中該突觸前積分器多路複用源自不同輸入神經元之時間尖峰。
  6. 如請求項1至3中任一項之尖峰神經網路，其中該突觸前積分器產生之該突觸輸入信號之該預定時間動力為一AMPA、NMDA、GABA A或GABA B時間動力。
  7. 如請求項1至3中任一項之尖峰神經網路，其中該突觸前積分器產生獨立於一可調諧時間常數之一可調諧增益，其中該時間常數判定一洩漏電流，該洩漏電流減少該突觸前積分器內之該所累積電荷且表徵該突觸前積分器之該突觸輸入信號之該時間動力。
  8. 如請求項1至3中任一項之尖峰神經網路，其中該突觸前積分器可藉由一控制信號組態，較佳地其中該控制信號控制該突觸輸入信號之時間形狀。
  9. 如請求項1至3中任一項之尖峰神經網路，其中該等輸出神經元係由一神經元控制信號控制，以便控制神經元動力學。
  10. 如請求項1至3中任一項之尖峰神經網路，其中該尖峰神經網路包含複數個第一組權重應用元件， 其中每一第一組權重應用元件中之該等權重應用元件中之每一者經連接以自一各別突觸前積分器接收相同突觸輸入信號，並且 其中每一第一組權重應用元件經連接以自該複數個突觸前積分器中之一不同者接收一突觸輸入信號。
  11. 如請求項10之尖峰神經網路，其中該尖峰神經網路包含複數個輸入神經元，其中該等輸入神經元中之一各別者經連接以將一突觸前脈衝信號提供至該等突觸前積分器中之一各別者，以用於為一各別第一組權重應用元件提供一突觸輸入信號。
  12. 如請求項1至3中任一項之尖峰神經網路，其中該尖峰神經網路包含複數個第二組權重應用元件，其中每一第二組權重應用元件經連接以將突觸輸出信號提供至該複數個輸出神經元中之一不同者。
  13. 如請求項1至3中任一項之尖峰神經網路，其中該尖峰神經網路顯示在使用中之一系列模式活動，包含完全同步、集群或異步狀態、輸入模式中之異質性、神經突觸元件時空動力學、非線性尖峰行為及/或頻率可調適性。
  14. 一種突觸前積分電路，其經組態以產生一突觸輸入電流以輸入至複數個權重應用元件，該突觸前積分電路包含： 一輸入元件，其經組態以接收一突觸前脈衝信號，較佳地一突觸前脈衝電壓，較佳地其中該突觸前脈衝信號為一時空尖峰序列； 一電容器，其經組態以回應於該突觸前脈衝信號而累積電荷； 一洩漏元件，其經組態以釋放由該電容器累積之該電荷之至少一部分；以及 一輸出元件，其經組態以基於由該電容器累積之該電荷而產生突觸輸入信號，以用於供應至該複數個權重應用元件。
  15. 如請求項14之突觸前積分電路，其進一步包含一控制元件，該控制元件經調適以控制該突觸輸入信號之時間動力，其中該控制元件經組態以： 接收一控制信號，較佳地一控制電壓； 基於該控制信號而調節由該電容器進行之電荷之累積；以及 藉由控制該電容器上之最大電荷來調節該突觸輸入信號之最大振幅。
  16. 一種突觸前積分電路，其經組態以產生一突觸輸入信號以用於後續權重應用，該突觸前積分電路包含： 一輸入元件，其經組態以接收一突觸前脈衝信號，較佳地一突觸前脈衝電壓，其中該突觸前脈衝信號為一時空尖峰序列； 一電容器，其經組態以基於該時空尖峰序列中之一尖峰而累積電荷； 一洩漏元件，其經組態以釋放由該電容器累積之該電荷之至少一部分； 一輸出元件，其經組態以基於由該電容器累積之該電荷而產生該突觸輸入信號； 一輸出控制元件，其經組態以基於該突觸前脈衝信號而控制由該輸出元件執行的該突觸輸入信號之該產生，使得該突觸輸入信號之該產生係由該時空尖峰序列控制，較佳地其中該突觸輸入信號不在該時空尖峰序列之一尖峰期間產生；以及 一控制元件，其經組態以： 接收一控制信號，較佳地一控制電壓， 調節由該電容器進行之電荷之累積，使得由該電容器累積之電荷之量獨立於該時空尖峰序列中之一尖峰之一持續時間及該電容器之電容值，較佳地該電容器中之製造變化；以及 藉由控制該電容器上之最大電荷來調節該突觸輸入信號之時間形狀及最大振幅。
  17. 如請求項16之突觸前積分電路，其中該輸出控制元件包含一場效電晶體及一反相器，該反相器經組態以基於該突觸前輸入信號而應用該輸出控制元件之該場效電晶體之一閘源極電壓，較佳地其中在該突觸前輸入信號沒有尖峰時應用該閘源極電壓，並且其中該突觸輸入信號係由該輸出控制元件之該場效電晶體上之汲源極電流產生。
  18. 如請求項16或17之突觸前積分電路，其中該洩漏元件係由一時間常數控制，較佳地其中該時間常數表徵AMPA、NMDA、GABA A或GABA B時間動力。
  19. 如請求項18之突觸前積分電路，其中該洩漏元件包含一場效電晶體，其中該時間常數為該洩漏元件之該場效電晶體之閘源極電壓，並且其中該電容器係藉由該洩漏元件之該場效電晶體之汲源極電流放電。
  20. 如請求項16或17之突觸前積分電路，其中該輸入元件包含一場效電晶體，其中該突觸前脈衝信號為該輸入元件之該場效電晶體之閘源極電壓，並且其中該輸入元件之該場效電晶體上之汲源極電流為該電容器充電。
  21. 如請求項16或17之突觸前積分電路，其中該輸出元件包含一場效電晶體，其中由該電容器累積之該電荷產生該輸出元件之該場效電晶體之閘源極電壓，並且其中該輸出元件之該場效電晶體上之汲源極電流產生該突觸輸入信號。
  22. 如請求項16或17之突觸前積分電路，其中該控制元件包含一場效電晶體，其中該控制信號為該控制元件之該場效電晶體之閘源極電壓，並且其中該電容器係由該控制元件之該場效電晶體上之汲源極電流充電。
  23. 如請求項16或17之突觸前積分電路，其中該輸出元件進一步包含一輸出電流鏡，該輸出電流鏡經組態以在電壓域中產生該突觸輸入信號；或 一輸出串迭電流鏡，其經組態以在該電壓域中產生該突觸輸入信號，該所得突觸輸入信號包含兩個電壓信號。
  24. 如請求項16或17之突觸前積分電路，其中在該電容器放電時，該突觸輸入信號以指數方式減小。
  25. 一種極性選擇電路，其經組態以複製或反相一突觸輸出電流，該極性選擇電路包含： 一極性輸入元件，其經組態以接收該突觸輸出電流； 一極性選擇端子，其經組態以基於一極性輸入信號而選擇一來源電流鏡或一下沈電流鏡； 其中該來源電流鏡經組態以複製該突觸輸出電流；並且 其中該下沈電流鏡經組態以反相該突觸輸出電流； 一極性輸出元件，其基於該經複製或經反相突觸輸出電流而產生一極性輸出電流。
  26. 一種用於一尖峰神經網路之突觸前積分及權重應用之方法，該尖峰神經網路包含複數個突觸前積分器（209）、複數個權重應用元件（210）以及複數個輸出神經元（220）；其中該方法包含： 藉由該複數個突觸前積分器（213）中之每一者接收促使電荷在該突觸前積分器中累積的一突觸前脈衝信號（204）； 藉由該複數個突觸前積分器（213）中之每一者基於該所累積電荷而產生一突觸輸入信號（214），使得該突觸輸入信號具有一預定時間動力； 藉由該複數個權重應用元件（210）中之一第一組權重應用元件（211）自該複數個突觸前積分器（213）中之一第一者接收該突觸輸入信號（214）； 藉由該第一組權重應用元件中之每一權重應用元件（211）將一權重值應用於該突觸輸入信號（214）以產生一突觸輸出電流（215），其中該突觸輸出電流之強度隨該所應用權重值而變；以及 藉由該複數個輸出神經元（222）中之每一者自該複數個權重應用元件中之一第二組權重應用元件接收一突觸輸出電流（214），並且基於該所接收一或多個突觸輸出電流而產生一時空尖峰序列輸出信號（223）。
  27. 如請求項26之突觸前積分及權重應用之方法，其中該等權重應用元件中之每一者包含一權重應用電路，該權重應用電路經調適以： 自該突觸前積分器接收該突觸輸入信號，並且基於該突觸輸入信號而產生一突觸輸入電流； 儲存該等權重值； 將該所儲存權重值應用於該突觸輸入電流，以產生該突觸輸出電流。
  28. 如請求項26至27中任一項之突觸前積分及權重應用之方法，其中該突觸前積分器產生獨立於一可調諧時間常數之一可調諧增益，其中該時間常數判定一洩漏電流，該洩漏電流減少該突觸前積分器內之該所累積電荷且表徵該突觸前積分器之該突觸輸入信號之該時間動力。
  29. 如請求項26至27中任一項之突觸前積分及權重應用之方法，其中該尖峰神經網路包含複數個第一組權重應用元件； 其中每一第一組權重應用元件中之該等權重應用元件中之每一者經連接以自一各別突觸前積分器接收相同突觸輸入信號； 並且其中每一第一組權重應用元件經連接以自該複數個突觸前積分器中之一不同者接收一突觸輸入信號。
  30. 如請求項29之突觸前積分及權重應用之方法，其中該尖峰神經網路包含複數個輸入神經元，其中該等輸入神經元中之一各別者經連接以將一突觸前脈衝信號提供至該等突觸前積分器中之一各別者，以用於為一各別第一組權重應用元件提供一突觸輸入信號。
  31. 一種用於一尖峰神經網路之突觸前積分之方法，其包含： 提供一突觸前積分電路，其經組態以產生一突觸輸入電流以輸入至複數個權重應用元件； 接收一突觸前脈衝信號，較佳地一突觸前脈衝電壓，較佳地其中該突觸前脈衝信號為一時空尖峰序列； 回應於該突觸前脈衝信號而累積電荷； 經由一洩漏元件釋放該所累積電荷之至少一部分；以及 基於該所累積電荷而產生突觸輸入信號，以供應至該複數個權重應用元件。
  32. 一種用於一尖峰神經網路之突觸前積分之方法，其包含： 提供一突觸前積分電路，其經組態以產生一突觸輸入信號以用於後續權重應用； 接收一突觸前脈衝信號，較佳地一突觸前脈衝電壓，其中該突觸前脈衝信號為一時空尖峰序列； 藉由一電容器基於該時空尖峰序列中之一尖峰累積電荷； 經由一洩漏元件釋放由該電容器累積之該電荷之至少一部分； 基於由該電容器累積之該電荷而產生該突觸輸入信號； 基於該突觸前脈衝信號而控制由該輸出元件執行的該突觸輸入信號之該產生，使得該突觸輸入信號之該產生係由該時空尖峰序列控制，較佳地其中該突觸輸入信號不在該時空尖峰序列之一尖峰期間產生；以及 提供一控制元件，其經組態以： 接收一控制信號，較佳地一控制電壓， 調節電荷之該累積，使得由該電容器累積之電荷之量獨立於該時空尖峰序列中之一尖峰之一持續時間及該電容器之電容值，較佳地該電容器中之製造變化；以及 藉由控制該電容器上之最大電荷來調節該突觸輸入信號之時間形狀及最大振幅。
  33. 一種用於極性選擇之方法，其包含： 提供極性選擇電路，其經組態以複製或反相一突觸輸出電流； 接收該突觸輸出電流； 基於一極性輸入信號而選擇一來源電流鏡或一下沈電流鏡； 複製該突觸輸出電流及/或反相該突觸輸出電流； 基於該經複製或經反相突觸輸出電流而產生一極性輸出電流。
  34. 一種方法，其使用如請求項1至13中任一項之尖峰神經網路來對輸入信號進行分類。
TW110140644A 2020-10-30 2021-11-01 分佈式多組件突觸計算結構 TW202236172A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063107498P 2020-10-30 2020-10-30
US63/107,498 2020-10-30

Publications (1)

Publication Number Publication Date
TW202236172A true TW202236172A (zh) 2022-09-16

Family

ID=78536194

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110140644A TW202236172A (zh) 2020-10-30 2021-11-01 分佈式多組件突觸計算結構

Country Status (7)

Country Link
US (1) US20230401432A1 (zh)
EP (1) EP4238006A2 (zh)
JP (1) JP2023547069A (zh)
KR (1) KR20230097056A (zh)
CN (1) CN116472534A (zh)
TW (1) TW202236172A (zh)
WO (1) WO2022090542A2 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024003146A1 (en) 2022-06-29 2024-01-04 Innatera Nanosystems B.V. Calibration of spiking neural networks
TW202408174A (zh) 2022-07-25 2024-02-16 荷蘭商因納特拉納米系統有限公司 用於有效以特徵為中心之類比至尖峰編碼器之系統和方法
EP4318254A1 (en) * 2022-08-05 2024-02-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Semiconductor device system
WO2024175770A1 (en) 2023-02-24 2024-08-29 Innatera Nanosystems B.V. Always-on neuromorphic audio processing modules and methods

Also Published As

Publication number Publication date
EP4238006A2 (en) 2023-09-06
KR20230097056A (ko) 2023-06-30
CN116472534A (zh) 2023-07-21
WO2022090542A3 (en) 2022-06-16
US20230401432A1 (en) 2023-12-14
WO2022090542A2 (en) 2022-05-05
JP2023547069A (ja) 2023-11-09

Similar Documents

Publication Publication Date Title
TW202236172A (zh) 分佈式多組件突觸計算結構
US9779355B1 (en) Back propagation gates and storage capacitor for neural networks
Wang et al. Experimental demonstration of ferroelectric spiking neurons for unsupervised clustering
KR101466205B1 (ko) 전기 회로, 디지털 뉴럴 프로세싱 유닛을 구현하기 위한 방법 및 장치
CN111448573B (zh) 用于混合信号计算的系统和方法
WO2012006465A1 (en) Methods and systems for cmos implementation of neuron synapse
US10671911B2 (en) Current mirror scheme for an integrating neuron circuit
US20090292661A1 (en) Compact Circuits and Adaptation Techniques for Implementing Adaptive Neurons and Synapses with Spike Timing Dependent Plasticity (STDP).
JP7132196B2 (ja) 処理装置および推論システム
KR101965850B1 (ko) 인공 신경망에 사용되는 활성 함수의 확률적 구현 방법 및 그를 포함하는 시스템
US11080592B2 (en) Neuromorphic architecture for feature learning using a spiking neural network
US11861483B2 (en) Spike neural network circuit including comparator operated by conditional bias current
JP6989552B2 (ja) ニューラルネットワーク装置
CN110991610A (zh) 一种概率神经元电路、概率神经网络拓扑结构及其应用
JPH07168901A (ja) 人工神経回路
Tankimanova et al. Level-shifted neural encoded analog-to-digital converter
CN114528984A (zh) 一种用于脉冲神经网络的多输入神经元电路
Bertuletti et al. A multilayer neural accelerator with binary activations based on phase-change memory
US20220138546A1 (en) Expandable neuromorphic circuit
Saraswat et al. Hardware-friendly synaptic orders and timescales in liquid state machines for speech classification
Li et al. Binary‐Stochasticity‐Enabled Highly Efficient Neuromorphic Deep Learning Achieves Better‐than‐Software Accuracy
Calayir et al. Analog neuromorphic computing enabled by multi-gate programmable resistive devices
US8266085B1 (en) Apparatus and method for using analog circuits to embody non-lipschitz mathematics and properties using attractor and repulsion modes
WO2023074798A1 (ja) スパイキングニューラルネットワークを実行するための装置及び方法、並びに、スパイキングニューロモーフィックシステム
Mitra et al. Synthesis of log-domain integrators for silicon synapses with global parametric control