TWI509538B - 小型認知突觸運算電路 - Google Patents

小型認知突觸運算電路 Download PDF

Info

Publication number
TWI509538B
TWI509538B TW100130262A TW100130262A TWI509538B TW I509538 B TWI509538 B TW I509538B TW 100130262 A TW100130262 A TW 100130262A TW 100130262 A TW100130262 A TW 100130262A TW I509538 B TWI509538 B TW I509538B
Authority
TW
Taiwan
Prior art keywords
axon
dendrites
array
cross
axons
Prior art date
Application number
TW100130262A
Other languages
English (en)
Other versions
TW201224957A (en
Inventor
Dharmendra S Modha
Original Assignee
Ibm
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ibm filed Critical Ibm
Publication of TW201224957A publication Critical patent/TW201224957A/zh
Application granted granted Critical
Publication of TWI509538B publication Critical patent/TWI509538B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Description

小型認知突觸運算電路 【美國聯邦政府資助的開發研究之聲明】
本發明係在美國政府支持下依美國國防部高等研究計畫局(Defense Advanced Research Projects Agency，DARPA)所授予之合約編號：HR0011-09-C-0002進行。在本發明中美國政府具有特定權利。
本發明一般係關於神經形態(neuromorphie)及突觸器(synaptronic)系統，特別是關於基於尖峰時序相依可塑性的神經形態及突觸器系統。
生物系統施加順序於其感知輸入所提供資訊。此資訊一般為包含具有獨特空間及時間結構的局部化事件之時空(spatiotemporal)模式。這些事件發生於廣泛空間及時間尺度，而這些生物系統(例如腦部)仍能將其整合並擷取相關的資訊片段。此類生物系統可快速自充滿雜訊的時空輸入擷取訊號。
在生物系統中，突觸係指一神經元之軸突與另一神經元之樹突間的連接處，對突觸而言，二個神經元分別稱為突觸前(pre-synaptic)及突觸後(post-synaptic)。我們個人經驗的本質係儲存於突觸的傳導中。突觸傳導隨著時間以每個尖峰時序相依可塑性(spike-timing dependent plasticity，STDP)的突觸前及突觸後神經元的相對尖峰時間的函數而改變。若突觸後神經元在突觸前神經元發射後才發射，則STDP規則增加此突觸的傳導，若二個神經元發射的順序顛倒，則STDP規則降低突觸的傳導。
神經形態及突觸器系統，亦稱作人造神經網路，係允許電子系統以實質類似於生物腦部的方式運作之運算系統。神經形態及突觸器系統一般不利用以連續方式控制0與1的傳統數位模型，而是使用平行及分散式處理。反之，神經形態及突觸器系統產生模擬生物腦部神經元及突觸之處理元件間的連結。神經形態及突觸器系統可包含以生物神經元及突觸作模型的許多電子電路。
本發明具體實施例係使用互連於一交叉式陣列網路中之電子神經元而提供尖峰時序相依可塑性。在一具體實施例中，交叉式陣列網路包含複數個交叉式陣列。每一交叉式陣列包含複數個軸突及複數個樹突，使得軸突與樹突係彼此橫向，以及包含多個突觸裝置，其中每一突觸裝置位於耦合於一樹突及一軸突間之交叉式陣列的一交叉點。交叉式陣列在空間上位於提供突觸裝置之一交錯交叉式佈局的一交錯圖案中。
在本發明之一具體實施例中，一種方法包括從一電子神經元傳送一尖峰訊號至與一電子神經元網路中之一尖峰電子神經元連接的每一軸突及每一樹突。在本發明一具體實施例中，複數個電子神經元之每一個係對應至複數個交叉式陣列其中之一。
在本發明之一具體實施例中，產生一時脈訊號，供同時活化在網路中之多個交叉式陣列。針對多個交叉式陣列及對應的電子神經元之每一個，基於時脈訊號，此方法更包括：當一電子神經元發射時，通訊一訊號至對應的軸突及樹突。軸突通訊一讀取訊號，其也作為STDP下壓部分的警示。軸突通訊一重設訊號，且某些樹突可能會回應。樹突通訊一設定訊號，且某些軸突可能會回應。讀取在一軸突上ON位元的數量，以及讀取在一樹突上ON位元的數量。
本發明之這些及其他特徵、方面及優點可參考以下的詳細說明、後附之申請專利範圍、以及所附隨之圖式而了解。
本發明具體實施例提供神經形態及突觸器系統，其包括運算晶片，特徵為與複數個電子神經元互連之突觸裝置(突觸)的交叉絎縫交叉式佈局(cross-quilted crossbar layout)、根據尖峰時序相依可塑性(STDP)提供突觸的讀取及程式化、以及並行地協調操作多個交叉式。
現在參考圖1A，顯示神經形態及突觸器系統100的代表圖，其包含具有複數個神經元14的交叉式陣列12。神經元亦可稱作「電子神經元」。系統100更包含複數個突觸裝置22，其包括位於交叉式陣列12之交叉點的可變電阻23，其中突觸裝置22係連接於軸突24與樹突26之間。軸突24與樹突26在交叉點彼此橫向。圖1A所示的具體實施例為軸突24與樹突26在交叉點為正交組態的特別情況(「Ne」包含興奮神經元而「Ni」包含抑制神經元)。應注意，雖然圖1A顯示神經元形成一反覆迴圈，但一般來說不同的神經元會將其輸出伸出至在不同交叉式上的其他神經元。
圖1B顯示交叉式陣列12的範例實施，其中每一突觸裝置22包含一可變電阻23作為可程式化電阻。交叉式陣列12包含具有該電阻23於交叉點的奈米等級交叉式陣列，其用以實現電子神經元之間任意且彈性的連接。存取或控制裝置25(例如PN二極體或接線成為二極體的PET(或具有非線性電壓-電流響應的某些其他元件))可在每一交叉點與電阻23串聯連接，以避免訊號通訊期間的串音(神經元發射事件)且最小化漏電及功率消耗；然而這並非達到突觸功能所需的必要條件。突觸裝置不需為一可變電阻，在另一具體實施例中，其可包含記憶體元件，如SRAM、DRAM、EDRAM等等。
在本發明一具體實施例中，每一電子神經元包含一對RC電路15。一般而言，根據本發明一具體實施例，當從樹突輸入連接26所接收之整合輸入超過一臨界時，神經元「發射」(傳輸一脈衝)。當神經元發射，其係維持一反STDP(A-STDP)變數，此變數係隨著在其中一RC電路中之電阻及電容值所決定之相對長且預定的時間常數而衰減。舉例來說，在一具體實施例中，此時間常數可為約50ms。A-STDP變數可藉由使用電流鏡或等效電路決定橫跨電容的電壓而取樣。此變數用以達成軸突STDP，其係藉由對自相關神經元最後一次發射起的時間進行編碼。軸突STDP係用以控制「增效(potentiation)」，其在本文係定義為增加的突觸傳導率。當神經元發射，其亦維持D-STDP變數，此變數係隨由在其中一RC電路15中之電阻及電容值所決定之相對長且預定的時間常數衰減。在此使用的「當(when)」一詞可表示訊號在神經元發射後立即送出、或是在神經元發射後過一段時間才送出。
如圖1A所示，電子神經元14係組態為在交叉式陣列12周邊的電路。除了可簡單設計及製造，交叉式架構提供可用空間的有效使用。交叉式陣列12可組態以客製化神經元間的通訊。可藉由在製造階段阻擋某些突觸而獲得任意連接。因此，此處的建構原則可模擬在生物神經形態及突觸器網路中所觀察到所有直接繞線組合。
交叉式陣列12更包括驅動器(路由器)裝置X2 、X3 及X4 ，如圖1A所示(為清楚顯示，驅動器裝置並未顯示於圖1B中)。裝置X2 、X3 及X4 包含介面驅動器裝置。特別地，樹突26具有驅動器裝置X2 於交叉式陣列12的一側以及感測放大器X4 於交叉式陣列的另一側。軸突24具有驅動器裝置X3 於交叉式陣列的一側。在一具體實施例中，驅動器裝置包含執行此處所描述功能的互補金屬氧化物半導體(complementary metal oxide semiconductor，CMOS)邏輯電路。
圖2A顯示交叉式陣列12的透視圖，其中在一般情況下，在每一交叉式陣列中的軸突24及樹突26於交叉點處為小於90°的組態。每一交叉式陣列包含電路磚12T，其包含位在N個軸突24及N個樹突26的交叉點之NxN個突觸22之群組。在此範例中，N=3，其中每一磚12T包含3x3交叉式陣列，其具有3個軸突24與3個樹突26呈橫向組態。N為大於0的整數。
圖2B根據本發明一具體實施例顯示網路101的透視圖，其包含具有在二維平面中的複數個空間交錯交叉式陣列12之電路。在網路101中，在一般情況下，在每一交叉式陣列中的軸突24及樹突26於交叉點處為小於90°的組態。每一交叉式陣列12包含位在N個軸突24及N個樹突26的交叉點之NxN個突觸22群組(例如，N=3)。磚12T偏位(offset)，以提供磚12T的交錯圖案。磚12T群組係經由共同的軸突24及樹突26而互連，以提供突觸22的交叉絎縫交叉式佈局。圖2B中的網路101允許使用每一交叉式或磚互連電子神經元(圖未示)。以此而言，交叉式陣列12係於交錯圖案中，其提供網路101中突觸22的交叉絎縫交叉式佈局，其中突觸22為NxN群組。
圖2C顯示圖2B之網路101之一部分的俯視圖，其描述在網格12G之NxN個磚12T群組(例如，N=3)。在每一網格12G中之NxN個磚12T群組係經由共同的軸突24及樹突26而互連，以提供位在磚12T中交叉點之突觸的交叉絎縫交叉式佈局。圖2D顯示網路101的另一透視圖，其中，在每一網格12G中的磚12T也經由共同的軸突24及樹突26而互連至在鄰近網格12G中的鄰近磚12T。每一磚12T係經由N-1樹突26而連接至左側或右側的鄰近磚。每一磚12T係經由N-1軸突24而連接至上側或下側的鄰近磚。
在每一網格12G中，軸突24橫向跨越N個磚12T，且每一樹突橫越N個磚12T。在網格12G中之交叉式磚12T的數量為磚12T中突觸數量的函數。
交叉式磚12T在笛卡兒(X,Y)平面中彼此偏位，以提供樹突與軸突間的連接。偏位允許生物腦中連接的近似(approximation of the connections)更加可靠。交錯允許連接至一交叉式12的電子神經元使用在交叉點的軸突、樹突、及突觸，與連接至另一交叉式的神經元通訊。每一神經元對應一磚12T。
由於在網路101中的磚12T(及其對應的神經元)係組織化於網格12G中，若有需要是有可能以一空間填充曲線將其連接，類似一匯流排。由交叉式網路101所互連之神經元係安排於一規則晶格中，其經由鏈接每一神經元的連續通訊路徑13而連接。路徑13定義連接所有神經元的匯流排，如圖3之範例所示，其中路徑13上的實心圓代表每一神經元的位置。圖3提供基於二維座標系統的一範例連接。
圖4顯示一範例交叉式陣列12的合成物，其分解成四個組成部分。在此範例中，磚係對應一8x8交叉式，其包含8個軸突24、8個樹突26、及64個突觸。軸突介面模組24A包括驅動器X3 ，而樹突介面模組26A包括X2 及X4 驅動器。神經元(例如神經元14)對應交叉式12。圖5根據圖4的概念性分解顯示具有已分解交叉式12之網路101的一部分。
在一具體實施例中，根據本發明的神經網路包含網路電路101，其具有複數個軸突及複數個樹突於一交錯交叉式陣列12，每一突觸裝置包含二元狀態記憶體裝置，其表示位在耦合於一樹突與一軸突間之互連電路之交錯點的一位元。全部交錯的交叉式係相互鏈接。
在NxN交叉式12中，在電流限制保護下，所有行(row)可並行地讀取，即使所有N位元為ON，其中預期的ON位元數量為N/2。在電流限制保護下，可嘗試重設(設定)所有行(列)，若多於2個位元正在重設(設定)則可能不會成功。可讀取在一行(列)中之ON位元的數量。在電流限制保護下，所有列可並行地讀取，即使所有N位元為ON。預期的ON位元數量為N/2。關鍵事件為神經元的發射。這會造成兩種操作：讀取與程式化。針對讀取操作，神經元的發射導致對此發射神經元所連接之所有神經元的警告、傳送一發送訊號至所有軸突路由器或驅動器X3 。每一軸突路由器X3 支援多個樹突讀取(並行或部分並行)。針對程式化操作，神經元的發射可能造成突觸改變、傳送訊號至所有軸突-路由器X3 、及至所有樹突-路由器X2 、X4 。
在一具體實施例中，在交叉式陣列12中，西南-東北(SW-NE)向代表軸突，而東南-西北(SE-NW)向代表樹突。在軸突接觸的電路係標示為X3 ，而在樹突接觸的電路係標示為X2 及X4 。每一X4 包括1-位元ADC(感測放大器)，每一X2 包括重設及設定電路，且每一X3 包括讀取電路。本發明降低了X2 、X3 、X4 電路及用以將其驅動的邏輯之功率與空間需求。並行地讀取多於一個軸突，需要多於一個1-位元ADC。
感測放大器裝置X4 饋入興奮尖峰電子神經元(Ne )，其依序連接至軸突驅動器裝置X3 及樹突驅動器裝置X2 。一般而言，興奮尖峰電子神經元使其目標神經元更可能發射。此外，抑制尖峰電子神經元(Ni )使其目標更不可能發射。尖峰電子神經元有多種實施可使用。一般來說，此類神經元包含一計數器，其當接收到來自來源興奮神經元的輸入將增加，而當接收到來自來源抑制神經元的輸入將減少。增加或減少的量係取決於來源神經元至目標神經元間連接的強度。與輸入無關，計數器可週期性地降低以模擬「漏電(leak)」。若計數器達到某一臨界，神經元將產生其本身的尖峰(即，發射)，且計數器將進行一重設而回到一基值。此處的尖峰電子神經元一詞係指「電子神經元」。
在此範例中，每一興奮神經元(Ne )係組態以提供整合與發射。每一抑制神經元(Ni )係組態以根據整體網路活動調整興奮神經元的活動。熟此技藝者將了解到，興奮神經元與抑制神經元的準確數量可隨著使用在此所揭露架構所要解決之問題的本質而改變。
本發明具體實施例提供包含神經形態及突觸器網路的神經系統，其包含基於STDP的尖峰神經元網路，學習神經形態積體電路的規則。本發明一具體實施例提供基於尖峰的運算，其使用CMOS電子神經元，透過奈米等級的記憶體突觸(例如相位改變記憶體(Phase Change Memory，PCM)電路)彼此相互作用。
在一具體實施例中，軸突驅動器裝置X3 提供長程式化脈衝(long programming pulse)及通訊尖峰。樹突驅動器裝置X2 提供含一延遲之程式化脈衝。在一具體實施例中，神經元電路係使用類比邏輯電路而實施，對應感測放大器X4 轉換PCM(PCM無任何介紹)電流級為神經元電流級以供整合。在本發明另一具體實施例中，神經元電路係使用數位邏輯電路而實施，對應感測放大器X4 轉換PCM電流級為二元數位訊號以供整合。舉例來說，可施加短期間(例如約0.05ms至0.15ms，較佳為約0.1ms)的讀取尖峰至軸突驅動器裝置X3 以供通訊。可施加延長的脈衝(例如約150ms至250ms，較佳為約200ms)至軸突驅動器裝置X3 ，以及透過軸突驅動器脈衝(例如約45ns至55ns，較佳為約45ns)於中途施加短的負脈衝至樹突驅動器裝置X2 以供程式化。
網路101係根據數位、同步方式而運作。在一具體實施例中，時脈模組19(圖1B)係用以提供事件驅動架構，其利用分時多重存取方式(time-division multiple access scheme，TDMA)。TDMA允許讀取、設定、重設、或其他通訊橫跨不同神經元發生在相同的交叉式，而不會產生衝突或抵觸。
在一範例中，對一NxN交叉式陣列，使M代表N的因數，如此任何軸突或列的M個元件可被讀取/寫入。舉例而言，N可為100，而M可為1、2、5、10、20、25、或50。在此陣列上支援TDMA所需的時脈速率係隨N及M之函數而變化。基本上，任何神經元的狀態在T毫秒時距必須更新，其對應1/T kHz的時脈速率。在每一時距，每一軸突將被處理且每一樹突將被處理，其中需要2N/T kHz的時脈速率。
處理每一軸突或樹突牽涉階段，需要6N/T kHz的時脈速率。針對每一階段，需要N/M次階段來處理所有的突觸元件，其中需要(6N2 )/(M*T) kHz的時脈速率。當T=0.1、N=100、M=10，將產生60 MHz時脈速率。不同的記憶體技術支援不同的N及M值。在一範例中，可變電阻(例如PCM)可支援M=1至10的值。其他記憶體(靜態隨機存取記憶體(static random access memory，SRAM))可支援較大的數值，例如M=100或256。根據本發明具體實施例，T、N、M的值係選擇以達成低時脈速率，其相較於可能使用數個GHz時脈速率的傳統電腦系統，將可達到實質的功率節省。
藉由降低更新神經元狀態之時距T的解析度，可降低所需的時脈速率。舉例來說，當T=0.6，N=100，M=10，時脈速率為10MHz。
在一具體實施例中，每一神經元有S個突觸。假設S為N的整數倍數，則每一神經元需要從交叉式的比率S/N數值接收樹突輸入，並傳送其軸突輸出至S/N交叉式。每一神經元具有S/N樹突部及S/N軸突軸心。當每一樹突組成產生尖峰，其通訊一尖峰至神經元細胞本體組成的細胞本體。樹突組成傳送尖峰至細胞本體，而不是電流或計數。神經元整合來自所有樹突部的輸入，以決定何時發射。
當一神經元發射，訊號係通訊至其所有軸突及樹突。自樹突部分至一神經元的此訊號係以位址事件表示(address-event representation，AER)的形式實施。神經元及交叉式操作可同步，而AER為非同步。
在一交錯交叉式陣列網路101中，根據本發明一具體實施例，在每一交叉式內，每一軸突具有唯一的識別碼(unique_id)，且每一樹突具有一unique_id。當N=100，在磚12T中，每一軸突及樹突將具有一相對識別碼：
relative_id=(unique_id)mod(100)。
relative_id的範圍從0至99。沒有屬於不同交叉式但具有相同relative_id的兩個軸突具有重疊的連接，且沒有屬於不同交叉式但具有相同relative_id的兩個樹突具有重疊的連接。如此，具有相同relative_id的所有軸突及樹突可在一特定時間安全地作用。因此，TDMA機制可同時地作用於系統中具有相同relative_id的所有軸突上，且其可同時地作用於系統中具有相同relative_id的所有樹突上。如此，要作用在一軸突上，並不需要封鎖全部互連、交叉絎縫的交叉式陣列。可使用上述(6N2 )/(M*T) kHz的時脈速率，而與交叉式陣列網路中之交叉式的數量無關。
使用基於事件的機率STDP方式，其中突觸傳導性可隨時間以每個STDP的突觸前及突觸後神經元的相對尖峰時間為函數而改變。若突觸後神經元在突觸前神經元發射後才發射，則STDP規則增加突觸的傳導性，而若兩個神經元發射的順序顛倒，則降低突觸的傳導性。STDP設定的執行係透過樹突與在交叉式陣列中之交叉點處與其相交的所有軸突之間的合作。當樹突傳送一設定訊號，某些或全部的相交軸突有可能會回應一相對的訊號。只有當訊號從軸突及樹突兩者同時抵達交叉點，交叉點才會被設定。類似地，STDP重設的執行係透過軸突及在交叉式陣列中之交叉點處與其相交的所有樹突。
在本發明一具體實施例中，根據圖6所繪示之程序50的程序方塊，交叉式陣列12中的操作步驟包括基於時脈訊號(例如來自圖1B之通用時脈模組19)的6個不同階段，其中：
方塊51：(階段1 )更新神經元，使得當神經元發射以通訊一訊號至對應的軸突及樹突時(此可能為非同步通訊)，此通訊訊號經過AER。軸突/樹突在之後的評估階段接收此通訊訊號。每個神經元可實施軸突延遲。
方塊52：(階段2 )：軸突傳送一讀取訊號，其亦作為STDP下壓部分的警示。
方塊53：(階段3 )：軸突傳送一重設訊號，且某些樹突可能做出回應。
方塊54：(階段4 )：樹突傳送一設定訊號，且某些軸突可能做出回應。
方塊55：(階段5 )：讀取在一軸突上基於一或多個元件22之ON位元的數量。
方塊56：(階段6 )：讀取在一樹突上基於一或多個元件22之ON位元的數量。
圖7A至圖7F顯示根據本發明一具體實施例在NxN個磚12T群組(例如N=3)之網路101中的操作順序，用以使用分時多工的方式實施上述6個階段，其中數個磚12T係同時活化(以粗體表示)，而不是一次掃描一個軸突及樹突。
特別地，圖7A顯示具有第一組已活化軸突24a1的已活化磚12Ta(例如，如圖中所示，每一已活化軸突橫越3個鄰近的磚12T)。圖7B顯示圖7A中的已活化磚12Ta，其具有第二組已活化軸突24a2。圖7C顯示圖7A中的已活化磚12Ta，其具有第三組已活化軸突24a3。
類似地，圖7D顯示具有第一組已活化樹突26a1的已活化磚12Ta(例如，如圖中所示，每一已活化樹突橫越3個磚12T)。圖7E顯示圖7D中的已活化磚12Ta，其具有第二組已活化樹突26a2。圖7F顯示圖7D中的已活化磚12Ta，其具有第三組已活化樹突26a3。
所有6個階段並不需要使用相同的時間，而可針對其操作而最佳化。在一具體實施例中，N=100且M=10，因此每一階段包含N2 /M=1,000次階段。一軸突通訊可讀取100個突觸的一讀取訊號。這係藉由以下實施：讀取在M=10批中的突觸，其中第一批包含具有relative_id 0到relative_id 9的樹突、第二批包含具有relative_id 10到relative_id 19的樹突，以此類推。類似地，每一軸突也依序接替，包含讀取在10批中的突觸，其中第一批包含具有relative_id 0到relative_id 9的軸突、第二批包含具有relative_id 10到relative_id 19的軸突，以此類推。在此範例中，對參數100有100個軸突。
根據本發明一具體實施例，時脈方案設定了在交叉式網路/電路中操作及階段的限制條件。除非有需要，否則沒有操作發生，且電路會在需要時啟動。在一範例中，神經元解析度為0.6ms，其表示每秒有1666.66個步驟。每一步驟6個階段(如前述)，一共會有10,000個階段。每一階段包括100x10個次階段，每秒一共會有1千萬個次階段，其需要10MHz的時脈速率。
在一具體實施例中，每一樹突及每一軸突係局部地適應其STDP，以確保約50%的突觸為ON。此為較佳的關鍵狀態。此外，軸突路由器具有彈性，且可重建路徑。在一具體實施例中，可利用一抑制樹突。
交叉式架構與突觸的特定裝置選擇無關。舉例來說，可利用具有10x、100x、或1000x更高阻值(電流阻值為10k歐姆)的PCM裝置作為突觸。也可使用其他記憶體技術來表示突觸。可變電阻一詞係指電脈衝(電壓或電流)的應用將改變裝置的電傳導特性之一類裝置。針對交叉式陣列神經形態及突觸器系統、以及在此交叉式陣列中所使用的可變電阻之一般討論可參考K. Likharev於J. Nanoelectronics and Optoelectronics,2008,Vol. 3,p. 203-230中所發表之「混合CMOS/奈米電子電路：機會與挑戰(Hybrid CMOS/Nanoelectronic Circuits: Opportunities and Challenges)」，其內容將併入此處供參考。在本發明一具體實施例中，可變電阻可包含PCM突觸裝置。除了PCM裝置，可用於本發明具體實施例的其他可變電阻裝置包括使用金屬氧化物、硫化物、氧化矽、非晶矽、磁性隧道接面、浮接閘極FET電晶體、及有機薄膜層裝置所製成之裝置，其於上述由K.Likharev所發表之文章中有更詳細的描述。可變電阻也可使用靜態隨機存取記憶體裝置、動態隨機存取記憶體、或嵌入式動態隨機存取記憶體來建構。
在一具體實施例中，通用位元指示交叉式是否在「佈署(deploy)」模式或是否在「訓練(train)」模式。若在佈署模式，則只利用上述階段1，且相關於訓練的階段保持不使用，以節省功率消耗。在訓練模式，則使用所有階段。
在本發明一具體實施例中，網路包含磚12T的NxN(例如N=10)個陣列做為基本原子單元，由N交錯。交叉式陣列在磚12T之間提供空間使電路(例如圖4中的24A、26A、14)可設置於其間。在一範例中，一個空間中只設置一個電路。每一軸突路由器X3 由0數到N-1，而每一樹突路由器X2 、X4 由0數到N-1。每一神經元具有一(x,y)id。每一軸突路由器X3 具有一(x,y)id。樹突路由器X2 、X4 具有與其相關的神經元相同的id。從神經元到突觸的通訊是邏輯性的。從突觸到神經元的通訊是物理性的。因此，軸突為分散式，而樹突為局部性。
在本發明一具體實施例中，在具有多個交叉式陣列12的網路電路101中，每一NxN交叉式陣列12具有一id，其在一範例中包含二元組(x,y)，其中x由0至N-1且y由 0至N-1。在每一時距，具有相同id的所有交叉式陣列可為ON。針對ON交叉式陣列，程序步驟從軸突0至N-1、或從樹突0至N-1。當只有一交錯交叉式陣列時，時脈速率維持相同。一範例時脈速率為10MHz。
在一具體實施例中，在交叉式陣列中可使用二極體產生「警示」脈衝。在另一具體實施例中，針對NxN交叉式陣列12，可使用側端通訊機制來產生「警示」脈衝，而不需使用二極體。可利用二極體以得知裝置為ON的總數。這牽涉啟動所有神經元薄膜、施加電壓於個別的樹突、以及決定電流量。
在一具體實施例中，神經元每0.1ms只更新一次，亦即，T=0.1。如此，在一事件驅動方式中，神經元閂的功率消耗可表示為：C * V2 * F=10 fF/latch *(106 latches)*(1 Volt)2 *(1 *104 Hz)=0.1mW
其中C為閂電容、V為操作電壓、而F為操作頻率。
在一具體實施例中，在交叉式陣列12中的每一神經元互連至1000個突觸。在10Hz的發射速率下，每一突觸每秒只接收一個訊息，其中突觸閂消耗的功率為：C * V2 * F=10 fF/latch *(106 * 103 latches)*(1 Volt)2 *(1 * 10Hz)=0.1mW
這提供了神經元與突觸功率消耗間的一平衡設計。
在一具體實施例中，使用一閘控時脈，電路實質上沒有消耗功率。神經元在有特定理由要作用下才會作用，否則神經元消耗很少或是沒有消耗功率。在一範例中，突觸讀取事件係包含以下功率消耗：
106 *103 *10*10 pJ(for PCM+access device)=0.1 J/sec
其表示所有的讀取事件消耗0.1W。
在一具體實施例中，突觸寫入事件包括以下功率消耗：
106 *103 *10*100 pJ/10=0.1 J/sec
其表示每一寫入事件消耗0.1W(由於概率性的STDP，10個事件中只有1個會程式化。)
就此而言，在一具體實施例中，針對10,000晶片(其每一包含1百萬個神經元以及10億個突觸)的功率消耗為1kW。此消耗並沒有包括系統漏電。
在一具體實施例中，數位-類比混合設計神經元包括數位累加計數器以及類比RC電路針對漏電。在另一具體實施例中，使用類比神經元，其可自然地實施於真實事件驅動方式(true event-driven fashion)。
在一具體實施例中，交錯交叉式陣列網路101對每一神經元提供接收域及突出域，使得鄰近的神經元有重疊域。神經元的接收域包含一組神經元，其中神經元從該組神經元接收輸入(例如，神經元的接收域包含NxN個互連交叉式電路磚於一交錯圖案中)。神經元的突出域包含一組神經元，其中神經元傳送輸出至該組神經元(例如，神經元的突出域包含NxN個互連交叉式電路磚於一交錯圖案中)。交錯的連接性允許設計接收域及突出域為神經元之空間位置的函數。每一神經元包含一(x,y)座標。由在(x,y)的第一神經元移動至在(x+1,y+1)的第二神經元，突出/接收域具有某些重疊，其類似生物神經元突出/接收域。
在一具體實施例中，可利用不規則交叉式陣列網路101。舉例來說，當參數M大於N，例如M=15且N=10，可改變若干軸突或樹突為小於10，且可改變若干軸突或樹突為大於10(但小於16)，藉以提供不規則接收及突出域。
在一具體實施例中，對相互鏈接的交叉式陣列12之通用網路101採用同步化。在一範例中，通用網路101可劃分為大小為N2 x N2 的區塊。非同步存取係個別地提供給每一陣列12，而不再需要跨過不需作用之軸突與樹突的TDMA。每一交叉式陣列12的處理係類似於AER映射至神經元。
在一具體實施例中，交叉式尺寸可加倍，但約75%的突觸則使用遮罩步驟系統性地消除(使其永久開啟)。這提供了接收域中的不規則性。
在一具體實施例中，當需要同步化時使用一時脈，其中神經元的洩漏(衰減)不需要同步化。
電子神經元一詞在此係用以表示一架構，其組態以模擬一生物神經元。電子神經元產生處理元件間的連接，其在功能上粗略的等效於生物腦部的神經元。如此，根據本發明具體實施例之包含電子神經元的神經形態及突觸器系統可包括模擬生物神經元的各種電子電路。此外，根據本發明具體實施例之包含電子神經元的神經形態及突觸器系統可包括模擬生物神經元的各種處理元件(包括電腦模擬)。雖然在此所描述之本發明某些例示具體實施例係使用包含電子電路的電子神經元，但本發明並不限於電子電路。根據本發明具體實施例之神經形態及突觸器系統可實施為包含類比或數位電路的神經形態及突觸器架構，此外也實施為電腦模擬。事實上，本發明具體實施例可採用完全硬體具體實施例、完全軟體具體實施例、或包含硬體及軟體元件兩者之具體實施例的形式。
本發明具體實施例可採用可從電腦可用或電腦可讀取媒體存取的電腦模擬或程式產品的形式，此電腦可用或電腦可讀取媒體提供程式碼供電腦、處理裝置或任何指令執行系統使用或與其結合。如熟此技藝者所知，本發明的各態樣可以系統、方法、或電腦程式產品具體實施。因此，本發明的各態樣可採用完全硬體具體實施例、完全軟體具體實施例(包括韌體、常駐軟體、微碼等)、或結合軟體及硬體態樣的具體實施例(在此一般係指「電路」、「模組」或「系統」)之形式。再者，本發明各態樣可採用具體實施於一或多個電腦可讀取媒體中之電腦程式產品的形式，其中電腦可讀取媒體具有電腦可讀取程式碼具體實施於其中。
本發明可使用一或多個電腦可讀取媒體的任何結合。電腦可讀取媒體可為一電腦可讀取訊號媒體或電腦可讀取儲存媒體。電腦可讀取儲存媒體可例如包含但不限於電子、磁性、光學、電磁、紅外線、或半導體系統、設備、裝置、或前述任何適當的組合。電腦可讀取儲存媒體的更具體範例(非詳盡的列舉)可包括下列：具有一或多個接線的電子連接、可攜式電腦磁片、硬碟、隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、可抹除可程式化唯讀記憶體(erasable programmable read-only memory，EPROM或快閃記憶體)、光纖、可攜式壓縮光碟唯讀記憶體(compact disc read-only memory，CD-ROM)、光學儲存裝置、磁性儲存裝置、或上述任何適當的組合。在本文件中，電腦可讀取儲存媒體可為任何有形媒體，其可包含或儲存程式，供指令執行系統、設備或裝置使用或與其結合。
電腦可讀取訊號媒體可包括具有電腦可讀取程式碼具體實施於其中的傳播資料訊號，其例如於基頻或係載波的一部份。此傳播訊號可採取各種形式，其包括但不限於電磁、光學、或其任何適當的組合。電腦可讀取訊號媒體可為任何電腦可讀取媒體，其並非電腦可讀取儲存媒體且其可通訊、傳播、或傳輸程式，供指令執行系統、設備或裝置使用或與其結合。
具體實施於電腦可讀取媒體中的程式碼可使用任何適當媒體傳輸，其包括但不限於無線、有線、光纖、射頻(RF)等、或前述任何適合的組合。實施本發明各態樣操作的電腦程式碼可以一或多種程式語言的任何結合編寫，其包括物件導向程式語言(例如Java、Smalltalk、C++、或其類似者)及習知程序性程式語言(例如「C」程式語言或類似程式語言)。程式碼可完全執行於使用者的電腦、部分執行於使用者的電腦、以獨立軟體套件的方式執行、部分執行於使用者的電腦及部分執行於遠端電腦、或完全執行於遠端電腦或伺服器。在後者的情況，遠端電腦可透過任何類型的網路連接到使用者的電腦，包括區域網路(local area network，LAN)或廣域網路(wide area network，WAN)、或者可與外部電腦相連(例如利用網際網路服務供應商透過網際網路)。
本發明的各態樣係參照本發明具體實施例的方法、設備(系統)及電腦程式產品的流程圖及/或方塊圖而作描述。需要知道的是，流程圖及/或方塊圖中的每個方塊、以及流程圖及/或方塊圖中方塊的結合，係可藉由電腦程式指令而實施。這些電腦程式指令可提供給一般目的電腦、特殊目的電腦、或其他可程式化資料處理設備的處理器，以產生一機器，使各指令經由電腦或其他可程式化資料處理設備的處理器執行，而產生用以實施流程圖及/或方塊圖所指定之功能/行為的手段。
此等電腦程式指令亦可儲存於電腦可讀取媒體，其可指引電腦、其他可程式化資料處理設備、或其他裝置以特定方式運作，使得儲存於電腦可讀取媒體的指令產生包括指令的製成品，此指令實施流程圖及/或方塊圖所指定的功能/行為。
電腦程式指令亦可載入電腦、其他可程式化資料處理設備、或其他裝置，以造成一系列的作業步驟執行於電腦、其他可程式化設備、或其他裝置，以產生電腦可實施程序，使執行於電腦或其他可程式化設備上的指令提供用以實施流程圖及/或方塊圖所指定之功能/行為的程序。
圖8為適用於實施本發明之一具體實施例的資訊處理系統的高階方塊圖。電腦系統包括一或多個處理器，例如處理器102。處理器102連接至通訊架構104(例如通訊匯流排、交叉條、或網路)。
電腦系統可包括顯示介面106，其自通訊架構104(或自框緩衝器，圖未示)轉送圖像、文字、及其他資料，供顯示於顯示單元108。電腦系統亦包括主要記憶體110，較佳為隨機存取記憶體(RAM)，且亦可包括次要記憶體112。次要記憶體112可包括例如硬碟機114及/或可移式儲存碟116，代表例如軟式磁碟機、磁帶機、或光學機。可移式儲存碟116係以一般技藝者習知的方式，自可移式儲存單元118讀取及/或對其寫入。舉例而言，可移式儲存單元118代表軟碟、光碟、磁帶、或光學片等，其由可移式儲存碟116作讀取及寫入。將了解到，可移式儲存單元118包括具有電腦軟體及/或資料儲存於其中的電腦可讀取媒體。
在替代具體實施例中，次要記憶體112可包括其他類似手段，允許電腦程式或其他指令載入電腦系統。此等手段可包括例如可移式儲存單元120與介面122。此等手段的範例可包括套裝程式及套裝介面(例如在視頻遊戲裝置中可找到的)、可移式記憶體晶片(例如EPROM或PROM)及相關插槽、及允許軟體及資料自可移式儲存單元120移至電腦系統的其他可移式儲存單元120與介面122。
電腦系統亦可包括通訊介面124。通訊介面124允許軟體及資料在電腦系統及外部裝置之間轉移。通訊介面124的範例可包括數據機、網路介面(例如乙太網路卡)、通訊埠、或PCMCIA插槽及插卡等。透過通訊介面124進行轉移的軟體與資料可為訊號的形式，此訊號可例如為電子、電磁、光學、或可由通訊介面124接收的其他訊號。此等訊號係透過通訊路徑(即通道)126提供給通訊介面124。此通訊路徑126負載信號，且可利用電線、纜線、光纖、電話線、手機電話連線、射頻鏈接、及/或其他通訊通道而實施。
在此文件中，「電腦程式媒體」及「電腦可用媒體」及「電腦可讀取媒體」等詞一般係指如主要記憶體110與次要記憶體112、可移式儲存碟116、及安裝於硬碟機114的硬碟等媒體。
電腦程式(亦稱為電腦控制邏輯)係儲存於主要記憶體110及/或次要記憶體112。電腦程式亦可經由通訊介面124而接收。當執行此等電腦程式時，將致能電腦系統以執行在此所述之本發明各特徵。特別是，當執行電腦程式時，將致能處理器102執行電腦系統的各特徵。因此，此等電腦程式代表電腦系統的控制器。
圖式中的流程圖與方塊圖根據本發明許多具體實施例繪示系統、方法、及電腦程式產品之可能實施的架構、功能、及操作。在這方面，流程圖或方塊圖中的每個方塊可代表程式碼的一模組、片段、或部分，其包含一或多個可執行指令，供實施特定邏輯功能。需注意，在某些替代實施中，方塊中所附註的功能可能以不同於圖式中的順序發生。舉例而言，二個顯示為連續的方塊，可能實際上是實質同時執行，或者方塊有時可根據所涉及的功能而以相反的順序執行。亦應注意，方塊圖及/或流程圖中的每個方塊、及方塊圖及/或流程圖中的方塊的結合係可由執行特定功能或行為之特定目的硬體為主的系統、或由特定目的硬體及電腦指令的組合而實施。
12．．．交叉式陣列
12G．．．網格
12T．．．磚
12Ta．．．已活化磚
13．．．連續通訊路徑
14．．．神經元
15．．．RC電路
19．．．時脈模組
22．．．突觸裝置
23．．．可變電阻
24．．．軸突
24A．．．軸突介面模組
24a1．．．第一組已活化軸突
24a2．．．第二組已活化軸突
24a3．．．第三組已活化軸突
25．．．控制裝置
26．．．樹突
26．．．樹突輸入連接
26A．．．樹突介面模組
26a1．．．第一組已活化樹突
26a2．．．第二組已活化樹突
26a3．．．第三組已活化樹突
50．．．程序
100．．．系統
101．．．網路
102．．．處理器
104．．．通訊架構
106．．．顯示介面
108．．．顯示單元
110．．．主要記憶體
112．．．次要記憶體
114．．．硬碟機
116．．．可移式儲存碟
118．．．可移式儲存單元
120．．．可移式儲存單元
122．．．介面
124．．．通訊介面
126．．．通訊路徑
Ne．．．興奮尖峰電子神經元
Ni．．．抑制尖峰電子神經元
X2 ．．．樹突驅動器裝置
X3 ．．．軸突驅動器裝置
X4 ．．．驅動器裝置
X4 ．．．感測放大器
圖1A根據本發明一具體實施例顯示供尖峰運算之突觸交叉式陣列的示意圖；
圖1B根據本發明一具體實施例顯示圖1A之突觸交叉式陣列之一實施的示意圖；
圖2A根據本發明一具體實施例顯示實施為一電路磚之圖1A之突觸交叉式陣列之一實施的示意圖；
圖2B根據本發明一具體實施例顯示多個互相鏈接之突觸交叉式陣列磚之網路的透視圖；
圖2C根據本發明一具體實施例顯示圖2B之網路的俯視圖；
圖2D根據本發明一具體實施例顯示具有在網格中之交叉式磚群組之圖2B網路的透視圖；
圖3根據本發明一具體實施例顯示鏈接由圖2B網路所互連之神經元的連續通訊路徑之一範例；
圖4根據本發明一具體實施例顯示一交叉式陣列的合成物，其分解成四個組成部分；
圖5根據本發明一具體實施例，基於圖4的概念性分解，顯示具有已分解交叉式陣列之圖2B中網路的一部分；
圖6根據本發明一具體實施例顯示一程序流程圖，其係針對利用通用時脈訊號之電子神經元的交叉式陣列網路之同步操作階段；
圖7A根據本發明一具體實施例顯示在圖2B網路中之具有第一組已活化軸突之已活化交叉式磚；
圖7B根據本發明一具體實施例顯示在圖7A網路中之具有第二組已活化軸突之已活化交叉式磚；
圖7C根據本發明一具體實施例顯示在圖7A網路中之具有第三組已活化軸突之已活化交叉式磚；
圖7D根據本發明一具體實施例顯示在圖2B網路中之具有第一組已活化樹突之已活化交叉式磚；
圖7E根據本發明一具體實施例顯示在圖7D網路中之具有第二組已活化樹突之已活化交叉式磚；
圖7F根據本發明一具體實施例顯示在圖7D網路中之具有第三組已活化樹突之已活化交叉式磚；以及
圖8顯示適用於實施本發明之一具體實施例的資訊處理系統的高階方塊圖。
12．．．交叉式陣列
14．．．神經元
19．．．時脈模組
22．．．突觸裝置
23．．．可變電阻
24．．．軸突
26．．．樹突
100．．．系統
Ne．．．興奮尖峰電子神經元
Ni．．．抑制尖峰電子神經元
X2 ．．．樹突驅動器裝置
X3 ．．．軸突驅動器裝置
X4 ．．．驅動器裝置

Claims (15)

  1. 一種神經形態(neuromorphic)及突觸器(synaptronic)系統，包含：複數個電子神經元；以及一交叉式陣列網路，組態以互連該複數個電子神經元，該交叉式陣列網路包含：複數個交叉式陣列，每一交叉式陣列包含：複數個軸突及複數個樹突，使得該複數個軸突與該複數個樹突係彼此橫向；以及多個突觸裝置，其中每一突觸裝置位於耦合於一樹突及一軸突間之該交叉式陣列的一交叉點；其中該交叉式陣列在空間上於一交錯圖案中，該交錯圖案提供該突觸裝置之一交錯交叉式佈局。
  2. 如申請專利範圍第1項之系統，其中：該交叉式陣列在空間上於一交錯圖案中，該交錯圖案提供在一二維平面中之該突觸裝置之一交錯交叉式佈局，使得每一交叉式陣列之該多個突觸裝置相對一鄰近交叉式陣列之該多個突觸裝置而偏位；其中每一交叉式陣列包含一交叉式電路磚，該交叉式電路磚包括對應之該複數個軸突、該複數個樹突、該多個突觸裝置、及一或多個電子神經元；以及其中每一交叉式電路磚在空間上係相對一鄰近交叉式電路磚而偏位。
  3. 如申請專利範圍第2項之系統，其中：每一交叉式電路磚包含N個軸突、N個樹突、NxN個突觸 裝置之一群組、及一或多個電子神經元；每一電子神經元之一接收域包含在一交錯圖案中的NxN個互連交叉式電路磚；以及每一電子神經元之一突出域包含在一交錯圖案中的NxN個互連交叉式電路磚；其中該交叉式陣列網路包含多個NxN個交叉式電路磚。
  4. 如申請專利範圍第2項之系統，其中：每一交叉式電路磚係經由在一第一空間方向之N-1個樹突而互連至一鄰近交叉式電路磚。
  5. 如申請專利範圍第4項之系統，其中：每一交叉式電路磚係經由在一第二空間方向之N-1個軸突而互連至一鄰近交叉式電路磚，該第二空間方向係橫向於該第一空間方向；每一樹突在該第一空間方向與N個鄰近交叉式電路磚互連；以及每一軸突在該第二空間方向與N個鄰近交叉式電路磚互連；以及其中每一交叉式陣列包含對應該複數個樹突之複數個樹突驅動器，其中每一樹突驅動器係耦合至在該交叉式陣列之一第一側的一樹突；以及對應該複數個軸突之複數個軸突驅動器，其中每一軸突驅動器係耦合至在該交叉式陣列之一第二側的一軸突；其中一軸突驅動器及一樹突驅動器藉由在一交叉點的一突觸裝置而耦合，且聯合產生能夠改變該突觸裝置之狀態的一訊號，該狀態係以自一電子神經元發射一尖峰訊號進入該軸突驅動器及該樹突驅動器的時間的函數而改變，產生尖峰時序相依可塑性(STDP)。
  6. 如申請專利範圍第1項之系統，其中：該複數個電子神經元之每一個對應該複數個交叉式陣列之其中之一；以及該系統更包含一訊號產生器，用以在相同時間計時該網路中多個交叉式陣列的活化。
  7. 如申請專利範圍第6項之系統，其中在該網路中之多個交叉式陣列以一時脈速率同時活化係無關於在該交叉式陣列網路中之交叉式陣列的數量，且該系統更包含：一軸突通訊步驟包含次步驟，其中在每一次步驟內，多個突觸接收一讀取訊號；一軸突重設步驟包含次步驟，其中在每一次步驟內，多個軸突通訊一重設訊號，且某些樹突可能會回應；一樹突通訊步驟包含次步驟，其中在每一次步驟中，多個樹突通訊一設定訊號，且某些軸突可能會回應；一軸突讀取步驟包含次步驟，其中每一次步驟包含讀取在多個軸突上之ON位元的數量；以及一樹突讀取步驟包含次步驟，其中每一次步驟包含讀取在多個樹突上之ON位元的數量。
  8. 如申請專利範圍第6項之系統，其中：該訊號產生器時脈提供多個時距，且在每一時距內提供六個操作階段，包含：針對該多個交叉式陣列及對應的電子神經元之每一個：當一電子神經元發射時，通訊一訊號至對應的軸突及樹突； 該對應的軸突通訊一讀取訊號，其也作為STDP下壓部分的警示；該對應的軸突通訊一重設訊號，且某些樹突可能會回應；該對應的樹突通訊一設定訊號，且某些軸突可能會回應；讀取在一軸突上ON位元的數量；以及讀取在一樹突上ON位元的數量。
  9. 一種用以產生尖峰時序相依可塑性之方法，包含：當一電子神經元突跳(spike)，從該電子神經元傳送一尖峰訊號(spiking signal)至在一電子神經元網路中連接至一尖峰電子神經元的每一軸突及每一樹突，產生尖峰時序相依可塑性(STDP)；其中該電子神經元網路包含：複數個電子神經元；以及一交叉式陣列網路，組態以互連該複數個電子神經元，該交叉式陣列網路包含：複數個交叉式陣列，每一交叉式陣列包含：複數個軸突及複數個樹突，使得該複數個軸突與該複數個樹突係彼此橫向；以及多個突觸裝置，其中每一突觸裝置位於耦合於一樹突及一軸突間之該交叉式陣列的一交叉點；其中該交叉式陣列在空間上於一交錯圖案中，該交錯圖案提供該突觸裝置之一交錯交叉式佈局。
  10. 如申請專利範圍第9項之方法，其中： 該複數個電子神經元之每一個對應該複數個交叉式陣列之其中之一；以及該方法更包含產生一時脈訊號，供同時活化該網路中之多個交叉式陣列；以及更包含：基於該時脈訊號，針對該多個交叉式陣列及對應的電子神經元之每一個：當一電子神經元發射時，通訊一訊號至對應的軸突及樹突；該對應的軸突通訊一讀取訊號，其也作為STDP下壓部分的警示；該對應的軸突通訊一重設訊號，且某些樹突可能會回應；該對應的樹突通訊一設定訊號，且某些軸突可能會回應；讀取在一軸突上ON位元的數量；以及讀取在一樹突上ON位元的數量。
  11. 如申請專利範圍第10項之方法，其中：該交叉式陣列在空間上於一交錯圖案中，該交錯圖案提供在一二維平面中之該突觸裝置之一交錯交叉式佈局，使得每一交叉式陣列之該多個突觸裝置相對一鄰近交叉式陣列之該多個突觸裝置而偏位；其中每一交叉式陣列包含一交叉式電路磚，該交叉式電路磚包括對應之該複數個軸突、該複數個樹突、該多個突觸裝置、及一或多個電子神經元；以及其中每一交叉式電路磚在空間上係相對一鄰近交叉式電路磚而偏位，提供相對於在一鄰近交叉式電路磚中之該多個突觸裝 置之在每一交叉式電路磚中之該多個突觸裝置的一交錯交叉式佈局；以及其中：每一交叉式電路磚包含N個軸突、N個樹突、以及NxN個突觸裝置之一群組；以及該網路包含NxN個互連交叉式電路磚於一交錯圖案中。
  12. 如申請專利範圍第11項之方法，其中：每一交叉式電路磚係經由在一第一空間方向之N-1個樹突而互連至一鄰近交叉式電路磚；其中每一交叉式電路磚係經由在一第二空間方向之N-1個軸突而互連至一鄰近交叉式電路磚，該第二空間方向係橫向於該第一空間方向；其中每一樹突在該第一空間方向與N個鄰近交叉式電路磚互連；以及每一軸突在該第二空間方向與N個鄰近交叉式電路磚互連。
  13. 如申請專利範圍第12項之方法，其中：每一交叉式陣列包含對應該複數個樹突之複數個樹突驅動器，其中每一樹突驅動器係耦合至在該交叉式陣列之一第一側的一樹突；以及對應該複數個軸突之複數個軸突驅動器，其中每一軸突驅動器係耦合至在該交叉式陣列之一第二側的一軸突；其中一軸突驅動器及一樹突驅動器藉由在一交叉點的一突觸裝置而耦合，且聯合產生能夠改變該突觸裝置之該狀態的一訊號，該狀態係以自一電子神經元的最後突跳發射一尖峰訊號進入該軸突驅動器及該樹突驅動器的時間的函數而改變，產 生STDP。
  14. 一種神經形態(neuromorphic)及突觸器(synaptronic)系統，包含：複數個電子神經元；以及一交叉式陣列網路，組態以互連該複數個電子神經元，該交叉式陣列網路包含：複數個交叉式陣列，每一交叉式陣列包含：複數個軸突及複數個樹突，使得該複數個軸突與該複數個樹突係彼此橫向；以及多個突觸裝置，其中每一突觸裝置位於耦合於一樹突及一軸突間之該交叉式陣列的一交叉點；其中該交叉式陣列在空間上於一交錯圖案中，該交錯圖案提供在一二維平面中之該突觸裝置之一交錯交叉式佈局，使得每一交叉式陣列之該多個突觸裝置相對一鄰近交叉式陣列之該多個突觸裝置而偏位；其中該複數個電子神經元之每一個對應該複數個交叉式陣列之其中之一；一訊號產生器，用以在相同時間計時該網路中多個交叉式陣列的活化。
  15. 如申請專利範圍第14項之系統，其中：每一交叉式陣列包含一交叉式電路磚，該交叉式電路磚包括對應之該複數個軸突、該複數個樹突、以及該多個突觸裝置；每一交叉式電路磚在空間上係相對一鄰近交叉式電路磚而偏位，提供相對於在一鄰近交叉式電路磚中之該多個突觸裝置之在每一交叉式電路磚中之該多個突觸裝置的一交錯交叉 式佈局；每一交叉式電路磚包含N個軸突、N個樹突、以及NxN個突觸裝置之一群組；該網路包含NxN個互連交叉式電路磚於一交錯圖案中；每一交叉式電路磚係經由在一第一空間方向之N-1個樹突而互連至一鄰近交叉式電路磚；每一交叉式電路磚係經由在一第二空間方向之N-1個軸突而互連至一鄰近交叉式電路磚，該第二空間方向係橫向於該第一空間方向；每一樹突在該第一空間方向與N個鄰近交叉式電路磚互連；每一軸突在該第二空間方向與N個鄰近交叉式電路磚互連；每一交叉式陣列更包含對應該複數個樹突之複數個樹突驅動器，其中每一樹突驅動器係耦合至在該交叉式陣列之一第一側的一樹突；以及每一交叉式陣列更包含對應該複數個軸突之複數個軸突驅動器，其中每一軸突驅動器係耦合至在該交叉式陣列之一第二側的一軸突；其中一軸突驅動器及一樹突驅動器藉由在一交叉點的一突觸裝置而耦合，且聯合產生能夠改變該突觸裝置之該狀態的一訊號，該狀態係以自一電子神經元的最後突跳發射一尖峰訊號進入該軸突驅動器及該樹突驅動器的時間的函數而改變，產生尖峰時序相依可塑性(STDP)；以及其中該訊號產生器時脈提供六個操作階段，包含：針對該多個交叉式陣列及對應的電子神經元之每一個：當一電子神經元發射時，通訊一訊號至對應的軸突及 樹突；該對應的軸突通訊一讀取訊號，其也作為STDP下壓部分的警示；該對應的軸突通訊一重設訊號，且某些樹突可能會回應；該對應的樹突通訊一設定訊號，且某些軸突可能會回應；讀取在一軸突上ON位元的數量；以及讀取在一樹突上ON位元的數量。
TW100130262A 2010-10-29 2011-08-24 小型認知突觸運算電路 TWI509538B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/916,306 US8510239B2 (en) 2010-10-29 2010-10-29 Compact cognitive synaptic computing circuits with crossbar arrays spatially in a staggered pattern

Publications (2)

Publication Number Publication Date
TW201224957A TW201224957A (en) 2012-06-16
TWI509538B true TWI509538B (zh) 2015-11-21

Family

ID=44629972

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100130262A TWI509538B (zh) 2010-10-29 2011-08-24 小型認知突觸運算電路

Country Status (6)

Country Link
US (1) US8510239B2 (zh)
EP (1) EP2616996B1 (zh)
JP (1) JP5607835B2 (zh)
CN (1) CN103189880B (zh)
TW (1) TWI509538B (zh)
WO (1) WO2012055592A1 (zh)

Families Citing this family (146)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11024527B2 (en) * 2005-06-18 2021-06-01 Frederick A. Flitsch Methods and apparatus for novel fabricators with Cleanspace
US9405975B2 (en) 2010-03-26 2016-08-02 Brain Corporation Apparatus and methods for pulse-code invariant object recognition
US9122994B2 (en) 2010-03-26 2015-09-01 Brain Corporation Apparatus and methods for temporally proximate object recognition
US9311593B2 (en) 2010-03-26 2016-04-12 Brain Corporation Apparatus and methods for polychronous encoding and multiplexing in neuronal prosthetic devices
US8315305B2 (en) 2010-03-26 2012-11-20 Brain Corporation Systems and methods for invariant pulse latency coding
US9906838B2 (en) 2010-07-12 2018-02-27 Time Warner Cable Enterprises Llc Apparatus and methods for content delivery and message exchange across multiple content delivery networks
US9193075B1 (en) 2010-08-26 2015-11-24 Brain Corporation Apparatus and methods for object detection via optical flow cancellation
US9269042B2 (en) 2010-09-30 2016-02-23 International Business Machines Corporation Producing spike-timing dependent plasticity in a neuromorphic network utilizing phase change synaptic devices
US20120084240A1 (en) * 2010-09-30 2012-04-05 International Business Machines Corporation Phase change memory synaptronic circuit for spiking computation, association and recall
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
CN102122259A (zh) * 2011-03-03 2011-07-13 浪潮(北京)电子信息产业有限公司 一种高端容错计算机原型验证系统及验证方法
CN102129418B (zh) * 2011-03-07 2013-04-17 浪潮(北京)电子信息产业有限公司 一种高端容错计算机系统及实现方法
US8812414B2 (en) 2011-05-31 2014-08-19 International Business Machines Corporation Low-power event-driven neural computing architecture in neural networks
US9566710B2 (en) 2011-06-02 2017-02-14 Brain Corporation Apparatus and methods for operating robotic devices using selective state space training
US9047568B1 (en) 2012-09-20 2015-06-02 Brain Corporation Apparatus and methods for encoding of sensory data using artificial spiking neurons
US9070039B2 (en) 2013-02-01 2015-06-30 Brian Corporation Temporal winner takes all spiking neuron network sensory processing apparatus and methods
US9147156B2 (en) * 2011-09-21 2015-09-29 Qualcomm Technologies Inc. Apparatus and methods for synaptic update in a pulse-coded network
US8990133B1 (en) 2012-12-20 2015-03-24 Brain Corporation Apparatus and methods for state-dependent learning in spiking neuron networks
US8843425B2 (en) * 2011-07-29 2014-09-23 International Business Machines Corporation Hierarchical routing for two-way information flow and structural plasticity in neural networks
US9104973B2 (en) 2011-09-21 2015-08-11 Qualcomm Technologies Inc. Elementary network description for neuromorphic systems with plurality of doublets wherein doublet events rules are executed in parallel
US8719199B2 (en) 2011-09-21 2014-05-06 Brain Corporation Systems and methods for providing a neural network having an elementary network description for efficient implementation of event-triggered plasticity rules
US8712941B2 (en) 2011-09-21 2014-04-29 Brain Corporation Elementary network description for efficient link between neuronal models and neuromorphic systems
US9460387B2 (en) 2011-09-21 2016-10-04 Qualcomm Technologies Inc. Apparatus and methods for implementing event-based updates in neuron networks
US9412064B2 (en) 2011-08-17 2016-08-09 Qualcomm Technologies Inc. Event-based communication in spiking neuron networks communicating a neural activity payload with an efficacy update
US8725658B2 (en) 2011-09-21 2014-05-13 Brain Corporation Elementary network description for efficient memory management in neuromorphic systems
US8725662B2 (en) * 2011-09-21 2014-05-13 Brain Corporation Apparatus and method for partial evaluation of synaptic updates based on system events
US8909576B2 (en) * 2011-09-16 2014-12-09 International Business Machines Corporation Neuromorphic event-driven neural computing architecture in a scalable neural network
US9156165B2 (en) 2011-09-21 2015-10-13 Brain Corporation Adaptive critic apparatus and methods
US9104186B2 (en) 2012-06-04 2015-08-11 Brain Corporation Stochastic apparatus and methods for implementing generalized learning rules
US9015092B2 (en) 2012-06-04 2015-04-21 Brain Corporation Dynamically reconfigurable stochastic learning apparatus and methods
US9098811B2 (en) 2012-06-04 2015-08-04 Brain Corporation Spiking neuron network apparatus and methods
US9146546B2 (en) 2012-06-04 2015-09-29 Brain Corporation Systems and apparatus for implementing task-specific learning using spiking neurons
US10210452B2 (en) 2011-09-21 2019-02-19 Qualcomm Incorporated High level neuromorphic network description apparatus and methods
US9117176B2 (en) 2011-09-21 2015-08-25 Qualcomm Technologies Inc. Round-trip engineering apparatus and methods for neural networks
US8712939B2 (en) 2011-09-21 2014-04-29 Brain Corporation Tag-based apparatus and methods for neural networks
US9213937B2 (en) 2011-09-21 2015-12-15 Brain Corporation Apparatus and methods for gating analog and spiking signals in artificial neural networks
US9129221B2 (en) 2012-05-07 2015-09-08 Brain Corporation Spiking neural network feedback apparatus and methods
US9224090B2 (en) 2012-05-07 2015-12-29 Brain Corporation Sensory input processing apparatus in a spiking neural network
US8924322B2 (en) * 2012-06-15 2014-12-30 International Business Machines Corporation Multi-processor cortical simulations with reciprocal connections with shared weights
US9412041B1 (en) 2012-06-29 2016-08-09 Brain Corporation Retinal apparatus and methods
WO2014011907A2 (en) * 2012-07-13 2014-01-16 The Trustees Of Columbia University In The City Of New York Systems and methods for identification of spike-processing circuits
US9256823B2 (en) 2012-07-27 2016-02-09 Qualcomm Technologies Inc. Apparatus and methods for efficient updates in spiking neuron network
US9256215B2 (en) 2012-07-27 2016-02-09 Brain Corporation Apparatus and methods for generalized state-dependent learning in spiking neuron networks
US9186793B1 (en) 2012-08-31 2015-11-17 Brain Corporation Apparatus and methods for controlling attention of a robot
US9440352B2 (en) 2012-08-31 2016-09-13 Qualcomm Technologies Inc. Apparatus and methods for robotic learning
US9189730B1 (en) 2012-09-20 2015-11-17 Brain Corporation Modulated stochasticity spiking neuron network controller apparatus and methods
US9367798B2 (en) 2012-09-20 2016-06-14 Brain Corporation Spiking neuron network adaptive control apparatus and methods
US8793205B1 (en) 2012-09-20 2014-07-29 Brain Corporation Robotic learning and evolution apparatus
US9311594B1 (en) 2012-09-20 2016-04-12 Brain Corporation Spiking neuron network apparatus and methods for encoding of sensory data
US9082079B1 (en) 2012-10-22 2015-07-14 Brain Corporation Proportional-integral-derivative controller effecting expansion kernels comprising a plurality of spiking neurons associated with a plurality of receptive fields
US9183493B2 (en) 2012-10-25 2015-11-10 Brain Corporation Adaptive plasticity apparatus and methods for spiking neuron network
US9111226B2 (en) 2012-10-25 2015-08-18 Brain Corporation Modulated plasticity apparatus and methods for spiking neuron network
US9218563B2 (en) 2012-10-25 2015-12-22 Brain Corporation Spiking neuron sensory processing apparatus and methods for saliency detection
US9275326B2 (en) 2012-11-30 2016-03-01 Brain Corporation Rate stabilization through plasticity in spiking neuron network
US9123127B2 (en) 2012-12-10 2015-09-01 Brain Corporation Contrast enhancement spiking neuron network sensory processing apparatus and methods
US9239984B2 (en) 2012-12-21 2016-01-19 International Business Machines Corporation Time-division multiplexed neurosynaptic module with implicit memory addressing for implementing a neural network
US9373073B2 (en) 2012-12-21 2016-06-21 International Business Machines Corporation Time-division multiplexed neurosynaptic module with implicit memory addressing for implementing a universal substrate of adaptation
US11462437B2 (en) 2013-01-05 2022-10-04 Frederick A. Flitsch Customized smart devices and touchscreen devices and cleanspace manufacturing methods to make them
US9195934B1 (en) 2013-01-31 2015-11-24 Brain Corporation Spiking neuron classifier apparatus and methods using conditionally independent subsets
US9177245B2 (en) 2013-02-08 2015-11-03 Qualcomm Technologies Inc. Spiking network apparatus and method with bimodal spike-timing dependent plasticity
EP2962416B1 (en) 2013-02-27 2018-06-27 HRL Laboratories, LLC A mimo-ofdm system for robust and efficient neuromorphic inter-device communication
CN105122278B (zh) * 2013-03-15 2017-03-22 Hrl实验室有限责任公司 神经网络及编程方法
US9764468B2 (en) 2013-03-15 2017-09-19 Brain Corporation Adaptive predictor apparatus and methods
US8996177B2 (en) 2013-03-15 2015-03-31 Brain Corporation Robotic training apparatus and methods
US9430737B2 (en) 2013-03-15 2016-08-30 Hrl Laboratories, Llc Spiking model to learn arbitrary multiple transformations for a self-realizing network
US9008840B1 (en) 2013-04-19 2015-04-14 Brain Corporation Apparatus and methods for reinforcement-guided supervised learning
US9242372B2 (en) 2013-05-31 2016-01-26 Brain Corporation Adaptive robotic interface apparatus and methods
US9314924B1 (en) * 2013-06-14 2016-04-19 Brain Corporation Predictive robotic controller apparatus and methods
US9384443B2 (en) 2013-06-14 2016-07-05 Brain Corporation Robotic training apparatus and methods
US9792546B2 (en) 2013-06-14 2017-10-17 Brain Corporation Hierarchical robotic controller apparatus and methods
US9239985B2 (en) 2013-06-19 2016-01-19 Brain Corporation Apparatus and methods for processing inputs in an artificial neuron network
US9436909B2 (en) 2013-06-19 2016-09-06 Brain Corporation Increased dynamic range artificial neuron network apparatus and methods
US9552546B1 (en) 2013-07-30 2017-01-24 Brain Corporation Apparatus and methods for efficacy balancing in a spiking neuron network
US9558443B2 (en) 2013-08-02 2017-01-31 International Business Machines Corporation Dual deterministic and stochastic neurosynaptic core circuit
US9579789B2 (en) 2013-09-27 2017-02-28 Brain Corporation Apparatus and methods for training of robotic control arbitration
US9296101B2 (en) 2013-09-27 2016-03-29 Brain Corporation Robotic control arbitration apparatus and methods
US9489623B1 (en) 2013-10-15 2016-11-08 Brain Corporation Apparatus and methods for backward propagation of errors in a spiking neuron network
US10248675B2 (en) 2013-10-16 2019-04-02 University Of Tennessee Research Foundation Method and apparatus for providing real-time monitoring of an artifical neural network
US9597797B2 (en) 2013-11-01 2017-03-21 Brain Corporation Apparatus and methods for haptic training of robots
US9463571B2 (en) 2013-11-01 2016-10-11 Brian Corporation Apparatus and methods for online training of robots
US9248569B2 (en) 2013-11-22 2016-02-02 Brain Corporation Discrepancy detection apparatus and methods for machine learning
US9358685B2 (en) 2014-02-03 2016-06-07 Brain Corporation Apparatus and methods for control of robot actions based on corrective user inputs
US10140573B2 (en) * 2014-03-03 2018-11-27 Qualcomm Incorporated Neural network adaptation to current computational resources
US9533413B2 (en) 2014-03-13 2017-01-03 Brain Corporation Trainable modular robotic apparatus and methods
US9364950B2 (en) 2014-03-13 2016-06-14 Brain Corporation Trainable modular robotic methods
US9987743B2 (en) 2014-03-13 2018-06-05 Brain Corporation Trainable modular robotic apparatus and methods
US10102474B2 (en) 2014-03-28 2018-10-16 International Business Machines Corporation Event-based neural network with hierarchical addressing for routing event packets between core circuits of the neural network
US9613308B2 (en) 2014-04-03 2017-04-04 Brain Corporation Spoofing remote control apparatus and methods
US9630317B2 (en) 2014-04-03 2017-04-25 Brain Corporation Learning apparatus and methods for control of robotic devices via spoofing
US10635967B2 (en) * 2014-04-15 2020-04-28 Intel Corporation Methods, systems and computer program products for neuromorphic graph compression using associative memories
US9346167B2 (en) 2014-04-29 2016-05-24 Brain Corporation Trainable convolutional network apparatus and methods for operating a robotic vehicle
US9195903B2 (en) 2014-04-29 2015-11-24 International Business Machines Corporation Extracting salient features from video using a neurosynaptic system
US10194163B2 (en) 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US9713982B2 (en) 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US9939253B2 (en) 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US9373058B2 (en) 2014-05-29 2016-06-21 International Business Machines Corporation Scene understanding using a neurosynaptic system
US9848112B2 (en) 2014-07-01 2017-12-19 Brain Corporation Optical detection apparatus and methods
US10115054B2 (en) 2014-07-02 2018-10-30 International Business Machines Corporation Classifying features using a neurosynaptic system
US9798972B2 (en) 2014-07-02 2017-10-24 International Business Machines Corporation Feature extraction using a neurosynaptic system for object classification
US10057593B2 (en) 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
US9821470B2 (en) 2014-09-17 2017-11-21 Brain Corporation Apparatus and methods for context determination using real time sensor data
US9860077B2 (en) 2014-09-17 2018-01-02 Brain Corporation Home animation apparatus and methods
US9849588B2 (en) 2014-09-17 2017-12-26 Brain Corporation Apparatus and methods for remotely controlling robotic devices
US9579790B2 (en) 2014-09-17 2017-02-28 Brain Corporation Apparatus and methods for removal of learned behaviors in robots
US9870617B2 (en) 2014-09-19 2018-01-16 Brain Corporation Apparatus and methods for saliency detection based on color occurrence analysis
US9630318B2 (en) 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
US9881349B1 (en) 2014-10-24 2018-01-30 Gopro, Inc. Apparatus and methods for computerized object identification
CN105629148B (zh) 2014-10-28 2018-08-28 国际商业机器公司 测试电路中的多个模块的测试方法和测试设备
US9426946B2 (en) 2014-12-02 2016-08-30 Brain Corporation Computerized learning landscaping apparatus and methods
US9717387B1 (en) 2015-02-26 2017-08-01 Brain Corporation Apparatus and methods for programming and training of robotic household appliances
US9840003B2 (en) 2015-06-24 2017-12-12 Brain Corporation Apparatus and methods for safe navigation of robotic devices
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
US10248907B2 (en) * 2015-10-20 2019-04-02 International Business Machines Corporation Resistive processing unit
US10684244B2 (en) * 2015-10-21 2020-06-16 Ellen T Chen Making of organic nanobiomimetic memristor and memcapacitors and its applications in dual sensing of a biomarker in neurodegenerative diseases thereto
US10832127B2 (en) 2015-11-30 2020-11-10 Samsung Electronics Co., Ltd. Three-dimensional integration of neurosynaptic chips
KR102381862B1 (ko) 2015-12-10 2022-04-01 삼성전자주식회사 데이터 통신 장치
WO2017105396A1 (en) * 2015-12-14 2017-06-22 Intel Corporation Magnetoelectric oscillatory cellular neural network apparatus and method
WO2017127086A1 (en) * 2016-01-21 2017-07-27 Hewlett Packard Enterprise Development Lp Analog sub-matrix computing from input matrixes
WO2017142542A1 (en) * 2016-02-19 2017-08-24 Hewlett Packard Enterprise Development Lp Linear transformation accelerators
US10295972B2 (en) 2016-04-29 2019-05-21 Brain Corporation Systems and methods to operate controllable devices with gestures and/or noises
US20170330069A1 (en) * 2016-05-11 2017-11-16 Kneron Inc. Multi-layer artificial neural network and controlling method thereof
US10061617B2 (en) 2016-06-07 2018-08-28 International Business Machines Corporation Smart memory analog DRAM
JP6898359B2 (ja) * 2016-06-14 2021-07-07 タータン エーアイ リミテッド ディープニューラルネットワーク用のアクセラレータ
US11270193B2 (en) * 2016-09-30 2022-03-08 International Business Machines Corporation Scalable stream synaptic supercomputer for extreme throughput neural networks
US10241971B2 (en) 2016-12-15 2019-03-26 Hewlett Packard Enterprise Development Lp Hierarchical computations on sparse matrix rows via a memristor array
US10824937B2 (en) * 2016-12-20 2020-11-03 Intel Corporation Scalable neuromorphic core with shared synaptic memory and variable precision synaptic memory
KR101997868B1 (ko) 2017-02-14 2019-07-09 서울대학교 산학협력단 뉴로모픽 시스템, 및 기억 장치
US10755170B2 (en) * 2017-03-01 2020-08-25 International Business Machines Corporation Resistive processing unit with hysteretic updates for neural network training
US11157795B2 (en) * 2017-03-13 2021-10-26 International Business Machines Corporation Graph partitioning and placement for multi-chip neurosynaptic networks
WO2018182694A1 (en) * 2017-03-31 2018-10-04 Intel Corporation Methods and apparatus for magnetoelectric neurons in neural networks
US11494640B2 (en) 2017-04-10 2022-11-08 Softbank Corp. Information processing apparatus, information processing method, and program
US11586933B2 (en) 2017-04-10 2023-02-21 Softbank Corp. Information processing apparatus, information processing method, and program for simulating growth of cells
JP6758484B2 (ja) 2017-04-10 2020-09-23 ソフトバンク株式会社 情報処理装置、情報処理方法、およびプログラム
US10127494B1 (en) 2017-08-02 2018-11-13 Google Llc Neural network crossbar stack
US11276820B2 (en) 2017-10-19 2022-03-15 Ryukoku University Memristor and neural network using same
TWI647627B (zh) * 2017-11-03 2019-01-11 旺宏電子股份有限公司 類神經計算系統及其電流估計方法
TWI641989B (zh) * 2017-11-20 2018-11-21 旺宏電子股份有限公司 類神經計算裝置
US10658030B2 (en) * 2017-11-29 2020-05-19 International Business Machines Corporation Synaptic crossbar memory array
KR102121562B1 (ko) * 2017-12-21 2020-06-10 이화여자대학교 산학협력단 3차원 크로스바 메모리 구조를 이용한 뉴로 모픽 소자
US11403518B2 (en) * 2018-04-25 2022-08-02 Denso Corporation Neural network circuit
US11270191B2 (en) * 2018-08-29 2022-03-08 International Business Machines Corporation On-chip Poisson spike generation
CN109582364B (zh) 2018-10-29 2020-07-28 华中科技大学 基于忆阻器的精简指令集处理器
JP6899024B1 (ja) * 2020-06-11 2021-07-07 ウィンボンド エレクトロニクス コーポレーション 抵抗変化型シナプスアレイ装置
KR20220010362A (ko) 2020-07-17 2022-01-25 삼성전자주식회사 뉴럴 네트워크 장치 및 그의 동작 방법
CN114186676A (zh) 2020-09-15 2022-03-15 深圳市九天睿芯科技有限公司 一种基于电流积分的存内脉冲神经网络

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5083285A (en) * 1988-10-11 1992-01-21 Kabushiki Kaisha Toshiba Matrix-structured neural network with learning circuitry
US5220641A (en) * 1988-10-11 1993-06-15 Kabushiki Kaisha Toshiba Multi-layer perceptron circuit device
CN1265751A (zh) * 1997-06-11 2000-09-06 南加州大学 用于神经网络中的信号处理的动态突触
TW567669B (en) * 1999-07-16 2003-12-21 Philips Electronics Na Very fine grain field programmable gate array architecture and circuitry

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2517410B2 (ja) * 1989-05-15 1996-07-24 三菱電機株式会社 学習機能付集積回路装置
CA2468245A1 (en) * 2001-11-27 2003-06-05 Burstein Technologies, Inc. Magneto-optical bio-discs and systems including related methods
AU2002338754A1 (en) 2002-09-20 2004-04-08 Ecole Polytechnique Federale De Lausanne (Epfl) Spiking neural network device
US7430546B1 (en) 2003-06-07 2008-09-30 Roland Erwin Suri Applications of an algorithm that mimics cortical processing
USH2215H1 (en) 2004-03-29 2008-04-01 The United States Of America As Represented By The Secretary Of The Air Force Odor discrimination using binary spiking neural network
US20090070550A1 (en) 2007-09-12 2009-03-12 Solomon Research Llc Operational dynamics of three dimensional intelligent system on a chip
WO2009075694A1 (en) * 2007-12-05 2009-06-18 Hewlett-Packard Development Company, L.P. Hybrid microscale-nanoscale neuromorphic integrated circuit
CN101971166B (zh) * 2008-03-14 2013-06-19 惠普开发有限公司 神经形态电路
US7978510B2 (en) 2009-03-01 2011-07-12 International Businesss Machines Corporation Stochastic synapse memory element with spike-timing dependent plasticity (STDP)
US8311965B2 (en) * 2009-11-18 2012-11-13 International Business Machines Corporation Area efficient neuromorphic circuits using field effect transistors (FET) and variable resistance material
US8527438B2 (en) 2009-12-22 2013-09-03 International Business Machines Corporation Producing spike-timing dependent plasticity in an ultra-dense synapse cross-bar array

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5083285A (en) * 1988-10-11 1992-01-21 Kabushiki Kaisha Toshiba Matrix-structured neural network with learning circuitry
US5220641A (en) * 1988-10-11 1993-06-15 Kabushiki Kaisha Toshiba Multi-layer perceptron circuit device
CN1265751A (zh) * 1997-06-11 2000-09-06 南加州大学 用于神经网络中的信号处理的动态突触
TW567669B (en) * 1999-07-16 2003-12-21 Philips Electronics Na Very fine grain field programmable gate array architecture and circuitry

Also Published As

Publication number Publication date
JP2013546064A (ja) 2013-12-26
EP2616996B1 (en) 2017-09-27
TW201224957A (en) 2012-06-16
WO2012055592A1 (en) 2012-05-03
CN103189880B (zh) 2015-09-30
JP5607835B2 (ja) 2014-10-15
CN103189880A (zh) 2013-07-03
EP2616996A1 (en) 2013-07-24
US20120109866A1 (en) 2012-05-03
US8510239B2 (en) 2013-08-13

Similar Documents

Publication Publication Date Title
TWI509538B (zh) 小型認知突觸運算電路
US11270192B2 (en) Producing spike-timing dependent plasticity in a neuromorphic network utilizing phase change synaptic devices
US8812415B2 (en) Neuromorphic and synaptronic spiking neural network crossbar circuits with synaptic weights learned using a one-to-one correspondence with a simulation
Schemmel et al. A wafer-scale neuromorphic hardware system for large-scale neural modeling
US10521714B2 (en) Multi-compartment neurons with neural cores
US9342780B2 (en) Systems and methods for modeling binary synapses
US20120084240A1 (en) Phase change memory synaptronic circuit for spiking computation, association and recall
JP2021507349A (ja) 抵抗処理ユニット・アレイのクロスポイント・デバイスに重みを記憶するための方法、そのクロスポイント・デバイス、ニューラル・ネットワークを実施するためのクロスポイント・アレイ、そのシステム、およびニューラル・ネットワークを実施するための方法
WO2010133399A1 (en) Electronic learning synapse with spike-timing dependent plasticity using phase change memory
Minkovich et al. Programming time-multiplexed reconfigurable hardware using a scalable neuromorphic compiler
Howard et al. Evolving spiking networks with variable resistive memories
US9489617B2 (en) Neuromorphic system and method for operating the same
Afifi et al. CMOL implementation of spiking neurons and spike‐timing dependent plasticity
Volanis et al. Toward silicon-based cognitive neuromorphic ICs—a survey
Howard et al. Evolving unipolar memristor spiking neural networks
Indiveri et al. Neuromorphic Networks of Spiking Neurons
Indiveri et al. 10.1 Neuromorphic vs. Conventional Use of VLSI Technology