TW201539335A

TW201539335A - 實現神經網路處理器

Info

Publication number: TW201539335A
Application number: TW104106691A
Authority: TW
Inventors: Jeffrey Alexander Levin; Erik Christopher Malone; Edward Hanyu Liao
Original assignee: Qualcomm Inc
Priority date: 2014-03-21
Filing date: 2015-03-03
Publication date: 2015-10-16
Also published as: US20150269480A1; WO2015142503A3; WO2015142503A2

Abstract

本案的某些態樣支援用於在人工神經系統內實現皮層神經網路處理器的方法和裝置。根據某些態樣，可由該人工神經系統的複數個神經元單元處理器產生複數個尖峰事件，並且可經由該人工神經系統的複數個突觸連接處理器將這些尖峰事件從這些神經元單元處理器的一子集發送到這些神經元單元處理器的另一子集。

Description

實現神經網路處理器

【根據專利法.§ 119的優先權主張】

本專利申請案主張於2014年3月21日提出申請的題為「Method and Apparatus for Implementing Kortex Neural-Network Processor(用於實現皮層神經網路處理器的方法和裝置)」的美國臨時專利申請案S/N.61/968,440的權益，其經由援引全部納入於此。

本案的某些態樣一般係關於人工神經系統，尤其係關於用於實現皮層(kortex)神經網路處理器的方法和裝置。

可包括一群互連的人工神經元(即神經處理單元)的人工神經網路是一種計算設備或者表示將由計算設備執行的方法。人工神經網路可具有生物學神經網路中的對應的結構及/或功能。然而，人工神經網路可為其中傳統計算技術是麻煩的、不切實際的、或不勝任的某些應用提供創新且有用的計算技術。由於人工神經網路能從觀察中推斷出功能，因此此類網路在因任務或資料的複雜度使得經由一般技術來設計該功能較為麻煩的應用中是特別有用的。

一種類型的人工神經網路是尖峰(spiking)神經網路，其將時間概念以及神經元狀態和突觸狀態納入到其工作模型中，由此提供了豐富的行為集，在神經網路中能從該行為集湧現出計算功能。尖峰神經網路基於以下概念：神經元基於該神經元的狀態在一或多個特定的時間激發或「發放尖峰」，並且該時間對於神經元功能而言是重要的。當神經元激發時，它產生一尖峰，該尖峰行進至其他神經元，這些其他神經元繼而可基於接收到該尖峰的時間來調整它們的狀態。換言之，資訊可被編碼在神經網路中的尖峰的相對或絕對定時中。

本案的某些態樣提供了一種用於操作人工神經系統的方法。該方法一般包括由該人工神經系統的複數個神經元單元處理器產生複數個尖峰事件，以及經由該人工神經系統的複數個突觸連接處理器將這些尖峰事件從這些神經元單元處理器的一子集發送到這些神經元單元處理器的另一子集。

本案的某些態樣提供了一種用於操作人工神經系統的裝置。該裝置一般包括該人工神經系統的複數個神經元單元處理器，其配置成產生複數個尖峰事件；及第一電路，其配置成經由該人工神經系統的複數個突觸連接處理器將這些尖峰事件從這些神經元單元處理器的一子集發送到這些神經元單元處理器的另一子集。

本案的某些態樣提供了一種用於操作人工神經系統的設備。該設備一般包括用於由該人工神經系統的複數個神經元單元處理器產生複數個尖峰事件的裝置，以及用於經由該人工神經系統的複數個突觸連接處理器將這些尖峰事件從這些神經元單元處理器的一子集發送到這些神經元單元處理器的另一子集的裝置。

本案的某些態樣提供了一種用於操作人工神經系統的電腦可讀取媒體。該電腦可讀取媒體包括其上儲存的可由電腦執行以用於以下操作的指令：由該人工神經系統的複數個神經元單元處理器產生複數個尖峰事件；及經由該人工神經系統的複數個突觸連接處理器將這些尖峰事件從這些神經元單元處理器的一子集發送到這些神經元單元處理器的另一子集。

100‧‧‧神經系統

102‧‧‧一級神經元

104‧‧‧突觸連接網路

106‧‧‧另一級神經元

108₁‧‧‧輸入信號

108₂‧‧‧輸入信號

108_N‧‧‧輸入信號

110₁‧‧‧輸出尖峰

110₂‧‧‧輸出尖峰

110_M‧‧‧輸出尖峰

200‧‧‧示例

202‧‧‧神經元

204₁‧‧‧輸入信號

204_i‧‧‧輸入信號

204_N‧‧‧輸入信號

206₁‧‧‧可調節突觸權重

206_i‧‧‧可調節突觸權重

206_N‧‧‧可調節突觸權重

208‧‧‧輸出信號

300‧‧‧曲線圖

302‧‧‧部分

304‧‧‧部分

306‧‧‧交越點

402‧‧‧負態相

404‧‧‧正態相

500‧‧‧示例

502‧‧‧可程式設計神經元(單元)

504‧‧‧效用神經元類型(單元)

506‧‧‧外在(輸入尖峰)轉發器(單元)

508‧‧‧可塑突觸類

510‧‧‧效用突觸類

512‧‧‧神經元調制器突觸類

514‧‧‧輸入集束

516‧‧‧神經元調制器單元

518‧‧‧全域值

600‧‧‧示圖

602‧‧‧流

604‧‧‧流

606‧‧‧流

608‧‧‧流

700‧‧‧操作

700A‧‧‧裝置

702‧‧‧方塊

702A‧‧‧方塊

704‧‧‧方塊

704A‧‧‧方塊

800‧‧‧方塊圖

802‧‧‧通用處理器

804‧‧‧記憶體塊

806‧‧‧程式記憶體

900‧‧‧方塊圖

902‧‧‧記憶體

904‧‧‧互連網路

906‧‧‧個體(分散式)處理單元(神經處理器)

1000‧‧‧方塊圖

1002‧‧‧記憶體組

1004‧‧‧處理單元(神經處理器)

1100‧‧‧神經網路

1102‧‧‧局部處理單元

1104‧‧‧局部狀態記憶體

1106‧‧‧局部參數記憶體

1108‧‧‧具有局部(神經元)模型程式的記憶體

1110‧‧‧具有局部學習程式的記憶體

1112‧‧‧局部連接記憶體

1114‧‧‧用於配置處理的單元

1116‧‧‧路由連接處理元件

1200‧‧‧方塊圖

1202‧‧‧方塊

1204‧‧‧快取記憶體線介面

1206‧‧‧動態隨機存取記憶體(DRAM)

為了能詳細理解本案的以上陳述的特徵所用的方式，可參照各態樣來對以上簡要概述的內容進行更具體的描述，其中一些態樣在附圖中圖示。然而應該注意，附圖僅圖示了本案的某些典型態樣，故不應被認為限定其範疇，因為本描述可允許有其他等同有效的態樣。

圖1圖示了根據本案的某些態樣的示例神經元網路。

圖2圖示了根據本案的某些態樣的計算網路(神經系統或神經網路)的示例處理單元(神經元)。

圖3圖示了根據本案的某些態樣的示例尖峰定時依賴可塑性(STDP)曲線。

圖4是根據本案的某些態樣的用於人工神經元的狀態的示例曲線圖，其圖示用於定義神經元的行為的正態相和負態相。

圖5圖示了根據本案的某些態樣的突觸類的類型和能驅動突觸和尖峰的單元的示例。

圖6圖示了根據本案的某些態樣的對可塑突觸的尖峰定時依賴可塑性(STDP)更新的示例示圖。

圖7圖示了根據本案的某些態樣的用於操作人工神經系統的示例操作的流程圖。

圖7A圖示了能夠執行圖7中示出的操作的示例裝置。

圖8圖示了根據本案的某些態樣的用於使用通用處理器來操作人工神經系統的示例實現。

圖9圖示了根據本案的某些態樣的用於操作人工神經系統的示例實現，其中記憶體可與個體分散式處理單元對接。

圖10圖示了根據本案的某些態樣的用於基於分散式記憶體和分散式處理單元來操作人工神經系統的示例實現。

圖11圖示了根據本案的某些態樣的神經網路的示例實現。

圖12圖示了根據本案的某些態樣的人工神經系統的示例硬體實現。

以下參照附圖更全面地描述本案的各個態樣。然而，本案可用許多不同形式來實施並且不應解釋為被限定於本案通篇提供的任何具體結構或功能。相反，提供這些態樣是為了使得本案將是透徹和完整的，並且其將向本發明所屬技術領域中熟習此項技術者完全傳達本案的範疇。基於本文中的教導，本發明所屬技術領域中熟習此項技術者應領會，本案的範疇旨在覆蓋本文中所揭示的本案的任何態樣，不論其是與本案的任何其他態樣相獨立地還是組合地實現的。例如，可以使用本文所闡述的任何數目的態樣來實現裝置或實踐方法。另外，本案的範疇旨在覆蓋使用作為本文中所闡述的本案的各種態樣的補充或者另外的其他結構、功能性、或者結構及功能性來實踐的此類裝置或方法。應當理解，本文中所揭示的本案的任何態樣可由請求項的一或多個元素來實施。

措辭「示例性」在本文中用於表示「用作示例、實例或圖示」。本文中描述為「示例性」的任何態樣不必被解釋為優於或勝過其他態樣。

儘管本文描述了特定態樣，但這些態樣的眾多變體和置換落在本案的範疇之內。雖然提到了優選態樣的一些益處和優點，但本案的範疇並非旨在被限定於特定益處、用途或目標。相反，本案的各態樣旨在能寬泛地應用於不同的技術、系統組態、網路和協定，其中一些作為示例在附圖以及以下對優選態樣的描述中圖示。詳細描述和附圖僅僅圖示本案而非限定本案，本案的範疇由所附請求項及其等效技術方案來定義。

示例神經系統

圖1圖示根據本案的某些態樣的具有多級神經元的示例神經系統100。神經系統100可包括一級神經元102，該級神經元102經由突觸連接網路104(亦即，前饋連接)來連接到另一級神經元106。為簡單起見，圖1中僅圖示了兩級神經元，但在典型的神經系統中可存在更少或更多級神經元。應注意，一些神經元可經由側向連接來連接至同層中的其他神經元。此外，一些神經元可經由回饋連接來後向連接至先前層中的神經元。

如圖1所圖示的，級102中的每一神經元可接收輸入信號108，輸入信號108可以是由前一級(圖1中未圖示)的複數個神經元所產生的。信號108可表示至級102的神經元的輸入(例如，輸入電流)。此類輸入可在神經元膜上累積以對膜電位進行充電。當膜電位達到其閾值時，該神經元可激發並產生輸出尖峰，該輸出尖峰將被傳遞到下一級神經元(例如，級106)。此類行為可在硬體及/或軟體(包括類比和數位實現)中進行模擬或模仿。

在生物學神經元中，在神經元激發時產生的輸出尖峰被稱為動作電位。該電信號是相對迅速、瞬態、全有或全無的神經脈衝，其具有約為100mV的振幅和約為1ms的歷時。在具有一系列連通的神經元(例如，尖峰從圖1中的一級神經元傳遞至另一級)的神經系統的特定態樣，每個動作電位皆具有基本上相同的振幅和歷時，因此該信號中的資訊僅由尖峰的頻率和數目(或尖峰的時間)來表示，而不由振幅來表示。動作電位所攜帶的資訊由尖峰、發放尖峰的神經元、以及該尖峰相對於一或多個其他尖峰的時間來決定。

尖峰從一級神經元向另一級神經元的傳遞可經由突觸連接(或簡稱「突觸」)網路104來達成，如圖1所圖示的。突觸104可從級102的神經元(相對於突觸104而言的突觸前神經元)接收輸出信號(即尖峰)。對於某些態樣，這些信號可根據可調節突觸權重、...、(其中P是級102和106的神經元之間的突觸連接的總數)來縮放。對於其他態樣，突觸104可以不應用任何突觸權重。此外，(經縮放的)信號可被組合以作為級106中每個神經元(相對於突觸104而言的突觸後神經元)的輸入信號。級106之每一者神經元可基於對應的組合輸入信號來產生輸出尖峰110。隨後可使用另一突觸連接網路(圖1中未圖示)將這些輸出尖峰110傳遞到另一級神經元。

生物學突觸可被分類為電的或化學的。電突觸主要用於發送興奮性信號，而化學突觸可調停突觸後神經元中的興奮性或抑制性(超極化)動作，並且亦可用於放大神經元信號。興奮性信號通常使膜電位去極化(亦即，相對於靜息電位增大膜電位)。若在某個時段內接收到足夠的興奮性信號以使膜電位去極化到高於閾值，則在突觸後神經元中發生動作電位。相反，抑制性信號一般使膜電位超極化(亦即，降低膜電位)。抑制性信號若足夠強則可抵消掉興奮性信號之和並阻止膜電位到達閾值。除了抵消掉突觸興奮以外，突觸抑制亦可對自發活躍神經元施加強力的控制。自發活動神經元是指在沒有進一步輸入的情況下(例如，由於其動態或回饋而)發放尖峰的神經元。經由壓制這些神經元中的動作電位的自發產生，突觸抑制可對神經元中的激發模式進行定形，這一般被稱為雕刻。取決於期望的行為，各種突觸104可充當興奮性或抑制性突觸的任何組合。

神經系統100可由通用處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)或其他可程式設計邏輯裝置(PLD)、個別閘或電晶體邏輯、個別的硬體元件、由處理器執行的軟體模組、或其任何組合來模擬。神經系統100可用在大範圍的應用中，諸如影像和模式辨識、機器學習、電機控制、及類似應用等。神經系統100中的每一神經元可被實現為神經元電路。被充電至發起輸出尖峰的閾值的神經元膜可被實現為例如對流經其的電流進行積分的電容器。

在一態樣，電容器作為神經元電路的電流積分裝置可被除去，並且可使用較小的憶阻器元件來替代它。這種辦法可應用於神經元電路中，以及其中大容量電容器被用作電流積分器的各種其他應用中。另外，每個突觸104可基於憶阻器元件來實現，其中突觸權重改變可與憶阻器電阻的變化有關。使用奈米特徵尺寸的憶阻器，可顯著地減小神經元電路和突觸的面積，這可使得實現超大規模神經系統硬體實現變得可行。

對神經系統100進行模擬的神經處理器的功能性可取決於突觸連接的權重，這些權重可控制神經元之間的連接的強度。突觸權重可儲存在非揮發性記憶體中以在掉電之後保留該處理器的功能性。在一態樣，突觸權重記憶體可實現在與主神經處理器晶片分開的外部晶片上。突觸權重記憶體可與神經處理器晶片分開地封裝成可更換的儲存卡。這可向神經處理器提供多種多樣的功能性，其中特定功能性可基於當前附連至神經處理器的儲存卡中所儲存的突觸權重。

圖2圖示根據本案某些態樣的計算網路(例如，神經系統或神經網路)的處理單元(例如，人工神經元202)的示例200。例如，神經元202可對應於來自圖1的級102和106的任一個神經元。神經元202可接收多個輸入信號204₁-204_N(x ₁-x _N)，這些輸入信號可以是該神經系統外部的信號、或是由同一神經系統的其他神經元所產生的信號、或這兩者。輸入信號可以是實數值或複數值的電流或電壓。輸入信號可包括具有定點或浮點表示的數值。可經由突觸連接將這些輸入信號遞送到神經元202，這些突觸連接根據可調節突觸權重206₁-206_N(w ₁-w _N)對這些信號進行縮放，其中N可以是神經元202的輸入連接的總數。

神經元202可組合這些經縮放的輸入信號，並且使用組合的經縮放的輸入來產生輸出信號208(亦即，信號y)。輸出信號208可以是實數值或複數值的電流或電壓。輸出信號可包括具有定點或浮點表示的數值。隨後該輸出信號208可作為輸入信號傳遞至同一神經系統的其他神經元、或作為輸入信號傳遞至同一神經元202、或作為該神經系統的輸出來傳遞。

處理單元(神經元202)可由電路來模擬，並且其輸入和輸出連接可由具有突觸電路的導線來模擬。處理單元、其輸入和輸出連接亦可由軟體代碼來模擬。處理單元亦可由電路來模擬，而其輸入和輸出連接可由軟體代碼來模擬。在一態樣，計算網路中的處理單元可包括類比電路。在另一態樣，處理單元可包括數位電路。在又一態樣，處理單元可包括具有類比和數位元件兩者的混合信號電路。計算網路可包括任何前述形式的處理單元。使用此類處理單元的計算網路(神經系統或神經網路)可用在大範圍的應用中，諸如影像和模式辨識、機器學習、電機控制、及類似應用等。

在神經網路的訓練程序期間，突觸權重(例如，來自圖1的權重、...、及/或來自圖2的權重206₁-206_N)可用隨機值來初始化並根據學習規則而增大或減小。學習規則的某些示例是尖峰定時依賴型可塑性(STDP)學習規則、Hebb規則、Oja規則、Bienenstock-Copper-Munro(BCM)規則等。很多時候，這些權重可穩定至兩個值(亦即，權重的雙峰分佈)之一。該效應可被用於減少每突觸權重的位數、提高從/向儲存突觸權重的記憶體讀取和寫入的速度、以及降低突觸記憶體的功耗。

突觸類型

在神經網路的硬體和軟體模型中，突觸相關功能的處理可基於突觸類型。突觸類型可包括非可塑突觸(對權重和延遲沒有改變)、可塑突觸(權重可改變)、結構化延遲可塑突觸(權重和延遲可改變)、全可塑突觸(權重、延遲和連通性可改變)、以及基於此的變型(例如，延遲可改變，但在權重或連通性態樣沒有改變)。此舉的優點在於處理可以被細分。例如，非可塑突觸不會要求執行可塑性功能(或等待此類功能完成)。類似地，延遲和權重可塑性可被細分成可一起或分開地、順序地或並行地運作的操作。不同類型的突觸對於適用的每一種不同的可塑性類型可具有不同的查閱資料表或公式以及參數。因此，這些方法將針對該突觸的類型來存取相關的表。

亦進一步牽涉到以下事實：尖峰定時依賴型結構化可塑性可獨立於突觸可塑性地來執行。結構化可塑性即使在權重幅值沒有改變的情況下(例如，若權重已達最小或最大值、或者其由於某種其他原因而不改變)亦可執行，因為結構化可塑性(亦即，延遲改變的量)可以是pre-post(突觸前-突觸後)尖峰時間差的直接函數。替換地，結構化可塑性可被設為權重改變量的函數或者可基於與權重或權重改變的界限有關的條件來設置。例如，突觸延遲可僅在發生權重改變時或者在權重到達0的情況下才改變，但在權重達到最大極限時不改變。然而，具有獨立函數以使得這些程序能被並行化從而減少記憶體存取的次數和交疊可能是有利的。

突觸可塑性的決定

神經元可塑性(或簡稱「可塑性」)是大腦中的神經元和神經網路回應於新的資訊、感官刺激、發展、損壞、或機能障礙而改變其突觸連接和行為的能力。可塑性對於生物學中的學習和記憶、以及對於計算神經元科學和神經網路是重要的。已經研究了各種形式的可塑性，諸如突觸可塑性(例如，根據赫布理論)、尖峰定時依賴可塑性(STDP)、非突觸可塑性、活動性依賴可塑性、結構化可塑性和自身穩態可塑性。

STDP是調節神經元(諸如大腦中的那些神經元)之間的突觸連接的強度的學習程序。連接強度是基於特定神經元的輸出與收到輸入尖峰(亦即，動作電位)的相對定時來調節的。在STDP程序下，若至某個神經元的輸入尖峰平均而言傾向於緊挨在該神經元的輸出尖峰之前發生，則可發生長期增強(LTP)。於是使得該特定輸入在一定程度上更強。相反，若輸入尖峰平均而言傾向於緊接在輸出尖峰之後發生，則可發生長期抑壓(LTD)。於是使得該特定輸入在一定程度上更弱，由此得名為「尖峰定時依賴可塑性」。因此，使得可能是突觸後神經元興奮原因的輸入甚至更有可能在將來作出貢獻，而使得不是突觸後尖峰的原因的輸入較不可能在將來作出貢獻。該程序繼續，直至初始連接集的子集保留，而所有其他連接的影響減輕至0或接近0。

由於神經元一般在其許多輸入皆在一短時段內發生(亦即，足以累積到引起輸出)時產生輸出尖峰，因此通常保留下來的輸入子集包括傾向於在時間上相關的那些輸入。另外，由於在輸出尖峰之前發生的輸入被加強，因此提供對相關性的最早充分累積指示的輸入將最終變成至該神經元的最後輸入。

STDP學習規則可因變於突觸前神經元的尖峰時間t _pre與突觸後神經元的尖峰時間t _post之間的時間差(亦即，t=t _post-t _pre)來有效地適配將該突觸前神經元連接到該突觸後神經元的突觸的突觸權重。STDP的典型公式是若該時間差為正 (突觸前神經元在突觸後神經元之前激發)則增大突觸權重(亦即，增強該突觸)，以及若該時間差為負(突觸後神經元在突觸前神經元之前激發)則減小突觸權重(亦即，抑壓該突觸)。

在STDP程序中，突觸權重隨時間推移的改變可通常使用指數衰退來達成，如由下式提供的：

其中k ₊和k _-分別是針對正和負時間差的時間常數，a ₊和a _-是對應的縮放幅值，以及μ是可應用於正時間差及/或負時間差的偏移。

圖3圖示根據STDP，突觸權重因變於突觸前尖峰(pre)和突觸後尖峰(post)的相對定時而改變的示例曲線圖300。若突觸前神經元在突觸後神經元之前激發，則可使對應的突觸權重增大，如曲線圖300的部分302中所圖示的。該權重增大可被稱為該突觸的LTP。從曲線圖部分302可觀察到，LTP的量可因變於突觸前和突觸後尖峰時間之差而大致呈指數地下降。相反的激發次序可減小突觸權重，如曲線圖300的部分304中所圖示的，從而導致該突觸的LTD。

如圖3中的曲線圖300中所圖示的，可向STDP曲線圖的LTP(因果性)部分302應用負偏移μ。x軸的交越點306(y=0)可被配置成與最大時間滯後重合以考慮到來自層i-1(突觸前層)的各因果性輸入的相關性。在基於訊框的輸入(亦即，輸入是按包括尖峰或脈衝的特定歷時的訊框的形式)的情形中，可計算偏移值μ以反映訊框邊界。該訊框中的第一輸入尖峰(脈衝)可被視為隨時間衰退，要麼如直接由突觸後電位所建模地、要麼以對神經狀態的影響的形式而隨時間衰退。若該訊框中的第二輸入尖峰(脈衝)被視為與特定的時間訊框關聯或相關，則該訊框之前和之後的相關時間可經由偏移STDP曲線的一或多個部分以使得相關時間中的值可以不同(例如，對於大於一個訊框為負，而對於小於一個訊框為正)來在該時間訊框邊界處被分開並在可塑性態樣被不同地對待。例如，負偏移μ可被設為偏移LTP以使得曲線實際上在大於訊框時間的pre-post時間處變得低於零並且其由此為LTD而非LTP的一部分。

神經元模型及操作

存在一些用於設計有用的尖峰發放神經元模型的一般原理。良好的神經元模型在以下兩個計算態相(regime)態樣可具有豐富的潛在行為：重合性偵測和功能性計算。此外，良好的神經元模型應當具有允許時間編碼的兩個要素：輸入的抵達時間影響輸出時間，以及重合性偵測能具有窄時間窗。最後，為了在計算上是有吸引力的，良好的神經元模型在連續時間上可具有封閉形式解，並且具有穩定的行為，包括在靠近吸引子和鞍點之處。換言之，有用的神經元模型是可實踐且可被用於建模豐富的、現實的且生物學一致的行為並且可被用於對神經電路進行工程設計和反向工程兩者的神經元模型。

神經元模型可取決於事件，諸如輸入抵達、輸出尖峰或其他事件，無論這些事件是內部的還是外部的。為了達成豐富的行為庫，能展現複雜行為的狀態機可能是期望的。若事件本身的發生在撇開輸入貢獻(若有)的情況下能影響狀態機並約束在該事件之後的動態，則該系統的將來狀態並非僅是狀態和輸入的函數，而是狀態、事件和輸入的函數。

在一態樣，神經元n可被建模為尖峰帶洩漏積分激發(LIF)神經元，其膜電壓v _n(t)由以下動態來支配：

其中α和β是參數，w _m,n是將突觸前神經元m連接至突觸後神經元n的突觸的突觸權重，以及y _m(t)是神經元m的尖峰輸出，其可根據△t _m,n被延遲達樹突或軸突延遲才抵達神經元n的胞體。

應注意，從建立了對突觸後神經元的充分輸入的時間直至突觸後神經元實際上激發的時間之間存在延遲。在動態尖峰神經元模型(諸如Izhikevich簡單模型)中，若在去極化閾值v _t與峰值尖峰電壓v _peak之間有差量，則可引發時間延遲。例如，在該簡單模型中，神經元胞體動態可由關於電壓和恢復的微分方程對來支配，即：

其中v是膜電位，u是膜恢復變數，k是描述膜電位v的時間尺度的參數，a是描述恢復變數u的時間尺度的參數，b是描述恢復變數u對膜電位v的閾下波動的敏感度的參數，v _r是膜靜息電位，I是突觸電流，以及C是膜的電容。根據該模型，神經元被定義為在v>v _peak時發放尖峰。

Hunzinger Cold模型

Hunzinger Cold神經元模型是能再現豐富多樣的各種神經行為的最小雙態相尖峰發放線性動態模型。該模型的一維或二維線性動態可具有兩個態相，其中時間常數(以及耦合)可取決於態相。在閾下態相中，時間常數(按照慣例為負)表示洩漏通道動態，其一般作用於以生物學一致的線性方式使細胞返回到靜息。閾上態相中的時間常數(按照慣例為正)反映抗洩漏通道動態，其一般驅動細胞發放尖峰，而同時在尖峰產生中引發等待時間。

如圖4中所示，該模型的動態可被劃分成兩個(或更多個)態相。這些態相可被稱為負態相402(亦可互換地稱為帶洩漏積分激發(LIF)態相，勿與LIF神經元模型混淆)以及正態相404(亦可互換地稱為抗洩漏積分激發(ALIF)態相，勿與ALIF神經元模型混淆)。在負態相402中，狀態在將來事件的時間趨向於靜息(v _-)。在該負態相中，該模型一般展現出時間輸入偵測性質及其他閾下行為。在正態相404中，狀態趨向於尖峰發放事件(v _s)。在該正態相中，該模型展現出計算性質，諸如取決於後續輸入事件而引發發放尖峰的等待時間。在事件態樣對動態進行公式化以及將動態分成這兩個態相是該模型的基礎特性。

線性雙態相二維動態(對於狀態v和u)可按照慣例定義為：

其中q _ρ和r是用於耦合的線性變換變數。

符號ρ在本文中用於標示動態態相，在討論或表達具體態相的關係時，按照慣例對於負態相和正態相分別用符號「-」或「+」來替換符號ρ。

模型狀態經由膜電位(電壓)v和恢復電流u來定義。在基本形式中，態相在本質上是由模型狀態來決定的。該精確和通用的定義存在一些細微卻重要的態樣，但目前考慮該模型在電壓v高於閾值(v ₊)的情況下處於正態相404中，否則處於負態相402中。

態相依賴型時間常數包括負態相時間常數τ _-和正態相時間常數τ ₊。恢復電流時間常數τ _u通常是與態相無關的。出於方便起見，負態相時間常數τ _-通常被指定為反映衰退的負量，從而用於電壓演變的相同運算式可用於正態相，在正態相中指數和τ ₊將一般為正，正如τ _u那樣。

這兩個狀態元素的動態可在發生事件之際經由使狀態偏離其零傾線(null-cline)的變換來耦合，其中變換變數為：q _ρ=-τ _ρ βu-v _ρ (7)

r=δ(v+ε) (8)

其中δ、ε、β和v _-、v ₊是參數。v _ρ的兩個值是這兩個態相的參考電壓的基數。參數v _-是負態相的基電壓，並且膜電位在負態相中一般將朝向v _-衰退。參數v ₊是正態相的基電壓，並且膜電位在正態相中一般將趨向於背離v ₊。

v和u的零傾線分別由變換變數q _ρ和r的負數提供。參數δ是控制u零傾線的斜率的縮放因數。參數ε通常被設為等於-v _-。參數β是控制這兩個態相中的v零傾線的斜率的電阻值。τ _ρ時間常數參數不僅控制指數衰退，亦單獨地控制每個態相中的零傾線斜率。

該模型被定義為在電壓v達值v _S時發放尖峰。隨後，狀態通常在發生重定事件(其在技術上可以與尖峰事件完全相同)時被復位：

u=u+△u (10)

其中和△u是參數。重定電壓通常被設為v _-。

依照暫態耦合的原理，封閉形式解不僅對於狀態是可能的(且具有單個指數項)，而且對於到達特定狀態所需的時間亦是可能的。封閉形式狀態解為：

因此，模型狀態可僅在發生事件之際被更新，諸如基於輸入(突觸前尖峰)或輸出(突觸後尖峰)而被更新。亦可在任何特定的時間(無論是否有輸入或輸出)執行操作。

而且，依照暫態耦合原理，可以預計突觸後尖峰的時間，因此到達特定狀態的時間可提前被決定而無需反覆運算技術或數值方法(例如，歐拉數值方法)。給定了先前電壓狀態v ₀，直至到達電壓狀態v _f之前的時間延遲由下式提供：

若尖峰被定義為發生在電壓狀態v到達v _S的時間，則從電壓處於給定狀態v的時間起量測的直至發生尖峰前的時間量或即相對延遲的封閉形式解為：

其中通常被設為參數v ₊，但其他變型可以是可能的。

模型動態的以上定義取決於該模型是在正態相還是負態相中。如所提及的，耦合和態相ρ可基於事件來計算。出於狀態傳播的目的，態相和耦合(變換)變數可基於在上一(先前)事件的時間的狀態來定義。出於隨後預計尖峰輸出時間的目的，態相和耦合變數可基於在下一(當前)事件的時間的狀態來定義。

存在對該Cold模型、以及在時間上執行模仿、模擬、或建模的若干可能實現。這包括例如事件-更新、步點-事件更新、以及步點-更新模式。事件更新是其中基於事件或「事件更新」(在特定時刻)來更新狀態的更新。步點更新是以間隔(例如，1ms)來更新模型的情況下的更新。這不一定要求反覆運算方法或數值方法。經由僅在事件發生於步點處或步點間的情況下才更新模型或即經由「步點-事件」更新，基於事件的實現以有限的時間解析度在基於步點的模仿器中實現亦是可能的。

神經編碼

有用的神經網路模型(諸如包括圖1的人工神經元102、106的神經網路模型)可經由各種合適的神經編碼方案(諸如重合性編碼、時間編碼或速率編碼)中的任一種來編碼資訊。在重合性編碼中，資訊被編碼在神經元集群的動作電位(尖峰發放活動性)的重合性(或時間鄰近性)中。在時間編碼中，神經元經由對動作電位(亦即，尖峰)的精決定時(無論是以絕對時間還是相對時間)來編碼資訊。資訊由此可被編碼在一群神經元間的相對尖峰定時中。相反，速率編碼涉及將神經資訊編碼在激發率或集群激發率中。

若神經元模型能執行時間編碼，則其亦能執行速率編碼(因為速率正好是定時或尖峰間間隔的函數)。為了提供時間編碼，良好的神經元模型應當具有兩個要素：(1)輸入的抵達時間影響輸出時間；及(2)重合性偵測能具有窄時間窗。連接延遲提供了將重合性偵測擴展到時間模式解碼的一種手段，因為經由合適地延遲時間模式的元素，可使這些元素達成定時重合性。

抵達時間

在良好的神經元模型中，輸入的抵達時間應當對輸出時間有影響。突觸輸入--無論是狄拉克δ函數還是經定形的突觸後電位(PSP)、無論是興奮性的(EPSP)還是抑制性的(IPSP)--具有抵達時間(例如，δ函數的時間或者階躍或其他輸入函數的開始或峰值的時間)，其可被稱為輸入時間。神經元輸出(亦即，尖峰)具有發生時間(無論其是在何處(例如在胞體處、在沿軸突的一點處、或在軸突末端處)量測的)，其可被稱為輸出時間。該輸出時間可以是尖峰的峰值時間、尖峰的開始、或與輸出波形有關的任何其他時間。普適原理是輸出時間取決於輸入時間。

乍看起來可能認為所有神經元模型皆遵循該原理，但一般並不是這樣。例如，基於速率的模型不具有此特徵。許多尖峰模型一般亦並不遵循這一點。帶洩漏積分激發(LIF)模型在有額外輸入(超過閾值)的情況下並不會更快一點地激發。此外，在以非常高的定時解析度來建模的情況下或許遵循這一點的模型在定時解析度受限(諸如限於1ms步長)時通常將不會遵循這一點。

輸入

神經元模型的輸入可包括狄拉克δ函數，諸如電流形式的輸入、或基於電導率的輸入。在後一種情形中，對神經元狀態的貢獻可以是連續的或狀態依賴型的。

本發明所屬領域中需要對大型神經網路(諸如圖1的神經網路100)的高效模仿。具體而言，需要設計能夠用豐富的神經元模型和突觸模型的集合來支援大型尖峰神經網路的機器。此外，希望支援大的突觸扇出。現有技術中存在軟體模仿器，但它們用於更新神經和突觸狀態以及用於應用突觸事件的「內環」功能全部是在目標處理器上使用許多指令循環來實現的，這成為了瓶頸。另一瓶頸是需要高效地(亦即，以高速來)執行的對巨量突觸連接的獲取和處理。

皮層(Kortex)神經網路處理器

本案的某些態樣支援具有能經由「突觸連接」處理器向彼此發送尖峰事件的許多並行「神經元單元」處理器的機器的實現。神經元單元處理器可產生「尖峰事件」。突觸連接處理器可將尖峰事件轉換成神經元單元輸入或「突觸後電位(PSP)權重」。這些神經元單元處理器可產生「內在」尖峰事件(其停留在該機器內)和「外在」尖峰事件(其離開該機器)兩者。在本案的一態樣，神經元單元處理器可接受來自突觸連接處理器和來自「外在」輸入的輸入。

本案提供了一種高效機制，藉此，皆由同一尖峰發放單元驅動的諸突觸群被一起處理，以獲得對記憶體子系統的高效存取。所提供的機制可支援對突觸值的讀取/更新/寫回處理，從而能實現「突觸可塑性」。對新突觸狀態值的寫回可發生在尖峰發放事件之後或發生在尖峰重放事件之後。一般而言，本案中提供的神經元單元處理器和突觸連接處理器能以每時鐘循環一個更新/事件的輸送量來處理神經元更新或突觸事件。

根據本案的某些態樣，系統記憶體在多個神經元單元處理器和多個突觸連接處理器。這可提供大量的並行性和總處理頻寬。在本案的一態樣，每個神經元單元處理器可被描述為可程式設計機器，其中每個個體神經元實例具有其自己的使用所定義位數(例如，#NST個位元)的專用指令和狀態記憶體字。此位寬可以是固定的或可變的，其中可設計指令位元(固定)與狀態位元(隨時間更新)之間的各種劃分。

當整個操作碼被保持在這#NST個位元內時，存在可被完全獨立於該系統中的所有其他神經元地來程式設計的「效用神經元」。當希望有更多指令位元時，這#NST個位元中的一些位元可被用作指向共用表值的指標，且這些指令位元的諸部分可跨多個神經元被共用。這可允許有大得多且豐富得多的指令集，且可允許這#NST個位元中有更多個位元被分配給狀態資訊。

突觸連接處理器亦可被描述為可程式設計機器，其中每個個體突觸實例具有其自己的使用所定義位數(例如，#SST個位元)的專用指令和狀態記憶體。再次，此位寬可以是固定的或可變的，且可設計指令位元與狀態位元之間的各種劃分。另外，可使用共用表值來擴展指令集並提供更多可更新的狀態位元。

本案中提供的機器亦可包括特殊的「神經元調制器」或「全域信號」控制區塊，其可向神經元單元和突觸連接處理器提供控制參數和值。那些處理器中的操作碼將能夠使用由神經元調制器塊提供的各種控制值。至神經元調制器塊的輸入可由驅動所有其他內在突觸的相同突觸連接結構來提供。

根據本案的某些態樣，突觸和神經處理器可用高級網路描述(HLND)代碼在「基類」或「較低級類」層來描述。一般而言，可由在精密硬體較低層代碼之上構建的衍生 HLND類來提供「使用者友好」的介面。經由這樣做，就可以有可能性將各種有義性較低的硬體和低級代碼改變與使用者代碼隔離開，並允許針對使用者代碼編寫的設計被映射到許多不同的硬體目標。

皮層HLND概覽

根據本案的某些態樣，由前述皮層硬體核實現的神經和突觸模型可在一組HLND檔內被描述。這些檔的內容可定義緊密地匹配硬體操作的單元和突觸基類。例如，可隨每個硬體版本來提供HLND檔，並且其可被驗證以匹配硬體操作。一般而言，這些檔可隨每個版本而改變，因為實現細節、位寬等被更新。

根據本案的某些態樣，單元和突觸模型可經由參數值來控制。硬體類的介面變數和代碼部分不能在不脫離硬體版本的情況下被修改。使用衍生類可說明闡明由硬體提供的神經和突觸模型，並且可提供比直接使用基硬體類檔更穩定的介面。在本案的一態樣，可利用多級的衍生類。

皮層類的類型

圖5圖示了根據本案的某些態樣的突觸類的類型和能驅動突觸/尖峰的單元的示例500。如圖5中圖示的，存在三種能驅動尖峰/突觸的單元：可程式設計神經元(單元)502、效用神經元類型(單元)504、以及外在(輸入尖峰)轉發器(單元)506。同樣如圖5中圖示的，存在三種能由尖峰發放單元驅動的突觸：可塑突觸類508、效用突觸類510、以及神經元調制器突觸類512。

可塑突觸類508可包括能豐富地以跨多個實例共用的許多參數來配置的突觸。如圖5中所圖示的，可塑突觸508可由可程式設計單元502、效用單元504、及/或外在輸入單元506來驅動。可塑突觸508可驅動可程式設計單元502及/或效用單元504。

效用突觸類510可包括自包含式突觸，亦即，所有參數可被包含在每實例的變數中。如圖5中所圖示的，效用突觸510可由可程式設計單元502、效用單元504、及/或外在輸入單元506來驅動。效用突觸510可驅動可程式設計單元502及/或效用單元504。在一態樣，輸入集束514可驅動外在輸入單元506，如圖5中所圖示的。

在本案的一態樣，特殊的神經元調制器單元可提供對由其他類(多巴胺、去甲腎上腺素、乙醯膽鹼等)使用的全域神經元調制器值的分發。如圖5中所圖示的，可以將具有全域值518的孤獨神經元調制器單元516與專用控制突觸類(例如，由可程式設計單元502、效用單元504及/或外在輸入單元506驅動的神經元調制器突觸類512)相關聯。

效用(「診斷性」)神經元類

根據本案的某些態樣，效用神經元類表示具有很少控制參數的一組神經模型。在一態樣，這些控制參數可被儲存在每個神經實例獨有的狀態記憶體中並且不必被彙編到共用表中。每個效用神經元可利用例如最多達2個輸入通道。根據本案的某些態樣，效用神經元類可包括週期性尖峰發放、隨機尖峰發放(例如，伯努利試驗)、基於輸入的尖峰、經延遲的基於輸入的尖峰、以及尖峰回應模型。

可程式設計(「RP」)神經元類

根據本案的某些態樣，可程式設計神經元類可包括要求大量記憶體的豐富參數集，並且可在硬體中經由對共用表的索引化引用來實現。不同於效用神經元類的是，獨立調諧的可程式設計神經元的總數將受硬體限制，例如限於數百個。

在本案的一態樣，輸入可以是基於電流的或基於電導的，其中每個輸入通道具有可程式設計濾波器。此外，可以有神經元調制器選項和自身穩態選項可用。

根據本案的某些態樣，可以利用(U,V)回應的豐富可程式設計性。在一態樣，可以利用2個或4個輸入通道。此外，本案的某些態樣提供對Izhikevich神經元模型和Cold神經元模型的支援。

突觸輸入

根據本案的某些態樣，皮層處理器中的正常突觸可包括以下屬性：突觸前神經元(來自)

突觸後神經元(去往)

延遲(在1與最大_延遲之間)

通道(在0與3之間)

在本案的一態樣，用於「突觸累積」的專用硬體可每神經元實例提供最多達4個獨立輸入通道。效用神經元一般可利用2個通道，其中通道_0是「興奮性的」，而通道_1是「抑制性的」。可程式設計神經元一般可利用4個可配置通道。所允許的突觸延遲可變成可按2個群來配置。例如，群A可包括可配置通道0和1，而群B可包括可配置通道2和3。

正規化權重

皮層處理器中的介面「信號位準」一般可被設置成覆蓋單位跨度。位元精度改變可平移定點欄位的最低有效(LS)位的位置而非最高有效(MS)位的位置。在一態樣，神經模型「電壓」值可覆蓋範圍(-1,1)。經典的電壓範圍模型可能需要按比例縮放以落在此特定範圍內。

在一態樣，輸入濾波器對於有符號的情況可覆蓋範圍(-1,1)，而對於無符號的情況可覆蓋範圍[0,1)。從輸入濾波器至(U,V)值的增益可以是可配置的。在一態樣，突觸輸入通道累積器可覆蓋範圍[0,1)。可能需要考慮這些累積器的飽和水平。在一態樣，可將所有突觸權重定義在範圍[0,1)上。「PSP增益」水平可以是每突觸類型可配置的。一般而言，計算溢出可導致飽和。

非可塑突觸類

可存在兩種非可塑突觸類：固定_權重_突觸類和STP_突觸(「短期可塑」突觸)。在一態樣，固定_權重_突觸類可提供固定權重PSP輸入。固定_權重_突觸類的參數為：通道突觸通道索引整數範圍[0,3]

延遲突觸延遲整數範圍[1，最大_延遲]

w 突觸權重浮點數範圍[0,1)

在一態樣，STP_突觸類可提供「短期可塑」突觸，亦即，權重可取決於自先前尖峰起的時間長度。STP_突觸類的參數為：通道突觸通道索引整數範圍[0,3]

延遲突觸延遲整數範圍[1,最大_延遲]

權重最大突觸權重浮點數範圍[0,1)

時間_常數以τ計的恢復TC 浮點數 >=0

可塑突觸

根據本案的某些態樣，皮層處理器中的可塑突觸可具有可回應於尖峰發放活動而改變的許多動態狀態變數。可能需要大量控制參數來控制此回應，且這些參數可在硬體中實現為共用表。如同可程式設計神經元情況下所發生的那樣，獨立調諧的可塑突觸類的總數可受硬體限制。

在本案的一態樣，狀態欄位可包括：延遲突觸延遲範圍[0，最大_延遲]

w 突觸權重範圍[0,1)

sd △w資格跡範圍(-1,1)

r 可塑性資源範圍[0,1)

值得的防自殺標誌布林

存活的突觸啟用標誌布林

可塑突觸參數

在本案的一態樣，控制可塑突觸的參數(其被共用)可包括：通道 (累積器通道控制)

多巴胺_en、w_混合 (權重更新控制)

w_sob、psp_增益、psp_偏置 (將W映射到PSP權重)

pn_禁用 (用於偏執型的模式位元)

stdp_早_LUT (基於定時的權重可塑性)

stdp_晚_LUT (基於定時的權重可塑性)

stdp_漸近線 (基於定時的權重可塑性)

pre_β,post_β (自身穩態參數)

i. (延遲可塑性參數)

ii. (資源模型參數)

iii. (突觸自殺控制)

皮層HLND文件

在本案的一態樣，Kingpin文件是「皮層.hlnd」。它可對描述每個build(建造)的所有其他HLND檔執行「USE(使用)」。這些其他檔可包括：皮層_全域描述皮層形狀的常數

皮層_巨集在多處利用的代碼宏

皮層_調制器「全域」神經元調制器機制

皮層_外在_軸突_類用於輸入集束的「轉發器」神經元

皮層_診斷_神經元_類週期性的、泊松、SOI神經元

皮層_延遲_神經元_類具有固定延遲的SOI

皮層_srm_神經元_類 Kludged(雜合)尖峰回應模型神經元

皮層_rp_參數用於RP神經元的參數(作廢)

皮層_rp-神經元_類 RP神經元模型

皮層_stdp_參數可塑突觸參數(作廢)

皮層_可塑_突觸可塑突觸模型

皮層_固定_突觸.hlnd 固定權重突觸模型

皮層_sd_突觸.hlnd 短期可塑突觸模型

文件：皮層_全域.hlnd(又名皮層_常數.hlnd)

在本案的一態樣，此檔可描述所發佈硬體的「形狀」。它可包括「hc_hlnd」模式所要求的HW_常數全域。它可從硬體VHDL(超高速積體電路硬體描述語言)/Jabble資料庫自動產生。一種機制可以是具有特定print命令的VHDL test-bench(測試平臺)。

在一態樣，此檔可包括由其餘皮層HLND檔利用的「KTX_*」常數。這些常數一般應被視為「私有的」，但目前如同其他一切那樣是全域範圍的。另外，這些常數可描述：可塑突觸類型的數量、RP神經元類型的數量、STDP訊窗大小、重放延遲、最大突觸延遲、突觸輸入通道的數量及其累積器位寬、以及在HLND模型中使用的(幾乎)所有定點位元範圍。

文件：皮層_宏.hlnd

在本案的一態樣，此檔可提供用於維持「NSS」狀態的一個代碼巨集。投放尖峰的所有神經元皆可使用NSS_更新宏。根據某些態樣，狀態變數可為：回報自上一次重放起累積的多巴胺回報

衰退自上一次重放起的資格衰退因數

△(將來) 自上一個尖峰起的τ步點

尖峰速率(將來) 長期平均尖峰速率

在一態樣，此檔可提供用於維持內部讀取存取記憶體(IRAM)輸入緩衝器的兩個代碼宏。具有IRAM輸入的所有神經元皆可使用IRAM_更新宏。此宏可維持環形緩衝器和「提取」尖峰輸出。

在一態樣，狀態變數可表示環形緩衝器和一些模式位元。環形緩衝器深度可跨不同的IRAM通道有所不同。另外，驅動PSP的所有突觸皆可使用IRAM_ACCUM(累積)宏。

文件：皮層_調制器.hlnd

在本案的一態樣，此檔可提供用於描述在每皮層或每超神經元基礎上執行的共用計算的一切。在一態樣，「hw_ 皮層_調制器」單元可描述與維持硬體SN_MOD記錄有關的超神經元(SN)操作。在一態樣，「皮層」全域可被用於公佈可供神經元模型使用的調制器值。這些調制器值可包括多巴胺、去甲腎上腺素(NorEpi)、乙醯膽鹼(Ach)、衰退速率和pn_禁用模型、以及τ計數器。

在優選態樣，可定義hw_皮層_調制器陣列，針對每個SN定義一個此陣列。另外，皮層全域值將是陣列。應注意，「皮層」全域的更好名稱可為「SN」。

在一態樣，此檔可將一個調制器單元產生實體為「皮層_調制器」。此外，它可定義可從任一種尖峰發放神經元連接至調制器控制單元的神經元調制器控制突觸。在一態樣，hw_回報_突觸可改變多巴胺水平，而hw_norepi_突觸可改變去甲腎上腺素水平。

對可塑突觸狀態(PSST)的STDP更新

圖6圖示了根據本案的某些態樣的對PSST的STDP更新的示例示圖600。在一態樣，PSST可在「尖峰重放」處理期間被更新。如圖6中的流602所圖示的，PSST的類型(TYP)欄位可不被修改。如圖6中的流604所圖示的，權重欄位(W)可被更新：經多巴胺調制或未經調制。

如圖6中的流606所圖示的，△w資格跡(SD)可被更新：經多巴胺調制或未經調制。此外，可應用自身穩態和STDP。在本案的一態樣，所有權重改變可首先對「SD」發生，且隨後被傳播至「W」。在一態樣，資源模型可修改用於改變SD值的方法。根據某些態樣，如圖6中的流608所圖示的，可向 PSST的延遲欄位獨立地應用延遲可塑性。

效用神經元模型

根據本案的某些態樣，可存在若干效用神經元模型，諸如基於輸入的尖峰(SOI)神經元模型、週期性神經元模型、伯努利神經元模型、以及延遲神經元模型。在一態樣，在SOI神經元模型的情形中，人工神經元可在輸入通道0>輸入通道1時發放尖峰。對於此神經元模型沒有特定參數。

在另一態樣，在週期性神經元模型的情形中，人工神經元可在週期性基礎上產生尖峰。特定參數可以是週期和相位，且沒有輸入通道。

在又一態樣，在伯努利神經元模型的情形中，人工神經元可按給定概率隨機地產生尖峰。一個特定參數可以是概率，且沒有輸入通道。在又一態樣，在延遲神經元模型的情形中，人工神經元可在(通道0>通道1)輸入的某個延遲時間之後產生尖峰。一個特定參數可以是延遲。

圖7是根據本案的某些態樣的用於操作具有複數個人工神經元的人工神經系統的示例操作700的流程圖。操作700可以硬體(例如由一或多個神經處理單元，諸如神經元形態處理器)、以軟體或以韌體來執行。該人工神經系統可建模在各種生物或虛構神經系統中的任一者上，諸如視覺神經系統、聽覺神經系統、海馬體等。

操作700可始於在702處由該人工神經系統的複數個神經元單元處理器產生複數個尖峰事件。在704，可經由該人工神經系統的複數個突觸連接處理器將這些尖峰事件從這些神經元單元處理器的一子集發送到這些神經元單元處理器的另一子集。

在一態樣，這些尖峰事件可由突觸連接處理器轉換成至神經元單元處理器的輸入或轉換成與突觸連接處理器的突觸實例相關聯的突觸後電位(PSP)權重。根據某些態樣，這複數個尖峰事件可包括內在尖峰事件和外在尖峰事件。在一態樣，可在神經元單元處理器處接受來自突觸連接處理器和外在尖峰事件的輸入。

根據某些態樣，該人工神經系統中由這複數個神經元單元處理器中的一個神經元單元處理器的尖峰發放所驅動的突觸群可同時被處理。在一態樣，可為這些突觸群獲得對該人工神經系統的記憶體子系統的存取。在一態樣，經由存取記憶體子系統，便可支援對與這些突觸群相關聯的突觸值的讀取、更新和寫回。根據某些態樣，與人工神經元相關聯的更新或突觸事件可由神經元單元處理器和突觸連接處理器以每時鐘循環一個更新/事件的輸送量來處理。

根據某些態樣，神經元單元處理器可以是可程式設計的，其中與每個神經元單元處理器相關聯的人工神經元的每個個體實例可包括其自己的使用特定位數的專用指令和狀態記憶體字。在一態樣，該特定位數可在用於該專用指令的固定數目個指令位元和該狀態記憶體字的與該人工神經元的狀態相關聯的隨時間可變的狀態位元之間進行劃分。在一態樣，該神經元單元處理器可被獨立於其他神經元單元處理器地來程式設計。在一態樣，該特定位數中的一些位可被用作指向該人工神經系統的記憶體子系統的共用表值的指針，其中這些表值可跨多個神經元單元處理器被共用。

根據某些態樣，突觸連接處理器可以是可程式設計的，其中與每個突觸連接處理器相關聯的每個個體突觸實例可包括其自己的使用特定位數的專用指令和狀態記憶體字。在一態樣，該特定位數可在用於該專用指令的固定數目個指令位元和該狀態記憶體字的與該突觸實例的狀態有關的隨時間可變的狀態位元之間進行劃分。在一態樣，該特定位數中的一些位元可被用作指向人工神經系統的記憶體子系統的共用表值的指針，其中這些表值跨多個突觸連接處理器被共用。根據某些態樣，可經由使用該人工神經系統的控制區塊來向這些神經元單元處理器和突觸連接處理器提供控制參數和值。

圖8圖示了根據本案的某些態樣的使用通用處理器802來操作具有複數個人工神經元的人工神經系統的前述方法的示例方塊圖800。與計算網路(神經網路)相關聯的變數(神經信號)、突觸權重及/或系統參數可被儲存在記憶體塊804中，而在通用處理器802處執行的有關指令可從程式記憶體806中載入。在本案的一態樣，載入到通用處理器802中的指令可包括用於以下操作的代碼：由人工神經系統的複數個神經元單元處理器產生複數個尖峰事件，以及經由該人工神經系統的複數個突觸連接處理器將這些尖峰事件從這些神經元單元處理器的一子集發送到這些神經元單元處理器的另一子集。

圖9圖示了根據本案的某些態樣的用於操作具有複數個人工神經元的人工神經系統的前述方法的示例方塊圖900，其中記憶體902可經由互連網路904與計算網路(神經網路)的個體(分散式)處理單元(神經處理器)906對接。與計算網路(神經網路)相關聯的變數(神經信號)、突觸權重及/或系統參數可被儲存在記憶體902中，並且可從記憶體902經由互連網路904的連接被載入到每個處理單元(神經處理器)906中。在本案的一態樣，處理單元906可被配置成：由該人工神經系統的神經處理器產生複數個尖峰事件，以及經由該人工神經系統的複數個突觸連接處理器將這些尖峰事件從這些神經處理器的一子集發送到這些神經處理器的另一子集。

圖10圖示了根據本案的某些態樣的基於分散式權重記憶體1002和分散式處理單元(神經處理器)1004來操作具有複數個人工神經元的人工神經系統的前述方法的示例方塊圖1000。如圖10中所圖示的，一個記憶體組1002可直接與計算網路(神經網路)的一個處理單元1004對接，其中該記憶體組1002可儲存與該處理單元(神經處理器)1004相關聯的變數(神經信號)、突觸權重及/或系統參數。在本案的一態樣，處理單元1004可被配置成：由該人工神經系統的神經處理器產生複數個尖峰事件，以及經由該人工神經系統的複數個突觸連接處理器將這些尖峰事件從這些神經處理器的一子集發送到這些神經處理器的另一子集。

圖11圖示了根據本案的某些態樣的神經網路1100的示例實現。如圖11中所圖示的，神經網路1100可包括複數個局部處理單元1102，它們可執行以上描述的方法的各種操作。每個處理單元1102可包括儲存該神經網路的參數的局部狀態記憶體1104和局部參數記憶體1106。另外，處理單元1102可包括具有局部(神經元)模型程式的記憶體1108、具有局部學習程式的記憶體1110、以及局部連接記憶體1112。此外，如圖11中所圖示的，每個局部處理單元1102可與用於配置處理的單元1114對接並且與路由連接處理元件1116對接，單元1114可提供對局部處理單元的局部記憶體的配置，元件1116提供局部處理單元1302之間的路由。

根據本案的某些態樣，每一個局部處理單元1102可被配置成基於神經網路的一或多個期望功能性特徵來決定神經網路的參數，以及隨著所決定的參數被進一步適配、調諧和更新來使這一或多個功能性特徵朝著期望的功能性特徵發展。

圖12是根據本案的某些態樣的人工神經系統的示例硬體實現的方塊圖1200。如前述的STDP更新可發生在‘實施可塑性更新和重組’方塊1202中。對於某些態樣，經更新的突觸權重可經由快取記憶體線介面1204儲存在片外記憶體(例如，動態隨機存取記憶體(DRAM)1206)中。

在典型的人工神經系統中，存在比人工神經元多許多的突觸，並且對於大型神經網路，以高效方式處理突觸更新是期望的。大量突觸可使得想到將突觸權重和其他參數儲存在記憶體(例如，DRAM 1206)中。當人工神經元在所謂的「超神經元(SN)」中產生尖峰時，這些神經元可經由DRAM檢視以決定突觸後神經元和對應神經權重來將那些尖峰轉發給突觸後神經元。為了實現快速和高效的檢視，突觸排序可例如基於來自神經元的扇出被連貫地保持在記憶體中。稍後當在‘實施可塑性更新和重組’方塊1202中處理STDP更新時，在給定此記憶體佈局的情況下效率可規定基於轉發扇出來處理這些更新，這是因為不需要搜尋DRAM或大的查閱資料表來決定針對LTP更新的反向映射。圖12中示出的辦法促成了這一點。‘實施可塑性更新和重組’方塊1202可查詢超神經元以力圖獲得突觸前和突觸後尖峰時間，由此再次減少所涉及的狀態記憶體量。

以上所描述的方法的各種操作可由能夠執行相應功能的任何合適的裝置來執行。這些裝置可包括各種硬體及/或軟體元件及/或模組，包括但不限於電路、特殊應用積體電路(ASIC)、或處理器。例如，各個操作可由圖8-12中所示的各種處理器中的一或多個來執行。一般而言，在存在附圖中圖示的操作的場合，那些操作可具有帶相似編號的相應配對手段功能元件。例如，圖7中所圖示的操作700對應於圖7A中所圖示的裝置700A。

例如，用於顯示的裝置可包括顯示器(例如，監視器、平面螢幕、觸控式螢幕等)、印表機、或任何其他用於輸出資料以供視覺圖示(例如表、圖表或圖形)的合適裝置。用於處理的裝置、用於接收的裝置、用於追蹤的裝置、用於調節的裝置、用於更新的裝置、或用於決定的裝置可包括處理系統，該處理系統可包括一或多個處理器或處理單元。用於感測的裝置可包括感測器。用於儲存的裝置可包括可由處理系統存取的記憶體或任何其他合適的存放裝置(例如，RAM)。

如本文所使用的，術語「決定」涵蓋各種各樣的動作。例如，「決定」可包括演算、計算、處理、推導、研究、檢視(例如，在表、資料庫或其他資料結構中檢視)、查明、及類似動作。而且，「決定」可包括接收(例如接收資訊)、存取(例如存取記憶體中的資料)、及類似動作。同樣，「決定」亦可包括解析、選擇、選取、建立、及類似動作。

如本文中所使用的，引述一列項目中的「至少一個」的短語是指這些專案的任何組合，包括單個成員。作為示例，「a、b或c中的至少一者」旨在涵蓋：a、b、c、a-b、a-c、b-c、以及a-b-c。

結合本案描述的各種說明性邏輯區塊、模組、以及電路可用設計成執行本文中描述的功能的通用處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)或其他可程式設計邏輯裝置(PLD)、個別閘或電晶體邏輯、個別的硬體元件、或其任何組合來實現或執行。通用處理器可以是微處理器，但在替換方案中，處理器可以是任何可商業購得的處理器、控制器、微控制器、或狀態機。處理器亦可以被實現為計算設備的組合，例如DSP與微處理器的組合、複數個微處理器、與DSP核心協同的一或多個微處理器、或任何其他此類配置。

結合本案所描述的方法或演算法的步驟可直接在硬體中、在由處理器執行的軟體模組中、或在這兩者的組合中體現。軟體模組可常駐在本發明所屬領域中所知的任何形式的儲存媒體中。可使用的儲存媒體的一些示例包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體、EPROM記憶體、EEPROM記憶體、暫存器、硬碟、可移除磁碟、CD-ROM，等等。軟體模組可包括單一指令、或許多指令，且可分佈在若干不同的程式碼片段上，分佈在不同的程式間以及跨多個儲存媒體分佈。儲存媒體可被耦合到處理器以使得該處理器能從/向該儲存媒體讀寫資訊。替換地，儲存媒體可以被整合到處理器。

本文所揭示的方法包括用於實現所描述的方法的一或多個步驟或動作。這些方法步驟及/或動作可以彼此互換而不會脫離請求項的範疇。換言之，除非指定了步驟或動作的特定次序，否則具體步驟及/或動作的次序及/或使用可以改動而不會脫離請求項的範疇。

所描述的功能可在硬體、軟體、韌體或其任何組合中實現。若以硬體實現，則示例硬體設定可包括設備中的處理系統。處理系統可以用匯流排架構來實現。取決於處理系統的具體應用和整體設計約束，匯流排可包括任何數目的互連匯流排和橋接器。匯流排可將包括處理器、機器可讀取媒體、以及匯流排介面的各種電路連結在一起。匯流排介面可用於尤其將網路介面卡等經由匯流排連接至處理系統。網路介面卡可用於實現信號處理功能。對於某些態樣，使用者介面(例如，按鍵板、顯示器、滑鼠、操縱桿，等等)亦可以被連接到匯流排。匯流排亦可以連結各種其他電路，諸如定時源、周邊設備、穩壓器、功率管理電路以及類似電路，它們在本發明所屬領域中是眾所周知的，因此將不再進一步描述。

處理器可負責管理匯流排和一般處理，包括執行儲存在機器可讀取媒體上的軟體。處理器可用一或多個通用及/或專用處理器來實現。示例包括微處理器、微控制器、DSP處理器、以及其他能執行軟體的電路系統。軟體應當被寬泛地解釋成意指指令、資料、或其任何組合，無論是被稱作軟體、韌體、仲介軟體、微代碼、硬體描述語言、或其他。作為示例，機器可讀取媒體可以包括RAM(隨機存取記憶體)、快閃記憶體、ROM(唯讀記憶體)、PROM(可程式設計唯讀記憶體)、EPROM(可抹除可程式設計唯讀記憶體)、EEPROM(電可抹除可程式設計唯讀記憶體)、暫存器、磁碟、光碟、硬驅動器、或者任何其他合適的儲存媒體、或其任何組合。機器可讀取媒體可被實施在電腦程式產品中。該電腦程式產品可以包括包裝材料。

在硬體實現中，機器可讀取媒體可以是處理系統中與處理器分開的一部分。然而，如本發明所屬技術領域中熟習此項技術者將容易領會的，機器可讀取媒體、或其任何部分可在處理系統外部。作為示例，機器可讀取媒體可包括傳輸線、由資料調制的載波、及/或與設備分開的電腦產品，所有這些皆可由處理器經由匯流排介面來存取。替換地或補充地，機器可讀取媒體、或其任何部分可被整合到處理器中，諸如快取記憶體及/或通用暫存器檔可能就是這種情形。

處理系統可以被配置為通用處理系統，該通用處理系統具有一或多個提供處理器功能性的微處理器、和提供機器可讀取媒體中的至少一部分的外部記憶體，它們皆經由外部匯流排架構與其他支援電路系統連結在一起。替換地，處理系統可以用帶有整合在單塊晶片中的處理器、匯流排介面、使用者介面、支援電路系統、和至少一部分機器可讀取媒體的ASIC(特殊應用積體電路)來實現，或者用一或多個FPGA(現場可程式設計閘陣列)、PLD(可程式設計邏輯裝置)、控制器、狀態機、閘控邏輯、個別硬體元件、或者任何其他合適的電路系統、或者能執行本案通篇所描述的各種功能性的電路的任何組合來實現。取決於具體應用和加諸於整體系統上的總設計約束，本發明所屬技術領域中熟習此項技術者將認識到如何最佳地實現關於處理系統所描述的功能性。

機器可讀取媒體可包括數個軟體模組。這些軟體模組包括當由處理器執行時使處理系統執行各種功能的指令。這些軟體模組可包括傳輸模組和接收模組。每個軟體模組可以常駐在單個存放裝置中或者跨多個存放裝置分佈。作為示例，當觸發事件發生時，可以從硬驅動器中將軟體模組載入到RAM中。在軟體模組執行期間，處理器可以將一些指令載入到快取記憶體中以提高存取速度。隨後可將一或多個快取記憶體行載入到通用暫存器檔中以供由處理器執行。在以下談及軟體模組的功能性時，將理解此類功能性是在處理器執行來自該軟體模組的指令時由該處理器來實現的。

若以軟體實現，則各功能可作為一或多個指令或代碼儲存在電腦可讀取媒體上或藉其進行傳送。電腦可讀取媒體包括電腦儲存媒體和通訊媒體兩者，這些媒體包括促成電腦程式從一地向另一地轉移的任何媒體。儲存媒體可以是能被電腦存取的任何可用媒體。作為示例而非限定，此類電腦可讀取媒體可包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存、磁碟儲存或其他磁存放裝置、或能被用來攜帶或儲存指令或資料結構形式的期望程式碼且能被電腦存取的任何其他媒體。任何連接亦被正當地稱為電腦可讀取媒體。例如，若軟體是使用同軸電纜、光纖電纜、雙絞線、數位用戶線(DSL)、或無線技術(諸如紅外(IR)、無線電、以及微波)從web網站、伺服器、或其他遠端源傳送而來，則該同軸電纜、光纖電纜、雙絞線、DSL或無線技術(諸如紅外、無線電、以及微波)就被包括在媒體的定義之中。如本文中所使用的盤(disk)和碟(disc)包括壓縮光碟(CD)、鐳射光碟、光碟、數位多功能光碟(DVD)、軟碟、和藍光^®光碟，其中盤(disk)常常磁性地再現資料，而碟(disc)用鐳射來光學地再現資料。因此，在一些態樣，電腦可讀取媒體可包括非瞬態電腦可讀取媒體(例如，有形媒體)。另外，對於其他態樣，電腦可讀取媒體可包括瞬態電腦可讀取媒體(例如，信號)。上述的組合亦應被包括在電腦可讀取媒體的範疇內。

因此，某些態樣可包括用於執行本文中提供的操作的電腦程式產品。例如，此種電腦程式產品可包括其上儲存 (及/或編碼)有指令的電腦可讀取媒體，這些指令能由一或多個處理器執行以執行本文中所描述的操作。對於某些態樣，電腦程式產品可包括包裝材料。

另外，應領會，用於執行本文中所描述的方法和技術的模組及/或其他合適裝置能由設備在適用的場合下載及/或以其他方式獲得。例如，此類設備能被耦合至伺服器以促成用於執行本文中所描述的方法的裝置的轉移。替換地，本文中所描述的各種方法能經由儲存裝置(例如，RAM、ROM、諸如壓縮光碟(CD)或軟碟之類的實體儲存媒體等)來提供，以使得一旦將該儲存裝置耦合到或提供給設備，該設備就能獲得各種方法。此外，可利用適於向設備提供本文中所描述的方法和技術的任何其他合適的技術。

將理解，請求項並不被限定於以上所圖示的精確配置和元件。可在以上所描述的方法和設備的佈局、操作和細節上作出各種改動、更換和變形而不會脫離請求項的範疇。

700‧‧‧操作

702‧‧‧方塊

704‧‧‧方塊

Claims

一種用於操作一人工神經系統的方法，包括以下步驟：由該人工神經系統的複數個神經元單元處理器產生複數個尖峰事件；及經由該人工神經系統的複數個突觸連接處理器將該等尖峰事件從該等神經元單元處理器的一子集發送到該等神經元單元處理器的另一子集。
如請求項1之方法，進一步包括以下步驟：由該等突觸連接處理器將該等尖峰事件轉換成至該等神經元單元處理器的輸入或轉換成與該等突觸連接處理器的突觸實例相關聯的突觸後電位(PSP)權重。
如請求項1之方法，其中該複數個尖峰事件包括內在尖峰事件和外在尖峰事件。
如請求項3之方法，進一步包括以下步驟：在該等神經元單元處理器處接受來自該等突觸連接處理器和該等外在尖峰事件的輸入。
如請求項1之方法，進一步包括以下步驟：同時處理該人工神經系統中由該複數個神經元單元處理器中的一個神經元單元處理器的尖峰發放所驅動的諸突觸群。
如請求項5之方法，進一步包括以下步驟：為該諸突觸群獲得對該人工神經系統的一記憶體子系統的存取。
如請求項6之方法，進一步包括以下步驟：經由存取該記憶體子系統來支援對與該諸突觸群相關聯的突觸值的讀取、更新和寫回。
如請求項1之方法，進一步包括以下步驟：由該等神經元單元處理器和該等突觸連接處理器以每時鐘循環一個更新/事件的一輸送量來處理與人工神經元相關聯的更新或該等突觸事件。
如請求項1之方法，進一步包括以下步驟：程式設計該等神經元單元處理器，其中與該等神經元單元處理器之每一者神經元單元處理器相關聯的一人工神經元的每個個體實例包括其自己的使用一特定位數的專用指令和一狀態記憶體字。
如請求項9之方法，進一步包括以下步驟：在用於該專用指令的一固定數目個指令位元和該狀態記憶體字的與該人工神經元的一狀態相關聯的隨時間可變的狀態位元之間劃分該特定位數。
如請求項9之方法，進一步包括以下步驟：獨立於該等神經元單元處理器中的其他神經元單元處理器地來程式設計該神經元單元處理器。
如請求項9之方法，進一步包括以下步驟：使用該特定位數中的一些位元作為指向該人工神經系統的一記憶體子系統的共用表值的一指針，其中該等表值是跨多個該等神經元單元處理器被共用的。
如請求項1之方法，進一步包括以下步驟：程式設計該等突觸連接處理器，其中與該等突觸連接處理器之每一者突觸連接處理器相關聯的每個個體突觸實例包括其自己的使用一特定位數的專用指令和一狀態記憶體字。
如請求項13之方法，進一步包括以下步驟：在用於該專用指令的一固定數目個指令位元和該狀態記憶體字的與該突觸實例的一狀態有關的隨時間可變的狀態位元之間劃分該特定位數。
如請求項13之方法，進一步包括以下步驟：使用該特定位數中的一些位元作為指向該人工神經系統的一記憶體子系統的共用表值的一指針，其中該等表值是跨多個該等突觸連接處理器被共用的。
如請求項1之方法，進一步包括以下步驟：經由使用該人工神經系統的控制區塊來向該等神經元單元處理器和該等突觸連接處理器提供控制參數和值。
一種用於操作一人工神經系統的裝置，包括：該人工神經系統的複數個神經元單元處理器，其配置成產生複數個尖峰事件；及一第一電路，其配置成經由該人工神經系統的複數個突觸連接處理器將該等尖峰事件從該等神經元單元處理器的一子集發送到該等神經元單元處理器的另一子集。
如請求項17之裝置，進一步包括：突觸連接處理器，其配置成將該等尖峰事件轉換成至該等神經元單元處理器的輸入或轉換成與該等突觸連接處理器的突觸實例相關聯的突觸後電位(PSP)權重。
如請求項17之裝置，其中該複數個尖峰事件包括內在尖峰事件和外在尖峰事件。
如請求項19之裝置，其中該等神經元單元處理器亦被配置成：接受來自該等突觸連接處理器和該等外在尖峰事件的輸入。
如請求項17之裝置，進一步包括：一第二電路，其配置成同時處理該人工神經系統中由該複數個神經元單元處理器中的一個神經元單元處理器的尖峰發放所驅動的諸突觸群。
如請求項21之裝置，進一步包括：一第三電路，其配置成為該諸突觸群獲得對該人工神經系統的一記憶體子系統的存取。
如請求項22之裝置，其中該第三電路亦被配置成：經由存取該記憶體子系統來支援對與該諸突觸群相關聯的突觸值的讀取、更新和寫回。
如請求項17之裝置，其中該等神經元單元處理器和該等突觸連接處理器亦被配置成：以每時鐘循環一個更新/事件的一輸送量來處理與人工神經元相關聯的更新或該等突觸事件。
如請求項17之裝置，進一步包括：一第二電路，其配置成程式設計該等神經元單元處理器，其中與該等神經元單元處理器之每一者神經元單元處理器相關聯的一人工神經元的每個個體實例包括其自己的使用一特定位數的專用指令和一狀態記憶體字。
如請求項25之裝置，其中該第二電路亦被配置成：在用於該專用指令的一固定數目個指令位元和該狀態記憶體字的與該人工神經元的一狀態相關聯的隨時間可變的狀態位元之間劃分該特定位數。
如請求項25之裝置，其中該第二電路亦被配置成：獨立於該等神經元單元處理器中的其他神經元單元處理器地來程式設計該神經元單元處理器。
如請求項25之裝置，其中該第二電路亦被配置成：使用該特定位數中的一些位元作為指向該人工神經系統的一記憶體子系統的共用表值的一指針，其中該等表值是跨多個該等神經元單元處理器被共用的。
如請求項17之裝置，進一步包括：一第二電路，其配置成程式設計該等突觸連接處理器，其中與該等突觸連接處理器之每一者突觸連接處理器相關聯的每個個體突觸實例包括其自己的使用一特定位數的專用指令和一狀態記憶體字。
如請求項29之裝置，其中該第二電路亦被配置成：在用於該專用指令的一固定數目個指令位元和該狀態記憶體字的與該突觸實例的一狀態有關的隨時間可變的狀態位元之間劃分該特定位數。
如請求項29之裝置，其中該第二電路亦被配置成：使用該特定位數中的一些位元作為指向該人工神經系統的一記憶體子系統的共用表值的一指針，其中該等表值是跨多個該等突觸連接處理器被共用的。
如請求項17之裝置，進一步包括：該人工神經系統的控制區塊，其配置成向該等神經元單元處理器和該等突觸連接處理器提供控制參數和值。
一種用於操作一人工神經系統的設備，包括：用於由該人工神經系統的複數個神經元單元處理器產生複數個尖峰事件的裝置；及用於經由該人工神經系統的複數個突觸連接處理器將該等尖峰事件從該等神經元單元處理器的一子集發送到該等神經元單元處理器的另一子集的裝置。
一種電腦可讀取媒體，其上儲存有一電腦能執行以用於以下操作的指令：由一人工神經系統的複數個神經元單元處理器產生複數個尖峰事件；及經由該人工神經系統的複數個突觸連接處理器將該等尖峰事件從該等神經元單元處理器的一子集發送到該等神經元單元處理器的另一子集。