TW201426576A

TW201426576A - 用於設計湧現式多層尖峰網路的方法和裝置

Info

Publication number: TW201426576A
Application number: TW102142288A
Authority: TW
Inventors: Thomas Zheng; Jason Frank Hunzinger
Original assignee: Qualcomm Inc
Priority date: 2012-11-20
Filing date: 2013-11-20
Publication date: 2014-07-01
Also published as: US20140143193A1; WO2014081639A1

Abstract

本案的某些態樣支援用於設計湧現式多層尖峰神經網路的技術。神經網路的參數可首先基於神經網路期望的一或多個功能特徵來決定。隨後，可隨著所決定的參數被進一步適配、調諧和更新而使一或多個功能特徵朝著期望的功能特徵發展。這些參數可包括以下至少一者：神經網路的神經元電路的時間常數、神經網路的突觸連接的時間常數、神經網路的定時參數、或神經網路中的學習的定時態樣。一或多個功能特徵可包括以下至少一者：多層尖峰神經網路的一層中的特徵偵測、或多層尖峰神經網路的另一層中的顯著性偵測。

Description

用於設計湧現式多層尖峰網路的方法和裝置

【根據專利法的優先權主張】

本專利申請案主張於2012年11月20日提出申請、且被轉讓給本案受讓人並由此經由援引明確納入於此的臨時申請案S/N.61/728,409的權益。

本案的某些態樣一般係關於神經系統工程設計，尤其係關於用於設計湧現式多層尖峰網路的方法和裝置。

可包括一群互連的人工神經元(即神經元模型)的人工神經網路是一種計算設備或者表示將由計算設備執行的方法。人工神經網路可具有生物學神經網路中的對應的結構及/或功能。然而，人工神經網路可為其中傳統計算技術是麻煩的、不切實際的或不勝任的某些應用提供創新且有用的計算技術。由於人工神經網路能從觀察中推斷出功能，因此此類網路在因任務或資料的複雜度使得經由習知技術來設計該功能較為麻煩的應用中是特別有用的。

一種類型的人工神經網路是尖峰(spiking)神經網路，其將時間概念以及神經元狀態和突觸狀態納入到其工作模型中，由此提供了豐富的行為集，在神經網路中能從該行為集湧現出計算功能。尖峰神經網路基於以下概念：神經元基於神經元的狀態在一或多個特定的時間激發或「發放尖峰」，並且該時間對於神經元功能而言是重要的。當神經元激發時，它產生一尖峰，該尖峰行進至其他神經元，這些其他神經元繼而可基於接收到尖峰的時間來調整其狀態。換言之，資訊可被編碼在神經網路中的尖峰的相對或絕對定時中。

本案的某些態樣提供了設計湧現式多層尖峰神經網路的方法。方法一般包括：基於神經網路期望的一或多個功能特徵來決定神經網路的參數；及隨著所決定的參數被進一步適配、調諧和更新而使一或多個功能特徵朝著期望的功能特徵發展。

本案的某些態樣提供了用於設計湧現式多層尖峰神經網路的裝置。裝置一般包括：第一電路，配置成基於神經網路期望的一或多個功能特徵來決定神經網路的參數；及第二電路，配置成隨著所決定的參數被進一步適配、調諧和更新而使一或多個功能特徵朝著期望的功能特徵發展。

本案的某些態樣提供了用於設計湧現式多層尖峰神經網路的設備。設備一般包括：用於基於神經網路期望的一或多個功能特徵來決定神經網路的參數的裝置；及用於隨著所決定的參數被進一步適配、調諧和更新而使一或多個功能特徵朝著期望的功能特徵發展的裝置。

本案的某些態樣提供了用於設計湧現式多層尖峰神經網路的電腦程式產品。電腦程式產品一般包括電腦可讀取媒體，該電腦可讀取媒體包括：用於基於神經網路期望的一或多個功能特徵來決定神經網路的參數的代碼；及用於隨著所決定的參數被進一步適配、調諧和更新而使一或多個功能特徵朝著期望的功能特徵發展的代碼。

100‧‧‧神經系統

102‧‧‧神經元級

104‧‧‧突觸連接網路

106‧‧‧神經元級

108₁‧‧‧信號

108₂‧‧‧信號

108_N‧‧‧信號

110₁‧‧‧輸出尖峰

110₂‧‧‧輸出尖峰

110_M‧‧‧輸出尖峰

200‧‧‧示例

202‧‧‧神經元

204₁‧‧‧輸入信號

204_i‧‧‧輸入信號

204_N‧‧‧輸入信號

206₁‧‧‧突觸權重

206_i‧‧‧突觸權重

206_N‧‧‧突觸權重

208‧‧‧輸出信號

302‧‧‧負態相

304‧‧‧正態相

400‧‧‧架構網路範本

402‧‧‧輸入層

404‧‧‧第一層神經元電路

406‧‧‧第二層神經元電路

408‧‧‧抑制性子層

410‧‧‧興奮性子層

500‧‧‧圖表

502‧‧‧圖表部分

504‧‧‧圖表部分

506‧‧‧交越點

600‧‧‧柱狀圖

602‧‧‧柱狀圖

604‧‧‧柱狀圖

700‧‧‧架構範本

702‧‧‧興奮性子層

704‧‧‧抑制性子層

708‧‧‧突觸

710‧‧‧突觸

712‧‧‧突觸

714‧‧‧輸入層

800‧‧‧圖表

900‧‧‧層

902‧‧‧條形

904‧‧‧突顯區域

906‧‧‧著色方形

908‧‧‧區域

1000‧‧‧定時分佈

1002‧‧‧一部分

1004‧‧‧一部分

1100‧‧‧子取樣

1202‧‧‧標繪

1204‧‧‧標繪

1206‧‧‧標繪

1302‧‧‧取向映射

1304‧‧‧標繪

1306‧‧‧部分

1308‧‧‧柱狀圖

1400‧‧‧圖表

1402‧‧‧柱狀圖

1404‧‧‧柱狀圖

1500‧‧‧柱狀圖

1602‧‧‧取樣標繪

1604‧‧‧取樣標繪

1606‧‧‧曲線

1608‧‧‧曲線

1610‧‧‧曲線

1612‧‧‧曲線

1614‧‧‧曲線

1616‧‧‧曲線

1702‧‧‧曲線

1704‧‧‧曲線

1706‧‧‧曲線

1708‧‧‧曲線

1710‧‧‧曲線

1712‧‧‧曲線

1714‧‧‧曲線

1716‧‧‧曲線

1718‧‧‧曲線

1720‧‧‧曲線

1722‧‧‧曲線

1724‧‧‧曲線

1726‧‧‧曲線

1728‧‧‧曲線

1730‧‧‧曲線

1800‧‧‧表

1900‧‧‧操作

1900A‧‧‧元件

1902‧‧‧方塊

1904‧‧‧方塊

2000‧‧‧實現

2002‧‧‧通用處理器

2004‧‧‧記憶體塊

2006‧‧‧程式記憶體

2100‧‧‧實現

2102‧‧‧實現

2104‧‧‧互連網路

2106‧‧‧處理單元

2200‧‧‧實現

2202‧‧‧記憶體組

2204‧‧‧處理單元

2300‧‧‧神經網路

2302‧‧‧局部處理單元

2304‧‧‧局部狀態記憶體

2306‧‧‧局部參數記憶體

2308‧‧‧記憶體

2310‧‧‧記憶體

2312‧‧‧局部連接記憶體

2314‧‧‧單元

2316‧‧‧路由連接處理元件

為了能詳細理解本案的以上陳述的特徵所用的方式，可參照各態樣來對以上簡要概述的內容進行更具體的描述，其中一些態樣在附圖中圖示。然而應該注意，附圖僅圖示了本案的某些典型態樣，故不應被認為限定其範疇，因為本描述可允許有其他等同有效的態樣。

圖1圖示根據本案的某些態樣的神經元的示例網路。

圖2圖示根據本案的某些態樣的計算網路(神經系統或神經網路)的處理單元(神經元)的示例。

圖3圖示根據本案的某些態樣的用於界定模型的行為的正態相和負態相的示例。

圖4圖示根據本案的某些態樣的多層神經網路的示例架構範本。

圖5圖示根據本案的某些態樣的尖峰定時依賴型可塑性(STDP)曲線的示例。

圖6圖示根據本案的某些態樣的多層尖峰神經網路的興奮性子層神經元和抑制性子層神經元的示例活動性。

圖7圖示根據本案的某些態樣的多層尖峰神經網路中的長程抑制性湧現的示例架構範本。

圖8圖示根據本案的某些態樣的STDP曲線的另一示例。

圖9圖示了根據本案的某些態樣的來自興奮性神經元的期望輸出的示例。

圖10圖示根據本案的某些態樣的突顯(popout)尖峰和干擾項的示例定時分佈。

圖11圖示了根據本案的某些態樣的一群神經元的感受野(receptive field)的示例取樣。

圖12圖示了根據本案的某些態樣的興奮性神經元的取向特徵、取向分佈和圓方差分佈的示例。

圖13圖示根據本案的某些態樣的突觸權重的取向分佈的示例。

圖14圖示根據本案的某些態樣的興奮性神經元子層的被壓制活動性和所連接的長程抑制性神經元子層的示例活動性的示例。

圖15圖示根據本案的某些態樣的與長程抑制性扇出連接相關聯的突觸權重的示例分佈。

圖16圖示根據本案的某些態樣的兩個神經元在突顯測試期間的示例回應。

圖17圖示了根據本案的某些態樣的在不同突顯試驗期間的累積尖峰活動性的實例。

圖18圖示根據本案的某些態樣的突顯方案的示例效能。

圖19圖示根據本案的某些態樣的用於設計湧現式多層尖峰神經網路的示例操作。

圖19A圖示能夠執行圖19中圖示的操作的示例元件

圖20圖示了根據本案的某些態樣的使用通用處理器來設計湧現式多層尖峰神經網路的示例實現。

圖21圖示了根據本案的某些態樣的設計湧現式多層尖峰神經網路的示例實現，其中記憶體可與個體分散式處理單元對接。

圖22圖示了根據本案的某些態樣的基於分散式記憶體和分散式處理單元來設計湧現式多層尖峰神經網路的示例實現。

圖23圖示根據本案的某些態樣的神經網路的示例實現。

以下參照附圖更全面地描述本案的各個態樣。然而，本案可用許多不同形式來實施並且不應解釋為被限定於本案通篇提供的任何具體結構或功能。確切而言，提供這些態樣是為了使得本案將是透徹和完整的，並且其將向熟習此項技術者完全傳達本案的範疇。基於本文中的教導，熟習此項技術者應領會，本案的範疇旨在覆蓋本文中所披露的本案的任何態樣，不論其是與本案的任何其他態樣相獨立地還是組合地實現的。例如，可使用本文所闡述的任何數目個態樣來實現裝置或實踐方法。另外，本案的範疇旨在覆蓋使用作為本文中所闡述的本案的各種態樣的補充或者與之不同的其他結構、功能性、或者結構及功能性來實踐的此類裝置或方法。應當理解，本文中所披露的本案的任何態樣可由請求項的一或多個元素來實施。

措辭「示例性」在本文中用於表示「用作示例、實例或圖示」。本文中描述為「示例性」的任何態樣不必被解釋為優於或勝過其他態樣。

儘管本文中描述了特定態樣，但這些態樣的眾多變體和置換落在本案的範疇之內。雖然提到了優選態樣的一些益處和優點，但本案的範疇並非旨在被限定於特定益處、用途或目標。確切而言，本案的各態樣旨在能寬泛地應用於不同的技術、系統組態、網路和協定，其中一些作為示例在附圖以及以下對優選態樣的詳細描述中圖示。詳細描述和附圖僅僅圖示本案而非限定本案，本案的範疇由所附請求項及其等效技術方案來界定。

示例神經系統、訓練及操作

圖1圖示根據本案的某些態樣的具有多級神經元的示例神經系統100。神經系統100可包括神經元級102，該級神經元102經由突觸連接網路104(亦即，前饋連接)來連接到另一級神經元106。為簡單起見，圖1中僅圖示了兩級神經元，但在典型的神經系統中可存在更少或更多級神經元。應注意，一些神經元可經由側向連接來連接至同層中的其他神經元。此外，一些神經元可經由回饋連接來後向連接至先前層中的神經元。

如圖1所圖示的，級102中的每一神經元可接收輸入信號108，該輸入信號108可由前級(圖1中未圖示)的複數個神經元所產生。信號108可表示級102的神經元的輸入電流。該電流可在神經元膜上累積以對膜電位進行充電。當膜電位達到其閾值時，神經元可激發並產生輸出尖峰，該輸出尖峰將被傳遞到下級神經元(例如，級106)。此類行為可在硬體及/或軟體(包括類比和數位實現)中進行仿真或模擬。

在生物學神經元中，在神經元激發時產生的輸出尖峰被稱為動作電位。該電信號是相對迅速、瞬態、全有或全無的神經脈衝，其具有約為100mV的振幅和約為1ms的歷時。在具有一系列連通的神經元(例如，尖峰從圖1中的一級神經元傳遞至另一級)的神經系統的特定實施例中，每個動作電位皆具有基本上相同的振幅和歷時，因此信號中的資訊僅由尖峰的頻率和數目、或尖峰的時間來表示，而不由振幅來表示。動作電位所攜帶的資訊由尖峰、發放尖峰的神經元以及尖峰相對於一或多個其他尖峰的時間來決定。

尖峰從一級神經元到另一級神經元的傳遞可經由突觸連接(或簡稱「突觸」)網路104來達成，如圖1所圖示的。突觸104可從級102神經元(相對於突觸104而言的突觸前神經元)接收輸出信號(亦即，尖峰)，並且根據可調節突觸權重 ,...,(其中P是級102和級106的神經元之間的突觸連接的總數)來按比例縮放那些信號。此外，經按比例縮放的信號可被組合以作為級106中每一神經元(相對於突觸104而言的突觸後神經元)的輸入信號。級106之每一者神經元可基於對應的經組合輸入信號來產生輸出尖峰110。隨後可使用另一突觸連接網路(圖1中未圖示)將這些輸出尖峰110傳遞到另一級神經元。

生物學突觸可被分類為電的或化學的。電突觸主要用於發送興奮性信號，而化學突觸可調停突觸後神經元中的興奮性或抑制性(超極化)動作，並且亦可用於放大神經元信號。興奮性信號通常使膜電位去極化(亦即，相對於靜息電位增大膜電位)。若在某個時間段內接收到足夠的興奮性信號以使膜電位去極化到高於閾值，則在突觸後神經元中發生動作電位。相反，抑制性信號一般使膜電位超極化(亦即，降低膜電位)。抑制性信號若足夠強則可抵消掉興奮性信號之和並阻止膜電位到達閾值。除了抵消掉突觸興奮，突觸抑制亦可對自發活動神經元施加強力的控制。自發活動神經元是指在沒有進一步輸入的情況下(例如，由於其動態或回饋而)發放尖峰的神經元。經由壓制這些神經元中的動作電位的自發產生，突觸抑制可對神經元中的激發模式進行定形，這一般被稱為雕刻。取決於期望的行為，各種突觸104可充當興奮性或抑制性突觸的任何組合。

神經系統100可經由通用處理器、數位信號處理器( DSP)、特殊應用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)或其他可程式設計邏輯裝置(PLD)、個別閘門或電晶體邏輯、個別的硬體元件、由處理器執行的軟體模組或其任何組合來仿真。神經系統100可用在大範圍的應用中，諸如圖像和模式辨識、機器學習、電機控制及類似應用等。神經系統100中的每一神經元可被實現為神經元電路。被充電至發起輸出尖峰的閾值的神經元膜可被實現為例如對流經其的電流進行積分的電容器。

在一態樣，作為神經元電路的電流積分裝置的電容器可被除去，並且可使用較小的憶阻器(memristor)元件來替代之。這種辦法可應用於神經元電路，以及其中大容量電容器被用作電流積分器的各種其他應用中。另外，每個突觸104可基於憶阻器元件來實現，其中突觸權重改變可與憶阻器電阻的變化有關。使用奈米特徵尺寸的憶阻器，可顯著地減小神經元電路和突觸的面積，這可使得實現極大規模神經系統硬體實現變得可行。

對神經系統100進行仿真的神經處理器的功能性可取決於突觸連接的權重，這些權重可控制神經元之間的連接的強度。突觸權重可儲存在非揮發性記憶體中以在掉電之後保留處理器的功能性。在一態樣，突觸權重記憶體可實現在與主神經處理器晶片分開的外部晶片上。突觸權重記憶體可與神經處理器晶片分開地封裝成可更換的儲存卡。這可向神經處理器提供多種多樣的功能性，其中特定功能性可基於當前附連至神經處理器的儲存卡中所儲存的突觸權重。

圖2圖示根據本案的某些態樣的計算網路(例如，神經系統或神經網路)的處理單元(例如，神經元或神經元電路)202的示例200。例如，神經元202可對應於來自圖1的級102和106的任一個神經元。神經元202可接收多個輸入信號204₁-204_N(x₁-x_N)，這些輸入信號可以是神經系統外部的信號、或是由同一神經系統的其他神經元所產生的信號、或這兩者。輸入信號可以是實數值或複數值的電流或電壓。輸入信號可包括具有定點或浮點表示的數值。可經由突觸連接將這些輸入信號遞送到神經元202，這些突觸連接根據可調節突觸權重206₁-206_N(w_1-w_N)對這些信號進行按比例縮放，其中N可以是神經元202的輸入連接的總數。

神經元202可組合這些經按比例縮放的輸入信號，並且使用組合的經按比例縮放的輸入來產生輸出信號208(亦即，信號y)。輸出信號208可以是實數值或複數值的電流或電壓。輸出信號可包括具有定點或浮點表示的數值。隨後輸出信號208可作為輸入信號傳遞至同一神經系統的其他神經元、或作為輸入信號傳遞至同一神經元202、或作為神經系統的輸出傳遞。

處理單元(神經元)202可經由電路來仿真，並且其輸入和輸出連接可經由導線用突觸電路來仿真。處理單元202、其輸入和輸出連接亦可經由軟體代碼來仿真。處理單元202亦可經由電路來仿真，而其輸入和輸出連接可經由軟體代碼來模擬。在一態樣，計算網路中的處理單元202可包括類比電路。在另一態樣，處理單元202可包括數位電路。在又一態樣，處理單元202可包括具有類比和數位元件兩者的混合信號電路。計算網路可包括任何前述形式的處理單元。使用此類處理單元的計算網路(神經系統或神經網路)可用在大範圍的應用中，諸如圖像和模式辨識、機器學習、電機控制等。

在神經網路的訓練程序期間，突觸權重(例如，來自圖1的權重,...,及/或來自圖2的權重206₁-206_N) 可用隨機值來初始化並根據學習規則而增大或減小。學習規則的某些示例是尖峰定時依賴型可塑性(STDP)學習規則、Hebb規則、Oja規則、Bienenstock-Copper-Munro(BCM)規則等。很多時候，這些權重可穩定至兩個值(亦即，權重的雙峰分佈)之一。該效應可被用於減少每突觸權重的位數、提高從/向儲存突觸權重的記憶體讀取和寫入的速度以及降低突觸記憶體的功耗。

突觸類型

在神經網路的硬體和軟體模型中，突觸相關功能的處理可基於突觸類型。突觸類型可包括非可塑突觸(對權重和延遲沒有改變)、可塑突觸(權重可改變)、結構化延遲可塑突觸(權重和延遲可改變)、全可塑突觸(權重、延遲和連通性可改變)，以及基於此的變型(例如，延遲可改變，但在權重或連通性態樣沒有改變)。此舉的優點在於處理可以被細分。例如，非可塑突觸可能不會要求執行可塑性功能(或等待此類功能完成)。類似地，延遲和權重可塑性可被細分成可一起或分開地、順序地或並行地運作的操作。不同類型的突觸對於適用的每一種不同的可塑性類型可具有不同的查閱資料表或公式以及參數。因此，這些方法將存取針對突觸的類型的相關的表。

亦進一步牽涉到以下事實：尖峰定時依賴型結構化可塑性可獨立於突觸可塑性而執行。結構化可塑性即使在權重幅值沒有改變的情況下(例如，若權重已達最小或最大值、或者其由於某種其他原因而未改變)亦可執行，因為結構化可塑性(亦即，延遲改變的量)可以是前-後尖峰時間差的直接函數。替換地，結構化可塑性可被設為權重改變量的函數或者可基於與權重或權重改變的界限有關的條件來設置。例如，突觸延遲可僅在權重改變發生時或者在權重到達0的情況下才改變，但在權重達到最大極限時不改變。然而，具有獨立函數以使得這些程序可以並行化從而減少記憶體存取的次數和重疊可能是有利的。

神經元模型及操作

存在一些用於設計有用的尖峰神經元模型的一般原理。良好的神經元模型在以下兩個計算態相(regime)態樣可具有豐富的潛在行為：一致性偵測和功能計算。而且，良好的神經元模型應當具有兩個要素以允許時間編碼：輸入的抵達時間影響輸出時間，以及一致性偵測能具有窄時間窗。最後，為了在計算上是有吸引力的，良好的神經元模型在連續時間上可具有封閉形式解，並且具有穩定的行為，包括在靠近吸引子和鞍點之處。換言之，有用的神經元模型是可實踐且可被用於建模豐富的、現實的且生物學一致的行為並且可被用於對神經電路進行工程和反向工程兩者的神經元模型。

神經元模型可取決於事件，諸如輸入抵達、輸出尖峰或其他事件，無論這些事件是內部的還是外部的。為了達成豐富的行為技能集合，能展現複雜行為的狀態機可能是期望的。若事件本身的發生在撇開輸入貢獻(若有)的情況下能影響狀態機並約束在事件之後的動態，則系統的將來狀態並非僅是狀態和輸入的函數，而是狀態、事件和輸入的函數。

在一態樣，神經元n可被建模為尖峰帶洩漏積分激發(LIF)神經元，其膜電壓v _n(t)由以下動態來支配：其中α和β是參數，w _m,n是將突觸前神經元m連接至突觸後神經元n的突觸的突觸權重，以及y _m(t)是神經元m的尖峰輸出，其可根據△t _m,n被延遲達樹突或軸突延遲才抵達神經元n的胞體。

應注意，從建立了對突觸後神經元的充分輸入的時間直至突觸後神經元實際上激發的時間之間存在延遲。在動態尖峰神經元模型(諸如Izhikevich簡單模型)中，若在去極化閾值v _t與峰值尖峰電壓v _peak之間有差量，則可引發時間延遲。例如，在簡單模型中，神經元胞體動態可由關於電壓和恢復的微分方程對來支配，即：其中v是膜電位，u是膜恢復變數，k是描述膜電位v的時間尺度的參數，a是描述恢復變數u的時間尺度的參數，b是描述恢復變數u對膜電位v的閾下波動的敏感度的參數，v _r是膜靜息電位，I是突觸電流，以及C是膜的電容。根據該模型，神經元被界定為在v>v _peak時發放尖峰。

Hunzinger Cold模型

Hunzinger Cold神經元模型是能再現豐富多樣的各種神經行為的最小雙態相尖峰線性動態模型。模型的一維或二維線性動態可具有兩個態相，其中時間常數(以及耦合)可取決於態相。在閾下態相中，時間常數(按照慣例為負)表示洩漏通道動態，其一般作用於以生物學一致的線性方式使細胞返回到靜息。閾上態相中的時間常數(按照慣例為正)反映抗洩漏通道動態，其一般驅動細胞發放尖峰，而同時在尖峰產生中引發等待時間。

如圖3中所示，模型的動態可被劃分成兩個(或更多個)態相。這些態相可被稱為負態相302(亦可互換地稱為帶洩漏積分激發(LIF)態相，勿與LIF神經元模型混淆)以及正態相304(亦可互換地稱為抗洩漏積分激發(ALIF)態相，勿與ALIF神經元模型混淆)。在負態相302中，狀態在將來事件的時間趨向於靜息(v _-)。在該負態相中，模型一般展現出時間輸入偵測性質及其他閾下行為。在正態相304中，狀態趨向於尖峰發放事件(v _s)。在正態相中，模型展現出計算性質，諸如取決於後續輸入事件而引發發放尖峰的等待時間。在事件態樣對動態進行公式化以及將動態分成這兩個態相是該模型的基礎特性。

線性雙態相二維動態(對於狀態v和u)可按照慣例界定為：其中q _ρ和r是用於耦合的線性變換變數。

符號ρ在本文中用於標示動態態相，在討論或表達具體態相的關係時，按照慣例對於負態相和正態相分別用符號「-」或「+」來替換符號ρ。

模型狀態經由膜電位(電壓)v和恢復電流u來界定。在基本形式中，態相在本質上是由模型狀態來決定的。精確和通用的定義存在一些細微卻重要的態樣，但目前考慮模型在電壓v高於閾值(v ₊)的情況下處於正態相304中，否則處於負態相302中。

態相依賴型時間常數包括負態相時間常數τ _-和正態相時間常數τ ₊。恢復電流時間常數τ _u通常是與態相無關的。出於方便起見，負態相時間常數τ _-通常被指定為反映衰退的負量，從而用於電壓演變的相同運算式可用於正態相，在正態相中指數和τ ₊將一般為正，正如τ _u那樣。

這兩個狀態元素的動態可在發生事件之際經由使狀態偏離其零傾線(null-cline)的變換來耦合，其中變換變數為：q _ρ=-τ _ρ βu-v _ρ (6)

r=δ(v+ε) (7)其中δ、ε、β和v _-、v ₊是參數。v _ρ的兩個值是這兩個態相的參考電壓的基數。參數v _-是負態相的基電壓，並且膜電位在負態相中一般將朝向v _-衰退。參數v ₊是正態相的基電壓，並且膜電位在正態相中一般將趨向於背離v ₊。

v和u的零傾線分別由變換變數q _ρ和r的負數提供。參數δ是控制u零傾線的斜率的比例縮放因數。參數ε通常被設為等於-v _-。參數β是控制兩個態相中的v零傾線的斜率的阻力值。τ _ρ時間常數參數不僅控制指數衰退，亦單獨地控制每個態相中的零傾線斜率。

模型被界定為在電壓v達值v _S時發放尖峰。隨後，狀態通常在發生重定事件(其在技術上可以與尖峰事件完全相同)之際被復位：

u=u+△u (9)其中v _-和△u是參數。重定電壓v _-通常被設為v _-。

依照暫態耦合的原理，封閉形式解不僅對於狀態是可能的(且具有單個指數項)，而且對於到達特定狀態所需的時間亦是可能的。封閉形式狀態解為：

因此，模型狀態可僅在發生事件之際被更新，諸如基於輸入(突觸前尖峰)或輸出(突觸後尖峰)而被更新。亦可在任何特定的時間(無論是否有輸入或輸出)執行操作。

而且，依照暫態耦合原理，可以預計突觸後尖峰的時間，因此到達特定狀態的時間可提前被決定而無需反覆運算技術或數值方法(例如，歐拉數值方法)。給定了先前電壓狀態v ₀，直至到達電壓狀態v _f之前的時間延遲由下式提供：

若尖峰被界定為發生在電壓狀態v到達v _S之際，則從電壓處於給定狀態v的時間起量測的直至發生尖峰前的時間量或即相對延遲的封閉形式解為：其中v ₊通常被設為參數v ₊，但其他變型可以是可能的。

模型動態的以上定義取決於模型是在正態相還是負態相中。如所提及的，耦合和態相ρ可基於事件來計算。出於狀態傳播的目的，態相和耦合(變換)變數可基於在上一個(先前)事件的時間的狀態來界定。出於隨後預計尖峰輸出時間的目的，態相和耦合變數可基於在下一個(當前)事件的時間的狀態來界定。

存在對Cold模型、與在時間上執行模擬、仿真或模型化的若干可能實現。這包括例如事件-更新、步點-事件更新以及步點-更新模式。事件更新是其中基於事件或「事件更新」(在特定時刻)來更新狀態的更新。步點更新是以間隔(例如，1ms)來更新模型的更新。這不一定要求反覆運算方法或數值方法。經由僅在事件發生於步點處或步點間的情況下才更新模型或即經由「步點-事件」更新，基於事件的實現以有限的時間解析度在基於步點的模擬器中亦是可能的。

神經編碼

有用的神經網路模型(諸如包括圖1的人工神經元102、106的神經網路模型)可經由各種合適的神經編碼方案(諸如一致性編碼、時間編碼或速率編碼)中的任一種來編碼資訊。在一致性編碼中，資訊被編碼在神經元集群的動作電位(尖峰發放活動性)的一致性(或時間鄰近性)中。在時間編碼中，神經元經由對動作電位(亦即，尖峰)的精確定時(無論是以絕對時間還是相對時間)來編碼資訊。資訊由此可被編碼在一群神經元間的相對尖峰定時中。相反，速率編碼涉及將神經資訊編碼在激發率或集群激發率中。

若神經元模型能執行時間編碼，則其亦能執行速率編碼(因為速率正好是定時或尖峰間間隔的函數)。為了提供時間編碼，良好的神經元模型應當具有兩個要素：(1)輸入的抵達時間影響輸出時間；及(2)一致性偵測能具有窄時間窗。連接延遲提供了將一致性偵測擴展到時間模式解碼的一種手段，因為經由合適地延遲時間模式的元素，可使這些元素達成定時一致性。

抵達時間

在良好的神經元模型中，輸入的抵達時間應當對輸出時間有影響。突觸輸入--無論是狄拉克δ函數還是經定形的突觸後電位(PSP)、無論是興奮性的(EPSP)還是抑制性的(IPSP)--具有抵達時間(例如，δ函數的時間或者階躍或其他輸入函數的開始或峰值的時間)，其可被稱為輸入時間。神經元輸出(亦即，尖峰)具有發生時間(無論其是在何處(例如在胞體處、在沿軸突的一點處、或在軸突末端處)量測的)，其可被稱為輸出時間。輸出時間可以是尖峰的峰值時間、尖峰的開始、或與輸出波形有關的任何其他時間。普適原理是輸出時間取決於輸入時間。

乍看起來可能認為所有神經元模型皆遵循該原理，但一般並不是這樣。例如，基於速率的模型不具有此特徵。許多尖峰模型一般亦並不遵循這一點。帶洩漏積分激發(LIF)模型在有額外輸入(超過閾值)的情況下並不會更快一點地激發。此外，在以非常高的定時解析度來建模的情況下或許遵循這一點的模型在定時解析度受限(諸如限於1ms步長)時通常將不會遵循這一點。

輸入

神經元模型的輸入可包括狄拉克δ函數，諸如電流形式的輸入、或基於電導率的輸入。在後一種情形中，對神經元狀態的貢獻可以是連續的或狀態依賴型的。

綜述

本案的某些態樣支援用於湧現式多層尖峰網路的設計規程的序列，即特徵偵測(亦即，湧現式視皮層特徵偵測)和顯著性偵測(亦即，湧現式突顯)。而且，這些規程可以被自動化或者部分自動化，例如經由互動式通用設計環境嚮導。此類經自動化的設計程序可包括互動式地獲得設計參數，執行傳達中間結果的設計步驟，以及按照所提供的目標來評價效能結果。在一態樣，設計規程可包括一次設計一層，從最低級層(亦即，最靠近輸入的層)開始。雖然這些設計規程是針對包括magno(大)和parvo(小)通路的尖峰視覺系統來示範的，但這些規程是通用的並且可應用於通用設計問題。

在設計尖峰網路時，旨在達成一組目標，諸如特徵偵測或顯著性偵測。特徵偵測一般是指偵測輸入刺激中的特徵多樣性的操作。對於特徵偵測，一或多個特定細胞對其作出回應或對其敏感的輸入特性通常被稱為感受野。例如，特徵偵測可以指由具有中央-周邊感受野的視網膜神經節細胞對簡單視覺模式的偵測。另一示例可以是指由於由諸視網膜神經節細胞感受野的組合組成的感受野故而可偵測定向條形的視覺簡單細胞。顯著性偵測一般是指偵測顯著特徵(亦即，出於一或多個特定原因故而是顯著的、鮮明的、明顯的、或以其他方式是突出的特徵子集)的操作。例如，單個水平定向條形在諸垂直定向條形當中可能是尤其顯著的。術語「突顯(pop-out)」通常是指對此類顯著特徵的突出的認知。顯著性可基於經由偵測獨特特徵、或等效地壓制普遍特徵來進行的特徵偵測來偵測。例如，若具有特定取向的簡單細胞抑制(壓制)具有相同取向但處於不同位置的簡單細胞，則其共同回應可被壓制。然而，若具有另一取向的單個簡單細胞作出回應，則其是不被壓制的並且由此「突顯」。

在尖峰神經網路的上下文中，資訊可被編碼在尖峰中。問題在於要設計能學習用輸出尖峰來提取(回應於)觀測到的輸入尖峰中的有用特徵的此類尖峰神經網路。本案提供了對此的解決方案。本文的重點是關於網路學習尖峰應當如何編碼資訊。解決方案框架可包括：(1)用於計算所設計的神經元的似真參數集的手段，例如用Hunzinger Cold神經元模型；(2)用於設計突觸可塑性規則的手段；(3)用於設計網路拓撲的手段；及(4)用於決定突觸延遲和權重(或範圍及相關參數)的手段；及(5)用於平衡顯著性偵測與特徵偵測之間的互動的手段。解決方案涉及決定定時參數和定時相關態樣的合適組合，以將時間依賴型學習與要學習或關聯的輸入/輸出態樣的輸入/輸出時間相匹配。

關於後者，本案包括能夠建立可與特徵偵測並行地起作用的顯著性偵測網路的實施例。將變得明顯的是，尖峰神經網路中的這兩個特徵可能工作起來潛在地彼此有衝突，但一些對策可防止這一點。

湧現式特徵偵測

本案的某些態樣支援可用來決定用於在多層尖峰神經網路的特定層中達成期望的特徵偵測的參數或參數範圍的設計程序，其中預定輸入信號可被應用於該神經網路。在一態樣，這些參數和參數範圍可利用邏輯辦法和參數搜尋(包括受約束的參數搜尋)來決定，其中「邏輯辦法」可被用於約束參數搜尋。特徵偵測可例如經由用帶局部側向抑制的前饋興奮性連通性來達成。局部側向抑制不一定需要抑制性細胞，因為可以利用興奮性細胞層中的回流抑制性連接，由此減少了對單元數目的要求。

興奮一般是指對接收方細胞的電壓或尖峰發放的正面影響，亦即，對尖峰發放作出貢獻。抑制一般是指對接收方細胞的電壓或尖峰發放的負面影響，亦即，貢獻於壓制或阻止尖峰發放。在生物學中，抑制通常由抑制方中間神經元經由抑制性神經遞質(與興奮性神經遞質正相反)應用於突觸後神經元。然而，在電腦模型中，沒有嚴格要求神經元僅具有一種類型的連接，由此，模型常常可經由具有帶興奮性和抑制性輸出兩者(而非使其輸出去往具有相反類型的輸出的仲介)的細胞來被壓縮。

單位元模型選擇

在本案的一態樣，神經模型設計可用期望的控制元素和特徵來選擇。例如，設計規程可個別地調節單位元模型的一或多個時間常數，由此其可經由具有此類控制的神經模型(諸如Hunzinger Cold神經模型)來促成。關於特徵，神經模型可能無需被配置成利用所有可用特徵。例如，若不需要諧振或對跨尖峰(尖峰間)(例如，跨輸入訊框)記憶的要求是有限的，則可能不需要二維模型。在一態樣，一維Hunzinger Cold神經模型可經由將其參數之一(例如，前述Hunzinger Cold模型中的參數β)設為低值或0來獲得。

諧振是指閾下或閾上振盪行為。例如，細胞的膜電位可能在閾值之下振盪，或者細胞可能以一或多個特定頻率發放尖峰或短脈衝。諧振對於神經元行為或神經網路行為的同步或其他定時相關功能態樣可能是有用的。在一態樣，細胞在諧振狀態中可保留對先前活動性的「記憶」。例如，若細胞以特定頻率諧振，則其有效地維持了對與特定振盪事件(例如，峰值或先前刺激)的時間偏移(或模時間)的記憶。

架構範本

圖4圖示根據本案的某些態樣的多層神經網路的示例架構網路範本400。圖4描述了可產生期望結果的基本安排。該網路範本可提供用於特徵偵測的神經元湧現的基本要求，即前饋興奮和側向抑制。

前饋興奮通常是指前層以特定的前饋連通性模式來激勵後層。這種安排對於將後層用作對前層的活動性模式的偵測器陣列而言是有用的。在前層中出現特定的活動性模式(例如，位置和定時激發模式)時，後層中的不同元素(細胞)可變為活躍。側向連通性是指同層中的元素之間的連通性，而局部連通性是指實體上鄰近的元素之間的連通性。因此，局部側向連通性是指同層中實體上鄰近的元素之間的連通性。局部側向抑制對於壓制冗餘回應(諸如對來自前饋連通性的前層的活動性的學習特徵的回應)是有用的。

如圖4中所示，網路400可包括具有帶非可塑突觸的視網膜神經節細胞(RGC)神經元電路的輸入層402。具有RGC神經元的輸入層402可連接至具有與可塑突觸相關聯的神經元電路(例如，上丘(SC)神經元)的第一層404。該層神經元電路404可與第二層神經元電路406相連接，第二層神經元電路406可包括兩種Cold神經元類型，即抑制性子層408的神經元和興奮性子層410的神經元。

在實現第一層神經元電路404和第二層神經元電路 406時，某些考量因素應當被納入考慮中。第一，在實現程序期間可能發生宏觀結構(針輪(pinwheel))的形成。然而，它們對於低密度/小視皮層細胞可能是不期望的。應注意，針輪在高級別可能產生均勻性，但在局部不會產生均勻性。第二，可能只有有限數目的單元可用於任務(測試)。

針輪是指取向選擇性細胞的組織，尤其是在以色彩 (其中色彩反映取向)來視覺化時呈彩色針輪形狀。然而，根據定義，該組織具有在以高解析度(或局部地)來觀看時可能不均勻(諸如相似取向細胞發生集聚)、但在較低解析度下(更全域的尺度)仍產生均勻性的局部結構。電腦模型可具有有限的元素並且具有變化的目的。若出於模型的目的使得均勻性是期望的(諸如跨較大視場的規律化特徵偵測)，則宏觀結構(諸如針輪)可能是不期望的，除非在低解析度下(全域的)使得針輪結構相對於場大小而言是較小的。因此，場在有限數目的元素能供應的解析度下可能看起來是均勻的。

本案的某些態樣支援用於實現來自圖4的第一層神經元電路404和第二層神經元電路406的具體辦法。例如，實現設計可例如經由調節側向抑制而適合於均勻性。另外，可以某些取向作為目標以供使用。例如，水平和垂直特徵可使用光柵來達成。

光柵常常用於視覺系統的訓練。光柵可被認為是取向在二維中的特定方向上的正弦對比或彩色波型。常常以特定速率使光柵跨視場移動以進行訓練。為了訓練系統以對具有特定取向(例如，定向條形)的特徵進行特徵偵測，可能需要僅向系統示出具有那些特定取向的光柵。例如，為了訓練跨視場具有大致均勻密度的特徵偵測器的系統，可能亦希望訓練媒體或光柵具有均勻性。側向抑制可用於控制每個取向的發展中的特徵偵測器的冗餘程度和廣度。

輸入率的估計

為了估計輸入活動性，可能需要首先計算層i-1中跨該層中所有神經元的平均事件間間隔τ _i-1(亦即，與一神經元相關聯的兩個連貫尖峰發放事件之間的間隔)。隨後，可能需要決定層i-1中的神經元總數N _i-1，其中層i-1展示層i的輸入。此後，可跨層i中的所有神經元計算平均扇入度n _i(n _i亦是層i中的突觸前神經元的平均數目)。

層i的平均扇入度與層i-1中的神經元總數之比n _i/N _i-1 可提供對入射到接收方神經元或受害者神經元上的預期尖峰數目的估計。該估計假定很少有或沒有側向輸入。活動性水平(亦即，層i中的神經元的輸入率)λ _i可估計為：

時間常數的決定

在本案的一態樣，給定所估計的輸入率λ _i，可以估計突觸後神經元偵測信號所花的時間量。不失一般性，可以假定可能需要x個尖峰來觸發突觸後神經元以交越閾值(在Hunzinger Cold模型中即v>v ₊)並且有時在此後激發。在層i中的突觸後神經元尖峰發放的概率為泊松分佈P(k=x；λ _i)的情形中，互補累積分佈函數(CCDF)可給定為：式(15)可針對t來求解，假定P(k=x；λ _i)=η=50%，亦即，假定在給定了速率λ _i的情況下有50%的置信度在時間t裡有x個或更多個尖峰。泊松分佈僅僅是為便於演示簡單性而使用的示例，並且由於生物學尖峰發放，尖峰間間隔常常被建模為呈指數地分佈。

在本案的一態樣，可決定前述Hunzinger Cold模型的偵測時間常數τ _-。一般而言，該常數是指神經元模型的洩漏態樣的定時特性。此類行為可能僅發生在特定態相中，該特定態相可被稱為洩漏積分區域，如例如在簡單帶洩漏積分激發(LIF)神經元模型中那樣。在Hunzinger Cold模型中，該區域被稱為負態相，並且該態相中的時間常數控制積分的洩漏度低於閾值。例如，可基於在時間區間t上有50%衰退來計算在給定了速率λ _i的情況下以90%的置信度獲得x個尖峰的τ _-，即：

為了決定前述COLD模型的時間常數τ ₊(亦即，抗洩漏積分激發(ALIF)時間常數)，可能需要考慮來自局部的相鄰神經元的尖峰的概率。在一態樣，來自側向連接的事件可被用來決定ALIF時間常數，因為側向貢獻反映了經由抑制或興奮對冗餘或重疊的控制。若細胞在有時間供該輸入從同一層中傳播而來之前就發放尖峰，則該輸入將是多餘的。關於τ _-的類似估計程序可用於估計τ ₊。對於層I中的神經元，可以考慮CDF(k=x；ξ _i)，其中ξ _i是來自側向連接的預期事件率。在一態樣，有可能在τ ₊中規定將僅允許至多平均有一個局部的抑制性尖峰以概率y擾亂神經元上衝程，並且可針對泊松分佈來計算此CDF為：

這是可能的，因為局部的抑制性尖峰能夠擾亂/阻擋神經元激發的概率取決於自充分去極化起的定時並且取決於產生擾亂的抑制性輸入的時間或者取決於膜電位在該時間上的增加量。將輸入建模為獨立事件是使得計算易於駕馭的一個示例。

一旦針對t求解出式(17)，就可經由計算下式來決定τ ₊：初始和最大權重值的決定

在本案的一態樣，基於電流的突觸輸入可被建模為單元模型中在電壓上的直接△偏移。此類輸入是指電流輸入，即通常乘以常數以將電流轉換成電壓偏移的值。某個量的輸入可將模型狀態從靜息帶入其即使沒有進一步輸入亦最終將發放尖峰的狀態。使用直截了當的Hunzinger Cold神經模型，可能需要電壓改變量△v _-來將處於靜息v=v _-的細胞帶入尖峰發放態相v>v ₊，其中電壓將趨向尖峰地增大而非趨向靜息地減小。

給定差值△v _-=v ₊-v _-，回應所需的初始權重w _init可估計為：其中E[n _i]是在給定的時間發生的每訊框輸入下來自所有突觸前神經元的尖峰的預期數目。

在本案的一態樣，最大權重應當被設為大於由式 (19)界定的w _init。例如，最大權重值可被設為初始權重的大約2倍。然而，可經由計算將對最終激發作出貢獻的扇入輸入分數、並將初始權重乘以該數以獲得最大突觸權重來決定更為精確的設置。

突觸可塑性的決定

神經元可塑性(或簡稱「可塑性」)是大腦中的神經元和神經網路回應於新的資訊、感官刺激、發展、損壞、或機能障礙而改變其突觸連接和行為的能力。可塑性對於生物學中的學習和記憶、以及對於計算神經元科學和神經網路是重要的。已經研究了各種形式的可塑性，諸如突觸可塑性(例如，根據赫布理論)、尖峰定時依賴型可塑性(STDP)、非突觸可塑性、活動性依賴型可塑性、結構化可塑性和自身穩態可塑性。

STDP是調節神經元之間的突觸連接的強度的學習程序。連接強度是基於特定神經元的輸出與收到輸入尖峰(亦即，動作電位)的相對定時來調節的。在STDP程序下，若至某個神經元的輸入尖峰平均而言傾向於緊挨在該神經元的輸出尖峰之前發生，則可發生長期增強(LTP)。於是使得該特定輸入在一定程度上更強。另一態樣，若輸入尖峰平均而言傾向於緊接在輸出尖峰之後發生，則可發生長期抑壓(LTD)。於是使得該特定輸入在一定程度上更弱，並由此得名為「尖峰定時依賴型可塑性」。因此，使得可能是突觸後神經元興奮原因的輸入甚至更有可能在將來作出貢獻，而使得不是突觸後尖峰的原因的輸入更不大可能在將來作出貢獻。程序繼續，直至初始連接集的子集保留為止，而所有其他連接的影響減輕至0或接近0。

由於神經元一般在其許多輸入皆在一短時段內發生(亦即，累積到足以引起輸出)時產生輸出尖峰，因此通常保留下來的輸入子集包括傾向於在時間上相關的那些輸入。另外，由於在輸出尖峰之前發生的輸入被加強，因此提供對相關性的最早充分累積指示的輸入將最終變成至該神經元的最後輸入。

STDP學習規則可因變於突觸前神經元的尖峰時間t _pre與突觸後神經元的尖峰時間t _post之間的時間差(亦即，t=t _post-t _pre)來有效地適配將突觸前神經元連接到突觸後神經元的突觸的突觸權重。STDP的典型公式化是若時間差為正(突觸前神經元在突觸後神經元之前激發)則增大突觸權重(亦即，增強突觸)，以及若時間差為負(突觸後神經元在突觸前神經元之前激發)則減小突觸權重(亦即，抑壓突觸)。

在STDP中，突觸權重隨時間推移的改變可通常使用指數衰退來達成，如由下式提供的：其中k ₊和k _-分別是針對正和負時間差的時間常數，a ₊和a _-是對應的按比例縮放幅值，以及μ是可應用於正時間差及/或負時間差的偏移。

圖5圖示了根據STDP，突觸權重因變於突觸前(pre )和突觸後(post)尖峰發放的相對定時而改變的示例圖表示圖500。若突觸前神經元在突觸後神經元之前激發，則可使對應的突觸權重增大，如圖表500的部分502中所圖示的。該權重增大可被稱為突觸的LTP。從圖表部分502可觀察到，LTP的量可因變於突觸前和突觸後尖峰時間之差而大致呈指數地下降。相反的激發次序可減小突觸權重，如圖表500的部分504中所圖示的，從而導致突觸的LTD。

如圖5的圖表500中所圖示的，負偏移μ可應用於STDP 圖表的LTP(因果性)部分502。x軸的交越點506(y=0)可被配置成與最大時間滯後相重合以用於考慮來自層i-1的因果性輸入的相關性。在基於訊框的輸入(亦即，輸入是包括尖峰或脈衝的特定歷時的訊框的形式)的情形中，偏移值μ可被計算為反映訊框邊界。訊框中的第一輸入尖峰(脈衝)可被視為要麼如直接由突觸後電位所建模的那樣，要麼在對神經狀態的影響態樣隨時間推移而衰退。若該訊框中的第二輸入尖峰(脈衝)被認為與特定的時間訊框是相關或有關的，則可將訊框之前的有關時間和訊框之後的有關時間在該時間訊框邊界處分開，並且經由使STDP曲線的一或多個部分偏移以使得在這些有關時間上的值可以不同(例如，對於大於一個訊框的時間為負而對於小於一個訊框的時間為正)來在可塑性態樣對其進行不同地對待。例如，可設置負偏移μ以偏移LTP，使得曲線實際上在大於訊框時間的pre(前)-post(後)時間處去到0以下並且其因此是LTD的一部分而非LTP的一部分。

湧現式顯著性偵測

本案的某些態樣支援可用來決定用於在多層尖峰神經網路中達成合理的顯著性偵測(突顯)的參數或參數範圍的設計程序。例如，顯著性偵測可經由使用同一層中在興奮性細胞之前激發的特徵選擇性長程抑制細胞(抑制性神經元)壓制特徵偵測器細胞(興奮性神經元)的回應來達成。存在各自如上所述地發展的兩個特徵偵測子層--興奮性子層和抑制性子層，如此命名是因為其輸出的預期效應。具體而言，抑制性子層可經由至興奮性細胞的扇出來提供長程抑制，其中抑制是在每個子層內的局部抑制性連接之外所外加的。這些子層可根據以上勾勒的原理來設計。

湧現是指特徵偵測或顯著性或這兩者的發展。湧現的重要考量因素是設計訓練範例。可以使用階段式訓練方案，其中每一層或模組是分開且順序地湧現的。一些層可在給定階段內並行地訓練，尤其是若它們在該訓練階段不是相互依賴的。該辦法可利用佔用視場的整個或較大區域的訓練圖像。另一態樣，可以使用同時訓練方案，其中所有可塑突觸併發地協同湧現。為了完成相同的目標，可以設計訓練圖像以使得資訊從局部尺度湧現為全域尺度。此類訓練可採取反覆運算辦法，由此各連接針對網路的一或多個獨立部分被訓練並且隨後在訓練依賴型部分或相互依賴型部分的連接之前被韌化(凍結)。訓練可分層地前進。

子層設計考慮

在如先前描述地選擇了用期望的控制元素和特徵來設計的神經元模型之後，可能需要考慮顯著性偵測子層的後續設計項目。由於湧現式長程抑制可能與興奮性子層中的湧現式特徵偵測程序相衝突，因此對特徵偵測的訓練領先於對顯著性(長程抑制)的訓練程序可能是有用的。在一態樣，特徵偵測可能需要以後在顯著性湧現之後進行再檢查。

此外，興奮性細胞神經元參數可能需要以使得存在如圖6中的柱狀圖600中展現的充分活動性(參見例如圖6中的柱狀圖602)的方式來決定。圖6根據本案的某些態樣圖示了興奮性子層在沒有抑制的情況下的尖峰發放定時(柱狀圖602)以及抑制性子層的尖峰發放定時(柱狀圖604)相對於彼此的柱狀圖602和604。

興奮性子層(要壓制的層)在沒有長程活動性(壓制)的情況下的活動性應當是大的，如圖6中所圖示的，其中長程抑制的尖峰發放(柱狀圖604)相對於興奮性子層的尖峰發放(柱狀圖602)被壓制。為了達成此目的，突觸後神經元中的尖峰數目S _post可能需要大於突觸前神經元中的尖峰數目S _pre，其中後(post)和前(pre)在從抑制性子層中的神經元到興奮性子層中的神經元的長程連通性的上下文中分別是指興奮性子層細胞和抑制性子層細胞，即：

在本案的一態樣，興奮性細胞神經元參數和抑制性(長程)細胞神經元參數可能需要以使得抑制性子層細胞更快並且在興奮性細胞之前預定時間量激發的方式來設計。此舉的示例由圖6中的柱狀圖602和604(分別是興奮性和抑制性子層的相對定時)來圖示。在一態樣，定時可以使用例如神經元模型時間常數和延遲來控制。興奮性和抑制性子層兩者均可被設計為選擇性的、分散式的和均勻的，即興奮性子層和抑制性子層中的神經元的尖峰發放可以是選擇性的、分散式的和均勻的。

存在若干選項來達成興奮性和抑制性子層的前述目標。一個選項可以是修改興奮性子層神經元的τ ₊，從而其將比抑制性子層神經元慢地發放尖峰。另一個選項可以是修改從神經網路的輸入層到興奮性子層的突觸延遲δ，從而尖峰到達興奮性子層將比到達抑制性子層慢，其中突觸延遲表示經由連接突觸前神經元和突觸後神經元的突觸來傳達尖峰所需的時間段。

長程抑制性湧現的架構範本

圖7圖示了長程抑制性湧現的示例架構範本700。該特定架構可實現興奮性子層702和抑制性子層704兩者中的特徵偵測的同時湧現。這是由於神經網路中湧現的諸部分可能是相互獨立的。隨後，針對顯著性的長程側向抑制706可以協同湧現。應注意，對於該特定實施例，突觸708、710和712是非可塑的。

在本案的一態樣，可將輸入層714的大致相同數目的神經元連接至興奮性子層702的每個神經元以及連接至抑制性子層704的每個神經元。例如，可將輸入層714的34個神經元連接至每個興奮性神經元，並且可將輸入層714的34個神經元(與連接至興奮性神經元的輸入層神經元相同或不同的神經元)連接至每個抑制性神經元。

長程抑制性湧現

如前所述，在給定了相同輸入的情況下，抑制性神經元可被故意設計成在興奮性神經元之前發放尖峰。為了將該安排用於長程抑制性突觸的湧現，可能需要協同設計STDP曲線。首先，STDP曲線可被協同設計以符合以上描述的定時差，如由圖8中的圖表800所圖示的。

典型的LTP曲線是隨著突觸前與突觸後尖峰時間之差增大而呈指數地衰退的曲線。該曲線通常適用於因果性時間(亦即，圖8的右手側，其中post與pre之間的時間差為正或即post在pre之後)。然而，經由將該曲線偏移負的DC(直流)量，STDP曲線的因果性部分不再是完全為正的。例如，在圖8中，STDP曲線的右手側在t=0處在x軸上方開始，但在10ms左右交越x軸。由此，對於短於10ms的時間差而言得到LTP，而對於大於10ms的時間差而言得到LTD。

隨後，可能需要決定湧現式長程抑制性連接對網路行為的影響。從抑制性子層細胞到興奮性子層細胞的長程扇出(亦即，突觸連接)可採取環形形狀，亦即，無局部連接或有弱局部連接以及有強長程連接，這對於顯著性湧現可能是有益的。

對湧現式顯著性的討論

在本案的工作實施例中描述的突顯效應表示自底向上形式的顯著性。自底向上顯著性是指從特徵偵測輸出本身推導出的顯著性，這與決定較高級特徵的較低級元素或成分為顯著的高級處理正相反。雖然有許多方式來實現突顯系統，但本實施例專注於檢查興奮性神經元的輸出處的行為，亦即，在本實施例中，突顯的湧現可在興奮性神經元的輸出中觀察到。圖9圖示了根據本案的某些態樣的來自層900的期望輸出的示例。條形902表示突顯區域904中的特徵匹配神經元的累積尖峰發放活動性(在一段時間上對於多個神經元)，亦即，真陽性(TP)。在本案的一態樣，累積尖峰發放活動性可能需要被取閾以決定該特定尖峰發放活動性是否表示TP。圖9中周圍的著色方形906表示突顯中的兩種類型的干擾項的累積活動性，即真陰性(TN)和假陽性(FP)。TN被界定為在突顯區域904之外的區域908中的干擾項神經元的回應。FP被界定為在突顯區域904之外的區域908中的特徵匹配神經元的回應。

應注意，在視場中，興奮性和抑制性神經元兩者皆可以是高度取向調諧的並且在空間上是均勻地分佈的。由於TP應當具有指示正確(期望)特徵的正中目標的活動性，因此這態樣在設計興奮性子層時應當被考慮。另一態樣，TN應當具有指示干擾項特徵的在非目標位置的活動性，且這態樣在設計抑制性子層時應當被考慮。此外，低程度的FP應當存在於抑制性子層中。

實現興奮性輸出中的突顯的另一種方式可以是對於來自突顯區域的神經元、以及對於來自干擾項區域的那些神經元引入不同的時間延遲。圖10圖示了假設的定時分佈1000，其一部分1002是期望突顯尖峰的分佈，且一部分1004是干擾項的尖峰定時分佈。想法是興奮性輸出中充分的定時延遲將在多層神經網路的上丘(SC)模組中作為突顯被讀出。

簡單/複雜細胞湧現

要檢查的第一個結果是簡單細胞湧現。圖11圖示了使用尖峰觸發平均(STA)方法計算出的所有L4 Magno(大)神經元的感受野的子取樣1100。Magno表示取向選擇性通路，而parvo(小)表示色彩通路。簡單細胞可以是取向選擇性細胞。湧現可由於暴露於具有相應特徵的視覺刺激(諸如magno通路中的簡單細胞被暴露於移動的定向條形或光柵)而發生。STA方法是標準表徵方法，其量測細胞的基於平均速率的活動性對特定刺激(取向)的感受野。

此外，可能需要檢查特徵分佈的空間均勻性和平坦性。使用L23 Magno神經元作為示例，在圖12的標繪1202中可觀察到多層神經網路中所有L23興奮性神經元的取向特徵的空間均勻性。標繪1204圖示了具有在-90到90度之間的值的空間取向特徵的柱狀圖。標繪1206圖示了L23興奮性神經元的圓方差。可預期L23抑制性神經元有類似的結果。圓方差表示跨取向在選擇性上的方差。由此，圓方差越小，細胞就被越定向地調諧。在這態樣在興奮性和抑制性細胞集群之間沒有差別，因為其是彼此獨立的並且唯一不同之處在於其對後續細胞的輸出(不是輸入)分別是興奮性的而非抑制性的。

結果湧現的長程抑制應當具有從初始起增大和減小的權重，以使得結果所得的強連接絕大多數(若不是全部)是由於突觸前神經元和突觸後神經元之間的相似特徵造成的，如圖13中的取向映射1302中所圖示的。看待此結果的另一種方式是比較訓練前後的取向分佈。圖13中的標繪1304圖示了這兩種情景。如圖13中所示，部分1306表示訓練前分佈，其非常類似於圖12中的標繪1202。-90和90取向是不可見的，因為它們幾乎完全被訓練後分佈所覆蓋。換言之，該情形中的訓練後分佈(用圖13中的柱狀圖1308圖示)僅存在於-90或90度上，由此證實了原始設計要求。

長程訓練之後的尖峰活動性

經由所連接的長程抑制，興奮性子層的活動性應當被壓制，如圖14中的圖表1400中所圖示的，亦即，相比於圖6中的柱狀圖602，在圖14中興奮性子層活動性的柱狀圖1402中被壓制。抑制性子層的活動性用圖14的柱狀圖1404來圖示。經由設計，長程抑制性神經元的激發可以在興奮性子層的神經元之前，例如平均而言在其之前約10ms。在本案的一態樣，STDP學習曲線的LTP部分的形狀可被設計成使得STDP捕捉到因果性安排。長程抑制可作為干擾項壓制機制而湧現。

干擾項是對並非獨特的特徵的回應。干擾項可能由於對普遍特徵回應的壓制不足而出現，壓制不足是由於不存在具有相同取向的近旁回應或者由於特徵偵測不良。干擾項由此可經由改善特徵偵測的均勻性和效能以及抑制範圍來得到壓制，從而即使更遠的相同特徵回應亦能壓制非獨特的干擾項。例如，局部區域中可能存在僅一個水平條形偵測細胞。即使在整個視場上到處皆具有水平條形，該細胞亦可能激發並且不正確地暗示存在顯著的單個獨特水平條形。這是干擾項，因為實際上存在更多水平條形。為了修正這一點，可從更多遠端水平細胞連入抑制或經由在干擾項鄰域中發展更多水平細胞回應來改善均勻性。

在訓練之後，對長程抑制性扇出連接中的零權重數目與非零權重數目之比r的檢查可提供長程側向抑制是否已取決於特徵空間如何被劃分並在空間上分佈而恰當地湧現了的指示。比率應當與具有共同感受野(例如，在不同位置)的細胞部分是相對不分上下的。通常情況下，在經典STDP學習規則下，突觸權重可收斂至雙峰分佈，其中絕大多數突觸權重可僅具有0和1的值，其示例用圖15中的柱狀圖1500來圖示。應注意，在柱狀圖1500中，權重的比率/分佈靠近0(最小)和1(最大)。

突顯期間的抑制性神經元活動性

獨立於連接抑制性神經元與興奮性神經元的長程突觸的恰當湧現地，存在關於抑制性神經元的必要條件以使突顯起效。首先，真陰性信號可能需要存在於抑制性神經元回應中，因為它們負責壓制興奮性神經元中的干擾項。其次，平均假陽性信號可能需要明顯低於真陽性回應。

圖16圖示根據本案的某些態樣的兩種抑制性神經元在突顯測試期間的取樣標繪1602和1604。曲線1606和1608是真陽性，曲線1610和1612是真陰性，而曲線1614和1616是假陽性回應。突顯測試通常包括將系統暴露於具有嵌入在非獨特特徵間的獨特特徵的輸入(諸如具有單個分隔號形的水平橫條圖像)並確認獨特特徵被偵測為顯著的。

取向突顯的尖峰輸出

如以上所討論的，興奮性神經元中對突顯回應的預期輸出可被表示為相比於視場的其餘部分而言在突顯區域中佔優勢的累積尖峰活動性。圖17圖示了根據本案的某些態樣的在不同突顯試驗期間的累積尖峰活動性的子集。曲線1702-1710是真陽性，曲線1712-1720是真陰性，而曲線1722-1730是假陽性回應。

基於該輸出模式，可設計針對n訊框輸入信號來累積尖峰活動性的突顯方案，並基於最活躍的區域作出眼跳決策。圖18中的表1800反映了該突顯方案的潛在效能。該突顯讀出方案是指基於由獨特細胞或細胞集回應於特定位置上的該特徵所作的尖峰發放回應的累積而將被偵測的獨特特徵決定為顯著。

顯著性讀出

本案的某些態樣支援不同的讀出設計。關於突顯(顯著性)的資訊可被編碼在興奮性子層細胞的激發中。在本案的一態樣，該資訊可經由激發率與空間密度之比來編碼(最高激發的區域可能是目標)。在另一態樣，該資訊可經由激發定時來編碼(最早激發的區域可能是目標)。在基於速率的突顯的情形中，正中目標的位置處的輸出尖峰可超過偏離目標的位置處的尖峰。在基於回應時間的突顯的情形中，正中目標的位置處的輸出尖峰可比偏離目標的位置處的尖峰快。

然而，亦存在一些替換的讀出方法。在一態樣，讀出可在預定時間之後被決定為是具有最多累積尖峰的區域。在另一態樣，讀出可在任何給定區域中的尖峰計數超過預定閾值時被決定。在又一態樣，若任何區域中的尖峰超過累積計數，則讀出可在到達預定時間時被決定。

發展/湧現的一般辦法可包括若干操作步驟。在本案的一態樣，Hunzinger Cold細胞動態(參數)可被決定以在期望貢獻輸入(要偵測的特徵的元素)之後獲得激發。Hunzinger Cold神經元模型可包括兩個或兩個以上態相(態樣)，包括洩漏閾下態相(稱為模仿帶洩漏積分激發(LIF)的行為的負態相)和閾上態相(稱為正態相或抗洩漏積分激發(ALIF)態相)。例如，ALIF態相的時間常數可加速或減速以在時間上相對於輸入(興奮性的和抑制性的)來定位激發。LIF態相的時間常數和閾值/權重比例縮放可被決定以適合期望的輸入特徵元素(數目和時間分佈)。此外，可程式設計延遲可被可任選地用於在相對時間上對尖峰進行定位。

在本案的一態樣，抑制性激發可領先於要壓制的興奮性激發。局部抑制可被用於壓制近旁細胞中的共同回應。神經元電路的側向抑制性連通性的範圍可被決定以符合期望均勻性。神經元電路的抑制強度可被決定以符合期望輸出：完全壓制(速率讀出)或目標子集群的延遲(定時讀出)。速率讀出是基於回應速率的讀出(每秒尖峰數、或尖峰總數--例如，更多尖峰或更高速率可對應於更明顯的值)。定時讀出是基於在尖峰發生時的時刻的讀出(例如，較早的尖峰可對應於更明顯的值)。

在本案的一態樣，輸入可被決定以使得期望輸入信號在細胞激發前在所選取窗內並且跨給定空間區域/模式發生。STDP學習曲線可被決定以使得LTP部分的形狀適合於包括相關的輸入信號(特徵的元素)，並且LTD部分的形狀適合於包括非因果性輸入(亦即，在突觸後尖峰領先於突觸前尖峰時)以及在所界定的時間窗之外的輸入。這可以用可塑性來執行以發展取向選擇性的、分散式的和均勻的特徵偵測層。

本案的某些態樣支援同層中的湧現式突顯作為特徵偵測。在一態樣，突顯可經由使用在興奮性層之前激發的特徵選擇性長程抑制性層壓制特徵偵測器(興奮性)細胞的回應來達成。除了局部抑制之外，長程「環狀」連接模式亦可被用於長程抑制。在特定實施例中，長程連接可被初始化為0(或接近0或斷開連接)及/或輸出至興奮性層的長程連接的可塑性可被關閉。

在本案的一態樣，興奮性細胞神經元參數和抑制性 (長程)細胞神經元參數可被決定，從而抑制性細胞更快並且在興奮性細胞之前預定時間量激發。特徵偵測的發展可根據前述技術在興奮性細胞和長程抑制性細胞兩者中達成。興奮性和長程抑制性子層兩者均可發展為選擇性的、分散式的和均勻的--主要區別在於抑制性細胞可被設計成比興奮性細胞早激發。

在本案的一態樣，在興奮性和抑制性子層兩種情形中，可為特徵偵測學習(前饋和局部側向)執行突觸權重的韌化(或即突觸權重的凍結)程序。韌化是固化或逐漸地降低權重上的靈活性或可塑性的程序。在極端情形下，韌化可在單個瞬間被應用，在該瞬間之前權重是完全可塑的並且在該瞬間之後權重可被凍結。從抑制性長程到興奮性的長程連接的可塑性可被開啟。STDP可如上所述地用來學習多層尖峰神經網路的長程抑制性層的神經元電路與該多層尖峰神經網路的興奮性特徵偵測層的神經元電路之間的因果性連通性。基於對因果性連通性的學習，從長程抑制性細胞到興奮性特徵偵測細胞的突觸權重可被決定。

在本案的一態樣，關於突顯的資訊可被編碼在興奮性細胞的激發中。該資訊的編碼可經由激發率與空間密度之比(最高激發的區域是目標)或經由激發定時(最早激發的區域是目標)來達成。

然而，可存在許多其他可能的讀出，包括在預定時間之後將讀出決定為是具有最多累積尖峰的區域，在任何給定區域中的尖峰計數超過預定閾值時決定讀出，以及若任何區域中的尖峰發放超過累積計數，則在到達預定時間時決定讀出。

嘗試在同一層中構建特徵偵測和突顯兩者時可能存在衝突。若特徵偵測層不因突顯而被破壞，則可避免這種情況。這可經由在頂部添加附加層並將長程抑制性連接連線到該附加層而非特徵偵測層(複雜細胞)來達成。

圖19圖示根據本案的某些態樣的用於設計湧現式多層尖峰神經網路的示例操作1900。在1902，可基於神經網路期望的一或多個功能特徵來決定神經網路的參數。在1904，可隨著所決定的參數被進一步適配、調諧和更新而使一或多個功能特徵朝著期望的功能特徵發展。這些參數可包括以下至少一者：神經網路的神經元電路的時間常數、神經網路的突觸連接的時間常數、神經網路的定時參數或神經網路中的學習的定時態樣。一或多個功能特徵可包括以下至少一者：多層尖峰神經網路的一層中的特徵偵測、或多層尖峰神經網路的另一層中的顯著性偵測。

在本案的一態樣，一或多個功能特徵可在時間進化方案中隨著這些參數隨時間推移被適配、調諧和更新而朝著期望的功能特徵發展。在本案的另一態樣，一或多個功能特徵可在反覆運算方案中隨著這些參數基於先前發展的一或多個功能特徵被適配、調諧和更新而朝著期望的功能特徵進一步發展。

在本案的一態樣，決定神經元時間常數、連線時間常數、定時參數或學習的定時態樣中的至少一者可包括：調節神經元時間常數、連線時間常數以及與學習的定時態樣有關的尖峰定時依賴型可塑性(STDP)學習曲線的形狀，以使得神經網路期望要相關的輸入和輸出態樣匹配於STDP學習曲線的增強區域，並且神經網路的不期望或非特異態樣匹配於STDP學習曲線的抑壓區域。

在本案的一態樣，決定定時參數包括：決定與多層尖峰神經網路的興奮性層的第一神經元電路有關的參數以及與多層尖峰神經網路的長程抑制性層的第二神經元電路有關的參數，以使得這些第二神經元電路更快且在第一神經元電路之前預定時間量激發。另外，特徵偵測的發展可在第一和第二神經元電路兩者中達成。另外，可對第一和第二神經元電路兩者的特徵偵測學習應用對突觸權重的韌化。在本案的一態樣，決定神經網路的神經元電路的時間常數包括：加速或減速神經元電路的模型的ALIF態樣的時間常數，以在時間上相對於多層尖峰神經網路的抑制性子層的輸入以及相對於多層尖峰神經網路的興奮性子層的輸入來定位激發。

圖20圖示了根據本案的某些態樣的使用通用處理器 2002對前述用於設計湧現式多層尖峰神經網路的方法的示例實現2000。與計算網路(神經網路)相關聯的變數(神經信號)、突觸權重和系統參數可被儲存在記憶體塊2004中，而在通用處理器2002處執行的有關指令可從程式記憶體2006中載入。在本案的一態樣，載入到通用處理器2002中的指令可包括：用於基於神經網路期望的一或多個功能特徵來決定神經網路的參數的代碼；及用於隨著所決定的參數被進一步適配、調諧和更新而使一或多個功能特徵朝著期望的功能特徵發展的代碼。

圖21圖示了根據本案的某些態樣的前述用於設計湧現式多層尖峰神經網路的方法的示例實現2100，其中記憶體2102可經由互連網路2104與計算網路(神經網路)的個體(分散式)處理單元(神經處理器)2106對接。與計算網路(神經網路)相關聯的變數(神經信號)、突觸權重和系統參數可被儲存在記憶體2102中，並且可從記憶體2102經由互連網路2104的連接被載入到每個處理單元(神經處理器)2106中。在本案的一態樣，處理單元2106可被配置成：基於神經網路期望的一或多個功能特徵來決定神經網路的參數；及隨著所決定的參數被進一步適配、調諧和更新而使一或多個功能特徵朝著期望的功能特徵發展。

圖22圖示了根據本案的某些態樣的基於分散式權重記憶體2202和分散式處理單元(神經處理器)2204對前述用於設計湧現式多層尖峰神經網路的方法的示例實現2200。如圖22中所圖示的，一個記憶體組2202可直接與計算網路(神經網路)的一個處理單元2204對接，其中記憶體組2202可儲存與處理單元(神經處理器)2204相關聯的變數(神經信號)、突觸權重和系統參數。在本案的一態樣，處理單元2204可被配置成：基於神經網路期望的一或多個功能特徵來決定神經網路的參數；及隨著所決定的參數被進一步適配、調諧和更新而使一或多個功能特徵朝著期望的功能特徵發展。

圖23圖示根據本案的某些態樣的神經網路2300的示例實現。如圖23中所圖示的，神經網路2300可包括複數個局部處理單元2302，其可執行以上描述的方法的各種操作。每個處理單元2302可包括儲存神經網路的參數的局部狀態記憶體2304和局部參數記憶體2306。另外，處理單元2302可包括具有局部(神經元)模型程式的記憶體2308、具有局部學習程式的記憶體2310以及局部連接記憶體2312。此外，如圖23中所圖示的，每個局部處理單元2302可與用於配置處理的單元2314對接並且與路由連接處理元件2316對接，用於配置處理的單元2314可提供對局部處理單元的局部記憶體的配置，路由連接處理元件2316提供局部處理單元2302之間的路由。

根據本案的某些態樣，每個局部處理單元2302可被配置成：基於神經網路期望的一或多個功能特徵來決定神經網路的參數；及隨著所決定的參數被進一步適配、調諧和更新而使一或多個功能特徵朝著期望的功能特徵發展。

根據本案的某些態樣，圖19中所圖示的操作1900可在硬體中執行，例如由來自圖23的一或多個處理單元2302來執行。

以上所描述的方法的各種操作可由能夠執行相應功能的任何合適的裝置來執行。這些裝置可包括各種硬體及/或軟體元件及/或模組，包括但不限於電路、特殊應用積體電路(ASIC)、或處理器。一般而言，在附圖中圖示操作的場合，那些操作可具有帶相似編號的相應配對手段功能元件。例如，圖19中所圖示的操作1900對應於圖19A中所圖示的元件1900A。

例如，用於加速的裝置可包括特殊應用積體電路，例如來自圖20的通用處理器2002、來自圖21的一或多個處理單元2106、來自圖22的一或多個處理單元2204、或來自圖23的一或多個處理單元2302。用於達成的裝置可包括特殊應用積體電路，例如通用處理器2002、一或多個處理單元2106、一或多個處理單元2204、或一或多個處理單元2302。用於調節的裝置可包括特殊應用積體電路，例如通用處理器2002、一或多個處理單元2106、一或多個處理單元2204、或一或多個處理單元2302。用於韌化突觸權重的裝置可包括特殊應用積體電路，例如通用處理器2002、一或多個處理單元2106、一或多個處理單元2204、或一或多個處理單元2302。用於編碼資訊的裝置可包括特殊應用積體電路，例如通用處理器2002、一或多個處理單元2106、一或多個處理單元2204、或一或多個處理單元2302。用於決定的裝置可包括特殊應用積體電路，例如通用處理器2002、一或多個處理單元2106、一或多個處理單元2204、或一或多個處理單元2302。用於決定與神經元電路有關的參數的裝置可包括特殊應用積體電路，例如通用處理器2002、一或多個處理單元2106、一或多個處理單元2204、或一或多個處理單元2302。用於決定讀出的裝置可包括特殊應用積體電路，例如通用處理器2002、一或多個處理單元2106、一或多個處理單元2204、或一或多個處理單元2302。用於在預定時間之後決定讀出的裝置可包括特殊應用積體電路，例如通用處理器2002、一或多個處理單元2106、一或多個處理單元2204、或一或多個處理單元2302。用於決定時間常數的裝置可包括特殊應用積體電路，例如通用處理器2002、一或多個處理單元2106、一或多個處理單元2204、或一或多個處理單元2302。用於發展特徵偵測的裝置可包括特殊應用積體電路，例如通用處理器2002、一或多個處理單元2106、一或多個處理單元2204、或一或多個處理單元2302。用於激發神經網路的神經元電路的裝置可包括特殊應用積體電路，例如通用處理器2002、一或多個處理單元2106、一或多個處理單元2204、或一或多個處理單元2302。用於壓制神經網路的神經元電路的激發的裝置可包括特殊應用積體電路，例如通用處理器2002、一或多個處理單元2106、一或多個處理單元2204、或一或多個處理單元2302。用於開啟長程突觸連接的可塑性的裝置可包括特殊應用積體電路，例如通用處理器2002、一或多個處理單元2106、一或多個處理單元2204、或一或多個處理單元2302。

如本文中所使用的，術語「決定」廣泛涵蓋各種各樣的動作。例如，「決定」可包括演算、計算、處理、推導、研究、檢視(例如，在表、資料庫或其他資料結構中檢視)、探知及諸如此類。而且，「決定」可包括接收(例如，接收資訊)、存取(例如，存取記憶體中的資料)及諸如此類。而且，「決定」亦可包括解析、選擇、選取、確立、及諸如此類。

如本文中所使用的，引述一列項目中的「至少一個 (者)」的短語是指這些專案的任何組合，包括單個成員。作為示例，「a、b或c中的至少一個」旨在涵蓋：a、b、c、a-b、a-c、b-c、以及a-b-c。

結合本案所描述的各種說明性邏輯區塊、模組以及電路可用設計成執行本文所描述功能的通用處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式設計閘陣列信號(FPGA)或其他可程式設計邏輯裝置(PLD)、個別閘門或電晶體邏輯、個別的硬體元件、或其任何組合來實現或執行。通用處理器可以是微處理器，但在替換方案中，處理器可以是任何市售的處理器、控制器、微控制器或狀態機。處理器亦可以被實現為計算設備的組合，例如DSP 與微處理器的組合、複數個微處理器、與DSP核心協同的一或多個微處理器、或任何其他此類配置。

結合本案描述的方法或演算法的步驟可直接在硬體中、在由處理器執行的軟體模組中、或在這兩者的組合中實施。軟體模組可常駐在本領域所知的任何形式的儲存媒體中。可使用的儲存媒體的一些示例包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體、EPROM記憶體、EEPROM記憶體、暫存器、硬碟、可移除磁碟、CD-ROM等。軟體模組可包括單一指令、或許多數指令，且可分佈在若干不同的程式碼片段上，分佈在不同的程式間以及跨多個儲存媒體分佈。儲存媒體可被耦合到處理器以使得處理器能從/向儲存媒體讀寫資訊。替換地，儲存媒體可以被整合到處理器。

本文所揭示的方法包括用於達成所描述的方法的一或多個步驟或動作。這些方法步驟及/或動作可以彼此互換而不會脫離請求項的範疇。換言之，除非指定了步驟或動作的特定次序，否則具體步驟及/或動作的次序及/或使用可以改動而不會脫離請求項的範疇。

所描述的功能可在硬體、軟體、韌體或其任何組合中實現。若以硬體實現，則示例硬體設定可包括設備中的處理系統。處理系統可以用匯流排架構來實現。取決於處理系統的具體應用和整體設計約束，匯流排可包括任何數目的互連匯流排和橋接器。匯流排可將包括處理器、機器可讀取媒體以及匯流排介面的各種電路連結在一起。匯流排介面可用於尤其將網路介面卡等經由匯流排連接至處理系統。網路介面卡可用於實現信號處理功能。對於某些態樣，使用者介面(例如，按鍵板、顯示器、滑鼠、遊戲操縱桿等)亦可被連接至匯流排。匯流排亦可連結各種其他電路(諸如定時源、周邊設備、穩壓器、電源管理電路等)，這些電路在本領域中是眾所周知的，因此將不再贅述。

處理器可負責管理匯流排和一般處理，包括執行儲存在機器可讀取媒體上的軟體。處理器可用一或多個通用及/或專用處理器來實現。示例包括微處理器、微控制器、DSP處理器以及其他能執行軟體的電路系統。軟體應當被寬泛地解釋成意指指令、資料或其任何組合，無論是被稱作軟體、韌體、仲介軟體、微代碼、硬體描述語言或其他。作為示例，機器可讀取媒體可以包括RAM(隨機存取記憶體)、快閃記憶體、ROM(唯讀記憶體)、PROM(可程式設計唯讀記憶體)、EPROM(可抹除可程式設計唯讀記憶體)、EEPROM(電可抹除可程式設計唯讀記憶體)、暫存器、磁碟、光碟、硬驅動器、或者任何其他合適的儲存媒體、或其任何組合。機器可讀取媒體可被實施在電腦程式產品中。電腦程式產品可以包括包裝材料。

在硬體實現中，機器可讀取媒體可以是處理系統中與處理器分開的一部分。然而，如熟習此項技術者將容易領會的，機器可讀取媒體、或其任何部分可在處理系統外部。作為示例，機器可讀取媒體可包括傳輸線、由資料調制的載波、及/或與設備分開的電腦產品，所有這些皆可由處理器經由匯流排介面來存取。替換地或補充地，機器可讀取媒體、或其任何部分可被整合到處理器中，諸如快取記憶體及/或通用暫存器檔可能就是這種情形。

處理系統可以被配置為通用處理系統，該通用處理系統具有一或多個提供處理器功能性的微處理器、和提供機器可讀取媒體中的至少一部分的外部記憶體，它們皆經由外部匯流排架構與其他支援電路系統連結在一起。替換地，處理系統可以包括一或多個神經元形態處理器以用於實現本文述及之神經元模型和神經系統模型。作為另一替代方案，處理系統可以用帶有整合在單塊晶片中的處理器、匯流排介面、使用者介面、支援電路系統和至少一部分機器可讀取媒體的ASIC(特殊應用積體電路)來實現，或者用一或多個FPGA(現場可程式設計閘陣列)、PLD(可程式設計邏輯裝置)、控制器、狀態機、閘控邏輯、個別硬體元件、或者任何其他合適的電路系統、或者能執行本案通篇所描述的各種功能性的電路的任何組合來實現。取決於具體應用和加諸於整體系統上的總設計約束，熟習此項技術者將認識到如何最佳地實現關於處理系統所描述的功能。

機器可讀取媒體可包括數個軟體模組。這些軟體模組包括當由處理器執行時使處理系統執行各種功能的指令。這些軟體模組可包括傳送模組和接收模組。每個軟體模組可以常駐在單個存放裝置中或者跨多個存放裝置分佈。作為示例，當觸發事件發生時，可以從硬驅動器中將軟體模組載入到RAM中。在軟體模組執行期間，處理器可以將一些指令載入到快取記憶體中以提高存取速度。隨後可將一或多個快取記憶體行載入到通用暫存器檔中以供處理器執行。在以下談及軟體模組的功能性時，將理解此類功能性是在處理器執行來自該軟體模組的指令時由該處理器來實現的。

若在軟體中實現，則各功能可作為一或多個指令或代碼儲存在電腦可讀取媒體上或藉其進行傳送。電腦可讀取媒體包括電腦儲存媒體和通訊媒體兩者，這些媒體包括促成電腦程式從一地向另一地轉移的任何媒體。儲存媒體可以是能被電腦存取的任何可用媒體。作為示例而非限定，此類電腦可讀取媒體可包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存、磁碟儲存或其他磁存放裝置、或能被用來攜帶或儲存指令或資料結構形式的期望程式碼且能被電腦存取的任何其他媒體。任何連接亦被正當地稱為電腦可讀取媒體。例如，若軟體是使用同軸電纜、光纖電纜、雙絞線、數位用戶線(DSL)、或無線技術(諸如紅外(IR)、無線電、以及微波)從web網站、伺服器、或其他遠端源傳送而來，則同軸電纜、光纖電纜、雙絞線、DSL、或無線技術(諸如紅外、無線電以及微波)就被包括在媒體的定義之中。如本文中所使用的盤(disk)和碟(disc)包括壓縮光碟(CD)、鐳射光碟、光碟、數位多功能光碟(DVD)、軟碟、和藍光^®光碟，其中盤(disk)常常磁性地再現資料，而碟(disc)用鐳射來光學地再現資料。因此，在一些態樣，電腦可讀取媒體可包括非瞬態電腦可讀取媒體(例如，有形媒體)。另外，對於其他態樣，電腦可讀取媒體可包括瞬態電腦可讀取媒體(例如，信號)。上述的組合亦應被包括在電腦可讀取媒體的範疇內。

因此，某些態樣可包括用於執行本文中介紹的操作的電腦程式產品。例如，此類電腦程式產品可包括其上儲存(及/或編碼)有指令的電腦可讀取媒體，這些指令能由一或多個處理器執行以執行本文中所描述的操作。對於某些態樣，電腦程式產品可包括包裝材料。

此外，應當領會，用於執行本文中所描述的方法和技術的模組及/或其他合適裝置能由使用者終端及/或基地台在適用的場合下載及/或以其他方式獲得。例如，此類設備能被耦合至伺服器以促成用於執行本文中所描述的方法的裝置的轉移。或者，本文述及之各種方法能經由儲存裝置(例如，RAM、ROM、諸如壓縮光碟(CD)或軟碟等實體儲存媒體等)來提供，以使得一旦將儲存裝置耦合至或提供給使用者終端及/或基地台，該設備就能獲得各種方法。此外，能利用適於向設備提供本文中所描述的方法和技術的任何其他合適的技術。

應該理解的是，請求項並不被限定於以上所圖示的精確配置和元件。可在以上所描述的方法和裝置的佈局、操作和細節上作出各種改動、更換和變形而不會脫離請求項的範疇。