TW201401188A - 用於學習尖波神經網路的動態事件神經元和突觸模型 - Google Patents

用於學習尖波神經網路的動態事件神經元和突觸模型 Download PDF

Info

Publication number
TW201401188A
TW201401188A TW102118790A TW102118790A TW201401188A TW 201401188 A TW201401188 A TW 201401188A TW 102118790 A TW102118790 A TW 102118790A TW 102118790 A TW102118790 A TW 102118790A TW 201401188 A TW201401188 A TW 201401188A
Authority
TW
Taiwan
Prior art keywords
state
event
neuron model
condition
determining
Prior art date
Application number
TW102118790A
Other languages
English (en)
Inventor
Jason Frank Hunzinger
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201401188A publication Critical patent/TW201401188A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Feedback Control In General (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本發明的某些態樣提供了用於連續時間的神經網路的基於事件的模擬的方法和裝置。該模型是靈活的，具有豐富的行為選項，可以進行直接求解，並且複雜度低。一個示例性的方法通常包括以下步驟：決定神經元模型在第一事件時或者在第一事件之後不久的第一狀態，其中神經元模型具有連續時間中的封閉式解；及基於第一狀態，來決定神經元模型在第二事件時或者在第二事件不久的第二狀態。分別僅在第一事件和第二事件時才將第一狀態和第二狀態的動態耦合到神經元模型，並且在第一事件與第二事件之間對第一狀態和第二狀態的動態進行解耦合。

Description

用於學習尖波神經網路的動態事件神經元和突觸模型
本發明的某些態樣大體係關於神經網路且特定言之，係關於針對神經元和突觸的連續時間的基於事件的模型。
人工神經網路是由互連的人工神經元(亦即，神經元模型)群組構成的數學或計算模型。可以根據(或者至少不嚴格地基於)生物神經網路(例如，在人腦中發現的生物神經網路)的結構及/或功能來匯出人工神經網路。因為人工神經網路可以根據觀測推斷出函數，因此該等網路在以下應用中特別有用，亦即，在該等應用中，任務或資料的複雜度使得用手設計該函數不切實際。
一種類型的人工神經網路是尖波神經網路，該尖波神經網路將時間的概念併入到其操作模型以及神經元和突出狀態中，從而提高了此種類型的神經元模擬中的真實水平。尖波神經網路基於神經元僅在膜電位達到閾值時才觸發的概念。當神經元觸發時，該神經元產生去往其他神經元的尖波 ，該等其他神經元進而基於此種接收到的尖波提高或降低其膜電位。
本發明的某些態樣大體係關於連續時間的神經網路的基於事件的模擬。該模型是靈活的，具有豐富的行為選項，可以直接進行求解，並且複雜度低。
本發明的某些態樣提供了一種用於神經網路的方法。該方法通常包括以下步驟：決定神經元模型的第一狀態，其中該神經元模型具有連續時間中的封閉式解，並且其中該神經元模型的狀態動態被劃分成兩個或兩個以上狀況(regime)；及基於該第一狀態，從該兩個或兩個以上狀況中決定該神經元模型的操作狀況。
本發明的某些態樣提供了一種用於神經網路的裝置。該裝置通常包括處理系統，該處理系統被配置為決定神經元模型的第一狀態，其中該神經元模型具有連續時間中的封閉式解，並且其中該神經元模型的狀態動態被劃分成兩個或兩個以上狀況；及基於該第一狀態，從該兩個或兩個以上狀況中決定該神經元模型的操作狀況。
本發明的某些態樣提供了一種用於神經網路的裝置。該裝置通常包括用於決定神經元模型的第一狀態的手段，其中該神經元模型具有連續時間中的封閉式解，並且其中該神經元模型的狀態動態被劃分成兩個或兩個以上狀況；及用於基於該第一狀態，從該兩個或兩個以上狀況中決定該神經元模型的操作狀況的手段。
本發明的某些態樣提供了一種用於神經網路的電腦程式產品。該電腦程式產品通常包括電腦可讀取媒體，該電腦可讀取媒體具有可執行以進行以下操作的指令：決定神經元模型的第一狀態，其中該神經元模型具有連續時間中的封閉式解，並且其中該神經元模型的狀態動態被劃分成兩個或兩個以上狀況；及基於該第一狀態，從該兩個或兩個以上狀況中決定該神經元模型的操作狀況。
本發明的某些態樣提供了一種用於神經網路的方法。該方法通常包括以下步驟：決定神經元模型在第一事件時或在第一事件之後不久的第一狀態，其中該神經元模型具有連續時間中的封閉式解；及基於該第一狀態，來決定該神經元模型在第二事件時或在第二事件之後不久的第二狀態，其中僅在該第一事件和該第二事件時才分別將該第一狀態和該第二狀態的動態耦合到該神經元模型，並且在該第一事件與該第二事件之間對該第一狀態和該第二狀態的該動態進行解耦合。
本發明的某些態樣提供了一種用於神經網路的裝置。該裝置通常包括處理系統，該處理系統被配置為：決定神經元模型在第一事件時或在第一事件之後不久的第一狀態，其中該神經元模型具有連續時間中的封閉式解；及基於該第一狀態，來決定該神經元模型在第二事件時或在第二事件之後不久的第二狀態，其中僅在該第一事件和該第二事件時才分別將該第一狀態和該第二狀態的動態耦合到該神經元模型，並且在該第一事件與該第二事件之間對該第一狀態和該第 二狀態的該動態進行解耦合。
本發明的某些態樣提供了一種用於神經網路的裝置。該裝置通常包括用於決定神經元模型在第一事件時或在第一事件之後不久的第一狀態的手段，其中該神經元模型具有連續時間中的封閉式解；及用於基於該第一狀態，來決定該神經元模型在第二事件時或在第二事件之後不久的第二狀態的手段，其中僅在該第一事件和該第二事件時才分別將該第一狀態和該第二狀態的動態耦合到該神經元模型，並且在該第一事件與該第二事件之間對該第一狀態和該第二狀態的該動態進行解耦合。
本發明的某些態樣提供了一種用於神經網路的電腦程式產品。該電腦程式產品通常包括電腦可讀取媒體，該電腦可讀取媒體具有可執行以進行以下操作的指令：決定神經元模型在第一事件時或在第一事件之後不久的第一狀態，其中該神經元模型具有連續時間中的封閉式解；及基於該第一狀態，來決定該神經元模型在第二事件時或在第二事件之後不久的第二狀態，其中僅在該第一事件和該第二事件時才分別將該第一狀態和該第二狀態的動態耦合到該神經元模型，並且在該第一事件與該第二事件之間對該第一狀態和該第二狀態的該動態進行解耦合。
本發明的某些態樣提供了一種用於神經網路的方法。該方法通常包括以下步驟：決定神經元模型在第一事件時或者在第一事件之後不久的第一狀態，其中該神經元模型具有連續時間中的封閉式解；及基於該第一狀態來決定第二事 件，在該第二事件時(若有的話)將發生該神經元模型的第二狀態，其中僅在該第一事件和該第二事件時才分別將該第一狀態和該第二狀態的動態耦合到該神經元模型，並且在該第一事件與該第二事件之間對該第一狀態和該第二狀態的該動態進行解耦合。
本發明的某些態樣提供了一種用於神經網路的裝置。該裝置通常包括處理系統，該處理系統被配置為：決定神經元模型在第一事件時或者在第一事件之後不久的第一狀態，其中該神經元模型具有連續時間中的封閉式解；及基於該第一狀態來決定第二事件，在該第二事件時(若有的話)將發生該神經元模型的第二狀態，其中僅在該第一事件和該第二事件時才分別將該第一狀態和該第二狀態的動態耦合到該神經元模型，並且在該第一事件與該第二事件之間對該第一狀態和該第二狀態的該動態進行解耦合。
本發明的某些態樣提供了一種用於神經網路的裝置。該裝置通常包括用於決定神經元模型在第一事件時或者在第一事件之後不久的第一狀態的手段，其中該神經元模型具有連續時間中的封閉式解；及用於基於該第一狀態來決定第二事件的手段，在該第二事件時(若有的話)將發生該神經元模型的第二狀態，其中僅在該第一事件和該第二事件時才分別將該第一狀態和該第二狀態的動態耦合到該神經元模型，並且在該第一事件與該第二事件之間對該第一狀態和該第二狀態的該動態進行解耦合。
本發明的某些態樣提供了一種用於神經網路的電腦 程式產品。該電腦程式產品通常包括電腦可讀取媒體，該電腦可讀取媒體具有可執行以進行以下操作的指令：決定神經元模型在第一事件時或者在第一事件之後不久的第一狀態，其中該神經元模型具有連續時間中的封閉式解；及基於該第一狀態來決定第二事件，在該第二事件時(若有的話)將發生該神經元模型的第二狀態，其中僅在該第一事件和該第二事件時才分別將該第一狀態和該第二狀態的動態耦合到該神經元模型，並且在該第一事件與該第二事件之間對該第一狀態和該第二狀態的該動態進行解耦合。
100‧‧‧示例性神經系統
102‧‧‧一級神經元
104‧‧‧突觸連接網路
106‧‧‧另一級神經元
1081‧‧‧信號
1082‧‧‧信號
108N‧‧‧信號
1101‧‧‧輸出尖波
1102‧‧‧輸出尖波
110M‧‧‧輸出尖波
200‧‧‧圖形
202‧‧‧負狀況
204‧‧‧正狀況
300‧‧‧表格
400‧‧‧表格
500‧‧‧示例性操作
502‧‧‧操作步驟
504‧‧‧操作步驟
600‧‧‧操作
602‧‧‧操作步驟
604‧‧‧操作步驟
700‧‧‧操作
702‧‧‧操作步驟
704‧‧‧操作步驟
為了能夠詳細理解本發明的上述特徵，可以參照各個態樣對以上簡要概括做出更具體的描述，該等態樣中的一些在附圖態樣中示出。但是，應當注意的是，由於描述可以准許其他等效的態樣，因此該等附圖僅圖示本發明的某些典型態樣，因而不應被認為限制本發明的範圍。
圖1圖示根據本發明的某些態樣的示例性神經元網路。
圖2是圖示根據本發明的某些態樣用於定義模型的行為的正狀況(regime)和負狀況的示例性神經元模型的狀態圖。
圖3是根據本發明的某些態樣的用於定義示例性神經元模型的行為的參數表。
圖4是根據本發明的某些態樣的用於控制示例性的神經元模型的其他行為態樣的額外參數表。
圖5是根據本發明的某些態樣的用於決定神經元模型的操作狀況的示例性操作的流程圖。
圖5A圖示能夠執行圖5中所示的操作的示例性手段。
圖6是根據本發明的某些態樣的用於決定神經元模型的狀態的示例性操作的流程圖。
圖6A圖示能夠執行圖6中所示的操作的示例性模組。
圖7是根據本發明的某些態樣的用於決定當神經元模型的某一狀態將發生時的事件的示例性操作的流程圖。
圖7A圖示能夠執行圖7中所示的操作的示例性手段。
在下文中參照附圖對本發明的各個態樣進行更全面的描述。然而，本發明可以以很多不同的形式體現，並且不應該被解釋為限制於貫穿本發明所提供的任何特定結構或功能。相反，提供該等態樣以使本發明將是全面的和完整的，並且將向本領域技藝人士充分傳達本發明的範圍。基於本文的教導，本領域技藝人士應當清楚的是，本發明的範圍意欲覆蓋本文所揭示的本發明的任意態樣，無論該任意態樣是獨立於本發明的任意其他態樣實現的還是與本發明的任意其他態樣相結合地實現。例如，可以使用本文闡述的任意數量的態樣來實現裝置或者實施方法。此外，本發明的範圍意欲覆蓋此種裝置和方法，亦即，該裝置和方法是使用除了本文闡 述的本發明的各個態樣之外或不同於各個態樣的其他結構、功能或者結構和功能來實施的。應該理解的是，可以藉由請求項的一或多個要素來體現本文公開的本發明的任意態樣。
本文使用的「示例性的」一詞意味著「用作例子、例證或說明」。本文中描述為「示例性的」的任何態樣不必被解釋為比其他態樣更較佳或更具優勢。
儘管本文描述了特定的態樣，但是該等態樣的很多變型和置換落入本發明的範圍內。儘管提到了較佳態樣的一些益處和優點，但是本發明的範圍並不是要限於特定的益處、使用或目的。相反，本發明的態樣意欲廣泛地適用於不同的技術、系統組態、網路和協定，該等技術、系統組態、網路和協定中的一些技術、系統組態、網路和協定是以舉例的方式在附圖和以下對較佳態樣的描述中示出的。詳細描述和附圖僅僅說明而非限制本發明，本發明的範圍是由所附的請求項及其均等物來限定的。
示例性的神經系統
圖1圖示根據本發明的某些態樣的具有多級神經元的示例性神經系統100。神經系統100可以包括經由突觸連接網路104連接到另一級神經元106的一級神經元102。儘管在典型的神經系統中可能存在級數更多或更少的神經元，但是為了簡單起見，在圖1中僅圖示兩級神經元。
如圖1所示，級102中的每一個神經元可以接收由前一級(圖1中未圖示)的複數個神經元產生的輸入信號108。信號108可以表示去往級102的神經元的輸入(例如，輸入電 流)。可以在神經元膜上聚集該等輸入以給膜電位充電。當膜電位達到其閾值時，神經元可以觸發並且產生要傳輸到下一級神經元(例如，級106)的輸出尖波。
可以經由突觸連接(或者簡稱為「突觸」)網路104來實現從一級神經元向另一級神經元傳送尖波，如圖1所示。突觸104可以從級102的神經元(相對於突觸104的突觸前神經元)接收輸出信號(亦即，尖波)。對於某些態樣，可以根據可調整的突觸權重,...,來調節該等信號(其中P是級102和106的神經元之間的突觸連接的總數量)。對於其他態樣，突觸104可以不應用任何突觸權重。此外，可以將(調節的)信號組合為級106中的每一個神經元(相對於突觸104的突觸後神經元)的輸入信號。級106中的每一個神經元可以基於相應的組合的輸入信號來產生輸出尖波110。隨後，可以使用另一個突觸連接網路(圖1中未圖示)來將輸出尖波110傳輸到另一級神經元。
可以用軟體或用硬體(例如，藉由電路)來模擬神經系統100，並且神經系統100可以用於各種應用中，例如，圖像和模式辨識、機器學習、電機控制等。神經系統100中的每一個神經元(或神經元模型)可以被實現為神經元電路。可以將被充電至發起輸出尖波的閾值的神經元膜實現為例如電容器，該電容器對流經該電容器的電流進行積分。
示例性的動態的基於事件的模型
重要的生物神經行為可能不能利用典型的尖波神經元模型來進行模擬或預測，此情況是因為該等模型未擷取(i )精細的(連續的)時序或者(ii)連續時間的動態。甚至用連續的時間差分方程的形式表示的模型亦不具有封閉式解，因此通常藉由數值方法(例如，反覆運算地，例如使用歐拉方法)來近似該等模型。當僅藉由改變時間步長解析度(即使僅改變很小的量(例如，從1ms到0.1ms))來觀測尖波時序可以如何顯著地改變(例如，改變幾十毫秒或者更多)時，使用該等反覆運算模型的問題是明顯的。該等模型的行為通常亦在很大程度上取決於實現的方法的細節而不是理論模型的基本態樣。嘗試使用精細的時間步長來近似該等模型亦可能是計算繁瑣的，同時更重要的是，此舉通常未能考慮連續時間的動態，特別是在模型具有多個相互依賴的狀態變數(例如，電壓和電流)和多個吸引子的情況下更是如此。
因此，需要一種能夠擷取生物現實時間效應的連續時間動態神經元模型。
用於有用的神經元模型的一般原則
什麼實現了好的神經元模型？答案可能取決於視角和目的。假設神經科學和工程目標，可能期望具有生物現實(或者至少生物一致行為)和在計算上有吸引力的模型。
本發明闡述了用於設計有用的尖波神經元模型的一般原則。好的神經元模型在兩個計算狀況(重合偵測和函數計算)中具有豐富的潛在行為。此外，好的神經元模型應當具有用於允許時間編碼的兩個要素：輸入的到達時間影響輸出時間，以及重合偵測可以具有較窄的時間訊窗。最後，為了在計算上有吸引力，好的神經元模型應當具有連續時間中 的封閉式解，並且具有包括接近的吸引子和鞍點的穩定行為。換言之，有用的神經元模型是此種模型，亦即，此種模型是實際的，並且可以用於對豐富的、現實的且生物一致的行為進行建模以及可以用於明確定義的穩定計算關係中的工程神經電路和逆向工程神經電路。
源於事件的行為
自然神經細胞表現為呈現過多的行為，該等行為包括：主音和相位的尖波和短脈衝、對輸入進行積分、適合輸入、振盪亞閾值、諧振、彈回、適應輸入等等。通常，可以藉由具有不同特徵的輸入來引起不同的行為。
對於本發明的某些態樣，可以將該等細胞看成是在其中藉由事件來決定細胞動態的抽象事件狀態機。此外，從該角度出發，事件設置運動中的細胞動態，直到下一個事件為止，其中事件之間的動態基於先前事件時的狀態而受約束。
為了對此進行具體說明，考慮三個連續的輸入事件，其中第一事件和最後一個事件包括顯著改變其發生時的狀態的暫態輸入。假設中間事件不具有相關聯的輸入。現在，考慮此種假設神經元模型，亦即，在該神經元模型中，若省略中間事件，則行為改變。利用此種假設神經元模型，即使不存在相關聯的輸入或輸出，事件本身亦是重要的。本發明的某些態樣提供了此種神經元模型。
取決於事件本身的神經元模型的目的是以低複雜度實現豐富的行為特徵。為了實現豐富的行為指令表，可能期 望可以展示出複雜的行為的狀態機。若與輸入貢獻(若有的話)分離的事件本身的發生可能影響狀態機並且約束事件之後的動態，則系統將來的狀態並不是僅僅狀態和輸入的函數，而是狀態、事件和輸入的函數。事件是添加的依賴性。考慮到更多的依賴性，人們可以潛在地簡化各個依賴性(例如，將來的狀態如何依賴於過去的狀態)，並且亦實現相等的或更豐富的行為指令表。
可以根據下式，藉由定義演化的單變數或多變數狀態S(在時間t 0和t f 之間不存在任何事件)來在數學上表達該原則：i. S(t f )==f(t f ,S(t 0)) (1.1)然而，在時間t存在事件之後時，狀態根據下式演化：ii. S(t)=g(t,S(t 0)) (1.2)實際上，此情况意味著若時間t 0和t f 之間的時間t處存在一個事件，則狀態根據下式在時間t 0和t f 之間演化：S(t f )=f(t f ,g(t,S(t 0)) (1.3)以此類推。其重要性在於可能存在對t的依賴性，而不論輸入如何或者甚至不論是否存在輸入。
本發明的某些態樣提供了具有此種特性和在下文中描述的其他期望的特性的神經元模型。但是，首先，本發明在其他期望的特性之後提供了對原則的論述。
時間編碼
有用的神經元模型可以執行時間編碼。此外，若神經元模型確實可以進行時間編碼，則神經元模型亦可以執行 速率編碼(此情況是因為速率僅僅是時序和尖波間的間隔的函數)。
到達時間
在好的神經元模型中，輸入的到達時間應當對輸出時間有影響。突觸輸入一不論是狄拉克δ函數還是成型的突觸後電位(PSP)，不論是激勵的(EPSP)還是抑制的(IPSP)一具有到達時間(例如，δ函數的時間或者步長的起始或峰值的時間或其他輸入函數的時間)，該到達時間可以稱作輸入時間。神經元輸出(亦即，尖波)具有發生時間(不論在哪裡對其進行量測，例如，在神經元胞體處，在沿著軸突的點處，或者在軸突的末端處)，該發生時間可以稱作輸出時間。輸出時間可以是尖波的峰值的時間、尖波的起始時間或者與輸出波形有關的任何其他時間。首要的原則是輸出時間取決於輸入時間。
乍看之下，人們可能認為所有的神經元模型皆符合該原則，但是通常此情況並不是總成立的。例如，基於速率的模型不具有該特徵。很多尖波模型通常亦不符合。若存在(超過閾值的)額外的輸入，則洩漏積分和觸發(leaky-integrate-and-fire LIF)不會更快速地觸發。此外，若以非常高的時序解析度來建模則可能符合的模型通常將在限制時序解析度(例如，限制於1ms的步長)時不符合。
在理想的神經元模型的情況下，若任何輸入的時間改變，則輸出時間將改變。好的模型將在大多數時間以明確的方式符合。例如，簡單的模型通常展示出取決於輸入時間 的尖波時序行為。然而，二次微分方程引起快速的電壓上升，使得輸入的幅度可能具有與輸入的時間相比更大的相關性。反洩漏積分和觸發(ALIF)模型和本發明的某些態樣使輸出時間具有對輸入時間更明確的依賴性，如下所述。
重合
有用的神經元模型應當能夠偵測精細的時序重合。此情況可以要求輸入的影響必須在時間上擴展。簡單的積分模型將輸入擴展到無限的時間。LIF模型藉由洩露來限制擴展。模型洩露得越快，神經元偵測時序重合的能力就越好。因此，在所有其他因素相等的情況下，與線性洩露的模型相比，以指數方式洩露的模型具有更好的時序重合偵測能力。
理想的模型將具有可變的重合偵測訊窗。然而，偵測訊窗可以不小於神經元模型的最佳重合偵測時間解析度。例如，在簡單的模型中，洩露的速率相當顯著地取決於膜電位。在閾值附近，神經元模型在相當長的時間期間保持輸入效應，而在剩餘部分與閾值的中路，神經元模型更快速地失去輸入效應。不幸的是，此情況意味著在閾值附近，簡單模型偵測能力受到緩慢的(幾乎為零的)洩露速率的限制，此情況使重合偵測能力幾乎退化到純積分模型的程度。此外，洩露亦取決於恢復電流變數，此情況意味著洩露可能甚至比平坦(flat)更差，並且甚至可能增加，從而導致電壓增加，而不論是否缺少其他輸入。與上述相反，為了解決該等問題，不論是否具有對多個狀態變數的依賴性，本發明的某些態樣亦具有高時序重合解析度能力(如LIF和ALIF模型一樣)。 為了能夠改變重合偵測訊窗，本發明的某些態樣使用將輸入擴展到更長的時間上的輸入公式而不是改變神經元模型的高解析度。
雙計算狀況
好的神經元模型具有對不同的生物現實效應進行建模的豐富的行為可能性。兩個潛在的計算狀況可能是重要的：一個狀況是積分重合偵測，而一個狀況是尖波時序函數決定。
時間偵測
為了重合偵測，有用的神經元模型應當具有在其中能夠忘記歷史的狀況。此情況允許神經元用作偵測器：在偵測到時(當偵測發生時)尖波出現，並且若沒有偵測到，則不出現任何尖波。LIF神經元模型或具有LIF型行為的神經元模型可能就足夠了。LIF模型能夠在某種程度上根據洩露(或者衰退)的速率來偵測時間重合，其中洩露(或者衰退)的速率決定神經元忘記先前的輸入的快速程度以及一致的程度。然而，該等模型在以下態樣受到限制：可能重現的其他計算屬性或者生物行為。
期望的是洩露的速率足夠高以喪失對處於計算相關性訊窗(相關的訊框)之外的先前的輸入的記憶。當考慮更高級的模型時，人們應當努力保持此種漏積分和觸發行為的優點，並且不應當藉由設計阻礙該等時間重合偵測能力、使該等時間重合偵測能力複雜化或不穩定的模型而排除該等優點。諸如簡單模型等的模型已經使洩露退化。在簡單模型的 情況下，在電壓閾值附近幾乎沒有洩露，如前所論述的。相反，本發明的某些態樣具有該等期望的LIF型行為。
時間計算
通常根據閾值來定義尖波神經元模型。當超出閾值時，模型形成尖波。並不是考慮在生物細胞中是否存在該閾值，本發明的某些態樣考慮是否存在調用事件(invoking event)(在調用事件之後，細胞將觸發)，使得該調用事件只是觸發前的時間問題。
本發明的某些態樣考慮具有該等明確定義的屬性的模型，其中時延是可變的。若細胞將以特定的固定時延觸發，則屬性的有用性可能受限，此情況是因為可以藉由軸突、突觸或樹突程序來實現延遲。但是若在調用事件與尖波之間的相對延遲根據調用事件之後的輸入或者事件是可變的，則人們將有效地具有計算引擎，該計算引擎產生用相對延遲編碼的輸出，該輸出是自調用事件和臨時事件(包括輸入)起的相對延遲的函數。此相對延遲的函數將是此種函數：根據相對輸入時間提供相對輸出時間(不論亞閾值或超閾值如何)。此舉的確是有用的，特別是當明決定義了函數時，此情況是因為此舉不僅提供了用於使用尖波神經元來構建系統的框架，亦提供了用於理解尖波神經元網路正在計算什麼的框架。
返回到在生物細胞中是否存在此種行為的問題，該等細胞具有再生的上行運動動態，該上行運動動態產生被稱作電壓尖波的東西。常見的被忽視的A通道是快速啟動的電壓 閘控暫態鉀離子通道，該通道可以抵消快速的鈉流入並且使再生上行運動變緩。因此，可以實現自調用上行運動的時間開始直到出現尖波峰值為止的非常長的時延(幾百毫秒或者更長)。用於觸發A通道的電壓位準可能略低於針對鈉通道的連鎖反應的「閾值」，因此事件和輸入的實際時序亦可以改變時延特徵。
對於函數計算，好的神經元模型應當具有此種狀況，亦即，在該狀況中，不論進一步的輸入如何，神經元模型將觸發，此情況僅是神經元模型將何時觸發的問題。該狀況允許神經元用作計算設備，在其中尖波之間的間隔可以對資訊進行編碼。此舉與偵測是不同的，此情況是因為此舉是對資訊進行編碼的尖波時間，而不是尖波本身的存在。ALIF模型和本發明的某些態樣展示出該行為。簡單模型擁有類似的行為，儘管不能用封閉式來表示簡單模型並且電壓上升的二次特性可能減小輸出時間對輸入時間的依賴性，此情況是因為與輸入幅度差相反，輸入時間差的差別更小。簡單模型動態方程的特性意味著電壓可以相對穩定地處於閾值附近(在兩側上)。此情況意味著輸入的幅度的較小差別實際上可以對電壓軌跡具有發散效應：在具有和不具有幅度差的情況下的電壓軌跡之間的差在收斂之前增加。此舉建立了當學習時的不穩定性，此情況是因為，在學習時，可以將權重調整較小的量，但是在輸入效應之後不久的時間處對電壓軌跡的影響進行了放大。相反，利用本發明的某些態樣(以及LIF模型和ALIF模型)，輸入的幅度改變的效應導致收斂的電壓狀態 軌跡。
連續時間建模
好的模型應當在計算上是方便的、穩定的並且可直接計算的。
封閉式
藉由微分方程描述了很多生物激勵的神經元模型。例如，藉由兩個二階微分方程來描述簡單模型。不幸的是，不能以封閉式來對該等方程進行求解。經由利用好的神經元模型，人們應當能夠基於輸入和當前的狀態來直接計算神經元將何時觸發(若有的話)。因為此情況不能利用簡單模型(不具有查閱資料表，其具有有限的解析度)來完成，因此通常使用基於步長的積分的歐拉方法。然而，在高時序解析度處，此情況在計算上是繁瑣的，並且在低時序解析度處，此情況是不穩定的。此外，該等模型在行為方面受到損害，此情況是因為與(與實際動態相反的)理論動態方程的基本態樣相比，該行為可能更多地取決於實現細節(例如，狀態傳播的順序、數值方法細節和時間解析度)。
可以對LIF、ALIF和本發明的某些態樣直接進行求解。然而，僅ALIF和本發明的某些態樣具有非零延遲，直到一旦達到足夠的輸入而產生尖波為止。
穩定性
從生物建模的角度來看，期望此種神經元模型：對於該神經元模型，人們可以容易地決定在各種條件下與生物細胞的行為匹配的參數。每當人們嘗試配置針對一個狀況的 行為以與第二狀況匹配時，有問題的模型將使該行為變為遠離生物期望的行為。或者，該行為將隨著較小的參數變化而顯著地改變。
與該等有問題的模型相反，理想的模型應當在實現上是穩定的。在很多時候，此情況是鞍點或吸引子附近的問題。此外，當藉由積分(例如，歐拉)來對模型進行求解時，狀態變數的第一導數不會隨著時間步長而改變的假設通常在閾值和較大值附近是較差近似。因此，在步進式決定中，計算通常可能是過頭的或者未達到目標。因此，具有封閉式解的模型(例如，ALIF和本發明的某些態樣)具有實現的穩定性的優點。
從工程的角度來看，期望具有穩定的計算特性(其包括時間偵測和時間計算)的神經元模型。
示例性的神經元模型
本發明的某些態樣提供了符合上文所描述的原則的、在行為上豐富的、在生物上一致的、在計算上方便的神經元模型。在該部分中，呈現了被設計為實現該目的的模型。一般的模型是唯一的，其原因在於該模型是由事件時的狀態並且由對該狀態從一個事件向下一個事件的改變進行管理的操作來定義的。
模型定義
根據事件來定義模型，並且事件是所定義的行為的基礎。行為取決於事件，在事件時發生輸入和輸出，並且在事件時耦合動態。
如圖2中的恢復電流相對於膜電位(電壓)的圖形200中所示，模型的動態可以被劃分為兩個(或更多個)狀況。該等狀況可以稱作負狀況202(為了不與LIF神經元模型混淆，亦可互換地稱作LIF狀況)和正狀況204(為了不與ALIF神經元模型混淆，亦可以互換地稱作ALIF狀況)。在負狀況202中，在將來的事件時，狀態趨於靜止(ν-)。在該負狀況中，模型通常呈現時間輸入偵測特性和其他亞閾值行為。在正狀況204中，狀態趨於尖波事件(ν s )。在該正狀況中，模型呈現計算特性，例如，引起到尖波的時延，此情況取決於後續的輸入事件。根據事件的動態公式和動態到此兩個狀況的劃分是模型的基本特性。
本文中使用符號ρ來表示動態狀況，其中慣例是，當論述或表達針對具體的狀況的關係時，分別用帶有標記「-」或「+」的符號ρ來替換負狀況和正狀況。
模型狀態由膜電位(電壓)ν和恢復電流u來定義。在基本形式中，狀況實質上是由該狀態來決定的。針對精確和一般定義存在微妙但重要的態樣，但是目前，若電壓ν高於閾值(ν+)，則考慮模型處於正狀況204中，否則考慮模型處於負狀況202中。此情況將足以理解各個狀況中的基本模型動態定義，如下文所解釋的，同時在下文中提供了決定狀況的精確和完整的定義。
根據經轉換的狀態對{ν',u'}的動態來便利地描述模型狀態的動態。事件時的狀態轉換為：ν'=ν+q ρ (2.1)
u'=u+γ (2.2)其中q ρ 和γ是線性轉換變數。電壓轉換取決於狀況ρ。亦取決於狀況的模型動態是根據轉換的狀態對由微分方程來定義的：
其中τ -是負狀況時間常數，τ +是正狀況時間常數，並且τ u 是恢復時間常數。目前，讓我們假設該等時間常數是恆定的值，儘管下文描述了可變的時間常數。為了方便起見，負狀況時間常數τ -將被指定為用於反映衰退的負量，使得針對電壓演化的相同表達可以用於正狀況，在該正狀況中，指數和τ +通常將是正的，τ u 亦是如此。
可以在事件框架中定義模型的狀態動態。在事件之間，可以藉由常微分方程(ODE)來定義動態。兩個狀態要素的動態通常可以在事件時藉由轉換而耦合，該變換在事件時使狀態從其零傾線(null-cline)偏移，其中轉換變數是：q ρ =-τ ρ βu-ν ρ (2.5)
γ=δ(ν+ε) (2.6)其中δ、ε、β和ν- ,ν+是參數。ν ρ 的兩個值是兩個狀況的基準電壓或者參考電壓。參數ν-是負狀況的基準電壓，並且在負狀況中膜電位通常將朝向ν-衰減。參數ν+是正狀況的基準電壓，並且在正狀況中膜電位通常將趨於遠離ν+。
ν和u的零傾線分別是由轉換變數q ρ 和γ的負值提供的。參數δ是控制u的零傾線的斜率的比例因數。參數ε通常被設置為等於-ν-。參數β是在兩個狀況中控制ν的零傾線 的斜率的電阻值。τ ρ 時間常數參數不僅控制指數衰減，亦分別控制每一個狀況中的零傾線的斜率。
當電壓ν達到值ν s 時，模型被定義為產生尖波。接下來，通常在重置事件(其技術上可以是一個事件並且與尖波事件相同)時對狀態進行重置：
u=u+△u (2.8)其中和△u是參數。重置電壓通常被設置為ν-。
給定的時間t時的狀態{ν',u'}，模型具有針對時間t+△t時的狀態演化的封閉式解：
因此，模型狀態最可能是並且被定義為僅在事件時(例如在輸入(突觸前尖波)或輸出(突觸後尖波)時)被更新。此情況是可概括的，此是因為可以在人為事件(不論是否存在輸入或輸出)時來執行操作，此情況將在下文中進行描述。按照定義，在事件時而不是在事件之間定義轉換。此情況意味著除非存在事件，否則不需要重新計算q ρ 和γ以及甚至ρ。
該定義意味著只可以在事件時耦合模型，並且只可以在事件時決定狀況(不論是正的還是負的)。通常經由僅在事件(或步驟)時決定的變數q ρ 和γ來如上所描述的耦合模型狀態變數ν和u。可以基於先前的狀態來計算變數q ρ 和γ。隨後，狀態要素可以被獨立地演化到下一個狀態。實際上， 此情況意味著狀態變數在事件之間是「暫時解耦合的」。
此外，可以預期突出後的尖波的時間，因此可以在不使用數值方法的情況下提前決定達到特定的狀態的時間。給定先前的電壓狀態ν0，在達到電壓狀態ν f 之前的時間延遲由下式提供：
若定義尖波在電壓狀態ν達到ν s 時發生，則針對從電壓處於給定的狀態ν時的時間起量測的、在尖波發生之前的時間量或者相對延遲的封閉式解為： 其中通常被設置為參數ν+，儘管在下文中描述了其他變型及其激勵。
上文關於模型動態的定義取決於模型是處於正狀況中還是負狀況中。如所提到的，可以在事件時計算耦合和狀況ρ。為了狀態傳播的目的，可以基於上一個(前一個)事件時的狀態來定義狀況和耦合(轉換)變數。為了接下來預測尖波輸出時間的目的，可以基於下一個(當前)事件時的狀態來定義狀況和耦合變數。
為了決定狀況，基本形式是若ν>，則模型處於正狀況中，否則，模型處於負狀況中。通常，是被設置為等於ν+的常數，但是亦可以被單獨地設置或者是可變的。
根據本發明的某些態樣，可以僅在事件時將輸入應 用於模型。在典型的公式中，可以在狀態已經從先前的事件前進至輸入事件的時間之後，將輸入應用於模型狀態。因此，更通常，
其中h ν和h u 被稱作輸入通道函數。在簡單的情況下，可以將暫態電流輸入建模為應用於電壓狀態的離散狄拉克δ函數，亦即，t=θ(t)。在該情況下，在事件時應用模型狀態的輸入，並且h ν(x,t)=x+tβ；h u (x,t)=x (2.15)其中β是膜電阻。
然而，輸入可以可替換地是連續的，例如，描述激勵的或抑制的突觸後電位的加權指數衰減之和，不論是基於電流的還是基於電導的。在該情況下，可以在事件時應用模型狀態的輸入，但是亦可以在事件之前或之後潛在地應用模型狀態的輸入。因此，可以在下一個事件時應用來自下一個事件的輸入和來自過去事件的輸入的等效的總積分輸入貢獻(如在先前事件和下一個事件之間累積的)。因此，針對連續輸入貢獻的封閉式解亦是一個優點。
連續的指數衰減激勵或抑制輸入可以由下式定義： 該式具有封閉式解，並且因此可以逐個事件地演化為與{ν,u}狀態解耦合。在從時間t時的先前事件到時間t+△t時的下一個 事件之間的一段時間期間的總貢獻是由下式提供的： 其中對於抑制貢獻g<0，對於激勵貢獻，g<0，並且可以針對狄拉克輸入可以使用相同的輸入通道函數。
亦可以按下式來對基於電導的輸入進行積分： 其中E g 是輸入的參考電壓，V是為了補償從積分中移除(ν-E g )項而計算出的電壓位準。若在事件之間ν改變相對小的量或者事件以較小的事件間間隔發生，則近似V=ν(t)(先前事件時的電壓)保持有效。若否，則下文所描述的關於V的複雜公式或者人為事件的使用可以用於實現期望的效果，同時保持對模型的定義。
根據本發明的某些態樣，對尖波輸出的預期並未考慮事件之間的將來輸入。此情況的一般原因是計算簡單性和獨立性。此外，儘管封閉式解可以用於一些連續輸入公式，但是若事件的速率足夠高，則藉由可替換地定義輸入或通道函數並且藉由使用人為事件，可以實現等效的效果，如下所述。
根據本發明的某些態樣，在事件時應用可塑性。取決於尖波時序的可塑性(STDP)特別適合於此，此是因為長時程增強(long-term potentiation，LTP)和長時程抑制(long-term depression，LTD)可以被視作為是分別由在突觸後(輸出)事件之前的或之後的突觸前(輸入)事件觸發的。 結構或時間可塑性亦將在事件時應用。結構可塑性可以被認為是例如修改、建立或刪除突觸連接。同樣地，抽象突觸的參數(例如，延遲和權重)可以被改變，如同用於對刪除的突觸進行建模的抽象突觸被重新用於使用不同參數對新突觸進行建模一樣。因此，人們可以根據可變的突觸參數來概括多種形式的可塑性。可變性可以處於離散的時間或者是連續的，但是不論怎樣，皆在模型中隨著事件而演化。
演算法解決方案
針對該模型的演算法解決方案包括：(i)使狀態從先前的事件前進至下一個事件；(ii)給定下一個事件時間時的輸入，在下一個事件時間時更新狀態(或者在下一個事件時間時，應用與在先前的事件與下一個事件之間累積的輸入等同的輸入)；及(iii)預期下一個事件將何時發生。事件包括輸入事件，該輸入事件通常被認為是在突觸輸入傳播到神經元的胞體時發生的。事件亦包括輸出事件，該輸出事件通常被認為是在神經元的胞體發射尖波並且尖波開始沿著軸突進行傳播時發生的。因為封閉式解是可用的，因此若期望的話，亦可以在事件之間決定模型狀態，但是除非存在事件，否則不需要更新狀況和耦合。
在典型的公式中，可以在狀態已經從先前的事件前進至輸入事件的時間之後將輸入應用於模型狀態。可以將輸入建模為離散狄拉克δ函數。在該情況下，在事件的時間時應用模型狀態的輸入。然而，輸入亦可以是連續的，例如，描述激勵的或抑制的突觸後電位的加權指數衰減之和，不論是 基於電流的還是基於電導的。在該情況下，可以在事件時間時應用模型狀態的輸入，但是亦可以在事件之前或之後潛在地應用模型狀態的輸入。因此，可以在下一個事件時間時應用來自下一個事件的輸入和來自過去事件的輸入的等效的總積分輸入貢獻(如在先前事件和下一個事件之間累積的)。因此，針對連續輸入貢獻的封閉式解亦是一個優點。下文的演算法描述了通常在輸入事件時執行的操作：
a)給定先前事件的時間t，決定自先前的事件起的時間△t。
b)基於在先前事件時的先前狀態{ν,u}來決定狀況。
c)給定的時間t時的先前狀態，決定轉換變數q ρ 和γ。
d)給定的時間t時的先前狀態{ν,u}，決定經轉換的狀態{ν',u'}。
e)決定時間t+△t時的前進的經轉換的狀態。
f)決定在時間t+△t時的前進的狀態{ν,u}。
g)決定前進的輸入狀態，並且併入新的輸入以獲得等效的事件間間隔的積分輸入貢獻。
h)藉由應用等效輸入來決定新的狀態{ν,u}。
i)決定更新的轉換變數q ρ 。
j)預期在下一個輸出尖波事件之前的相對延遲△t s 。
在典型的公式中，輸出事件不包括輸入。下文的演算法描述了通常在輸出事件時執行的操作：
a)重置狀態{ν,u}。
b)決定更新的轉換變數q ρ 。
c)預期在下一個輸出尖波事件之前的相對延遲△t s 。
上文所描述的輸入事件操作和輸出事件操作皆包括預期下一個輸出尖波將何時發生。此情況是因為狀態更新可以改變尖波的預期時間。
人為事件
按照定義，僅在事件時更新模型。但是針對某些態樣，可以定義和使用人為事件。人為事件是為了定義模型動態行為的目的而定義的事件。存在建模者可能希望定義人為事件的多個原因。
然而，讓我們首先消除潛在的誤解。建模者通常希望以高的時間解析度查看電壓和電流狀態的跡。可以在不定義人為事件的情況下在事件之間定期地計算該等狀態。此舉將需要使用在先前的事件(而不是先前的時段)時計算的轉換變數和狀況來計算電壓和電流。可以只在事件時計算轉換變數和狀況。該微妙的點是重要的，此是因為模型的行為取決於事件的時序。
按照定義，在事件時而非事件之間定義耦合轉換。此情況意味著除非存在事件，否則很可能不會重新計算q ρ 和γ以及甚至ρ。因此，假設亦未定義人為事件，若期望的話，可以在事件之間但是基於參數和與先前事件的偏移來更新電壓和電流狀態。換言之，按照定義，耦合可能最可能僅在事件時發生。
基本上，定義人為事件允許建模者改變耦合。亦可能存在用於在方便時定義人為事件的原因。不存在用於定義或者不定義人為事件的錯誤方法，但是建模者應當理解的是 ，定義人為事件通常改變模型的行為。
定義人為事件的一個原因是使用具有較低事件速率的模型實例來實現具有高事件速率的建模實例的行為特徵。若存在高的輸入事件速率，則可以使模型動態以較小的時間間隔前進。然而，若存在低的輸入事件速率，則在沒有人為事件的情況下可以使模型動態前進較大的時間間隔。通常，除非時間間隔大得多，否則行為上的差別可能不顯著。即使如此，亦可以對諸如時間常數等的參數進行調整以進行補償。
然而，可替換地或者若期望的話，可以定義人為事件。特定言之，若非人為事件之間的間隔較大，則可以將人為事件定義為在非人為事件之間發生。在技術上，此舉可以藉由多種方式來實現。例如，可以在每一個非人為事件之後使用某一延遲來暫時排程人為事件。若另一個非人為事件在人為事件之前發生，則可以將人為事件重新排程到在最近的非人為事件之後的某一延遲。若人為事件確實首先發生，則可以使用相同的延遲來再次重新排程該人為事件。另一種方式是定期地排程人為事件。亦可以將人為事件定義為有條件地發生，例如，根據狀態或尖波速率而發生。
通常，模型適合於用基於事件的模擬求解，如上所述。然而，亦可以以習知的基於步長的模擬來對模型進行求解。但是，基本上存在兩種做到此點的方式：(i)在沒有人為事件的情況下；及(ii)在具有人為事件的情況下。按照定義，存在該模型的不同實例。該等模型操作被定義為在事件 (人為的或其他的)時發生。因此，在沒有人為事件的情況下，在每一個步長處執行的代碼最可能以事件在該時槽處發生為條件(實際上，在不存在事件的步長處沒有發生任何操作)。或者，在人為事件的情況下，可以將人為事件定義為在每一個時槽處發生。因為封閉式解是可用的，因此不需要數值方法，不論事件之間的時間是常數還是可變的。
儘管週期的人為事件通常將需要更多的計算並且因此將不令人期望，但是存在一些潛在的簡化：(i)自先前的事件起的時間△t可以是常數(時間間隔)；及(ii)可以藉由在每一個間隔處檢查是否來替換尖波預期。
首先，因為自先前的事件起的時間△t通常是常數，因此可以將經轉換的狀態更新簡化為針對每一個狀態要素的單個乘法。無限脈衝回應濾波器可以由下式提供：ν'(t+△t)=e ρ ν'(t) (2.19)
u'(t+△t)=e u u'(t)(2.20)其中常數並且。
其次，尖波條件被定義為。然而，若將人為事件被定義為在量化的時間間隔△t時發生，則實際上可以在間隔之間達到尖波條件。因此，應當注意確保尖波在期望的時間(不論在事件之前還是在事件之後)發生。
基本行為控制
藉由圖3中所示的表格300中示出的參數來定義基本模型行為。時間常數(τ +、τ -和τ u )控制電壓或電流朝向或遠離零傾線的衰減的速率，其中零傾線在特定狀況的基準電 壓(ν+或ν-)處與電流軸相交。藉由轉換方程的斜率來決定事件時的耦合。對於電壓轉換而言，藉由τ +和β提供斜率，而對於電流轉換而言，藉由δ來提供斜率。此情況意味著零傾線在正狀況邊界中的斜率取決於正狀況時間常數，但是此情況可以使用β來進行補償。
可以藉由對圖4的表格400中所示的參數進行單獨的控制，來實現額外的行為態樣。然而，通常，可以基於圖3的表格300中的參數來使用表格400中所示的預設值。
針對上文提供的狀況閾值的典型設置是。然而，電壓零傾線不是{ν,u}狀態空間中的垂直線。該特徵可以是有利的，此是因為該特徵允許更豐富的行為。此外，可替換地，可以將狀況閾值定義為對正狀況進行限制的零傾線。亦存在其他可以考慮的替換形式，該等其他可以考慮的替換形式超出了本發明的範圍。
給定狀態轉換，藉由ν=-q ρ 和u=-γ來定義零傾線。
該等轉換控制模型的時間行為。電壓轉換偏移變數q ρ 是取決於恢復電流的線性方程。當電流為零時，轉換完全是由於偏移ν ρ 引起的。實際上，所做的是在轉換的狀態中移動電壓狀態，使得基準電壓狀態為0。回顧用於預期尖波時間的公式，人們可以看出u=0處的對數項是：
因此，轉換到狀態x對狀態模型進行移動和正規化， 以在正狀況中產生0與1之間的時間延遲。尖波中的資訊取決於其相對時序。從資訊理論的觀點來看，人們可以將範圍為[0,1]的時間編碼資訊值(或狀態)x視為：△t=-αlogx (2.24)使得值越大，時間延遲(回應)越短，並且值0與無限延遲(不產生尖波)相對應。因此，對模型進行參數化允許控制尖波時序中的資訊表示。此一態樣對於計算設計目的特別有用。
圖5是根據本發明的某些態樣的用於決定神經元模型的操作狀況的示例性操作500的流程圖。可以在硬體中(例如，由一或多個處理單元)、在軟體中或者在韌體中執行操作500。
操作500可以在502處開始，在502處，決定神經元模型的第一狀態。神經元模型具有連續時間中的封閉式解。此外，神經元模型的狀態動態被劃分成兩個或兩個以上狀況。對於某些態樣，神經元模型具有可變的重合偵測訊窗。對於某些態樣，若神經元模型未在預定的時段期間接收到任何事件，則可以在該時段之後決定第一狀態。
在504，可以從兩個或兩個以上狀況中決定(例如，選擇)神經元模型的操作狀況。操作狀況的此種決定可以基於第一狀態。對於某些態樣，可以在事件時間時或在事件時間之後不久決定操作狀況。
根據某些態樣，兩個或兩個以上狀況包括第一狀況 和第二狀況。神經元模型的狀態動態在第一狀況中趨於靜止，並且在第二狀況中趨於尖波。對於其他態樣，神經元模型的狀態動態在第一狀況中趨於第一參考，並且在第二狀況中趨於遠離第二參考。第一參考和第二參考可以包括點、線或平面中的至少一者。對於其他態樣，神經元模型的狀態動態在第一狀況中展示出洩漏積分和觸發(LIF)行為，並且在第二狀況中展示出反洩漏積分和觸發(ALIF)行為。對於其他態樣，神經元模型在第一狀況中在接收到先前輸入之後開始失去對先前輸入的記憶。在第二狀況中，即使沒有進一步的激勵輸入，神經元模型亦將觸發，使得進一步的激勵輸入或抑制輸入僅在神經元模型將觸發時產生影響。
根據某些態樣，操作500亦可以包括決定神經元模型在與第一狀態的時間不同的時間時的第二狀態。第二狀態可以基於第一狀態和操作狀況中的至少一者來決定。對於某些態樣，神經元模型的第一狀態與第一事件相對應，第二狀態可以與第二事件相對應，並且第二事件可以是第一事件之後的下一個事件。在該情況下，第二狀態可以基於第一事件與第二事件之間的時間以及基於操作狀況中的狀態動態來決定。對於某些態樣，第一狀態是由神經元模型的膜電位元(ν)和恢復電流(u)來定義的。在該情況下，決定第二狀態包括使用下文的方程： ν'=ν+q p ,u'=u+r,q ρ =-τ ρ βu-ν ρ ，以及r=δ(ν+ε)其中△t是該第一狀態與該第二狀態之間的經過時間，若ν>則ρ=+，若ν，則ρ=-，是狀況閾值，τ ρ 是電壓時間常數，τ u 是恢復電流時間常數，β是電阻，ν ρ 是該操作狀況的基準電壓，q ρ 和r是狀態轉換變數，δ是比例因數，並且ε是偏移電壓。在演算法上，針對某些態樣，可以按下文的方式來計算該等方程(儘管在本發明的範圍內，變型亦是可能的)：(1)計算轉換變數q和r；(2)計算經轉換的狀態ν’和u’；(3)計算狀態演化；(4)使用在第一步驟中決定的變數q ρ 和r來將狀態轉換回到ν和u。變型可以包括在第四步驟之前更新轉換變數，在其他狀態的演化之後更新一個狀態的轉換，等等。
對於某些態樣，第一狀態是神經元模型的當前狀態，第二狀態是當前狀態之後的將來狀態或者當前狀態之前的先前狀態。對於某些態樣，第一狀態是神經元模型的先前狀態，第二狀態是先前狀態之後的當前狀態或將來狀態。對於某些態樣，第一事件或第二事件是神經元模型的輸入事件、輸出事件或人為事件。
根據某些態樣，操作500亦可以包括基於第一狀態和操作狀況中的至少一者來決定神經元模型將何時觸發。對於某些態樣，第一狀態是由神經元模型的膜電位元(ν)和恢 復電流(u)來定義的。因此，決定神經元模型將何時觸發可以包括使用下文的規則： 其中τ +是正狀況電壓時間常數，ν s 是神經元模型的輸出尖波的定義的電壓，q +是正狀況狀態轉換變數，是狀況閾值，並且△t s 是在神經元模型將觸發之前的預期時間。對於其他態樣，決定神經元模型將何時觸發包括使用與任意事件解耦合的神經元模型的狀態動態。對於某些態樣，操作500亦可以包括根據決定神經元模型將何時觸發來在輸出時間輸出尖波。
根據某些態樣，操作500亦可以包括在事件的時間時或之後不久的狀態轉換變數。狀態轉換變數中的至少一者可以取決於操作狀況。對於某些態樣，操作500亦可以包括決定神經元模型在與第一狀態的時間不同的時間時的第二狀態。第二狀態的此種決定可以基於第一狀態和狀態轉換變數。對於某些態樣，可以基於事件之間的狀態轉換變數來將神經元模型的狀態動態表示為常微分方程(ODE)。
根據某些態樣，操作500亦可以包括向顯示器輸出神經元模型的第一狀態。對於某些態樣，狀態動態可以由神經元模型的膜電位元和恢復電流來定義。
圖6是根據本發明的某些態樣的用於決定神經元模型的狀態的示例性操作的流程圖。可以在硬體中(例如，由一或多個處理單元)、在軟體中或者在韌體中執行操作600。
操作600可以在602處開始，在602處，決定神經 元模型在第一事件時或第一事件之後不久的第一狀態。神經元模型具有連續時間中的封閉式解。對於某些態樣，神經元模型具有可變的重合偵測訊窗。
在604處，可以決定神經元模型在第二事件時或第二事件之後不久的第二狀態。該決定可以基於第一狀態。此外，可以分別僅在第一事件和第二事件時才將第一狀態和第二狀態的動態耦合到神經元模型，並且在第一事件與第二事件之間對第一狀態和第二狀態的動態進行解耦合。
根據某些態樣，第一狀態和第二狀態是多元的。第二事件可以是輸入事件、輸出事件或人為事件。對於某些態樣，第一狀態或第二狀態是由兩個或兩個以上狀態變數定義的，在事件之間對兩個或兩個以上狀態變數的動態進行解耦合並且在事件處藉由轉換對兩個或兩個以上狀態變數的動態進行耦合。對於某些態樣，第二事件是在第一事件之後的下一個事件。
對於某些態樣，第一狀態是神經元模型的當前狀態，並且第二狀態是在當前狀態之後的將來狀態或者在當前狀態以前的先前狀態。對於某些態樣，第一狀態是神經模型的先前狀態，並且，第二狀態是在先前狀態之後的當前狀態或將來狀態。
根據某些態樣，第一狀態是由神經元模型的膜電位元(ν)和恢復電流(u)來定義的。在該情況下，可以使用下文的方程來決定第二狀態： ν'=ν+q ρ ,u'=u+r,q ρ =-τ ρ βu-ν ρ ，以及r=δ(ν+ε)其中△t是該第一狀態與該第二狀態之間的經過時間，若ν>則ρ=+，若ν，則ρ=-，是狀況閾值，τ ρ 是電壓時間常數，τ u 是恢復電流時間常數，β是電阻，ν ρ 是該操作狀況的基準電壓，q ρ 和r是狀態轉換變數，δ是比例因數，並且ε是偏移電壓。
根據某些態樣，操作600亦可以包括決定神經元模型將何時觸發。該決定可以基於第一狀態或第二狀態中的至少一者。對於某些態樣，第一狀態或第二狀態中的至少一者是由神經元模型的膜電位元(ν)和恢復電流(u)來定義的。在該情況下，決定神經元模型將何時觸發可以包括使用下文的規則： 其中τ +是正狀況電壓時間常數，ν s 是神經元模型的輸出尖波的定義的電壓，q +是正狀況狀態轉換變數，是狀況閾值，並且△t s 是在神經元模型將觸發之前的預期時間。對於其他態樣，決定神經元模型將何時觸發包括使用第一狀態和第二狀態的動態。對於某些態樣，操作600亦可以包括根據決定神經元模型將何時觸發來在輸出時間輸出尖波。
根據某些態樣，若神經元模型未在預定的時段期間接收到任何事件，則可以在該時段之後決定第一狀態或第二狀態中的至少一者。對於某些態樣，可以基於事件之間的狀態轉換變數來將第一狀態和第二狀態的動態表示為ODE。根據某些態樣，操作600亦可以包括向顯示器輸出以下各項中的至少一項：第一狀態、第二狀態、關於第一事件的第一指示或者關於第二事件的第二指示。
圖7是根據本發明的某些態樣的用於決定神經元模型的某一狀態將發生時的事件的示例性操作的流程圖。可以在硬體中(例如，由一或多個處理單元)、在軟體中或者在韌體中執行操作700。
操作700可以在702處開始，在702處，決定神經元模型在第一事件時或者在第一事件之後不久的第一狀態。神經元模型可以具有連續時間中的封閉式解。對於某些態樣，神經元模型具有可變的重合偵測訊窗。對於某些態樣，若神經元模型未在預定的時段期間接收到任何事件，則可以在該時段之後決定第一狀態。
在704處，可以決定第二事件(若有的話)，在第二事件時神經元模型的第二狀態將發生。該決定可以基於第一狀態。分別僅在第一事件和第二事件時，才可以將第一狀態和第二狀態的動態耦合到神經元模型，並且可以在第一事件與第二事件之間對第一狀態和第二狀態的動態進行解耦合。對於某些態樣，基於第一事件和第二事件之間的狀態轉換變數來將第一狀態和第二狀態的動態表達為ODE。
根據某些態樣，操作700亦可以包括根據第二事件的決定來在輸出時間輸出尖波。對於某些態樣，第二事件是輸入事件、輸出事件或者人為事件。第二事件可以是在第一事件之後的下一個事件。對於某些態樣，第一狀態是神經元模型的當前狀態，並且第二狀態是在當前狀態之後的將來狀態或者在當前狀態以前的先前狀態。對於某些態樣，第一狀態是神經元模型的先前狀態，並且第二狀態是在先前狀態之後的當前狀態或將來狀態。
根據某些態樣，第一狀態和第二狀態是多元的。例如，第一狀態可以由神經元模型的膜電位元(ν)和恢復電流(u)來定義。在該情況下，可以使用下文的規則來決定第二事件： 其中τ +是正狀況電壓時間常數，ν s 是神經元模型的輸出尖波的定義的電壓，q +是正狀況狀態轉換變數，是狀況閾值，並且△t s 是在神經元模型將觸發之前的預期時間。
根據某些態樣，操作700亦可以包括向顯示器輸出以下各項中的至少一項：第一狀態、第二狀態、關於第一事件的第一指示或者關於第二事件的第二指示。
上文所描述的方法的各個操作可以由能夠執行相應功能的任何適合的手段來執行。該手段可以包括各種硬體及/或軟體元件及/或模組，該等硬體及/或軟體元件及/或模組包括但不限於電路、特殊應用積體電路(ASIC)或處理器。通 常，在存在附圖中示出的操作的情況下，該等操作可以具有使用類似編號的相應配對的功能手段元件。例如，圖6中所示的操作600對應於圖6A中所示的手段600A。
例如，用於顯示的手段可以包括顯示器(例如，監控器、平面螢幕、觸控式螢幕等)、印表機或者用於輸出用於視覺圖示的資料(例如，表格、圖表或圖形)的任何其他適合的手段。用於處理的手段、用於輸出的手段或者用於決定的手段可以包括處理系統，該處理系統可以包括一或多個處理器或處理單元。用於儲存的手段可以包括記憶體或任何其他適合的儲存裝置(例如，RAM)，該等記憶體或任何其他適合的儲存裝置可以由處理系統來存取。
如本文使用的，術語「決定」涵蓋各種動作。例如，「決定」可以包括運算、計算、處理、推導、研究、檢視(例如，在表格中、資料庫或另一種資料結構中檢視)、查明等。此外，「決定」可以包括接收(例如，接收資訊)、存取(例如，存取記憶體中的資料)等。此外，「決定」可以包括解析、選擇、挑選、建立等。
如本文使用的，提及項目列表中的「至少一個」的短語是指該等專案的任意組合，包括單個成員。舉例說明，「a、b或c中的至少一者」意欲包括：a、b、c、a-b、a-c、b-c以及a-b-c。
可以使用被設計為執行本文所描述的功能的通用處理器、數位訊號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式設計閘陣列信號(FPGA)或其他可程式設計邏輯 裝置(PLD)、個別閘極或電晶體邏輯、個別硬體元件或者其任意組合，來實現或執行結合本發明所描述的各種示例性的邏輯區塊、模組和電路。通用處理器可以是微處理器，或者，該處理器可以是任何市場上可買到的處理器、控制器、微控制器或者狀態機。處理器亦可以實現為計算設備的組合，例如，DSP和微處理器的組合、複數個微處理器、一或多個微處理器與DSP核心的結合或者任何其他此種配置。
結合本發明所描述的方法或者演算法的步驟可以直接體現在硬體、由處理器執行的軟體模組或此二者的組合中。軟體模組可以位於本領域公知的任何形式的儲存媒體中。可以使用的儲存媒體的一些實例包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體、EPROM記憶體、EEPROM記憶體、暫存器、硬碟、抽取式磁碟、CD-ROM等等。軟體模組可以包括單個指令或多個指令，並且可以分佈在多個不同的程式碼片段上、不同的程式之間和多個儲存媒體上。儲存媒體可以耦合至處理器，從而使處理器能夠從該儲存媒體讀取資訊並且能夠向該儲存媒體寫入資訊。或者，儲存媒體可以與處理器集成。
本文所揭示的方法包括以下步驟：用於實現所描述的方法的一或多個步驟或動作。在不脫離請求項的範圍的基礎上，該等方法的步驟及/或動作可以相互交換。換言之，除非指定了步驟或動作的具體順序，否則在不脫離請求項的範圍的基礎上，可以修改具體步驟及/或動作的順序及/或使用。
所描述的功能可以實現在硬體、軟體、韌體或其任 意組合中。若實現在硬體中，則示例性的硬體設定可以包括設備中的處理系統。處理系統可以用匯流排架構來實現。匯流排可以包括任意數量的互連匯流排和橋，此情況取決於處理系統的具體應用以及整體設計約束。匯流排可以將各個電路連結在一起，該等電路包括處理器、機器可讀取媒體和匯流排介面。匯流排介面至少可以用於經由匯流排將網路介面卡連接到處理系統。網路介面卡可以用於實現信號處理功能。對於某些態樣，使用者介面(例如，鍵盤、顯示器、滑鼠、操縱桿等)亦可以連接到匯流排。匯流排亦可以將諸如時序源、周邊設備、電壓調整器和功率管理電路等的各種其他電路連結在一起，該等電路在本領域中是眾所周知的，因此不再對其進行描述。
處理器可以負責管理匯流排和一般處理，該處理包括執行儲存在機器可讀取媒體上的軟體。處理器可以用一或多個通用處理器及/或專用處理器來實現。實例包括微處理器、微控制器、DSP處理器和可以執行軟體的其他電路。軟體應當廣泛地被解釋為表示指令、資料或其任意組合，而不論其是稱為軟體、韌體、仲介軟體、微代碼、硬體描述語言還是其他術語。舉例說明，機器可讀取媒體可以包括RAM(隨機存取記憶體)、快閃記憶體、ROM(唯讀記憶體)、PROM(可程式設計唯讀記憶體)、EPROM(可抹除可程式設計唯讀記憶體)、EEPROM(電子可抹除可程式設計唯讀記憶體)、暫存器、磁碟、光碟、硬碟或任何其他適當的儲存媒體，或者其任意組合。機器可讀取媒體可以體現在電腦程式產品 中。電腦程式產品可以包括包裝材料。
在硬體實現中，機器可讀取媒體可以是處理系統的與處理器分離的一部分。然而，本領域技藝人士將容易清楚的是，機器可讀取媒體或其任意部分可以位於處理系統的外部。舉例說明，機器可讀取媒體可以包括傳輸線、由資料調制的載波及/或與設備分離的電腦產品，所有該等機器可讀取媒體皆可以由處理器經由匯流排介面進行存取。或者或此外，機器可讀取媒體或其任意部分可以整合到處理器中，例如該情況可以是具有快取記憶體及/或通用暫存器檔案。
可以將處理系統組態為具有一或多個微處理器以及外部記憶體的通用處理系統，該一或多個微處理器提供處理器功能，該外部記憶體提供機器可讀取媒體的至少一部分，所有該等處理系統經由外部匯流排架構與其他支援電路連結在一起。或者，處理系統可以用ASIC(特殊應用積體電路)或者用一或多個FPGA(現場可程式設計閘陣列)、PLD(可程式設計邏輯裝置)、控制器、狀態機、閘控邏輯、個別硬體元件或任何其他適當的電路或可以執行貫穿本發明所描述的各個功能的電路的任意組合來實現，其中ASIC具有整合到單個晶片中的處理器、匯流排介面、使用者介面、支援電路和機器可讀取媒體的至少一部分。本領域技藝人士將認識到如何根據特定的應用和施加於整個系統上的整體設計約束來最佳地實現處理系統的所描述的功能。
機器可讀取媒體可以包括多個軟體模組。軟體模組包括當由處理器執行時使處理系統執行各個功能的指令。軟 體模組可以包括發射模組和接收模組。每個軟體模組可以位於單個儲存裝置中或者分佈在多個儲存裝置之間。舉例說明，當觸發事件發生時，可以將軟體模組從硬碟裝載到RAM中。在執行軟體模組期間，處理器可以將指令中的一些指令裝載到快取記憶體中以提高存取速度。隨後，可以將一或多個快取記憶體行裝載到通用暫存器檔案中以供處理器執行。當在下文中提到軟體模組的功能時，將理解的是，該功能是由處理器在執行來自該軟體模組的指令時實現的。
若實現在軟體中，則可以將該等功能作為一或多個指令或代碼儲存在電腦可讀取媒體上或藉由電腦可讀取媒體進行傳送。電腦可讀取媒體包括電腦儲存媒體和通訊媒體二者，該通訊媒體包括有助於電腦程式從一個位置轉移到另一個位置的任意媒體。儲存媒體可以是能夠由電腦存取的任意可用媒體。舉例而言而非限制地，此種電腦可讀取媒體可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟記憶體、磁碟記憶體或其他磁儲存裝置，或者能夠用於以指令或資料結構的形式承載或儲存期望的程式碼並且能夠由電腦進行存取的任何其他媒體。此外，任何連接可以適當地稱為電腦可讀取媒體。例如，若軟體是使用同軸電纜、光纖光纜、雙絞線、數位用戶線路(DSL)或者諸如紅外線(IR)、無線電和微波等的無線技術從網站、伺服器或其他遠端源發送的，則同軸電纜、光纖光纜、雙絞線、DSL或者諸如紅外線、無線電和微波等的無線技術包括在媒體的定義中。本文使用的磁碟和光碟包括壓縮光碟(CD)、雷射光碟、光碟、數位多功 能光碟(DVD)、軟碟和藍光®光碟，其中磁碟通常磁性地複製資料，而光碟用雷射光學地複製資料。因此，在一些態樣中，電腦可讀取媒體可以包括非暫態性電腦可讀取媒體(例如，有形媒體)。此外，對於其他態樣，電腦可讀取媒體可以包括暫態性電腦可讀取媒體(例如，信號)。上述各項的組合亦應當包括在電腦可讀取媒體的範圍內。
因此，某些態樣可以包括用於執行本文提供的操作的電腦程式產品。例如，此種電腦程式產品可以包括在其上儲存(及/或編碼)有指令的電腦可讀取媒體，該等指令由一或多個處理器執行以執行本文所描述的操作。對於某些態樣，電腦程式產品可以包括包裝材料。
此外，應當清楚的是，可以視情況由設備下載及/或以其他方式獲得用於執行本文所描述的方法和技術的模組及/或其他適當的單元。例如，可以將此種設備耦合到伺服器以便有助於傳輸用於執行本文所描述的方法的單元。或者，可以藉由儲存單元(例如，RAM、ROM、諸如壓縮光碟(CD)或軟碟等的實體儲存媒體等)來提供本文所描述的各種方法，使得設備可以在將儲存單元耦合到或提供給該設備時來獲得各種方法。此外，可以使用用於向設備提供本文所描述的方法和技術的任何其他適當的技術。
應當理解的是，請求項不限於上文所示的精確配置和元件。可以在不偏離請求項的範圍的情況下，在上文所描述的方法和裝置的佈置、操作和細節方面進行各種修改、改變和變型。
500‧‧‧示例性操作
502‧‧‧操作步驟
504‧‧‧操作步驟

Claims (203)

  1. 一種用於神經網路的方法，該方法包括以下步驟：決定一神經元模型的一第一狀態，其中該神經元模型具有連續時間中的一封閉式解，並且其中該神經元模型的狀態動態被劃分成兩個或兩個以上狀況；及基於該第一狀態，從該兩個或兩個以上狀況中決定該神經元模型的一操作狀況。
  2. 根據請求項1述及之方法，其中該兩個或兩個以上狀況包括第一狀況和第二狀況，並且其中該神經元模型的該狀態動態在該第一狀況中趨於靜止並且在該第二狀況中趨於尖波。
  3. 根據請求項1述及之方法，其中該兩個或兩個以上狀況包括第一狀況和第二狀況，並且其中該神經元模型的該狀態動態在一第一狀況中趨於一第一參考並且在一第二狀況中趨於遠離一第二參考。
  4. 根據請求項3述及之方法，其中該第一參考或該第二參考包括一點、一線或一面中的至少一者。
  5. 根據請求項1述及之方法，其中該兩個或兩個以上狀況包括第一狀況和第二狀況，並且其中該神經元模型的該狀態動態在該第一狀況中展示出洩漏積分和觸發(LIF)行為，並且在該第二狀況中展示出反洩漏積分和觸發(ALIF)行為。
  6. 根據請求項1述及之方法，其中該兩個或兩個以上狀況包括第一狀況和第二狀況，並且其中在該第一狀況中，該神經元模型在接收到先前輸入之後開始失去對該先前輸入的記憶，並且其中在該第二狀況中，即使在沒有進一步的激勵輸入的情況下，該神經元模型亦將觸發，使得進一步的激勵輸入或抑制輸入僅在該神經元模型將觸發時才產生影響。
  7. 根據請求項1述及之方法，亦包括以下步驟：基於該第一狀態和該操作狀況中的至少一者，來決定該神經元模型在與該第一狀態的時間不同的時間時的一第二狀態。
  8. 根據請求項7述及之方法，其中該神經元模型的該第一狀態與一第一事件相對應，其中該第二狀態與一第二事件相對應，並且其中該第二事件是該第一事件之後的下一個事件。
  9. 根據請求項8述及之方法，其中決定該第二狀態之步驟包括以下步驟：基於該第一事件與該第二事件之間的一時間以及基於該操作狀況中的該狀態動態來決定該神經元模型的該第二狀態。
  10. 根據請求項7述及之方法，其中該第一狀態包括該神經元模型的一當前狀態，並且其中該第二狀態包括在該當前狀態之後的一將來狀態或者在該當前狀態之前的一先前狀態。
  11. 根據請求項7述及之方法，其中該第一狀態包括該神經元模型的一先前狀態，並且其中該第二狀態包括在該先前狀態之後的一當前狀態或一將來狀態。
  12. 根據請求項7述及之方法，其中該第一事件包括該神經元模型的一輸入事件、一輸出事件或一人為事件。
  13. 根據請求項7述及之方法，其中該第一狀態是由該神經元模型的一膜電位元(ν)和一恢復電流(u)定義的，並且其中決定該第二狀態之步驟包括以下步驟：使用下文的方程： ν'=ν+q ρ ,u'=u+r,q ρ =-τ ρ βu-ν ρ ，以及r=δ(ν+ε)其中△t是該第一狀態與該第二狀態之間的一經過時間，若ν>則ρ=+，若ν則ρ=-，是一狀況閾值，τ ρ 是一電壓時間常數，τ u 是一恢復電流時間常數，β是一電阻，ν ρ 是該操作狀況的一基準電壓，q ρ 和r是狀態轉換變數，δ是一比例因數，並且ε是一偏移電壓。
  14. 根據請求項1述及之方法，亦包括以下步驟：基於該第一狀態和該操作狀況中的至少一者來決定該神經元模型將何時 觸發。
  15. 根據請求項14述及之方法，其中該第一狀態是由該神經元模型的一膜電位元(ν)和一恢復電流(u)定義的，並且其中決定該神經元模型將何時觸發之步驟包括以下步驟：使用下文的規則： 其中τ +是一正狀況電壓時間常數，ν s 是該神經元模型的一輸出尖波的一定義的電壓，q +是一正狀況狀態轉換變數，是一狀況閾值，並且△t s 是在該神經元模型將觸發之前的一預期時間。
  16. 根據請求項14述及之方法，其中決定該神經元模型將何時觸發之步驟包括以下步驟：使用該神經元模型的與任意事件解耦合的該狀態動態。
  17. 根據請求項14述及之方法，亦包括以下步驟：根據對該神經元模型將何時觸發的決定，在一輸出時間處輸出一尖波。
  18. 根據請求項1述及之方法，其中決定該第一狀態之步驟包括以下步驟：若該神經元模型未在一預定的時段期間接收到任何事件，則在該時段之後決定該第一狀態。
  19. 根據請求項1述及之方法，其中決定該操作狀況之步驟包括以下步驟：決定在一事件的一時間時或在該事件的一時間之後不久的該操作狀況。
  20. 根據請求項1述及之方法，其中該狀態動態是由該神經元模型的一膜電位元和一恢復電流定義的。
  21. 根據請求項1述及之方法，亦包括以下步驟：決定在一事件的一時間時或在該事件的一時間之後不久的狀態轉換變數，其中該等狀態轉換變數中的至少一者取決於該操作狀況。
  22. 根據請求項21述及之方法，亦包括以下步驟：基於該第一狀態和該等狀態轉換變數，來決定該神經元模型在與該第一狀態的時間不同的時間時的一第二狀態。
  23. 根據請求項21述及之方法，其中基於事件之間的該等狀態轉換變數，該神經元模型的該狀態動態被表示為常微分方程(ODE)。
  24. 根據請求項1述及之方法，亦包括以下步驟：向一顯示器輸出該神經元模型的該第一狀態。
  25. 一種用於神經網路的裝置，包括： 一處理系統，其被配置為：決定一神經元模型的一第一狀態，其中該神經元模型具有連續時間中的一封閉式解，並且其中該神經元模型的狀態動態被劃分成兩個或兩個以上狀況；及基於該第一狀態，從該兩個或兩個以上狀況中決定該神經元模型的一操作狀況。
  26. 根據請求項25述及之裝置，其中該兩個或兩個以上狀況包括第一狀況和第二狀況，並且其中該神經元模型的該狀態動態在該第一狀況中趨於靜止並且在該第二狀況中趨於尖波。
  27. 根據請求項25述及之裝置，其中該兩個或兩個以上狀況包括第一狀況和第二狀況，並且其中該神經元模型的該狀態動態在一第一狀況中趨於一第一參考並且在一第二狀況中趨於遠離一第二參考。
  28. 根據請求項27述及之裝置，其中該第一參考或該第二參考包括一點、一線或一面中的至少一者。
  29. 根據請求項25述及之裝置，其中該兩個或兩個以上狀況包括第一狀況和第二狀況，並且其中該神經元模型的該狀態動態在該第一狀況中展示出洩漏積分和觸發(LIF)行為，並且在該第二狀況中展示出反洩漏積分和觸發(ALIF)行為。
  30. 根據請求項25述及之裝置，其中該兩個或兩個以上狀況包括第一狀況和第二狀況，並且其中在該第一狀況中，該神經元模型在接收到一先前輸入之後開始失去對該先前輸入的記憶，並且其中在該第二狀況中，即使在沒有進一步的激勵輸入的情況下，該神經元模型亦將觸發，使得進一步的激勵輸入或抑制輸入僅在該神經元模型將觸發時才產生影響。
  31. 根據請求項25述及之裝置，其中該處理系統被進一步配置為：基於該第一狀態和該操作狀況中的至少一者，來決定該神經元模型在與該第一狀態的時間不同的時間時的一第二狀態。
  32. 根據請求項31述及之裝置，其中該神經元模型的該第一狀態與一第一事件相對應，其中該第二狀態與一第二事件相對應，並且其中該第二事件是該第一事件之後的下一個事件。
  33. 根據請求項32述及之裝置，其中該處理系統被配置為：藉由以下方式來決定該第二狀態：基於該第一事件與該第二事件之間的一時間以及基於該操作狀況中的該狀態動態來決定該神經元模型的該第二狀態。
  34. 根據請求項31述及之裝置，其中該第一狀態包括該神經 元模型的一當前狀態，並且其中該第二狀態包括在該當前狀態之後的一將來狀態或者在該當前狀態之前的一先前狀態。
  35. 根據請求項31述及之裝置，其中該第一狀態包括該神經元模型的一先前狀態，並且其中該第二狀態包括在該先前狀態之後的一當前狀態或一將來狀態。
  36. 根據請求項31述及之裝置，其中該第一事件包括該神經元模型的一輸入事件、一輸出事件或一人為事件。
  37. 根據請求項31述及之裝置，其中該第一狀態是由該神經元模型的一膜電位元(ν)和一恢復電流(u)定義的，並且其中該處理系統被配置為藉由使用下文的方程來決定該第二狀態： ν'=ν+q ρ ,u'=u+r,q ρ =-τ ρ βu-ν ρ ，以及r=δ(ν+ε)其中△t是該第一狀態與該第二狀態之間的一經過時間，若ν>則ρ=+，若ν則ρ=-，是一狀況閾值，τ ρ 是一電壓時間常數，τ u 是一恢復電流時間常數，β是一電阻，ν ρ 是該操作狀況的一基準電壓，q ρ 和r是一狀態轉換變數，δ是一比例因數，並且ε是一偏移電壓。
  38. 根據請求項25述及之裝置，其中該處理系統被進一步配置為：基於該第一狀態和該操作狀況中的至少一者來決定該神經元模型將何時觸發。
  39. 根據請求項38述及之裝置，其中該第一狀態是由該神經元模型的一膜電位元(ν)和一恢復電流(u)定義的，並且其中該處理系統被配置為藉由使用下文的規則來決定該神經元模型將何時觸發： 其中τ +是一正狀況電壓時間常數，ν s 是該神經元模型的一輸出尖波的定義的一電壓，q +是一正狀況狀態轉換變數，是一狀況閾值，並且△t s 是在該神經元模型將觸發之前的一預期時間。
  40. 根據請求項38述及之裝置，其中該處理系統被配置為：藉由使用該神經元模型的與任意事件解耦合的該狀態動態，來決定該神經元模型將何時觸發。
  41. 根據請求項38述及之裝置，其中該處理系統被進一步配置為：根據對該神經元模型將何時觸發的決定，在一輸出時間處輸出一尖波。
  42. 根據請求項25述及之裝置，其中該處理系統被配置為：藉由以下方式來決定該第一狀態：若該神經元模型未在一預定的時段期間接收到任何事件，則在該時段之後決定該第一狀態。
  43. 根據請求項25述及之裝置，其中該處理系統被配置為：藉由以下方式來決定該操作狀況：決定在一事件的一時間時或在該事件的一時間之後不久的該操作狀況。
  44. 根據請求項25述及之裝置，其中該狀態動態是由該神經元模型的一膜電位元和一恢復電流定義的。
  45. 根據請求項25述及之裝置，其中該處理系統被進一步配置為：決定在一事件的一時間時或在該事件的一時間之後不久的狀態轉換變數，其中該等狀態轉換變數中的至少一者取決於該操作狀況。
  46. 根據請求項45述及之裝置，其中該處理系統被進一步配置為：基於該第一狀態和該等狀態轉換變數，來決定該神經元模型在與該第一狀態的時間不同的時間時的一第二狀態。
  47. 根據請求項45述及之裝置，其中基於事件之間的該等狀態轉換變數，該神經元模型的該狀態動態被表示為常微分方程(ODE)。
  48. 一種用於神經網路的裝置，包括：用於決定一神經元模型的一第一狀態的手段，其中該神經元模型具有連續時間中的一封閉式解，並且其中該神經元模型的狀態動態被劃分成兩個或兩個以上狀況；及用於基於該第一狀態，從該兩個或兩個以上狀況中決定該神經元模型的一操作狀況的手段。
  49. 根據請求項48述及之裝置，其中該兩個或兩個以上狀況包括第一狀況和第二狀況，並且其中該神經元模型的該狀態動態在該第一狀況中趨於靜止並且在該第二狀況中趨於尖波。
  50. 根據請求項48述及之裝置，其中該兩個或兩個以上狀況包括第一狀況和第二狀況，並且其中該神經元模型的該狀態動態在一第一狀況中趨於一第一參考並且在一第二狀況中趨於遠離一第二參考。
  51. 根據請求項50述及之裝置，其中該第一參考或該第二參考包括一點、一線或一面中的至少一者。
  52. 根據請求項48述及之裝置，其中該兩個或兩個以上狀況包括第一狀況和第二狀況，並且其中該神經元模型的該狀態動態在該第一狀況中展示出洩漏積分和觸發(LIF)行為，並 且在該第二狀況中展示出反洩漏積分和觸發(ALIF)行為。
  53. 根據請求項48述及之裝置，其中該兩個或兩個以上狀況包括第一狀況和第二狀況，並且其中在該第一狀況中，該神經元模型在接收到一先前輸入之後開始失去對該先前輸入的記憶，並且其中在該第二狀況中，即使在沒有進一步的激勵輸入的情況下，該神經元模型亦將觸發，使得進一步的激勵輸入或抑制輸入僅在該神經元模型將觸發時才產生影響。
  54. 根據請求項48述及之裝置，亦包括：用於基於該第一狀態和該操作狀況中的至少一者，來決定該神經元模型在與該第一狀態的時間不同的時間時的一第二狀態的手段。
  55. 根據請求項54述及之裝置，其中該神經元模型的該第一狀態與一第一事件相對應，其中該第二狀態與一第二事件相對應，並且其中該第二事件是該第一事件之後的下一個事件。
  56. 根據請求項55述及之裝置，其中用於決定該第二狀態的該手段被配置為：基於該第一事件與該第二事件之間的一時間以及基於該操作狀況中的該狀態動態來決定該神經元模型的該第二狀態。
  57. 根據請求項54述及之裝置，其中該第一狀態包括該神經 元模型的一當前狀態，並且其中該第二狀態包括在該當前狀態之後的一將來狀態或者在該當前狀態之前的一先前狀態。
  58. 根據請求項54述及之裝置，其中該第一狀態包括該神經元模型的一先前狀態，並且其中該第二狀態包括在該先前狀態之後的一當前狀態或一將來狀態。
  59. 根據請求項54述及之裝置，其中該第一事件包括該神經元模型的一輸入事件、一輸出事件或一人為事件。
  60. 根據請求項54述及之裝置，其中該第一狀態是由該神經元模型的一膜電位元(ν)和一恢復電流(u)定義的，並且其中用於決定該第二狀態的該手段被配置為使用下文的方程： ν'=ν+q ρ ,u'=u+r,q ρ =-τ ρ βu-ν ρ ，以及r=δ(ν+ε)其中△t是該第一狀態與該第二狀態之間的一經過時間，若ν>則ρ=+，若ν則ρ=-，是一狀況閾值，τ ρ 是一電壓時間常數，τ u 是一恢復電流時間常數，β是一電阻，ν ρ 是該操作狀況的一基準電壓，q ρ 和r是一狀態轉換變數，δ是一比例因數，並且ε是一偏移電壓。
  61. 根據請求項48述及之裝置，亦包括：用於基於該第一狀態和該操作狀況中的至少一者來決定該神經元模型將何時觸發的手段。
  62. 根據請求項61述及之裝置，其中該第一狀態是由該神經元模型的一膜電位元(ν)和一恢復電流(u)定義的，並且其中用於決定該神經元模型將何時觸發的手段被配置為使用下文的規則： 其中τ +是一正狀況電壓時間常數，ν s 是該神經元模型的一輸出尖波的一定義的電壓，q +是一正狀況狀態轉換變數，是一狀況閾值，並且△t s 是在該神經元模型將觸發之前的一預期時間。
  63. 根據請求項61述及之裝置，其中用於決定該神經元模型將何時觸發的該手段被配置為：使用該神經元模型的與任意事件解耦合的該狀態動態。
  64. 根據請求項61述及之裝置，亦包括：用於根據對該神經元模型將何時觸發的決定，在一輸出時間處輸出一尖波的手段。
  65. 根據請求項48述及之裝置，其中用於決定該第一狀態的該手段被配置為：若該神經元模型未在一預定的時段期間接收到任何事件，則在該時段之後決定該第一狀態。
  66. 根據請求項48述及之裝置，其中用於決定該操作狀況的該手段被配置為：決定在一事件的一時間時或在該事件的一時間之後不久的該操作狀況。
  67. 根據請求項48述及之裝置，其中該狀態動態是由該神經元模型的一膜電位元和一恢復電流定義的。
  68. 根據請求項48述及之裝置，亦包括：用於決定在一事件的一時間時或在該事件的一時間之後不久的狀態轉換變數的手段，其中該等狀態轉換變數中的至少一者取決於該操作狀況。
  69. 根據請求項68述及之裝置，亦包括：用於基於該第一狀態和該等狀態轉換變數，來決定該神經元模型在與該第一狀態的時間不同的時間時的一第二狀態的手段。
  70. 根據請求項68述及之裝置，其中基於事件之間的該等狀態轉換變數，該神經元模型的該狀態動態被表示為常微分方程(ODE)。
  71. 一種用於神經網路的電腦程式產品，該電腦程式產品包括一電腦可讀取媒體，該電腦可讀取媒體包括用於以下操作的可執行指令：決定一神經元模型的一第一狀態，其中該神經元模型具有連續時間中的一封閉式解，並且其中該神經元模型的狀態動態被劃分成兩個或兩個以上狀況；及基於該第一狀態，從該兩個或兩個以上狀況中決定該神經元模型的一操作狀況。
  72. 根據請求項71述及之電腦程式產品，其中該兩個或兩個以上狀況包括第一狀況和第二狀況，並且其中該神經元模型的該狀態動態在該第一狀況中趨於靜止並且在該第二狀況中趨於尖波。
  73. 根據請求項71述及之電腦程式產品，其中該兩個或兩個以上狀況包括第一狀況和第二狀況，並且其中該神經元模型的該狀態動態在一第一狀況中趨於一第一參考並且在一第二狀況中趨於遠離一第二參考。
  74. 根據請求項73述及之電腦程式產品，其中該第一參考或該第二參考包括一點、一線或一面中的至少一者。
  75. 根據請求項71述及之電腦程式產品，其中該兩個或兩個以上狀況包括第一狀況和第二狀況，並且其中該神經元模型 的該狀態動態在該第一狀況中展示出洩漏積分和觸發(LIF)行為，並且在該第二狀況中展示出反洩漏積分和觸發(ALIF)行為。
  76. 根據請求項71述及之電腦程式產品，其中該兩個或兩個以上狀況包括第一狀況和第二狀況，其中在該第一狀況中，該神經元模型在接收到一先前輸入之後開始失去對該先前輸入的記憶，並且其中在該第二狀況中，即使在沒有進一步的激勵輸入的情況下，該神經元模型亦將觸發，使得進一步的激勵輸入或抑制輸入僅在該神經元模型將觸發時才產生影響。
  77. 根據請求項71述及之電腦程式產品，亦包括用於以下操作的可執行指令：基於該第一狀態和該操作狀況中的至少一者，來決定該神經元模型在與該第一狀態的時間不同的時間時的一第二狀態。
  78. 根據請求項77述及之電腦程式產品，其中該神經元模型的該第一狀態與一第一事件相對應，其中該第二狀態與一第二事件相對應，並且其中該第二事件是該第一事件之後的下一個事件。
  79. 根據請求項78述及之電腦程式產品，其中決定該第二狀態包括：基於該第一事件與該第二事件之間的一時間以及基 於該操作狀況中的該狀態動態來決定該神經元模型的該第二狀態。
  80. 根據請求項77述及之電腦程式產品，其中該第一狀態包括該神經元模型的一當前狀態，並且其中該第二狀態包括在該當前狀態之後的一將來狀態或者在該當前狀態之前的一先前狀態。
  81. 根據請求項77述及之電腦程式產品，其中該第一狀態包括該神經元模型的一先前狀態，並且其中該第二狀態包括在該先前狀態之後的一當前狀態或一將來狀態。
  82. 根據請求項77述及之電腦程式產品，其中該第一事件包括該神經元模型的一輸入事件、一輸出事件或一人為事件。
  83. 根據請求項77述及之電腦程式產品，其中該第一狀態是由該神經元模型的一膜電位元(ν)和一恢復電流(u)定義的，並且其中決定該第二狀態包括使用下文的方程： ν'=ν+q ρ ,u'=u+r,q ρ =-τ ρ βu-ν ρ ，以及r=δ(ν+ε)其中△t是該第一狀態與該第二狀態之間的一經過時間， 若ν>則ρ=+，若ν則ρ=-，是一狀況閾值，τ ρ 是一電壓時間常數，τ u 是一恢復電流時間常數，β是一電阻，ν ρ 是該操作狀況的一基準電壓，q ρ 和r是一狀態轉換變數，δ是一比例因數，並且ε是一偏移電壓。
  84. 根據請求項71述及之電腦程式產品，亦包括用於以下操作的可執行指令：基於該第一狀態和該操作狀況中的至少一者來決定該神經元模型將何時觸發。
  85. 根據請求項84述及之電腦程式產品，其中該第一狀態是由該神經元模型的一膜電位元(ν)和一恢復電流(u)定義的，並且其中決定該神經元模型將何時觸發包括使用下文的規則： 其中τ +是一正狀況電壓時間常數，ν s 是該神經元模型的一輸出尖波的一定義的電壓，q +是一正狀況狀態轉換變數，是一狀況閾值，並且△t s 是在該神經元模型將觸發之前的一預期時間。
  86. 根據請求項84述及之電腦程式產品，其中決定該神經元模型將何時觸發之步驟包括以下步驟：使用該神經元模型的與任意事件解耦合的該狀態動態。
  87. 根據請求項84述及之電腦程式產品，亦包括用於以下操作的可執行指令：根據對該神經元模型將何時觸發的決定，在一輸出時間處輸出一尖波。
  88. 根據請求項71述及之電腦程式產品，其中決定該第一狀態之步驟包括以下步驟：若該神經元模型未在一預定的時段期間接收到任何事件，則在該時段之後決定該第一狀態。
  89. 根據請求項71述及之電腦程式產品，其中決定該操作狀況之步驟包括以下步驟：決定在一事件的一時間時或在該事件的一時間之後不久的該操作狀況。
  90. 根據請求項71述及之電腦程式產品，其中該狀態動態是由該神經元模型的一膜電位元和一恢復電流定義的。
  91. 根據請求項71述及之電腦程式產品，亦包括用於以下操作的可執行指令：決定在一事件的一時間時或在該事件的一時間之後不久的狀態轉換變數，其中該等狀態轉換變數中的至少一者取決於該操作狀況。
  92. 根據請求項91述及之電腦程式產品，亦包括用於以下操作的可執行指令：基於該第一狀態和該等狀態轉換變數，來決定該神經元模型在與該第一狀態的時間不同的時間時的一第二狀態。
  93. 根據請求項91述及之電腦程式產品，其中基於事件之間的該等狀態轉換變數，該神經元模型的該狀態動態被表示為常微分方程(ODE)。
  94. 一種用於神經網路的方法，該方法包括以下步驟：決定一神經元模型在一第一事件時或在該第一事件之後不久的一第一狀態，其中該神經元模型具有連續時間中的一封閉式解；及基於該第一狀態，來決定該神經元模型在一第二事件時或在該第二事件之後不久的一第二狀態，其中該第一狀態和該第二狀態的動態分別僅在該第一事件和該第二事件時才被耦合到該神經元模型，並且在該第一事件與該第二事件之間被解耦合。
  95. 根據請求項94述及之方法，其中該第一狀態和該第二狀態是多元的。
  96. 根據請求項94述及之方法，其中該第二事件包括一輸入事件、一輸出事件或一人為事件。
  97. 根據請求項94述及之方法，其中該第一狀態或該第二狀態是由兩個或兩個以上狀態變數定義的，該兩個或兩個以上狀態變數的動態在該等事件之間被解耦合，並且在該等事件 時藉由轉換被耦合。
  98. 根據請求項94述及之方法，其中該第二事件是在該第一事件之後的下一個事件。
  99. 根據請求項94述及之方法，其中該第一狀態包括該神經元模型的一當前狀態，並且其中該第二狀態包括在該當前狀態之後的一將來狀態或者在該當前狀態之前的一先前狀態。
  100. 根據請求項94述及之方法，其中該第一狀態包括該神經模型的一先前狀態，並且其中該第二狀態包括在該先前狀態之後的一當前狀態或一將來狀態。
  101. 根據請求項94述及之方法，其中該第一狀態是由該神經元模型的一膜電位元(ν)和一恢復電流(u)定義的，並且其中決定該第二狀態包括使用下文的方程： ν'=ν+q ρ ,u'=u+r,q ρ =-τ ρ βu-ν ρ ，以及r=δ(ν+ε)其中△t是該第一狀態與該第二狀態之間的一經過時間，若ν>則ρ=+，若ν則ρ=-，是一狀況閾值，τ ρ 是一電壓時間常數，τ u 是一恢復電流時間常數，β是一電阻，ν ρ 是一操作 狀況的一基準電壓，q ρ 和r是一狀態轉換變數，δ是一比例因數，並且ε是一偏移電壓。
  102. 根據請求項94述及之方法，亦包括以下步驟：基於該第一狀態或該第二狀態中的至少一者來決定該神經元模型將何時觸發。
  103. 根據請求項102述及之方法，其中該第一狀態或該第二狀態中的至少一者是由該神經元模型的一膜電位元(ν)和一恢復電流(u)定義的，並且其中決定該神經元模型將何時觸發之步驟包括以下步驟：使用下文的規則： 其中τ +是一正狀況電壓時間常數，ν s 是該神經元模型的一輸出尖波的一定義的電壓，q +是一正狀況狀態轉換變數，是一狀況閾值，並且△t s 是在該神經元模型將觸發之前的一預期時間。
  104. 根據請求項102述及之方法，其中決定該神經元模型將何時觸發之步驟包括以下步驟：使用該第一狀態和該第二狀態的該動態。
  105. 根據請求項102述及之方法，亦包括以下步驟：根據對該神經元模型將何時觸發的決定，在一輸出時間處輸出一尖波 。
  106. 根據請求項94述及之方法，其中決定該第一狀態或該第二狀態中的至少一者之步驟包括以下步驟：若該神經元模型未在一預定的時段期間接收到任何事件，則在該時段之後決定該第一狀態或該第二狀態中的該至少一者。
  107. 根據請求項94述及之方法，其中基於事件之間的狀態轉換變數，該第一狀態和該第二狀態的該動態被表示為常微分方程(ODE)。
  108. 根據請求項94述及之方法，亦包括以下步驟：向一顯示器輸出以下各項中的至少一項：該第一狀態、該第二狀態、關於該第一事件的第一指示或者關於該第二事件的一第二指示。
  109. 一種用於神經網路的裝置，包括：一處理系統，其被配置為：決定一神經元模型在一第一事件時或在該第一事件之後不久的一第一狀態，其中該神經元模型具有連續時間中的一封閉式解；及基於該第一狀態，來決定該神經元模型在一第二事件時或在該第二事件之後不久的一第二狀態，其中該第一狀態和該第二狀態的動態分別僅在該第一事件和該第二事 件時才被耦合到該神經元模型，並且在該第一事件與該第二事件之間被解耦合。
  110. 根據請求項109述及之裝置，其中該第一狀態和該第二狀態是多元的。
  111. 根據請求項109述及之裝置，其中該第二事件包括一輸入事件、一輸出事件或一人為事件。
  112. 根據請求項109述及之裝置，其中該第一狀態或該第二狀態是由兩個或兩個以上狀態變數定義的，該兩個或兩個以上狀態變數的動態在該等事件之間被解耦合，並且在該等事件時藉由轉換被耦合。
  113. 根據請求項109述及之裝置，其中該第二事件是在該第一事件之後的下一個事件。
  114. 根據請求項109述及之裝置，其中該第一狀態包括該神經元模型的一當前狀態，並且其中該第二狀態包括在該當前狀態之後的一將來狀態或者在該當前狀態之前的一先前狀態。
  115. 根據請求項109述及之裝置，其中該第一狀態包括該神經模型的一先前狀態，並且其中該第二狀態包括在該先前狀態之後的一當前狀態或一將來狀態。
  116. 根據請求項109述及之裝置，其中該第一狀態是由該神經元模型的一膜電位元(ν)和一恢復電流(u)定義的，並且其中該處理系統被配置為藉由使用下文的方程來決定該第二狀態： ν'=ν+q ρ ,u'=u+r,q ρ =-τ ρ βu-ν ρ ，以及r=δ(ν+ε)其中△t是該第一狀態與該第二狀態之間的一經過時間，若ν>則ρ=+，若ν則ρ=-，是一狀況閾值，τ ρ 是一電壓時間常數，τ u 是一恢復電流時間常數，β是一電阻，ν ρ 是一操作狀況的一基準電壓，q ρ 和r是一狀態轉換變數，δ是一比例因數，並且ε是一偏移電壓。
  117. 根據請求項109述及之裝置，其中該處理系統被進一步配置為：基於該第一狀態或該第二狀態中的至少一者來決定該神經元模型將何時觸發。
  118. 根據請求項117述及之裝置，其中該第一狀態或該第二狀態中的至少一者是由該神經元模型的一膜電位元(ν)和一恢復電流(u)定義的，並且其中該處理系統被配置為藉由使用下文的規則來決定該神經元模型將何時觸發： 其中τ +是一正狀況電壓時間常數，ν s 是該神經元模型的一輸出尖波的一定義的電壓，q +是一正狀況狀態轉換變數，是一狀況閾值，並且△t s 是在該神經元模型將觸發之前的一預期時間。
  119. 根據請求項117述及之裝置，其中該處理系統被配置為：藉由使用該第一狀態和該第二狀態的該動態來決定該神經元模型將何時觸發。
  120. 根據請求項117述及之裝置，其中該處理系統被進一步配置為：根據對該神經元模型將何時觸發的決定，在一輸出時間處輸出一尖波。
  121. 根據請求項109述及之裝置，其中該處理系統被配置為：藉由以下方式來決定該第一狀態或該第二狀態中的至少一者：若該神經元模型未在一預定的時段期間接收到任何事件，則在該時段之後決定該第一狀態或該第二狀態中的該至少一者。
  122. 根據請求項109述及之裝置，其中基於事件之間的狀態轉換變數，該第一狀態和該第二狀態的該動態被表示為常微分方程(ODE)。
  123. 一種用於神經網路的裝置，包括：用於決定一神經元模型在一第一事件時或在該第一事件之後不久的一第一狀態的手段，其中該神經元模型具有連續時間中的一封閉式解；及用於基於該第一狀態，來決定該神經元模型在一第二事件時或在該第二事件之後不久的一第二狀態的手段，其中該第一狀態和該第二狀態的動態分別僅在該第一事件和該第二事件時才被耦合到該神經元模型，並且在該第一事件與該第二事件之間被解耦合。
  124. 根據請求項123述及之裝置，其中該第一狀態和該第二狀態是多元的。
  125. 根據請求項123述及之裝置，其中該第二事件包括一輸入事件、一輸出事件或一人為事件。
  126. 根據請求項123述及之裝置，其中該第一狀態或該第二狀態是由兩個或兩個以上狀態變數定義的，該兩個或兩個以上狀態變數的動態在該等事件之間被解耦合，並且在該等事件時藉由轉換被耦合。
  127. 根據請求項123述及之裝置，其中該第二事件是在該第一事件之後的下一個事件。
  128. 根據請求項123述及之裝置，其中該第一狀態包括該神經元模型的一當前狀態，並且其中該第二狀態包括在該當前狀態之後的一將來狀態或者在該當前狀態之前的一先前狀態。
  129. 根據請求項123述及之裝置，其中該第一狀態包括該神經模型的一先前狀態，並且其中該第二狀態包括在該先前狀態之後的一當前狀態或一將來狀態。
  130. 根據請求項123述及之裝置，其中該第一狀態是由該神經元模型的一膜電位元(ν)和一恢復電流(u)定義的，其中該用於決定該第二狀態的模組被配置為使用下文的方程： ν'=ν+q ρ ,u'=u+r,q ρ =-τ ρ βu-ν ρ ，以及r=δ(ν+ε)其中△t是該第一狀態與該第二狀態之間的一經過時間，若ν>則ρ=+，若ν則ρ=-，是一狀況閾值，τ ρ 是一電壓時間常數，τ u 是一恢復電流時間常數，β是一電阻，ν ρ 是一操作狀況的一基準電壓，q ρ 和r是一狀態轉換變數，δ是一比例因數，並且ε是一偏移電壓。
  131. 根據請求項123述及之裝置，亦包括：用於基於該第一狀 態或該第二狀態中的至少一者來決定該神經元模型將何時觸發的手段。
  132. 根據請求項131述及之裝置，其中該第一狀態或該第二狀態中的至少一者是由該神經元模型的一膜電位元(ν)和一恢復電流(u)定義的，並且其中用於決定該神經元模型將何時觸發的該手段被配置為使用下文的規則： 其中τ +是一正狀況電壓時間常數，ν s 是該神經元模型的一輸出尖波的一定義的電壓，q +是一正狀況狀態轉換變數，是一狀況閾值，並且△t s 是在該神經元模型將觸發之前的一預期時間。
  133. 根據請求項131述及之裝置，其中用於決定該神經元模型將何時觸發的手段被配置為使用該第一狀態和該第二狀態的該動態。
  134. 根據請求項131述及之裝置，亦包括：用於根據對該神經元模型將何時觸發的決定，在一輸出時間處輸出一尖波的手段。
  135. 根據請求項123述及之裝置，其中用於決定該第一狀態或該第二狀態中的至少一者的手段被配置為：若該神經元模型 未在一預定的時段期間接收到任何事件，則在該時段之後決定該第一狀態或該第二狀態中的該至少一者。
  136. 根據請求項123述及之裝置，其中基於事件之間的狀態轉換變數，該第一狀態和該第二狀態的該動態被表示為常微分方程(ODE)。
  137. 一種用於神經網路的電腦程式產品，該電腦程式產品包括一電腦可讀取媒體，該電腦可讀取媒體包括用於以下操作的可執行指令：決定一神經元模型在一第一事件時或在該第一事件之後不久的一第一狀態，其中該神經元模型具有連續時間中的一封閉式解；及基於該第一狀態，來決定該神經元模型在一第二事件時或在該第二事件之後不久的一第二狀態，其中該第一狀態和該第二狀態的動態分別僅在該第一事件和該第二事件時才被耦合到該神經元模型，並且在該第一事件與該第二事件之間被解耦合。
  138. 根據請求項137述及之電腦程式產品，其中該第一狀態和該第二狀態是多元的。
  139. 根據請求項137述及之電腦程式產品，其中該第二事件包括一輸入事件、一輸出事件或一人為事件。
  140. 根據請求項137述及之電腦程式產品，其中該第一狀態或該第二狀態是由兩個或兩個以上狀態變數定義的，該兩個或兩個以上狀態變數的動態在該等事件之間被解耦合，並且在該等事件時藉由轉換被耦合。
  141. 根據請求項137述及之電腦程式產品，其中該第二事件是在該第一事件之後的下一個事件。
  142. 根據請求項137述及之電腦程式產品，其中該第一狀態包括該神經元模型的一當前狀態，並且其中該第二狀態包括在該當前狀態之後的一將來狀態或者在該當前狀態之前的一先前狀態。
  143. 根據請求項137述及之電腦程式產品，其中該第一狀態包括該神經模型的一先前狀態，並且其中該第二狀態包括在該先前狀態之後的一當前狀態或一將來狀態。
  144. 根據請求項137述及之電腦程式產品，其中該第一狀態是由該神經元模型的一膜電位元(ν)和一恢復電流(u)定義的，並且其中決定該第二狀態包括使用下文的方程： ν'=ν+q ρ ,u'=u+r,q ρ =-τ ρ βu-ν ρ ，以及r=δ(ν+ε)其中△t是該第一狀態與該第二狀態之間的一經過時間，若ν>則ρ=+，若ν則ρ=-，是一狀況閾值，τ ρ 是一電壓時間常數，τ u 是一恢復電流時間常數，β是一電阻，ν ρ 是一操作狀況的一基準電壓，q ρ 和r是一狀態轉換變數，δ是一比例因數，並且ε是一偏移電壓。
  145. 根據請求項137述及之電腦程式產品，亦包括用於以下操作的可執行指令：基於該第一狀態或該第二狀態中的至少一者來決定該神經元模型將何時觸發。
  146. 根據請求項145述及之電腦程式產品，其中該第一狀態或該第二狀態中的至少一者是由該神經元模型的一膜電位元(ν)和一恢復電流(u)定義的，並且其中決定該神經元模型將何時觸發之步驟包括以下步驟：使用下文的規則： 其中τ +是一正狀況電壓時間常數，ν s 是該神經元模型的一輸出尖波的一定義的電壓，q +是一正狀況狀態轉換變數，是一狀況閾值，並且△t s 是在該神經元模型將觸發之前的一預期 時間。
  147. 根據請求項145述及之電腦程式產品，其中決定該神經元模型將何時觸發之步驟包括以下步驟：使用該第一狀態和該第二狀態的該動態。
  148. 根據請求項145述及之電腦程式產品，亦包括用於以下操作的可執行指令：根據對該神經元模型將何時觸發的決定，在一輸出時間處輸出一尖波。
  149. 根據請求項137述及之電腦程式產品，其中決定該第一狀態或該第二狀態中的至少一者包括：若該神經元模型未在一預定的時段期間接收到任何事件，則在該時段之後決定該第一狀態或該第二狀態中的該至少一者。
  150. 根據請求項137述及之電腦程式產品，其中基於事件之間的狀態轉換變數，該第一狀態和該第二狀態的該動態被表示為常微分方程(ODE)。
  151. 一種用於神經網路的方法，該方法包括以下步驟：決定一神經元模型在一第一事件時或者在該第一事件之後不久的一第一狀態，其中該神經元模型具有連續時間中的一封閉式解；及基於該第一狀態來決定一第二事件，在該第二事件時， 若有的話，該神經元模型的一第二狀態將發生，其中該第一狀態和該第二狀態的動態分別僅在該第一事件和該第二事件時才被耦合到該神經元模型，並且在該第一事件與該第二事件之間被解耦合。
  152. 根據請求項151述及之方法，其中該第一狀態和該第二狀態是多元的。
  153. 根據請求項151述及之方法，其中該第二事件包括輸入事件、輸出事件或人為事件。
  154. 根據請求項151述及之方法，其中該第二事件是在該第一事件之後的下一個事件。
  155. 根據請求項151述及之方法，其中該第一狀態包括該神經元模型的一當前狀態，並且其中該第二狀態包括在該當前狀態之後的一將來狀態或者在該當前狀態之前的一先前狀態。
  156. 根據請求項151述及之方法，其中該第一狀態包括該神經元模型的一先前狀態，並且其中該第二狀態包括在該先前狀態之後的一當前狀態或一將來狀態。
  157. 根據請求項151述及之方法，其中該第一狀態是由該神經元模型的一膜電位元(ν)和一恢復電流(u)定義的，並且 其中決定該第二事件之步驟包括以下步驟：使用下文的規則： 其中τ +是一正狀況電壓時間常數，ν s 是該神經元模型的一輸出尖波的一定義的電壓，q +是一正狀況狀態轉換變數，是一狀況閾值，並且△t s 是在該神經元模型將觸發之前的一預期時間。
  158. 根據請求項151述及之方法，亦包括以下步驟：根據對該第二事件的決定，在一輸出時間處輸出一尖波。
  159. 根據請求項151述及之方法，其中決定該第一狀態之步驟包括以下步驟：若該神經元模型未在一預定的時段期間接收到任何事件，則在該時段之後決定該第一狀態。
  160. 根據請求項151述及之方法，其中基於該第一事件與該第二事件之間的狀態轉換變數，該第一狀態和該第二狀態的該動態被表示為常微分方程(ODE)。
  161. 根據請求項151述及之方法，亦包括以下步驟：向顯示器輸出以下各項中的至少一項：該第一狀態、該第二狀態、關於該第一事件的一第一指示或者關於該第二事件的一第二指示。
  162. 一種用於神經網路的裝置，包括：一處理系統，其被配置為：決定一神經元模型在一第一事件時或者在該第一事件之後不久的一第一狀態，其中該神經元模型具有連續時間中的一封閉式解；及基於該第一狀態來決定一第二事件，在該第二事件時，若有的話，該神經元模型的一第二狀態將發生，其中該第一狀態和該第二狀態的動態分別僅在該第一事件和該第二事件時才被耦合到該神經元模型，並且在該第一事件與該第二事件之間被解耦合。
  163. 根據請求項162述及之裝置，其中該第一狀態和該第二狀態是多元的。
  164. 根據請求項162述及之裝置，其中該第二事件包括一輸入事件、一輸出事件或一人為事件。
  165. 根據請求項162述及之裝置，其中該第二事件是在該第一事件之後的下一個事件。
  166. 根據請求項162述及之裝置，其中該第一狀態包括該神經元模型的一當前狀態，並且其中該第二狀態包括在該當前狀態之後的一將來狀態或者在該當前狀態之前的一先前狀態。
  167. 根據請求項162述及之裝置，其中該第一狀態包括該神經元模型的一先前狀態，並且其中該第二狀態包括在該先前狀態之後的一當前狀態或一將來狀態。
  168. 根據請求項162述及之裝置，其中該第一狀態是由該神經元模型的一膜電位元(ν)和一恢復電流(u)定義的，並且其中該處理系統被配置為使用下文的規則來決定該第二事件： 其中τ +是一正狀況電壓時間常數，ν s 是該神經元模型的一輸出尖波的一定義的電壓，q +是一正狀況狀態轉換變數，是一狀況閾值，並且△t s 是在該神經元模型將觸發之前的一預期時間。
  169. 根據請求項162述及之裝置，其中該處理系統被進一步配置為：根據對該第二事件的決定，在一輸出時間處輸出一尖波。
  170. 根據請求項162述及之裝置，其中該處理系統被配置為：藉由以下方式來決定該第一狀態：若該神經元模型未在一預定的時段期間接收到任何事件，則在該時段之後決定該第一狀態。
  171. 根據請求項162述及之裝置，其中基於該第一事件與該第二事件之間的狀態轉換變數，該第一狀態和該第二狀態的該動態被表示為常微分方程(ODE)。
  172. 一種用於神經網路的裝置，包括：用於決定一神經元模型在一第一事件時或者在該第一事件之後不久的一第一狀態的手段，其中該神經元模型具有連續時間中的一封閉式解；及用於基於該第一狀態來決定一第二事件的手段，在該第二事件時，若有的話，該神經元模型的一第二狀態將發生，其中該第一狀態和該第二狀態的動態分別僅在該第一事件和該第二事件時才被耦合到該神經元模型，並且在該第一事件與該第二事件之間被解耦合。
  173. 根據請求項172述及之裝置，其中該第一狀態和該第二狀態是多元的。
  174. 根據請求項172述及之裝置，其中該第二事件包括一輸入事件、一輸出事件或一人為事件。
  175. 根據請求項172述及之裝置，其中該第二事件是在該第一事件之後的下一個事件。
  176. 根據請求項172述及之裝置，其中該第一狀態包括該神經元模型的一當前狀態，並且其中該第二狀態包括在該當前狀態之後的一將來狀態或者在該當前狀態之前的一先前狀態。
  177. 根據請求項172述及之裝置，其中該第一狀態包括該神經元模型的一先前狀態，並且其中該第二狀態包括在該先前狀態之後的一當前狀態或一將來狀態。
  178. 根據請求項172述及之裝置，其中該第一狀態是由該神經元模型的一膜電位元(ν)和一恢復電流(u)定義的，並且其中用於決定該第二事件的該手段被配置為使用下文的規則： 其中τ +是一正狀況電壓時間常數，ν s 是該神經元模型的一輸出尖波的一定義的電壓，q +是一正狀況狀態轉換變數，是一狀況閾值，並且△t s 是在該神經元模型將觸發之前的一預期時間。
  179. 根據請求項172述及之裝置，亦包括：用於根據對該第二事件的決定，在一輸出時間處輸出一尖波的手段。
  180. 根據請求項172述及之裝置，其中用於決定該第一狀態的該手段被配置為：若該神經元模型未在一預定的時段期間接 收到任何事件，則在該時段之後決定該第一狀態。
  181. 根據請求項172述及之裝置，其中基於該第一事件與該第二事件之間的狀態轉換變數，該第一狀態和該第二狀態的該動態被表示為常微分方程(ODE)。
  182. 一種用於神經網路的電腦程式產品，該電腦程式產品包括一電腦可讀取媒體，該電腦可讀取媒體包括用於以下操作的可執行指令：決定一神經元模型在一第一事件時或者在該第一事件之後不久的一第一狀態，其中該神經元模型具有連續時間中的一封閉式解；及基於該第一狀態來決定一第二事件，在該第二事件時，若有的話，該神經元模型的一第二狀態將發生，其中該第一狀態和該第二狀態的動態分別僅在該第一事件和該第二事件時才被耦合到該神經元模型，並且在該第一事件與該第二事件之間被解耦合。
  183. 根據請求項182述及之電腦程式產品，其中該第一狀態和該第二狀態是多元的。
  184. 根據請求項182述及之電腦程式產品，其中該第二事件包括一輸入事件、一輸出事件或一人為事件。
  185. 根據請求項182述及之電腦程式產品，其中該第二事件是在該第一事件之後的下一個事件。
  186. 根據請求項182述及之電腦程式產品，其中該第一狀態包括該神經元模型的一當前狀態，並且其中該第二狀態包括在該當前狀態之後的一將來狀態或者在該當前狀態之前的一先前狀態。
  187. 根據請求項182述及之電腦程式產品，其中該第一狀態包括該神經元模型的一先前狀態，並且其中該第二狀態包括在該先前狀態之後的一當前狀態或一將來狀態。
  188. 根據請求項182述及之電腦程式產品，其中該第一狀態是由該神經元模型的一膜電位元(ν)和一恢復電流(u)定義的，並且其中決定該第二事件包括使用下文的規則： 其中τ +是一正狀況電壓時間常數，ν s 是該神經元模型的一輸出尖波的一定義的電壓，q +是一正狀況狀態轉換變數，是一狀況閾值，並且△t s 是在該神經元模型將觸發之前的一預期時間。
  189. 根據請求項182述及之電腦程式產品，亦包括用於以下操作的可執行指令：根據對該第二事件的決定，在一輸出時間 處輸出一尖波。
  190. 根據請求項182述及之電腦程式產品，其中決定該第一狀態之步驟包括以下步驟：若該神經元模型未在一預定的時段期間接收到任何事件，則在該時段之後決定該第一狀態。
  191. 根據請求項182述及之電腦程式產品，其中基於該第一事件與該第二事件之間的狀態轉換變數，該第一狀態和該第二狀態的該動態被表示為常微分方程(ODE)。
  192. 根據請求項1述及之方法，其中該神經元模型具有一可變的重合偵測訊窗。
  193. 根據請求項25述及之裝置，其中該神經元模型具有一可變的重合偵測訊窗。
  194. 根據請求項48述及之裝置，其中該神經元模型具有一可變的重合偵測訊窗。
  195. 根據請求項71述及之電腦程式產品，其中該神經元模型具有一可變的重合偵測訊窗。
  196. 根據請求項94述及之方法，其中該神經元模型具有一可變的重合偵測訊窗。
  197. 根據請求項109述及之裝置，其中該神經元模型具有一可變的重合偵測訊窗。
  198. 根據請求項123述及之裝置，其中該神經元模型具有一可變的重合偵測訊窗。
  199. 根據請求項137述及之電腦程式產品，其中該神經元模型具有一可變的重合偵測訊窗。
  200. 根據請求項151述及之方法，其中該神經元模型具有一可變的重合偵測訊窗。
  201. 根據請求項162述及之裝置，其中該神經元模型具有一可變的重合偵測訊窗。
  202. 根據請求項172述及之裝置，其中該神經元模型具有一可變的重合偵測訊窗。
  203. 根據請求項182述及之電腦程式產品，其中該神經元模型具有一可變的重合偵測訊窗。
TW102118790A 2012-05-30 2013-05-28 用於學習尖波神經網路的動態事件神經元和突觸模型 TW201401188A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/483,811 US20130325767A1 (en) 2012-05-30 2012-05-30 Dynamical event neuron and synapse models for learning spiking neural networks

Publications (1)

Publication Number Publication Date
TW201401188A true TW201401188A (zh) 2014-01-01

Family

ID=48577296

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102118790A TW201401188A (zh) 2012-05-30 2013-05-28 用於學習尖波神經網路的動態事件神經元和突觸模型

Country Status (3)

Country Link
US (1) US20130325767A1 (zh)
TW (1) TW201401188A (zh)
WO (1) WO2013181109A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105319655A (zh) * 2014-06-30 2016-02-10 北京世维通科技发展有限公司 一种光学集成芯片与光纤组件的自动耦合方法及系统
TWI635446B (zh) * 2014-07-22 2018-09-11 英特爾股份有限公司 權重位移裝置、方法、系統以及機器可存取儲存媒體

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8812414B2 (en) 2011-05-31 2014-08-19 International Business Machines Corporation Low-power event-driven neural computing architecture in neural networks
US8909576B2 (en) 2011-09-16 2014-12-09 International Business Machines Corporation Neuromorphic event-driven neural computing architecture in a scalable neural network
US9208431B2 (en) 2012-05-10 2015-12-08 Qualcomm Incorporated Method and apparatus for strategic synaptic failure and learning in spiking neural networks
US9015096B2 (en) 2012-05-30 2015-04-21 Qualcomm Incorporated Continuous time spiking neural network event-based simulation that schedules co-pending events using an indexable list of nodes
US8943007B2 (en) * 2012-10-26 2015-01-27 International Business Machines Corporation Spike tagging for debugging, querying, and causal analysis
US9558443B2 (en) 2013-08-02 2017-01-31 International Business Machines Corporation Dual deterministic and stochastic neurosynaptic core circuit
US20150206050A1 (en) 2014-01-23 2015-07-23 Qualcomm Incorporated Configuring neural network for low spiking rate
US9652711B2 (en) 2014-03-12 2017-05-16 Qualcomm Incorporated Analog signal reconstruction and recognition via sub-threshold modulation
US20150269485A1 (en) * 2014-03-24 2015-09-24 Qualcomm Incorporated Cold neuron spike timing back-propagation
CN104089656B (zh) * 2014-07-17 2016-06-29 北京物资学院 一种堆场煤炭自燃检测方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105319655A (zh) * 2014-06-30 2016-02-10 北京世维通科技发展有限公司 一种光学集成芯片与光纤组件的自动耦合方法及系统
CN105319655B (zh) * 2014-06-30 2017-02-01 北京世维通科技发展有限公司 一种光学集成芯片与光纤组件的自动耦合方法及系统
TWI635446B (zh) * 2014-07-22 2018-09-11 英特爾股份有限公司 權重位移裝置、方法、系統以及機器可存取儲存媒體

Also Published As

Publication number Publication date
WO2013181109A2 (en) 2013-12-05
US20130325767A1 (en) 2013-12-05
WO2013181109A3 (en) 2014-04-17

Similar Documents

Publication Publication Date Title
TW201401188A (zh) 用於學習尖波神經網路的動態事件神經元和突觸模型
TWI541736B (zh) 分段線性神經元建模
KR101700140B1 (ko) 스파이킹 뉴럴 연산을 위한 방법들 및 장치
US9330355B2 (en) Computed synapses for neuromorphic systems
US9558442B2 (en) Monitoring neural networks with shadow networks
KR20140128384A (ko) 스파이킹 뉴럴 연산을 위한 방법들 및 장치
KR20140129067A (ko) 스파이킹 뉴럴 연산을 위한 방법들 및 장치
US20150212861A1 (en) Value synchronization across neural processors
TW201602807A (zh) Ｃｏｌｄ神經元尖峰時序反向傳播
US9652711B2 (en) Analog signal reconstruction and recognition via sub-threshold modulation
TW201528162A (zh) 在尖峰神經網路中使用重放來實施突觸學習
WO2014189717A1 (en) Spike time windowing for implementing spike-timing dependent plasticity (stdp)
US9710749B2 (en) Methods and apparatus for implementing a breakpoint determination unit in an artificial nervous system
TWI550530B (zh) 用於產生尖峰定時依賴可塑性曲線的緊湊表示的方法、設備、電腦可讀取媒體及電腦程式產品
KR20160125967A (ko) 일반적인 뉴런 모델들의 효율적인 구현을 위한 방법 및 장치
US20150112909A1 (en) Congestion avoidance in networks of spiking neurons
US9460384B2 (en) Effecting modulation by global scalar values in a spiking neural network
WO2015023424A2 (en) Behavioral homeostasis in artificial nervous systems using dynamical spiking neuron models
US9418332B2 (en) Post ghost plasticity
US20150242744A1 (en) Stochastic delay plasticity
US20140365413A1 (en) Efficient implementation of neural population diversity in neural system
Dummer Neural differential equations solving stochastic mean field games