TW201525883A - 在多維範圍上評估包括可分離子系統的系統 - Google Patents

在多維範圍上評估包括可分離子系統的系統 Download PDF

Info

Publication number
TW201525883A
TW201525883A TW103136675A TW103136675A TW201525883A TW 201525883 A TW201525883 A TW 201525883A TW 103136675 A TW103136675 A TW 103136675A TW 103136675 A TW103136675 A TW 103136675A TW 201525883 A TW201525883 A TW 201525883A
Authority
TW
Taiwan
Prior art keywords
subsystem
subsystems
output
neurons
parameter
Prior art date
Application number
TW103136675A
Other languages
English (en)
Inventor
Michael Campos
Casimir Matthew Wierzynski
Bardia Fallah Behabadi
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201525883A publication Critical patent/TW201525883A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G06N3/105—Shells for specifying net layout
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/005—Fire alarms; Alarms responsive to explosion for forest fires, e.g. detecting fires spread over a large or outdoors area

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Feedback Control In General (AREA)

Abstract

人工神經網路可被配置成測試特定輸入參數的影響。為改進測試效率以及避免可能不會更改系統效能的測試執行，輸入參數對神經元或神經元群的影響可被決定，以便基於特定參數對各群的影響來將神經元歸類到那些群中。可以基於群的互連性質以及一個群中的神經元的輸出是否會影響另一群的操作來將群串列及/或並行地排序。在執行系統測試之前，可以修剪不影響群效能的參數以不作為至該特定群的輸入，由此節省測試期間的處理資源。

Description

在多維範圍上評估包括可分離子系統的系統
本案的某些態樣一般係關於神經系統工程，且更具體地係關於經由改進參數搜尋的執行時間來進行神經網路的發展和測試。
人工神經網路可為其中傳統計算技術是麻煩的、不切實際的、或不勝任的某些應用提供創新且有用的計算技術。人工神經網路可具有生物學神經網路中的對應的結構及/或功能。可以是一群互連的人工神經元(即神經元模型)的人工神經網路是一種計算設備或者表示將由計算設備執行的方法。由於人工神經網路能從觀察中推斷出功能，因此此類網路在因任務或資料的複雜度使得經由習知技術來設計該功能較為麻煩的應用中是特別有用的。
在一個態樣，揭示一種無線通訊方法。該方法包括經由決定該系統的子系統之間的單向依賴性來將這些子系統序列化及/或經由決定每個子系統內的獨立性來將這些子系統 並行化。該方法進一步包括基於每個輸入參數是否影響每個子系統來修剪每個子系統的輸入參數。
另一態樣揭示一種設備，包括用於經由決定系統的子系統之間的單向依賴性來將這些子系統序列化的裝置及/或用於經由決定每個子系統內的獨立性來將這些子系統並行化的裝置。該設備進一步包括用於基於每個輸入參數是否影響每個子系統來修剪每個子系統的輸入參數的裝置。
在另一態樣，揭示一種具有非瞬態電腦可讀取媒體的用於無線網路中的無線通訊的電腦程式產品。該電腦可讀取媒體具有記錄於其上的非瞬態程式碼，該程式碼在由(諸)處理器執行時使(諸)處理器執行以下操作：經由決定系統的子系統之間的單向依賴性來將這些子系統序列化及/或經由決定每個子系統內的獨立性來將這些子系統並行化。該程式碼亦使該處理器基於每個輸入參數是否影響每個子系統來修剪每個子系統的輸入參數。
另一態樣揭示具有記憶體以及耦合至該記憶體的至少一個處理器的無線通訊。該處理器被配置成經由決定系統的子系統之間的單向依賴性來將這些子系統序列化及/或經由決定每個子系統內的獨立性來將這些子系統並行化。該處理器亦被配置成基於每個輸入參數是否影響每個子系統來修剪每個子系統的輸入參數。
本發明的其他特徵和優點將在下文描述。熟習此項技術者應該領會，本發明可容易地被用作改動或設計用於實施與本發明相同的目的的其他結構的基礎。熟習此項技術者 亦應認識到，此類等效構造並不脫離所附請求項中所闡述的本發明的教導。被認為是本發明的特性的新穎特徵在其組織和操作方法兩態樣連同進一步的目的和優點在結合附圖來考慮以下描述時將被更好地理解。然而要清楚理解的是，提供每一幅附圖均僅用於圖示和描述目的，且無意作為對本發明的限定的定義。
100‧‧‧人工神經系統
102‧‧‧神經元
104‧‧‧突觸連接網路
106‧‧‧神經元
1081‧‧‧輸入信號
1082‧‧‧輸入信號
108N‧‧‧輸入信號
1101‧‧‧輸出尖峰
1102‧‧‧輸出尖峰
110M‧‧‧輸出尖峰
200‧‧‧示圖
202‧‧‧神經元
2041‧‧‧輸入信號
204i‧‧‧輸入信號
204N‧‧‧輸入信號
2061‧‧‧可調節突觸權重
206i‧‧‧可調節突觸權重
206N‧‧‧可調節突觸權重
208‧‧‧輸出信號
300‧‧‧曲線圖
302‧‧‧曲線圖的部分
304‧‧‧曲線圖的部分
306‧‧‧交越點
400‧‧‧模型
402‧‧‧負態相
404‧‧‧正態相
500‧‧‧神經網路
502‧‧‧神經元
504‧‧‧突觸
506‧‧‧隱藏子系統
508‧‧‧隱藏子系統
510‧‧‧隱藏子系統
520‧‧‧前饋連接
522‧‧‧前饋連接
530‧‧‧神經網路
602‧‧‧神經網路(F)
604‧‧‧輸出
606‧‧‧第一序列化層
608‧‧‧第二序列化層
610‧‧‧第一並行化群集(S11)
612‧‧‧第二並行化群集(S12)
614‧‧‧並行化塊(P1)
700‧‧‧方法
702‧‧‧方塊
704‧‧‧方塊
706‧‧‧方塊
708‧‧‧方塊
710‧‧‧方塊
802‧‧‧方塊
804‧‧‧方塊
806‧‧‧方塊
808‧‧‧方塊
810‧‧‧方塊
900‧‧‧實現
902‧‧‧通用處理器
904‧‧‧記憶體塊
909‧‧‧程式記憶體
1000‧‧‧實現
1002‧‧‧記憶體
1004‧‧‧互連網路
1006‧‧‧處理單元
1100‧‧‧實現
1102‧‧‧記憶體組
1104‧‧‧處理單元
1200‧‧‧處理單元
1202‧‧‧處理單元
1204‧‧‧局部狀態記憶體
1206‧‧‧局部參數記憶體
1208‧‧‧儲存局部(神經元)模型程式的記憶體
1210‧‧‧儲存局部學習程式的記憶體
1212‧‧‧局部連接記憶體
1214‧‧‧用於配置處理的單元
1216‧‧‧路由連接處理元件
1300‧‧‧方法
1302‧‧‧方塊
1304‧‧‧方塊
1306‧‧‧方塊
在結合附圖理解下面闡述的詳細描述時，本發明的特徵、本質和優點將變得更加明顯，在附圖中，相同元件符號始終作相應標識。
圖1圖示根據本案的某些態樣的示例神經元網路。
圖2圖示根據本案的某些態樣的計算網路(神經系統或神經網路)的處理單元(神經元)的示例。
圖3圖示根據本案的某些態樣的尖峰定時依賴可塑性(STDP)曲線的示例。
圖4圖示根據本案的某些態樣的用於定義神經元模型的行為的正態相和負態相的示例。
圖5A-5B圖示根據本案各態樣的神經網路的示例。
圖6A-6D圖示根據本案各態樣的神經網路的示例。
圖7是圖示根據本案的一態樣的用於改進神經網路的參數評估的方法的方塊圖。
圖8是圖示根據本案的一態樣的用於改進神經網路的參數評估的函數的方塊圖。
圖9圖示根據本案的某些態樣的使用通用處理器來 設計神經網路的示例實現。
圖10圖示根據本案的某些態樣的設計其中記憶體可以與各個分散式處理單元對接的神經網路的示例實現。
圖11圖示根據本案的某些態樣的基於分散式記憶體和分散式處理單元來設計神經網路的示例實現。
圖12圖示根據本案的某些態樣的神經網路的示例實現。
圖13是圖示用於在具有帶有單向依賴性的子系統的系統上執行參數掃掠的方法的方塊圖。
以下結合附圖闡述的詳細描述旨在作為各種配置的描述，而無意表示可實踐本文中所描述的概念的僅有的配置。本詳細描述包括具體細節以便提供對各種概念的透徹理解。然而，對於熟習此項技術者將顯而易見的是，沒有這些具體細節亦可實踐這些概念。在一些實例中，以方塊圖形式示出眾所周知的結構和元件以避免湮沒此類概念。
基於教導，熟習此項技術者應領會，本案的範疇旨在覆蓋本案的任何態樣，不論其是與本案的任何其他態樣相獨立地還是組合地實現的。例如，可以使用所闡述的任何數目的態樣來實現裝置或實踐方法。另外，本案的範疇旨在覆蓋使用作為所闡述的本案的各個態樣的補充或者與之不同的其他結構、功能性、或者結構及功能性來實踐的此類裝置或方法。應當理解，所揭示的本案的任何態樣可由請求項的一或多個元素來實施。
措辭「示例性」在本文中用於表示「用作示例、實例或圖示」。本文中描述為「示例性」的任何態樣不必被解釋為優於或勝過其他態樣。
儘管本文描述了特定態樣，但這些態樣的眾多變體和置換落在本案的範疇之內。雖然提到了優選態樣的一些益處和優點，但本案的範疇並非旨在被限定於特定益處、用途或目標。相反，本案的各態樣旨在能寬泛地應用於不同的技術、系統組態、網路和協定，其中一些作為示例在附圖以及以下對優選態樣的描述中圖示。該詳細描述和附圖僅僅圖示本案而非限定本案，本案的範疇由所附請求項及其等效技術方案來定義。
示例神經系統、訓練及操作
圖1圖示根據本案的某些態樣的具有多級神經元的示例人工神經系統100。神經系統100可具有一級神經元102，該級神經元102經由突觸連接網路104(亦即，前饋連接)來連接到另一級神經元106。為簡單起見，圖1中僅圖示了兩級神經元，儘管神經系統中可存在更少或更多級神經元。應注意，一些神經元可經由側向連接來連接至同層中的其他神經元。此外，一些神經元可經由回饋連接來後向連接至先前層中的神經元。
如圖1所圖示的，級102中的每一個神經元可以接收可由前一級的神經元(未在圖1中示出)產生的輸入信號108。信號108可表示級102的神經元的輸入電流。該電流可在神經元膜上累積以對膜電位進行充電。當膜電位達到其閾值時 ，該神經元可激發並產生輸出脈衝，該輸出脈衝將被傳遞到下一級神經元(例如，級106)。在某些情況下，神經元可以連續地向下一級神經元傳送信號。所傳送的信號可以是膜電位的函數。此類行為可在硬體及/或軟體(包括類比和數位實現，諸如以下所述那些實現)中進行模擬或仿真。
在生物學神經元中，在神經元激發時產生的輸出尖峰被稱為動作電位。該電信號是相對迅速、瞬態的神經脈衝，其具有約為100mV的振幅和約為1ms的歷時。在具有一系列連通的神經元(例如，尖峰從圖1中的一級神經元傳遞至另一級神經元)的神經系統的特定實施例中，每個動作電位皆具有基本上相同的振幅和歷時，因此該信號中的資訊可僅由尖峰的頻率和數目、或尖峰的時間來表示，而不由振幅來表示。動作電位所攜帶的資訊可由尖峰、發放尖峰的神經元、以及該尖峰相對於一或多個其他尖峰的時間來決定。尖峰的重要性可由向各神經元之間的連接應用的權重來決定，如以下所解釋的。
尖峰從一級神經元向另一級神經元的傳遞可經由突觸連接(或簡稱「突觸」)網路104來達成，如圖1所圖示的。關於突觸104，級102的神經元可被視為突觸前神經元，而級106的神經元可被視為突觸後神經元。突觸104可接收來自級102的神經元的輸出信號(亦即，尖峰)，並根據可調節突觸權重來按比例縮放那些信號，其中P是級102的神經元與級106的神經元之間的突觸連接的總數，並且i是神經元級的指示符。例如，在圖1的示例中，i表示神經元級102 並且i+1表示神經元級106。此外，經按比例縮放的信號可被組合以作為級106中每個神經元的輸入信號。級106之每一者神經元可基於對應的組合輸入信號來產生輸出尖峰110。可使用另一突觸連接網路(圖1中未圖示)將這些輸出尖峰110傳遞到另一級神經元。
生物學突觸可以仲裁突觸後神經元中的興奮性或抑制性(超級化)動作，並且亦可用於放大神經元信號。興奮性信號使膜電位去極化(亦即，相對於靜息電位增大膜電位)。若在某個時間段內接收到足夠的興奮性信號以使膜電位去極化到高於閾值，則在突觸後神經元中發生動作電位。相反，抑制性信號一般使膜電位超極化(亦即，降低膜電位)。抑制性信號若足夠強則可抵消掉興奮性信號之和並阻止膜電位到達閾值。除了抵消掉突觸興奮以外，突觸抑制亦可對自發活動神經元施加強力的控制。自發活動神經元是指在沒有進一步輸入的情況下(例如，由於其動態或回饋而)發放尖峰的神經元。經由壓制這些神經元中的動作電位的自發產生，突觸抑制可對神經元中的激發模式進行定形，這一般被稱為雕刻。取決於期望的行為，各種突觸104可充當興奮性或抑制性突觸的任何組合。
神經系統100可經由通用處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)或其他可程式設計邏輯裝置(PLD)、個別閘或電晶體邏輯、個別的硬體元件、由處理器執行的軟體模組、或其任何組合來模擬。神經系統100可用在大範圍的應用中，諸如 影像和模式辨識、機器學習、電機控制、及類似應用等。神經系統100中的每一神經元可被實現為神經元電路。被充電至發起輸出尖峰的閾值的神經元膜可被實現為例如對流經其的電流進行積分的電容器。
在一態樣，電容器作為神經元電路的電流積分裝置可被除去，並且可使用較小的憶阻器元件來替代它。這種辦法可應用於神經元電路中，以及其中大容量電容器被用作電流積分器的各種其他應用中。另外，每個突觸104可基於憶阻器元件來實現，其中突觸權重改變可與憶阻器電阻的變化有關。使用奈米特徵尺寸的憶阻器，可顯著地減小神經元電路和突觸的面積，這可使得實現大規模神經系統硬體實現更為切實可行。
對神經系統100進行模擬的神經處理器的功能性可取決於突觸連接的權重，這些權重可控制神經元之間的連接的強度。突觸權重可儲存在非揮發性記憶體中以在掉電之後保留該處理器的功能性。在一態樣，突觸權重記憶體可實現在與主神經處理器晶片分開的外部晶片上。突觸權重記憶體可與神經處理器晶片分開地封裝成可更換的儲存卡。這可向神經處理器提供多種多樣的功能性，其中特定功能性可基於當前附連至神經處理器的儲存卡中所儲存的突觸權重。
圖2圖示根據本案的某些態樣的計算網路(例如，神經系統或神經網路)的處理單元(例如，神經元或神經元電路)202的示例性示圖200。例如，神經元202可對應於來自圖1的級102和106的任一個神經元。神經元202可接收多個輸入 信號2041-204N(X19N)，這些輸入信號可以是該神經系統外部的信號、或是由同一神經系統的其他神經元所產生的信號、或這兩者。輸入信號可以是實數值及/或複數值的電流、電導、電壓。輸入信號可包括具有定點或浮點表示的數值。可以經由突觸連接將這些輸入信號傳遞到神經元202，突觸連接根據可調節突觸權重2061-206N(W1-WN)對這些信號按比例縮放，其中N可以是神經元202的輸入連接總數。
神經元202可組合這些經按比例縮放的輸入信號，並且使用組合的經按比例縮放的輸入來產生輸出信號208(亦即，信號Y)。輸出信號208可以是實數值及/或複數值的電流、電導、電壓。輸出信號可以是具有定點或浮點表示的數值。隨後該輸出信號208可作為輸入信號傳遞至同一神經系統的其他神經元、或作為輸入信號傳遞至同一神經元202、或作為該神經系統的輸出傳遞。
處理單元(神經元)202可由電路來模擬，並且其輸入和輸出連接可由具有突觸電路的電連接來模擬。處理單元202及其輸入和輸出連接亦可由軟體代碼來模擬。處理單元202亦可由電子電路來模擬，而其輸入和輸出連接可由軟體代碼來模擬。在一態樣，計算網路中的處理單元202可以是類比電路。在另一態樣，處理單元202可以是數位電路。在又一態樣，處理單元202可以是具有類比和數位元件兩者的混合信號電路。計算網路可包括任何前述形式的處理單元。使用此類處理單元的計算網路(神經系統或神經網路)可用在大範圍的應用中，諸如影像和模式辨識、機器學習、電機控制等。
在神經網路的訓練程序期間，突觸權重(例如，來自圖1的權重及/或來自圖2的權重2061-206N)可用隨機值來初始化並根據學習規則而增大或減小。熟習此項技術者將領會，學習規則的示例包括但不限於尖峰定時依賴可塑性(STDP)學習規則、Hebb規則、Oja規則、Bienenstock-Copper-Munro(BCM)規則等。在某些態樣，這些權重可穩定或收斂至兩個值(亦即，權重的雙峰分佈)之一。該效應可被用於減少每個突觸權重的位數、提高從/向儲存突觸權重的記憶體讀取和寫入的速度、以及降低突觸記憶體的功率及/或處理器消耗。
突觸類型
在神經網路的硬體和軟體模型中，突觸相關功能的處理可基於突觸類型。突觸類型可包括非可塑突觸(對權重和延遲沒有改變)、可塑突觸(權重可改變)、結構化延遲可塑突觸(權重和延遲可改變)、全可塑突觸(權重、延遲和連通性可改變)、以及基於此的變型(例如，延遲可改變，但在權重或連通性態樣沒有改變)。多種類型的優點在於處理可以被細分。例如，非可塑突觸可不執行可塑性功能(或等待此類功能完成)。類似地，延遲和權重可塑性可被細分成可一起或分開地、順序地或並行地運作的操作。不同類型的突觸對於適用的每一種不同的可塑性類型可具有不同的查閱資料表或公式以及參數。因此，這些方法將針對該突觸的類型來存取相關的表、公式或參數。對變化的突觸類型的使用會向人工神經網路添加靈活性和可配置性。
亦存在尖峰定時依賴結構化可塑性獨立於突觸可塑性而執行的暗示。結構化可塑性即使在權重幅值沒有改變的情況下(例如，若權重已達最小或最大值、或者其由於某種其他原因而不改變)亦可執行，因為結構化可塑性(亦即，延遲改變的量)可以是前-後尖峰時間差的直接函數。替換地，結構化可塑性可被設為權重改變量的函數或者可基於與權重或權重改變的界限有關的條件來設置。例如，突觸延遲可僅在權重改變發生時或者在權重到達0的情況下才改變，但在這些權重為最大值時不改變。然而，具有獨立函數以使得這些程序能被並行化從而減少記憶體存取的次數和交疊可能是有利的。
突觸可塑性的決定
神經元可塑性(或簡稱「可塑性」)是大腦中的神經元和神經網路回應於新的資訊、感官刺激、發展、損壞、或機能障礙而改變其突觸連接和行為的能力。可塑性對於生物學中的學習和記憶、以及對於計算神經元科學和神經網路是重要的。已經研究了各種形式的可塑性，諸如突觸可塑性(例如，根據赫布理論)、尖峰定時依賴可塑性(STDP)、非突觸可塑性、活動性依賴可塑性、結構化可塑性和自身穩態可塑性。
STDP是調節神經元之間的突觸連接的強度的學習程序。連接強度是基於特定神經元的輸出與收到輸入尖峰(亦即，動作電位)的相對定時來調節的。在STDP程序下，若至某個神經元的輸入尖峰平均而言傾向於緊挨在該神經元的 輸出尖峰之前發生，則可發生長期增強(LTP)。於是使得該特定輸入在一定程度上更強。另一態樣，若輸入尖峰平均而言傾向於緊接在輸出尖峰之後發生，則可發生長期抑壓(LTD)。於是使得該特定輸入在一定程度上更弱，並由此得名為「尖峰定時依賴可塑性」。因此，使得可能是突觸後神經元興奮原因的輸入甚至更有可能在將來作出貢獻，而使得不是突觸後尖峰的原因的輸入較不可能在將來作出貢獻。該程序繼續，直至初始連接集的子集保留，而所有其他連接的影響減輕至無關緊要的水平。
由於神經元一般在其許多輸入皆在一短時段內發生(亦即，輸入被累積到足以引起輸出)時產生輸出尖峰，因此通常保留下來的輸入子集包括傾向於在時間上相關的那些輸入。另外，由於在輸出尖峰之前發生的輸入被加強，因此提供對相關性的最早充分累積指示的輸入將最終變成至該神經元的最後輸入。
STDP學習規則可因變於突觸前神經元的尖峰時間t pre 與突觸後神經元的尖峰時間t post 之間的時間差(亦即，t=t post -t pre )來有效地適配將該突觸前神經元連接到該突觸後神經元的突觸的突觸權重。STDP的典型公式是若該時間差為正(突觸前神經元在突觸後神經元之前激發)則增大突觸權重(亦即，增強該突觸)，以及若該時間差為負(突觸後神經元在突觸前神經元之前激發)則減小突觸權重(亦即，抑壓該突觸)。
在STDP程序中，突觸權重隨時間推移的改變可通常 使用指數衰退來達成，如由下式提供的： 其中k +和k - τ sign(Δt)分別是針對正和負時間差的時間常數，a +和a -是對應的比例縮放幅值，以及μ是可應用於正時間差及/或負時間差的偏移。
圖3圖示了根據STDP，突觸權重因變於突觸前(pre)和突觸後(post)尖峰的相對定時而改變的示例性曲線圖300。若突觸前神經元在突觸後神經元之前激發，則可使對應的突觸權重增大，如曲線圖300的部分302中所圖示的。該權重增大可被稱為突觸的LTP。從曲線圖部分302可觀察到，LTP的量可因變於突觸前和突觸後尖峰時間之差而大致呈指數地下降。相反的激發次序可減小突觸權重，如曲線圖300的部分304中所圖示的，從而導致突觸的LTD。
如圖3中的曲線圖300中所圖示的，可向STDP曲線圖的LTP(因果性)部分302應用負偏移μ。x軸的交越點306(y=0)可被配置成與最大時間滯後重合以考慮到來自層i-1的各因果性輸入的相關性。在基於訊框的輸入(亦即，按尖峰或脈衝的特定歷時的訊框的形式的輸入)的情形中，可計算偏移值μ以反映訊框邊界。該訊框中的第一輸入尖峰(脈衝)可被視為隨時間衰退，要麼如直接由突觸後電位所建模地、要麼以對神經狀態的影響的形式而隨時間衰退。若該訊框中的第二輸入尖峰(脈衝)被視為與特定的時間訊框關聯或相關，則該訊框之前和之後的相關時間可經由偏移STDP曲線的一或 多個部分以使得相關時間中的值可以不同(例如，對於大於一個訊框為負，而對於小於一個訊框為正)來在該時間訊框邊界處被分開並在可塑性態樣被不同地對待。例如，負偏移μ可被設為偏移LTP以使得曲線實際上在大於訊框時間的前-後時間處變得低於零並且它由此為LTD而非LTP的一部分。
神經元模型及操作
存在一些用於設計有用的尖峰神經元模型的一般原理。良好的神經元模型在以下兩個計算態相(regime)態樣可具有豐富的潛在行為：一致性偵測和功能計算。此外，良好的神經元模型應當具有允許時間編碼的兩個要素。例如，輸入的抵達時間影響輸出時間並且一致性偵測能具有窄時間窗。另外，為了在計算上是有吸引力的，良好的神經元模型在連續時間上可具有封閉形式解，並且具有穩定的行為，包括在靠近吸引子和鞍點之處。換言之，有用的神經元模型是可實踐且可被用於建模豐富的、現實的且生物學一致的行為並且可被用於對神經電路進行工程設計和反向工程兩者的神經元模型。
神經元模型可取決於事件，諸如輸入抵達、輸出尖峰或其他事件，無論這些事件是內部的還是外部的。為了達成豐富的行為技能集合，能展現複雜行為的狀態機可能是期望的。若事件本身的發生在撇開輸入貢獻(若有)的情況下能影響狀態機並約束該事件之後的動態，則該系統的將來狀態並非僅是狀態和輸入的函數，而是狀態、事件和輸入的函數。
在一態樣，神經元n可被建模為尖峰帶洩漏積分激發神經元，其膜電壓v n (t)由以下動態來支配： 其中α和β是參數，w m,n w m,n 是將突觸前神經元m連接至突觸後神經元n的突觸的突觸權重，以及y m (t)是神經元m的尖峰輸出，其可根據Δt m,n 被延遲達樹突或軸突延遲才抵達神經元n的胞體。
應注意，從建立了對突觸後神經元的充分輸入的時間直至突觸後神經元實際上激發的時間之間存在延遲。在動態尖峰神經元模型(諸如Izhikevich簡單模型)中，若在去極化閾值v t 與峰值尖峰電壓v peak 之間有差量，則可能招致時間延遲。例如，在該簡單模型中，神經元胞體動態可由關於電壓和恢復的微分方程對來支配，即：
其中v是膜電位，u是膜恢復變數，k是描述膜電位v的時間尺度的參數，a是描述恢復變數u的時間尺度的參數，b是描述恢復變數u對膜電位v的閾下波動的敏感度的參數，v r 是膜靜息電位，I是突觸電流，以及C是膜的電容。根據該模型，神經元被定義為在v>v peak 時發放尖峰。
Hunzinger Cold模型
Hunzinger Cold神經元模型是能再現豐富多樣的各種神經行為的最小雙態相尖峰線性動態模型。該模型的一維 或二維線性動態可具有兩個態相，其中時間常數(以及耦合)可取決於態相。在閾下態相中，時間常數(按照慣例為負)表示洩漏通道動態，其一般作用於以生物學一致的線性方式使細胞返回到靜息。閾上態相中的時間常數(按照慣例為正)反映抗洩漏通道動態，其一般驅動細胞發放尖峰，而同時在尖峰產生中引發等待時間。
如圖4中所圖示的，該模型400的動態可被劃分成兩個(或更多個)態相。這些態相可被稱為負態相402(亦可互換地稱為帶洩漏積分激發(LIF)態相(其與LIF神經元模型不同))以及正態相404(亦可互換地稱為抗洩漏積分激發(ALIF)態相，勿與ALIF神經元模型混淆)。在負態相402中，狀態在將來事件的時間趨向於靜息(v -)。在該負態相中，該模型一般展現出時間輸入偵測性質及其他閾下行為。在正態相404中，狀態趨向於尖峰發放事件(v s )。在該正態相中，該模型展現出計算性質，諸如取決於後續輸入事件而引發發放尖峰的等待時間。在事件態樣對動態進行公式化以及將動態分成這兩個態相是該模型的基礎特性。
線性雙態相二維動態(對於狀態v和u)可按照慣例定義為：
其中q ρ 和r是用於耦合的線性變換變數。
符號ρ在本文中用於標示動態態相，在討論或表達具體態相的關係時，按照慣例對於負態相和正態相分別用符 號「-」或「+」來替換符號ρ。
模型狀態經由膜電位(電壓)v和恢復電流u來定義。在基本形式中，態相在本質上是由模型狀態來決定的。該精確和通用的定義存在一些細微卻重要的態樣，但目前考慮該模型在電壓v高於閾值(v +)的情況下處於正態相404中，否則處於負態相402中。
態相依賴時間常數包括負態相時間常數τ -和正態相時間常數τ +。恢復電流時間常數τ u 通常是與態相無關的。出於方便起見，負態相時間常數τ -通常被指定為反映衰退的負量，從而用於電壓演變的相同運算式可用於正態相，在正態相中指數和τ +將一般為正，正如τ u 那樣。
這兩個狀態元素的動態可在發生事件之際經由使狀態偏離其零傾線(null-cline)的變換來耦合，其中變換變數為：q ρ =τ ρ βu-v ρ (7)
r=δ(v+ε) (8)
其中δ、ε、β和v -、v +是參數。v ρ 的兩個值是這兩個態相的參考電壓的基數。參數v -是負態相的基電壓，並且膜電位在負態相中一般將朝向v -衰退。參數v +是正態相的基電壓，並且膜電位在正態相中一般將趨向於背離v +。
v和u的零傾線分別由變換變數q ρ 和r的負數提供。參數δ是控制u零傾線的斜率的比例縮放因數。參數ε通常被設為等於-v -。參數β是控制這兩個態相中的v零傾線的斜率的電阻值。τ ρ 時間常數參數不僅控制指數衰退，亦單獨地控制每個態 相中的零傾線斜率。
該模型可被定義為在電壓v達到值v S 時發放尖峰。隨後，狀態可在發生重定事件(其可以與尖峰事件完全相同)之際被復位：
u=u+Δu (10)
其中和Δu是參數。重定電壓通常被設為v -。
依照暫態耦合的原理，封閉形式解不僅對於狀態是可能的(且具有單個指數項)，而且對於到達特定狀態所需的時間亦是可能的。封閉形式狀態解為：
因此，模型狀態可僅在發生事件之際被更新，諸如在輸入(突觸前尖峰)或輸出(突觸後尖峰)之際被更新。亦可在任何特定的時間(無論是否有輸入或輸出)執行操作。
而且，依照暫態耦合原理，可以預計突觸後尖峰的時間，因此到達特定狀態的時間可提前被決定而無需反覆運算技術或數值方法(例如，歐拉數值方法)。給定了先前電壓狀態v 0，直至到達電壓狀態v f 之前的時間延遲由下式提供：
若尖峰被定義為發生在電壓狀態v到達v S 的時間，則從電壓處於給定狀態v的時間起量測的直至發生尖峰前的時 間量或即相對延遲的封閉形式解為：
其中通常被設為參數v +，但其他變型可以是可能的。
模型動態的以上定義取決於該模型是在正態相還是負態相中。如所提及的，耦合和態相ρ可基於事件來計算。出於狀態傳播的目的，態相和耦合(變換)變數可基於在上一個(先前)事件的時間的狀態來定義。出於隨後預計尖峰輸出時間的目的，態相和耦合變數可基於在下一個(當前)事件的時間的狀態來定義。
存在對該Cold模型、以及在時間上執行仿真、模擬、或模型的若干可能實現。這包括例如事件-更新、步點-事件更新、以及步點-更新模式。事件更新是其中基於事件或「事件更新」(在特定時刻)來更新狀態的更新。步點更新是以間隔(例如，1ms)來更新模型的更新。這不一定要求反覆運算方法或數值方法。經由僅在事件發生於步點處或步點間的情況下才更新模型或即經由「步點-事件」更新，基於事件的實現以有限的時間解析度在基於步點的模擬器中亦是可能的。
參數評估
神經網路模型的發展可以包括用於評估各個參數組合的規範。例如，在設計程序期間，可以用各個參數來測試神經網路以改進神經網路的設計。這些參數可以包括：突觸 的權重、延遲、神經元模型參數、描述諸如尖峰閾值及/或最大電導等元素的參數、描述諸如所使用的數個影像及/或音訊檔等輸入的參數、學習參數、及/或神經網路的其他變數。經由將這些參數設為不同的值並且用那些不同的值來執行測試，可以基於各個準則(諸如神經網路的效率)來評估神經網路。
作為示例，可以將用於示例性神經網路的參數設為參數A-D。神經網路可以使用函數(F)來評估這些參數。例如，函數F(A,B,C,D)評估參數A-D，其中這些參數可以被給予任何值，諸如A=1，2，...10等。為評估神經網路，嘗試儘可能多的參數組合是合乎需要的。
在典型的神經網路中，參數搜尋遭受組合爆發。亦即，用於評估函數(諸如函數(F))的時間量等於用於評估第一參數(諸如參數(A))的所有變數的時間量、用於評估第二參數(諸如參數(B))的所有變數的時間量等等之積。在該示例中，整個函數(F)的評估時間的方程可被表達為T(F)=T(A) * T(B) * T(C) * T(D)，其中T表示時間。參數搜尋可被稱為參數掃掠。取決於每個參數的可能值的數目，T(F)可能變得非常大。
圖5A圖示神經網路500的示例。如圖5A中所示，神經網路可以包括經由突觸504互連的多個神經元502。在某些情況下，第一群互連神經元可以具有與第二群互連神經元的前饋連接。亦即，第二群互連神經元具有與第一群互連神經元的單向依賴性。更具體地，第一群互連神經元的輸出影響 第二群互連神經元。另外，第二群互連神經元的輸出不影響第一群互連神經元。因此，第一群互連神經元可以被指定為第一隱藏神經元子系統，而第二群互連神經元可以是第二隱藏神經元子系統。
圖5B圖示已被劃分成各隱藏子系統的示例神經網路。具體地，圖5A的神經網路已被劃分成各隱藏子系統以建立圖5B的示例性神經網路530。基於本案的一態樣，可以分析神經網路530以決定神經網路530的隱藏子系統506、508、510。
三個隱藏子系統506、508、510可被稱為隱藏子系統，因為對於神經網路的開發者及/或外行人而言，這些子系統不能被容易地決定。這些子系統可被稱為分量或受限集。儘管圖5A和5B僅圖示了從每個隱藏子系統506、510至第二隱藏子系統508的一個前饋連接520、522，但本案不限於僅具有一個前饋連接的子系統而是亦構想了多個前饋連接。
具體地，如圖5B中所示，第一隱藏子系統506的互連神經元具有至第二隱藏子系統508的互連神經元的前饋連接520。亦即，第一隱藏子系統506的輸出影響第二隱藏子系統508。另外，第三隱藏子系統510的互連神經元具有至第二隱藏子系統508的互連神經元的前饋連接522。亦即，第三隱藏子系統510的輸出影響第二隱藏子系統508。因此，神經網路530可以被劃分成三個隱藏互連神經元子系統506、508、510。
在當前示例中，每個子系統具有兩個感興趣的參數：A和B，其具有十個可能值(1至10)。用其中一個參數的可 能值之一來評估一個子系統的單次測試執行可能花費一分鐘。因此，評估神經網路530中所有參數的所有可能組合將花費兩年(亦即，106次執行)。這顯然是不切實際的。因此，需要減少用於評估神經網路的所有可能參數的時間。
根據本案的一態樣，為了改進神經網路的可能參數的評估時間，如圖5B中所示，該網路可被分割成在功能上隔離的子網路。在一種配置中，可以分析這些子系統的參數以決定可被修剪(例如，移除)的參數。
圖6A-6D圖示根據本案的一態樣的用於將神經網路分割成在功能上隔離的子網路的方塊圖。
如圖6A中所示，神經網路(F)602接收參數A、B、C和D的輸入。此外，神經網路602可以具有輸出604。如圖6B中所示，在標識神經網路602和參數輸入A-D之後，神經網路602可被序列化以決定神經網路602的各層。神經網路的各層類似於圖5B的隱藏子系統。這些層可以包括第一層(例如，輸入層)以及較低層(諸如第二層、第三層等)。
第一層是指一群互連神經元，這群互連神經元不具有內部輸入並且伸展到另一群互連神經元。在圖6B中，第一序列化層(S1)606是不具有內部輸入的第一群互連神經元。第一序列化層606可以伸展到第二序列化層(S2)608(例如，較低層)。較低層是指從較高層接收輸入的第二群互連神經元。亦即，第二序列化層608是從第一序列化層606接收輸入的一群互連神經元。此外，第二序列化層608不輸入到第一序列化層606。神經網路(諸如圖6的神經網路602)可具有許多 序列化層。在該示例中，僅圖示了兩個序列化層606和608。
如圖6C中所示，在將這些層序列化之後，每個序列化層606、608可被並行化。亦即，使用相互連接，可以決定每個序列化層中的神經元群或島。具體地，為了並行化，層或序列化層的相互依賴性被決定。基於這些相互依賴性，神經元可被編組成並行化群集，其中一個並行化群集的輸出獨立於另一並行化群集的輸出。以此方式，神經元可被編組成序列化層內的並行群集。神經元亦可在不對各層進行序列化的情況下被編組成並行化群集。
例如，如圖6C中所示，第一序列化層606可被並行化成第一並行化群集(S11)610和第二並行化群集(S12)612。在該配置中，第一並行化群集610和第二並行化群集612是第一序列化層606的一部分。儘管如此，由於第一並行化群集610中的神經元的輸出獨立於第二並行化群集612中的神經元的輸出，因此第一序列化層606的神經元可被並行化為上述並行化群集。第一並行化群集610和第二並行化群集612可被稱為並行化塊(P1)614。
序列化層和並行化群集可被稱為子系統。在一種配置中，一旦決定了神經網路的子系統，就修剪神經網路的參數。亦即，分析每個子系統的參數以決定這些參數是否影響該子系統的輸出。若參數不影響子系統，則可以出於評估相應子系統的目的修剪該參數，因為該參數的值不更改相應子系統的最終輸出。
如圖6D中所示，至第一並行化群集610、第二並行 化群集612以及第二序列化層608(例如，子系統)的輸入被修剪。在該示例中，系統可以決定參數A僅影響第一並行化群集610，參數B和D僅影響第二並行化群集612，並且參數C和D僅影響第二序列化層608。因此，不影響特定子系統的這些參數被修剪並移除以不被作為至相應子系統的輸入。
在一種配置中，可以遞迴地執行對各層的標識。亦即，每個序列化層可被當作序列化輸入層以決定其他序列化層。具體地，如先前討論的，第一層是指不具有內部輸入的一群互連神經元。第一層亦向另一群互連神經元(例如，第二層互連神經元)輸出。亦即，第一層神經元不受網路中任一個其他神經元的輸出的影響。此外，第一層神經元可以接收來自神經網路外部的輸入。
例如，使用者可以向第一層輸入被換能成神經尖峰表示的影像檔。在標識第一層神經元之後，標識從第一層中的神經元接收輸入的第二層神經元。第二層神經元僅從第一層神經元接收輸入。亦即，第一層神經元的輸入被當作外部輸入。因此，對不同層神經元的搜尋是基於僅從先前層接收輸入並且不具備其他內部輸入的那些層來遞迴地執行的。
本案不限於將層序列化和將層並行化兩者。在一種配置中，神經網路僅被序列化和修剪。或者，在另一種配置中，神經網路僅被並行化和修剪。在另一種配置中，使用者可以標識子系統。在又一種配置中，對子系統的標識可以由編譯器在編譯神經網路時標識。
如上所述，可以基於網路連通性來定義子系統。另 外地或替換地，在一種配置中，可以經由監視掃掠的活躍性水平來定義子系統。亦即，當第一層子系統從第二層子系統接收輸入時，第一層子系統在所有儲存的較低層輸出上計算其輸出。若第一層的輸出中的某些(例如，至第二層的輸入)彼此相似(例如，對於特定參數範圍沒有尖峰輸出)，則系統可以對於所有退化輸入執行計算一次。此外，可以儲存第二層對於一次執行的輸出，作為對於從第一層產生退化輸出的整個範圍的組合執行的輸出。
此外，在一種配置中，在掃掠中的每一步驟之後，儲存每個子系統的輸出。亦即，參數掃掠可以產生組合系統的較大的輸出集合。因而，使用者可能期望根據在組合網路的輸出上定義的函數來分析輸出。例如，使用者可能期望分析神經元是否選擇性地對最終序列化層中的個體神經元的尖峰輸出模式作出回應。
圖7圖示根據本案的一態樣的用於改進神經網路的參數評估的方法700。在方塊702，該方法將神經網路序列化為各層。在一種配置中，序列化決定接收參數的輸入但不具有其他內部輸入的第一層(例如，輸入層)。另外，在該配置中，方塊702的序列化亦決定從第一層接收輸入的第二層。在將層序列化之後，該序列化層在方塊704中被並行化。在一種配置中，並行化使用相互連接來決定序列化層內的神經元群集。序列化層內的每個神經元群集可被稱為並行化群集。
在方塊706中，修剪神經網路的參數。修剪是指移除特定並行化群集及/或序列化層不使用的參數。如先前討論的 ，神經網路的並行化群集和序列化層可被稱為子系統、受限集、或分量。在方塊708，決定每個子系統的計算時間(Te)和儲存要求(S，Ta)。在一種配置中，在方塊708處為每個子系統決定計算時間(Te)和儲存要求(S，Ta)之後，可以遞迴地執行方塊702-706以決定(被並行化及/或序列化的)附加集。在另一種配置中，在方塊710處，目標函數基於存取時間、記憶體存取時間、及/或計算時間來決定要快取記憶體的子系統。
圖8圖示了基於本案一態樣的用於評估參數的函數。圖8的流程圖基於圖6A-D的方塊圖。如方塊802中所示，可以基於函數F(A,B,C,D)來評估神經網路的參數(A、B、C和D)，其中F是用於評估參數的函數。第一序列化層(S1)606的輸出是其輸入即參數A、B、C和D的函數，並且因此可被表達為S1(A,B,C,D)。第二序列化層608的輸出亦可被表達為其輸入的函數。由於除了來自第一序列化層606的輸出以外，至第二序列化層的輸入亦有參數A、B、C和D，因此第二序列化層的輸出可被表達為S2(S1(A,B,C,D)，A,B,C,D)。如方塊802中所示，因為第二序列化層608是系統的最後一層，所以函數F(A,B,C,D)等於第二序列化層608的輸出。因此，系統函數F(A,B,C,D)的輸出可被認為等於S2(S1(A,B,C,D)，A,B,C,D)。
在方塊804處，決定用於第一序列化層606的函數。亦即，第一序列化層606具有函數S1(A,B,C,D)，該函數S1(A,B,C,D)等於並行化方塊614的函數(P1)。並行化方塊614包括第一並行化群集610(S11)以及第二並行化群集612(S12 )。如圖6A-D中所示，第一並行化群集610和第二並行化群集612各自具有參數A、B、C和D的輸入。因此，第一序列化層606可以等於函數P1(S11(A,B,C,D)，S12(A,B,C,D))。
在方塊806，執行修剪以改進參數的評估。可以將第一並行化群集(S11)610修剪成僅為參數A的函數，因此，第一並行化群集610等於S11(A)。另外，可以將第二並行化群集(S12)612修剪成僅為參數B和D的函數。因此，第二並行化群集612等於S12(B,D)。另外，可以修剪第二序列化層608，以使得輸入僅為參數C和D。
在修剪之後，用於第一並行化塊620的函數是P1((S11(A)，S12(B,D))。同樣，用於第二序列化層的函數是S2(P1(S11(A)，S12(B,D)),C,D)。在修剪之後，在方塊808處，決定用於這些層和神經網路的評估時間(Te)。亦即，用於第一序列化層606(S1)的評估時間是第一並行化群集610和第二並行化群集612(S12)的評估之和。此外，神經網路(F)是用於第一序列化層606(S1)和第二序列化層608(S2)的評估時間之積。
在一種配置中，在方塊810處，執行最佳化函數以基於存取時間、記憶體存取時間、及/或計算時間來決定要快取記憶體的子系統。該最佳化函數可以基於以下方程：O(N)=α * (Te-Ta)-S (15)
在方程(15)中，O是該最佳化函數，並且N是所標識的子系統(諸如第一序列化層606)。Te是輸入參數的評估時間。Ta是從記憶體存取參數的評估時間。
在方程(15)中，S是對為每個子系統指定的記憶體儲存量的量測。對於每個子系統，Te是該子系統的執行時間。除了產生和儲存輸出以外，執行時間亦包括存取子系統的輸入。Ta是在系統輸出被儲存在記憶體中而不是根據其輸入重新計算的情況下存取系統輸出的時間。若記憶體空間不是考慮因素，則系統仍可計算記憶體存取時間以決定系統是否應快取記憶體來自特定子系統的輸出。
在一種配置中，可以執行修剪以改進沿不同維度的計算，因為可能存在與計算時間或記憶體儲存相關聯的不同成本。例如，在使用者被分配有較多計算功率和較少記憶體儲存的情況下，使用者可以選擇重新計運算元系統的輸出而不是儲存輸出。在該示例中，可以將計算功率與記憶體儲存之間的折衷設為方程(15)中的「α」。在另一種配置中，系統決定要快取記憶體針對其存取輸出的時間Ta小於重新計算輸出的時間Te的子系統的輸出。在該配置中，方程(15)中的預設設置為：α等於1，並且S等於0。
圖9圖示了根據本案的某些態樣的使用通用處理器902進行前述修改神經動態的示例實現900。與計算網路(神經網路)相關聯的變數(神經信號)、突觸權重、系統參數，延遲，及/或頻率槽資訊可被儲存在記憶體塊904中，而在通用處理器902處執行的指令可從程式記憶體909中載入。在本案的一態樣，載入到通用處理器902中的指令可以包括用於獲得原型神經元動態及/或修改神經元模型的參數以使得該神經元模型與該原型神經元動態相匹配的代碼。
圖10圖示了根據本案的某些態樣的前述修改神經動態的示例實現1000，其中記憶體1002可以經由互連網路1004與計算網路(神經網路)的個體(分散式)處理單元(神經處理器)1006對接。與計算網路(神經網路)相關聯的變數(神經信號)、突觸權重、系統參數，延遲，及/或頻率槽資訊可被儲存在記憶體1002中，並且可從記憶體1002經由互連網路1004的連接被載入到每個處理單元(神經處理器)1006中。在本案的一態樣，處理單元1006可被配置成獲得原型神經元動態及/或修改神經元模型的參數。
圖11圖示前述修改神經動態的示例實現1100。如圖11中所圖示的，一個記憶體組1102可與計算網路(神經網路)的一個處，理單元1104直接對接。每一個記憶體組1102可儲存與對應的處理單元(神經處理器)1104相關聯的變數(神經信號)、突觸權重、及/或系統參數，延遲，以及頻率槽資訊。在本案的一態樣，處理單元1104可被配置成獲得原型神經元動態及/或修改神經元模型的參數。
圖12圖示根據本案的某些態樣的神經網路1200的示例實現。如圖12中所圖示的，神經網路1200可具有多個局部處理單元1202，它們可執行上述方法的各種操作。每個處理單元1202可以是儲存該神經網路的狀態和參數的局部狀態記憶體1204和局部參數記憶體1206。另外，處理單元1202可具有儲存局部(神經元)模型程式的記憶體1208、儲存局部學習程式的記憶體1210、以及局部連接記憶體1212。此外，如圖12中所圖示的，每個局部處理單元1202可與用於配置處理 的單元1214對接並且與路由連接處理元件1216對接，單元1214可提供對局部處理單元的局部記憶體的配置，元件1216提供局部處理單元1202之間的路由。
根據本案的某些態樣，每個局部處理單元1202可被配置成基於神經網路的一或多個期望功能特徵來決定神經網路的參數。每個局部處理單元可以隨著所決定的參數被進一步適配、調諧和更新而使該一或多個功能特徵朝著期望的功能特徵發展。
圖13圖示用於在具有帶有單向依賴性的子系統的系統上執行參數掃掠的方法1300。在一種配置中，在方塊1302，神經元模型經由決定系統的子系統之間的單向依賴性來將這些子系統序列化。此外，作為方塊1302的序列化的補充或替換，在方塊1304，神經元模型經由決定每個子系統內的獨立性來將子系統並行化。亦即，在一種配置中，神經元模型可以執行方塊1302的序列化或方塊1304的並行化。在另一種配置中，神經元模型可以執行方塊1302的序列化和方塊1304的並行化兩者。最後，在方塊1306，神經元模型基於每個輸入參數是否影響每個子系統來修剪每個子系統的輸入參數。
在一種配置中，神經網路(諸如本案的各態樣的神經網路)被配置成修改神經動態。神經網路可以包括用於並行化的裝置、用於序列化的裝置、及/或用於修剪的裝置。在一態樣，並行化裝置、序列化裝置、及/或修剪裝置可以是被配置成執行由並行化裝置、序列化裝置、及/或修剪裝置述及之功能的程式記憶體906、記憶體塊1204、記憶體1002、互連 網路1004、處理單元1006、處理單元1104、局部處理單元1202、及/或路由連接處理元件916。
以上所描述的方法的各種操作可由能夠執行相應功能的任何合適的裝置來執行。這些裝置可包括各種硬體及/或軟體元件及/或模組，包括但不限於電路、特殊應用積體電路(ASIC)、或處理器。一般而言，在附圖中圖示操作的場合，那些操作可具有帶相似編號的相應配對手段功能元件。
如本文所使用的，術語「決定」涵蓋各種各樣的動作。例如，「決定」可包括演算、計算、處理、推導、研究、檢視(例如，在表、資料庫或其他資料結構中檢視)、探知及諸如此類。另外，「決定」可包括接收(例如接收資訊)、存取(例如存取記憶體中的資料)、及類似動作。而且，「決定」可包括解析、選擇、選取、確立及類似動作。
如本文中所使用的，引述一列項目中的「至少一個」的短語是指這些專案的任何組合，包括單個成員。作為示例，「a、b或c中的至少一個」旨在涵蓋：a、b、c、a-b、a-c、b-c、以及a-b-c。
結合本案所描述的各種說明性邏輯方塊、模組、以及電路可用設計成執行本文所描述功能的通用處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式設計閘陣列信號(FPGA)或其他可程式設計邏輯裝置(PLD)、個別閘或電晶體邏輯、個別的硬體元件或其任何組合來實現或執行。通用處理器可以是微處理器，但在替換方案中，該處理器可以是任何市售的處理器、控制器、微控制器、或 狀態機。處理器亦可以被實現為計算設備的組合，例如DSP與微處理器的組合、複數個微處理器、與DSP核心協同的一或多個微處理器或任何其他此類配置。
結合本案所描述的方法或演算法的步驟可直接在硬體中、在由處理器執行的軟體模組中、或在這兩者的組合中體現。軟體模組可常駐在此項技術所知的任何形式的儲存媒體中。可使用的儲存媒體的一些示例包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體、EPROM記憶體、EEPROM記憶體、暫存器、硬碟、可移除磁碟、CD-ROM，等等。軟體模組可包括單一指令、或許多指令，且可分佈在若干不同的程式碼片段上，分佈在不同的程式間以及跨多個儲存媒體分佈。儲存媒體可被耦合到處理器以使得該處理器能從/向該儲存媒體讀寫資訊。替換地，儲存媒體可以被整合到處理器。
本文所揭示的方法包括用於實現所描述的方法的一或多個步驟或動作。這些方法步驟及/或動作可以彼此互換而不會脫離請求項的範疇。換言之，除非指定了步驟或動作的特定次序，否則具體步驟及/或動作的次序及/或使用可以改動而不會脫離請求項的範疇。
所描述的功能可在硬體、軟體、韌體或其任何組合中實現。若以硬體實現，則示例硬體設定可包括設備中的處理系統。處理系統可以用匯流排架構來實現。取決於處理系統的具體應用和整體設計約束，匯流排可包括任何數目的互連匯流排和橋接器。匯流排可將包括處理器、機器可讀取媒 體、以及匯流排介面的各種電路連結在一起。匯流排介面可用於尤其將網路介面卡等經由匯流排連接至處理系統。網路介面卡可用於實現信號處理功能。對於某些態樣，使用者介面(例如，按鍵板、顯示器、滑鼠、操縱桿等)亦可被連接至匯流排。匯流排亦可連結各種其他電路(諸如定時源、周邊設備、穩壓器、電源管理電路等)，這些電路在此項技術中是眾所周知的，因此將不再贅述。
處理器可負責管理匯流排和一般處理，包括執行儲存在機器可讀取媒體上的軟體。處理器可用一或多個通用及/或專用處理器來實現。示例包括微處理器、微控制器、DSP處理器、以及其他能執行軟體的電路系統。軟體應當被寬泛地解釋成意指指令、資料、或其任何組合，無論是被稱作軟體、韌體、仲介軟體、微代碼、硬體描述語言、或其他。作為示例，機器可讀取媒體可以包括RAM(隨機存取記憶體)、快閃記憶體、ROM(唯讀記憶體)、PROM(可程式設計唯讀記憶體)、EPROM(可抹除可程式設計唯讀記憶體)、EEPROM(電可抹除可程式設計唯讀記憶體)、暫存器、磁碟、光碟、硬驅動器、或者任何其他合適的儲存媒體、或其任何組合。機器可讀取媒體可被實施在電腦程式產品中。該電腦程式產品可以包括包裝材料。
在硬體實現中，機器可讀取媒體可以是處理系統中與處理器分開的一部分。然而，如熟習此項技術者將容易領會的，機器可讀取媒體、或其任何部分可在處理系統外部。作為示例，機器可讀取媒體可包括傳輸線、由資料調制的載 波、及/或與設備分開的電腦產品，所有這些皆可由處理器經由匯流排介面來存取。替換地或補充地，機器可讀取媒體、或其任何部分可被整合到處理器中，諸如快取記憶體及/或通用暫存器檔可能就是這種情形。雖然所討論的各種元件可被描述為具有特定位置，諸如局部元件，但它們亦可按各種方式來配置，諸如某些元件被配置成分散式運算系統的一部分。
處理系統可以被配置為通用處理系統，該通用處理系統具有一或多個提供處理器功能性的微處理器、和提供機器可讀取媒體中的至少一部分的外部記憶體，它們皆經由外部匯流排架構與其他支援電路系統連結在一起。替換地，該處理系統可以包括一或多個神經元形態處理器以用於實現本文述及之神經元模型和神經系統模型。作為另一替代方案，處理系統可以用帶有整合在單塊晶片中的處理器、匯流排介面、使用者介面、支援電路系統、和至少一部分機器可讀取媒體的ASIC(特殊應用積體電路)來實現，或者用一或多個FPGA(現場可程式設計閘陣列)、PLD(可程式設計邏輯裝置)、控制器、狀態機、閘控邏輯、個別硬體元件、或者任何其他合適的電路系統、或者能執行本案通篇所描述的各種功能性的電路的任何組合來實現。取決於具體應用和加諸於整體系統上的總設計約束，熟習此項技術者將認識到如何最佳地實現關於處理系統所描述的功能性。
機器可讀取媒體可包括數個軟體模組。這些軟體模組包括當由處理器執行時使處理系統執行各種功能的指令。 這些軟體模組可包括傳輸模組和接收模組。每個軟體模組可以常駐在單個存放裝置中或者跨多個存放裝置分佈。作為示例，當觸發事件發生時，可以從硬驅動器中將軟體模組載入到RAM中。在軟體模組執行期間，處理器可以將一些指令載入到快取記憶體中以提高存取速度。隨後可將一或多個快取記憶體行載入到通用暫存器檔中以供由處理器執行。在以下談及軟體模組的功能性時，將理解此類功能性是在處理器執行來自該軟體模組的指令時由該處理器來實現的。
若以軟體實現，則各功能可作為一或多個指令或代碼儲存在電腦可讀取媒體上或藉其進行傳送。電腦可讀取媒體包括電腦儲存媒體和通訊媒體兩者，這些媒體包括促成電腦程式從一地向另一地轉移的任何媒體。儲存媒體可以是能被電腦存取的任何可用媒體。作為示例而非限定，此類電腦可讀取媒體可包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存、磁碟儲存或其他磁存放裝置、或能被用來攜帶或儲存指令或資料結構形式的期望程式碼且能被電腦存取的任何其他媒體。另外，任何連接亦被正當地稱為電腦可讀取媒體。例如，若軟體是使用同軸電纜、光纖電纜、雙絞線、數位用戶線(DSL)、或無線技術(諸如紅外(IR)、無線電、以及微波)從web網站、伺服器、或其他遠端源傳送而來，則該同軸電纜、光纖電纜、雙絞線、DSL或無線技術(諸如紅外、無線電、以及微波)就被包括在媒體的定義之中。如本文中所使用的盤(disk)和碟(disc)包括壓縮光碟(CD)、鐳射光碟、光碟、數位多功能光碟(DVD)、軟碟、和藍光®光碟， 其中盤(disk)常常磁性地再現資料，而碟(disc)用鐳射來光學地再現資料。因此，在一些態樣，電腦可讀取媒體可包括非瞬態電腦可讀取媒體(例如，有形媒體)。另外，對於其他態樣，電腦可讀取媒體可包括瞬態電腦可讀取媒體(例如，信號)。上述的組合亦應被包括在電腦可讀取媒體的範疇內。
因此，某些態樣可包括用於執行本文中提供的操作的電腦程式產品。例如，此類電腦程式產品可包括其上儲存(及/或編碼)有指令的電腦可讀取媒體，這些指令能由一或多個處理器執行以執行本文中所描述的操作。對於某些態樣，電腦程式產品可包括包裝材料。
此外，應當領會，用於執行本文中所描述的方法和技術的模組及/或其他合適裝置能由使用者終端及/或基地台在適用的場合下載及/或以其他方式獲得。例如，此類設備能被耦合至伺服器以促成用於執行本文中所描述的方法的裝置的轉移。替換地，本文述及之各種方法能經由儲存裝置(例如，RAM、ROM、諸如壓縮光碟(CD)或軟碟等實體儲存媒體等)來提供，以使得一旦將該儲存裝置耦合至或提供給使用者終端及/或基地台，該設備就能獲得各種方法。此外，能利用適於向設備提供本文中所描述的方法和技術的任何其他合適的技術。
應該理解的是，請求項並不被限定於以上所圖示的精確配置和元件。可在以上所描述的方法和設備的佈局、操作和細節上作出各種改動、更換和變形而不會脫離請求項的 範疇。
604‧‧‧輸出
606‧‧‧第一序列化層
608‧‧‧第二序列化層
610‧‧‧第一並行化群集(S11)
612‧‧‧第二並行化群集(S12)
614‧‧‧並行化塊(P1)

Claims (20)

  1. 一種在具有帶有單向依賴性的子系統的一系統上執行一參數掃掠的方法，包括以下步驟：執行以下至少一者：經由決定該系統的該等子系統之間的該等單向依賴性來將該等子系統序列化，和經由決定每個子系統內的獨立性來將該等子系統並行化；及基於每個輸入參數是否影響每個子系統來修剪每個子系統的輸入參數。
  2. 如請求項1述及之方法，其中並行化、序列化、及/或修剪至少部分地取決於記憶體儲存要求、記憶體存取時間及/或一計算時間。
  3. 如請求項1述及之方法，進一步包括基於以下各項來定義子系統：一網路的連通性及/或監視該參數掃掠的活躍性水平。
  4. 如請求項3述及之方法，進一步包括以下步驟：對於該掃掠的每一步驟，儲存每個子系統的一輸出。
  5. 如請求項1述及之方法，進一步包括評估該系統的一輸出以決定一期望的參數值集。
  6. 一種在具有帶有單向依賴性的子系統的一系統上執行一 參數掃掠的裝置，包括：一記憶體模組；及耦合至該記憶體模組的至少一個處理器，該至少一個處理器被配置成：執行以下至少一者：經由決定該系統的該等子系統之間的該等單向依賴性來將該等子系統序列化，和經由決定每個子系統內的獨立性來將該等子系統並行化；及基於每個輸入參數是否影響每個子系統來修剪每個子系統的輸入參數。
  7. 如請求項6述及之裝置，其中該至少一個處理器被進一步配置成至少部分地基於記憶體儲存要求、記憶體存取時間及/或一計算時間來進行並行化、序列化、及/或修剪。
  8. 如請求項6述及之裝置，其中該至少一個處理器被進一步配置成至少部分地基於一網路的連通性及/或監視該參數掃掠的活躍性水平來定義子系統。
  9. 如請求項8述及之裝置，其中該至少一個處理器被進一步配置成對於該掃掠的每一步驟，儲存每個子系統的一輸出。
  10. 如請求項6述及之裝置，其中該至少一個處理器被進一步配置成評估該系統的一輸出以決定一期望的參數值集。
  11. 一種在具有帶有單向依賴性的子系統的一系統上執行一參數掃掠的設備，包括：以下至少一者：用於經由決定該系統的該等子系統之間的該等單向依賴性來將該等子系統序列化的裝置；及用於經由決定每個子系統內的獨立性來將該等子系統並行化的裝置；及用於基於每個輸入參數是否影響每個子系統來修剪每個子系統的輸入參數的裝置。
  12. 如請求項11述及之設備，其中該等用於並行化的裝置、用於序列化的裝置、及/或用於修剪的裝置至少部分地基於記憶體儲存要求、記憶體存取時間及/或一計算時間。
  13. 如請求項11述及之設備，進一步包括：用於至少部分地基於一網路的連通性及/或監視該參數掃掠的活躍性水平來定義子系統的裝置。
  14. 如請求項13述及之設備，進一步包括：用於對於該掃掠的每一步驟儲存每個子系統的一輸出的裝置。
  15. 如請求項11述及之設備，進一步包括：用於評估該系統的一輸出以決定一期望的參數值集的裝置。
  16. 一種在具有帶有單向依賴性的子系統的一系統上執行一 參數掃掠的電腦程式產品，該電腦程式產品包括：其上記錄有程式碼的一非瞬態電腦可讀取媒體，該程式碼包括：用於執行以下至少一者的程式碼：經由決定該系統的該等子系統之間的該等單向依賴性來將該等子系統序列化，和經由決定每個子系統內的獨立性來將該等子系統並行化；及用於基於每個輸入參數是否影響每個子系統來修剪每個子系統的輸入參數的程式碼。
  17. 如請求項16述及之電腦程式產品，其中該用於並行化、序列化、及/或修剪的程式碼至少部分地基於記憶體儲存要求、記憶體存取時間及/或一計算時間。
  18. 如請求項16述及之電腦程式產品，其中該程式碼進一步包括：用於至少部分地基於一網路的連通性及/或監視該參數掃掠的活躍性水平來定義子系統的程式碼。
  19. 如請求項18述及之電腦程式產品，其中該程式碼進一步包括：用於對於該掃掠的每一步驟儲存每個子系統的輸出的程式碼。
  20. 如請求項16述及之電腦程式產品，其中該程式碼進一步包括：用於評估該系統的一輸出以決定一期望的參數值集的程式碼。
TW103136675A 2013-10-28 2014-10-23 在多維範圍上評估包括可分離子系統的系統 TW201525883A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/065,388 US9721204B2 (en) 2013-10-28 2013-10-28 Evaluation of a system including separable sub-systems over a multidimensional range

Publications (1)

Publication Number Publication Date
TW201525883A true TW201525883A (zh) 2015-07-01

Family

ID=51897437

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103136675A TW201525883A (zh) 2013-10-28 2014-10-23 在多維範圍上評估包括可分離子系統的系統

Country Status (8)

Country Link
US (1) US9721204B2 (zh)
EP (1) EP3063707A2 (zh)
JP (1) JP2016538633A (zh)
KR (1) KR20160076531A (zh)
CN (1) CN105580031B (zh)
CA (1) CA2926649A1 (zh)
TW (1) TW201525883A (zh)
WO (1) WO2015065738A2 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10417554B2 (en) * 2014-05-22 2019-09-17 Lee J. Scheffler Methods and systems for neural and cognitive processing
US10515312B1 (en) * 2015-12-30 2019-12-24 Amazon Technologies, Inc. Neural network model compaction using selective unit removal
CN106203621B (zh) * 2016-07-11 2019-04-30 北京深鉴智能科技有限公司 用于卷积神经网络计算的处理器
US11315018B2 (en) 2016-10-21 2022-04-26 Nvidia Corporation Systems and methods for pruning neural networks for resource efficient inference
EP3340129B1 (en) * 2016-12-21 2019-01-30 Axis AB Artificial neural network class-based pruning
US11188820B2 (en) * 2017-09-08 2021-11-30 International Business Machines Corporation Deep neural network performance analysis on shared memory accelerator systems
CN111587436A (zh) * 2018-01-17 2020-08-25 昕诺飞控股有限公司 用于使用神经网络进行对象辨识的系统和方法
CN110570616B (zh) * 2019-09-10 2020-09-25 淮阴工学院 一种基于物联网的多点火灾预警系统
KR102624947B1 (ko) * 2023-11-28 2024-01-15 주식회사 티알씨일렉트릭 전동기 역설계 장치 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE163777T1 (de) 1990-10-10 1998-03-15 Honeywell Inc Identifizierung eines prozesssystems
CA2060554A1 (en) 1991-04-18 1992-10-19 Shawn Michael Austvold Apparatus and method for facilitating use of a neural network
JP3182112B2 (ja) * 1997-04-28 2001-07-03 東京電力株式会社 建物外観の色彩決定支援システム
JP2004094437A (ja) * 2002-08-30 2004-03-25 Fuji Electric Holdings Co Ltd データ予測方法及びデータ予測システム
US7496546B2 (en) * 2003-03-24 2009-02-24 Riken Interconnecting neural network system, interconnecting neural network structure construction method, self-organizing neural network structure construction method, and construction programs therefor
JP2008533615A (ja) 2005-03-14 2008-08-21 エル ターラー、ステフエン ニューラルネットワーク開発およびデータ解析ツール
US7502763B2 (en) 2005-07-29 2009-03-10 The Florida International University Board Of Trustees Artificial neural network design and evaluation tool
WO2008067676A1 (en) * 2006-12-08 2008-06-12 Medhat Moussa Architecture, system and method for artificial neural network implementation
GB2462380B (en) 2007-03-14 2012-02-15 Halliburton Energy Serv Inc Neural-network based surrogate model construction methods and applications thereof
CN101893541A (zh) * 2010-06-09 2010-11-24 哈尔滨工业大学 建立纤维增强树脂基复合材料孔隙问题的表征与评价模型的方法

Also Published As

Publication number Publication date
CN105580031B (zh) 2018-01-16
CA2926649A1 (en) 2015-05-07
KR20160076531A (ko) 2016-06-30
CN105580031A (zh) 2016-05-11
US9721204B2 (en) 2017-08-01
WO2015065738A3 (en) 2015-07-09
JP2016538633A (ja) 2016-12-08
WO2015065738A2 (en) 2015-05-07
EP3063707A2 (en) 2016-09-07
US20150120632A1 (en) 2015-04-30

Similar Documents

Publication Publication Date Title
TW201525883A (zh) 在多維範圍上評估包括可分離子系統的系統
US9542643B2 (en) Efficient hardware implementation of spiking networks
TWI585695B (zh) 用於定義多個神經元的動態的方法、設備及電腦可讀取媒體
US9886663B2 (en) Compiling network descriptions to multiple platforms
US9330355B2 (en) Computed synapses for neuromorphic systems
TW201541374A (zh) 用於隨機尖峰貝氏網路的基於事件的推斷和學習
CA2926098A1 (en) Causal saliency time inference
TW201539335A (zh) 實現神經網路處理器
US20150242741A1 (en) In situ neural network co-processing
TW201531966A (zh) 配置稀疏神經網路
TW201535277A (zh) 以陰影網路監視神經網路
KR20170031695A (ko) 신경망들에서의 콘볼루션 동작의 분해
TWI550530B (zh) 用於產生尖峰定時依賴可塑性曲線的緊湊表示的方法、設備、電腦可讀取媒體及電腦程式產品
TW201541372A (zh) 使用尖峰發放神經元的人工神經網路和感知器學習
TW201602924A (zh) 在尖峰神經網路中藉由全域標量值來調制可塑性
TW201602807A (zh) Ｃｏｌｄ神經元尖峰時序反向傳播
TW201528162A (zh) 在尖峰神經網路中使用重放來實施突觸學習
US9959499B2 (en) Methods and apparatus for implementation of group tags for neural models
US9652711B2 (en) Analog signal reconstruction and recognition via sub-threshold modulation
TW201602923A (zh) 使用尖峰發放神經網路對大序列的概率性表示
TW201533668A (zh) 基於突觸前尖峰的短期突觸記憶
TW201539334A (zh) 動態空間目標選擇
US9269045B2 (en) Auditory source separation in a spiking neural network
US20150262061A1 (en) Contextual real-time feedback for neuromorphic model development
US20140365413A1 (en) Efficient implementation of neural population diversity in neural system