TW201539334A - 動態空間目標選擇 - Google Patents

動態空間目標選擇 Download PDF

Info

Publication number
TW201539334A
TW201539334A TW104105877A TW104105877A TW201539334A TW 201539334 A TW201539334 A TW 201539334A TW 104105877 A TW104105877 A TW 104105877A TW 104105877 A TW104105877 A TW 104105877A TW 201539334 A TW201539334 A TW 201539334A
Authority
TW
Taiwan
Prior art keywords
target
input
neural network
neurons
neuron
Prior art date
Application number
TW104105877A
Other languages
English (en)
Inventor
Naveen Gandham Rao
Michael Campos
Yin-Yin Liu
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201539334A publication Critical patent/TW201539334A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Abstract

一種用神經網路來動態地修改目標選擇的方法，包括藉由控制神經網路中的連接的失衡量來動態地修改選擇函數。所選神經元代表多個候選目標之一。

Description

動態空間目標選擇 【相關申請的交叉引用】
本案依據專利法.§ 119(e)要求於2014年2月21日提出申請的題為「DYNAMIC SPATIAL TARGET SELECTION(動態空間目標選擇)」的美國臨時專利申請案第61/943,227號、以及於2014年2月21日提出申請的題為「IMBALANCED CROSS-INHIBITORY MECHANISM FOR SPATIAL TARGET SELECTION(用於空間目標選擇的失衡式交叉抑制性機制)」的美國臨時專利申請案第61/943,231號的權益，其揭示內容以引用方式全部明確併入本文。
本案的某些態樣大體係關於神經系統工程，特定言之係關於用於動態空間目標選擇的系統和方法。
可包括一群互連的人工神經元(即神經元模型)的人工神經網路是一種計算設備或者表示將由計算設備執行的方法。人工神經網路可具有生物學神經網路中的對應的結構及/或功能。然而，人工神經網路可為其中傳統計算技術是麻煩的、不切實際的，或不勝任的某些應用提供創新且有用的 計算技術。由於人工神經網路能從觀察中推斷出功能，因此此種網路在因任務或資料的複雜度使得藉由一般技術來設計該功能較為麻煩的應用中是特別有用的。從而，期望提供一種用於基於使用失衡式交叉抑制性機制的選擇方案來動態地選擇目標的神經元形態接收器。
根據本案的一態樣，揭示一種用神經網路來動態地修改目標選擇的方法。該方法包括藉由控制該神經網路中的連接的失衡量來動態地修改選擇函數。所選神經元代表多個候選目標之一。
根據本案的另一態樣，揭示一種設備。該設備包括用於決定神經網路中的連接的失衡量的手段。該設備亦包括用於藉由控制該神經網路中的連接的失衡量來動態地修改選擇函數的手段。所選神經元代表多個候選目標之一。
本案的另一態樣涉及一種具有記憶體以及耦合到該記憶體的至少一個處理器的手段。該(諸)處理器被配置成藉由控制神經網路中的連接的失衡量來動態地修改選擇函數。所選神經元代表多個候選目標之一。
在又一態樣，一種電腦程式產品用神經網路來動態地修改目標選擇。該電腦可讀取媒體上記錄有非瞬態程式碼，該程式碼在由(諸)處理器執行時使(諸)處理器執行藉由控制該神經網路中的連接的失衡量來動態地修改選擇函數的操作。所選神經元代表多個候選目標之一。
本案的其他特徵和優點將在下文描述。本領域技藝 人士應該領會，本案可容易地被用作改動或設計用於實施與本案相同的目的的其他結構的基礎。本領域技藝人士亦應認識到，此種等效構造並不脫離如所附申請專利範圍中所闡述的本案的教示。被認為是本案的特性的新穎特徵在其組織和操作方法兩方面連同進一步的目的和優點在結合附圖來考慮以下描述時將被更好地理解。然而，要清楚理解的是，提供每一幅附圖均僅用於圖示和描述目的，且無意作為對本案的限定的定義。
100‧‧‧神經系統
102‧‧‧級
104‧‧‧突觸
106‧‧‧級
1081‧‧‧輸入信號
1082‧‧‧輸入信號
108N‧‧‧輸入信號
1101‧‧‧輸出尖峰
1102‧‧‧輸出尖峰
110M‧‧‧輸出尖峰
200‧‧‧示圖
202‧‧‧處理單元
2041‧‧‧輸入信號
204i‧‧‧輸入信號
204N1‧‧‧輸入信號
2061‧‧‧突觸權重
206i‧‧‧突觸權重
206N‧‧‧突觸權重
208‧‧‧輸出信號
300‧‧‧曲線圖
302‧‧‧部分
304‧‧‧部分
306‧‧‧交越點
400‧‧‧模型
402‧‧‧負態相
404‧‧‧正態相
502‧‧‧對象
504‧‧‧目標
506‧‧‧目標
508‧‧‧目標
510‧‧‧目標
512‧‧‧區域
600‧‧‧目標地圖
602‧‧‧地點單元
604‧‧‧物件
606‧‧‧目標
608‧‧‧目標
610‧‧‧目標
702‧‧‧第一單元
704‧‧‧第二單元
706‧‧‧第一連接
708‧‧‧第二連接
710‧‧‧輸出
712‧‧‧輸出
714‧‧‧第一輸入
716‧‧‧第二輸入
802‧‧‧第一單元
804‧‧‧第二單元
806‧‧‧第一連接
808‧‧‧第二連接
810‧‧‧輸出
812‧‧‧輸出
814‧‧‧第一輸入
816‧‧‧中間神經元
818‧‧‧中間神經元
820‧‧‧第三連接
822‧‧‧第四連接
824‧‧‧第二輸入
900‧‧‧目標地圖
902‧‧‧目標單元
904‧‧‧目標單元
906‧‧‧目標單元
909‧‧‧目標
910‧‧‧物件
912‧‧‧非目標單元
916‧‧‧連接
1002‧‧‧神經元
1004‧‧‧目標
1006‧‧‧目標
1008‧‧‧目標
1010‧‧‧輸入
1012‧‧‧輸入
1014‧‧‧輸入
1016‧‧‧連接
1102‧‧‧神經元
1104‧‧‧目標/第一目標/第一層目標神經元
1106‧‧‧目標/第一層目標神經元
1108‧‧‧目標/第一層目標神經元
1110‧‧‧輸入
1112‧‧‧輸入
1114‧‧‧輸入
1118‧‧‧第二層神經元
1122‧‧‧第二層目標神經元/第二層的第一目標神經元
1124‧‧‧第二層目標神經元
1126‧‧‧第二層目標神經元
1128‧‧‧抑制性連接
1130‧‧‧突觸
1132‧‧‧突觸
1134‧‧‧突觸
1200‧‧‧實施
1202‧‧‧通用處理器
1204‧‧‧記憶體區塊
1300‧‧‧實施
1302‧‧‧記憶體
1304‧‧‧互連網路
1306‧‧‧處理單元
1400‧‧‧實施
1402‧‧‧記憶體組
1404‧‧‧處理單元
1500‧‧‧神經網路
1502‧‧‧局部處理單元
1504‧‧‧局部狀態記憶體
1506‧‧‧局部參數記憶體
1508‧‧‧局部模型程式(LMP)記憶體
1510‧‧‧局部學習程式(LLP)記憶體
1514‧‧‧配置處理單元
1516‧‧‧路由連接處理元件
1600‧‧‧方法
1602‧‧‧方塊
1604‧‧‧方塊
在結合附圖理解下文闡述的詳細描述時，本發明的特徵、本質和優點將變得更加明顯，在附圖中，相同元件符號始終作相應標識。
第1圖圖示根據本案的某些態樣的示例神經元網路。
第2圖圖示根據本案的某些態樣的計算網路(神經系統或神經網路)的處理單元(神經元)的實例。
第3圖圖示根據本案的某些態樣的尖峰時序依賴可塑性(STDP)曲線的實例。
第4圖圖示根據本案的某些態樣的用於定義神經元模型的行為的正態相和負態相的實例。
第5圖和第6圖圖示了根據本案各態樣的目標選擇。
第7圖和第8圖圖示了根據本案各態樣的交叉抑制。
第9圖到第11圖圖示了根據本案各態樣的目標選擇。
第12圖圖示根據本案的某些態樣的使用通用處理器來設計神經網路的示例實施方式。
第13圖圖示根據本案的某些態樣的設計其中記憶體可以與個體的分散式處理單元對接的神經網路的示例實施方式。
第14圖圖示根據本案的某些態樣的基於分散式記憶體和分散式處理單元來設計神經網路的示例實施方式。
第15圖圖示根據本案的某些態樣的神經網路的示例實施方式。
第16圖是圖示根據本案的一態樣的在神經網路中選擇目標的方塊圖。
以下結合附圖闡述的詳細描述意欲作為各種配置的描述，而無意表示可實踐本文中所描述的概念的僅有的配置。本詳細描述包括特定細節以便提供對各種概念的透徹理解。然而，對於本領域技藝人士將顯而易見的是，沒有該等特定細節亦可實踐該等概念。在一些實例中，以方塊圖形式示出眾所周知的結構和元件以避免湮沒此類概念。
基於本教示，本領域技藝人士應領會，本案的範疇意欲覆蓋本案的任何態樣，不論其是與本案的任何其他態樣相獨立地亦是組合地實施的。例如，可以使用所闡述的任何數目的態樣來實施裝置或實踐方法。另外，本案的範疇意欲覆蓋使用作為所闡述的本案的各個態樣的補充或者與之不同的其他結構、功能性，或者結構及功能性來實踐的此類裝置或方法。應當理解，所披露的本案的任何態樣可由申請專利範圍的一或多個元素來體現。
措辭「示例性」在本文中用於表示「用作示例、實例或說明」。本文中描述為「示例性」的任何態樣不必被解釋為優於或勝過其他態樣。
儘管本文描述了特定態樣，但該等態樣的眾多變體和置換落在本案的範疇之內。儘管提到了優選態樣的一些益處和優點，但本案的範疇並非意欲被限定於特定益處、用途或目標。相反，本案的各態樣意欲能寬泛地應用於不同的技術、系統組態、網路和協定，其中一些作為示例在附圖以及以下對優選態樣的描述中說明。詳細描述和附圖僅僅說明本案而非限定本案，本案的範疇由所附申請專利範圍及其等效技術方案來定義。
示例神經系統、訓練及操作
第1圖圖示根據本案的某些態樣的具有多級神經元的示例人工神經系統100。神經系統100可具有神經元級102，該神經元級102經由突觸連接網路104(亦即，前饋連接)來連接到另一神經元級106。為簡單起見，第1圖中僅圖示了兩級神經元，儘管神經系統中可存在更少或更多級神經元。應注意，一些神經元可經由側向連接來連接至同層中的其他神經元。此外，一些神經元可經由回饋連接來後向連接至先前層中的神經元。
如第1圖所圖示的，級102中的每一個神經元可以接收可由前級的神經元(未在第1圖中示出)產生的輸入信號108。信號108可表示級102的神經元的輸入電流。該電流可在神經元膜上累積以對膜電位進行充電。當膜電位達到其閾值時 ，該神經元可激發並產生輸出尖峰，該輸出尖峰將被傳遞到下一級神經元(例如，級106)。在某些建模辦法中，神經元可以連續地向下一級神經元傳遞信號。該信號通常是膜電位的函數。此類行為可在硬體及/或軟體(包括類比和數位實施方式，諸如以下所述的彼等實施方式)中進行仿真或模擬。
在生物學神經元中，在神經元激發時產生的輸出尖峰被稱為動作電位。該電信號是相對迅速、瞬態的神經脈衝，其具有約為100mV的振幅和約為1ms的歷時。在具有一系列連通的神經元(例如，尖峰從第1圖中的一級神經元傳遞至另一級神經元)的神經系統的特定實施例中，每個動作電位皆具有基本上相同的振幅和歷時，並且因此該信號中的資訊可僅由尖峰的頻率和數目，或尖峰的時間來表示，而不由振幅來表示。動作電位所攜帶的資訊可由尖峰、發放了尖峰的神經元、以及該尖峰相對於一個或數個其他尖峰的時間來決定。尖峰的重要性可由向各神經元之間的連接所應用的權重來決定，如以下所解釋的。
尖峰從一級神經元向另一級神經元的傳遞可經由突觸連接(或簡稱「突觸」)網路104來達成，如第1圖中所圖示的。相對於突觸104，級102的神經元可被視為突觸前神經元，而級106的神經元可被視為突觸後神經元。突觸104可接收來自級102的神經元的輸出信號(亦即，尖峰)，並根據可調 節突觸權重、......、來按比例縮放彼等信號，其中P是級102的神經元與級106的神經元之間的突觸連接的總數，並且i是神經元級的指示符。在第1圖的實例中，i表示神經元 級102並且i+1表示神經元級106。此外，經按比例縮放的信號可被組合以作為級106中每個神經元的輸入信號。級106之每一者神經元可基於對應的組合輸入信號來產生輸出尖峰110。可使用另一突觸連接網路(第1圖中未圖示)將該等輸出尖峰110傳遞到另一級神經元。
生物學突觸可以仲裁突觸後神經元中的興奮性或抑制性(超級化)動作，並且亦可用於放大神經元信號。興奮性信號使膜電位去極化(亦即，相對於靜息電位增大膜電位)。若在某個時間段內接收到足夠的興奮性信號以使膜電位去極化到高於閾值，則在突觸後神經元中發生動作電位。相反，抑制性信號一般使膜電位超極化(亦即，降低膜電位)。抑制性信號若足夠強則可抵消掉興奮性信號之和並阻止膜電位到達閾值。除了抵消掉突觸興奮以外，突觸抑制亦可對自發活躍神經元施加強力的控制。自發活躍神經元是指在沒有進一步輸入的情況下(例如，由於其動態或回饋而)發放尖峰的神經元。藉由壓制該等神經元中的動作電位的自發產生，突觸抑制可對神經元中的激發模式進行定形，此一般被稱為刻蝕。取決於期望的行為，各種突觸104可充當興奮性或抑制性突觸的任何組合。
神經系統100可由通用處理器、數位訊號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)或其他可程式設計邏輯裝置(PLD)、個別閘門或電晶體邏輯、個別的硬體元件、由處理器執行的軟體模組，或其任何組合來仿真。神經系統100可用在大範圍的應用中，諸 如圖像和模式辨識、機器學習、電機控制，及類似應用等。神經系統100中的每一神經元可被實施為神經元電路。被充電至發起輸出尖峰的閾值的神經元膜可被實施為例如對流經其的電流進行積分的電容器。
在一態樣，電容器作為神經元電路的電流積分裝置可被除去，並且可使用較小的憶阻器元件來替代其。此種辦法可應用於神經元電路中，以及其中大容量電容器被用作電流積分器的各種其他應用中。另外，每個突觸104可基於憶阻器元件來實施，其中突觸權重改變可與憶阻器電阻的變化有關。使用奈米特徵尺寸的憶阻器，可顯著地減小神經元電路和突觸的面積，此可使得實施大規模神經系統硬體實施更為切實可行。
對神經系統100進行仿真的神經處理器的功能性可取決於突觸連接的權重，該等權重可控制神經元之間的連接的強度。突觸權重可儲存在非揮發性記憶體中以在掉電之後保留該處理器的功能性。在一態樣，突觸權重記憶體可實施在與主神經處理器晶片分開的外部晶片上。突觸權重記憶體可與神經處理器晶片分開地封裝成可更換的記憶卡。此可向神經處理器提供多種多樣的功能性，其中特定功能性可基於當前附連至神經處理器的記憶卡中所儲存的突觸權重。
第2圖圖示根據本案的某些態樣的計算網路(例如，神經系統或神經網路)的處理單元(例如，神經元或神經元電路)202的示例性示圖200。例如，神經元202可對應於來自第1圖的級102和106的任何神經元。神經元202可接收多個輸 入信號2041-204N，該等輸入信號可以是該神經系統外部的信號，或是由同一神經系統的其他神經元所產生的信號，或該兩者。輸入信號可以是電流、電導、電壓、實數值的及/或複數值的。輸入信號可包括具有定點或浮點表示的數值。可經由突觸連接將該等輸入信號遞送到神經元202，突觸連接根據可調節突觸權重2061-206N(W1-WN)對該等信號進行按比例縮放，其中N可以是神經元202的輸入連接總數。
神經元202可組合該等經按比例縮放的輸入信號，並且使用組合的經按比例縮放的輸入來產生輸出信號208(亦即，信號Y)。輸出信號208可以是電流、電導、電壓、實數值的及/或複數值的。輸出信號可以是具有定點或浮點表示的數值。隨後該輸出信號208可作為輸入信號傳遞至同一神經系統的其他神經元，或作為輸入信號傳遞至同一神經元202，或作為該神經系統的輸出來傳遞。
處理單元(神經元)202可由電路來仿真，並且其輸入和輸出連接可由具有突觸電路的電連接來仿真。處理單元202及其輸入和輸出連接亦可由軟體代碼來仿真。處理單元202亦可由電路來仿真，而其輸入和輸出連接可由軟體代碼來仿真。在一態樣，計算網路中的處理單元202可以是類比電路。在另一態樣，處理單元202可以是數位電路。在又一態樣，處理單元202可以是具有類比和數位元件兩者的混合信號電路。計算網路可包括任何前述形式的處理單元。使用此種處理單元的計算網路(神經系統或神經網路)可用在大範圍的應用中，諸如圖像和模式辨識、機器學習、電機控制，及類 似應用等。
在神經網路的訓練程序期間，突觸權重(例如，來自第1圖的權重、...、及/或來自第2圖的權重2061-206N)可用隨機值來初始化並根據學習規則而被增大或減小。本領域技藝人士將領會，學習規則的實例包括但不限於尖峰時序依賴可塑性(STDP)學習規則、Hebb規則、Oja規則、Bienenstock-Copper-Munro(BCM)規則等。在某些態樣，該等權重可穩定或收斂至兩個值(亦即，權重的雙峰分佈)之一。該效應可被用於減少每個突觸權重的位數、提高從/向儲存突觸權重的記憶體讀取和寫入的速度、以及降低突觸記憶體的功率及/或處理器消耗。
突觸類型
在神經網路的硬體和軟體模型中，突觸相關功能的處理可基於突觸類型。突觸類型可以是非可塑突觸(權重和延遲沒有改變)、可塑突觸(權重可改變)、結構化延遲可塑突觸(權重和延遲可改變)、全可塑突觸(權重、延遲和連通性可改變)、以及基於此的變型(例如，延遲可改變，但在權重或連通性方面沒有改變)。多種類型的優點在於處理可以被細分。例如，非可塑突觸不會要求執行可塑性功能(或等待此類功能完成)。類似地，延遲和權重可塑性可被細分成可一起或分開地、順序地或並行地運作的操作。不同類型的突觸對於適用的每一種不同的可塑性類型可具有不同的查找表或公式以及參數。因此，該等方法將針對該突觸的類型來存取相關的表、公式或參數。
亦進一步牽涉到以下事實：尖峰時序依賴型結構化可塑性可獨立於突觸可塑性地來執行。結構化可塑性即使在權重幅值沒有改變的情況下(例如，若權重已達最小或最大值，或者其由於某種其他原因而不被改變)亦可被執行，因為結構化可塑性(亦即，延遲改變的量)可以是前-後尖峰時間差的直接函數。替代地，結構化可塑性可被設為權重改變量的函數或者可基於與權重或權重改變的界限有關的條件來設置。例如，突觸延遲可僅在權重改變發生時或者在權重到達0的情況下才改變，但在該等權重為最大值時則不改變。然而，具有獨立函數以使得該等程序能被並行化從而減少記憶體存取的次數和交疊可能是有利的。
突觸可塑性的決定
神經元可塑性(或簡稱「可塑性」)是大腦中的神經元和神經網路回應於新的資訊、感官刺激、發展、損壞，或機能障礙而改變其突觸連接和行為的能力。可塑性對於生物學中的學習和記憶、以及對於計算神經元科學和神經網路是重要的。已經研究了各種形式的可塑性，諸如突觸可塑性(例如，根據Hebbian理論)、尖峰時序依賴可塑性(STDP)、非突觸可塑性、活躍性依賴可塑性、結構化可塑性和自穩態可塑性。
STDP是調節神經元之間的突觸連接的強度的學習程序。連接強度是基於特定神經元的輸出與收到輸入尖峰(亦即，動作電位)的相對時序來調節的。在STDP程序下，若至某個神經元的輸入尖峰平均而言傾向於緊挨在該神經元的 輸出尖峰之前發生，則可發生長時程增強(LTP)。於是使得該特定輸入在一定程度上更強。另一方面，若輸入尖峰平均而言傾向於緊接在輸出尖峰之後發生，則可發生長期抑壓(LTD)。於是使得該特定輸入在一定程度上更弱，並由此得名「尖峰時序依賴可塑性」。因此，使得可能是突觸後神經元興奮原因的輸入甚至在將來作出貢獻的可能性更大，而使得不是突觸後尖峰的原因的輸入在將來作出貢獻的可能性更小。該程序繼續，直至初始連接集合的子集保留，而所有其他連接的影響減小至無關緊要的水平。
由於神經元一般在其許多輸入皆在一短時段內發生(亦即，累積性足以引起輸出)時產生輸出尖峰，因此通常保留下來的輸入子集包括傾向於在時間上相關的彼等輸入。另外，由於在輸出尖峰之前發生的輸入被加強，因此提供對相關性的最早充分累積性指示的彼等輸入將最終變成至該神經元的最後輸入。
STDP學習規則可因變於突觸前神經元的尖峰時間t pre 與突觸後神經元的尖峰時間t post 之間的時間差(亦即，t=t post -t pre )來有效地適配將該突觸前神經元連接到該突觸後神經元的突觸的突觸權重。STDP的典型公式化是若該時間差為正(突觸前神經元在突觸後神經元之前激發)則增大突觸權重(亦即，增強該突觸)，以及若該時間差為負(突觸後神經元在突觸前神經元之前激發)則減小突觸權重(亦即，抑壓該突觸)。
在STDP程序中，突觸權重隨時間推移的改變可通常 使用指數式衰退來達成，如由下式提供的：
其中k +和k -τsign(△t)分別是針對正和負時間差的時間常數，a +和a -是對應的比例縮放幅值，並且μ是可應用於正時間差及/或負時間差的偏移。
第3圖圖示根據STDP，因變於突觸前(pre)和突觸後(post)尖峰的相對時序的突觸權重改變的示例性示圖300。若突觸前神經元在突觸後神經元之前激發，則對應的突觸權重可被增大，如曲線圖300的部分302中所圖示的。該權重增大可被稱為該突觸的LTP。從曲線圖部分302可觀察到，LTP的量可因變於突觸前和突觸後尖峰時間之差而大致呈指數式地下降。相反的激發次序可減小突觸權重，如曲線圖300的部分304中所圖示的，從而導致該突觸的LTD。
如第3圖中的曲線圖300中所圖示的，可向STDP曲線圖的LTP(因果性)部分302應用負偏移μ。x軸的交越點306(y=0)可被配置成與最大時間滯後重合以考慮到來自層i-1的各因果性輸入的相關性。在基於訊框的輸入(亦即，呈特定歷時的包括尖峰或脈衝的訊框的形式的輸入)的情形中，可計算偏移值μ以反映訊框邊界。該訊框中的第一輸入尖峰(脈衝)可被視為要麼如直接由突觸後電位所建模地隨時間衰退，要麼在對神經狀態的影響的意義上隨時間衰退。若該訊框中的第二輸入尖峰(脈衝)被視為與特定的時間訊框相關或有關，則該訊框之前和之後的有關時間可藉由使STDP曲線 的一或多個部分偏移以使得該等有關時間中的值可以不同(例如，對於大於一個訊框為負，而對於小於一個訊框為正)來在該時間訊框邊界處被分開並在可塑性意義上被不同地對待。例如，負偏移μ可被設為偏移LTP以使得曲線實際上在大於訊框時間的pre-post時間處變得低於零並且其由此為LTD而非LTP的一部分。
神經元模型及操作
存在一些用於設計有用的尖峰發放神經元模型的一般原理。良好的神經元模型在以下兩個計算態相(regime)方面可具有豐富的潛在行為：重合性偵測和功能性計算。此外，良好的神經元模型應當具有允許時間編碼的兩個要素：輸入的抵達時間影響輸出時間，以及重合性偵測能具有窄時間窗。最後，為了在計算上是有吸引力的，良好的神經元模型在連續時間上可具有封閉形式解，並且具有穩定的行為，包括在靠近吸引子和鞍點之處。換言之，有用的神經元模型是可實踐且可被用於建模豐富的、現實的且生物學一致的行為並且可被用於對神經電路進行工程設計和反向工程設計兩者的神經元模型。
神經元模型可取決於事件，諸如輸入抵達、輸出尖峰或其他事件，無論該等事件是內部的還是外部的。為了達成豐富的行為庫，能展現複雜行為的狀態機可能是期望的。若事件本身的發生在撇開輸入貢獻(若有)的情況下能影響狀態機並約束該事件之後的動態，則該系統的將來狀態並非僅是狀態和輸入的函數，而是狀態、事件和輸入的函數。
在一態樣，神經元n可被建模為尖峰帶洩漏積分激發神經元，其膜電壓v n (t)由以下動態來支配：
其中α和β是參數，w m,n 是將突觸前神經元m連接至突觸後神經元n的突觸的突觸權重，以及y m (t)是神經元m的尖峰發放輸出，其可根據△t m,n 被延遲達樹突或軸突延遲才抵達神經元n的胞體。
應注意，從建立了對突觸後神經元的充分輸入的時間直至該突觸後神經元實際上激發的時間存在延遲。在動態尖峰神經元模型(諸如Izhikevich簡單模型)中，若在去極化閾值v t 與峰值尖峰電壓v peak 之間有差量，則可引發時間延遲。例如，在該簡單模型中，神經元胞體動態可由關於電壓和恢復的微分方程對來支配，即：
其中v是膜電位，u是膜恢復變數，k是描述膜電位v的時間尺度的參數，a是描述恢復變數u的時間尺度的參數，b是描述恢復變數u對膜電位v的閾下波動的敏感度的參數，v r 是膜靜息電位，I是突觸電流，以及C是膜的電容。根據該模型，神經元被定義為在v>v peak 時發放尖峰。
Hunzinger Cold模型
Hunzinger Cold神經元模型是能再現豐富多樣的各種神經行為的最小雙態相尖峰發放線性動態模型。該模型的 一維或二維線性動態可具有兩個態相，其中時間常數(以及耦合)可取決於態相。在閾下態相中，時間常數(按照慣例為負)表示洩漏通道動態，其一般作用於以生物學一致的線性方式使細胞返回到靜息。閾上態相中的時間常數(按照慣例為正)反映抗洩漏通道動態，其一般驅動細胞發放尖峰，而同時在尖峰產生中引發潛時。
如第4圖中所圖示的，該模型400的動態可被劃分成兩個(或更多個)態相。該等態相可被稱為負態相402(亦可互換地稱為帶洩漏積分激發(LIF)態相，勿與LIF神經元模型混淆)以及正態相404(亦可互換地稱為抗洩漏積分激發(ALIF)態相，勿與ALIF神經元模型混淆)。在負態相402中，狀態在將來事件的時間趨向於靜息(v -)。在該負態相中，該模型一般展現出時間輸入偵測性質及其他閾下行為。在正態相404中，狀態趨向於尖峰發放事件(v s )。在該正態相中，該模型展現出計算性質，諸如取決於後續輸入事件而引發發放尖峰的潛時。在事件方面對動態進行公式化以及將動態分成該兩個態相是該模型的基礎特性。
線性雙態相二維動態(對於狀態v和u)可按照慣例定義為：
其中q ρ 和r是用於耦合的線性變換變數。
符號ρ在本文中用於標示動態態相，在論述或表達特定態相的關係時，按照慣例對於負態相和正態相分別用符 號「-」或「+」來替代符號ρ。
模型狀態藉由膜電位(電壓)v和恢復電流u來定義。在基本形式中，態相在本質上是由模型狀態來決定的。該精確和通用的定義存在一些細微卻重要的態樣，但目前考慮該模型在電壓v高於閾值(v +)的情況下處於正態相404中，否則處於負態相402中。
態相依賴型時間常數包括負態相時間常數τ -和正態相時間常數τ +。恢復電流時間常數τ u 通常是獨立於態相的。出於方便起見，負態相時間常數τ -通常被指定為反映衰退的負量，從而用於電壓演變的相同運算式可用於正態相，在正態相中指數和τ +將一般為正，正如τ u 一般。
該兩個狀態元素的動態可在發生事件之際藉由使狀態偏離其零傾線(null-cline)的變換來耦合，其中變換變數為：q ρ =-τ ρ βu-v ρ (7)
r=δ(v+ε) (8)
其中δ、ε、β和v -、v +是參數。v ρ 的兩個值是該兩個態相的參考電壓的基數。參數v -是負態相的基電壓，並且膜電位在負態相中一般將朝向v -衰退。參數v +是正態相的基電壓，並且膜電位在正態相中一般將趨向於背離v +。
v和u的零傾線分別由變換變數q ρ 和r的負數提供。參數δ是控制u零傾線的斜率的縮放因數。參數ε通常被設為等於-v -。參數β是控制該兩個態相中的v零傾線的斜率的電阻值。τ ρ 時間常數參數不僅控制指數式衰退，亦單獨地控制每個態相 中的零傾線斜率。
該模型可被定義為在電壓v達到值v S 時發放尖峰。隨後，狀態可在發生重置事件(其可以與尖峰事件完全相同)之際被復位：
u=u+△u (10)
其中和△u是參數。重置電壓通常被設為v -。
依照暫態耦合的原理，封閉形式解不僅對於狀態是可能的(且具有單個指數項)，而且對於到達特定狀態所需的時間亦是可能的。封閉形式狀態解為：
因此，模型狀態可僅在發生事件之際被更新，諸如在輸入(突觸前尖峰)或輸出(突觸後尖峰)之際被更新。亦可在任何特定的時間(無論是否有輸入或輸出)執行操作。
此外，依照暫態耦合原理，突觸後尖峰的時間可被預計，因此到達特定狀態的時間可提前被決定而無需反覆運算技術或數值方法(例如，歐拉數值方法)。給定了先前電壓狀態v 0，直至到達電壓狀態v f 之前的時間延遲由下式提供：
若尖峰被定義為發生在電壓狀態v到達v S 的時間，則從電壓處於給定狀態v的時間起量測的直至發生尖峰前的時 間量或即相對延遲的封閉形式解為：
其中通常被設為參數v +，但其他變型可以是可能的。
模型動態的以上定義取決於該模型是在正態相還是負態相中。如所提及的，耦合和態相ρ可基於事件來計算。出於狀態傳播的目的，態相和耦合(變換)變數可基於在上一(先前)事件的時間的狀態來定義。出於隨後預計尖峰輸出時間的目的，態相和耦合變數可基於在下一(當前)事件的時間的狀態來定義。
存在對該Cold模型、以及在時間上執行模擬、仿真，或建模的若干可能實施。此包括例如事件-更新、步點-事件更新、以及步點-更新模式。事件更新是其中基於事件或「事件更新」(在特定時刻)來更新狀態的更新。步點更新是以間隔(例如，1ms)來更新模型的更新。此不一定要求反覆運算方法或數值方法。藉由僅在事件發生於步點處或步點間的情況下才更新模型或即藉由「步點-事件」更新，基於事件的實施以有限的時間解析度在基於步點的模擬器中實施亦是可能的。
動態空間目標選擇
專用於對多個目標(諸如空間目標)採取動作的系統使用各種準則來選擇一或多個目標。目標的選擇可取決於正在解決的問題。例如，一種選擇準則使用各目標與物件當 前位置之間的空間關係。函式定義開始於對問題空間的定義。決策函數可持續地執行或者可以藉由物件實例的在場來選通。
在一般的基於神經網路的目標選擇中，目標可能佔用的每個區域可與神經網路的一節點(例如神經元)相關聯。神經元將經由一組權重被連接至該網路中的其他神經元，該組權重指定在該區域被目標佔用的情況下選擇該區域的可能性。亦即，權重可連同其他準則(諸如物件的當前位置)一起決定要選取的目標。在一個實例中，選擇準則選擇最靠近物件當前位置的目標。神經網路的節點可被抽象地認為是記憶體中的位置，該等位置在目標佔用空間中的相關聯位置的情況下被寫成高值，而在沒有目標佔用空間中的相關聯位置的情況下被寫成低值。
在一些情形中，可能期望動態地使選擇偏向或偏離特定目標及/或區域。例如，在一物件(諸如機器人)存取特定區域及/或目標之後，該區域及/或目標被偏置為在特定的時間段裡被選擇的可能性較小。在另一實例中，物件、使用者，及/或網路學習到高值目標趨向於出現在特定區劃中，諸如空間的左上象限。從而，在此實例中，可使目標選擇偏向該特定區劃。
空間位置可用尖峰發放單元的二維(2D)網格來表示。該網格之每一者單元的位置可被映射到實體空間中的位置。單元的屬性可由該單元的活躍性(諸如尖峰發放速率)來指示。在一種配置中，活躍單元指示該位置是感興趣的目 標。若物件包括相對於該物件的當前位置的目標地圖，則可基於交叉抑制來選擇一或多個目標。基於交叉抑制來選擇目標可被稱為勝者全得。亦即，物件選擇具有比其他目標的活躍率更大的活躍率的一或多個目標。在本案中，目標單元及/或空間區劃可被稱為目標。
在一般的目標選擇準則中，交叉抑制性連接的權重在偏置對位置的選擇時是不對稱的。例如，在一般系統中，一位置抑制與本位置相比距物件更遠的所有位置。與之形成對比的是，根據本案的一態樣，選擇程序被動態地偏置。該偏置可被稱為聚焦注意力。
亦即，在一種配置中，選擇準則指定勝者全得網路，該網路包括被疊加以使選擇偏向特定區劃的空間注意力地圖。該偏置可使用交叉抑制性連接，該等交叉抑制性連接使用居間的中間神經元。在非偏置狀況下(亦即，未疊加有聚焦地圖)，該中間神經元在各單元之間中繼抑制。儘管如此，該聚焦地圖可修改中間神經元的可興奮性以使得該等中間神經元傳送抑制性衝激的可能性更大或更小。修改中間神經元的可興奮性偏置勝者全得計算。
第5圖圖示了根據本案的一態樣的目標選擇的實例。如第5圖中所示，目標504、506、508、510圍繞對象502。在一般系統中，物件502可被指定為選擇第二目標506，因為第二目標506是最靠近物件502的目標。根據本案的一態樣，與其他目標504、506、508及/或其他空間區域(未圖示)相比，在第四目標510附近的區域512及/或第四目標510本身被指定 為是更期望的目標。在一個實例中，在第四目標510附近的區域512及/或第四目標510是更期望的，因為第四目標510是高值目標。在另一實例中，在第四目標510附近的區域512及/或第四目標510是更期望的，因為目標502先前已選擇了其他目標504、506、508中的一者並且被指定為在預定義時間段裡存取新區域。儘管如此，本案的各態樣不限於前述的關於指定區域及/或目標的期望性的原因，當然，構想了將特定目標及/或區劃指定為是期望的其他原因。
如第6圖中所示，目標地圖600可由地點單元602的2D網格來表示。目標在一位置處的在場由單元的活躍性(諸如尖峰發放間隔)來指定。在一種配置中，假定了(諸)目標在目標地圖600中的座標已被變換為相對於物件的位置而言。
座標變換是指將相對於第一參考系的空間表示轉換為相對於第二參考系的實質上類似的表示。例如，可向物件(諸如機器人)給予目標相對於房間西北角的座標集。在此實例中，該目標的座標基於世界中心參考系(亦即，非自我中心式座標表示)。儘管如此，對於計畫朝該目標移動的物件而言，期望將非自我中心式座標轉換為相對於該物件的當前位置和方向的表示(亦即，自我中心式參考系)。亦即，非自我中心式座標應當被轉換為自我中心式座標。該目標的自我中心式座標將隨著該物件在房間內四處移動而改變，儘管如此，非自我中心式座標將在該物件在房間內四處移動時保持不變。將期望維持基於物件的固定位置(諸如地圖中心)的 自我中心式座標。
如第6圖中所示，物件604的位置處於目標地圖600的中心。亦即，與非自我中心式地圖(未圖示)形成對比的是，第6圖的目標地圖600中的物件604和目標606、608、610的座標基於來自該對象的位置的參考系。
在一般網路中，交叉抑制被指定以允許一個單元按照大於另一個單元的速率發放尖峰。亦即，當期望該等單元之一更有可能勝利時，抑制性權重可使用於選擇的偏置失衡。例如，若一個單元更靠近物件，則抑制性權重可偏置其他目標的尖峰發放。
第7圖圖示了交叉抑制的實例。如第7圖中所示，第一單元702抑制第二單元704，從而使得第一單元702更有可能勝利。亦即，可經由第一連接706輸出抑制性權重。第一連接706被連接至第一單元702的輸出710。第二連接708亦被連接至第二單元704的輸出712。第二連接708亦可向第一單元702輸出抑制性權重。儘管如此，在此配置中，第一連接706的抑制性權重大於第二連接708的抑制性權重。因此，第一單元702抑制第二單元704，從而使得第一單元702更有可能勝利。此外，第一單元702經由第一輸入714來接收信號(例如，尖峰)，而第二單元704經由第二輸入716來接收信號(例如，尖峰)。在一種配置中，該交叉抑制僅允許一個單元比其他單元更活躍。
第8圖圖示了根據本案的一態樣的交叉抑制的實例。作為一實例，在第8圖中，第一單元802抑制第二單元804， 從而使得第一單元802更有可能勝利。亦即，可經由第一連接806輸出抑制性權重。第一連接806被連接至第一單元802的輸出810和第一中間神經元816，第一中間神經元816經由第一中間神經元連接820來抑制第二單元804。第二連接808亦被連接至第二單元804的輸出812和第二中間神經元818，第二中間神經元818經由第二中間神經元連接822來抑制第一單元802。第二連接808亦可向第一單元802輸出抑制性權重。第一單元802經由第一輸入814來接收輸入，而第二單元804經由第二輸入824來接收輸入。
儘管如此，在本配置中，中間神經元816、818仲裁抑制。亦即，中間神經元816、818可進一步控制施加於神經元(諸如第一單元802或第二單元804)的交叉抑制量。特定而言，中間神經元816、818可動態地修改連接的抑制性權重及/或興奮性權重。
作為一實例，基於經由第一連接806接收的輸入來啟動第一中間神經元816。在此實例中，第一中間神經元816可基於選擇函數來增大或減小抑制的權重。相應地，經動態修改的權重經由第三連接820被輸出至第二神經元804。而且，第二神經元804的活躍性基於經由第三連接820接收的輸入被動態地修改。類似地，第一神經元802的活躍性可以基於經由第四連接822接收的經動態修改的權重來被動態地修改。
應當注意，前述連接不限於提供抑制性權重。亦構想了本案的各態樣用於經由連接來提供興奮性權重。
如前面論述的，前述交叉抑制可被應用於二維單元 網格。第9圖圖示了用於目標地圖900中的目標選擇的交叉抑制的實例。如前面論述的，在一種配置中，經由權重的相對比例縮放來指定選擇函數。亦即，該二維網格中的特定單元對第二單元所具有的抑制性作用可大於第二單元對第一單元的抑制性作用。
在一種配置中，特定目標是基於選擇函數來選擇的。選擇函數可藉由控制神經網路中的各目標之間的連接的失衡來動態地修改。每個目標可與一或多個神經元相關聯。而且，在一種配置中，選擇函數基於回報的抑制、選擇了該目標的物件的行為狀態、時間段、所指派的任務、時間多工函數，及/或從與神經網路集合相對應的任務集合中選擇任務的事件。每個任務可對應於一神經網路並且每個神經網路可以是靜態網路或動態網路。
作為實例，如第9圖中所示，基於選擇函數來選擇目標909。例如，所選目標909是因為所選目標909的區劃是高值區劃而被選擇的。當從該多個目標中選擇目標時，在所選目標909附近的單元(諸如非目標單元912)抑制距離所選目標909較遠的其他單元(諸如未選擇的目標單元902、904、906及/或非目標單元912)。而且，物件910以及在所選目標909附近的單元(諸如非目標單元912)可激勵所選目標909。亦即，未被選擇的目標單元902、904、906的活躍性被抑制，從而使得物件910選擇所選目標單元909。在一種配置中，多個目標可以是候選目標，然而，基於交叉抑制，只有一個目標是活躍目標。
如上面論述的，目標的尖峰發放被修改，以使得物件選擇指定目標。在一種配置中，連接包括定義在每對輸入和輸出神經元之間的連接上的中間神經元。而且，在本配置中，藉由修改中間神經元的可興奮性及/或修改中間神經元與輸入和輸出神經元之間的突觸權重的功效來動態地修改選擇函數。替代地或附加地，經由外部輸入來動態地修改選擇函數。
如先前論述的，在一種配置中，藉由修改神經元的可興奮性及/或修改突觸權重的功效來動態地修改選擇函數。突觸權重可以是針對輸入突觸及/或神經元之間的連接的權重。而且，在一種配置中，神經網路中的連接的失衡量基於對該神經網路的輸入及/或來自該神經網路的輸出。
如第9圖中所示，單元909、912、910可彼此抑制。例如，所選目標單元909抑制周圍的單元912。而且，周圍的單元912亦可抑制或激勵所選目標單元909。儘管如此，從目標單元909輸出的抑制大於在目標單元909處從周圍單元912接收到的抑制。單元909、910、912經由連接916提供抑制性及/或興奮性輸出。
第9圖亦圖示毗鄰於目標單元909的具有抑制性連接的單元。儘管如此，本案的各態樣不限於僅在各單元之間指定抑制性連接，而是可在任何距離的單元之間指定抑制性連接。
如上面論述的，在一種配置中，在神經網路中的連接之間設置失衡。失衡可以是抑制性權重或興奮性權重。抑 制性權重減小神經元的尖峰發放速率，而興奮性權重增加神經元的尖峰發放。可經由前饋抑制性連接及/或回饋抑制性連接來提供抑制性權重。替代地或附加地，可經由前饋抑制性連接及/或回饋興奮性連接來提供興奮性權重。連接可以是一或多個第一輸入層連接、神經元輸入、側向連接，及/或其他類型的連接。亦即，在一種配置中，連接是對神經元的輸入。替代地或附加地，連接是神經元之間的側向連接。
此外，基於選擇函數(諸如目標單元與物件的距離)來設置失衡。儘管如此，選擇函數不限於目標離物件的距離，而是可基於其他準則。例如，在另一配置中，基於目標的概率來選擇一或多個目標。每個目標可對應於多個活躍神經元或一個活躍神經元。概率可以是指尖峰發放概率。
此外，在一種配置中，與候選目標單元相對應的神經元之間的相對啟動被修改。相對啟動對應於一或多個目標單元並且基於目標之間的失衡量。相對啟動被指定以使得一或多個目標(例如神經元)相比於其他目標具有更大的活躍量。
在一種配置中，目標是空間目標。如之前論述的，基於經由神經元之間的連接所提供的失衡量來選擇一或多個目標。亦即，物件選擇具有最高活躍性(諸如尖峰發放速率)的目標。目標可以是一或多個活躍神經元。
第10圖圖示了根據本案的一態樣的交叉抑制的實例。如第10圖中所示，多個神經元1002被指定，且一組神經元被選擇為目標1004、1006、1008。基於所接收的輸入1010、 1012、1014，目標1004、1006、1008可以是活躍的(例如，發放尖峰)。作為一實例，基於選擇準則，第一目標1004比其他目標1006、1008更活躍。因而，在此實例中，物件(未圖示)將選擇第一目標。儘管如此，作為另一實例，第一目標1004可經由抑制連接1016來抑制其他目標1006、1008的活躍性。抑制可降低或終止其他目標1006、1008的活躍性。
第11圖圖示了根據本案的另一態樣的交叉抑制的實例。如第11圖中所示，多個神經元1102被指定，且一組神經元被選擇為目標1104、1106、1108。基於所接收的輸入1110、1112、1114，目標1104、1106、1108可以是活躍的(例如，發放尖峰)。作為一實例，基於選擇準則，第一目標1104比其他目標1106、1108更活躍。從而，在此實例中，物件(未圖示)將選擇第一目標。儘管如此，在一種配置中，為第一輸入層指定了諸神經元1102且其被連接至第二層的神經元1118。相應地，基於從第一層神經元1102接收的輸入，第二層神經元1118是活躍的。在此配置中，物件選擇與第二層的(諸)活躍神經元相關聯的目標。
在一種配置中，第二層神經元1118包括交叉抑制連接以防止其他神經元活躍。亦即，如第11圖中所示，基於所接收的輸入1110、1112、1114，目標1104、1106、1108全部活躍。作為一實例，基於選擇準則，第一目標1104比其他目標1106、1108更活躍。儘管如此，與第一層目標神經元1104、1106、1108相對應的第二層目標神經元1122、1124、1126並非全部活躍，因為第二層的第一目標神經元1122經由抑制性連 接1128來抑制其他第二層目標神經元1124、1126以使得該等其他第二層目標神經元1124、1126不變得活躍。亦即，即便第一層目標神經元全部活躍，然而由於抑制性連接，僅一個第二層神經元活躍。更特定而言，基於抑制，在第一層接收到的輸入不被表示，而僅選擇準則的輸出被表示。第一層神經元可經由突觸1130、1132、1134被連接至第二層神經元。
在一種配置中，在第一層神經元1102與第二層神經元1118之間的突觸上指定前饋抑制。前饋抑制性連接可被連接至相鄰神經元，並且在接收到針對一特定神經元的尖峰時抑制相鄰神經元。例如，在第11圖中，可以在第一層目標神經元1104、1106、1108與第二層目標神經元1122、1124、1126之間的每個突觸1130、1132、1134上提供抑制性連接(未圖示)。從而，作為一實例，當第一突觸1130接收來自第一層的第一目標神經元1104的尖峰時，該前饋抑制性連接抑制第二層的第一神經元1122的相鄰神經元。
在另一配置中，為第二層神經元之間的抑制性連接指定中間神經元。為抑制性連接所指定的中間神經元可被稱為側向抑制。作為實例，在第11圖中，可為第二層的第一目標神經元1122與其他第二層目標神經元1124、1126之間的每個抑制性連接1128指定中間神經元(未圖示)。
連接(諸如抑制性連接)不限於第一層目標神經元和第二層目標神經元，亦在第一層和第二層中的所有神經元之間指定連接。此外，前述連接不限於抑制性連接，並且亦被構想為興奮性連接。而且，構想了本案的各態樣用於動態 地修改任何前述連接以及未明確指定的其他連接的失衡。本案的各態樣可減少或消除要指定對神經元的輸入使用以標稱頻率隨機間隔開的尖峰(亦即，泊松激發)來達成中間神經元中的可興奮性的分級等級的需要。而且，在一種配置中，目標可與一或多個神經元相關聯。例如，一個神經元可表示一個目標。替代地，多個神經元可表示一個目標。
在一種配置中，可指定用於藉由控制神經網路中的連接的失衡量來動態地修改選擇函數的多個靜態及/或動態網路。亦即，第一網路可被指定成聚焦於一特定任務，且第一網路控制神經網路中的連接的失衡量以動態地修改針對該特定任務的選擇函數。而且，可指定使用第一網路中的部分或全部神經元的第二網路。第二網路的任務可以不同於第一網路的任務。因此，第二網路控制神經網路中的連接的失衡量以動態地修改針對第二網路的特定任務的選擇函數。亦即，針對目標選擇所指定的硬體可被重用於基於不同網路的不同任務。可在連接(諸如輸入、輸出或神經間連接)上指定任務選擇器以在各特定任務(例如，網路)間切換。
在另一配置中，向資料應用邏輯函數的循環。邏輯函數循環的一個實例如下：
當存在資料時
i.若新資料(newdata)比當前勝者(currentWinner)更靠近物件，
1.則用新資料取代當前勝者
在本配置中，該循環的執行時間取決於所考慮的資 料量。而且，在本配置中，所有資料均被指派給記憶體元素。在將資料指派給記憶體元素之後，藉由在各記憶體元素之間傳遞訊息(例如，抑制)來執行選擇函數。本配置對於執行時間具有增大的可預測性，而不管考慮了多少資料。而且，本配置減少被計算引擎處理的資料量。
作為實例，對於本配置，一組物件被提交給選擇函數。每個物件可被表示為被傳送至與該物件相關聯的一或多個記憶體元素的信號。在一種配置中，一個記憶體位置被指定為標識一物件。儘管如此，多個記憶體位置可以被同時組合以定義物件的身份。例如，位置(4,5.5)處的目標可由與(4,5)和(4,6)相對應的記憶體位置來表示。
每個物件實例的表示可影響記憶體陣列中的其他物件實例的表示。在各物件實例的表示之間施加的影響可經由各物件實例之間的連接來傳送。與一個物件實例相關聯的信號可影響與其他物件實例相關聯的信號的目標(亦即，前饋抑制)。而且，該信號的目標的值亦可直接影響其他信號的目標(亦即，側向抑制)。此外，信號的目標的值可修改單獨的記憶體元素，而該單獨的記憶體元素進一步影響其他輸入信號的目標(亦即，帶中間神經元的側向抑制)。最終，與一個物件實例相關聯的信號可修改單獨的記憶體元素，而該單獨的記憶體元素影響其他輸入信號的目標(亦即，帶中間神經元的前饋抑制)。
在一種配置中，記憶體元素可以是神經網路中的神經元。此外，在尖峰神經網路中，記憶體元素是處於活躍狀 態的按相比於基線而言增大的速率發放尖峰的神經元。而且，在基於速率的神經網路中，記憶體元素是具有基於該記憶體元素的輸入的持續活躍水平的神經元。
在一種配置中，選擇函數是基於記憶體元素之間的權重指定來定義的，藉此一個元素中的活躍水平影響其他元素中的活躍水平。當每個記憶體元素的影響範圍在空間上被約束時，整體計算可被並行化且可具有與序列化計算相比而言提升的效能。
第12圖圖示了根據本案的某些態樣的使用通用處理器1202進行前述目標選擇的示例實施1200。與計算網路(神經網路)相關聯的變數(神經信號)、突觸權重、系統參數，延遲，和頻率槽資訊可被儲存在記憶體區塊1204中，而在通用處理器1202處執行的指令可從程式記憶體1206中載入。在本案的一態樣中，載入到通用處理器1202中的指令可包括用於藉由控制神經網路中的連接的失衡量來動態地修改選擇函數的代碼。
第13圖圖示了根據本案的某些態樣的前述目標選擇的示例實施1300，其中記憶體1302可以經由互連網路1304與計算網路(神經網路)的個體(分散式)處理單元(神經處理器)1306對接。與計算網路(神經網路)相關聯的變數(神經信號)、突觸權重、系統參數，延遲，頻率槽資訊，連接失衡可被儲存在記憶體1302中，並且可從記憶體1302經由互連網路1304的連接被載入到每個處理單元(神經處理器)1306中。在本案的一態樣中，處理單元1306可被配置成藉由控制 神經網路中的連接的失衡量來動態地修改選擇函數。
第14圖圖示前述目標選擇的示例實施1400。如第14圖中所圖示的，一個記憶體組1402可與計算網路(神經網路)的一個處理單元1404直接對接。每一個記憶體組1402可儲存與對應的處理單元(神經處理器)1404相關聯的變數(神經信號)、突觸權重，及/或系統參數，延遲，頻率槽資訊，以及連接失衡。在本案的一態樣中，處理單元1404可被配置成藉由控制神經網路中的連接的失衡量來動態地修改選擇函數。
第15圖圖示根據本案的某些態樣的神經網路1500的示例實施。如第15圖中所圖示的，神經網路1500可具有多個局部處理單元1502，其可執行上述方法的各種操作。每個局部處理單元1502可包括儲存該神經網路的參數的局部狀態記憶體1504和局部參數記憶體1506。另外，局部處理單元1502可具有用於儲存局部模型程式的局部(神經元)模型程式(LMP)記憶體1508、用於儲存局部學習程式的局部學習程式(LLP)記憶體1510、以及局部連接記憶體1512。此外，如第15圖中所圖示的，每個局部處理單元1502可與用於提供對局部處理單元的局部記憶體的配置的配置處理單元1514對接，並且與提供各局部處理單元1502之間的路由的路由連接處理元件1516對接。
在一個配置中，神經元模型被配置成用於藉由控制神經網路中的連接的失衡量來動態地修改選擇函數。該神經元模型包括修改手段。在一種配置中，該修改手段是被配置 成執行該功能的通用處理器1202、程式記憶體1206、記憶體區塊1204、記憶體1302、互連網路1304、處理單元1306、處理單元1404、局部處理單元1502，及/或路由連接處理單元1516。此外，該神經元模型可包括用於決定的手段。在一種配置中，該決定手段是被配置成執行該功能的通用處理器1202、程式記憶體1206、記憶體區塊1204、記憶體1302、互連網路1304、處理單元1306、處理單元1404、局部處理單元1502，及/或路由連接處理單元1516。在另一配置中，前述各手段可以是被配置成執行前述手段所敘述的功能的任何模組或任何設備。
根據本案的某些態樣，每一個局部處理單元1502可被配置成基於神經網路的期望的一或多個功能性特徵來決定神經網路的參數，以及隨著所決定的參數被進一步適配、調諧和更新來使該一或多個功能性特徵朝著期望的功能性特徵發展。
第16圖圖示了用於在神經網路中選擇目標的方法1600。在方塊1602，該神經網路決定用於神經網路中的候選目標的選擇函數。更特定而言，該決定可由該神經網路中的連接來執行。此外，在方塊1604，該神經網路藉由控制神經網路中的連接的失衡量來動態地修改該選擇函數。所選神經元代表每個候選目標。在一種配置中，聚焦地圖及/或外部輸入被指定以動態地修改該選擇函數。
以上所描述的方法的各種操作可由能夠執行相應功能的任何合適的手段來執行。該等手段可包括各種硬體及/或 軟體元件及/或模組，包括但不限於電路、特殊應用積體電路(ASIC)，或處理器。一般而言，在附圖中有圖示的操作的場合，彼等操作可具有帶相似編號的相應配對手段功能元件。
如本文所使用的，術語「決定」涵蓋各種各樣的動作。例如，「決定」可包括演算、計算、處理、推導、研究、檢視(例如，在表、資料庫或其他資料結構中檢視)、探知及諸如此類。另外，「決定」可包括接收(例如接收資訊)、存取(例如存取記憶體中的資料)，及類似動作。而且，「決定」可包括解析、選擇、選取、確立及類似動作。
如本文中所使用的，引述一列項目中的「至少一個」的用語是指該等項目的任何組合，包括單個成員。作為實例，「a、b或c中的至少一個」意欲涵蓋：a、b、c、a-b、a-c、b-c和a-b-c。
結合本案所描述的各種說明性邏輯區塊、模組、以及電路可用設計成執行本文所描述功能的通用處理器、數位訊號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式設計閘陣列信號(FPGA)或其他可程式設計邏輯裝置(PLD)、個別閘門或電晶體邏輯、個別的硬體元件或其任何組合來實施或執行。通用處理器可以是微處理器，但在替代方案中，該處理器可以是任何市售的處理器、控制器、微控制器，或狀態機。處理器亦可以被實施為計算裝置的組合，例如DSP與微處理器的組合、多個微處理器、與DSP核心協同的一或多個微處理器，或任何其他此類配置。
結合本案所描述的方法或演算法的步驟可直接在硬 體中、在由處理器執行的軟體模組中，或在該兩者的組合中體現。軟體模組可常駐在本領域所知的任何形式的儲存媒體中。可使用的儲存媒體的一些實例包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體、可抹除可程式設計唯讀記憶體(EPROM)、電子可抹除可程式設計唯讀記憶體(EEPROM)、暫存器、硬碟、可移除磁碟、CD-ROM，等等。軟體模組可包括單一指令，或許多數指令，且可分佈在若干不同的程式碼片段上，分佈在不同的程式間以及跨多個儲存媒體分佈。儲存媒體可被耦合到處理器以使得該處理器能從/向該儲存媒體讀寫資訊。替代地，儲存媒體可以被整合到處理器。
本文所揭示的方法包括用於實現所描述的方法的一或多個步驟或動作。該等方法步驟及/或動作可以彼此互換而不會脫離申請專利範圍的範圍。換言之，除非指定了步驟或動作的特定次序，否則特定步驟及/或動作的次序及/或使用可以改動而不會脫離申請專利範圍的範圍。
所描述的功能可在硬體、軟體、韌體，或其任何組合中實施。若以硬體實施，則示例硬體設定可包括裝置中的處理系統。處理系統可以用匯流排架構來實施。取決於處理系統的特定應用和整體設計約束，匯流排可包括任何數目的互連匯流排和橋接器。匯流排可將包括處理器、機器可讀取媒體、以及匯流排介面的各種電路連結在一起。匯流排介面可用於尤其將網路介面卡等經由匯流排連接至處理系統。網路介面卡可用於實施信號處理功能。對於某些態樣，使用者 介面(例如，按鍵板、顯示器、滑鼠、操縱桿，等等)亦可以被連接到匯流排。匯流排亦可以連結各種其他電路，諸如時序源、周邊設備、穩壓器、功率管理電路以及類似電路，其在本領域中是眾所周知的，因此將不再進一步描述。
處理器可負責管理匯流排和一般處理，包括執行儲存在機器可讀取媒體上的軟體。處理器可用一或多個通用及/或專用處理器來實施。實例包括微處理器、微控制器、DSP處理器、以及其他能執行軟體的電路系統。軟體應當被寬泛地解釋成意指指令、資料，或其任何組合，無論是被稱作軟體、韌體、仲介軟體、微代碼、硬體描述語言，或其他。作為實例，機器可讀取媒體可包括隨機存取記憶體(RAM)、快閃記憶體、唯讀記憶體(ROM)、可程式設計唯讀記憶體(PROM)、可抹除可程式設計唯讀記憶體(EPROM)、電可抹除可程式設計唯讀記憶體(EEPROM)、暫存器、磁碟、光碟、硬驅動器，或者任何其他合適的儲存媒體，或其任何組合。機器可讀取媒體可被實施在電腦程式產品中。該電腦程式產品可以包括包裝材料。
在硬體實施中，機器可讀取媒體可以是處理系統中與處理器分開的一部分。然而，如本領域技藝人士將容易領會的，機器可讀取媒體，或其任何部分可在處理系統外部。作為實例，機器可讀取媒體可包括傳輸線、由資料調制的載波，及/或與設備分開的電腦產品，所有該等皆可由處理器經由匯流排介面來存取。替代地或補充地，機器可讀取媒體，或其任何部分可被整合到處理器中，諸如快取記憶體及/或通 用暫存器檔可能就是此種情形。儘管所論述的各種元件可被描述為具有特定位置，諸如局部元件，但其亦可按各種方式來配置，諸如某些元件被配置成分散式運算系統的一部分。
處理系統可以被配置為通用處理系統，該通用處理系統具有一或多個提供處理器功能性的微處理器和提供機器可讀取媒體中的至少一部分的外部記憶體，其皆經由外部匯流排架構與其他支援電路系統連結在一起。替代地，該處理系統可以包括一或多個神經元形態處理器以用於實施本文述及之神經元模型和神經系統模型。作為另一替代方案，處理系統可以用帶有整合在單塊晶片中的處理器、匯流排介面、使用者介面、支援電路系統和至少一部分機器可讀取媒體的特殊應用積體電路(ASIC)來實施，或者用一或多個現場可程式設計閘陣列(FPGA)、可程式設計邏輯裝置(PLD)、控制器、狀態機、閘控邏輯、個別硬體元件，或者任何其他合適的電路系統，或者能執行本案通篇所描述的各種功能性的電路的任何組合來實施。取決於特定應用和加諸於整體系統上的整體設計約束，本領域技藝人士將認識到如何最佳地實施關於處理系統所描述的功能性。
機器可讀取媒體可包括數個軟體模組。該等軟體模組包括當由處理器執行時使處理系統執行各種功能的指令。該等軟體模組可包括傳輸模組和接收模組。每個軟體模組可以常駐在單個儲存裝置中或者跨多個儲存裝置分佈。作為實例，當觸發事件發生時，可以從硬驅動器中將軟體模組載入到RAM中。在軟體模組執行期間，處理器可以將一些指令載 入到快取記憶體中以提高存取速度。隨後可將一或多個快取記憶體行載入到通用暫存器檔案中以供由處理器執行。在以下談及軟體模組的功能性時，將理解此類功能性是在處理器執行來自該軟體模組的指令時由該處理器來實施的。
若以軟體實施，則各功能可作為一或多數指令或代碼儲存在電腦可讀取媒體上或藉其進行傳送。電腦可讀取媒體包括電腦儲存媒體和通訊媒體兩者，該等媒體包括促成電腦程式從一地向另一地轉移的任何媒體。儲存媒體可以是能被電腦存取的任何可用媒體。作為實例但並非限制，此種電腦可讀取媒體可包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁儲存裝置，或能被用來攜帶或儲存指令或資料結構形式的期望程式碼且能被電腦存取的任何其他媒體。另外，任何連接亦被正當地稱為電腦可讀取媒體。例如，若軟體是使用同軸電纜、光纖電纜、雙絞線、數位用戶線(DSL)，或無線技術(諸如紅外(IR)、無線電、以及微波)從web網站、伺服器，或其他遠端源傳送而來，則該同軸電纜、光纖電纜、雙絞線、DSL或無線技術(諸如紅外、無線電、以及微波)就被包括在媒體的定義之中。如本文中所使用的盤(disk)和碟(disc)包括壓縮光碟(CD)、鐳射光碟、光碟、數位多功能光碟(DVD)、軟碟和藍光®光碟，其中盤(disk)常常磁性地再現資料，而碟(disc)用鐳射來光學地再現資料。因此，在一些態樣，電腦可讀取媒體可包括非瞬態電腦可讀取媒體(例如，有形媒體)。另外，對於其他態樣，電腦可讀取媒體可包括瞬態電腦可讀取媒體 (例如，信號)。上述的組合亦應被包括在電腦可讀取媒體的範圍內。
因此，某些態樣可包括用於執行本文中提供的操作的電腦程式產品。例如，此類電腦程式產品可包括其上儲存(及/或編碼)有指令的電腦可讀取媒體，該等指令能由一或多個處理器執行以執行本文中所描述的操作。對於某些態樣，電腦程式產品可包括包裝材料。
此外，應當領會，用於執行本文中所描述的方法和技術的模組及/或其他合適裝置能由使用者終端及/或基地台在適用的場合下載及/或以其他方式獲得。例如，此類設備能被耦合至伺服器以促成用於執行本文中所描述的方法的裝置的轉移。替代地，本文述及之各種方法能經由儲存裝置(例如，RAM、ROM、諸如壓縮光碟(CD)或軟碟等實體儲存媒體等)來提供，以使得一旦將該儲存裝置耦合至或提供給使用者終端及/或基地台，該設備就能獲得各種方法。此外，能利用適於向設備提供本文描述的方法和技術的任何其他合適的技術。
應該理解的是，申請專利範圍並不被限定於以上所說明的精確配置和元件。可在以上所描述的方法和設備的佈局、操作和細節上作出各種改動、更換和變形而不會脫離申請專利範圍的範疇。
802‧‧‧第一單元
804‧‧‧第二單元
806‧‧‧第一連接
808‧‧‧第二連接
810‧‧‧輸出
812‧‧‧輸出
814‧‧‧第一輸入
816‧‧‧中間神經元
818‧‧‧中間神經元
820‧‧‧第三連接
822‧‧‧第四連接
824‧‧‧第二輸入

Claims (30)

  1. 一種用一神經網路來動態地修改目標選擇的方法，包括以下步驟：藉由控制該神經網路中的連接的一失衡量來動態地修改一選擇函數，一所選神經元代表多個候選目標中的一個候選目標。
  2. 如請求項1述及之方法，其中該等連接包括耦合在每一對輸入和輸出神經元之間的中間神經元，並且該動態地修改之步驟包括以下步驟：至少動態地修改該中間神經元的可興奮性、動態地修改該中間神經元與該輸入和輸出神經元之間的突觸權重的功效，或其組合。
  3. 如請求項2述及之方法，其中該動態地修改之步驟包括以下步驟：用一外部輸入來動態地修改。
  4. 如請求項1述及之方法，其中該動態地修改之步驟包括以下步驟：至少動態地修改一神經元的可興奮性、動態地修改突觸權重的功效，或其組合。
  5. 如請求項4述及之方法，其中該等突觸權重是至少針對輸入突觸、神經元之間的連接，或其組合的。
  6. 如請求項1述及之方法，其中該選擇函數至少部分地基於 回報的一抑制、選擇了該目標的一物件的一行為狀態、一時間段、所指派的一任務、一時間多工函數、從與多個神經網路相對應的多個任務中選擇一任務的一事件，或其組合。
  7. 如請求項6述及之方法，其中每個任務對應於該多個神經網路中的一個，並且每個神經網路是一靜態網路或一動態網路。
  8. 如請求項1述及之方法，進一步包括以下步驟：至少基於對該神經網路的輸入、來自該神經網路的輸出，或其組合來控制該神經網路中的連接的該失衡量。
  9. 一種用一神經網路來動態地修改目標選擇的設備，該設備包括：一記憶體單元；及至少一個處理器，該處理器耦合至該記憶體單元，該至少一個處理器被配置成藉由控制該神經網路中的連接的一失衡量來動態地修改一選擇函數，一所選神經元代表多個候選目標中的一個候選目標。
  10. 如請求項9述及之設備，其中該等連接包括耦合在每一對輸入和輸出神經元之間的中間神經元，並且該至少一個處理器被進一步配置成至少動態地修改該中間神經元的可興奮性、該中間神經元與該輸入和輸出神經元之間的突觸權重的功 效，或其組合。
  11. 如請求項10述及之設備，其中該至少一個處理器被進一步配置成用一外部輸入來動態地修改。
  12. 如請求項9述及之設備，其中該至少一個處理器被進一步配置成至少動態地修改一神經元的可興奮性、突觸權重的功效，或其組合。
  13. 如請求項12述及之設備，其中該等突觸權重是至少針對輸入突觸、神經元之間的連接，或其組合的。
  14. 如請求項9述及之設備，其中該選擇函數至少部分地基於回報的一抑制、選擇了該目標的一物件的一行為狀態、一時間段、所指派的一任務、一時間多工函數、從與多個神經網路相對應的多個任務中選擇一任務的一事件，或其組合。
  15. 如請求項14述及之設備，其中每個任務對應於該多個神經網路中的一個，並且每個神經網路是一靜態網路或一動態網路。
  16. 如請求項9述及之設備，其中該至少一個處理器被進一步配置成至少基於對該神經網路的輸入、來自該神經網路的輸出，或其組合來控制該神經網路中的連接的一失衡量。
  17. 一種設備，該設備包括：用於決定一神經網路中的連接的一失衡量的手段；及用於藉由控制該神經網路中的連接的該失衡量來動態地修改一選擇函數的手段，一所選神經元代表多個候選目標中的一個候選目標。
  18. 如請求項17述及之設備，其中該等連接包括耦合在每一對輸入和輸出神經元之間的中間神經元，並且該用於動態地修改的手段包括用於至少動態地修改該中間神經元的可興奮性、該中間神經元與該輸入和輸出神經元之間的突觸權重的功效，或其組合的手段。
  19. 如請求項18述及之設備，其中該用於動態地修改的手段包括用於用一外部輸入來動態地修改的手段。
  20. 如請求項17述及之設備，其中該用於動態地修改的手段包括用於至少動態地修改一神經元的可興奮性、修改突觸權重的功效，或其組合的手段。
  21. 如請求項20述及之設備，其中該等突觸權重是至少針對輸入突觸、神經元之間的連接，或其組合的。
  22. 如請求項17述及之設備，其中該選擇函數至少部分地基 於回報的一抑制、選擇了該目標的一物件的一行為狀態、一時間段、所指派的一任務、一時間多工函數、從與多個神經網路相對應的多個任務中選擇一任務的一事件，或其組合。
  23. 如請求項22述及之設備，其中每個任務對應於該多個神經網路中的一個，並且每個神經網路是一靜態網路或一動態網路。
  24. 如請求項17述及之設備，進一步包括用於至少基於對該神經網路的輸入、來自該神經網路的輸出，或其組合來控制該神經網路中的連接的一失衡量的手段。
  25. 一種用一神經網路來動態地修改目標選擇的電腦程式產品，包括：一非瞬態電腦可讀取媒體，其上記錄有非瞬態程式碼，該程式碼包括用於藉由控制該神經網路中的連接的一失衡量來動態地修改一選擇函數的程式碼，一所選神經元代表多個候選目標中的一個候選目標。
  26. 如請求項25述及之電腦程式產品，其中該等連接包括耦合在每一對輸入和輸出神經元之間的中間神經元，並且該程式碼進一步包括用於至少動態地修改該中間神經元的可興奮性、該中間神經元與該輸入和輸出神經元之間的突觸權重的功效，或其組合的程式碼。
  27. 如請求項26述及之電腦程式產品，其中該程式碼進一步包括用於用一外部輸入來動態地修改的程式碼。
  28. 如請求項25述及之電腦程式產品，其中該程式碼進一步包括用於至少動態地修改一神經元的可興奮性、突觸權重的功效，或其組合的程式碼。
  29. 如請求項28述及之電腦程式產品，其中該等突觸權重是至少針對輸入突觸、神經元之間的連接，或其組合的。
  30. 如請求項25述及之電腦程式產品，其中該選擇函數至少部分地基於回報的一抑制、選擇該目標的一物件的一行為狀態、一時間段、所指派的一任務、一時間多工函數、從與多個神經網路相對應的多個任務中選擇一任務的一事件，或其組合。
TW104105877A 2014-02-21 2015-02-24 動態空間目標選擇 TW201539334A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461943231P 2014-02-21 2014-02-21
US201461943227P 2014-02-21 2014-02-21
US14/325,169 US10552734B2 (en) 2014-02-21 2014-07-07 Dynamic spatial target selection

Publications (1)

Publication Number Publication Date
TW201539334A true TW201539334A (zh) 2015-10-16

Family

ID=53879236

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104105877A TW201539334A (zh) 2014-02-21 2015-02-24 動態空間目標選擇

Country Status (6)

Country Link
US (1) US10552734B2 (zh)
EP (1) EP3108413A2 (zh)
JP (1) JP2017509980A (zh)
CN (1) CN106796667B (zh)
TW (1) TW201539334A (zh)
WO (1) WO2015127130A2 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9764468B2 (en) 2013-03-15 2017-09-19 Brain Corporation Adaptive predictor apparatus and methods
US9358685B2 (en) 2014-02-03 2016-06-07 Brain Corporation Apparatus and methods for control of robot actions based on corrective user inputs
US9630318B2 (en) * 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
US11029836B2 (en) * 2016-03-25 2021-06-08 Microsoft Technology Licensing, Llc Cross-platform interactivity architecture
US10846590B2 (en) * 2016-12-20 2020-11-24 Intel Corporation Autonomous navigation using spiking neuromorphic computers
US10885425B2 (en) * 2016-12-20 2021-01-05 Intel Corporation Network traversal using neuromorphic instantiations of spike-time-dependent plasticity
US11373091B2 (en) 2017-10-19 2022-06-28 Syntiant Systems and methods for customizing neural networks
EP3764173A1 (en) 2019-07-08 2021-01-13 ABB Schweiz AG Human-plausible automated control of an industrial process

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6941289B2 (en) 2001-04-06 2005-09-06 Sas Institute Inc. Hybrid neural network generation system and method
US6961719B1 (en) 2002-01-07 2005-11-01 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Hybrid neural network and support vector machine method for optimization
US7483868B2 (en) 2002-04-19 2009-01-27 Computer Associates Think, Inc. Automatic neural-net model generation and maintenance
WO2004111931A2 (en) 2003-06-10 2004-12-23 California Institute Of Technology A system and method for attentional selection
US7324979B2 (en) 2003-08-29 2008-01-29 Bbn Technologies Corp. Genetically adaptive neural network classification systems and methods
US7519452B2 (en) * 2004-04-15 2009-04-14 Neurosciences Research Foundation, Inc. Mobile brain-based device for use in a real world environment
US20120271748A1 (en) 2005-04-14 2012-10-25 Disalvo Dean F Engineering process for a real-time user-defined data collection, analysis, and optimization tool (dot)
US7533071B2 (en) 2005-06-28 2009-05-12 Neurosciences Research Foundation, Inc. Neural modeling and brain-based devices using special purpose processor
US7765029B2 (en) 2005-09-13 2010-07-27 Neurosciences Research Foundation, Inc. Hybrid control device
JP4836592B2 (ja) 2006-02-09 2011-12-14 ソニー株式会社 ロボット装置及びその制御方法
KR100820723B1 (ko) * 2006-05-19 2008-04-10 인하대학교 산학협력단 은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습시스템 및 방법
TW200849436A (en) 2007-06-01 2008-12-16 King Yuan Electronics Co Ltd Method for wafer analysis with artificial neural network and system thereof
US20130331294A1 (en) 2007-11-09 2013-12-12 Fox Chase Cancer Center Egfr/nedd9/tgf-beta interactome and methods of use thereof for the identification of agents having efficacy in the treatment of hyperproliferative disorders
EP2216145B1 (en) 2009-02-06 2011-06-08 Honda Research Institute Europe GmbH Learning and use of schemata in robotic devices
EP2256667B1 (en) 2009-05-28 2012-06-27 Honda Research Institute Europe GmbH Driver assistance system or robot with dynamic attention module
US9665822B2 (en) 2010-06-30 2017-05-30 International Business Machines Corporation Canonical spiking neuron network for spatiotemporal associative memory
US8655813B2 (en) 2010-12-30 2014-02-18 International Business Machines Corporation Synaptic weight normalized spiking neuronal networks
WO2012130251A1 (en) 2011-03-28 2012-10-04 Al-Romimah Abdalslam Ahmed Abdalgaleel Image understanding based on fuzzy pulse - coupled neural networks
US9281689B2 (en) 2011-06-08 2016-03-08 General Electric Technology Gmbh Load phase balancing at multiple tiers of a multi-tier hierarchical intelligent power distribution grid
US9460387B2 (en) * 2011-09-21 2016-10-04 Qualcomm Technologies Inc. Apparatus and methods for implementing event-based updates in neuron networks
US9092735B2 (en) 2011-09-21 2015-07-28 Qualcomm Incorporated Method and apparatus for structural delay plasticity in spiking neural networks
CN102521653B (zh) 2011-11-23 2015-01-21 河海大学常州校区 井下多机器人联合搜救的生物刺激神经网络设备及其方法
US9367797B2 (en) 2012-02-08 2016-06-14 Jason Frank Hunzinger Methods and apparatus for spiking neural computation
CN103116354B (zh) 2013-01-30 2015-10-28 同济大学 一种双足机器人实时步态轨迹生成方法
US9463571B2 (en) * 2013-11-01 2016-10-11 Brian Corporation Apparatus and methods for online training of robots
US9460382B2 (en) * 2013-12-23 2016-10-04 Qualcomm Incorporated Neural watchdog
US20150242742A1 (en) 2014-02-21 2015-08-27 Qualcomm Incorporated Imbalanced cross-inhibitory mechanism for spatial target selection

Also Published As

Publication number Publication date
EP3108413A2 (en) 2016-12-28
CN106796667B (zh) 2019-12-13
US10552734B2 (en) 2020-02-04
WO2015127130A3 (en) 2015-12-10
US20150242746A1 (en) 2015-08-27
JP2017509980A (ja) 2017-04-06
CN106796667A (zh) 2017-05-31
WO2015127130A2 (en) 2015-08-27

Similar Documents

Publication Publication Date Title
US10339447B2 (en) Configuring sparse neuronal networks
TW201539334A (zh) 動態空間目標選擇
TWI585695B (zh) 用於定義多個神經元的動態的方法、設備及電腦可讀取媒體
US9558442B2 (en) Monitoring neural networks with shadow networks
TW201541374A (zh) 用於隨機尖峰貝氏網路的基於事件的推斷和學習
TW201602807A (zh) Ｃｏｌｄ神經元尖峰時序反向傳播
TW201541372A (zh) 使用尖峰發放神經元的人工神經網路和感知器學習
TW201539335A (zh) 實現神經網路處理器
TW201602923A (zh) 使用尖峰發放神經網路對大序列的概率性表示
TW201602924A (zh) 在尖峰神經網路中藉由全域標量值來調制可塑性
TWI550530B (zh) 用於產生尖峰定時依賴可塑性曲線的緊湊表示的方法、設備、電腦可讀取媒體及電腦程式產品
TW201533668A (zh) 基於突觸前尖峰的短期突觸記憶
KR20160076531A (ko) 다차원 범위에 걸쳐 분리가능한 서브 시스템들을 포함하는 시스템의 평가
JP6133517B2 (ja) 座標変換のための位相コーディング
US20150262061A1 (en) Contextual real-time feedback for neuromorphic model development
TW201541373A (zh) 用於空間目標選擇的失衡式交叉抑制性機制
TW201537475A (zh) 藉由對突觸後電位進行整形來實現的等效延遲