TW201531967A - 因果凸顯性時間推斷 - Google Patents

因果凸顯性時間推斷 Download PDF

Info

Publication number
TW201531967A
TW201531967A TW103136336A TW103136336A TW201531967A TW 201531967 A TW201531967 A TW 201531967A TW 103136336 A TW103136336 A TW 103136336A TW 103136336 A TW103136336 A TW 103136336A TW 201531967 A TW201531967 A TW 201531967A
Authority
TW
Taiwan
Prior art keywords
events
event
time
causal
learning
Prior art date
Application number
TW103136336A
Other languages
English (en)
Inventor
Jason Hunzinger
Thomas Jiaqian Zheng
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201531967A publication Critical patent/TW201531967A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Neurology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

提供了用於因果學習的方法和裝置，其中至少部分地基於因果凸顯性來決定事件的邏輯原因。一種用於因果學習的示例方法一般包括用裝置觀察一或多個事件，其中事件被定義為特定相對時間處的發生；基於一或多個準則來選擇該等事件的子集；及基於所選子集來決定該等事件中的至少一個事件的邏輯原因。

Description

因果凸顯性時間推斷 【根據專利法的優先權主張】
本專利申請案主張於2013年10月29日提出申請的美國臨時專利申請案S/N.61/897,024及於2014年1月21日提出申請的美國專利申請案S/N.14/160,128的權益，這兩篇申請的全部內容經由援引納入於此。
本案的某些態樣一般係關於學習系統(例如，人工神經系統)，尤其係關於使用因果凸顯性來決定事件的邏輯原因。
可包括一群互連的人工神經元(即神經元模型)的人工神經網路是一種計算設備或者表示將由計算設備執行的方法。人工神經網路可具有生物學神經網路中的對應結構及/或功能。然而，人工神經網路可為其中傳統計算技術是麻煩的、不切實際的、或不勝任的某些應用提供創新且有用的計算技術。由於人工神經網路能從觀察中推斷出功能，因此此類網路在其中任務或資料的複雜度使得經由習知技術來設計該功能較為麻煩的應用中是特別有用的。
一種類型的人工神經網路是尖峰(spiking)神經網路，其將時間概念以及神經元狀態和突觸狀態納入到其工作模型中，由此提供了豐富的行為集，在神經網路中能從該行為集湧現出計算功能。尖峰神經網路基於以下概念：神經元基於該神經元的狀態在一或多個特定的時間激發或「發放尖峰」，並且該時間對於神經元功能而言是重要的。當神經元激發時，它產生一尖峰，該尖峰行進至其他神經元，這些其他神經元繼而可基於接收到該尖峰的時間來調整它們的狀態。換言之，資訊可被編碼在神經網路中的尖峰的相對或絕對定時中。
本案的某些態樣一般涉及經由使用因果凸顯性來決定事件的邏輯原因的推斷學習。
本案的某些態樣提供了用於因果學習的方法。該方法一般包括用裝置觀察一或多個事件，其中事件被定義為特定相對時間處的發生；基於一或多個準則來選擇這些事件的子集；及基於所選子集來決定這些事件中的至少一個事件的邏輯原因。
本案的某些態樣提供了用於因果學習的裝置。該裝置一般包括處理系統和耦合至該處理系統的記憶體。該處理系統通常被配置成觀察一或多個事件，事件被定義為特定相對時間處的發生；基於一或多個準則來選擇這些事件的子集；及基於所選子集來決定至少一個事件的邏輯原因。
本案的某些態樣提供了用於因果學習的設備。該設 備一般包括用於觀察一或多個事件的裝置，事件被定義為特定相對時間處的發生；用於基於一或多個準則來選擇這些事件的子集的裝置；及用於基於所選子集來決定至少一個事件的邏輯原因的裝置。
本案的某些態樣提供了用於因果學習的電腦程式產品。該電腦程式產品一般包括具有代碼的非瞬態電腦可讀取媒體(例如，存放裝置)，該代碼用於觀察一或多個事件，事件被定義為特定相對時間處的發生；用於基於一或多個準則來選擇這些事件的子集；及用於基於所選子集來決定至少一個事件的邏輯原因。
100‧‧‧神經系統
102‧‧‧神經元級
104‧‧‧突觸連接網路
106‧‧‧神經元
1081‧‧‧輸入信號
1082‧‧‧輸入信號
108N‧‧‧輸入信號
110‧‧‧輸出尖峰
1101‧‧‧輸出尖峰
1102‧‧‧輸出尖峰
110M‧‧‧輸出尖峰
200‧‧‧示例
202‧‧‧神經元
2041‧‧‧記憶體塊
204i‧‧‧記憶體塊
204N‧‧‧記憶體塊
2061‧‧‧突觸權重
206i‧‧‧突觸權重
206N‧‧‧突觸權重
208‧‧‧輸出信號
300‧‧‧曲線圖
302‧‧‧曲線圖的部分
304‧‧‧曲線圖的部分
306‧‧‧交越點
402‧‧‧負態相
404‧‧‧正態相
500‧‧‧上方示圖
510‧‧‧底部示圖
600‧‧‧標繪
610‧‧‧示圖
700‧‧‧學習程序
710‧‧‧方塊
720‧‧‧方塊
730‧‧‧方塊
740‧‧‧方塊
800‧‧‧相關時間關係圖
810‧‧‧邏輯時間關係圖
812‧‧‧邏輯表達
900‧‧‧成對相關映射
902‧‧‧事件
1000‧‧‧因果凸顯性因果推斷學習模型
1002‧‧‧因果凸顯性功能
1003‧‧‧用於選擇事件子集的事件選擇功能
1004‧‧‧相關時間關係長期記憶體
1006‧‧‧邏輯時間關係長期記憶體
1008‧‧‧因果推斷功能
1012‧‧‧引導功能
1100‧‧‧操作
1100A‧‧‧裝置
1102‧‧‧方塊
1102A‧‧‧裝置
1104‧‧‧方塊
1104A‧‧‧裝置
1106‧‧‧方塊
1106A‧‧‧裝置
1200‧‧‧方塊圖
1202‧‧‧通用處理器
1204‧‧‧記憶體塊
1206‧‧‧程式記憶體
1300‧‧‧方塊圖
1302‧‧‧記憶體
1304‧‧‧互連網路
1306‧‧‧個體(分散式)處理單元(神經處理器)
1400‧‧‧方塊圖
1402‧‧‧分散式權重記憶體
1404‧‧‧分散式處理單元(神經處理器)
1500‧‧‧神經網路
1502‧‧‧局部處理單元
1504‧‧‧局部狀態記憶體
1506‧‧‧局部參數記憶體
1508‧‧‧局部(神經元)模型程式的記憶體
1510‧‧‧具有局部學習程式的記憶體
1512‧‧‧局部連接記憶體
1514‧‧‧用於配置處理的單元
1516‧‧‧路由連接處理元件
為了能詳細理解本案的以上陳述的特徵所用的方式，可參照各態樣來對以上簡要概述的內容進行更具體的描述，其中一些態樣在附圖中圖示。然而應注意，附圖僅圖示了本案的某些典型態樣，故不應被認為限定其範疇，因為本描述可允許有其他等同有效的態樣。
圖1圖示了根據本案的某些態樣的示例神經元網路。
圖2圖示了根據本案的某些態樣的計算網路(神經系統或神經網路)的示例處理單元(神經元)。
圖3圖示了根據本案的某些態樣的示例尖峰定時依賴可塑性(STDP)曲線。
圖4是根據本案的某些態樣的人工神經元的狀態的示例圖形，其圖示了用於定義神經元的行為的正態相和負態相。
圖5圖示了根據本案的某些態樣的對預測性關係推斷的兩種不同觀點。
圖6圖示了根據本案的某些態樣的相比於其他保留事件在相對時間尺度上相關的事件。
圖7圖示了根據本案的某些態樣的使用因果凸顯性的示例學習方法。
圖8圖示了根據本案的某些態樣的相關和邏輯因果性形式。
圖9圖示了根據本案的某些態樣的經由引導相關時間關係來決定邏輯表達。
圖10是根據本案的某些態樣的示例因果凸顯性因果推斷學習模型的方塊圖。
圖11是根據本案的某些態樣的用於因果學習的示例操作的流程圖。
圖11A圖示了能夠執行圖11中示出的各操作的示例裝置。
圖12圖示了根據本案的某些態樣的使用通用處理器進行因果學習的示例實現。
圖13圖示了根據本案的某些態樣的用於因果學習的示例實現，其中記憶體可與個體分散式處理單元對接。
圖14圖示了根據本案的某些態樣的基於分散式記憶體和分散式處理單元進行因果學習的示例實現。
圖15圖示了根據本案的某些態樣的神經網路的示例實現。
以下參照附圖更全面地描述本案的各個態樣。然而，本案可用許多不同形式來實施並且不應解釋為被限定於本案通篇提供的任何具體結構或功能。確切而言，提供這些態樣是為了使得本案將是透徹和完整的，並且其將向熟習此項技術者完全傳達本案的範疇。基於本文中的教導，熟習此項技術者應領會，本案的範疇旨在覆蓋本文中所揭示的本案的任何態樣，不論其是與本案的任何其他態樣相獨立地還是組合地實現的。例如，可以使用本文所闡述的任何數目的態樣來實現裝置或實踐方法。另外，本案的範疇旨在覆蓋使用作為本文中所闡述的本案的各種態樣的補充或者另外的其他結構、功能性、或者結構及功能性來實踐的此類裝置或方法。應當理解，本文中所揭示的本案的任何態樣可由請求項的一或多個元素來實施。
措辭「示例性」在本文中用於表示「用作示例、實例或圖示」。本文中描述為「示例性」的任何態樣不必被解釋為優於或勝過其他態樣。
儘管本文描述了特定態樣，但該等態樣的眾多變體和置換落在本案的範疇之內。雖然提到了優選態樣的一些益處和優點，但本案的範疇並非旨在被限定於特定益處、用途或目標。相反，本案的各態樣旨在能寬泛地應用於不同的技術、系統組態、網路和協定，其中一些作為示例在附圖以及以下對優選態樣的描述中圖示。該詳細描述和附圖僅僅圖示本案而非限定本案，本案的範疇由所附請求項及其等效技術 方案來定義。
示例神經系統
圖1圖示根據本案的某些態樣的具有多級神經元的示例神經系統100。神經系統100可包括神經元級102，該級神經元102經由突觸連接網路104(亦即，前饋連接)來連接到另一級神經元106。為簡單起見，圖1中僅圖示了兩級神經元，但在典型的神經系統中可存在更少或更多級神經元。應注意，一些神經元可經由側向連接來連接至同一層中的其他神經元。此外，一些神經元可經由回饋連接來後向連接至先前層中的神經元。
如圖1所圖示的，級102中的每一神經元可接收輸入信號108，輸入信號108可以是由前一級(圖1中未圖示)的複數個神經元所產生的。信號108可表示級102的神經元的輸入(例如，輸入電流)。此類輸入可在神經元膜上累積以對膜電位進行充電。當膜電位達到其閾值時，該神經元可激發並產生輸出尖峰，該輸出尖峰將被傳遞到下一級神經元(例如，級106)。此類行為可在硬體及/或軟體(包括類比和數位實現)中進行模擬或模擬。
在生物學神經元中，在神經元激發時產生的輸出尖峰被稱為動作電位。該電信號是相對迅速、瞬態、全有或全無的神經脈衝，其具有約為100mV的振幅和約為1ms的歷時。在具有一系列連通的神經元(例如，尖峰從圖1中的一級神經元傳遞至另一極)的神經系統的特定態樣，每個動作電位皆具有基本上相同的振幅和歷時，因此該信號中的資訊僅由 尖峰的頻率和數目(或尖峰的時間)來表示，而不由振幅來表示。由動作電位攜帶的資訊由尖峰、發放尖峰的神經元、以及該尖峰相對於一或多個其他尖峰的時間來決定。
尖峰從一級神經元向另一級神經元的傳遞可經由突觸連接(或簡稱「突觸」)網路104來達成，如圖1所圖示的。突觸104可從級102的神經元(相對於突觸104而言的突觸前神經元)接收輸出信號(即尖峰)。對於某些態樣，這些信號可根據可調節突觸權重、...、(其中P是級102和106的神經元之間的突觸連接的總數)來按比例縮放。對於其他態樣，突觸104可以不應用任何突觸權重。此外，(經比例縮放的)信號可被組合以作為級106中每個神經元(相對於突觸104而言的突觸後神經元)的輸入信號。級106之每一者神經元可基於對應的組合輸入信號來產生輸出尖峰110。隨後可使用另一突觸連接網路(圖1中未圖示)將這些輸出尖峰110傳遞到另一級神經元。
生物學突觸可被分類為電的或化學的。雖然電突觸主要用於發送興奮性信號，但化學突觸可調停突觸後神經元中的興奮性或抑制性(超極化)動作，並且亦可用於放大神經元信號。興奮性信號通常使膜電位去極化(亦即，相對於靜息電位增大膜電位)。若在某個時段內接收到足夠的興奮性信號以使膜電位去極化到高於閾值，則在突觸後神經元中發生動作電位。相反，抑制性信號一般使膜電位超極化(亦即，降低膜電位)。抑制性信號若足夠強則可抵消掉興奮性信號之和並阻止膜電位到達閾值。除了抵消掉突觸興奮以外 ，突觸抑制亦可對自發活動神經元施加強力的控制。自發活動神經元是指在沒有進一步輸入的情況下(例如，由於其動態特性或回饋而)發放尖峰的神經元。經由壓制這些神經元中的動作電位的自發產生，突觸抑制可對神經元中的激發模式進行整形，這一般被稱為雕刻。取決於期望的行為，各種突觸104可充當興奮性或抑制性突觸的任何組合。
神經系統100可經由通用處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)或其他可程式設計邏輯裝置(PLD)、個別閘或電晶體邏輯、個別的硬體元件、由處理器執行的軟體模組、或其任何組合來模擬。神經系統100可用在大範圍的應用中，諸如影像和模式辨識、機器學習、電機控制等。神經系統100之每一者神經元(或神經元模型)皆可以被實現為神經元電路。被充電至發起輸出尖峰的閾值的神經元膜可被實現為例如對流經其的電流進行積分的電容器。
在一態樣，電容器作為神經元電路的電流積分裝置可被除去，並且可使用較小的憶阻器元件來替代它。這種辦法可應用於神經元電路中，以及其中大容量電容器被用作電流積分器的各種其他應用中。另外，每個突觸104可基於憶阻器元件來實現，其中突觸權重改變可與憶阻器電阻的變化有關。使用奈米特徵尺寸的憶阻器，可顯著地減小神經元電路和突觸的面積，這可使得實現超大規模神經系統硬體實現變得可行。
對神經系統100進行模擬的神經處理器的功能性可 取決於突觸連接的權重，這些權重可控制神經元之間的連接的強度。突觸權重可儲存在非揮發性記憶體中以在掉電之後保留該處理器的功能性。在一態樣，突觸權重記憶體可實現在與主神經處理器晶片分開的外部晶片上。突觸權重記憶體可與神經處理器晶片分開地封裝成可更換的儲存卡。這可向神經處理器提供多種多樣的功能性，其中特定功能性可基於當前附連至神經處理器的儲存卡中所儲存的突觸權重。
圖2圖示了根據本案的某些態樣的計算網路(例如，神經系統或神經網路)的處理單元(例如，人工神經元202)的示例200。例如，神經元202可對應於來自圖1的級102和106的任一個神經元。神經元202可接收多個輸入信號2041-204 N (x 1-x N )，這些輸入信號可以是該神經系統外部的信號、或是由同一神經系統的其他神經元所產生的信號、或這兩者。輸入信號可以是實數值或複數值的電流或電壓。輸入信號可包括具有定點或浮點表示的數值。可經由突觸連接將這些輸入信號遞送到神經元202，這些突觸連接根據可調節突觸權重2061-206N(w 1-w N )對這些信號按比例縮放，其中N可以是神經元202的輸入連接的總數。
神經元202可組合這些經比例縮放的輸入信號，並且使用組合的經比例縮放的輸入來產生輸出信號208(亦即，信號y)。輸出信號208可以是實數值或複數值的電流或電壓。輸出信號可包括具有定點或浮點表示的數值。隨後該輸出信號208可作為輸入信號傳遞至同一神經系統的其他神經元、或作為輸入信號傳遞至同一神經元202、或作為該神經系統的輸 出傳遞。
處理單元(神經元202)可由電路來模擬，並且其輸入和輸出連接可由具有突觸電路的導線來模擬。處理單元、其輸入和輸出連接亦可由軟體代碼來模擬。處理單元亦可由電子電路來模擬，而其輸入和輸出連接可由軟體代碼來模擬。在一態樣，計算網路中的處理單元可包括類比電路。在另一態樣，處理單元可包括數位電路。在又一態樣，處理單元可包括具有類比和數位元件兩者的混合信號電路。計算網路可包括任何前述形式的處理單元。使用此類處理單元的計算網路(神經系統或神經網路)可用在大範圍的應用中，諸如影像和模式辨識、機器學習、電機控制等。
在神經網路的訓練程序期間，突觸權重(例如，來自圖1的權重、...、及/或來自圖2的權重2061-206N)可用隨機值來初始化並根據學習規則而增大或減小。學習規則的一些示例是尖峰定時依賴型可塑性(STDP)學習規則、Hebb規則、Oja規則、Bienenstock-Copper-Munro(BCM)規則等。很多時候，這些權重可穩定至兩個值(亦即，權重的雙峰分佈)之一。可利用該效應來減少每突觸權重的位數、提高從/向儲存突觸權重的記憶體讀寫的速度、以及降低突觸記憶體的功耗。
突觸類型
在神經網路的硬體和軟體模型中，突觸相關功能的處理可基於突觸類型。突觸類型可包括非可塑突觸(權重和延遲沒有改變)、可塑突觸(權重可改變)、結構化延遲可 塑突觸(權重和延遲可改變)、全可塑突觸(權重、延遲和連通性可改變)、以及基於此的變型(例如，延遲可改變，但在權重或連通性態樣沒有改變)。此舉的優點在於處理可以被細分。例如，非可塑突觸不會要求執行可塑性功能(或等待此類功能完成)。類似地，延遲和權重可塑性可被細分成可一起或分開地、順序地或並行地運作的操作。不同類型的突觸對於所應用的每一種不同的可塑性類型可具有不同的查閱資料表或公式以及參數。因此，這些方法將針對該突觸的類型來存取相關的表。
亦進一步牽涉到以下事實：尖峰定時依賴型結構化可塑性可獨立於突觸可塑性而執行。結構化可塑性即使在權重幅值沒有改變的情況下(例如，若權重已達最小或最大值、或者其由於某種其他原因而不改變)亦可執行，因為結構化可塑性(亦即，延遲改變的量)可以是前-後尖峰時間差的直接函數。替換地，結構化可塑性可被設為權重改變量的函數或者可基於與權重或權重改變的界限有關的條件來設置。例如，突觸延遲可僅在權重改變發生時或者在權重達到0的情況下才改變，而在權重達到最大極限時不改變。然而，具有獨立函數以使得這些程序能被並行化從而減少記憶體存取的次數和交疊可能是有利的。
突觸可塑性的決定
神經元可塑性(或簡稱「可塑性」)是大腦中的神經元和神經網路回應於新的資訊、感官刺激、成長、損壞、或機能障礙而改變其突觸連接和行為的能力。可塑性對於生 物學中的學習和記憶、以及對於計算神經元科學和神經網路是重要的。已經研究了各種形式的可塑性，諸如突觸可塑性(例如，根據赫布理論)、尖峰定時依賴可塑性(STDP)、非突觸可塑性、活動性依賴可塑性、結構化可塑性和自身穩態可塑性。
STDP是調節神經元(諸如大腦中的神經元)之間的突觸連接的強度的學習程序。連接強度是基於特定神經元的輸出與收到輸入尖峰(亦即，動作電位)的相對定時來調節的。在STDP程序下，若至某個神經元的輸入尖峰在平均上傾向於緊接在該神經元的輸出尖峰之前發生，則可發生長期增強(LTP)。於是使得該特定輸入在一定程度上更強。相反，若輸入尖峰在平均上傾向於緊接在輸出尖峰之後發生，則可發生長期抑壓(LTD)。於是使得該特定輸入在一定程度上更弱，並由此得名為「尖峰定時依賴可塑性」。因此，使得可能是突觸後神經元興奮原因的輸入甚至更有可能在將來作出貢獻，而使得不是突觸後尖峰的原因的輸入較不可能在將來作出貢獻。該程序繼續，直至初始連接集的子集保留，而所有其他連接的影響減輕至0或接近0。
由於神經元一般在其許多輸入皆在一短時段內發生(亦即，充分地累積以引起輸出)時產生輸出尖峰，因此通常保留下來的輸入子集包括傾向於在時間上相關的那些輸入。另外，由於在輸出尖峰之前發生的輸入被加強，因此提供對相關性的最早充分累積指示的輸入將最終變成至該神經元的最後輸入。
STDP學習規則可因變於突觸前神經元的尖峰時間t pre 與突觸後神經元的尖峰時間t post 之間的時間差(亦即，t=t post -t pre )來有效地適配將該突觸前神經元連接到該突觸後神經元的突觸的突觸權重。STDP的典型公式是若該時間差為正(突觸前神經元在突觸後神經元之前激發)則增大突觸權重(亦即，增強該突觸)，以及若該時間差為負(突觸後神經元在突觸前神經元之前激發)則減小突觸權重(亦即，抑壓該突觸)。
在STDP程序中，突觸權重隨時間推移的改變可通常使用指數衰退來達成，如由下式提供的： 其中k +和k -分別是針對正和負時間差的時間常數，a +和a -是對應的比例縮放幅值，以及μ是可應用於正時間差及/或負時間差的偏移。
圖3圖示了根據STDP，突觸權重因變於突觸前(pre)和突觸後(post)尖峰的相對定時而改變的示例曲線圖300。若突觸前神經元在突觸後神經元之前激發，則可使對應的突觸權重增大，如曲線圖300的部分302中所圖示的。該權重增大可被稱為突觸的LTP。從曲線圖部分302可觀察到，LTP的量可因變於突觸前和突觸後尖峰時間之差而大致呈指數地下降。相反的激發次序可減小突觸權重，如曲線圖300的部分304中所圖示的，從而導致突觸的LTD。
如圖3中的圖300中所圖示的，可向STDP圖的LTP( 因果性)部分302應用負偏移μ。x軸的交越點306(y=0)可被配置成與最大時間滯後相重合以考慮到來自層i-1(突觸前層)的各因果性輸入的相關性。在基於訊框的輸入(亦即，輸入是包括尖峰或脈衝的特定歷時的訊框的形式)的情形中，可計算偏移值μ以反映訊框邊界。該訊框中的第一輸入尖峰(脈衝)可被視為隨時間衰退，要麼如直接由突觸後電位所建模地、要麼以對神經狀態的影響的形式而隨時間衰退。若該訊框中的第二輸入尖峰(脈衝)被視為與特定的時間訊框關聯或相關，則該訊框之前和之後的相關時間可經由偏移STDP曲線的一或多個部分以使得相關時間中的值可以不同(例如，對於大於一個訊框為負，而對於小於一個訊框為正)來在該時間訊框邊界處被分開並在可塑性方面被不同地對待。例如，負偏移μ可被設為偏移LTP以使得曲線實際上在大於訊框時間的前一後時間處變得低於零並且它由此為LTD而非LTP的一部分。
神經元模型及操作
存在一些用於設計有用的尖峰神經元模型的一般原理。良好的神經元模型在以下兩個計算態相(regime)態樣可具有豐富的潛在行為：一致性偵測和功能計算。此外，良好的神經元模型應當具有允許時間編碼的兩個要素：輸入的抵達時間影響輸出時間以及一致性偵測能具有窄時間窗。最後，為了在計算上是有吸引力的，良好的神經元模型在連續時間上可具有封閉形式解，並且具有穩定的行為，包括在靠近吸引子和鞍點之處。換言之，有用的神經元模型是可實踐且 可被用於建模豐富的、現實的且生物學一致的行為並且可被用於對神經電路進行工程設計和反向工程兩者的神經元模型。
神經元模型可取決於事件，諸如輸入抵達、輸出尖峰或其他事件，無論這些事件是內部的還是外部的。為了達成豐富的行為技能集合，能展現複雜行為的狀態機可能是期望的。若事件本身的發生在撇開輸入貢獻(若有)的情況下能影響狀態機並約束在該事件之後的動態，則該系統的將來狀態並非僅是狀態和輸入的函數，而是狀態、事件和輸入的函數。
在一態樣，神經元n可被建模為尖峰帶洩漏積分激發(LIF)神經元，其膜電壓v n (t)由以下動態來支配： 其中α和β是參數，w m,n 是將突觸前神經元m連接至突觸後神經元n的突觸的突觸權重，而y m (t)是神經元m的尖峰輸出，其可根據△t m,n 被延遲達樹突或軸突延遲直到抵達神經元n的胞體。
應注意，從建立了對突觸後神經元的充分輸入的時間直至突觸後神經元實際上激發的時間之間存在延遲。在動態尖峰神經元模型(諸如Izhikevich簡單模型)中，若在去極化閾值v t 與峰值尖峰電壓v peak 之間有差量，則可引發時間延遲。例如，在該簡單模型中，神經元胞體動態可由關於電壓和恢復的微分方程對來支配，即：
其中v是膜電位，u是膜恢復變數，k是描述膜電位v的時間尺度的參數，a是描述恢復變數u的時間尺度的參數，b是描述恢復變數u對膜電位v的閾下波動的敏感度的參數，v r 是膜靜息電位，I是突觸電流，而C是膜的電容。根據該模型，神經元被定義為在v>v peak 時產生尖峰。
Hunzinger Cold模型
Hunzinger Cold神經元模型是能再現豐富多樣的各種神經行為的最小雙態相尖峰線性動態模型。該模型的一維或二維線性動態可具有兩個態相，其中時間常數(以及耦合)可取決於態相。在閾下態相中，時間常數(按照慣例為負)表示洩漏通道動態，其一般作用於以生物學一致的線性方式使細胞返回到靜息。閾上態相中的時間常數(按照慣例為正)反映抗洩漏通道動態，其一般驅動細胞發放尖峰，而同時在尖峰產生中引發等待時間。
如圖4中所示，該模型的動態可被劃分成兩個(或更多個)態相。這些態相可被稱為負態相402(亦可互換地稱為帶洩漏積分激發(LIF)態相，勿與LIF神經元模型混淆)以及正態相404(亦可互換地稱為抗洩漏積分激發(ALIF)態相，勿與ALIF神經元模型混淆)。在負態相402中，狀態在將來事件的時間趨向於靜息(v -)。在該負態相中，該模型一般展現出時間輸入偵測性質及其他閾下行為。在正態相404中，狀 態趨向於尖峰發放事件(v s )。在該正態相中，該模型展現出計算性質，諸如取決於後續輸入事件而引發發放尖峰的等待時間。在事件態樣對動態進行公式化以及將動態分成這兩個態相是該模型的基礎特性。
線性雙態相二維動態(對於狀態v和u)可按照慣例定義為：
其中q ρ 和r是用於耦合的線性變換變數。
符號ρ在本文中用於標示動態態相，在討論或表達具體態相的關係時，按照慣例對於負態相和正態相分別用符號「-」或「+」來替換符號ρ。
模型狀態經由膜電位(電壓)v和恢復電流u來定義。在基本形式中，態相在本質上是由模型狀態來決定的。該精確和通用的定義存在一些細微卻重要的態樣，但目前考慮該模型在電壓v高於閾值(v +)的情況下處於正態相404中，否則處於負態相402中。
態相依賴型時間常數包括負態相時間常數τ -和正態相時間常數τ +。恢復電流時間常數τ u 通常是與態相無關的。出於方便起見，負態相時間常數τ -通常被指定為反映衰退的負量，從而用於電壓演變的相同運算式可用於正態相，在正態相中指數和τ +將一般為正，正如τ u 那樣。
這兩個狀態元素的動態可在發生事件之際經由使狀態偏離其零傾線(null-cline)的變換來耦合，其中變換變數 為：q ρ =-τ ρ βu-v ρ (7)
r=δ(v+ε) (8)
其中δ、ε、β和v -、v +是參數。v ρ 的兩個值是這兩個態相的參考電壓的基數。參數v -是負態相的基電壓，並且膜電位在負態相中一般將朝向v -衰退。參數v +是正態相的基電壓，並且膜電位在正態相中一般將趨向於背離v +。
v和u的零傾線分別由變換變數q ρ 和r的負數提供。參數δ是控制u零傾線的斜率的比例縮放因數。參數ε通常被設為等於-v -。參數β是控制這兩個態相中的v零傾線的斜率的電阻值。τ ρ 時間常數參數不僅控制指數衰退，亦單獨地控制每個態相中的零傾線斜率。
該模型被定義為在電壓v達值v S 時發放尖峰。隨後，狀態通常在發生重定事件(其在技術上可以與尖峰事件完全相同)之際被復位：
u=u+△u (10)
其中和△u是參數。重定電壓通常被設為v -。
依照暫態耦合的原理，封閉形式解不僅對於狀態是可能的(且具有單個指數項)，而且對於到達特定狀態所需的時間亦是可能的。封閉形式狀態解為：
因此，模型狀態可僅在發生事件之際被更新，諸如基於輸入(突觸前尖峰)或輸出(突觸後尖峰)而被更新。亦可在任何特定的時間(無論是否有輸入或輸出)執行操作。
而且，依照暫態耦合原理，可以預計突觸後尖峰的時間，因此到達特定狀態的時間可提前被決定而無需反覆運算技術或數值方法(例如，歐拉數值方法)。給定了先前電壓狀態v 0，直至到達電壓狀態v f 之前的時間延遲由下式提供：
若尖峰被定義為發生在電壓狀態v到達v S 的時間，則從電壓處於給定狀態v的時間起量測的直至發生尖峰前的時間量或即相對延遲的封閉形式解為：
其中通常被設為參數v +，但其他變型可以是可能的 。
模型動態的以上定義取決於該模型是在正態相還是負態相中。如所提及的，耦合和態相ρ可基於事件來計算。出於狀態傳播的目的，態相和耦合(變換)變數可基於在上一個(先前)事件的時間的狀態來定義。出於隨後預計尖峰輸出時間的目的，態相和耦合變數可基於在下一個(當前)事件的時間的狀態來定義。
存在對該Cold模型、以及在時間上執行類比、模擬 、或模型的若干可能實現。這包括例如事件-更新、步點-事件更新、以及步點-更新模式。事件更新是其中基於事件或「事件更新」(在特定時刻)來更新狀態的更新。步點更新是以間隔(例如，1ms)來更新模型的更新。這不一定要求反覆運算方法或數值方法。經由僅在事件發生於步點處或步點間的情況下才更新模型或即經由「步點-事件」更新，基於事件的實現以有限的時間解析度在基於步點的模擬器中亦是可能的。
神經編碼
有用的神經網路模型(諸如由圖1的人工神經元102、106組成的神經網路模型)可經由各種合適的神經編碼方案(諸如一致性編碼、時間編碼或速率編碼)中的任一種來編碼資訊。在一致性編碼中，資訊被編碼在神經元集群的動作電位(尖峰發放活動性)的一致性(或時間鄰近性)中。在時間編碼中，神經元經由對動作電位(亦即，尖峰)的精決定時(無論是以絕對時間還是相對時間)來編碼資訊。資訊由此可被編碼在一群神經元間的相對尖峰定時中。相反，速率編碼涉及將神經資訊編碼在激發率或集群激發率中。
若神經元模型能執行時間編碼，則其亦能執行速率編碼(因為速率正好是定時或尖峰間間隔的函數)。為了提供時間編碼，良好的神經元模型應當具有兩個要素：(1)輸入的抵達時間影響輸出時間；及(2)一致性偵測能具有窄時間窗。連接延遲提供了將一致性偵測擴展到時間模式解碼的一種手段，因為經由合適地延遲時間模式的元素，可使這些元素 達成定時一致性。
抵達時間
在良好的神經元模型中，輸入的抵達時間應當對輸出時間有影響。突觸輸入--無論是狄拉克△函數還是經整形的突觸後電位(PSP)、無論是興奮性的(EPSP)還是抑制性的(IPSP)--具有抵達時間(例如，△函數的時間或者階躍或其他輸入函數的開始或峰值的時間)，其可被稱為輸入時間。神經元輸出(亦即，尖峰)具有發生時間(無論其是在何處(例如在胞體處、在沿軸突的一點處、或在軸突末端處)量測的)，其可被稱為輸出時間。該輸出時間可以是尖峰的峰值時間、尖峰的開始、或與輸出波形有關的任何其他時間。普適原理是輸出時間取決於輸入時間。
乍看起來可能認為所有神經元模型皆遵循該原理，但一般並不是這樣。例如，基於速率的模型不具有此特徵。許多尖峰模型一般亦並不遵循這一點。帶洩漏積分激發(LIF)模型在有額外輸入(超過閾值)的情況下並不會更快一點地激發。此外，在以非常高的定時解析度來建模的情況下或許遵循這一點的模型在定時解析度受限(諸如限於1ms步長)時通常將不會遵循這一點。
輸入
神經元模型的輸入可包括狄拉克△函數，諸如電流形式的輸入、或基於電導率的輸入。在後一種情形中，對神經元狀態的貢獻可以是連續的或狀態依賴型的。
示例因果凸顯性因果推斷學習
針對用於學習因果推斷的系統的典型辦法具有以下局限性中的一或多個。第一，關係在形式上限於從事件A到事件B的因果性的成對度量(例如，植物在有陽光的情況下更可能生長)。這些度量因此是受限的且通常是統計性的，即使有很少或沒有隨機性。第二，關係在時間上任意地受限，諸如由時間軌跡限制，時間軌跡通常假定因果性具有有限的時間範圍且事件僅僅由於時間鄰近性而更加是因果相關的。甚至在該假定可能成立的情形中，時間跨度仍是系統參數而不被學習。第三，關係組合具有有限的可縮放性，這部分地是以上問題的結果。隨著事件數目的增加和時間範圍的增加，事件組合的數目變得難以控制。
本案的某些態樣經由以下的組合來克服以上所有問題：區分事件的時間、推斷最早原因、以及決定邏輯原因(而非僅成對原因)，同時提供能夠經由採用因果凸顯性概念來使用有限的工作記憶體的可縮放框架。本案的某些態樣可應用於人工神經系統中的學習。然而，本案的各態樣對於任何合適的學習系統皆是有效的。
因果推斷的圖形方法通常涉及表示概念事件的節點的圖形。每個節點(頂點)由定向邊連接至每一其他節點。若存在N個可能事件(由N個節點表示)，則存在2N 2條有向邊。每條邊具有相關聯的因果度量(例如，Granger因果性量測)，其反映認為源節點(原因)與目的地節點因果地相關的程度。因果推斷方法(一種類型的歸納推理)通常被用於學習因果度量。然而，這些度量取決於事件之間的時間關係， 並且在通常情況下，僅針對預定時間(例如，基於某個時間軌跡或效力衰退)來考慮事件之間的因果關係。否則，事件對的組合的數目變得難以控制。但這限制了因果度量的意義。
通常情況下，過往事件的重要性是由按特定的預定時間常數衰退的值來決定的。作為結果，因果性度量混淆了(亦即，使得難以區分)因果性與時間鄰近性。目前，可以肯定地添加針對不同時間跨度的邊，但只有無窮數量才能計及所有時間差異。若衰退相關性的概念保留，則可考慮有限數量的時間跨度，每個時間跨度具有不同的時間常數，這可能仍會模糊因果性與時間鄰近性之間的區別，僅是有不同的模糊量且以每個時間跨度多出2N 2條邊為代價。
此外，因果性的典型度量(諸如Granger因果性)是統計量測。基本上，一個事件若提供關於將來事件發生的在統計上顯著的資訊則被認為以Granger方式導致該將來事件。然而，一般而言，將來效果存在多種原因(例如，植物在有陽光和水、但無害蟲的情況下生長)。每個因素在統計上(忽略所有其他因素)作出貢獻，但那些統計沒有計及人類隨便哪天都容易作出的基本的決定性邏輯推斷。事實上，在觀測中可能完全沒有隨機性。在兩個節點之間僅在給定方向上有一條邊的情況下，不可能捕捉到一般的邏輯關係。目前，可針對所有邏輯關係組合肯定地添加邊。每個邏輯關係可取決於最多達N個節點，並且要考慮這些源的2N數量級的可能邏輯組合(陽光和水、陽光但無水……)，其中每個組合有兩 種可能結果。這將在該圖形(不再是邊，因為它們具有多個源節點)中指示N 22 N+1數量級的「邊」。
概括而言，先前方法的問題是多重的：缺乏可縮放性，缺乏區分因果性與時間鄰近性的能力，以及缺乏作出決定性或邏輯推斷(不同於成對的統計推斷)的能力。因此，需要用於人工推斷學習的改進方法。
本案的某些態樣經由對因果推斷任務採取從根本上不同的辦法來克服前述問題。首先，本案的某些態樣僅考慮相對較小的事件子集來進行可能的邏輯因果推斷。某些態樣的重要元素是選擇要考慮哪些事件的方法。此外，本案的某些態樣認為提供關於另一事件的在統計上顯著的資訊的最早事件是最重要的(亦即，有價值的)。差別可用按以下次序重複地觀察到的四個事件的示例來解釋：A、B、C、D。關於預測性關係推斷的兩種觀點在圖5中示出。上方示圖500圖示了每個事件「導致」下一事件的經典視圖。然而，本案的某些態樣中所考慮的替換觀點在底部示圖510中圖示：第一事件是最有價值的，因為其能預測所有後續事件。在沒有附加資訊且具有有限的工作記憶體的情況下，可由此促使在記憶體中保持最有價值的事件。本案的某些態樣中所考慮的觀點提供了此資訊。
第二，本案的某些態樣認為個體事件包括習知概念意義上的事件(亦即，發生)以及該事件的時間框架。換言之，事件將不僅由發生何事來定義，而且由該事件何時(相對而言)發生來定義。因此，不同時間處的事件是不同事件 。因此，不失一般性，因果關係可作為「在時間-t的事件A」導致「在時間0的事件B」來學習，如圖8的相關時間關係圖800所圖示的。學習在-t的事件A→事件B這種形式的相關時間成對映射可使用無限工作記憶體來執行並在該相關學習中納入相對時間。另外，此類時間t可用對數來表示。該時間t越大，可期望的精度越小。
在這種意義上，給植物澆水這一動作單獨不是一事件。若植物在三天前被澆水，則這是一事件，因為現在存在與該事件相關聯的時間框架。現在，植物可能每天都已被澆水，各自皆為單獨事件。本案的某些態樣提供了這種可縮放性問題的解決方案：選擇要考慮哪個事件子集。那些事件相比於其他保留事件在相對時間尺度上是相關的。
例如，考慮四個事件A、B、C和D如圖6中所示地在標繪600中所指示的時間發生。圖6亦在示圖610中圖示了第一事件A與其他事件之間所考慮的時間關係：關於事件B的預測性統計資訊由過去相對時間t1-t0處的事件A提供(考慮事件B的時間為0，或即「現在」，意味著相關事件A是在-(t1-t0)處)。示圖610亦圖示針對其他事件(C、D)的相關事件A是不同的，因為事件A發生在不同的過去相對時間。
根據某些態樣，基於各種合適準則中的任一者(或其組合)來選擇事件子集進行考慮，這些準則諸如因果凸顯性、重現、獨特性或罕見性、及/或時間鄰近性。如本文中所使用的，「因果凸顯性」一般是指從因果推斷的角度而言一事件從其他事件中脫穎而出的程度。例如，若發生不可預測 事件，則其可被認為比可預測地發生的事件是更加因果凸顯的。不可預測事件發生得越頻繁，其可能是越加因果凸顯的。此外，事件發生得越近，則認為該事件越凸顯，但最近程度並不一定勝過其他因果凸顯性因素。所預測事件未能發生亦是潛在的因果凸顯事件：在特定的時間或在某個時段期間未發生。相同的因素可適用於預測事件失敗。
最有可能在因果凸顯事件(而非所有事件)間並且獨立於它們的發生之間的時間來考慮關係。事件的因果凸顯性最有可能經由所學習的因果關係的當前狀態來決定(例如，推斷)。有限數量的最為因果凸顯的事件最有可能被保留在工作記憶體中以考慮與尚未發生的事件的關係。經由限制工作記憶體，可達成可縮放性，同時考慮最為因果凸顯的事件之間的因果關係。
在以重複事件序列A、B、C呈現的情況下，典型辦法可能是學習關係A→B和B→C。與此形成對比，本案的某些態樣考慮關係A→B和A→C。實際上，在給定有限的工作記憶體的情況下，系統最有可能出於若干原因而在事件A之前丟棄(例如，忘記)事件B。第一，事件B對於事件C具有較少預測價值(亦即，事件A能比事件B更早地預測事件C)。第二，事件A是不可預測的且因此比可預測的事件B更為凸顯。
在學習開始時，較少或沒有事件是可預測的，並且在給定對在一時間可考慮的事件子集的約束的情況下，該子集可更多地由時間鄰近性、重現率、或隨機地決定。隨著因果學習的進行，更多事件變得可預測，並且具有較不鄰近的 時間關係和較不頻繁的發生的事件可如以前一樣或比以前更多地被考慮。亦應注意，在任何給定的時間所考慮的事件子集可對於下一級學習有特別的相關性。
關係應當具有邏輯結構--如圖8中的邏輯時間關係圖810所圖示的--從而，決定性的邏輯關係(例如，邏輯表達812)可被學習(例如，植物在有陽光和水、但無害蟲的情況下生長)。根據某些態樣，可使用如圖9中所圖示的事件902的成對相關映射900來引導結構化因果性映射。該引導可建立用於學習後續觀測的候選邏輯結構。邏輯關係可利用一般性的時間計算原理使用線性系統來學習。
真實世界觀測在科學上往往是由連續時間系列(或週期性地取樣的時間系列)來表示的。然而，人們以事件的方式想事情(例如，股票在週一上漲或者樹在晚上倒下)。在這種意義上，人會想離散的事件而非連續的變數，並且人會按可變時間框架來想這些事件。該時間框架的解析度可用對數擴展到過去(例如，種子在1年前或1天前被種下)。
從根本上而言，根據本案的某些態樣，任何連續時間系列可被轉換成一或多個事件，每個事件具有相關聯的時間框架。這可經由特徵學習來完成，諸如時間尖峰定時學習或機器學習方法。重要的是將連續輸入稀疏化成離散事件。
根據某些態樣，可經由檢查所作的因果推斷來發現因果關係的概括。若兩個事件具有相同或基本相似的與第三事件的因果邏輯關係，則系統可將這兩個事件概括為屬於一類。作為結果，或者為了測試該假設，可添加類事件。每當 屬於該類的事件發生時，在學習機制態樣就如同具體事件那樣考慮類事件。
這一概括態樣亦涉及互動式學習，包括問問題和主動幹預。可經由檢查所學習的關係(無論是具體事件之間還是類事件之間的關係)來產生問題。有效地，這等同於請求符合特定模式的輸入，諸如X和Y導致Z，其中X和Z是指定的，但Y是未知/自由的。替換地，這可等同於詢問是否存在符合特定模式或實例的輸入的任何示例，諸如是否存在X和Y導致Z的任何證據或者是否曾在相同時間框架中觀察到X和Y。在本案的某些態樣的上下文中，回想到事件具有相關聯的相對時間框架，該相對時間框架使得格式化這種類型的查詢成為可能。一些事件亦可以是由(人工神經)系統、人工神經元、或其他裝置本身所產生的內部或外部動作。在這種情形中，這些事件可改變。該裝置可幹預將來序列以測試假設或者有效地詢問若特定事件曾經發生或未曾發生則可能發生何事。根據某些態樣，此類假設可基於潛在的或決定的概括來發展。相似的因果關係或代替會建議可能的類、一種關係的類建議成員事件亦將適合與類成員共有的另一因果關係等等皆是互動式學習的候選。因此，概括提供了用於互動或幹預的基礎，並且接著發生的輸入提供了用於將來概括的基礎。
圖7圖示了根據本案的某些態樣的使用因果凸顯性的示例學習程序700。在710，連續的或經取樣的輸入信號可被轉換成事件，如本文中定義的。在720，可至少部分地基於因果凸顯性來選擇事件子集。在730，可對事件子集執行因果 推斷學習以產生因果映射，其一般是指以上描述的事件之間的邏輯關係。對於某些態樣，在740，亦可如上所述地執行互動式學習。
每當事件發生時就執行的、該示例中的基本學習方法如下：(1)決定包括所有當前因果凸顯事件及在給定約束的情況下最因果相關的非當前事件的擴增因果相關性的事件子集；(2)決定對擴增因果相關性的事件子集和正發生事件的因果學習；(3)決定因果凸顯性(正發生事件的可預測性)、時間鄰近性、獨特性、以及重現；及(4)在給定約束的情況下決定新的當前因果凸顯事件子集並更新當前事件時間框架(例如，在對數尺度上)。
示例事件學習和轉換方法可基本上包括以下各項：(1)學習連續或取樣輸入中的時間模式；及(2)偵測在輸入中學習到的時間模式並決定事件的發生與那些模式的發生相關聯。
該互動式方法可在每當事件發生時、週期性地、或另行按排程地執行，並且可包括以下各項：(1)比較針對不同原因具有相同效果的學習邏輯關係以查明各原因是否可共同地分類(概括)；及(2)制定範本(問題或幹預)(例如，在740)以尋求附加輸入來確認或反駁候選概括。
另外，可任選地，本案的某些態樣考慮其中事件不是由節點表示的框架。確切而言，事件可由代碼(例如，群體編碼而非空間編碼)來表示。
如圖10的示例因果凸顯性因果推斷學習模型1000所 圖示的，完全發展的系統可包括以下概念元件：因果凸顯性功能1002、用於選擇事件子集的事件選擇功能1003、平坦時間成對(相關)映射(其可儲存在相關時間關係長期記憶體1004中)、邏輯結構(因果)映射(其可儲存在邏輯時間關係長期記憶體1006中)、因果推斷功能1008、用於儲存事件的工作記憶體1010、以及引導功能1012。這些元件可如上所述地一起工作。例如，結構化因果性映射可由引導功能1012使用儲存在相關時間關係長期記憶體1004中的平坦時間成對(相關)事件映射來引導。該引導可建立用於學習後續觀測的候選邏輯結構，並且此類邏輯結構映射可儲存在邏輯時間關係長期記憶體1006中。
產生前向和後向邏輯概率及邏輯表的方法
本案的某些態樣提供了用於決定事件之間的邏輯因果關係的方法和裝置。以下描述用於產生前向和後向邏輯概率的一種示例方法。
令事件e為對〈ε,τ〉，其中ε是事件類型且τ是事件相對時間(非正數字)。令存在如下的至標量x的映射：x=f(e)
令工作記憶體W為事件集。令結構S(e,C)被定義為效果事件e與具有2K種組合的K個可能原因事件的集合C之間的關係。令後向結構S b (e,C)被定義為具有2K個條目的向量，這些條目如由下式提供地映射到條目j：
其中是發生了的(亦即，真實的)可能原因事件 的組合。在事件e(其按照定義因發生在當前時間的本質故而將為〈ε,0〉)之際，令向量S b (e,C)的條目k遞增，其中k=g(C∩W)
令前向結構S f (e,C)被定義為具有2K+1個條目的向量，這些條目具有與後向結構相同的映射g。在工作記憶體中所包括的事件e之際，且在工作記憶體中的所有事件的τ已被更新以反映當前相對時間0的場合，令A為集合A=C∪〈ε,0〉
令條目l被定義為l=g(A∩W)
並且令S f (e,C)的條目l遞增。令條目z被定義為
系統無需儲存和遞增所有S f (e,C)的條目z，因為該條目的值可經由從已發生的事件總數減去非零S f (e,C)條目之和來決定。現在，
且
其中+和-標示顯式集合包含或排除。在上面，可使用以下慣例：S z (e,C)(i)代表由S z (e,C)標示的向量的第i個條目。
在計算上而言，後向更新存取針對一個結果事件的向量，而前向更新存取來自與工作儲存器具有非零交集的所有結果事件的向量。這些操作是高度可並行化的(其啟示了 神經網路)。此外，資訊無需被儲存為向量，且由此可高度被壓縮。
以上的實現涉及集合運算(例如，交集)和基本算術。結果取決於工作記憶體內容。由此，可能重要的是在工作記憶體中維持最為因果凸顯的元素，而不必維持所有先前事件。提供以下演算法形式：對於每一事件e=〈ε,0〉e=<ε,0>
對於W中的每一事件w=〈ω,τ〉w=<ω,τ>
使τ遞減自先前事件起流逝的時間τ
設置W'=W∪eW'=W∪e
對於每一向量S b (e,C)S b (e,C), 計算k=g(C∩W)k=g(C∩W)
遞增S b (e,C)的條目k
對於每個向量S f (x,C)，其中S f (x,C)x可不受約束
計算l=g(W'∩(C∪x))i=g(W'∩(C∪x))
遞增S f (x,C)的條目lS f (x,C)
設置W=W'W=W'
作為示例，令系統具有以下觀測(事件序列)： {a,b,c},{a,b,c},{a,d,c},{a,e,c},{a,b,c},{a,g,d},{a,g,e}
下表中在觀測之後提供了取樣結構定義，其中對於前向和後向向量，C={<a,-2>,<b,-1>}且e=<c,0>。為方便起見，前向向量被劃分成兩個向量(針對c和非c)。實際的儲存或表示方法並不重要。
由此，例如，P(<c,0>|{<a,-2>,<b,-1>)=1而P(<c,0>|{<a,-2>,！<b,-1>)=0.5。
因果邏輯-時間-事件推理
邏輯時間事件(LTE)表條目
(已學習的)邏輯時間事件因果表具有與針對特定的肯定或否定結果事件的因果事件的肯定或否定值的邏輯組合相對應的行。每個條目可表達為三元組，y r,c =〈φ c ,△t c ,x r,c 〉
其中φ c 是事件類型，△t c 是相對於結果事件的事件時間△t c ，而x r,c 是邏輯值(0/1)。特定的行可部分地(起因事件集合)表達為
其中出於方便起見，x r,c 索引被簡化為行j。注意，事件不一定是連續的、有等間距的延遲、或甚至有獨特的延遲。例如，行可包含針對相同的相對時間的兩個事件的負邏輯值，或者可包含1ms間隔處的事件，但有一些缺失事件(不是每1ms偏移)。
邏輯時間事件(LTE)遮罩
然而，結果亦可與該行相關聯，從而完整的LTE映射將表達為
其中倒數第n條目是結果，並且按照慣例，△t n =0且x n 是肯定(1)或否定(0)表實例。一行中所包含的資訊亦可包括至少一個量測，諸如在給定邏輯時間原因事件的情況下得到該結果的概率，並且由此完整的資訊可用LTE遮罩與相關聯的概率度量對表示為
其中p n,r 是概率度量且不失一般性，可認為表的肯定結果和否定結果實例是該表的分開的行(不同r)或者來自個別的表(不同n)。
工作記憶體(WM)
工作記憶體亦可用LTE遮罩形式(三元組向量)表示如下：
其中φ i 是工作記憶體中的第i事件，△t i 是該事件的相對時間，且x i 是邏輯值(通常為1，若工作記憶體是實際發生了的事件而非未曾發生的事件或這兩者的工作記憶體，這亦是替換方案)。按照慣例，△t i =0是當前時間，並且最後一個條目(第n)是所發生的最後一個事件且具有△t n =0。
注意，工作記憶體不一定包含所有已發生的事件，或甚至不一定包含某個時間內的所有事件。可存在例如缺失的非凸顯事件、或者對相同時間的多個事件的觀測或對無事件的觀測。
非-事件-時間-矛盾(NETI)
兩個LTE遮罩可在邏輯-事件-時間意義上被定義為 非矛盾，或者以若干方式定義為非-事件-時間-矛盾。一種方式是邏輯上的非矛盾(亦即，在相同時間不存在不同且兩者皆為肯定的兩個事件或者相同但邏輯上不同的兩個事件)。在數學上，NETI μL (a i =〈φ i ,△t i ,x i 〉,b j =〈φ j ,△t j ,x j 〉)≡(△t i ≠△t j )∥(x i ≠x j )∥(φ i ==φ j )
亦可定義時間偏移NETI，其中如下檢查時間偏移△T處的一致性：NETI μL (a i =〈φ i ,△t i ,x i 〉,b j =〈φ j ,△t j ,x j 〉,△T)≡(△t i ≠△t j +△T)∥(x i ≠x j )∥(φ i ==φ j ) 演算法可採取以下形式：bool NETI μL (a i =〈φ i ,△t i ,x i 〉,b j =〈φ j ,△t j ,x j 〉,△T)
if(△t i ≠△t j +△T)∥(x i ≠x j )∥(φ i ==φ i )return true；else return false
以上NETI是針對單個LTE定義的。可定義LTE遮罩NETI以如下檢查兩個LTE遮罩與彼此的一致性：
其中所有i,j組合上的乘積表示確保所有組合皆是非矛盾的(NETI)。注意，可在行之間或在工作記憶體與行之間以及甚至遞迴地使用這種NETI。
演算法可採取以下形式： bool
foreach
foreach
if not NETI μL (a i =〈φ i ,△t i ,x i 〉,b j =〈φ j ,△t j ,x j 〉,△T) NETI μL (α i =<φ i ,△t i ,x i >,b j =<φ j ,△t j ,x j >,△T)return false
return true
可針對其他互斥原理來定義其他NETI(例如，沒有一事件可發生在兩個不同時間)。這等效於在除了該事件為肯定的時間之外的所有時間的否定事件邏輯。
邏輯時間事件(LTE)並集
亦可如下定義兩個或更多個LTE遮罩的並集。LTE並集不是簡單的一維並集，因為這些集合的元素是三元組。這意味著來自輸入集合的所有獨特三元組皆被包括在並集結果中。元素若在三元組值(事件類型、事件時間、或邏輯值)中的任一態樣不同則是獨特的。
LTE並集的示例演算法如下：
foreach
flag=true
foreach
if(△t i ==△t j +△T)&&(x i ==x j )&&(φ i ==φ j )flag=false
if flag
注意，時間偏移對應於並集的第一輸入的偏移。 值△T是應用於的時間偏移。
按照慣例，概率度量可與每個LTE遮罩相關聯。對於LTE遮罩的並集，可定義如下將每個輸入遮罩的個體概率度 量轉換成並集結果的一個輸出遮罩(另一LTE遮罩)的函數：p 1U2=h(p 1,p 2)
若認為表條目概率為基於邏輯時間事件輸入的結果的條件概率，則
其中k是結果列，且是輸入列。於是，對於該並集 ，得到h(p 1,p 2)=p 1 p 2
決定和預測
典型問題是決定將來要做什麼或者將發生什麼。工作記憶體與來自已學習的邏輯時間表的LTE遮罩的LTE並集提供了解決方案。例如假設希望作出要嘗試使特定結果的機會最大化的決定。可取針對該期望結果事件的表中對應非矛盾(NETI)的行(LTE遮罩)的LTE遮罩的已發生什麼(WM)與工作記憶體的並集。隨後，可選擇具有最佳概率(後並集)的將來事件(決定)。
可能要求在特定將來時間存在特定事件。若一階並集沒有建議特定期望時間處的任何事件(例如，遊戲中的下一移動或在某個時間內將作出的決定)，則可考慮二階或n階並集以填充從目前到將來的因果鏈中的間隙。
該選擇可以在控制內的事件(有效的動作)為條件。硬幣的另一面是預測。若已知結果是可能的、期望的、或定向的，則可從並集結果預測下一(些)事件。此外，可經由考慮某個表集合(不是針對某個期望結果的特定表)在不 假定任何期望或可能結果的情況下這樣做。
一階候選LTE遮罩
可收集工作記憶體(WM)的候選LTE遮罩C 1 以及和 所有表(table)的LTE遮罩的所有NETI組合。一階候選LTE 遮罩可定義為工作記憶體(WM)與和表集合的LTE遮罩 的NETI並集，n D，其中D是表集合(諸如期望的肯定或否定 結果的表)。由此，得到
構建C 1 的示例演算法如下：
foreach n(1..|tables|)
foreach
foreach△T(-T...+T)△T(-T...+T)
if
其中標示工作記憶體(WM)。可用相同演算法 但僅輸入「期望」表D來獲得。
按照慣例，每個LTE遮罩的概率度量亦被包括在這些集合中。與工作記憶體LTE遮罩相關聯的概率度量通常被定義為p=1，因為工作記憶體中的事件實際上發生在該時間。然而，這是任意的，並且若所有一階候選LTE遮罩皆是與相同工作記憶體LTE的並集並且等同地得到補償，則可使用任何標稱值。
二階候選LTE遮罩
為了獲得二階候選LTE遮罩，可取一階LTE遮罩與其他一階LTE遮罩的並集。例如，可始於兩個一階遮罩集合：一個集合僅具有一些期望表D，且一個集合具有所有其他表。為了獲得二階遮罩，可取前者與後者的並集，如以下示例中那樣：
foreach
foreach
if
其中C是例如C 1、，或
這可如下放入循環中：
do
n=n+1
while∥n<=N∥max p>P
圖11是根據本案的某些態樣的用於因果學習的示例操作1100的流程圖。對於某些態樣，操作1100可實現在(能夠進行推斷學習的)人工神經系統中並且可在硬體中執行(例如，由一或多個神經處理單元執行，諸如神經形態處理器 )、在軟體中執行、或在韌體中執行。人工神經系統可建模在各種生物或想像神經系統中的任一者上，諸如視覺神經系統、聽覺神經系統、海馬體等。
操作1100可始於在1102處觀察一或多個事件，這些事件被定義為特定相對時間處的發生。在1104，基於一或多個準則來選擇這些事件的子集。在1106，基於所選子集來決定這些事件中的至少一個事件的邏輯原因。
根據某些態樣，該準則包括因果凸顯性，其被定義為一個事件從其他事件中脫穎而出的程度。對於某些態樣，不可預測事件發生得越頻繁，該不可預測事件就是越加因果凸顯的。該準則可包括因果凸顯性、重現、獨特性、或時間鄰近性中的至少一者。
根據某些態樣，1104處的選擇涉及認為提供關於另一事件的在統計上顯著的資訊的最早事件是最重要的事件。對於某些態樣，操作1100可進一步包括將最重要的事件儲存在記憶體中。
根據某些態樣，1102處的觀察使得必須週期性地對系統進行取樣以產生離散點集並將該離散點集轉換成事件。
根據某些態樣，操作1100可進一步包括若觀察到新事件則重複該選擇和決定。
根據某些態樣，操作1100可進一步包括基於該邏輯原因來預測一或多個後續事件。
圖12圖示了根據本案的某些態樣的使用通用處理器1202來執行前述因果學習方法的元件的示例方塊圖1200。與 計算網路(神經網路)相關聯的變數(神經信號)、突觸權重及/或系統參數可被儲存在記憶體塊1204中，而在通用處理器1202處執行的有關指令可從程式記憶體1206中載入。在本案的一態樣，載入到通用處理器1202中的指令可包括用於以下操作的代碼：用於觀察一或多個事件，事件被定義為特定相對時間處的發生；用於基於一或多個準則來選擇這些事件的子集；及用於基於所選子集來決定這些事件中的至少一個事件的邏輯原因。
圖13圖示了根據本案的某些態樣的用於執行前述因果學習方法的元件的示例方塊圖1300，其中記憶體1302可以經由互連網路1304與計算網路(神經網路)的個體(分散式)處理單元(神經處理器)1306對接。與計算網路(神經網路)相關聯的變數(神經信號)、突觸權重及/或系統參數可被儲存在記憶體1302中，並且可從記憶體1302經由互連網路1304的連接被載入到每個處理單元(神經處理器)1306中。在本案的一態樣，處理單元1306可被配置成觀察一或多個事件，事件被定義為特定相對時間處的發生；基於一或多個準則來選擇這些事件的子集；及基於所選子集來決定這些事件中的至少一個事件的邏輯原因。
圖14圖示了根據本案的某些態樣的基於分散式權重記憶體1402和分散式處理單元(神經處理器)1404來執行前述因果學習方法的元件的示例方塊圖1400。如圖14中所圖示的，一個記憶體組1402可直接與計算網路(神經網路)的一個處理單元1404對接，其中該記憶體組1402可儲存與該處理 單元(神經處理器)1404相關聯的變數(神經信號)、突觸權重及/或系統參數。在本案的一態樣，處理單元1404可被配置成觀察一或多個事件，事件被定義為特定相對時間處的發生；基於一或多個準則來選擇這些事件的子集；及基於所選子集來決定這些事件中的至少一個事件的邏輯原因。
圖15圖示了根據本案的某些態樣的神經網路1500的示例實現。如圖15中所圖示的，神經網路1500可包括複數個局部處理單元1502，它們可執行以上描述的方法的各種操作。每個處理單元1502可包括儲存該神經網路的參數的局部狀態記憶體1504和局部參數記憶體1506。另外，處理單元1502可包括具有局部(神經元)模型程式的記憶體1508、具有局部學習程式的記憶體1510、以及局部連接記憶體1512。此外，如圖15中所圖示的，每個局部處理單元1502可與用於配置處理的單元1514對接並且與路由連接處理元件1516對接，單元1514可提供對局部處理單元的局部記憶體的配置，元件1516提供局部處理單元1502之間的路由。
根據本案的某些態樣，每一個局部處理單元1502可被配置成基於神經網路的期望的一或多個功能特徵來決定神經網路的參數，以及隨著進一步適配、調試和更新所決定的參數朝著期望的功能特徵來發展這一或多個功能特徵。
以上所描述的方法的各種操作可由能夠執行相應功能的任何合適的裝置來執行。這些裝置可包括各種硬體及/或軟體元件及/或模組，包括但不限於電路、特殊應用積體電路(ASIC)、或處理器。例如，各種操作可由圖12-15中所示的 各種處理器中的一或多個處理器來執行。一般而言，在存在附圖中圖示的操作的場合，那些操作可具有帶相似編號的相應配對手段功能元件。例如，圖11中所圖示的操作1100對應於圖11A中所圖示的裝置1100A。
例如，用於顯示的裝置可包括顯示器(例如，監視器、平面螢幕、觸屏等)、印表機、或任何其他用於輸出資料以供視覺圖示(例如表、圖表或圖形)的合適裝置。用於處理的裝置、用於觀察的裝置、用於選擇的裝置、用於重複的裝置、用於預測的裝置、或用於決定的裝置可包括處理系統，該處理系統可包括一或多個處理器或處理單元。用於感測的裝置可包括感測器。用於儲存的裝置可包括可由處理系統存取的記憶體或任何其他合適的存放裝置(例如，RAM)。
如本文所使用的，術語「決定」涵蓋各種各樣的動作。例如，「決定」可包括演算、計算、處理、推導、研究、檢視(例如，在表、資料庫或其他資料結構中檢視)、查明、及類似動作。而且，「決定」可包括接收(例如接收資訊)、存取(例如存取記憶體中的資料)、及類似動作。另外，「決定」亦可包括解析、選擇、選取、建立、及類似動作。
如本文中所使用的，引述一列項目中的「至少一個」的短語是指這些專案的任何組合，包括單個成員。作為示例，「a、b或c中的至少一個」旨在涵蓋：a、b、c、a-b、a-c、b-c、以及a-b-c。
結合本案描述的各種說明性邏輯方塊、模組、以及電路可用通用處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)或其他可程式設計邏輯裝置(PLD)、個別閘或電晶體邏輯、個別的硬體元件、或其設計成執行本文中描述的功能的任何組合來實現或執行。通用處理器可以是微處理器，但在替換方案中，處理器可以是任何可商業購得的處理器、控制器、微控制器、或狀態機。處理器亦可以被實現為計算設備的組合，例如DSP與微處理器的組合、複數個微處理器、與DSP核心協同的一或多個微處理器、或任何其他此類配置。
結合本案描述的方法或演算法的步驟可直接在硬體中、在由處理器執行的軟體模組中、或在這兩者的組合中實施。軟體模組可常駐在此項技術中所知的任何形式的儲存媒體中。可使用的儲存媒體的一些示例包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體、EPROM記憶體、EEPROM記憶體、暫存器、硬碟、可移除磁碟、CD-ROM等。軟體模組可包括單一指令、或許多指令，且可分佈在若干不同的程式碼片段上，分佈在不同的程式間以及跨多個儲存媒體分佈。儲存媒體可被耦合到處理器以使得該處理器能從/向該儲存媒體讀寫資訊。替換地，儲存媒體可以被整合到處理器。
本文所揭示的方法包括用於達成所描述的方法的一或多個步驟或動作。這些方法步驟及/或動作可以彼此互換而不會脫離請求項的範疇。換言之，除非指定了步驟或動作的 特定次序，否則具體步驟及/或動作的次序及/或使用可以改動而不會脫離請求項的範疇。
所描述的功能可在硬體、軟體、韌體或其任何組合中實現。若以硬體實現，則示例硬體設定可包括設備中的處理系統。處理系統可以用匯流排架構來實現。取決於處理系統的具體應用和整體設計約束，匯流排可包括任何數目的互連匯流排和橋接器。匯流排可將包括處理器、機器可讀取媒體、以及匯流排介面的各種電路連結在一起。匯流排介面可用於尤其將網路介面卡等經由匯流排連接至處理系統。網路介面卡可用於實現信號處理功能。對於某些態樣，使用者介面(例如，按鍵板、顯示器、滑鼠、操縱桿等)亦可被連接至匯流排。匯流排亦可連結各種其他電路(諸如定時源、周邊設備、穩壓器、電源管理電路等)，這些電路在此項技術中是眾所周知的，因此將不再贅述。
處理器可負責管理匯流排和一般處理，包括執行儲存在機器可讀取媒體上的軟體。處理器可用一或多個通用及/或專用處理器來實現。示例包括微處理器、微控制器、DSP處理器、以及其他能執行軟體的電路系統。軟體應當被寬泛地解釋成意指指令、資料、或其任何組合，無論是被稱作軟體、韌體、仲介軟體、微代碼、硬體描述語言、或其他。作為示例，機器可讀取媒體可以包括RAM(隨機存取記憶體)、快閃記憶體、ROM(唯讀記憶體)、PROM(可程式設計唯讀記憶體)、EPROM(可抹除可程式設計唯讀記憶體)、EEPROM(電可抹除可程式設計唯讀記憶體)、暫存器、磁碟 、光碟、硬驅動器、或者任何其他合適的儲存媒體、或其任何組合。機器可讀取媒體可被實施在電腦程式產品中。該電腦程式產品可以包括包裝材料。
在硬體實現中，機器可讀取媒體可以是處理系統中與處理器分開的一部分。然而，如熟習此項技術者將容易領會的，機器可讀取媒體、或其任何部分可在處理系統外部。作為示例，機器可讀取媒體可包括傳輸線、由資料調制的載波、及/或與設備分開的電腦產品，所有這些皆可由處理器經由匯流排介面來存取。替換地或補充地，機器可讀取媒體、或其任何部分可被整合到處理器中，諸如快取記憶體及/或通用暫存器檔可能就是這種情形。
處理系統可以被配置為通用處理系統，該通用處理系統具有一或多個提供處理器功能性的微處理器、和提供機器可讀取媒體中的至少一部分的外部記憶體，它們皆經由外部匯流排架構與其他支援電路系統連結在一起。替換地，處理系統可以用帶有整合在單塊晶片中的處理器、匯流排介面、使用者介面、支援電路系統、和至少一部分機器可讀取媒體的ASIC(特殊應用積體電路)來實現，或者用一或多個FPGA(現場可程式設計閘陣列)、PLD(可程式設計邏輯裝置)、控制器、狀態機、閘控邏輯、個別硬體元件、或者任何其他合適的電路系統、或者能執行本案通篇所描述的各種功能性的電路的任何組合來實現。取決於具體應用和加諸於整體系統上的總設計約束，熟習此項技術者將認識到如何最佳地實現關於處理系統所描述的功能性。
機器可讀取媒體可包括數個軟體模組。這些軟體模組包括當由處理器執行時使處理系統執行各種功能的指令。這些軟體模組可包括傳輸模組和接收模組。每個軟體模組可以常駐在單個存放裝置中或者跨多個存放裝置分佈。作為示例，當觸發事件發生時，可以從硬驅動器中將軟體模組載入到RAM中。在軟體模組執行期間，處理器可以將一些指令載入到快取記憶體中以提高存取速度。隨後可將一或多個快取記憶體行載入到通用暫存器檔中以供由處理器執行。在以下談及軟體模組的功能性時，將理解此類功能性是在處理器執行來自該軟體模組的指令時由該處理器來實現的。
若以軟體實現，則各功能可作為一或多個指令或代碼儲存在電腦可讀取媒體上或藉其進行傳送。電腦可讀取媒體包括電腦儲存媒體和通訊媒體兩者，這些媒體包括促成電腦程式從一地向另一地轉移的任何媒體。儲存媒體可以是能被電腦存取的任何可用媒體。作為示例而非限定，此類電腦可讀取媒體可包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存、磁碟儲存或其他磁存放裝置、或能被用來攜帶或儲存指令或資料結構形式的期望程式碼且能被電腦存取的任何其他媒體。任何連接亦被正當地稱為電腦可讀取媒體。例如，若軟體是使用同軸電纜、光纖電纜、雙絞線、數位用戶線(DSL)、或無線技術(諸如紅外(IR)、無線電、以及微波)從web網站、伺服器、或其他遠端源傳送而來，則該同軸電纜、光纖電纜、雙絞線、DSL或無線技術(諸如紅外、無線電、以及微波)就被包括在媒體的定義之中。如本文中所使 用的盤(disk)和碟(disc)包括壓縮光碟(CD)、鐳射光碟、光碟、數位多功能光碟(DVD)、軟碟、和藍光®光碟，其中盤(disk)常常磁性地再現資料，而碟(disc)用鐳射來光學地再現資料。因此，在一些態樣，電腦可讀取媒體可包括非瞬態電腦可讀取媒體(例如，有形媒體)。另外，對於其他態樣，電腦可讀取媒體可包括瞬態電腦可讀取媒體(例如，信號)。上述的組合亦應被包括在電腦可讀取媒體的範疇內。
因此，某些態樣可包括用於執行本文中提供的操作的電腦程式產品。例如，此種電腦程式產品可包括其上儲存(及/或編碼)有指令的電腦可讀取媒體，這些指令能由一或多個處理器執行以執行本文中所描述的操作。對於某些態樣，電腦程式產品可包括包裝材料。
另外，應領會，用於執行本文中所描述的方法和技術的模組及/或其他合適裝置能由設備在適用的場合下載及/或以其他方式獲得。例如，此類設備能被耦合至伺服器以促成用於執行本文中所描述的方法的裝置的轉移。替換地，本文中所描述的各種方法能經由儲存裝置(例如，RAM、ROM、諸如壓縮光碟(CD)或軟碟之類的實體儲存媒體等)來提供，以使得一旦將該儲存裝置耦合到或提供給設備，該設備就能獲得各種方法。此外，可利用適於向設備提供本文中所描述的方法和技術的任何其他合適的技術。
將理解，請求項並不被限定於以上所圖示的精確配置和元件。可在以上所描述的方法和裝置的佈局、操作和細 節上作出各種改動、改變和變形而不會脫離請求項的範疇。
700‧‧‧學習程序
710‧‧‧方塊
720‧‧‧方塊
730‧‧‧方塊
740‧‧‧方塊

Claims (22)

  1. 一種用於因果學習的方法，包括以下步驟：用一裝置觀察一或多個事件，其中該等事件被定義為特定相對時間處的發生；基於一或多個準則來選擇該等事件的一子集；及基於該所選子集來決定該等事件中的至少一個事件的一邏輯原因。
  2. 如請求項1述及之方法，其中該等準則包括因果凸顯性，該因果凸顯性被定義為一個事件從其他事件中脫穎而出的一程度。
  3. 如請求項2述及之方法，其中一不可預測事件發生得越頻繁，該不可預測事件就是越加因果凸顯的。
  4. 如請求項1述及之方法，其中該等準則包括重現、獨特性、或時間鄰近性中的至少一者。
  5. 如請求項1述及之方法，其中該選擇包括認為該等事件中提供關於該等事件中的另一事件的在統計上顯著的資訊的最早事件是最重要的事件。
  6. 如請求項5述及之方法，進一步包括將該等最重要的事件儲存在一記憶體中。
  7. 如請求項1述及之方法，其中該觀察包括以下步驟：週期性地對一系統進行取樣以產生一離散點集；及將該離散點集轉換成事件。
  8. 如請求項1述及之方法，其中該方法實現在能夠進行推斷學習的一人工神經系統中。
  9. 如請求項1述及之方法，進一步包括若觀察到一新事件則重複該選擇和該決定。
  10. 如請求項1述及之方法，進一步包括基於該邏輯原因來預測一或多個後續事件。
  11. 一種用於因果學習的裝置，包括：一處理系統，配置成：觀察一或多個事件，該等事件被定義為特定相對時間處的發生；基於一或多個準則來選擇該等事件的一子集；及基於該所選子集來決定該事件中的至少一個事件的一邏輯原因；及耦合至該處理系統的一記憶體。
  12. 如請求項11述及之裝置，其中該等準則包括因果凸顯性 ，該因果凸顯性被定義為一個事件從其他事件中脫穎而出的一程度。
  13. 如請求項12述及之裝置，其中一不可預測事件發生得越頻繁，該不可預測事件就是越加因果凸顯的。
  14. 如請求項11述及之裝置，其中該等準則包括重現、獨特性、或時間鄰近性中的至少一者。
  15. 如請求項11述及之裝置，其中該處理系統被配置成經由認為該等事件中提供關於該等事件中的另一事件的在統計上顯著的資訊的最早事件是最重要的事件來選擇該事件子集。
  16. 如請求項15述及之裝置，其中該等最重要的事件被儲存在該記憶體中。
  17. 如請求項11述及之裝置，其中該處理系統被配置成經由以下操作來觀察該一或多個事件：週期性地對一系統進行取樣以產生一離散點集；及將該離散點集轉換成事件。
  18. 如請求項11述及之裝置，其中該裝置是能夠進行推斷學習的一人工神經系統的一部分。
  19. 如請求項11述及之裝置，其中該處理系統進一步配置成若觀察到一新事件則重複該選擇和該決定。
  20. 如請求項11述及之裝置，其中該處理系統進一步配置成基於該邏輯原因來預測一或多個後續事件。
  21. 一種用於因果學習的設備，包括：用於觀察一或多個事件的裝置，該等事件被定義為特定相對時間處的發生；用於基於一或多個準則來選擇該等事件的一子集的裝置；及用於基於該所選子集來決定該事件中的至少一個事件的一邏輯原因的裝置。
  22. 一種用於因果學習的電腦程式產品，包括具有代碼的一非瞬態電腦可讀取媒體，該代碼用於：觀察一或多個事件，該等事件被定義為特定相對時間處的發生；基於一或多個準則來選擇該等事件的一子集；及基於該所選子集來決定該事件中的至少一個事件的一邏輯原因。
TW103136336A 2013-10-29 2014-10-21 因果凸顯性時間推斷 TW201531967A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361897024P 2013-10-29 2013-10-29
US14/160,128 US20150120627A1 (en) 2013-10-29 2014-01-21 Causal saliency time inference

Publications (1)

Publication Number Publication Date
TW201531967A true TW201531967A (zh) 2015-08-16

Family

ID=52996589

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103136336A TW201531967A (zh) 2013-10-29 2014-10-21 因果凸顯性時間推斷

Country Status (8)

Country Link
US (1) US20150120627A1 (zh)
EP (1) EP3063710A2 (zh)
JP (1) JP2016539407A (zh)
KR (1) KR20160076520A (zh)
CN (1) CN105723383A (zh)
CA (1) CA2926098A1 (zh)
TW (1) TW201531967A (zh)
WO (1) WO2015065729A2 (zh)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140156628A1 (en) * 2005-10-26 2014-06-05 Cortica Ltd. System and method for determination of causality based on big data analysis
US8818916B2 (en) 2005-10-26 2014-08-26 Cortica, Ltd. System and method for linking multimedia data elements to web pages
US11003706B2 (en) 2005-10-26 2021-05-11 Cortica Ltd System and methods for determining access permissions on personalized clusters of multimedia content elements
US10607355B2 (en) 2005-10-26 2020-03-31 Cortica, Ltd. Method and system for determining the dimensions of an object shown in a multimedia content item
US10387914B2 (en) 2005-10-26 2019-08-20 Cortica, Ltd. Method for identification of multimedia content elements and adding advertising content respective thereof
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US10614626B2 (en) 2005-10-26 2020-04-07 Cortica Ltd. System and method for providing augmented reality challenges
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US10372746B2 (en) 2005-10-26 2019-08-06 Cortica, Ltd. System and method for searching applications using multimedia content elements
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US10621988B2 (en) 2005-10-26 2020-04-14 Cortica Ltd System and method for speech to text translation using cores of a natural liquid architecture system
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US10691642B2 (en) 2005-10-26 2020-06-23 Cortica Ltd System and method for enriching a concept database with homogenous concepts
US10776585B2 (en) 2005-10-26 2020-09-15 Cortica, Ltd. System and method for recognizing characters in multimedia content
US10585934B2 (en) 2005-10-26 2020-03-10 Cortica Ltd. Method and system for populating a concept database with respect to user identifiers
WO2017105641A1 (en) 2015-12-15 2017-06-22 Cortica, Ltd. Identification of key points in multimedia data elements
US11195043B2 (en) 2015-12-15 2021-12-07 Cortica, Ltd. System and method for determining common patterns in multimedia content elements based on key points
JP6540725B2 (ja) 2017-01-30 2019-07-10 富士通株式会社 演算処理装置、方法、およびプログラム
WO2019008581A1 (en) 2017-07-05 2019-01-10 Cortica Ltd. DETERMINATION OF DRIVING POLICIES
WO2019012527A1 (en) 2017-07-09 2019-01-17 Cortica Ltd. ORGANIZATION OF DEPTH LEARNING NETWORKS
US11195096B2 (en) 2017-10-24 2021-12-07 International Business Machines Corporation Facilitating neural network efficiency
US10846544B2 (en) 2018-07-16 2020-11-24 Cartica Ai Ltd. Transportation prediction system and method
US20200133308A1 (en) 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
US11181911B2 (en) 2018-10-18 2021-11-23 Cartica Ai Ltd Control transfer of a vehicle
US10839694B2 (en) 2018-10-18 2020-11-17 Cartica Ai Ltd Blind spot alert
US11126870B2 (en) 2018-10-18 2021-09-21 Cartica Ai Ltd. Method and system for obstacle detection
US11700356B2 (en) 2018-10-26 2023-07-11 AutoBrains Technologies Ltd. Control transfer of a vehicle
US10789535B2 (en) 2018-11-26 2020-09-29 Cartica Ai Ltd Detection of road elements
US11643005B2 (en) 2019-02-27 2023-05-09 Autobrains Technologies Ltd Adjusting adjustable headlights of a vehicle
US11285963B2 (en) 2019-03-10 2022-03-29 Cartica Ai Ltd. Driver-based prediction of dangerous events
US11694088B2 (en) 2019-03-13 2023-07-04 Cortica Ltd. Method for object detection using knowledge distillation
US11132548B2 (en) 2019-03-20 2021-09-28 Cortica Ltd. Determining object information that does not explicitly appear in a media unit signature
US11488290B2 (en) 2019-03-31 2022-11-01 Cortica Ltd. Hybrid representation of a media unit
US11222069B2 (en) 2019-03-31 2022-01-11 Cortica Ltd. Low-power calculation of a signature of a media unit
US10776669B1 (en) 2019-03-31 2020-09-15 Cortica Ltd. Signature generation and object detection that refer to rare scenes
US10789527B1 (en) 2019-03-31 2020-09-29 Cortica Ltd. Method for object detection using shallow neural networks
US10796444B1 (en) 2019-03-31 2020-10-06 Cortica Ltd Configuring spanning elements of a signature generator
JP7295561B2 (ja) * 2019-06-25 2023-06-21 株式会社World Life Mapping 人生画像表示装置、人生画像管理装置、およびプログラム
US11593662B2 (en) 2019-12-12 2023-02-28 Autobrains Technologies Ltd Unsupervised cluster generation
US10748022B1 (en) 2019-12-12 2020-08-18 Cartica Ai Ltd Crowd separation
KR102319062B1 (ko) * 2020-02-04 2021-11-02 한국과학기술원 퍼베이시브 센서 공간에서 그룹 활동 인식을 위한 인과 관계 인식 패턴 마이닝 시스템
US11590988B2 (en) 2020-03-19 2023-02-28 Autobrains Technologies Ltd Predictive turning assistant
US11827215B2 (en) 2020-03-31 2023-11-28 AutoBrains Technologies Ltd. Method for training a driving related object detector
US11756424B2 (en) 2020-07-24 2023-09-12 AutoBrains Technologies Ltd. Parking assist
CN113822430B (zh) * 2020-12-28 2024-05-21 京东科技控股股份有限公司 事件的推理方法、装置、计算机设备和存储介质
CN113962354B (zh) * 2021-10-25 2022-07-12 南华大学 一种基于活性群体集体运动中因果推断方法
CN116307274B (zh) * 2023-05-18 2023-08-18 北京航空航天大学 一种考虑因果干预的城市区域能耗预测方法
CN117408342B (zh) * 2023-12-11 2024-03-15 华中师范大学 基于神经元尖峰序列数据的神经元网络推断方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259157A (ja) * 1993-03-10 1994-09-16 Fuji Photo Film Co Ltd 自己組織化パターン学習システム
US7117185B1 (en) * 2002-05-15 2006-10-03 Vanderbilt University Method, system, and apparatus for casual discovery and variable selection for classification
JP5419746B2 (ja) * 2010-02-23 2014-02-19 株式会社日立製作所 管理装置及び管理プログラム
US9665822B2 (en) * 2010-06-30 2017-05-30 International Business Machines Corporation Canonical spiking neuron network for spatiotemporal associative memory
US20130204814A1 (en) * 2012-02-08 2013-08-08 Qualcomm Incorporated Methods and apparatus for spiking neural computation

Also Published As

Publication number Publication date
WO2015065729A3 (en) 2015-10-08
US20150120627A1 (en) 2015-04-30
CA2926098A1 (en) 2015-05-07
JP2016539407A (ja) 2016-12-15
KR20160076520A (ko) 2016-06-30
EP3063710A2 (en) 2016-09-07
WO2015065729A2 (en) 2015-05-07
CN105723383A (zh) 2016-06-29

Similar Documents

Publication Publication Date Title
TW201531967A (zh) 因果凸顯性時間推斷
Hawkins et al. Sequence memory for prediction, inference and behaviour
TWI584207B (zh) 用於分段線性神經元建模的方法、裝置與電腦程式產品
US9330355B2 (en) Computed synapses for neuromorphic systems
TWI585695B (zh) 用於定義多個神經元的動態的方法、設備及電腦可讀取媒體
TW201539335A (zh) 實現神經網路處理器
TW201541374A (zh) 用於隨機尖峰貝氏網路的基於事件的推斷和學習
TW201531966A (zh) 配置稀疏神經網路
TW201528162A (zh) 在尖峰神經網路中使用重放來實施突觸學習
TW201626293A (zh) 由知識圖譜偏置的資料分類
TW201602807A (zh) Ｃｏｌｄ神經元尖峰時序反向傳播
TW201541372A (zh) 使用尖峰發放神經元的人工神經網路和感知器學習
TW201535277A (zh) 以陰影網路監視神經網路
TWI550530B (zh) 用於產生尖峰定時依賴可塑性曲線的緊湊表示的方法、設備、電腦可讀取媒體及電腦程式產品
TW201543382A (zh) 神經網路對當前計算資源的自我調整
TW201602923A (zh) 使用尖峰發放神經網路對大序列的概率性表示
US9652711B2 (en) Analog signal reconstruction and recognition via sub-threshold modulation
CN105556543B (zh) 针对神经模型的群组标签的实现方案的方法和装置
US20140258194A1 (en) Generic method for designing spike-timing dependent plasticity (stdp) curves
TW201602924A (zh) 在尖峰神經網路中藉由全域標量值來調制可塑性
TW201525883A (zh) 在多維範圍上評估包括可分離子系統的系統
TW201533668A (zh) 基於突觸前尖峰的短期突觸記憶
KR20160125967A (ko) 일반적인 뉴런 모델들의 효율적인 구현을 위한 방법 및 장치
TW201539336A (zh) 用於自動糾錯的同時的等待時間編碼和速率編碼
TW201539334A (zh) 動態空間目標選擇