TW201329878A - 以機率性的方式使用記憶體對神經網路的突觸權重進行儲存的方法和裝置 - Google Patents

以機率性的方式使用記憶體對神經網路的突觸權重進行儲存的方法和裝置 Download PDF

Info

Publication number
TW201329878A
TW201329878A TW101141569A TW101141569A TW201329878A TW 201329878 A TW201329878 A TW 201329878A TW 101141569 A TW101141569 A TW 101141569A TW 101141569 A TW101141569 A TW 101141569A TW 201329878 A TW201329878 A TW 201329878A
Authority
TW
Taiwan
Prior art keywords
memory
weight
neural network
rules
update
Prior art date
Application number
TW101141569A
Other languages
English (en)
Other versions
TWI480813B (zh
Inventor
Vladimir Aparin
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201329878A publication Critical patent/TW201329878A/zh
Application granted granted Critical
Publication of TWI480813B publication Critical patent/TWI480813B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/02—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using magnetic elements
    • G11C11/16—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using magnetic elements using elements in which the storage effect is based on magnetic spin effect
    • G11C11/165—Auxiliary circuits
    • G11C11/1673—Reading or sensing circuits or methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Hardware Design (AREA)
  • Semiconductor Memories (AREA)

Abstract

本案內容的某些態樣支援一種以機率性的方式利用記憶體儲存與神經網路的突觸的權重有關的資訊的技術。

Description

以機率性的方式使用記憶體對神經網路的突觸權重進行儲存的方法和裝置
大體而言，本案內容的某些態樣係關於神經系統工程，且更特定言之，涉及以機率性的方式利用記憶體對與神經網路的突觸(synaptic)權重有關的資訊進行儲存的方法和裝置。
神經網路可以具有成百上千的突觸，其中可以在網路訓練期間，對突觸的權重進行學習。在訓練期間，通常使用隨機值對權重進行初始化並且以較小的增量對權重進行改變。通常，在多位元或多級記憶體中儲存突觸權重。然而，在許多情況下，權重可以設置為兩個值之一(權重的雙峰分佈)。因此，使用多位元記憶體來儲存最終的二元權重可能浪費儲存資源。此外，在網路訓練或操作期間定址多位元突觸記憶體可能是速度的瓶頸。
本案內容的某些態樣提供了一種在記憶體中對資訊進行儲存的方法。該方法通常包括針對神經網路中的多個突觸中的每一個突觸，根據學習規則計算該突觸的權重的更新，以及針對該等突觸中的每一個突觸，基於該權重的更新以機率性的方式切換與該突觸相關聯的記憶體內的位置的二元狀態。
本案內容的某些態樣提供了一種用於在記憶體中對資訊進行儲存的裝置。該裝置通常包括第一電路，該第一電路被配置為針對神經網路中的多個突觸中的每一個突觸，根據學習規則計算該突觸的權重的更新，以及第二電路，該第二電路被配置為針對該等突觸中的每一個突觸，基於該權重的更新以機率性的方式切換與該突觸相關聯的記憶體內的位置的二元狀態。
本案內容的某些態樣提供了一種用於在記憶體中對資訊進行儲存的裝置。該裝置通常包括用於針對神經網路中的多個突觸中的每一個突觸，根據學習規則計算該突觸的權重的更新的構件，以及用於針對該等突觸中的每一個突觸，基於該權重的更新以機率性的方式切換與該突觸相關聯的記憶體內的位置的二元狀態的構件。
本案內容的某些態樣提供了一種用於在記憶體中對資訊進行儲存的電腦程式產品。該電腦程式產品通常包括電腦可讀取媒體，該電腦可讀取媒體包括用於針對神經網路中的多個突觸中的每一個突觸，根據學習規則計算該突觸的權重的更新的代碼，以及用於針對該等突觸中的每一個突觸，基於該權重的更新以機率性的方式切換與該突觸相關聯的記憶體內的位置的二元狀態的代碼。
下文參照附圖更充分地描述本案內容的各個態樣。然而，本案內容可以以多種不同的形式體現，並且其不應被 解釋為受限於貫穿本案內容所提供的任何特定的結構或功能。相反，提供該等態樣使得本案內容變得全面和完整，並且將向本領域技藝人士完整地傳達本案內容的範疇。基於本文的教示，本領域技藝人士應當清楚的是，本案內容的範疇意欲涵蓋本文所揭示的揭示內容的任何態樣，無論其是獨立實施的亦是結合本案內容的任何其他態樣實施的。例如，可以使用本文闡述的任意數量的態樣來實施裝置或實踐方法。此外，本案內容的範疇意欲涵蓋此種裝置或方法，亦即，除了使用本文闡述的揭示內容的各個態樣以外，此種裝置或方法亦使用其他結構、功能或者結構和功能來實踐，或者此種裝置或方法使用除了本文闡述的揭示內容的各個態樣以外的其他結構、功能或者結構和功能來實踐。應當理解的是，本文所揭示的揭示內容的任何態樣可以藉由請求項的一或多個要素來體現。
本文中使用的「示例性的」一詞意味著「用作示例、實例或說明」。本文中被描述為「示例性」的任何態樣不應被解釋為比其他態樣更優選或更具優勢。
儘管本文描述了特定的態樣，但是該等態樣的多種變形和置換亦落入本案內容的範疇之內。儘管提及了優選的態樣的一些益處和優點，但是本案內容的範疇並不意欲受限於特定的益處、用途或目標。相反，本發明的態樣意欲可廣泛地應用於不同的技術、系統配置、網路和協定，其中的一些藉由舉例說明的方式在附圖和以下對優選態樣的描述中進行了說明。詳細描述和附圖僅僅是對本案內容的 說明而不是限制，本案內容的範疇由所附各請求項及其均等物進行限定。
示例性的神經系統
圖1圖示根據本案內容的某些態樣的計算網路(例如，神經系統或神經網路)的處理單元(例如，神經元)102的實例100。該神經元102可以接收多個輸入信號1041-104N(x1-xN)，該多個輸入信號1041-104N(x1-xN)可以是神經系統之外的信號，或者由相同的神經系統的其他神經元產生的信號，或者該二者。該輸入信號可以是電流或電壓、實值或複數值。該輸入信號可以包括具有定點表示或浮點表示的數值。可以經由根據可調整的突觸權重1061-106N(w1-wN)對輸入信號進行調節的突觸連接向神經元102傳遞該等輸入信號，其中N可以是神經元102的輸入連接的總數。
神經元102可以結合所調節的輸入信號並且使用所結合的經調節的輸入來產生輸出信號108(亦即，信號y)。該輸出信號108可以是電流或電壓、實值或複數值。該輸出信號可以包括具有定點表示或浮點表示的數值。隨後，可以將輸出信號108作為輸入信號傳送到相同的神經系統的其他神經元，或者作為輸入信號傳送到相同的神經元102，或者作為該神經系統的輸出。
可以藉由電路對處理單元(神經元)102進行仿真，並且可以藉由電線來對處理單元102與突觸電路的輸入連接和輸出連接進行仿真。亦可以藉由軟體代碼對處理單元 102、處理單元102之輸入連接和輸出連接進行仿真。亦可以藉由電路對處理單元102進行仿真，而可以藉由軟體代碼對處理單元102之輸入連接和輸出連接進行仿真。在本案內容的一個態樣中，計算網路中的處理單元102可以包括類比電路。在另一個態樣中，處理單元102可以包括數位電路。在另一個態樣中，處理單元102可以包括具有類比元件和數位元件的混合信號電路。計算網路可以包括具有前面提及的形式中的任意一種形式的處理單元。可以在許多各種不同的應用中利用使用此類處理單元的計算網路(神經系統或神經網路)，該等應用例如是圖像和圖形辨識、機器學習、電動機控制等等。
在神經網路的訓練期間，可以根據學習規則(例如，尖峰時序相關的可塑性(STDP)學習規則、Hebb規則、Oja規則、Bienenstock-Copper-Munro(BCM)規則等等)，使用隨機值對突觸權重(例如，圖1的權重1061-106N)進行初始化並且以較小的增量對突觸權重進行改變。該權重通常可以設置為兩個值之一(亦即，權重的雙峰分佈)。本案內容的某些態樣利用其來減少針對每個突觸權重的位元的數量、增加從儲存突觸權重的記憶體進行讀取和向儲存突觸權重的記憶體進行寫入的速度，並且減少記憶體的功率消耗。
在一個態樣中，多位元記憶體可以用於儲存突觸權重。此種記憶體可以減少給定容量的記憶體中儲存的突觸權重的數量。然而，因為可能需要針對每個權重讀取或寫入 幾個位元，所以突觸權重的讀取和寫入可能更慢。
在另一個態樣中，可以利用類比多級記憶體(例如，基於憶阻器)來儲存突觸權重。然而，此種記憶體存在幾個問題。第一，類比記憶體可能需要精細的寫入，亦即，需要對脈衝幅度和持續時間進行精確的控制。第二，記憶體讀取可能亦需要是精細的，例如，當從記憶體讀取儲存的值時，可能需要對儲存的值進行數位化。第三，對類比多級記憶體的高效克隆可能是不可能的。第四，類比記憶體通常可能具有較差的保持力和可靠性。
以機率性的方式來利用記憶體的方法
為了減少針對每個突觸權重的位元的數量和記憶體儲存權重的功率消耗，本案內容提出了一種以機率性的方式來利用記憶體的方法。根據本案內容的某些態樣，突觸權重(例如，圖1的權重1061-106N)可以表示為記憶體位置的二元狀態(亦即，只有0和1可以儲存在記憶體位置中)。
在神經網路的訓練期間，可以根據權重學習規則(例如，STDP規則、Hebb規則、Oja規則或BCM規則)，對神經網路中的多個突觸中的每一個突觸的權重的更新進行計算。隨後，可以基於權重更新以機率性的方式對與多個突觸相關聯的記憶體位置的二元狀態進行切換。在多個訓練事件以後，每個權重在兩個狀態(0或1)之一中的機率可以與該權重的總的更新成正比，亦即，與最終的權重成正比。
應當注意的是，因為實驗資料指示生物突觸可能趨於具 有權重的雙峰分佈，所以使用二元值表示突觸權重是可能的。此外，可以在一位元的記憶體中儲存二元突觸，從而允許在給定容量的記憶體中儲存更多的突觸。以機率性的方式來儲存突觸權重可以促進對突觸訓練事件進行時間平均，亦即，所訓練的記憶體狀態可以顯示多個訓練事件的累積效果。
圖2圖示根據本案內容的某些態樣以機率性的方式利用記憶體對資訊(例如，突觸權重)進行儲存的實例200。如圖2所示，權重更新模組202可以被配置為根據特定的學習規則來計算與正在被訓練的神經網路的突觸相關聯的權重的更新204。
在本案內容的一個態樣中，介面模組206可以被配置為基於權重的更新204以某一機率來產生信號208(例如，脈衝)。例如，脈衝的符號(正脈衝或負脈衝)可以對應於權重更新204的符號。可以基於脈衝208對代表該特定的權重的記憶體210內的記憶體位置的二元狀態進行切換(亦即，從零變為一，或者反之亦然)。在一個態樣中，切換方向可以基於脈衝208的符號。應當注意的是，對神經網路的突觸權重進行儲存的記憶體210可以包括在記憶體位置中具有二元值的完全決定性記憶體(fully deterministic memory)，其中所儲存的二元值是以機率性的方式獲得的。
藉由應用該方法，記憶體210的大小可以是很小的(例如，針對每個突觸權重為一位元)，此亦可以提供記憶體 功率消耗的下降。此外，由於每個突觸權重可以用一位元的數表示，所以下載和儲存記憶體內容的速度可以很快。
在本案內容的另一個態樣中，對突觸權重進行儲存的記憶體210可以包括機率性的非揮發性二元記憶體。例如，機率性的非揮發性二元記憶體可以基於磁穿隧接面(MTJ)或者自旋力矩轉移(STT)設備。如圖3所示，該等設備可以用作二元電阻式開關，該等開關從一個狀態到另一個狀態的切換是具有基於該寫入電流/電壓幅度和持續時間的機率的機率性事件。在實例302、304中，傳輸的電流306可以用於對磁化方向進行切換。如圖3所示，若磁化方向處於平行狀態(亦即，由於低電阻，該電流306可以很容易地流過鐵磁層)，則二元零可以儲存在STT記憶體的位置中。在另一方面，若磁化方向處於反向平行狀態(亦即，由於高電阻，該電流306流過鐵磁層可能具有某些困難)，則二元一可以儲存在該記憶體位置中。
根據某些態樣，STT記憶體可以實現2：1的高電阻/低電阻比例(例如，比例4 KΩ/2 KΩ)。此外，STT記憶體可以提供極好的保持力(例如，超過10年)和可靠性，同時功率消耗可能非常低。然而，由於隨機熱效應，所以二元狀態之間的切換是機率性的。
應當注意的是，STT記憶體位置中的二元內容的切換的機率可以取決於以下各項中的至少一項：寫入電流的幅度(例如，在0.1-10 mA範圍之內的幅度)或者寫時間(例如，1-100 ns)。如圖4A中的圖表402所示，一旦寫入電 流(例如，圖3的電流306)變為大於第一閾值(例如，如圖4A所示的閾值ILH)，MTJ電阻就可以大幅度地增加(例如，從值404到值406)，並且相應的記憶體位置的值可以切換到二元一。此外，當寫入電流變為小於第二閾值(例如，圖4A的閾值IHL)時，MTJ電阻就可以變得很低(例如，從值408減小為值410)，並且相應的記憶體位置的值可以切換到二元零。
圖4B圖示STT記憶體中的基於電流(脈衝)振幅和寫時間的切換機率的圖表412。從該圖表412可以觀察到的是，更長的寫時間可以針對更低的電流幅度提供相同的切換機率(例如，針對100 ns的寫時間的切換機率圖414對針對3 ns的寫時間的切換機率圖416對針對1 ns的寫時間的切換機率圖418)。
返回參照圖2，模組202可以被配置為根據所挑選的學習規則(例如，基於速率的學習規則或STDP規則)計算每一個權重的突觸權重更新204。在本案內容的一個態樣中，權重更新204的絕對值可以(例如，藉由介面模組206)決定流過STT記憶體設備210的寫入電流212的幅度Iwrite。權重更新的符號可以決定電流212的方向。
在本案內容的一個態樣中，可以使用與權重更新204成正比的Iwrite將新的突觸權重寫入STT記憶體210中。正的Iwrite可以以某一機率將記憶體位置的二元值從零(突觸權重的最小值)切換到一(突觸權重的最大值)。在另一方面，負的Iwrite可以以某一機率將記憶體位置的二元值從 一(突觸權重的最大值)切換到零(突觸權重的最小值)。
前面提到的方法可以針對每個突觸實現非常小的記憶體大小(例如，針對每個突觸僅一個MTJ或STT)。此亦可以幫助降低突觸權重記憶體的功率消耗。此外，記憶體操作可以是非常簡單的，例如，可以僅使用具有某一幅度和方向的寫入電流實現二元狀態之間的切換。
圖5圖示根據本案內容的某些態樣以機率性方式使用記憶體來對資訊進行儲存的示例性操作500。在502，針對神經網路中的多個突觸中的每一個突觸，根據學習規則計算該突觸的權重的更新。在504，可以基於權重的更新以機率性的方式切換與該突觸相關聯的記憶體內的位置的二元狀態。在一個態樣中，神經網路可以包括尖峰神經網路(spiking neural network)。在另一個態樣中，神經網路可以包括基於速率的神經網路(rate-based network)。
在本案內容的一個態樣中，以機率性的方式切換二元狀態可以包括基於權重的更新以機率產生脈衝，並且使用該脈衝切換記憶體位置的二元狀態。例如，機率可以與權重更新的絕對值成正比，並且切換的方向可以基於權重更新的符號。
在本案內容的另一態樣中，權重更新的絕對值可以決定流過記憶體位置的電流的幅度，並且權重更新的符號可以決定流過記憶體位置的電流的方向。可以基於電流的方向以機率切換記憶體位置的二元狀態。例如，機率可以與電流的幅度成正比。
在一個態樣中，記憶體可以包括機率性的非揮發性二元記憶體。此外，機率性的非揮發性二元記憶體可以包括STT記憶體。
根據本案內容的某些態樣，前面提到的學習規則可以包括尖峰神經網路以及基於速率的神經網路的權重學習規則。例如，尖峰神經網路和基於速率的神經網路的權重學習規則可以包括以下各項中的至少一項：STDP規則、Hebb規則、Oja規則或者Bienenstock-Cooper-Munro(BCM)規則。
圖6圖示根據本案內容的某些態樣的前面提到的利用通用處理器602的機率性記憶體使用的示例性軟體實施600。與計算網路(神經網路)的每個處理單元(神經元)相關聯的現有權重可以儲存在記憶體區塊604中，同時可以從程式記憶體606中下載在通用處理器602處執行的與機率性記憶體使用有關的指令。根據本案內容的某些態樣，所下載的指令可以包括用於針對神經網路中的多個突觸中的每一個突觸，根據學習規則計算該突觸的權重的更新的代碼。此外，所下載的指令可以包括用於針對突觸中的每一個突觸基於權重的更新以機率性的方式切換與該突觸相關聯的記憶體區塊604內的位置的二元狀態的代碼。
圖7圖示根據本案內容的某些態樣的前面提到的機率性記憶體使用的示例性實施700，其中權重記憶體702經由互連網路704與計算網路(神經網路)的單獨的(分散式) 處理單元(神經元)介面連接。可以經由互連網路704的連接從記憶體702向處理單元706下載與處理單元706相關聯的至少一個現有權重。處理單元706可以被配置為針對與該處理單元(神經元)706相關聯的神經網路中的多個突觸中的每一個突觸，根據學習規則計算該突觸的權重的更新。此外，處理單元706可以被配置為針對突觸中的每一個突觸，基於權重的更新以機率性的方式切換與該突觸相關聯的記憶體702內的位置的二元狀態。
圖8圖示根據本案內容的某些態樣的前面提到的基於分散式權重記憶體802和分散式處理單元804的機率性記憶體使用的示例性實施800。如圖8所示，一個權重記憶體組802可以直接與計算網路(神經網路)的一個處理單元(神經元)804介面連接，其中該記憶體組802可以儲存與該處理單元804相關聯的至少一個現有權重。處理單元804可以被配置為針對與該處理單元(神經元)804相關聯的神經網路中的多個突觸中的每一個突觸，根據學習規則計算該突觸的權重的更新。此外，處理單元804可以被配置為針對突觸中的每一個突觸，基於權重的更新以機率性的方式切換與該特定的處理單元(神經元)804相關聯的記憶體組802內的該突觸的記憶體位置的二元狀態。
儘管本文的實施例被示出為用於尖峰神經網路，但是將該等概念用於包括但不限於基於速率的神經網路的其他神經網路類型亦在本案內容的範疇內。
上文所描述的方法的各種操作可以由能夠執行相應功 能的任何適當的構件來執行。該構件可以包括各種硬體及/或軟體元件及/或模組，其包括但不限於電路、特殊應用積體電路(ASIC)或處理器。通常，在存在附圖中示出的操作的情況下，該等操作可以具有使用相似編號的相應的配對的手段功能元件。例如，圖5示出的操作500對應於圖5A示出的元件500A。
如本文所使用的，術語「決定」涵蓋多種多樣的動作。例如，「決定」可以包括運算、計算、處理、匯出、調查、查詢(例如，查詢表、資料庫或另一個資料結構)、查明等等。此外，「決定」可以包括接收(例如，接收資訊)、存取(例如，存取記憶體中的資料)等等。此外，「決定」可以包括解析、選擇、挑選、建立等等。
如本文所使用的，提及項目列表中的「至少一個」的用語是指該等項目的任意組合，其包括單個要素。舉例而言，「a、b或c中的至少一個」意欲涵蓋：a、b、c、a-b、a-c、b-c和a-b-c。
上文所描述的方法的各種操作可以由能夠執行該等操作的任何適當的構件(例如，各種硬體及/或軟體元件、電路及/或模組)來執行。通常，附圖中示出的任何操作可以由能夠執行該等操作的相應功能構件來執行。
被設計用於執行本文所描述的功能的通用處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式設計閘陣列信號(FPGA)或其他可程式設計邏輯裝置(PLD)、個別閘門或者電晶體邏輯裝置、個別硬體元件或 者其任意組合，可以實施或執行結合本案內容所描述的各種示例性的邏輯區塊、模組和電路。通用處理器可以是微處理器，或者，該處理器可以是任何商業可購得的處理器、控制器、微控制器或者狀態機。處理器亦可以實施為計算設備的組合，例如，DSP和微處理器的組合、多個微處理器、一或多個微處理器與DSP核心的結合，或者任何其他此種結構。
結合本案內容所描述的方法或演算法的步驟可以直接體現在硬體中、由處理器執行的軟體模組中或該二者的組合中。軟體模組可以常駐於本領域中公知的任意形式的儲存媒體中。可以使用的儲存媒體的一些實例包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體、EPROM記憶體、EEPROM記憶體、暫存器、硬碟、可移除磁碟、CD-ROM等等。軟體模組可以包括單個指令或者多個指令，並且可以分佈在多個不同的程式碼片段上、分佈在不同的程式之間以及分佈在多個儲存媒體上。儲存媒體可以耦合到處理器，從而使處理器能夠從該儲存媒體讀取資訊，並且可以向該儲存媒體寫入資訊。或者，儲存媒體可以整合到處理器。
本文所揭示的方法包括用於實現所描述的方法的一或多個步驟或動作。在不脫離申請專利範圍的範疇的基礎上，該等方法步驟及/或動作可以相互交換。換言之，除非指定步驟或動作的特定順序，否則在不脫離申請專利範圍的範疇的基礎上，可以修改特定步驟及/或動作的順序及/ 或使用。
所描述的功能可以用硬體、軟體、韌體或其任意組合來實施。若用軟體實施，則可以將該等功能作為一或多個指令或代碼儲存或者發送到電腦可讀取媒體上。電腦可讀取媒體包括電腦儲存媒體和通訊媒體二者，其中通訊媒體包括促進從一個地方向另一個地方傳送電腦程式的任何媒體。儲存媒體可以是電腦能夠存取的任何可用的媒體。舉例而言(但並非限制)，此種電腦可讀取媒體可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存裝置，或者能夠用於攜帶或儲存具有指令或資料結構形式的期望的程式碼並且能夠由電腦進行存取的任何其他媒體。此外，將任何連接適當地稱作電腦可讀取媒體。例如，若軟體是使用同軸電纜、光纖電纜、雙絞線、數位用戶線路(DSL)或者諸如紅外線、無線電和微波的無線技術從網站、伺服器或其他遠端源發送的，則該同軸電纜、光纖電纜、雙絞線、DSL或者諸如紅外線、無線電和微波的無線技術包括在該媒體的定義中。本文所使用的磁碟和光碟包括壓縮光碟(CD)、鐳射光碟、光碟、數位多功能光碟(DVD)、軟碟和藍光®光碟，其中磁碟通常磁性地再現資料，而光碟用鐳射光學地再現資料。因此，在一些態樣中，電腦可讀取媒體可以包括非暫時性電腦可讀取媒體(例如，有形媒體)。此外，對於其他態樣而言，電腦可讀取媒體可以包括暫時性電腦可讀取媒體(例如，信號)。上面各項的組合亦應包括在電腦 可讀取媒體的範疇內。
因此，某些態樣可以包括用於執行本文提供的操作的電腦程式產品。例如，此種電腦程式產品可以包括其上儲存有(及/或編碼有)指令的電腦可讀取媒體，可以由一或多個處理器執行該等指令以執行本文所描述的操作。對於某些態樣而言，電腦程式產品可以包括封裝材料。
軟體或指例亦可以在傳輸媒體上進行傳輸。例如，若軟體是使用同軸電纜、光纖電纜、雙絞線、數位用戶線路(DSL)或者諸如紅外線、無線電和微波的無線技術從網站、伺服器或其他遠端源發送的，則同軸電纜、光纖電纜、雙絞線、DSL或者諸如紅外線、無線電和微波的無線技術包括在傳輸媒體的定義中。
此外，應當清楚的是，用於執行本文所描述的方法和技術的模組及/或其他適當構件可以由使用者終端及/或基地台根據情況進行下載及/或以其他方式獲得。例如，此種設備可以耦合到伺服器，以促進實現用於執行本文所描述的方法的構件的傳送。或者，本文所描述的各種方法可以經由儲存構件(例如，RAM、ROM、諸如壓縮光碟(CD)或軟碟的實體儲存媒體等等)來提供，使得使用者終端及/或基地台可以在將儲存構件耦合到或提供給該設備之後獲得各種方法。此外，亦可以使用用於向設備提供本文所描述的方法和技術的任何其他適當的技術。
應當理解的是，請求項並不受限於上文示出的精確配置和元件。在不偏離請求項的範疇的基礎上，可以對上文所 描述的方法和裝置的排列、操作和細節做出各種修改、改變和變化。
儘管上述內容係針對本案內容的各個態樣，但是在不脫離本案內容的基本範疇的基礎上，可以設想本案內容的其他和另外態樣，並且本案內容的範疇由隨後的申請專利範圍進行決定。
100‧‧‧實例
102‧‧‧處理單元/神經元
1041‧‧‧輸入信號
104i‧‧‧輸入信號
104N‧‧‧輸入信號
1061‧‧‧突觸權重
106i‧‧‧突觸權重
106N‧‧‧突觸權重
108‧‧‧輸出信號
200‧‧‧實例
202‧‧‧權重更新模組
204‧‧‧權重更新
206‧‧‧介面模組
208‧‧‧脈衝
210‧‧‧STT記憶體
212‧‧‧寫入電流
302‧‧‧實例
304‧‧‧實例
306‧‧‧電流
402‧‧‧圖表
404‧‧‧值
406‧‧‧值
408‧‧‧值
410‧‧‧值
412‧‧‧圖表
414‧‧‧切換機率圖
416‧‧‧切換機率圖
500‧‧‧操作
500A‧‧‧元件
502‧‧‧步驟
502A‧‧‧步驟
504‧‧‧步驟
504A‧‧‧步驟
600‧‧‧軟體實施
602‧‧‧通用處理器
604‧‧‧記憶體區塊
606‧‧‧程式記憶體
700‧‧‧實施
702‧‧‧記憶體
704‧‧‧互連網路
706‧‧‧處理單元
800‧‧‧實施
802‧‧‧權重記憶體組/分散式權重記憶體
804‧‧‧處理單元/神經元
為了可以詳細地理解本案內容的上述特徵的方式，針對上面的簡要概括參考各個態樣提供了更具體的描述，在附圖中對該等態樣中的一些態樣進行了說明。然而，應該注意的是，由於描述可以准許其他等同的有效態樣，因此附圖僅圖示本案內容的某些典型的態樣，因此不應被認為對本揭示案之範疇進行限制。
圖1圖示根據本案內容的某些態樣的神經系統的示例性處理單元。
圖2圖示根據本案內容的某些態樣用於以機率性的方式利用記憶體對資訊進行儲存的實例。
圖3圖示根據本案內容的某些態樣的自旋力矩轉移(STT)記憶體的實例。
圖4A-4B圖示根據本案內容的某些態樣與STT記憶體的機率性切換有關的示例性圖表。
圖5圖示根據本案內容的某些態樣以機率性的方式來使用記憶體的示例性操作。
圖5A圖示能夠執行圖5示出的操作的示例性元件。
圖6圖示根據本案內容的某些態樣利用通用處理器的機率性記憶體使用的示例性軟體實施。
圖7圖示根據本案內容的某些態樣在權重記憶體與單個分散式處理單元介面連接的情況下的機率性記憶體使用的示例性實施。
圖8圖示根據本案內容的某些態樣基於分散式權重記憶體和分散式處理單元的機率性記憶體使用的示例性實施。
500‧‧‧操作
502‧‧‧步驟
504‧‧‧步驟

Claims (40)

  1. 一種在一記憶體中對資訊進行儲存的方法，該方法包括以下步驟：針對一神經網路中的多個突觸中的每一個突觸，根據一學習規則計算該突觸的一權重的一更新；及針對該突觸中的每一個突觸，基於該權重的更新以機率性的方式切換與該突觸相關聯的該記憶體內的一位置的一二元狀態。
  2. 如請求項1所述之方法，其中以該機率性的方式切換該二元狀態之步驟包括以下步驟：基於該權重的更新以一機率產生一脈衝；及使用該脈衝切換該記憶體位置的二元狀態。
  3. 如請求項2所述之方法，其中該機率與該權重的更新的一絕對值成正比。
  4. 如請求項2所述之方法，其中該切換的方向基於該權重的更新的一符號。
  5. 如請求項1所述之方法，其中：該權重的更新的一絕對值決定流過該記憶體位置的電流的一幅度； 該權重的更新的一符號決定流過該記憶體位置的該電流的一方向，並且該方法進一步包括以下步驟：基於該方向，以一機率切換該記憶體位置的二元狀態。
  6. 如請求項5所述之方法，其中該機率與該電流的幅度成正比。
  7. 如請求項1所述之方法，其中該記憶體包括一機率性的非揮發性二元記憶體。
  8. 如請求項7所述之方法，其中該機率性的非揮發性二元記憶體包括一自旋力矩轉移(STT)記憶體。
  9. 如請求項1所述之方法，其中該學習規則包括尖峰神經網路和基於速率的神經網路的權重學習規則。
  10. 如請求項9所述之方法，其中該尖峰神經網路和基於速率的神經網路的權重學習規則包括以下各項中的至少一項：尖峰時序相關的可塑性(STDP)規則、Hebb規則、Oja規則或者Bienenstock-Cooper-Munro(BCM)規則。
  11. 一種用於在一記憶體中對資訊進行儲存的裝置，包括：第一電路，其被配置為針對一神經網路中多個突觸中的每一個突觸，根據一學習規則計算該突觸的一權重的一更 新；及第二電路，其被配置為針對該等突觸中的每一個突觸，基於該權重的更新以機率性的方式切換與該突觸相關聯的該記憶體內的一位置的一二元狀態。
  12. 如請求項11所述之裝置，其中該第二電路亦被配置為：基於該權重的更新以一機率產生一脈衝；及使用該脈衝切換該記憶體位置的二元狀態。
  13. 如請求項12所述之裝置，其中該機率與該權重的更新的一絕對值成正比。
  14. 如請求項12所述之裝置，其中該切換的方向基於該權重的更新的符號。
  15. 如請求項11所述之裝置，其中：該權重的更新的一絕對值決定流過該記憶體位置的電流的一幅度；該權重的更新的一符號決定流過該記憶體位置的該電流的一方向，並且該第二電路亦被配置為：基於該方向，以一機率切換該記憶體位置的二元狀態。
  16. 如請求項15所述之裝置，其中該機率與該電流的幅度成正比。
  17. 如請求項11所述之裝置，其中該記憶體包括一機率性的非揮發性二元記憶體。
  18. 如請求項17所述之裝置，其中該機率性的非揮發性二元記憶體包括一自旋力矩轉移(STT)記憶體。
  19. 如請求項11所述之裝置，其中該學習規則包括尖峰神經網路和基於速率的神經網路的權重學習規則。
  20. 如請求項19所述之裝置，其中該尖峰神經網路和基於速率的神經網路的權重學習規則包括以下各項中的至少一項：尖峰時序相關的可塑性(STDP)規則、Hebb規則、Oja規則或者Bienenstock-Cooper-Munro(BCM)規則。
  21. 一種用於在一記憶體中對資訊進行儲存的裝置，包括：構件，用於針對一神經網路中的多個突觸中的每一個突觸，根據一學習規則計算該突觸的一權重的一更新；及構件，用於針對該等突觸中的每一個突觸，基於該權重的更新以機率性的方式切換與該突觸相關聯的該記憶體內的一位置的一二元狀態。
  22. 如請求項21所述之裝置，其中該用於以該機率性的方式切換該二元狀態的構件包括： 構件，用於基於該權重的更新以一機率產生一脈衝；及構件，用於使用該脈衝對該記憶體位置的該二元狀態進行切換。
  23. 如請求項22所述之裝置，其中該機率與該權重的更新的一絕對值成正比。
  24. 如請求項22所述之裝置，其中該切換的方向基於該權重的更新的一符號。
  25. 如請求項21所述之裝置，其中：該權重的更新的一絕對值決定流過該記憶體位置的電流的一幅度；該權重的更新的一符號決定流過該記憶體位置的該電流的一方向，並且該裝置進一步包括：構件，用於基於該方向，以一機率切換該記憶體位置的二元狀態。
  26. 如請求項25所述之裝置，其中該機率與該電流的幅度成正比。
  27. 如請求項21所述之裝置，其中該記憶體包括一機率性的非揮發性二元記憶體。
  28. 如請求項27所述之裝置，其中該機率性的非揮發性二元記憶體包括一自旋力矩轉移(STT)記憶體。
  29. 如請求項21所述之裝置，其中該學習規則包括尖峰神經網路和基於速率的神經網路的權重學習規則。
  30. 如請求項29所述之裝置，其中該尖峰神經網路和基於速率的神經網路的權重學習規則包括以下各項中的至少一項：尖峰時序相關的可塑性(STDP)規則、Hebb規則、Oja規則或者Bienenstock-Cooper-Munro(BCM)規則。
  31. 一種用於在一記憶體中對資訊進行儲存的電腦程式產品，一電腦可讀取媒體包括用於進行以下操作的代碼：針對一神經網路中的多個突觸中的每一個突觸，根據一學習規則計算該突觸的一權重的一更新；及針對該突觸中的每一個突觸，基於該權重的更新以機率性的方式切換與該突觸相關聯的該記憶體中的一位置的一二元狀態。
  32. 如請求項31所述之電腦程式產品，其中該電腦可讀取媒體進一步包括用於進行以下操作的代碼：基於該權重的更新以一機率產生一脈衝；及使用該脈衝切換該記憶體位置的二元狀態。
  33. 如請求項32所述之電腦程式產品，其中該機率與該權重的更新的一絕對值成正比。
  34. 如請求項32所述之電腦程式產品，其中該切換的方向基於該權重的更新的一符號。
  35. 如請求項31所述之電腦程式產品，其中：該權重的更新的一絕對值決定流過該記憶體位置的電流的一幅度；該權重的更新的一符號決定流過該記憶體位置的該電流的一方向，並且該電腦可讀取媒體進一步包括用於進行以下操作的代碼：基於該方向，以一機率切換該記憶體位置的二元狀態。
  36. 如請求項35所述之電腦程式產品，其中該機率與該電流的幅度成正比。
  37. 如請求項31所述之電腦程式產品，其中該記憶體包括一機率性的非揮發性二元記憶體。
  38. 如請求項37所述之電腦程式產品，其中該機率性的非揮發性二元記憶體包括一自旋力矩轉移(STT)記憶體。
  39. 如請求項31所述之電腦程式產品，其中該學習規則包 括尖峰神經網路和基於速率的神經網路的權重學習規則。
  40. 如請求項39所述之電腦程式產品，其中該尖峰神經網路和基於速率的神經網路的權重學習規則包括以下各項中的至少一項：尖峰時序相關的可塑性(STDP)規則、Hebb規則、Oja規則或者Bienenstock-Cooper-Munro(BCM)規則。
TW101141569A 2011-11-09 2012-11-08 以機率性的方式使用記憶體對神經網路的突觸權重進行儲存的方法和裝置 TWI480813B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/292,161 US9111222B2 (en) 2011-11-09 2011-11-09 Method and apparatus for switching the binary state of a location in memory in a probabilistic manner to store synaptic weights of a neural network

Publications (2)

Publication Number Publication Date
TW201329878A true TW201329878A (zh) 2013-07-16
TWI480813B TWI480813B (zh) 2015-04-11

Family

ID=47459084

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101141569A TWI480813B (zh) 2011-11-09 2012-11-08 以機率性的方式使用記憶體對神經網路的突觸權重進行儲存的方法和裝置

Country Status (8)

Country Link
US (1) US9111222B2 (zh)
EP (1) EP2776988B1 (zh)
JP (1) JP5989790B2 (zh)
KR (1) KR101611222B1 (zh)
CN (1) CN103917992B (zh)
IN (1) IN2014CN03106A (zh)
TW (1) TWI480813B (zh)
WO (1) WO2013070612A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI653584B (zh) 2017-09-15 2019-03-11 中原大學 利用非揮發性記憶體完成類神經網路訓練的方法

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9542643B2 (en) * 2013-05-21 2017-01-10 Qualcomm Incorporated Efficient hardware implementation of spiking networks
US9305256B2 (en) * 2013-10-02 2016-04-05 Qualcomm Incorporated Automated method for modifying neural dynamics
US10373050B2 (en) * 2015-05-08 2019-08-06 Qualcomm Incorporated Fixed point neural network based on floating point neural network quantization
US10049322B2 (en) * 2015-05-21 2018-08-14 Google Llc Prefetching weights for use in a neural network processor
US20170083813A1 (en) * 2015-09-23 2017-03-23 Charles Augustine Electronic neural network circuit having a resistance based learning rule circuit
US10387778B2 (en) * 2015-09-29 2019-08-20 International Business Machines Corporation Scalable architecture for implementing maximization algorithms with resistive devices
US9734880B1 (en) 2016-04-01 2017-08-15 Intel Corporation Apparatuses, methods, and systems for stochastic memory circuits using magnetic tunnel junctions
CN107368888B (zh) * 2016-05-11 2021-05-25 上海磁宇信息科技有限公司 类脑计算系统及其突触
GB2552014B (en) 2016-07-07 2020-05-13 Advanced Risc Mach Ltd Reconfigurable artificial neural networks comprising programmable non-volatile memory elements
JP6724646B2 (ja) * 2016-08-10 2020-07-15 Tdk株式会社 磁気抵抗効果素子、熱履歴センサおよびスピングラス利用型磁気メモリ
US11263521B2 (en) 2016-08-30 2022-03-01 International Business Machines Corporation Voltage control of learning rate for RPU devices for deep neural network training
JP6743641B2 (ja) * 2016-10-18 2020-08-19 Tdk株式会社 磁場変調機構、磁場変調素子、アナログメモリ素子、及び、高周波フィルタ
EP3324343A1 (en) * 2016-11-21 2018-05-23 Centre National de la Recherche Scientifique Unsupervised detection of repeating patterns in a series of events
KR102656190B1 (ko) 2016-11-24 2024-04-11 삼성전자주식회사 불휘발성 메모리 장치를 포함하는 스토리지 장치 및 불휘발성 메모리 장치의 액세스 방법
CN108154226B (zh) * 2016-12-06 2021-09-03 上海磁宇信息科技有限公司 一种使用模拟计算的神经网络芯片
CN108154225B (zh) * 2016-12-06 2021-09-03 上海磁宇信息科技有限公司 一种使用模拟计算的神经网络芯片
CN107103358A (zh) * 2017-03-24 2017-08-29 中国科学院计算技术研究所 基于自旋转移力矩磁存储器的神经网络处理方法及系统
WO2018182694A1 (en) * 2017-03-31 2018-10-04 Intel Corporation Methods and apparatus for magnetoelectric neurons in neural networks
US10331368B2 (en) * 2017-04-03 2019-06-25 Gyrfalcon Technology Inc. MLC based magnetic random access memory used in CNN based digital IC for AI
US10534996B2 (en) * 2017-04-03 2020-01-14 Gyrfalcon Technology Inc. Memory subsystem in CNN based digital IC for artificial intelligence
US10552733B2 (en) * 2017-04-03 2020-02-04 Gyrfalcon Technology Inc. Memory subsystem in CNN based digital IC for artificial intelligence
US10296824B2 (en) * 2017-04-03 2019-05-21 Gyrfalcon Technology Inc. Fabrication methods of memory subsystem used in CNN based digital IC for AI
US10331367B2 (en) * 2017-04-03 2019-06-25 Gyrfalcon Technology Inc. Embedded memory subsystems for a CNN based processing unit and methods of making
US10546234B2 (en) * 2017-04-03 2020-01-28 Gyrfalcon Technology Inc. Buffer memory architecture for a CNN based processing unit and creation methods thereof
US10331999B2 (en) * 2017-04-03 2019-06-25 Gyrfalcon Technology Inc. Memory subsystem in CNN based digital IC for artificial intelligence
KR20180116671A (ko) * 2017-04-17 2018-10-25 에스케이하이닉스 주식회사 감산기를 가진 포스트-시냅틱 뉴런을 포함하는 뉴로모픽 소자 및 뉴로모픽 소자의 시냅스 네트워크
TWI625681B (zh) 2017-05-11 2018-06-01 國立交通大學 神經網路處理系統
KR102534917B1 (ko) * 2017-08-16 2023-05-19 에스케이하이닉스 주식회사 신경망 처리 회로를 구비하는 메모리 장치 및 이를 포함하는 메모리 시스템
US11556343B2 (en) 2017-09-22 2023-01-17 International Business Machines Corporation Computational method for temporal pooling and correlation
US11301753B2 (en) 2017-11-06 2022-04-12 Samsung Electronics Co., Ltd. Neuron circuit, system, and method with synapse weight learning
US11138493B2 (en) 2017-12-22 2021-10-05 International Business Machines Corporation Approaching homeostasis in a binary neural network
CN108053029B (zh) * 2017-12-27 2021-08-27 上海闪易半导体有限公司 一种基于存储阵列的神经网络的训练方法
US11321608B2 (en) 2018-01-19 2022-05-03 International Business Machines Corporation Synapse memory cell driver
KR102117658B1 (ko) 2018-04-05 2020-06-01 광운대학교 산학협력단 뉴로모픽 시스템에 적용가능한 멤리스터 및 용액 공정에 기반한 금속산화물을 포함하는 멤리스터의 제조 방법
US11200484B2 (en) 2018-09-06 2021-12-14 International Business Machines Corporation Probability propagation over factor graphs
US11599785B2 (en) 2018-11-13 2023-03-07 International Business Machines Corporation Inference focus for offline training of SRAM inference engine in binary neural network
CN110135571B (zh) * 2019-04-11 2023-09-29 上海集成电路研发中心有限公司 一种基于细胞突触结构的单层线性神经网络
KR102314079B1 (ko) * 2019-05-23 2021-10-18 포항공과대학교 산학협력단 퓨즈 소자를 이용한 인공 신경망 하드웨어 시스템 및 이를 이용한 가지치기 방법
JP7383528B2 (ja) * 2020-03-03 2023-11-20 株式会社東芝 スパイキングニューラルネットワーク装置およびスパイキングニューラルネットワーク装置の学習方法
CN113496273B (zh) * 2020-04-03 2024-05-14 中国科学院苏州纳米技术与纳米仿生研究所 磁性隧道结以及神经元非线性响应器件
US11556790B2 (en) 2020-09-30 2023-01-17 Micron Technology, Inc. Artificial neural network training in memory
KR102515089B1 (ko) * 2020-10-22 2023-03-27 경북대학교 산학협력단 초저전력 소비를 위한 스파이킹 뉴럴 네트워크(snn) 하드웨어의 동작 방법, 이를 수행하기 위한 회로
WO2024204806A1 (ja) * 2023-03-30 2024-10-03 国立大学法人東北大学 ニューラルネットワーク装置及び動作条件決定方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3341823A (en) 1965-01-07 1967-09-12 Melpar Inc Simplified statistical switch
US4999525A (en) * 1989-02-10 1991-03-12 Intel Corporation Exclusive-or cell for pattern matching employing floating gate devices
US4904881A (en) * 1989-02-10 1990-02-27 Intel Corporation EXCLUSIVE-OR cell for neural network and the like
CA2112111A1 (en) * 1991-06-21 1993-01-07 Trevor Grant Clarkson Devices for use in neural processing
WO1993018474A1 (en) 1992-03-11 1993-09-16 University College London Devices for use in neural processing
US7034701B1 (en) 2000-06-16 2006-04-25 The United States Of America As Represented By The Secretary Of The Navy Identification of fire signatures for shipboard multi-criteria fire detection systems
US20050105463A1 (en) * 2002-02-05 2005-05-19 Gustavo Deco Method for classifying the traffic dynamism of a network communication using a network that contains pulsed neurons, neuronal network and system for carrying out said method
US6948102B2 (en) 2002-04-29 2005-09-20 International Business Machines Corporation Predictive failure analysis for storage networks
US6844582B2 (en) 2002-05-10 2005-01-18 Matsushita Electric Industrial Co., Ltd. Semiconductor device and learning method thereof
US6999953B2 (en) 2002-07-03 2006-02-14 Energy Conversion Devices, Inc. Analog neurons and neurosynaptic networks
US7502769B2 (en) 2005-01-31 2009-03-10 Knowmtech, Llc Fractal memory and computational methods and systems based on nanotechnology
US7930257B2 (en) 2007-01-05 2011-04-19 Knowm Tech, Llc Hierarchical temporal memory utilizing nanotechnology
US7962429B2 (en) 2007-05-24 2011-06-14 Paul Adams Neuromorphic device for proofreading connection adjustments in hardware artificial neural networks
TW200924426A (en) 2007-11-26 2009-06-01 Chunghwa Telecom Co Ltd Intrusion detection method using multi-layer artificial neural network
TW200923803A (en) 2007-11-26 2009-06-01 Univ Nat Taipei Technology Hardware neural network learning and recall architecture
US20110004579A1 (en) * 2008-03-14 2011-01-06 Greg Snider Neuromorphic Circuit
TW201010407A (en) 2008-08-19 2010-03-01 Univ Nat Kaohsiung Applied Sci Color image noise reduction method using particle swarm optimization and cellular neural network
US7978510B2 (en) * 2009-03-01 2011-07-12 International Businesss Machines Corporation Stochastic synapse memory element with spike-timing dependent plasticity (STDP)
US8250010B2 (en) * 2009-05-21 2012-08-21 International Business Machines Corporation Electronic learning synapse with spike-timing dependent plasticity using unipolar memory-switching elements
US8200371B2 (en) 2009-06-25 2012-06-12 Qualcomm Incorporated Prediction engine to control energy consumption
TWI391699B (zh) 2009-11-27 2013-04-01 Univ Shu Te 使用改良式機率類神經網路之定位方法
US9342780B2 (en) * 2010-07-30 2016-05-17 Hewlett Packard Enterprise Development Lp Systems and methods for modeling binary synapses
US8856055B2 (en) 2011-04-08 2014-10-07 International Business Machines Corporation Reconfigurable and customizable general-purpose circuits for neural networks

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI653584B (zh) 2017-09-15 2019-03-11 中原大學 利用非揮發性記憶體完成類神經網路訓練的方法

Also Published As

Publication number Publication date
EP2776988A1 (en) 2014-09-17
US20130117209A1 (en) 2013-05-09
IN2014CN03106A (zh) 2015-08-14
CN103917992B (zh) 2017-10-20
CN103917992A (zh) 2014-07-09
KR20140092877A (ko) 2014-07-24
JP2015501972A (ja) 2015-01-19
EP2776988B1 (en) 2019-04-17
JP5989790B2 (ja) 2016-09-07
WO2013070612A1 (en) 2013-05-16
KR101611222B1 (ko) 2016-04-11
TWI480813B (zh) 2015-04-11
US9111222B2 (en) 2015-08-18

Similar Documents

Publication Publication Date Title
TWI480813B (zh) 以機率性的方式使用記憶體對神經網路的突觸權重進行儲存的方法和裝置
US10902317B2 (en) Neural network processing system
CN111279366B (zh) 人工神经网络的训练
JP2018014114A (ja) ニューロプロセッサにおける交換可能なシナプス荷重記憶装置に関する方法及びシステム
US8606732B2 (en) Methods and systems for reward-modulated spike-timing-dependent-plasticity
CN110352436A (zh) 用于神经网络训练的具有迟滞更新的电阻处理单元
US9767408B1 (en) Multi-memristive synapse with clock-arbitrated weight update
US9830981B2 (en) Neuromorphic memory circuit using a leaky integrate and fire (LIF) line to transmit axon LIF pulse and a conductive denrite LIF line
CN107194462A (zh) 三值神经网络突触阵列及利用其的神经形态计算网络
US11301752B2 (en) Memory configuration for implementing a neural network
Zhou et al. A new hardware implementation approach of BNNs based on nonlinear 2T2R synaptic cell
EP3273390B1 (en) Hardware implementation of a temporal memory system
US11347999B2 (en) Closed loop programming of phase-change memory
Yakopcic et al. Determining optimal switching speed for memristors in neuromorphic system
JP7442625B2 (ja) 相変化メモリ・シナプスのプログラム中にドリフト係数外れ値を抑制すること
US9785885B1 (en) Arbitration schema based on a global clock

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees