TWI625681B - 神經網路處理系統 - Google Patents

神經網路處理系統 Download PDF

Info

Publication number
TWI625681B
TWI625681B TW106115591A TW106115591A TWI625681B TW I625681 B TWI625681 B TW I625681B TW 106115591 A TW106115591 A TW 106115591A TW 106115591 A TW106115591 A TW 106115591A TW I625681 B TWI625681 B TW I625681B
Authority
TW
Taiwan
Prior art keywords
weight value
synapse
neural network
external
processing system
Prior art date
Application number
TW106115591A
Other languages
English (en)
Other versions
TW201901533A (zh
Inventor
侯拓宏
張志丞
劉仁傑
Original Assignee
國立交通大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立交通大學 filed Critical 國立交通大學
Priority to TW106115591A priority Critical patent/TWI625681B/zh
Priority to CN201710455266.9A priority patent/CN107341539B/zh
Priority to US15/649,340 priority patent/US10902317B2/en
Application granted granted Critical
Publication of TWI625681B publication Critical patent/TWI625681B/zh
Publication of TW201901533A publication Critical patent/TW201901533A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本發明提供一種神經網路處理系統，包括至少一突觸，突觸係接收一輸入信號，突觸具有一外部權重值及一內部權重值，內部權重值會經由外部刺激而產生變化，當內部權重值之變化累積至一臨界值時，會同時改變外部權重值，使得輸入信號乘上突觸的外部權重值會產生一權重訊號，一神經元電路係連接突觸，以接收突觸所傳輸的權重訊號，並可計算這些權重訊號以輸出。本發明可以同時加速深度學習中的預測及學習功能，並可實現高精確度且具即時學習能力的硬體神經網路。

Description

神經網路處理系統
本發明係關於一種類神經網路的系統，特別是一種經改良後的神經網路處理系統。
隨著軟體技術的開發，軟體定義之神經網路的深度學習，藉由通用的學習過程，大大提升了人工智慧的能力，如圖像識別，語音識別，自然語言理解和決策。一種硬體神經網路(Hardware Neural Networks，HNN)的出現，更進一步地降低了深度學習系統的硬體尺寸、成本及功耗。
HNN係由通過突觸而相互連接的神經元網路組成，HNN可以有成千上萬個突觸，其中可以在訓練期間，優化突觸(synapse)的權重(weight)。請參照第一圖所示，例如一神經元10可以接收多個輸入信號12，在突觸14的訓練過程中，權重142通常用隨機值初始化，並藉由微幅的增量以進行改變。通常，突觸14的權重142會存儲在多位元(multi-bit；multi-level)的記憶體裝置(memory)中。其中，電阻式隨機存取記憶體(Resistive RAM，RRAM)的類比多位準特性可用於儲存突觸的權重，使用高密度交錯式RRAM之突觸陣列更加特別，因為它們可以通過分佈式權重之儲存，完全並行矩陣向量之乘法及權重之更新，以顯著提高學習效率。
然而，這種RRAM會有幾個問題，首先，類比多位準RRAM在技術上遠不如二元的RRAM成熟。第二，類比多位準RRAM可能需要複雜的寫入步驟，也就是可能需要精確控制脈衝幅度及持續時間，而非理想的類比行為，例如有限的精確度及權重的非線性更新都會損害最後HNN性能。第三，類比RRAM元件通常具有較差的資料保存時間及可靠性。
利用簡單的二元RRAM可以改善類比RRAM的缺點，這一般是採取兩種不同的方法達成，一個是使用多個隨機二元RRAM單元，以表示單一類比權重，但權重精確度只能藉由提高網路密度而增加，因此會限制網路規模；另一種方法是僅使用單一RRAM單元表示二元權重，在這種情況下，雖然在耗時的離線(offline)訓練後可以實現高精確度的推論能力，但是權重的精確度不足，導致無法加速在線(online)訓練。
有鑑於此，本發明提出一種改善二元權重計算的神經網路處理系統，以改善傳統突觸的權重計算。
本發明的主要目的係在提供一種神經網路處理系統，利用突觸外部可量測的權重及內部不可直接量測的權重，藉由外部訊號，如電訊號等刺激並搭配適當的學習法則進行更新，在持續的外部刺激下，內部的權重具有累計特性，當累積至一臨界值時，會同時改變外部的權重值，以產生出精確的權重訊號。
本發明的另一目的係在提供一種神經網路處理系統，利用任一突觸具有內、外權重值之技術特徵，改善了習知單一類比權重精確度不佳的缺點，並藉此可以達到在線學習所需要的準確權重更新的要求，加速深度學習中的預測及學習功能，以實現即時在線學習能力的硬體神經網路。
為了達成上述的目的，本發明提供一種神經網路處理系統，包含至少一突觸及一神經元電路，神經元電路係連接至少一突觸，突觸可接收輸入信號，且突觸各自具有一外部權重值及一內部權重值，內部權重值會經由外部刺激以產生變化，當內部權重值之變化累積至一臨界值時，會同時改變外部權重值，使得輸入信號乘上突觸的外部權重值以產生一權重訊號，突觸會傳輸權重訊號至神經元電路，使其計算權重訊號後輸出。
在本發明中，外部權重值係可經由電性量測以得知。其中，電性量測係為對電阻、電容、電感或阻抗之量測。
在本發明中，內部權重值係為突觸物理結構之差異，其係為缺陷數目、元素組成、原子排列型態、分子形貌、鐵電域或鐵磁域排列等。上述物理結構之差異係均勻或不均勻存在突觸元件中。
在本發明中，內部權重值變化累積的計算方法為梯度下降向後傳播規則、尖峰時序相關的可塑性規則、赫布學習規則、Oja學習規則或BCM理論。
在本發明中，外部刺激係為電壓或電流。
在本發明中，外部權重值的改變係為二元變化，且藉由內部權重值的累計分佈函數決定改變機率。而內部權重值的累計分佈函數係藉由如外部之刺激調整，如脈衝振幅、脈衝寬度、脈衝電壓/電流刺激之鬆弛週期。
在本發明中，突觸係為二元的電阻式隨機存取記憶體、氧化物隨機存取記憶體、電橋式隨機存取記憶體、相變化隨機存取記憶體、磁性隨機存取記憶體、鐵電隨機存取記憶體或自旋轉移力矩之磁性隨機存取記憶體或其串、並聯組成之元件。當單一突觸係為複數記憶體組成時，突觸的外部權重值係為多位元變化組成。
底下藉由具體實施例配合所附的圖式詳加說明，當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。
本發明在硬體神經網路的架構中，提出一種創新的型態，可以加速深度學習中的預測及學習功能，利用如二元記憶體的突觸產生內、外權重值，並配合適當的學習法則進行更新，以實現高精確度且具即時在線學習能力的硬體神經網路。
首先，請參照本發明第二圖所示，一種神經網路處理系統20包含至少一突觸22及一神經元電路24，神經元電路24係與這些突觸22相連接，突觸22係為二元的電阻式隨機存取記憶體(Resistive Random-Access Memory，RRAM)、氧化物隨機存取記憶體(Oxide RAM)、電橋式隨機存取記憶體(Conductive-Bridging RAM，CBRAM)、相變化隨機存取記憶體(Phase-Change Memory，PCM)、磁性隨機存取記憶體(Magnetoresistive Random Access Memory，MRAM)、鐵電隨機存取記憶體(Ferroelectric RAM，FE RAM)或自旋轉移力矩之磁性隨機存取記憶體(Spin Torque Transfer MRAM，STT-MRAM)或其串、並聯組成之元件，在本實施例中突觸22係為二元的電阻式隨機存取記憶體，在此以複數條突觸22為例說明，但不以此為本發明之限制。每一突觸22係接收一輸入信號xi，這些輸入信號xi可能是相同或是不同的信號，且每一突觸22中各自具有一外部權重值222及一內部權重值224，且每一突觸22可產生一權重訊號至神經元電路24，以使神經元電路24可產生一輸出訊號y輸出，在本實施例中，內部權重值224係為突觸22的物理結構之差異，如缺陷(defect) 數目、元素組成、原子排列(atom arrangement)、分子形貌(molecular configuration)、鐵電域(ferroelectric domain)排列或鐵磁域(ferromagnetic domain)排列，上述物理結構之差異，會均勻或不均勻地存在突觸22中，而外部權重值222係可經電性量測而得知，例如對電阻、電容、電感或阻抗之量測所測得之值，其係為外部權重值222，但在本實施例中暫不限制內部權重值224或外部權重值222，可依照使用者的電路需求作調配。
說明完本發明的連接架構後，接續說明本發明的作動方式，並請續參本發明第二圖，每一突觸22係可接收輸入信號xi，而突觸22中的內部權重值224會經由外部刺激而產生變化，在本實施例中外部刺激係為自突觸22外部所輸入的電壓或是電流，以對突觸22產生變化，並使得突觸22中的內部權重值224會進行改變，且此內部權重值224的改變係為累計的，當內部權重值224的變化累積到一個臨界值時，會同時改變外部權重值222，使得外部權重值222進行二元(binary states)變化，外部權重值222進行的二元變化是具隨機性的，且藉由內部權重值的累計分佈函數(cumulative distribution function，CDF)以決定改變機率。接著，突觸22係藉由輸入信號xi乘上突觸22的外部權重值222，以產生出一權重訊號，每一突觸22再將自己所形成的權重訊號傳輸到神經元電路24中計算，以使神經元電路24將計算後的輸出訊號y輸出。
承接上段，上述說明內部權重值224的變化累積的計算方法，可以利用梯度下降向後傳播規則(gradient-descent backward propagation rule)、尖峰時序相關的可塑性規則(spike-timing-dependent plasticity，STDP)、赫布學習規則(Hebb rule)、Oja學習規則(Oja rule)或BCM理論(Bienenstock-Cooper-Munro rule，BCM rule)以進行計算。
說明完本發明的架構及其作動後，接著以一實施例說明本發明的神經網路處理系統，請參照本發明第三圖及第四圖所示，在本實施例中以三個突觸為例說明，且每一突觸22的輸入信號xi係獨立的，使用者可以從外部對作為二元的電阻式隨機存取記憶體的突觸22輸入電壓，藉此與突觸22中的電阻進行反應，隨著不同的外部輸入電壓產生不同的反應結果，此時即是在改變突觸22的內部權重值224，例如一外部輸入電壓一可以使內部權重值224漸增，一外部輸入電壓二可以使內部權重值224漸減。然而，請同時參照本發明第五a圖至第五e圖所示，當內部權重值224的改變，即是突觸22中的缺陷226數量的變化，缺陷226係金屬族的原子或是氧的空位所形成，彼此連結的缺陷226形成局部的電流導通路徑，在本實施例中缺陷226係以氧空位為例。如第五a圖所示，一開始在突觸22不導通的二部位228中，缺陷226的起始數量為臨界值A，還不足以導通突觸22的二部位228。漸漸的，當突觸22因為相對較多的電壓一輸入，如第五b圖所示，漸漸造成突觸22中產生更多缺陷226數量，如第五c圖所示，當缺陷226的數量多到連接了原先不連接的二部位228時，即上述臨界值B，同時也導通了突觸22中原先不導通的二部位228，使得外部權重值222進行二元變化從0變成1。如第五d圖所示，缺陷226數量亦可藉由相對較多的電壓二輸入而減少，但缺陷226數量的減少還不足以改變突觸22二部位228間的導通狀態，如第五e圖所示，當缺陷226的數量減少到原先連接的二部位228斷開時，即低於上述臨界值A，外部權重值222進行二元變化從1變成0。接著，每一突觸22在依照所接收的輸入信號xi各自乘上自己的外部權重值222以產生權重訊號，每一突觸22各自再傳輸權重訊號到神經元電路24中計算以輸出。
在另一實施例中，請參照本發明第六圖所示，突觸的內部權重值的改變方式會隨著不同的外部權重值而改變，例如當外部權重值為0時，僅外部輸入電壓一可以使內部權重值漸增，但外部輸入電壓二不會影響內部權重值，而當外部權重值為1時，僅外部輸入電壓二可以使內部權重值漸減，但外部輸入電壓一不會影響內部權重值。
在另一實施例中，請參照本發明第七圖所示，突觸的內部權重值的改變會受限於兩個臨界值A與B之間，例如當外部權重值為1時，外部輸入電壓一不會使內部權重值繼續增加，而當外部權重值為0時，外部輸入電壓二不會使內部權重值224繼續減少。
在上述實施例中，當內部權重值到達兩個臨界值A與B時也不必然進行外部權重值二元變化，外部權重值二元變化有隨機性，機率取決於一由內部權重值所決定的累計分布機率，而累計分布機率特性還可以藉由外部刺激之脈衝振幅(pulse amplitude)、脈衝寬度(pulse duration)、脈衝電壓/電流刺激之鬆弛週期(pulse relaxation period for a pulse voltage/current stimulus)進行調整。
本發明中係利用習知HNN梯度下降向後傳播規則之公式進行內部權重值更新，並搭配其累計分布機率函數進行外部權重值的更新，以發展出一套新的計算公式，如下列的公式(1)至公式(7)： (1) (2) (3) (4) (5) (6) (7) 其中， H j 為第 j個隱藏層神經元之輸出值， O k 為第 k個輸出層神經元之輸出值， X i 為第 i個輸入層之輸入值， w ext,i,j 為第 i個輸入層和第 j個隱藏層神經元之間之外部權重值， w ext,j,k 為第 j個隱藏層和第 k個輸出神經元之間之外部權重值， f a 為激活函數， I j 為第 j個隱藏層神經元權重乘積和， I k 為第 k個輸出層神經元權重乘積和， T k 為第 k個輸出層之目標輸出值， f a ’ 為激活函數的微分項， δ k 為第 k個輸出層之誤差量， δ j 為第 j個隱藏層之誤差量， w int,i,j 為第 i個輸入層和第 j個隱藏層神經元之間之內部權重值，w int,j,k 為第 j個隱藏層和第 k個輸出神經元之間之內部權重值， η為學習速率， w old 為更新前之權重值， w new 為更新後之權重值， P ext,sw 為外部權重值切換之機率，CDF為由內部權重值所決定之累計分佈函數。
本發明所提出的神經網路處理系統，可以藉由多個神經網路處理系統的結合，以形成一種新型態的硬體神經網路架構，利用多個神經網路處理系統可以同時加速深度學習中的預測與學習功能，在每一神經網路處理系統中的單一突觸可以利用一二元記憶體為代表，除了可以具有外部可量測的外部權重值以外，還具有一內部不可直接量測的內部權重值，例如一種類比權重，其可藉由外部的電訊號刺激，並搭配適當的學習法則或公式進行更新，在連續受到外部的刺激下，類比權重的更新具有累計特性，使得權重值的更新直接取決於如類比權重的內部權重值。
本發明不限制突觸的數量以及形式，除了是二元的電阻式隨機存取記憶體外，還可以是其它種類的記憶體或是由複數個記憶體所組成，一旦當單一突觸是由複數個二元記憶體所組成時，在單一突觸中的外部權重值就會是多位元值。上述實施例之說明，皆非為本發明的限制，本發明主要是利用突觸中具有內、外權重值的技術特徵，改善習知單一類比權重精確度不佳的缺點，並以此達成準確權重更新的要求。
以上所述之實施例僅係為說明本發明之技術思想及特點，其目的在使熟習此項技藝之人士能夠瞭解本發明之內容並據以實施，當不能以之限定本發明之專利範圍，即大凡依本發明所揭示之精神所作之均等變化或修飾，仍應涵蓋在本發明之專利範圍。
10‧‧‧神經元
12‧‧‧輸入信號
14‧‧‧突觸
142‧‧‧權重
20‧‧‧神經網路處理系統
22‧‧‧突觸
222‧‧‧外部權重值
224‧‧‧內部權重值
226‧‧‧缺陷
228‧‧‧部位
24‧‧‧神經元電路
xi‧‧‧輸入信號
y‧‧‧輸出訊號
A‧‧‧臨界值
B‧‧‧臨界值
第一圖為習知硬體神經網路的架構示意圖。 第二圖為本發明的架構示意圖。 第三圖為本發明以實施例說明神經網路處理系統的架構示意圖。 第四圖為本發明內部權重值與外部權重值產生變化之第一實施例的曲線圖。 第五a圖~第五e圖為本發明內部權重值藉由缺陷值改變的步驟示意圖。 第六圖為本發明內部權重值與外部權重值產生變化之第二實施例的曲線圖。 第七圖為本發明內部權重值與外部權重值產生變化之第三實施例的曲線圖。

Claims (12)

  1. 一種神經網路處理系統，包括︰ 至少一突觸，每一該突觸係接收一輸入信號，該至少一突觸係各自具有一外部權重值及一內部權重值，該內部權重值會經由外部刺激以產生變化，當該內部權重值之變化累積至一臨界值時，會同時改變該外部權重值，使得該至少一輸入信號乘上該至少一突觸的該外部權重值，以產生一權重訊號；以及 一神經元電路，其係連接該至少一突觸，以接收該至少一突觸所傳輸之該權重訊號，並可計算該至少一權重訊號以輸出。
  2. 如請求項1所述之神經網路處理系統，其中該外部權重值係經由電性量測以得知。
  3. 如請求項2所述之神經網路處理系統，其中該電性量測係為對電阻、電容、電感或阻抗之量測。
  4. 如請求項1所述之神經網路處理系統，其中該內部權重值係為該至少一突觸的物理結構之差異，其係為缺陷(defect) 數目、元素組成、原子排列(atom arrangement)、分子形貌(molecular configuration)、鐵電域(ferroelectric domain)排列或鐵磁域(ferromagnetic domain)排列。
  5. 如請求項4所述之神經網路處理系統，其中該物理結構差異係均勻或不均勻存在該至少一突觸中。
  6. 如請求項1所述之神經網路處理系統，其中該內部權重值之變化累積計算方法係為梯度下降向後傳播規則(gradient-descent backward propagation rule)、尖峰時序相關的可塑性規則(spike-timing-dependent plasticity，STDP)、赫布學習規則(Hebb rule)、Oja學習規則(Oja rule)或BCM理論(Bienenstock-Cooper-Munro rule，BCM rule)。
  7. 如請求項1所述之神經網路處理系統，其中該外部刺激係為電壓或電流。
  8. 如請求項1所述之神經網路處理系統，其中該外部權重值的改變係為具隨機性的二元(binary states)變化，且藉由該內部權重值的累計分佈函數(cumulative distribution function，CDF)以決定改變機率。
  9. 如請求項8所述之神經網路處理系統，其中該內部權重值的該累計分佈函數係藉由脈衝振幅(pulse amplitude)、脈衝寬度(pulse duration)、脈衝電壓/電流刺激之鬆弛週期(pulse relaxation period for a pulse voltage/current stimulus)進行調整。
  10. 如請求項8所述之神經網路處理系統，其中計算該內部權重值以改變該外部權重值之公式係為 ， ， ， ， ， ， 。其中， H j 為第 j個隱藏層神經元之輸出值， O k 為第 k個輸出層神經元之輸出值， X i 為第 i個輸入層之輸入值， w ext,i,j 為第 i個輸入層和第 j個隱藏層神經元之間之外部權重值， w ext,j,k 為第 j個隱藏層和第 k個輸出神經元之間之外部權重值， f a 為激活函數， I j 為第 j個隱藏層神經元權重乘積和， I k 為第 k個輸出層神經元權重乘積和， T k 為第 k個輸出層之目標輸出值， f a ’ 為激活函數的微分項， δ k 為第 k個輸出層之誤差量， δ j 為第 j個隱藏層之誤差量， w int,i,j 為第 i個輸入層和第 j個隱藏層神經元之間之內部權重值，w int,j,k 為第 j個隱藏層和第 k個輸出神經元之間之內部權重值， η為學習速率， w old 為更新前之權重值， w new 為更新後之權重值， P ext,sw 為外部權重值切換之機率，CDF為由內部權重值所決定之累計分佈函數。
  11. 如請求項1所述之神經網路處理系統，其中該突觸係為二元的電阻式隨機存取記憶體(Resistive Random-Access Memory，RRAM)、氧化物隨機存取記憶體(Oxide RAM)、電橋式隨機存取記憶體(Conductive-Bridging RAM，CBRAM)、相變化隨機存取記憶體(Phase-Change Memory，PCM)、磁性隨機存取記憶體(Magnetoresistive Random Access Memory，MRAM)、鐵電隨機存取記憶體(Ferroelectric RAM，FE RAM)或自旋轉移力矩之磁性隨機存取記憶體(Spin Torque Transfer MRAM，STT-MRAM)或其串、並聯組成之元件。
  12. 如請求項11所述之神經網路處理系統，其中當該突觸係為複數記憶體組成時，該突觸之該外部權重值係為多位元組成。
TW106115591A 2017-05-11 2017-05-11 神經網路處理系統 TWI625681B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW106115591A TWI625681B (zh) 2017-05-11 2017-05-11 神經網路處理系統
CN201710455266.9A CN107341539B (zh) 2017-05-11 2017-06-16 神经网络处理系统
US15/649,340 US10902317B2 (en) 2017-05-11 2017-07-13 Neural network processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106115591A TWI625681B (zh) 2017-05-11 2017-05-11 神經網路處理系統

Publications (2)

Publication Number Publication Date
TWI625681B true TWI625681B (zh) 2018-06-01
TW201901533A TW201901533A (zh) 2019-01-01

Family

ID=60221411

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106115591A TWI625681B (zh) 2017-05-11 2017-05-11 神經網路處理系統

Country Status (3)

Country Link
US (1) US10902317B2 (zh)
CN (1) CN107341539B (zh)
TW (1) TWI625681B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970044B2 (en) 2018-10-24 2021-04-06 Macronix International Co., Ltd. Semiconductor device for performing sum-of-product computation and operating method thereof
TWI724503B (zh) * 2018-08-22 2021-04-11 國立清華大學 具有推論時期位元寬度調整彈性的神經網路方法、系統，及其電腦程式產品
TWI778374B (zh) * 2019-07-03 2022-09-21 美商美光科技公司 神經網路記憶體

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102143928B1 (ko) * 2018-02-05 2020-08-13 고려대학교 산학협력단 인공 신경망 장치 및 그 동작 방법
US11138501B2 (en) * 2018-02-22 2021-10-05 International Business Machines Corporation Hardware-implemented training of an artificial neural network
JP6569755B1 (ja) * 2018-03-06 2019-09-04 Tdk株式会社 ニューラルネットワーク装置、信号生成方法およびプログラム
FR3084503B1 (fr) * 2018-07-26 2020-10-16 Thales Sa Chaîne synaptique comprenant des resonateurs spintroniques bases sur l'effet de diode de spin et reseau de neurones comprenant une telle chaîne synaptique
US11687761B2 (en) * 2018-12-11 2023-06-27 Amazon Technologies, Inc. Improper neural network input detection and handling
US10861551B2 (en) 2018-12-28 2020-12-08 Micron Technology, Inc. Memory cells configured to generate weighted inputs for neural networks
US10878321B2 (en) * 2019-02-28 2020-12-29 DeepCube LTD. Partial activation of multiple pathways in neural networks
US11171115B2 (en) 2019-03-18 2021-11-09 Kepler Computing Inc. Artificial intelligence processor with three-dimensional stacked memory
US11836102B1 (en) 2019-03-20 2023-12-05 Kepler Computing Inc. Low latency and high bandwidth artificial intelligence processor
US11347999B2 (en) 2019-05-22 2022-05-31 International Business Machines Corporation Closed loop programming of phase-change memory
US11844223B1 (en) 2019-05-31 2023-12-12 Kepler Computing Inc. Ferroelectric memory chiplet as unified memory in a multi-dimensional packaging
US11043472B1 (en) 2019-05-31 2021-06-22 Kepler Compute Inc. 3D integrated ultra high-bandwidth memory
CN110232440B (zh) * 2019-06-11 2021-06-04 北京大学 基于铁电晶体管的脉冲神经元电路
CN110866601B (zh) * 2019-10-16 2023-09-08 复旦大学 一种基于光电神经网络的复合采集处理系统
US11574100B2 (en) * 2020-06-19 2023-02-07 Micron Technology, Inc. Integrated sensor device with deep learning accelerator and random access memory
CN114154614A (zh) * 2020-09-08 2022-03-08 杨旭 一种基于脉冲神经网络的多智能体博弈的方法
US11696518B2 (en) 2020-11-20 2023-07-04 International Business Machines Corporation Hybrid non-volatile memory cell
JP7482071B2 (ja) 2021-03-16 2024-05-13 株式会社東芝 記憶装置およびニューラルネットワーク装置
CN113408226B9 (zh) * 2021-05-10 2023-10-27 浙江大学 一种基于深度学习的芯片供电网络凸块电流估算方法及系统
CN112990444B (zh) * 2021-05-13 2021-09-24 电子科技大学 一种混合式神经网络训练方法、系统、设备及存储介质
US11557343B2 (en) 2021-06-22 2023-01-17 International Business Machines Corporation Pulsing synaptic devices based on phase-change memory to increase the linearity in weight update
US11791233B1 (en) 2021-08-06 2023-10-17 Kepler Computing Inc. Ferroelectric or paraelectric memory and logic chiplet with thermal management in a multi-dimensional packaging
CN114970406B (zh) * 2022-05-30 2023-03-17 中昊芯英(杭州)科技有限公司 数字集成电路的定制方法、装置、介质和计算设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020059152A1 (en) * 1998-12-30 2002-05-16 John C. Carson Neural processing module with input architectures that make maximal use of a weighted synapse array
US20140052679A1 (en) * 2011-09-21 2014-02-20 Oleg Sinyavskiy Apparatus and methods for implementing event-based updates in spiking neuron networks
US20140310217A1 (en) * 2013-04-12 2014-10-16 Qualcomm Incorporated Defining dynamics of multiple neurons
TW201533668A (zh) * 2014-02-06 2015-09-01 Qualcomm Inc 基於突觸前尖峰的短期突觸記憶
TW201543382A (zh) * 2014-03-03 2015-11-16 Qualcomm Inc 神經網路對當前計算資源的自我調整
US20170124449A1 (en) * 2014-04-28 2017-05-04 Centre National De La Recherche Scientifique- Cnrs Single-component artificial neuron based on mott insulators, network of artificial neurons and corresponding manufacturing method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5222193A (en) * 1990-12-26 1993-06-22 Intel Corporation Training system for neural networks and the like
CN101159043B (zh) * 2007-11-19 2010-12-15 中国科学院计算技术研究所 一种视觉目标上下文空间关系编码的系统和方法
US8812418B2 (en) * 2009-06-22 2014-08-19 Hewlett-Packard Development Company, L.P. Memristive adaptive resonance networks
US9129220B2 (en) 2010-07-07 2015-09-08 Qualcomm Incorporated Methods and systems for digital neural processing with discrete-level synapes and probabilistic STDP
US9111222B2 (en) 2011-11-09 2015-08-18 Qualcomm Incorporated Method and apparatus for switching the binary state of a location in memory in a probabilistic manner to store synaptic weights of a neural network
CN103078054B (zh) * 2013-01-04 2015-06-03 华中科技大学 一种模拟生物神经元和神经突触的单元、装置及方法
US9336870B1 (en) * 2013-08-16 2016-05-10 Sandia Corporation Methods for resistive switching of memristors
JP6750118B2 (ja) * 2016-11-28 2020-09-02 ホアウェイ・テクノロジーズ・カンパニー・リミテッド スパイクニューラルネットワークに基づく信号処理方法及び信号処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020059152A1 (en) * 1998-12-30 2002-05-16 John C. Carson Neural processing module with input architectures that make maximal use of a weighted synapse array
US20140052679A1 (en) * 2011-09-21 2014-02-20 Oleg Sinyavskiy Apparatus and methods for implementing event-based updates in spiking neuron networks
US20140310217A1 (en) * 2013-04-12 2014-10-16 Qualcomm Incorporated Defining dynamics of multiple neurons
TW201533668A (zh) * 2014-02-06 2015-09-01 Qualcomm Inc 基於突觸前尖峰的短期突觸記憶
TW201543382A (zh) * 2014-03-03 2015-11-16 Qualcomm Inc 神經網路對當前計算資源的自我調整
US20170124449A1 (en) * 2014-04-28 2017-05-04 Centre National De La Recherche Scientifique- Cnrs Single-component artificial neuron based on mott insulators, network of artificial neurons and corresponding manufacturing method

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Evolutionary supervision of a dynamical neural network allows learning with on-going weights" by David Meunier ect. 2005/07/31
"Evolutionary supervision of a dynamical neural network allows learning with on-going weights" by David Meunier ect. 2005/07/31 "Neural Networks with Dynamic Synapses" by Michail Tsodyks etc. 2014/05/21 *
"Neural Networks with Dynamic Synapses" by Michail Tsodyks etc. 2014/05/21

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI724503B (zh) * 2018-08-22 2021-04-11 國立清華大學 具有推論時期位元寬度調整彈性的神經網路方法、系統，及其電腦程式產品
US10970044B2 (en) 2018-10-24 2021-04-06 Macronix International Co., Ltd. Semiconductor device for performing sum-of-product computation and operating method thereof
TWI778374B (zh) * 2019-07-03 2022-09-21 美商美光科技公司 神經網路記憶體
US11587612B2 (en) 2019-07-03 2023-02-21 Micron Technology, Inc. Neural network memory with an array of variable resistance memory cells

Also Published As

Publication number Publication date
TW201901533A (zh) 2019-01-01
US20180330236A1 (en) 2018-11-15
CN107341539B (zh) 2019-11-26
US10902317B2 (en) 2021-01-26
CN107341539A (zh) 2017-11-10

Similar Documents

Publication Publication Date Title
TWI625681B (zh) 神經網路處理系統
CN111279366B (zh) 人工神经网络的训练
US10339447B2 (en) Configuring sparse neuronal networks
Nandakumar et al. Mixed-precision architecture based on computational memory for training deep neural networks
Querlioz et al. Bioinspired programming of memory devices for implementing an inference engine
US20150212861A1 (en) Value synchronization across neural processors
US9959499B2 (en) Methods and apparatus for implementation of group tags for neural models
Pedretti et al. A spiking recurrent neural network with phase-change memory neurons and synapses for the accelerated solution of constraint satisfaction problems
Oh et al. Hardware implementation of spiking neural networks using time-to-first-spike encoding
Nandakumar et al. Mixed-precision training of deep neural networks using computational memory
Oh et al. Neuron circuits for low-power spiking neural networks using time-to-first-spike encoding
Antolini et al. Combined hw/sw drift and variability mitigation for pcm-based analog in-memory computing for neural network applications
Li et al. In situ learning in hardware compatible multilayer memristive spiking neural network
US20150278683A1 (en) Plastic synapse management
Doevenspeck et al. OxRRAM-based analog in-memory computing for deep neural network inference: A conductance variability study
CA2926034A1 (en) Dynamically assigning and examining synaptic delay
Ahmed et al. Compact functional test generation for memristive deep learning implementations using approximate gradient ranking
US9418332B2 (en) Post ghost plasticity
CN117151176A (zh) 用于神经网络学习的突触阵列、运算电路及操作方法
CN109359734B (zh) 一种基于忆阻器单元的神经网络突触结构及其调节方法
Shukla et al. A case for multiple and parallel RRAMs as synaptic model for training SNNs
US20140365413A1 (en) Efficient implementation of neural population diversity in neural system
Gi et al. Modeling and system-level simulation for nonideal conductance response of synaptic devices
Chou et al. Neuromorphic pattern learning using HBM electronic synapse with excitatory and inhibitory plasticity
Gallo et al. Mixed-precision training of deep neural networks using computational memory