TW202131205A - 運用於二進位類神經網路系統的乘積累加電路 - Google Patents

運用於二進位類神經網路系統的乘積累加電路 Download PDF

Info

Publication number
TW202131205A
TW202131205A TW110100261A TW110100261A TW202131205A TW 202131205 A TW202131205 A TW 202131205A TW 110100261 A TW110100261 A TW 110100261A TW 110100261 A TW110100261 A TW 110100261A TW 202131205 A TW202131205 A TW 202131205A
Authority
TW
Taiwan
Prior art keywords
current
multiplying
accumulating
volatile memory
value
Prior art date
Application number
TW110100261A
Other languages
English (en)
Other versions
TWI773076B (zh
Inventor
張家福
鍾承亨
林慶源
Original Assignee
力旺電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 力旺電子股份有限公司 filed Critical 力旺電子股份有限公司
Publication of TW202131205A publication Critical patent/TW202131205A/zh
Application granted granted Critical
Publication of TWI773076B publication Critical patent/TWI773076B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05F—SYSTEMS FOR REGULATING ELECTRIC OR MAGNETIC VARIABLES
    • G05F1/00—Automatic systems in which deviations of an electric quantity from one or more predetermined values are detected at the output of the system and fed back to a device within the system to restore the detected quantity to its predetermined value or values, i.e. retroactive systems
    • G05F1/10—Regulating voltage or current
    • G05F1/46—Regulating voltage or current wherein the variable actually regulated by the final control device is dc
    • G05F1/56—Regulating voltage or current wherein the variable actually regulated by the final control device is dc using semiconductor devices in series with the load as final control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C17/00—Read-only memories programmable only once; Semi-permanent stores, e.g. manually-replaceable information cards
    • G11C17/06—Read-only memories programmable only once; Semi-permanent stores, e.g. manually-replaceable information cards using diode elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L23/00—Details of semiconductor or other solid state devices
    • H01L23/52—Arrangements for conducting electric current within the device in operation from one component to another, i.e. interconnections, e.g. wires, lead frames
    • H01L23/522—Arrangements for conducting electric current within the device in operation from one component to another, i.e. interconnections, e.g. wires, lead frames including external interconnections consisting of a multilayer structure of conductive and insulating layers inseparably formed on the semiconductor body
    • H01L23/5226—Via connections in a multilevel interconnection structure
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B63/00—Resistance change memory devices, e.g. resistive RAM [ReRAM] devices
    • H10B63/30—Resistance change memory devices, e.g. resistive RAM [ReRAM] devices comprising selection components having three or more electrodes, e.g. transistors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N—ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N70/00—Solid-state devices without a potential-jump barrier or surface barrier, and specially adapted for rectifying, amplifying, oscillating or switching
    • H10N70/011—Manufacture or treatment of multistable switching devices
    • H10N70/041—Modification of the switching material, e.g. post-treatment, doping
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N—ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N70/00—Solid-state devices without a potential-jump barrier or surface barrier, and specially adapted for rectifying, amplifying, oscillating or switching
    • H10N70/801—Constructional details of multistable switching devices
    • H10N70/881—Switching materials
    • H10N70/883—Oxides or nitrides
    • H10N70/8833—Binary metal oxides, e.g. TaOx
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B20/00—Read-only memory [ROM] devices
    • H10B20/20—Programmable ROM [PROM] devices comprising field-effect components
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B20/00—Read-only memory [ROM] devices
    • H10B20/27—ROM only
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

一種乘積累加電路，接收類神經網路系統中第一層的m個一位元神經元數值。此乘積累加電路包括：m個非揮發性記憶胞與m個電流源，其中m個非揮發性記憶胞與m個電流源形成m條電流路徑。再者，第一非揮發性記憶胞與第一電流源形成第一電流路徑，第一電流源的第一端接收第一供應電壓，第一電流源的第二端連接至第一非揮發性記憶胞的第一端，第一非揮發性記憶胞的第二端連接至乘積累加電路的輸出端。另外，第一電流源的控制端接收第一一位元神經元數值。

Description

運用於二進位類神經網路系統的乘積累加電路
本發明是有關於一種運用於類神經網路系統的電路，且特別是有關於一種運用於二進位類神經網路系統的乘積累加電路。
近年來，類神經網路系統(neural network system)已經廣泛的運用在人工智慧的用途(AI application)以提供智慧處理能力，例如圖形辨識(pattern recognition)、資料辨識(data classification)和物件偵測(object detection)。以下先簡單介紹具備辨識數字能力的類神經網路系統。
請參照第1圖，其所繪示為辨識數字的類神經網路系統示意圖。利用類神經網路系統100可運用於辨識手寫板102上所書寫的數字，其中手寫板102是由784(28×28)個感應點(sense point)所建構而成。
類神經網路系統100包括輸入層(input layer)110、隱藏層(hidden layer)120與輸出層(output layer)130。基本上，手寫板102上的每個感應點會對應到輸入層110的一個輸入神經元(input neuron)，因此輸入層110共有784(28×28)個輸入神經元I0 ~I783 ，並可視為輸入層110的大小(size)為784。
由於類神經網路系統100需要辨識0~9的十個數字，因此輸出層130共有10個輸出神經元(output neuron)O0 ~O9 ，並可視為輸出層130的大小(size)為10。
再者，類神經網路系統100的隱藏層120被設計為具有30個神經元H0 ~H29 ，亦即隱藏層130的大小(size)為30。因此，類神經網路系統100的尺寸為784-30-10。
每個神經元之間的連線皆代表一個神經元連接權重(neuron connection weight)。如第1圖所示，輸入層110中的784個輸入神經元I0 ~I783 連接至隱藏層120的神經元H0 ，而對應的784個神經元連接權重為(IH0,0 ~IH783, 0 )。同理，輸入層110中的784個輸入神經元I0 ~I783 對應地連接至隱藏層120的30個神經元H0 ~H29 。因此，輸入層110與隱藏層120之間有734×30個神經元連接權重(IH0,0 ~ IH783, 0 )、(IH0,1 ~IH783,1 ) ~(IH0,29 ~IH783,29 )。
同理，隱藏層120的30個神經元H0 ~H29 對應地連接至輸出層130的10個神經元O0 ~O9 。因此，隱藏層120與輸出層130之間有30×10個神經元連接權重(HO0,0 ~HO29,0 )~(HO0,9 ~HO29,9 )。其中，類神經網路系統100中所有的神經元連接權重(IH0,0 ~ IH783, 0 )~( IH0,29 ~IH783,29 )與(HO0,0 ~ HO29,0 )~( HO0,9 ~HO29,9 )即組合成為一權重群組(weight group)。
基本上，將前一層(previous layer)的每個神經元數值乘以對應的神經元連接權重後並加總之後即可獲得下一層(next layer)的神經元數值。以隱藏層120的神經元數值H0 為例，
Figure 02_image001
。
同理，隱藏層120中其他神經元H1 ~H29 也是以相同的方式來計算。
再者，輸出層130的輸出神經元數值O0 即為，
Figure 02_image003
。
同理，而輸出層130其他神經元O1 ~O9 也是以相同的方式來計算。
在實際應用類神經網路系統100之前，需要進行訓練程序(training phase)，以獲得權重群組中所有的神經元連接權重。舉例來說，經過多次的疊代訓練(iterations of training) 並獲得所有神經元連接權重後，即可獲得一個訓練完成的(well-trained)類神經網路系統100。
在應用程序(application phase)時，即可在手寫板102上寫入數字，並由類神經網路系統100來進行辨識。如第1圖所示，於手寫板102上寫入數字7後，輸出層130中的輸出神經元O7 數值最高，亦即類神經網路系統100辨識出數字7。
當然，第1圖的類神經網路系統100僅是一個範例。對於更複雜的類神經網路系統，可以使用複數個隱藏層來讓類神經網路系統具備更佳的辨識能力，而每個隱藏層的尺寸也不限定。
由於類神經網路系統中需要不斷的進行乘法與加法運算，因此利用電腦系統可以進行上述的運算。舉例來說，將所有的神經元連接權重儲存於電腦系統的記憶體中。接著，利用電腦系統的中央處理單元(CPU)來存取(access)記憶體中的神經元連接權重，並進行乘法與加法運算後即可計算出所有神經元數值。
然而，當類神經網路系統的尺寸越大時，記憶體的容量也必須增加以便用來儲存神經元連接權重以及神經元數值。並且，由於中央處理單元必須不斷地存取記憶體中的資料，使得電腦系統的效能大幅地降低且耗費大量的功耗(power consumption)。
現今，針對類神經網路系統的特性，已發展出一種乘積累加電路(Multiply Accumulate circuit，簡稱MAC)，用來計算神經元數值。
請參照第2A圖至第2C圖，其所繪示為乘積累加電路器的方塊圖(block diagram)、習知乘積累加電路組(MAC group)與控制電路示意圖。
如第2A圖所示，乘積累加電路200中，每個輸入數值X1~Xm乘上對應的權重W1,j ~Wm,j 後，將結果加總即獲得輸出數值Yj。亦即，
Figure 02_image005
。
應用到類神經網路系統時，乘積累加電路200中的權重W1,j ~Wm,j 即為神經元連接權重。將前一層(previous layer)的多個神經元數值即為輸入數值，而乘積累加電路200的輸出值Yj即為下一層(next layer)的神經元數值。
如第2B圖所示，乘積累加電路組250包括j個乘積累加電路251~25j，此乘積累加電路組250可以進行類神經網路系統中前一層大小(size)m，下一層的大小(size)j的運算。
以乘積累加電路251為例來作說明，乘積累加電路251包括m個電導(electrical conductance)，其電導值(conductance value)分別為G1,1 ~Gm,1 。其中，每個電導皆由可變電阻(variable resistor)所組成。而調整後(tuned)的可變電阻，其電阻值(resistance value)的倒數即為電導值。舉例來說，調整好的電阻值為5歐姆(ohm，Ω)，其電導值為0.2西門子(siemens，S)。再者，根據類神經網路系統中的神經元連接權重來調整對應的電導值G1,1 ~Gm,1 。
再者，乘積累加電路251的m個輸入端接收m個輸入電壓V1~Vm，每個電壓值V1~Vm分別代表前一層的m個神經元數值，乘積累加電路251的輸出端產生一個輸出電流I1代表下一層的神經元數值。乘積累加電路251的m個輸入端與輸出端之間連接對應的電導G1,1 ~Gm,1 。再者，乘積累加電路252~25j也有相同的結構，此處不再贅述。
於類神經網路系統的訓練程序(training phase)時，可調整每個乘積累加電路251~25j中的所有m×j個電導值G1,1 ~Gm,j 作為m×j個神經元連接權重。
於類神經網路系統的應用程序(application phase)時，所有乘積累加電路251~25j的輸入端接收m個輸入電壓V1~Vm，所有輸出端連接至接地電壓(未繪示)。因此，所有乘積累加電路251~25j的輸出端產生的輸出電流I1~Ij即代表下一層的j個神經元數值。
以乘積累加電路251為例，n個電導G1,1 ~Gm,j 接收對應的m個輸入電壓 V1~Vm後，產生m個電流I1,1 ~Im,1 。而疊加的(superposed)m個電流I1,1 ~Im,1 即為輸出電流I1，亦即
Figure 02_image007
。
如第2C圖所示，控制電路290包括數位類比轉換器(digital-to-analog converter，DAC)260、乘積累加電路組250、類比數位轉換器(analog-to-digital converter，ADC)270。其中，數位類比轉換器260可將數位數值轉換為類比電壓，類比數位轉換器270可將類比電流轉換成數位數值。
首先，前一層的m個神經元數值Din_1~Din_m輸入數位類比轉換器260，並轉換為對應的m個輸入電壓V1~Vm。再者，乘積累加電路組250接收m個輸入電壓V1~Vm，並產生j個輸出電流I1~Ij。之後，類比數位轉換器270接收j個輸出電流I1~Ij，並轉換為下一層的j個神經元數值Do_1~Do_j。其中，神經元數值Din_1~Din_m、Do_1~Do_j皆為數位數值。
換言之，任意尺寸的類神經網路系統即可利用第2C圖的控制電路290來組成。以第1圖的類神經網路系統100為例，其尺寸為784-30-10。因此，類神經網路系統100包括二個控制電路。第一個控制電路接收輸入層110的748個神經元數值I0 ~I783 ，並產生隱藏層120的30個神經元數值H0 ~H29 。第二個控制電路接收隱藏層120的30個神經元數值H0 ~H29 ，並產生輸出層130的10個神經元數值O0 ~O9 。
以上述第2B圖與第2C圖為例，神經元數值Din_1~Din_m、Do_1~Do_j皆為多個位元的數位數值(multi-bit digital value)，且對應的電導G1,1 ~Gm,1 也是需要根據多個位元的數位數值之神經元連接權重來進行調整。
近年來，二進位類神經網路系統(binary neural network system)逐漸受到重視。二進位類神經網路系統的神經元數值以及神經元連接權重皆為一位元的二進位碼(one-bit binary code)。因此，相較於第1圖與第2B圖的類神經網路系統需要進行複雜的數值計算，二進位類神經網路系統可以有效地減少記憶體的儲存空間、降低電腦系統的計算量、以及降低功耗(power consumption)。
本發明係有關於一種乘積累加電路，接收一類神經網路系統中一第一層的m個一位元神經元數值。該乘積累加電路包括：m個非揮發性記憶胞與m個電流源。該m個非揮發性記憶胞與該m個電流源形成m條電流路徑，該m條電流路徑連接於一第一供應電壓與一輸出端之間。該m個非揮發性記憶胞中的一第一非揮發性記憶胞與該m個電流源中的一第一電流源形成一第一電流路徑，該第一電流源的一第一端接收該第一供應電壓，該第一電流源的一第二端連接至該第一非揮發性記憶胞的一第一端，該第一非揮發性記憶胞的一第二端連接至該輸出端，且該第一電流源的一控制端接收該第一層的m個一位元神經元數值中的一第一一位元神經元數值。
為了對本發明之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：
本發明提出一種運用於二進位類神經網路系統的乘積累加電路。在乘積累加電路中，利用非揮發性記憶體的記憶胞來記錄神經元連接權重，並且搭配電流源(current source)即可完成乘積累加電路。
眾所周知，現今的非揮發性記憶體的記憶胞可分為多次編程記憶胞(MTP memory cell)、單次編程記憶胞(OTP memory cell)、遮罩式唯讀記憶胞(Mask ROM cell)。舉例來說，可變電阻式記憶體(Resistive random access memory，簡稱RRAM或者ReRAM)的記憶胞可作為MTP記憶胞。浮動閘電晶體(floating gate transistor)可組成 MTP或者OTP記憶胞。反熔絲電晶體(antifuse transistor)可組成OTP記憶胞。
基本上，上述的MTP或者OTP記憶胞皆可利用適當的偏壓來控制記憶胞呈現二種不同的儲存狀態。再者，遮罩式唯獨記憶胞則是利用半導體製程，將記憶胞製作成二種不同的儲存狀態。
以反熔絲電晶體所組成的OTP記憶胞為例，當反熔絲電晶體的閘極氧化層未破裂(rupture)時，反熔絲電晶體的電阻值很大，大約為幾百萬歐姆(MΩ)以上，可視為第一儲存狀態。當反熔絲電晶體的閘極氧化層破裂(rupture)時，反熔絲電晶體的電阻值非常小，大約為幾千歐姆(KΩ)以下，可視為第二儲存狀態。換言之，針對OTP記憶胞，於編程動作(program action)時，可以提供適當的偏壓來控制OTP記憶胞呈現二種不同的儲存狀態。
類似地，在ReRAM記憶胞中，當ReRAM記憶胞未進行初始化動作(forming action)之前，ReRAM記憶胞的電阻值非常大，約為幾百萬歐姆(MΩ)以上，可視為第一儲存狀態。當ReRAM記憶胞進行初始化動作之後，ReRAM記憶胞的電阻值大幅降低，約為幾千歐姆(KΩ)以下，可視為第二儲存狀態。也就是說，針對ReRAM記憶胞，可以選擇性地進行初始化動作用以控制ReRAM記憶胞呈現二種不同的儲存狀態。
由以上的說明可知，經由適當的控制，非揮發性記憶胞可呈現高電阻值的第一儲存狀態或者低電阻值的第二儲存狀態。其中，高低電阻值相差可達103 倍以上。再者，以下的說明中，將高電阻值的第一儲存狀態定義為關閉狀態(off state)，將低電阻值的第二儲存狀態定義為開啟狀態(on state)。
根據本發明的實施例，本發明運用可呈現二種儲存狀態的非揮發性記憶體的記憶胞並搭配電流源(current source)，組成運用於二進位類神經網路系統的乘積累加電路。
請參照第3圖，其所繪示為本發明乘積累加電路的第一實施例。乘積累加電路300包括：m個電流源301~30m及m個非揮發性記憶胞311~31m。其中，乘積累加電路300的m個輸入端接收前一層的m個一位元的神經元數值Din_1~Din_m，m個電流源301~30m受控於m個神經元數值Din_1~Din_m。當任一個電流源301~30m動作時，可以產生的電流大小為Iu，例如Iu等於0.1μA。
在乘積累加電路300包括m條電流路徑(current path)，每一條電流路徑包括一電流源與一非揮發性記憶胞。在第一電流路徑中，電流源301受控於神經元數值Din_1，電流源301的第一端接收第一供應電壓Vss，電流源301的第二端連接至非揮發性記憶胞311的第一端，非揮發記憶胞311的第二端連接至乘積累加電路300的輸出端O。在第二電流路徑中，電流源302受控於神經元數值Din_2，電流源302的第一端接收第一供應電壓Vss，電流源302的第二端連接至非揮發性記憶胞312的第一端，非揮發記憶胞312的第二端連接至乘積累加電路300的輸出端O。依此類推，在第m電流路徑中，電流源30m受控於神經元數值Din_m，電流源30m的第一端接收第一供應電壓Vss，電流源30m的第二端連接至非揮發性記憶胞31m的第一端，非揮發記憶胞31m的第二端連接至乘積累加電路300的輸出端O。
根據本發明的實施例，非揮發性記憶胞311~31m可儲存一位元的神經元連接權重w1~wm。非揮發性記憶胞311~31m可由MTP記憶胞、OTP記憶胞或者遮罩式唯獨記憶胞來實現。根據本發明的實施例，非揮發性記憶胞311~31m的動作原理類似於開關(switch)。舉例來說，當非揮發性記憶胞為關閉狀態(off state)時，其電阻值非常大，電流無法通過非揮發性記憶胞，視為神經元連接權重為"邏輯0"。當非揮發性記憶胞為開啟狀態(on state)時，其電阻值較小，電流可通過非揮發性記憶胞，視為神經元連接權重為"邏輯1"。
基本上，乘積累加電路300於應用程序時，乘積累加電路300的輸出端O會接收第二供應電壓Vd，且第二供應電壓Vd會大於第一供應電壓Vss。例如，第二供應電壓Vd為3.3V，第一供應電壓Vss為接地電壓。
再者，乘積累加電路300於應用程序時，根據前一層的m個一位元的神經元數值Din_1~Din_m，以及非揮發性記憶胞311~31m儲存之一位元的神經元連接權重w1~wn，即可在乘積累加電路300的輸出端O產生輸出電流Io。
以第一電流路徑為例，當非揮發性記憶胞311所儲存的神經元連接權重w1為"邏輯0"時，無論電流源301是否動作，第一電流路徑的電流Ib1為零。當非揮發性記憶胞311所儲存的神經元連接權重w1為"邏輯1"且神經元數值Din_1為"邏輯0"時，電流源301不動作無法產生電流，第一電流路徑的電流Ib1為零。當非揮發性記憶胞311所儲存的神經元連接權重w1為"邏輯1"且神經元數值Din_1為"邏輯1"時，電流源301動作，產生電流Iu，第一電流路徑的電流Ib1即為Iu。同理，其他電流路徑運作皆相同於第一電流路徑，此處不再贅述。
因此，乘積累加電路300於應用程序所產生的輸出電流Io即為：
Figure 02_image009
。
在上式中，wi與Din_i皆為一位元的二進位碼。再者，將輸出電流Io進行數位化(digitalized)後，即可成為下一層的一個一位元的神經元數值。舉例來說，當輸出電流Io大於參考電流時，則下一層的一個一位元的神經元數值為"邏輯1"。當輸出電流Io小於參考電流時，則下一層的一個一位元的神經元數值為"邏輯0"。
相同地，組合數個乘積累加電路即可以成為乘積累加電路組(MAC group)。以下以實際的電路元件來實現本發明的乘積累加電路。請參照第4圖，其所繪示為本發明第二實施例之乘積累加電路及其乘積累加電路組。
乘積累加電路組包括j個乘積累加電路41~4j，每一個乘積累加電路41~4j可產生對應的輸出電流Io1~Ioj。每一個乘積累加電路41~4j的結構相同，以下僅介紹乘積累加電路41。
乘積累加電路41包括：m個電流源411~41m以及m個非揮發性記憶胞431~43m。其中，乘積累加電路41的m個輸入端接收前一層的m個一位元的神經元數值Din_1~Din_m，m個電流源411~41m受控於m個神經元數值Din_1~Din_m。再者，乘積累加電路41包括m條電流路徑(current path)，每一條電流路徑包括一電流源與一非揮發性記憶胞。m條電流路徑的連接關係類似於第一實施例的乘積累加電路300，此處不再贅述。
根據本發明的第二實施例，乘積累加電路41中的電流源411~41m係以n型電晶體來實現，且所有的n型電晶體的尺寸(size)相同。因此，當任一個n型電晶體開啟(turn on)時，可產生的電流大小為Iu。
以電流源411為例，n型電晶體的閘極端接收對應的一位元的神經元數值Din_1，n型電晶體的第一汲/源端(drain/source terminal)接收第一供應電壓，n型電晶體的第二汲/源端連接至非揮發性記憶胞431的第一端，非揮發性記憶胞431的第二端連接至輸出端O1。
舉例來說，將"邏輯1"的神經元數值定義為n型電晶體的開啟電壓(on voltage)，將"邏輯0"的神經元數值定義為n型電晶體的關閉電壓(off voltage)。因此，神經元數值為邏輯"1"時，n型電晶體開啟並產生電流Iu，神經元數值為邏輯"0"時，n型電晶體關閉且無法產生電流。其中，開啟電壓(on voltage)可為3.3V，關閉電壓(off voltage)可為接地電壓。
相同地，非揮發性記憶胞431~43m可由MTP記憶胞、OTP記憶胞或者遮罩式唯獨記憶胞來實現。乘積累加電路41中的非揮發性記憶胞431~43m可儲存一位元的神經元連接權重w1,1~wm,1。當非揮發性記憶胞為關閉狀態(off state)時，其電阻值非常大，電流無法通過非揮發性記憶胞，視為神經元連接權重為"邏輯0"。當非揮發性記憶胞為開啟狀態(on state)時，其電阻值較小，電流可通過非揮發性記憶胞，視為神經元連接權重為"邏輯1"。
因此，乘積累加電路41於應用程序所產生的輸出電流Io1即為：
Figure 02_image011
。其中，wi,1與Din_i皆為一位元的二進位碼，且Din_i為邏輯1時，輸出電流為Iu。同理，乘積累加電路42的輸出電流Io2為：
Figure 02_image013
。其中，wi,2為一位元的二進位碼。依此類推，乘積累加電路4j的輸出電流Ioj為：
Figure 02_image015
。其中，wi,j為一位元的二進位碼。
再者，每個乘積累加電路41~4j的輸出端O1~Oj連接至對應的轉換電路(converting circuit)491~49j，用以將j個輸出電流Io1~Ioj轉換為下一層的一位元的神經元數值Dout_1~Dout_j。舉例來說，轉換電路491~49j為電流比較器(current comparator)，當輸出電流Io1大於參考電流時，則下一層的神經元數值Dout_1為"邏輯1"。當輸出電流Io1小於參考電流時，則下一層的神經元數值為"邏輯0"。
請參照第5圖，其所繪示為本發明第三實施例之乘積累加電路及其乘積累加電路組。乘積累加電路組包括j個乘積累加電路51~5j，每一個乘積累加電路51~5j可產生對應的輸出電流Io1~Ioj。每一個乘積累加電路51~5j的結構相同，以下僅介紹乘積累加電路51。
乘積累加電路51包括：m個電流源511~51m以及m個非揮發性記憶胞531~53m。其中，乘積累加電路51的m個輸入端接收前一層的m個一位元的神經元數值Din_1~Din_m，m個電流源511~51m受控於m個神經元數值Din_1~Din_m。再者，乘積累加電路51包括m條電流路徑(current path)，每一條電流路徑包括一電流源與一非揮發性記憶胞。m條電流路徑的連接關係類似於第一實施例的乘積累加電路300，此處不再贅述。
相較於第二實施例，第三實施例的差異在於電流源的構造，以下介紹電流源511。電流源511由二個n型電晶體所組成，電流源511包括一開關電晶體(switching transistor)與一偏壓電晶體(bias transistor)。在電流源511中，偏壓電晶體的閘極端接收一偏壓電壓(bias voltage，Vb)，偏壓電晶體的第一汲/源端接收第一供應電壓，偏壓電晶體的第二汲/源端連接至開關電晶體的第一汲/源端，開關電晶體的第二汲/源端連接至非揮發性記憶胞531的第一端，開關電晶體的閘極端接收對應的一位元的神經元數值Din_1。
根據本發明的第三實施例，所有電流源511~51m中的偏壓電晶體有相同的尺寸(size)。因此，當任一個電流源511~51m動作時，即可產生的電流大小為Iu。
舉例來說，將"邏輯1"的神經元數值定義為開關電晶體的開啟電壓(on voltage)，將"邏輯0"的神經元數值定義為開關電晶體的關閉電壓(off voltage)。因此，神經元數值為邏輯"1"時，開關電晶體開啟使得電流源動作並產生電流Iu，神經元數值為邏輯"0"時，開關電晶體關閉使得電流源不動作且無法產生電流。其中，開啟電壓(on voltage)可為3.3V，關閉電壓(off voltage)可為接地電壓。
因此，乘積累加電路51於應用程序所產生的輸出電流Io1即為：
Figure 02_image011
，其中wi,1與Din_i皆為一位元的二進位碼。同理，乘積累加電路52的輸出電流Io2為：
Figure 02_image013
，其中wi,2為一位元的二進位碼。依此類推，乘積累加電路5j的輸出電流Ioj為：
Figure 02_image015
，其中wi,j為一位元的二進位碼。
再者，每個乘積累加電路51~5j的輸出端O1~Oj連接至對應的轉換電路591~59j，用以將j個輸出電流Io1~Ioj轉換為下一層的一位元的神經元數值Dout_1~Dout_j。舉例來說，轉換電路591~59j為電流比較器(current comparator)，當輸出電流Io1大於參考電流時，則下一層的神經元數值Dout_1為"邏輯1"。當輸出電流Io1小於參考電流時，則下一層的神經元數值為"邏輯0"。
當然，第二實施例與第三實施例的乘積累加電路也可利用p型電晶體來實現電流源。
請參照第6圖，其所繪示為本發明第四實施例之乘積累加電路及其乘積累加電路組。乘積累加電路組包括j個乘積累加電路61~6j，每一個乘積累加電路61~6j可產生對應的輸出電流Io1~Ioj。每一個乘積累加電路61~6j的結構相同，以下僅介紹乘積累加電路61。
乘積累加電路61包括：m個電流源611~61m以及m個非揮發性記憶胞631~63m。其中，乘積累加電路61的m個輸入端接收前一層的m個一位元的神經元數值Din_1~Din_m，m個電流源611~61m受控於m個神經元數值Din_1~Din_m。再者，乘積累加電路61包括m條電流路徑(current path)，每一條電流路徑包括一電流源與一非揮發性記憶胞。m條電流路徑的連接關係類似於第一實施例的乘積累加電路300，此處不再贅述。
根據本發明的第四實施例，乘積累加電路61中的電流源611~61m係以p型電晶體來實現，且所有的p型電晶體的尺寸(size)相同。因此，當任一個p型電晶體開啟(turn on)時，即可產生的電流大小為Iu。
以電流源611為例，p型電晶體的閘極端接收對應的一位元的神經元數值Din_1，p型電晶體的第一汲/源端(drain/source terminal)接收第一供應電壓，p型電晶體的第二汲/源端連接至非揮發性記憶胞631的第一端，非揮發性記憶胞631的第二端連接至輸出端O1。
舉例來說，將"邏輯1"的神經元數值定義為p型電晶體的開啟電壓(on voltage)，將"邏輯0"的神經元數值定義為p型電晶體的關閉電壓(off voltage)。因此，神經元數值為邏輯"1"時，p型電晶體開啟並產生電流Iu，神經元數值為邏輯"0"時，p型電晶體關閉且無法產生電流。其中，第一供應電壓可為3.3V，開啟電壓(on voltage)可為接地電壓，關閉電壓(off voltage)可為3.3V。
相同地，非揮發性記憶胞631~63m可由MTP記憶胞、OTP記憶胞或者遮罩式唯獨記憶胞來實現。乘積累加電路61中的非揮發性記憶胞631~63m可儲存一位元的神經元連接權重w1,1~wm,1。當非揮發性記憶胞為關閉狀態(off state)時，其電阻值非常大，電流無法通過非揮發性記憶胞，視為神經元連接權重為"邏輯0"。當非揮發性記憶胞為開啟狀態(on state)時，其電阻值較小，電流可通過非揮發性記憶胞，視為神經元連接權重為"邏輯1"。
因此，乘積累加電路61於應用程序所產生的輸出電流Io1即為：
Figure 02_image011
，其中wi,1與Din_i皆為一位元的二進位碼。同理，乘積累加電路62的輸出電流Io2為：
Figure 02_image013
，其中wi,2為一位元的二進位碼。乘積累加電路6j的輸出電流Ioj為：
Figure 02_image015
，其中wi,j為一位元的二進位碼。
再者，每個乘積累加電路61~6j的輸出端O1~Oj連接至對應的轉換電路(converting circuit)691~69j，用以將j個輸出電流Io1~Ioj轉換為下一層的一位元的神經元數值Dout_1~Dout_j。舉例來說，轉換電路691~69j為電流比較器(current comparator)，當輸出電流Io1大於參考電流時，則下一層的神經元數值Dout_1為"邏輯1"。當輸出電流Io1小於參考電流時，則下一層的神經元數值為"邏輯0"。
請參照第7圖，其所繪示為本發明第五實施例之乘積累加電路及其乘積累加電路組。乘積累加電路組包括j個乘積累加電路71~7j，每一個乘積累加電路71~7j可產生對應的輸出電流Io1~Ioj。每一個乘積累加電路71~7j的結構相同，以下僅介紹乘積累加電路71。
乘積累加電路71包括：m個電流源711~71m以及m個非揮發性記憶胞731~73m。其中，乘積累加電路71的m個輸入端接收前一層的m個一位元的神經元數值Din_1~Din_m，m個電流源711~71m受控於m個神經元數值Din_1~Din_m。再者，乘積累加電路71包括m條電流路徑(current path)，每一條電流路徑包括一電流源與一非揮發性記憶胞。m條電流路徑的連接關係類似於第一實施例的乘積累加電路300，此處不再贅述。
相較於第四實施例，第五實施例的差異在於電流源的構造，以下介紹電流源711。電流源711由二個p型電晶體所組成，電流源711包括一開關電晶體(switching transistor)與一偏壓電晶體(bias transistor)。在電流源711中，偏壓電晶體的閘極端接收一偏壓電壓(bias voltage，Vb)，偏壓電晶體的第一汲/源端接收第一供應電壓，偏壓電晶體的第二汲/源端連接至開關電晶體的第一汲/源端，開關電晶體的第二汲/源端連接至非揮發性記憶胞731的第一端，開關電晶體的閘極端接收對應的一位元的神經元數值Din_1。
根據本發明的第五實施例，所有電流源711~71m中的偏壓電晶體有相同的尺寸(size)。因此，當任一個電流源711~71m動作時，即可產生的電流大小為Iu。
舉例來說，將"邏輯1"的神經元數值定義為開關電晶體的開啟電壓(on voltage)，將"邏輯0"的神經元數值定義為開關電晶體的關閉電壓(off voltage)。因此，神經元數值為邏輯"1"時，開關電晶體開啟使得電流源動作並產生電流Iu，神經元數值為邏輯"0"時，開關電晶體關閉使得電流源不動作且無法產生電流。其中，第一供應電壓可為3.3V，開啟電壓(on voltage)可為接地電壓，關閉電壓(off voltage)可為3.3V。
因此，乘積累加電路71於應用程序所產生的輸出電流Io1即為：
Figure 02_image011
，其中wi,1與Din_i皆為一位元的二進位碼。同理，乘積累加電路72的輸出電流Io2為：
Figure 02_image013
，其中wi,2為一位元的二進位碼。乘積累加電路7j的輸出電流Ioj為：
Figure 02_image015
，其中wi,j為一位元的二進位碼。
再者，每個乘積累加電路71~7j的輸出端O1~Oj連接至對應的轉換電路791~79j，用以將j個輸出電流Io1~Ioj轉換為下一層的一位元的神經元數值Dout_1~Dout_j。舉例來說，轉換電路791~79j為電流比較器(current comparator)，當輸出電流Io1大於參考電流時，則下一層的神經元數值Dout_1為"邏輯1"。當輸出電流Io1小於參考電流時，則下一層的神經元數值為"邏輯0"。
由以上的說明可知，本發明提出一種運用於二進位類神經網路系統的乘積累加電路。在乘積累加電路的每一條電流路徑中，利用非揮發性記憶胞來儲存一位元的神經元連接權重，並利用前一級的一位元的神經元數值來控制電流源，進而達成運用於二進位類神經網路系統的乘積累加電路。
再者，經過適當地修改，更可使本發明的乘積累加電路運用於多位元類神經網路系統，以下簡單介紹。
請參照第8圖，其所繪示為可運用於多位元類神經網路系統的乘積累加電路。乘積累加電路800包括：m個子乘積累加電路81~8m，每個子乘積累加電路81~8m接收對應的前一層神經元數值Din_1~Din_m。其中，每一個神經元數值Din_1~Din_m皆為n位元的二進位碼(n-bit binary code)，且n大於1。
再者，每個子乘積累加電路81~8m有相同的結構，以下僅介紹子乘積累加電路81。子乘積累加電路81包括n個電流源811~81n及n個非揮發性記憶胞821~82n。其中，由於前一層神經元數值Din_1有n個位元b11~bn1，所以子乘積累加電路81的n個輸入端對應地接收神經元數值Din_1的n位元b11~bn1。再者，n個電流源811~81n受控於神經元數值Din_1的n位元b11~bn1。
另外，每個非揮發性記憶胞821~82n皆可儲存一位元的神經元連接權重w11~wn1。亦即，所有n個非揮發性記憶胞821~82n共可儲存n位元的神經元連接權重。再者，非揮發性記憶胞821~82n可由MTP記憶胞、OTP記憶胞或者遮罩式唯獨記憶胞來實現。
在子乘積累加電路81包括n條電流路徑(current path)並聯(parallel connected)於第一供應電壓Vss與輸出端O之間。每一條電流路徑包括一電流源與一非揮發性記憶胞。在第一電流路徑中，電流源811受控於神經元數值Din_1的最低位元(LSB)b11。在第二電流路徑中，電流源812受控於神經元數值Din_1的次低位元b21。依此類推，在第n電流路徑中，電流源81n受控於神經元數值Din_1的最高位元(MSB)bn1。
根據本發明的實施例，電流源811~81n產生的電流大小相關於神經元數值Din_1的位元次序。舉例來說，神經元數值Din_1的最低位元(LSB)b11所控制的電流源811可以產生的電流大小為Iu，神經元數值Din_1的次低位元b21所控制的電流源812可以產生的電流大小為 2倍Iu，神經元數值Din_1的最高位元bn1所控制的電流源81n可以產生的電流大小為(2n-1 )倍Iu。
基本上，乘積累加電路800於應用程序時，乘積累加電路800的輸出端O會接收第二供應電壓Vd，且第二供應電壓Vd會大於第一供應電壓Vss。
再者，乘積累加電路800於應用程序時，根據前一層的m個神經元數值Din_1~Din_m，以及非揮發性記憶胞821~82n與841~84n儲存之一位元的神經元連接權重w11~n1與w1m~wnm，即可在乘積累加電路800的輸出端O產生輸出電流Io：
Figure 02_image017
。再者，利用類比轉數位電路(ADC)，即可將輸出電流Io轉換為下一層的n位元的神經元數值。
綜上所述，雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100:類神經網路系統 102:手寫板 110:輸入層 120:隱藏層 130:輸出層 200, 251~25j, 300, 41~4j, 51~5j, 61~6j, 71~7j , 800:乘積累加電路 250:乘積累加電路組 260:數位類比轉換器 270:類比數位轉換器 301~30m, 411~41m, 421~42m, 4j1~4jm, 511~51m, 521~52m, 5j1~5jm:電流源 311~31m, 431~43m, 441~44m, 451~45m, 531~53m, 541~54m, 551~55m:記憶胞 611~61m, 621~62m, 6j1~6jm, 711~71m, 721~72m, 7j1~7jm:電流源 631~63m, 641~64m, 6j1~6jm, 731~73m, 741~74m, 751~75m:記憶胞 81~8m:子乘積累加電路 811~81n, 831~83n:電流源 821~82n, 841~84n:記憶胞
第1圖為辨識數字的類神經網路系統示意圖； 第2A圖至第2C圖乘積累加電路器的方塊圖、習知乘積累加電路組與控制電路示意圖； 第3圖為本發明乘積累加電路的第一實施例； 第4圖為本發明第二實施例之乘積累加電路及其乘積累加電路組； 第5圖為本發明第三實施例之乘積累加電路及其乘積累加電路組； 第6圖為本發明第四實施例之乘積累加電路及其乘積累加電路組； 第7圖為本發明第五實施例之乘積累加電路及其乘積累加電路組；以及 第8圖為可運用於多位元類神經網路系統的乘積累加電路。
300:乘積累加電路
301~30m:電流源
311~31m:記憶胞

Claims (12)

  1. 一種乘積累加電路，接收一類神經網路系統中一第一層的m個一位元神經元數值，該乘積累加電路包括： m個非揮發性記憶胞；以及 m個電流源； 其中，該m個非揮發性記憶胞與該m個電流源形成m條電流路徑，該m條電流路徑連接於一第一供應電壓與一輸出端之間； 其中，該m個非揮發性記憶胞中的一第一非揮發性記憶胞與該m個電流源中的一第一電流源形成一第一電流路徑，該第一電流源的一第一端接收該第一供應電壓，該第一電流源的一第二端連接至該第一非揮發性記憶胞的一第一端，該第一非揮發性記憶胞的一第二端連接至該輸出端，且該第一電流源的一控制端接收該第一層的m個一位元神經元數值中的一第一一位元神經元數值。
  2. 如請求項1所述之乘積累加電路，其中該m個非揮發性記憶胞為多次編程記憶胞、單次編程記憶胞或者遮罩式唯讀記憶胞，且每一該非揮發性記憶胞儲存一一位元神經元連接權重。
  3. 如請求項2所述之乘積累加電路，其中當該第一非揮發性記憶胞為一高電阻值的一第一儲存狀態時，該第一非揮發性記憶胞儲存的該一位元神經元連接權重為一第一邏輯數值；以及該第一非揮發性記憶胞為一低電阻值的一第二儲存狀態時，該第一非揮發性記憶胞儲存的該一位元神經元連接權重為一第二邏輯數值。
  4. 如請求項3所述之乘積累加電路，其中該第一邏輯數值為一邏輯0，且該第二邏輯數值為一邏輯1。
  5. 如請求項1所述之乘積累加電路，其中於一應用程序時，該乘積累加電路根據該第一層的m個一位元神經元數值來控制對應的該m條電流路徑，使得該乘積累加電路的該輸出端產生一輸出電流。
  6. 如請求項5所述之乘積累加電路，更包括一轉換電路接收該輸出電流，並將該輸出電流轉換為該類神經網路系統中一第二層的一一位元神經元數值。
  7. 如請求項6所述之乘積累加電路，其中該轉換電路為一電流比較器，當輸出電流小於一參考電流時，該第二層的該一位元神經元數值為一第一邏輯數值；以及，當該輸出電流大於該參考電流時，該第二層的該一位元神經元數值一第二邏輯數值。
  8. 如請求項7所述之乘積累加電路，其中該第一邏輯數值為一邏輯0，且該第二邏輯數值為一邏輯1。
  9. 如請求項1所述之乘積累加電路，其中該第一電流源包括一電晶體，該電晶體的一閘極端接收該第一一位元神經元數值，該電晶體的一第一汲/源端接收該第一供應電壓，該電晶體的一第二汲/源端連接至該第一非揮發性記憶胞的該第一端。
  10. 如請求項9所述之乘積累加電路，其中該電晶體為一p型電晶體或者一n型電晶體。
  11. 如請求項1所述之乘積累加電路，其中該第一電流源包括一偏壓電晶體與一開關電應體，該偏壓電晶體的一閘極端接收一偏壓電壓，該偏壓電晶體的一第一汲/源端接收該第一供應電壓，該偏壓電晶體的一第二汲/源端連接至該開關電晶體的一第一汲/源端，該開關電晶體的一第二汲/源端連接至該第一非揮發性記憶胞的該第一端，該開關電晶體的一閘極端接收該第一一位元神經元數值。
  12. 如請求項11所述之乘積累加電路，其中該偏壓電晶體與該開關電晶體為p型電晶體或者n型電晶體。
TW110100261A 2020-02-12 2021-01-05 運用於二進位類神經網路系統的乘積累加電路 TWI773076B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202062975671P 2020-02-12 2020-02-12
US62/975,671 2020-02-12

Publications (2)

Publication Number Publication Date
TW202131205A true TW202131205A (zh) 2021-08-16
TWI773076B TWI773076B (zh) 2022-08-01

Family

ID=77177573

Family Applications (3)

Application Number Title Priority Date Filing Date
TW109143446A TWI732723B (zh) 2020-02-12 2020-12-09 電阻式記憶胞及其相關的陣列結構
TW110100261A TWI773076B (zh) 2020-02-12 2021-01-05 運用於二進位類神經網路系統的乘積累加電路
TW110101982A TWI774201B (zh) 2020-02-12 2021-01-19 玻璃基板上的一次編程非揮發性記憶胞

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW109143446A TWI732723B (zh) 2020-02-12 2020-12-09 電阻式記憶胞及其相關的陣列結構

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW110101982A TWI774201B (zh) 2020-02-12 2021-01-19 玻璃基板上的一次編程非揮發性記憶胞

Country Status (3)

Country Link
US (3) US11663455B2 (zh)
CN (3) CN113257850B (zh)
TW (3) TWI732723B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227894B2 (en) * 2019-10-30 2022-01-18 Globalfoundries U.S. Inc. Memory cells with vertically overlapping wordlines
US11663455B2 (en) * 2020-02-12 2023-05-30 Ememory Technology Inc. Resistive random-access memory cell and associated cell array structure
US11715520B2 (en) 2021-04-05 2023-08-01 Micron Technology, Inc. Socket structure for spike current suppression in a memory array
US11862215B2 (en) 2021-08-27 2024-01-02 Micron Technology, Inc. Access line having a resistive layer for memory cell access
TWI813217B (zh) * 2021-12-09 2023-08-21 友達光電股份有限公司 半導體裝置及其製造方法

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4037243A (en) * 1974-07-01 1977-07-19 Motorola, Inc. Semi conductor memory cell utilizing sensing of variations in PN junction current conrolled by stored data
KR100193101B1 (ko) * 1994-07-22 1999-06-15 모리시다 요이치 비휘발성 반도체 기억장치 및 그 구동방법
JP3475634B2 (ja) 1996-01-24 2003-12-08 ソニー株式会社 ツェナーダイオードおよびその製造方法
JP3853981B2 (ja) * 1998-07-02 2006-12-06 株式会社東芝 半導体記憶装置の製造方法
US6490194B2 (en) * 2001-01-24 2002-12-03 Infineon Technologies Ag Serial MRAM device
EP1233453A3 (en) * 2001-02-19 2005-03-23 Kawasaki Microelectronics, Inc. Semiconductor integrated circuit having anti-fuse, method of fabricating, and method of writing data in the same
MXPA04004099A (es) * 2001-10-31 2004-07-23 Ibm Dispositivo semiconductor y metodo de fabricacion del mismo.
TWI320571B (en) * 2002-09-12 2010-02-11 Qs Semiconductor Australia Pty Ltd Dynamic nonvolatile random access memory ne transistor cell and random access memory array
US8637366B2 (en) 2002-12-19 2014-01-28 Sandisk 3D Llc Nonvolatile memory cell without a dielectric antifuse having high- and low-impedance states
ATE544180T1 (de) * 2004-05-19 2012-02-15 Angel Co Ltd Diode mit anschlussleitungs-abschluss für eine solarzelle
US7638855B2 (en) * 2005-05-06 2009-12-29 Macronix International Co., Ltd. Anti-fuse one-time-programmable nonvolatile memory
TWI286815B (en) * 2005-11-03 2007-09-11 Ind Tech Res Inst Memory cell, pixel structure and manufacturing process of memory cell
US20070247915A1 (en) * 2006-04-21 2007-10-25 Intersil Americas Inc. Multiple time programmable (MTP) PMOS floating gate-based non-volatile memory device for a general-purpose CMOS technology with thick gate oxide
US7489535B2 (en) * 2006-10-28 2009-02-10 Alpha & Omega Semiconductor Ltd. Circuit configurations and methods for manufacturing five-volt one time programmable (OTP) memory arrays
JP2007201494A (ja) * 2007-03-26 2007-08-09 Toshiba Corp 不揮発性半導体記憶装置
CN101452938B (zh) * 2007-11-30 2010-11-03 上海华虹Nec电子有限公司 一次可编程非挥发性存储器单元
US9343665B2 (en) * 2008-07-02 2016-05-17 Micron Technology, Inc. Methods of forming a non-volatile resistive oxide memory cell and methods of forming a non-volatile resistive oxide memory array
US8519509B2 (en) * 2010-04-16 2013-08-27 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and manufacturing method thereof
US8804398B2 (en) * 2010-08-20 2014-08-12 Shine C. Chung Reversible resistive memory using diodes formed in CMOS processes as program selectors
US9070437B2 (en) * 2010-08-20 2015-06-30 Shine C. Chung Circuit and system of using junction diode as program selector for one-time programmable devices with heat sink
US8803124B2 (en) 2012-02-29 2014-08-12 Intermolecular, Inc. Creating an embedded reram memory from a high-K metal gate transistor structure
US8748940B1 (en) * 2012-12-17 2014-06-10 Intel Corporation Semiconductor devices with germanium-rich active layers and doped transition layers
US9293509B2 (en) * 2013-03-20 2016-03-22 HangZhou HaiCun Information Technology Co., Ltd. Small-grain three-dimensional memory
US9281074B2 (en) 2013-05-16 2016-03-08 Ememory Technology Inc. One time programmable memory cell capable of reducing leakage current and preventing slow bit response
US9286973B2 (en) * 2013-09-24 2016-03-15 Taiwan Semiconductor Manufacturing Company Limited Device and method for forming resistive random access memory cell
CN104681558B (zh) * 2013-12-03 2017-11-07 珠海创飞芯科技有限公司 Otp器件结构及其加工方法
US9431111B2 (en) * 2014-07-08 2016-08-30 Ememory Technology Inc. One time programming memory cell, array structure and operating method thereof
US9397157B2 (en) * 2014-08-20 2016-07-19 Taiwan Semiconductor Manufacturing Company, Ltd. Multi-gate device structure including a fin-embedded isolation region and methods thereof
US20160093672A1 (en) 2014-09-26 2016-03-31 Qualcomm Incorporated Logic high-k/metal gate 1t-1c rram mtp/otp devices
US9799662B2 (en) * 2015-08-18 2017-10-24 Ememory Technology Inc. Antifuse-type one time programming memory cell and array structure with same
US9634015B2 (en) 2015-08-18 2017-04-25 Ememory Technology Inc. Antifuse-type one time programming memory cell and array structure with same
US20190148286A1 (en) * 2015-09-21 2019-05-16 Monolithic 3D Inc. Multi-level semiconductor device and structure with memory
CN106485318B (zh) * 2015-10-08 2019-08-30 上海兆芯集成电路有限公司 具有混合协处理器/执行单元神经网络单元的处理器
TWI672796B (zh) * 2015-10-30 2019-09-21 聯華電子股份有限公司 半導體元件
US10622365B2 (en) * 2015-11-07 2020-04-14 Monolithic 3D Inc. Semiconductor memory device and structure
CN108369958A (zh) * 2015-12-24 2018-08-03 英特尔公司 包括拉伸应变的锗沟道的晶体管
US9613714B1 (en) * 2016-01-19 2017-04-04 Ememory Technology Inc. One time programming memory cell and memory array for physically unclonable function technology and associated random code generating method
US9514818B1 (en) * 2016-05-04 2016-12-06 Tower Semiconductor Ltd. Memristor using parallel asymmetrical transistors having shared floating gate and diode
WO2018004521A1 (en) * 2016-06-27 2018-01-04 Intel Corporation Broken bandgap contact
GB2552014B (en) * 2016-07-07 2020-05-13 Advanced Risc Mach Ltd Reconfigurable artificial neural networks comprising programmable non-volatile memory elements
KR102178025B1 (ko) * 2016-08-09 2020-11-13 매그나칩 반도체 유한회사 감소된 레이아웃 면적을 갖는 otp 셀
JP2018055742A (ja) * 2016-09-28 2018-04-05 エイブリック株式会社 不揮発性半導体記憶装置
US10082736B2 (en) * 2017-01-13 2018-09-25 International Business Machines Corporation Approach to lowering extreme ultraviolet exposure dose for inorganic hardmasks for extreme ultraviolet patterning
US11222895B2 (en) * 2017-03-22 2022-01-11 Intel Corporation Embedded memory employing self-aligned top-gated thin film transistors
JP6349008B1 (ja) * 2017-04-13 2018-06-27 力旺電子股▲ふん▼有限公司ｅＭｅｍｏｒｙ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｃ． 乱数発生装置及びその制御方法
FR3066310B1 (fr) * 2017-05-12 2020-01-24 Stmicroelectronics (Rousset) Sas Cellule memoire de type ram resistive
US10522580B2 (en) * 2017-08-23 2019-12-31 Taiwan Semiconductor Manufacturing Co., Ltd. Structure and formation method of light-sensing device
EP3680907A4 (en) * 2017-09-07 2020-10-28 Panasonic Corporation ARITHMETIC CIRCUIT OF A NEURONAL NETWORK USING A NON-VOLATILE SEMI-CONDUCTOR MEMORY
CN111052154B (zh) * 2017-09-07 2023-10-17 松下控股株式会社 使用非易失性半导体存储元件的神经网络运算电路
EP3743857A4 (en) * 2018-01-23 2021-12-29 Anaflash Inc. Neural network circuits having non-volatile synapse arrays
US11138497B2 (en) * 2018-07-17 2021-10-05 Macronix International Co., Ltd In-memory computing devices for neural networks
US20190042949A1 (en) * 2018-09-28 2019-02-07 Intel Corporation Methodology for porting an ideal software implementation of a neural network to a compute-in-memory circuit
CN110209375B (zh) * 2019-05-30 2021-03-26 浙江大学 一种基于radix-4编码和差分权重存储的乘累加电路
CN110378475B (zh) * 2019-07-08 2021-08-06 浙江大学 一种基于多位并行二进制突触阵列的神经形态计算电路
CN110569962B (zh) * 2019-08-08 2022-02-15 华中科技大学 一种基于1t1r存储器阵列的卷积计算加速器及其操作方法
US11663455B2 (en) * 2020-02-12 2023-05-30 Ememory Technology Inc. Resistive random-access memory cell and associated cell array structure

Also Published As

Publication number Publication date
CN113325909B (zh) 2022-11-01
TWI732723B (zh) 2021-07-01
TW202131333A (zh) 2021-08-16
CN113257850B (zh) 2024-01-30
TWI773076B (zh) 2022-08-01
CN113257820B (zh) 2023-10-17
CN113257850A (zh) 2021-08-13
TW202145509A (zh) 2021-12-01
CN113325909A (zh) 2021-08-31
US11663455B2 (en) 2023-05-30
TWI774201B (zh) 2022-08-11
US20210249426A1 (en) 2021-08-12
US11610103B2 (en) 2023-03-21
US20210249601A1 (en) 2021-08-12
CN113257820A (zh) 2021-08-13
US20210248452A1 (en) 2021-08-12

Similar Documents

Publication Publication Date Title
TWI773076B (zh) 運用於二進位類神經網路系統的乘積累加電路
TWI760746B (zh) 運用於類神經網路系統的乘積累加電路之控制電路
US20230113231A1 (en) Methods and systems of operating a neural circuit in a non-volatile memory based neural-array
US11727258B2 (en) Multi-bit, SoC-compatible neuromorphic weight cell using ferroelectric FETs
Manem et al. Design considerations for variation tolerant multilevel CMOS/Nano memristor memory
Yu et al. Compute-in-memory with emerging nonvolatile-memories: Challenges and prospects
US11580368B2 (en) Artificial neural network circuit
US11544540B2 (en) Systems and methods for neural network training and deployment for hardware accelerators
KR20190107143A (ko) 혼합-신호 연산 시스템 및 방법
US11886987B2 (en) Non-volatile memory-based compact mixed-signal multiply-accumulate engine
US11922169B2 (en) Refactoring mac operations
Suri et al. Neuromorphic hybrid rram-cmos rbm architecture
Vahdat et al. Interstice: Inverter-based memristive neural networks discretization for function approximation applications
Ye et al. A 28-nm RRAM computing-in-memory macro using weighted hybrid 2T1R cell array and reference subtracting sense amplifier for AI edge inference
He et al. Rvcomp: Analog variation compensation for rram-based in-memory computing
Choi et al. Implementation of an On-Chip Learning Neural Network IC Using Highly Linear Charge Trap Device
US20230177319A1 (en) Methods and systems of operating a neural circuit in a non-volatile memory based neural-array
Bishnoi et al. Energy-efficient Computation-In-Memory Architecture using Emerging Technologies
TWI788128B (zh) 記憶體裝置及其操作方法
CN113160860B (zh) 计算系统、计算器件和计算方法
Mondal et al. Current comparator-based reconfigurable adder and multiplier on hybrid memristive crossbar