TWI674534B - 使用非揮發性半導體記憶元件之類神經網路運算電路 - Google Patents

使用非揮發性半導體記憶元件之類神經網路運算電路 Download PDF

Info

Publication number
TWI674534B
TWI674534B TW107130812A TW107130812A TWI674534B TW I674534 B TWI674534 B TW I674534B TW 107130812 A TW107130812 A TW 107130812A TW 107130812 A TW107130812 A TW 107130812A TW I674534 B TWI674534 B TW I674534B
Authority
TW
Taiwan
Prior art keywords
memory element
semiconductor memory
volatile semiconductor
link weight
value
Prior art date
Application number
TW107130812A
Other languages
English (en)
Other versions
TW201921282A (zh
Inventor
河野和幸
Kazuyuki Kouno
小野貴史
Takashi Ono
中山雅義
Masayoshi Nakayama
持田禮司
Reiji Mochida
早田百合子
Yuriko HAYATA
Original Assignee
日商松下電器產業股份有限公司
Panasonic Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商松下電器產業股份有限公司, Panasonic Corporation filed Critical 日商松下電器產業股份有限公司
Publication of TW201921282A publication Critical patent/TW201921282A/zh
Application granted granted Critical
Publication of TWI674534B publication Critical patent/TWI674534B/zh

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G11C13/0023—Address circuits or decoders
    • G11C13/0028—Word-line or row circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/5443—Sum of products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/02—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using magnetic elements
    • G11C11/16—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using magnetic elements using elements in which the storage effect is based on magnetic spin effect
    • G11C11/165—Auxiliary circuits
    • G11C11/1653—Address circuits or decoders
    • G11C11/1657—Word-line or row circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/02—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using magnetic elements
    • G11C11/16—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using magnetic elements using elements in which the storage effect is based on magnetic spin effect
    • G11C11/165—Auxiliary circuits
    • G11C11/1673—Reading or sensing circuits or methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0004—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements comprising amorphous/crystalline phase transition cells
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G11C13/004—Reading or sensing circuits or methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/21—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements
    • G11C11/22—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using ferroelectric elements
    • G11C11/225—Auxiliary circuits
    • G11C11/2253—Address circuits or decoders
    • G11C11/2257—Word-line or row circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/21—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements
    • G11C11/22—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using ferroelectric elements
    • G11C11/225—Auxiliary circuits
    • G11C11/2273—Reading or sensing circuits or methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G11C13/004—Reading or sensing circuits or methods
    • G11C2013/0042—Read using differential sensing, e.g. bit line [BL] and bit line bar [BLB]
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2213/00—Indexing scheme relating to G11C13/00 for features not covered by this group
    • G11C2213/70—Resistive array aspects
    • G11C2213/79—Array wherein the access device being a transistor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Semiconductor Memories (AREA)

Abstract

在因應輸入資料x0~xn與鏈結權重係數w0~wn的乘積累加運算結果而將輸出資料輸出之類神經網路運算電路，具備令非揮發性半導體記憶元件RP與單元電晶體T0串聯連接於資料線BL0、SL0之間、令非揮發性半導體記憶元件RN與單元電晶體T1串聯連接於資料線BL1、SL1之間、令字線WL0~WLn連接於單元電晶體T0、T1之閘極的運算單元PU0~PUn，將鏈結權重係數w0~wn儲存於RP、RN，字線選擇電路是因應x0~xn而令WL0~WLn成為選擇狀態或非選擇狀態，判定電路是藉由判定在BL0、BL1流動之電流值而將輸出資料輸出。

Description

使用非揮發性半導體記憶元件之類神經網路運算電路
本發明是涉及可低消耗功率化與大規模積體化之使用非揮發性半導體記憶元件之類神經網路運算電路、及其動作方法。
隨著資訊通訊技術之發展，將各式各樣之物以網路連繫之IoT(Internet of Things，物聯網)技術之來臨受到矚目。在IoT技術，雖然期待藉由將各種電子機器連接於網路而令機器高性能化，但作為實現更高性能化之技術，近年來正活耀地研究開發令電子機器自己進行學習與判斷之人工智慧(AI：Artificial Intelligence)技術。
人工智慧技術是使用到工學性地模仿人類之腦型資訊處理之類神經網路技術，將類神經網路運算以高速、低消耗功率來實行之半導體積體電路正在被積極地研究開發。
專利文獻1、專利文獻2、專技文獻3揭示到習知之類神經網路運算電路。類神經網路是由被稱作神經元(有時被稱作感知器)之基本元件而構成，神經元是以分別具有不同之鏈結權重係數之被稱作突觸之鏈結來與複數個輸入連接，可藉由將複數個神經元相互連接而進行圖像辨識、語音辨識這樣之高度之運算處理。在神經元是進行將各輸入與各鏈結權重係數之相乘結果全部加起來之乘積累加運算動作。乘積累加運算電路是藉由以下而構成：記憶體電路與暫存器電路，將輸入、鏈結權重係數儲存；乘法電路，將輸入與鏈結權重係數相乘；累加器電路，將相乘結果累加；控制電路，進行該等電路區塊之動作控制。接下來之電路區塊全部以數位電路構成。
非專利文獻1揭示到習知之類神經網路運算電路之另一例。令類神經網路運算電路是使用可設定類比電阻值(電導)之可變電阻型非揮發性記憶體而構成，將相當於鏈結權重係數之類比電阻值(電導)儲存在非揮發性記憶體元件，將相當於輸入之類比電壓值施加在非揮發性記憶體元件，利用此時在非揮發性記憶體元件流動之類比電流值。在神經元進行之乘積累加運算動作是如下而進行：將複數個鏈結權重係數作為類比電阻值(電導)而儲存在複數個非揮發性記憶體元件，將相當於複數個輸入之複數個類比電壓值施加在複數個非揮發性記憶體元件，將把在複數個非揮發性記憶體元件流動之電流值加起來之類比電流值當作乘積累加運算結果。與前述之藉由數位電路而構成之類神經網路運算電路相比，使用非揮發性記憶體元件之類神經網路運算電路可實現低消耗功率化，近年來正在積極地進行可設定類比電阻值(電導)之可變電阻型非揮發性記憶體之製程開發、裝置開發、及電路開發。 先行技術文獻
專利文獻 專利文獻1：日本特開2001-188767號公報 專利文獻2：日本特開平6-259585號公報 專利文獻3：日本特開平2-161556號公報
非專利文獻 非專利文獻1：M. Prezioso, et al., “Training and operation of an integrated neuromorphic network based on metal-oxide memristors,” Nature, no. 521, pp. 61-64, 2015.
發明概要 發明欲解決之課題 然而，前述之習知之類神經網路運算電路有如下所示之課題。
亦即，以數位電路構成之類神經網路運算電路是需要搭載將大量之輸入資料與鏈結權重係數儲存之大容量之記憶體電路與暫存器電路、進行以浮點表現之大量之輸入資料與鏈結權重係數之乘積累加運算之大規模之乘法電路與累積加算電路(累加器電路)、進行該等電路區塊之動作控制之大規模之控制電路，而有半導體積體電路之晶片面積增大之課題。
又，為了進行高速之類神經網路運算，需要令大規模之數位電路高速地動作，故現在商品化之進行類神經網路運算處理之半導體晶片之消耗功率是數十瓦特至數百瓦特之非常大，半導體積體電路之消耗功率增大亦為課題。
另一方面，為了解決以數位電路構成之類神經網路運算電路之消耗功率增大，近年來，有提案使用可設定類比電阻值(電導)之可變電阻型非揮發性記憶體之類神經網路運算電路。雖然乘積累加運算動作之進行方式是將複數個鏈結權重係數作為類比電阻值(電導)而儲存在複數個非揮發性記憶體元件、將相當於複數個輸入資料之複數個類比電壓值施加在複數個非揮發性記憶體元件、將把在複數個非揮發性記憶體元件流動之電流值加起來之類比電流值當作乘積累加運算結果，但由於神經元之輸入及輸出是以類比電壓值或類比電流值來處理，故神經元間之資訊傳達需要以類比值進行，具有難以對半導體積體電路安裝大規模之類神經網路電路、亦即難以進行大規模之半導體積體化之課題。關於令神經元間之資訊傳達變得容易，有使用類比-數位轉換電路(AD轉換器電路)將類比值轉換成數位值而進行資訊傳達、使用數位-類比轉換電路(DA轉換器電路)將數位值轉換成類比值之方法，但當要安裝大規模之類神經網路電路的情況下，需要搭載大量之類比-數位轉換電路(AD轉換器電路)與數位-類比轉換電路(DA轉換器電路)，故就半導體積體化之觀點而言並不佳。
本發明是鑑於上述課題而建構，提供可低消耗功率化與大規模積體化之使用非揮發性半導體記憶元件之類神經網路運算電路。 用以解決課題之手段
本發明之使用非揮發性半導體記憶元件之類神經網路運算電路是因應可取第1邏輯值或第2邏輯值之資料之複數個輸入資料、分別對應於複數個輸入資料之複數個鏈結權重係數、以及複數個輸入資料與對應之鏈結權重係數的乘積累加運算結果，而將第1邏輯值或第2邏輯值之輸出資料輸出之類神經網路運算電路，其具備：複數條字線；第1資料線；第2資料線；第3資料線；第4資料線；複數個運算單元，以第1非揮發性半導體記憶元件與第1單元電晶體之串聯連接而構成，令第1非揮發性半導體記憶元件之一端連接於第1資料線、令第1單元電晶體之一端連接於第2資料線、令第1單元電晶體之閘極連接於字線，以第2非揮發性半導體記憶元件與第2單元電晶體之串聯連接而構成，令第2非揮發性半導體記憶元件之一端連接於第3資料線、令第2單元電晶體之一端連接於第4資料線、令第2單元電晶體之閘極連接於字線；字線選擇電路，令複數條字線成為選擇狀態或非選擇狀態；以及判定電路，判定在第1資料線與第3資料線、或者、在第2資料線與第4資料線產生之電壓值或電流值之大小關係，而將第1邏輯值或第2邏輯值之資料輸出；在複數個運算單元之第1非揮發性半導體記憶元件與第2非揮發性半導體記憶元件儲存複數個鏈結權重係數，字線選擇電路是因應複數個輸入資料而令複數條字線成為選擇狀態或非選擇狀態，判定電路將輸出資料輸出。
又，本發明之使用非揮發性半導體記憶元件之類神經網路運算電路亦可以是如下：關於往複數個運算單元之第1非揮發性半導體記憶元件與第2非揮發性半導體記憶元件儲存複數個鏈結權重係數，當鏈結權重係數為正值的情況下，以令在第1非揮發性半導體記憶元件流動之電流值成為與鏈結權重係數之值成比例之電流值的方式，在第1非揮發性半導體記憶元件進行寫入，當鏈結權重係數為負值的情況下，以令在第2非揮發性半導體記憶元件流動之電流值成為與鏈結權重係數之值成比例之電流值的方式，在第2非揮發性半導體記憶元件進行寫入。
又，本發明之使用非揮發性半導體記憶元件之類神經網路運算電路亦可以是如下：關於往複數個運算單元之第1非揮發性半導體記憶元件與第2非揮發性半導體記憶元件儲存複數個鏈結權重係數，當鏈結權重係數為正值的情況下，以在第1非揮發性半導體記憶元件流動之電流值比在第2非揮發性半導體記憶元件流動之電流值大，且其電流差成為與鏈結權重係數之值成比例之電流值的方式，在第1非揮發性半導體記憶元件與第2非揮發性半導體記憶元件進行寫入，當鏈結權重係數為負值的情況下，以在第2非揮發性半導體記憶元件流動之電流值比在第1非揮發性半導體記憶元件流動之電流值大，且其電流差成為與鏈結權重係數之值成比例之電流值的方式，在第1非揮發性半導體記憶元件與第2非揮發性半導體記憶元件進行寫入。
又，本發明之使用非揮發性半導體記憶元件之類神經網路運算電路亦可以是如下：字線選擇電路是當輸入資料為第1邏輯值的情況下，令對應之字線成為非選擇狀態，當輸入資料為第2邏輯值的情況下，令對應之字線成為選擇狀態。
又，本發明之使用非揮發性半導體記憶元件之類神經網路運算電路亦可以是如下：令與乘積累加運算結果對應之電流值在第1資料線或第2資料線流動，前述乘積累加運算結果是鏈結權重係數為正值之複數個輸入資料與對應之正值之鏈結權重係數的乘積累加運算結果；令與乘積累加運算結果對應之電流值在第3資料線或第4資料線流動，前述乘積累加運算結果是鏈結權重係數為負值之複數個輸入資料與對應之負值之鏈結權重係數的乘積累加運算結果。
又，本發明之使用非揮發性半導體記憶元件之類神經網路運算電路亦可以是如下：判定電路是當在第1資料線或第2資料線流動之電流值比在第3資料線或第4資料線流動之電流值小的情況下，將第1邏輯值輸出；當在第1資料線或第2資料線流動之電流值比在第3資料線或第4資料線流動之電流值大的情況下，將第2邏輯值輸出。
又，本發明之使用非揮發性半導體記憶元件之類神經網路運算電路亦可以是如下：第1非揮發性半導體記憶元件與第2非揮發性半導體記憶元件是以可變電阻型元件形成之可變電阻型記憶元件、以可變磁阻型元件形成之可變磁阻型記憶元件、以相變化型元件形成之相變化型記憶元件、以鐵電型元件形成之鐵電型記憶元件之任一者。 發明效果
本發明之使用非揮發性半導體記憶元件之類神經網路運算電路是可將神經元之輸入資料與輸出資料取資料0或資料1之2值之數位值之類神經網路電路，具備藉由在第1資料線與第2資料線之間串聯連接之第1非揮發性半導體記憶元件與第1單元電晶體、以及、在第3資料線與第4資料線之間串聯連接之第2非揮發性半導體記憶元件與第2單元電晶體而構成之運算單元，將鏈結權重係數作為例如電阻值(電導)而儲存在第1非揮發性半導體記憶元件與第2非揮發性半導體記憶元件。
在此，當鏈結權重係數為正值的情況下，以令在第1非揮發性半導體記憶元件流動之電流值成為與鏈結權重係數之值成比例之電流值的方式，在第1非揮發性半導體記憶元件進行寫入(在第2非揮發性半導體記憶元件流動之電流值是零)，當鏈結權重係數為負值的情況下，以令在第2非揮發性半導體記憶元件流動之電流值成為與鏈結權重係數之值成比例之電流值的方式，在第2非揮發性半導體記憶元件進行寫入(在第1非揮發性半導體記憶元件流動之電流值是零)。
或者，當鏈結權重係數為正值的情況下，以在第1非揮發性半導體記憶元件流動之電流值比在第2非揮發性半導體記憶元件流動之電流值大、且其電流差成為與鏈結權重係數之值成比例之電流值的方式，在第1非揮發性半導體記憶元件與第2非揮發性半導體記憶元件進行寫入，當鏈結權重係數為負值的情況下，以在第2非揮發性半導體記憶元件流動之電流值比在第1非揮發性半導體記憶元件流動之電流值大、且其電流差成為與鏈結權重係數之值成比例之電流值的方式，在第1非揮發性半導體記憶元件與第2非揮發性半導體記憶元件進行寫入。該寫入方法是對以下情況有效：無法將在非揮發性半導體記憶元件流動之電流值設定成零、或者、無法只在1個非揮發性半導體記憶元件設定與鏈結權重係數之值成比例之電流值。
字線選擇電路是因應輸入資料(資料0或資料1)，令與第1單元電晶體、第2單元電晶體之閘極連接之字線成為非選擇狀態(資料0的情況)或選擇狀態(資料1的情況)，藉此令運算單元成為非活性化狀態或活性化狀態。
令與乘積累加運算結果對應之電流值在與第1非揮發性半導體記憶元件連接之第1資料線流動，前述乘積累加運算結果是鏈結權重係數為正值之複數個輸入資料與對應之正值之鏈結權重係數的乘積累加運算結果；令與乘積累加運算結果對應之電流值在與第2非揮發性半導體記憶元件連接之第3資料線流動，前述乘積累加運算結果是鏈結權重係數為負值之複數個輸入資料與對應之負值之鏈結權重係數的乘積累加運算結果。
判定電路是判定在第1資料線流動之電流值與在第3資料線流動之電流值的大小關係而將輸出資料(資料0或資料1)輸出。亦即，當輸入資料與鏈結權重係數的乘積累加運算結果為負值的情況下將資料0輸出，為正值的情況下將資料1輸出。
本發明之使用非揮發性半導體記憶元件之類神經網路運算電路是藉由上述之動作，使用在非揮發性半導體記憶元件流動之電流值而進行類神經網路電路之乘積累加運算動作。藉此，可以在未搭載習知之以數位電路構成之大容量之記憶體電路與暫存器電路、大規模之乘法電路與累積加算電路(累加器電路)、以及、複雜之控制電路之情形下進行乘積累加運算動作，故類神經網路運算電路之低消耗功率化及半導體積體電路之晶片面積縮小化成為可能。又，由於是可將神經元之輸入資料與輸出資料取資料0或資料1之2值之數位資料之類神經網路電路，故神經元間之資訊傳達可以是數位傳送，使用複數個神經元安裝大規模之類神經網路電路變得容易，半導體積體化成為可能。
亦即，本發明之使用非揮發性半導體記憶元件之類神經網路運算電路有可能實現低消耗功率化與大規模積體化。詳細是藉由後述之實施例而揭示。
用以實施發明之形態 以下，參考圖面而說明本發明之實施形態。
圖1A及圖1B是顯示與實施形態相關之使用非揮發性半導體記憶元件之類神經網路運算電路之詳細構成的圖。圖1A是顯示用在類神經網路運算之神經元的圖，圖1B是顯示將圖1A之神經元所進行之運算處理在本發明實施之情況下之詳細電路構成的圖，是將本發明之特徴予以顯示之代表圖。圖1A及圖1B會在後述進行詳細說明。
＜類神經網路運算＞ 首先，說明類神經網路運算之基礎理論。
圖2是顯示深度類神經網路之構成的圖。類神經網路是由以下而構成：讓輸入資料輸入之輸入層1、接收輸入層1之輸入資料而進行運算處理之隱藏層2(有時被稱作中間層)、接收隱藏層2之輸出資料而進行運算處理之輸出層3。在輸入層1、隱藏層2、輸出層3分別存在有多個被稱作神經元10之類神經網路之基本元件，各神經元10是透過鏈結權重11而連接。複數個鏈結權重11是分別具有不同之鏈結權重係數而將神經元間連接。複數個輸入資料輸入至神經元10，神經元10是進行該等複數個輸入資料與對應之鏈結權重係數的乘積累加運算動作，將其當作輸出資料而輸出。在此，隱藏層2是把複數段(在圖2是4段)之神經元連結之構成，形成深的類神經網路，故如圖2所示之類神經網路被稱作深度類神經網路。
圖3是顯示類神經網路運算之神經元之計算的圖，將神經元10所進行之計算式顯示在圖3之式子(1)、式子(2)。神經元10是令n個輸入x1~xn與分別具有鏈結權重係數w1~wn之鏈結權重連接，進行輸入x1~xn與鏈結權重係數w1~wn之乘積累加運算。神經元10具有偏差值係數b，在輸入x1~xn與鏈結權重係數w1~wn之乘積累加運算結果加上偏差值係數b。神經元10具有活性化函數f，對於在輸入x1~xn與鏈結權重係數w1~wn之乘積累加運算結果加上偏差值係數b後之結果進行活性化函數之運算處理，將輸出y輸出。
圖4是顯示在類神經網路運算之神經元之計算中，將偏差值係數b之運算分配到輸入x0與鏈結權重係數w0之情況下之計算的圖，將神經元10所進行之計算式顯示在圖4之式子(1)、式子(2)。在前述之圖3，神經元10是進行輸入x1~xn與鏈結權重係數w1~wn之乘積累加運算、以及、偏差值係數b之加法運算，但如圖4所示，可以將偏差值係數b之加法運算當作輸入x0=1、鏈結權重係數w0=b，而解釋成將n+1個輸入x0~xn以分別具有鏈結權重係數w0~wn之鏈結權重而連接之神經元10。如圖4之式子(1)、式子(2)所示，可以將神經元10之計算只用輸入x0~xn與鏈結權重係數w0~wn之乘積累加運算來簡潔地表現。本實施形態是如圖4所示，令偏差值係數b之加法運算之表現是以輸入x0=1與鏈結權重係數w0=b來表現。
圖5是顯示與實施形態相關之類神經網路運算之神經元之活性化函數f的圖，x軸是活性化函數f之輸入u，y軸是活性化函數f之輸出f(u)。在本發明之實施形態，活性化函數f是使用階梯函數。雖然在本實施形態是使用階梯函數來作為活性化函數，但有S函數等可作為在類神經網路運算使用之其他之活性化函數。如圖5所示，階梯函數是如下之函數：當輸入u為負值(＜0)的情況下，將輸出f(u)=0輸出，當輸入u為正值(≥0)的情況下，將輸出f(u)=1輸出。若在前述之圖4之神經元10使用階梯函數之活性化函數f，則當輸入x0~xn與鏈結權重係數w0~wn之乘積累加運算結果為負值的情況下，將輸出y=0輸出，當乘積累加運算結果為正值的情況下，將輸出y=1輸出。
＜使用非揮發性半導體記憶元件之類神經網路運算電路之整體構成＞ 圖6是顯示與實施形態相關之使用非揮發性半導體記憶元件之類神經網路運算電路之整體構成的圖。本發明之類神經網路運算電路具備記憶體陣列20、字線選擇電路30、行閘極40、判定電路50、寫入電路60、控制電路70。
記憶體陣列20是令非揮發性半導體記憶元件配置成矩陣狀，讓用於類神經網路運算之鏈結權重係數儲存在非揮發性半導體記憶元件。記憶體陣列20具有複數條字線WL0~WLn、複數條位元線BL0~BLm、複數條源極線SL0~SLm。
字線選擇電路30是將記憶體陣列20之字線WL0~WLn驅動之電路。對應於類神經網路運算之神經元之輸入而令字線成為選擇狀態或非選擇狀態(後述)。
行閘極40是如下之電路：與位元線BL0~BLm、源極線SL0~SLm連接，從複數條位元線、複數條源極線來選擇預定之位元線、源極線而連接於後述之判定電路50、寫入電路60。
判定電路50是如下之電路：透過行閘極40而與位元線BL0~BLm、源極線SL0~SLm連接，檢測在位元線或源極線流動之電流值而將輸出資料輸出。儲存在記憶體陣列20之記憶體單元之資料之讀取、及類神經網路運算之神經元之輸出資料之輸出(後述)。
寫入電路60是如下之電路：透過行閘極40而與位元線BL0~BLm、源極線SL0~SLm連接，在記憶體陣列20之非揮發性半導體記憶元件施加改寫電壓。
控制電路70是控制記憶體陣列20、字線選擇電路30、行閘極40、判定電路50、寫入電路60之動作之電路，控制對記憶體陣列20之記憶體單元之讀取動作、寫入動作、及類神經網路運算動作。
＜非揮發性半導體記憶元件之構成＞ 圖7A~圖7C是顯示與實施形態相關之非揮發性半導體記憶元件之電路圖、截面圖、及各動作之施加電壓的圖。
圖7A是把身為將圖6之記憶體陣列20構成之非揮發性半導體記憶元件之記憶體單元MC的電路圖予以顯示。記憶體單元MC是藉由可變電阻元件RP與單元電晶體T0之串聯連接而構成，是由1個單元電晶體T0與1個可變電阻元件RP構成之『1T1R』型之記憶體單元。可變電阻元件RP是被稱作可變電阻型記憶體ReRAM(Resistive Random Access Memory)之非揮發性半導體記憶元件。記憶體單元MC之字線WL是與單元電晶體T0之閘極端子連接，位元線BL是與可變電阻元件RP連接，源極線SL是與單元電晶體T0之源極端子連接。
圖7B是顯示記憶體單元MC之截面圖。在半導體基板80上形成有擴散領域81a、81b，擴散領域81a是作為單元電晶體T0之源極端子而發揮，擴散領域81b是作為單元電晶體之汲極端子而發揮。擴散領域81a、81b間是作為單元電晶體T0之通道領域而發揮，在該通道領域上形成有氧化膜82、以多晶矽形成之閘極電極83，作為單元電晶體T0而動作。身為單元電晶體T0之源極端子之擴散領域81a是透過通孔84a而與身為第1配線層85a之源極線SL連接。身為單元電晶體T0之汲極端子之擴散領域81b是透過通孔84b而與第1配線層85b連接。再者，第1配線層85b是透過通孔86而與第2配線層87連接，第2配線層87是透過通孔88而與可變電阻元件RP連接。可變電阻元件RP是由下部電極89、可變電阻層90、上部電極91構成。可變電阻元件RP是透過通孔92而與身為第3配線層93之位元線BL連接。
圖7C是顯示記憶體單元MC之各動作模式之施加電壓的圖。
重置動作(高電阻化)是藉由在字線WL施加Vg_reset(例如2V)之電壓而令單元電晶體T0成為選擇狀態，在位元線BL施加Vreset(例如2.0V)之電壓，在源極線SL施加接地電壓VSS(0V)。藉此，正電壓施加在可變電阻元件RP之上部電極，電阻變成高電阻狀態。設置動作(低電阻化)是藉由在字線WL施加Vg_set(例如2.0V)之電壓而令單元電晶體T0成為選擇狀態，在位元線BL施加接地電壓VSS(0V)，在源極線SL施加Vset(例如2.0V)之電壓。藉此，正電壓施加在可變電阻元件RP之下部電極，電阻變成低電阻狀態。
讀取動作是藉由在字線WL施加Vg_read(例如1.1V)之電壓而令單元電晶體T0成為選擇狀態，在位元線BL施加Vread(例如0.4V)之電壓，在源極線SL施加接地電壓VSS(0V)。藉此，當可變電阻元件RP為高電阻狀態(重置狀態)的情況下是小的記憶體單元電流流動，又，當可變電阻元件RP為低電阻狀態(設置狀態)的情況下是大的記憶體單元電流流動，藉由用判定電路判定該電流值之差異而進行儲存在記憶體單元之資料之讀取動作。
將記憶體單元MC當作儲存資料0或資料1之半導體記憶體來使用的情況下，可變電阻元件RP之電阻值是只取高電阻狀態(資料0)與低電阻狀態(資料1)之2個電阻狀態(數位)，不過，作為本發明之類神經網路運算電路來使用的情況是將可變電阻元件RP之電阻值設定成多階段(類比)之值而使用。
＜使用非揮發性半導體記憶元件之類神經網路運算電路之詳細構成＞ 圖1A及圖1B是顯示與實施形態相關之使用非揮發性半導體記憶元件之類神經網路運算電路之詳細構成的圖。
圖1A是顯示用在類神經網路運算之神經元的圖，與圖4相同。神經元10是讓n+1個輸入x0~xn分別具有鏈結權重係數w0~wn而輸入，輸入x0~xn是可取資料0或資料1之任一值，鏈結權重係數w0~wn是可取多階段(類比)之值。對輸入x0~xn與鏈結權重係數w0~wn之乘積累加運算結果進行如圖5所示之階梯函數之活性化函數f之運算，而將輸出y輸出。
圖1B是顯示進行圖1A之神經元10之運算處理之詳細電路構成的圖。記憶體陣列具有複數條字線WL0~WLn、複數條位元線BL0、BL1、複數條源極線SL0、SL1。
神經元10之輸入x0~xn是與字線WL0~WLn對應，輸入x0是與字線WL0對應，輸入x1是與字線WL1對應，輸入xn-1是與字線WLn-1對應，輸入xn是與字線WLn對應。字線選擇電路30是因應輸入x0~xn而令字線WL0~WLn成為選擇狀態或非選擇狀態之電路。當輸入為資料0的情況下令字線成為非選擇狀態，當輸入為資料1的情況下令字線成為選擇狀態。在類神經網路運算，輸入x0~xn分別任意地取資料0或資料1之值，故當輸入x0~xn之中有複數個資料1的情況下，字線選擇電路30是將複數條字線同時地複選。
神經元10之鏈結權重係數w0~wn是與由記憶體單元構成之運算單元PU0~PUn對應，鏈結權重係數w0是與運算單元PU0對應，鏈結權重係數w1是與運算單元PU1對應，鏈結權重係數wn-1是與運算單元PUn-1對應，鏈結權重係數wn是與運算單元PUn對應。
運算單元PU0是藉由以下而構成：由可變電阻元件RP與單元電晶體T0構成之記憶體單元、以及、由可變電阻元件RN與單元電晶體T1構成之記憶體單元。亦即，1個運算單元是由2個記憶體單元構成。運算單元PU0是與字線WL0、位元線BL0、BL1、源極線SL0、SL1連接，字線WL0是與單元電晶體T0、T1之閘極端子連接，位元線BL0是與可變電阻元件RP連接，源極線SL0是與單元電晶體T0之源極端子連接，位元線BL1是與可變電阻元件RN連接，源極線SL1是與單元電晶體T1之源極端子連接。輸入x0是以運算單元PU0之字線WL0輸入，鏈結權重係數w0是在運算單元PU0之2個可變電阻元件RP、RN以電阻值(電導)而儲存。運算單元PU1、PUn-1、PUn之構成是與運算單元PU0之構成同樣，故省去詳細之說明。亦即，輸入x0~xn是藉由分別與運算單元PU0~PUn連接之字線WL0~WLn而輸入，鏈結權重係數w0~wn是分別在運算單元PU0~PUn之可變電阻元件RP、RN以電阻值(電導)而儲存。
位元線BL0是透過行閘極電晶體YT0而與判定電路50連接，位元線BL1是透過行閘極電晶體YT1而與判定電路50連接。行閘極電晶體YT0、YT1之閘極端子是與行閘極控制訊號YG連接，若行閘極控制訊號YG活性化則位元線BL0、BL1是與判定電路50連接。源極線SL0是透過放電電晶體DT0而與接地電壓連接，源極線SL1是透過放電電晶體DT1而與接地電壓連接。放電電晶體DT0、DT1之閘極端子是與放電控制訊號DIS連接，若放電控制訊號DIS活性化則源極線SL0、SL1是設定在接地電壓。進行類神經網路運算動作的情況是藉由將行閘極控制訊號YG、放電控制訊號DIS活性化，而令位元線BL0、BL1連接於判定電路50、令源極線SL0、SL1連接於接地電壓。
判定電路50是如下之電路：檢測在透過行閘極電晶體YT0、YT1而連接之位元線BL0、BL1流動之電流值，進行比較而將輸出y輸出。輸出y是取資料0或資料1之任一值。當在位元線BL0流動之電流值比在位元線BL1流動之電流值小的情況下，將資料0之輸出y予以輸出，當在位元線BL0流動之電流值比在位元線BL1流動之電流值大的情況下，將資料1之輸出y予以輸出。亦即，判定電路50是判定在位元線BL0、BL1流動之電流值之大小關係而將輸出y輸出之電路。
在後面詳細地說明如以上而構成之使用非揮發性半導體記憶元件之類神經網路運算電路之動作原理與動作方法、及將鏈結權重係數往可變電阻元件儲存之方法。
＜使用非揮發性半導體記憶元件之類神經網路運算電路之動作原理＞ 圖8A及圖8B是顯示將與實施形態相關之類神經網路運算電路之動作原理予以顯示之計算、及運算單元之動作的圖。
圖8A是顯示將與實施形態相關之類神經網路運算電路之動作原理予以顯示之計算的圖。如圖8A之式子(1)所示，神經元10所進行之運算是對輸入xi與鏈結權重係數wi之乘積累加運算結果進行身為階梯函數之活性化函數f之運算處理。本發明具有如下特徵：如圖8A之式子(2)所示，以在可變電阻元件(記憶體單元)流動之電流值Ii來取代鏈結權重係數wi，而進行輸入xi與在可變電阻元件(記憶體單元)流動之電流值Ii之乘積累加運算。
在此，類神經網路運算之鏈結權重係數wi是取正值(≥0)、負值(＜0)之雙方，在乘積累加運算動作中，當輸入xi與鏈結權重係數wi之積為正值的情況下進行加法、為負值的情況下進行減法。然而，由於在可變電阻元件(記憶體單元)流動之電流值Ii只能取正值，故雖然可藉由電流值Ii之相加而實現當輸入xi與鏈結權重係數wi之積為正值之情況下之加法運算，但要使用正值之電流值Ii來進行當輸入xi與鏈結權重係數wi之積為負值之情況下之減法運算，會需要某些手段。
圖8B是顯示與實施形態相關之運算單元PUi之動作的圖。運算單元PUi之構成是已在圖1A及圖1B說明，將詳細之說明省去。本發明具有將鏈結權重係數wi儲存在2個可變電阻元件RP、RN之特徵，以設定在可變電阻元件RP之電阻值作為Rpi，以設定在可變電阻元件RN之電阻值作為Rni，以施加在位元線BL0、BL1之電壓作為Vbl，以在可變電阻元件RP、RN流動之電流值作為Ipi、Ini。本發明具有將正的乘積累加運算結果加到在位元線BL0流動之電流、將負的乘積累加運算結果加到在位元線BL1流動之電流之特徴，以令電流是如上述般地流動的方式，設定可變電阻元件RP、RN之電阻值Rpi、Rni(電流值Ipi、Ini)。如圖1B所示，可藉由將該運算單元PUi以與輸入x0~xn(鏈結權重係數w0~wn)相同之個數在位元線BL0、BL1並聯連接，而以在位元線BL0流動之電流值來獲得神經元10之正的乘積累加運算結果，以在位元線BL1流動之電流值來獲得負的乘積累加運算結果。在圖8A之式子(3)、式子(4)、式子(5)顯示上述之動作之計算。亦即，將相當於鏈結權重係數wi之電阻值Rpi、Rni適切地寫入至運算單元PUi之可變電阻元件RP、RN，藉此，在位元線BL0、BL1分別獲得與正的乘積累加運算結果、負的乘積累加運算結果對應之電流值是成為可能。
在圖8A之式子(5)，由於活性化函數f是階梯函數(輸入為負值(＜0)的情況下將資料0輸出、為正值的情況下(≥0)將資料1輸出)，故以當身為正的乘積累加運算結果之在位元線BL0流動之電流值比身為負的乘積累加運算結果之在位元線BL1流動之電流值小的情況下、亦即當全部之乘積累加運算結果為負值的情況下將資料0輸出、當身為正的乘積累加運算結果之在位元線BL0流動之電流值比身為負的乘積累加運算結果之在位元線BL1流動之電流值大的情況下、亦即當全部之乘積累加運算結果為正值的情況下將資料1輸出的方式，對在位元線BL0、BL1流動之電流值進行檢測、判定，藉此，神經元10之類神經網路運算是使用具有可變電阻元件RP、RN之運算單元PUi而成為可能。
圖9A~圖9D是顯示與實施形態相關之運算單元之詳細動作的圖。圖9A是顯示運算單元PUi之動作的圖，由於與圖8B相同，故省去詳細之說明。以下，針對在運算單元PUi之輸入xi與鏈結權重係數wi之乘積累加運算動作進行說明。
圖9B是顯示與實施形態相關之運算單元PUi之輸入xi與字線WLi之狀態之關係的圖。輸入xi是取資料0或資料1之任一值，當輸入xi為資料0的情況下，字線WLi是成為非選擇狀態，當輸入xi為資料1的情況下，字線WLi是成為選擇狀態。字線WLi是與單元電晶體T0、T1之閘極端子連接，當字線WLi為非選擇狀態的情況下，單元電晶體T0、T1成為非活性化狀態(遮斷狀態)，不管可變電阻元件RP、RN之電阻值Rpi、Rni為何，在位元線BL0、BL1未有電流流動。另一方面，當字線WLi為選擇狀態的情況下，單元電晶體T0、T1成為活性化狀態(連接狀態)，基於可變電阻元件RP、RN之電阻值Rpi、Rni而在位元線BL0、BL1有電流流動。
圖9C是顯示與實施形態相關之運算單元PUi之可變電阻元件RP、RN之電流範圍、及在可變電阻元件寫入之電流值之計算的圖。將在可變電阻元件RP、RN流動之電流值之可能範圍以最小值Imin至最大值Imax來說明。以令輸入至神經元之鏈結權重係數之絕對值|wi|成為0~1之範圍的方式而進行正規化，以成為與正規化後之鏈結權重係數|wi|成比例之電流值(類比值)的方式而決定在可變電阻元件寫入之電流值。
當鏈結權重係數wi為正值(≥0)的情況下，為了將輸入xi(資料0或資料1)與鏈結權重係數wi(≥0)之乘積累加運算結果(≥0)作為電流值而加在讓正的乘積累加運算結果之電流流過之位元線BL0，以與鏈結權重係數之絕對值|wi|成比例之電流值Imin+(Imax-Imin)×|wi|流過的方式而對與位元線BL0連接之可變電阻元件RP進行電阻值Rpi之寫入，以成為電流值Imin(相當於鏈結權重係數0)的方式而對與位元線BL1連接之可變電阻元件RN進行電阻值Rni之寫入。
另一方面，當鏈結權重係數wi為負值(＜0)的情況下，為了將輸入xi(資料0或資料1)與鏈結權重係數wi(＜0)之乘積累加運算結果(＜0)作為電流值而加在讓負的乘積累加運算結果之電流流過之位元線BL1，以與鏈結權重係數之絕對值|wi|成比例之電流值Imin+(Imax-Imin)×|wi|流過的方式而對與位元線BL1連接之可變電阻元件RN進行電阻值Rni之寫入，以成為電流值Imin(相當於鏈結權重係數0)的方式而對與位元線BL0連接之可變電阻元件RP進行電阻值Rpi之寫入。
藉由如上述般地設定在可變電阻元件RP、RN寫入之電阻值(電流值)，可將在位元線BL0流動之電流(相當於正的乘積累加運算結果)與在位元線BL1流動之電流(相當於負的乘積累加運算結果)的差分電流(Imax-Imin)×|wi|當作相當於輸入與鏈結權重係數之乘積累加運算結果之電流值而獲得。令鏈結權重係數之絕對值|wi|成為0~1之範圍之正規化方法之詳細是後述。
圖9D是顯示與實施形態相關之運算單元PUi之輸入xi與鏈結權重係數wi之乘積累加運算動作的圖。
當輸入xi為資料0的情況下，不管鏈結權重係數wi之值為何，乘積累加運算結果xi×wi是成為0。由於輸入xi為資料0，故字線WLi成為非選擇狀態，單元電晶體T0、T1成為非活性化狀態(遮斷狀態)，因此，在位元線BL0、BL1流動之電流值Ipi、Ini是成為0。亦即，由於乘積累加運算結果xi×wi為0，故在讓相當於正的乘積累加運算結果之電流流過之位元線BL0、以及、讓相當於負的乘積累加運算結果之電流流過之位元線BL1之雙方未有電流流動。
當輸入xi為資料1、鏈結權重係數wi為正值(≥0)的情況下，乘積累加運算結果xi×wi是成為正值(≥0)。由於輸入xi為資料1，故字線WLi成為選擇狀態，單元電晶體T0、T1成為活性化狀態(連接狀態)，因此，基於可變電阻元件RP、RN之電阻值，在位元線BL0、BL1流動的是圖9C所說明之電流Ipi、Ini。在位元線BL0流動之相當於正的乘積累加運算結果之電流Ipi、以及、在位元線BL1流動之相當於負的乘積累加運算結果之電流Ini的差分電流(Imax-Imin)×|wi|是作為相當於輸入xi與鏈結權重係數wi之乘積累加運算結果xi×wi(≥0)之電流，在位元線BL0流得比在位元線BL1多。
當輸入xi為資料1、鏈結權重係數wi為負值(＜0)的情況下，乘積累加運算結果xi×wi是成為負值(＜0)。由於輸入xi為資料1，故字線WLi成為選擇狀態，單元電晶體T0、T1成為活性化狀態(連接狀態)，因此，基於可變電阻元件RP、RN之電阻值，在位元線BL0、BL1流動的是圖9C所說明之電流Ipi、Ini。在位元線BL0相當於正的乘積累加運算結果之電流Ipi、以及、在位元線BL1相當於負的乘積累加運算結果之電流Ini的差分電流(Imax-Imin)×|wi|是作為相當於輸入xi與鏈結權重係數wi之乘積累加運算結果xi×wi(≤0)之電流，在位元線BL1流得比在位元線BL0多。
如此，相當於輸入xi與鏈結權重係數wi之乘積累加運算結果之電流是在位元線BL0、BL1流動，當正的乘積累加運算結果的情況下，在位元線BL0流得比在位元線BL1多，當負的乘積累加運算結果的情況下，在位元線BL1流得比在位元線BL0多。可藉由以輸入x0~xn(鏈結權重係數w0~wn)之個數將運算單元PUi在位元線BL0、BL1並聯連接，而以在位元線BL0流動之電流與在位元線BL1流動之電流的差分電流來獲得神經元10之乘積累加運算結果。
在此，若使用與位元線BL0、BL1連接之判定電路，當在位元線BL0流動之電流值比在位元線BL1流動之電流值小的情況下、亦即當乘積累加運算結果為負值的情況下將資料0之輸出資料輸出，當在位元線BL0流動之電流值比在位元線BL1流動之電流值大的情況下、亦即當乘積累加運算結果為正值的情況下將資料1之輸出資料輸出，則判定電路是相當於進行階梯函數之活性化函數之運算，進行乘積累加運算與活性化函數之運算處理之類神經網路運算成為可能。
＜使用非揮發性半導體記憶元件之類神經網路運算電路之第1實施形態＞ 在前面已說明了本發明之使用非揮發性半導體記憶元件之類神經網路運算電路之動作原理。以下是說明具體之實施形態。
圖10A是顯示與第1實施形態相關之類神經網路運算之構成的圖，圖10B是顯示與第1實施形態相關之類神經網路運算之鏈結權重係數之值的圖。如圖10A所示，神經元10具有與4個輸入x0~x3對應之鏈結權重係數w0~w3，神經元10進行之運算是顯示於圖10A之式子(1)。神經元10之活性化函數f是階梯函數。
如圖10B所示，神經元10具有之鏈結權重係數是w0=+0.6、w1=-0.9、w2=-1.2、w3=+1.5。以下，針對進行圖10A及圖10B所示之神經元10之運算動作之使用非揮發性半導體記憶元件之類神經網路運算電路進行說明。
圖11是顯示與第1實施形態相關之類神經網路運算電路之詳細構成的圖。在圖11，與圖1B之構成要件相同之要素是賦予相同之符號、號碼，省去其詳細說明。第1實施形態之類神經網路運算電路是4輸入、1輸出之神經元，具備有將鏈結權重係數w0~w3儲存之4個運算單元PU0~PU3、與輸入x0~x3對應之4條字線WL0~WL3、與可變電阻元件RP和單元電晶體T0連接之位元線BL0、源極線SL0、與可變電阻元件RN和單元電晶體T1連接之位元線BL1、源極線SL1。
當進行類神經網路運算動作的情況下，因應輸入x0~x3而令字線WL0~WL3分別成為選擇狀態、非選擇狀態，令運算單元PU0~PU3之單元電晶體T0、T1成為選擇狀態、非選擇狀態。位元線BL0、BL1是透過行閘極YT0、YT1而獲得從判定電路50供給之位元線電壓，源極線SL0、SL1是透過放電電晶體DT0、DT1而與接地電壓連接。藉此，相當於正的乘積累加運算結果之電流在位元線BL0流動，相當於負的乘積累加運算結果之電流在位元線BL1流動。判定電路50是檢測、判定在位元線BL0、BL1流動之電流之大小關係而將輸出y輸出。亦即，當神經元10之乘積累加運算結果為負值(＜0)的情況下將資料0輸出，為正值(≥0)的情況下將資料1輸出。判定電路50是輸出以乘積累加運算結果來作為輸入之活性化函數f(階梯函數)之運算結果。
圖12A及圖12B是顯示與第1實施形態相關之運算單元PU0~PU3之可變電阻元件RP、RN之電流範圍、及在可變電阻元件RP、RN寫入之電流值(電阻值)的圖。如圖12A所示，在第1實施形態，於可變電阻元件RP、RN流動之電流值之範圍是取0uA至50uA。亦即，電流值之最小值Imin是0uA，電流值之最大值Imax是50uA，使用50uA之電流範圍(動態範圍)。
如圖12B所示，首先是以成為0~1之範圍的方式對鏈結權重係數w0~w3進行正規化。在本實施形態，鏈結權重係數w0~w3中之有最大之絕對值的是w3=+1.5，令該鏈結權重係數之正規化後之值是w3=+1.0。藉由該正規化，剩餘之鏈結權重係數之正規化後之值是w0=+0.4、w1=-0.6、w2=-0.8。
接著，如圖12A所示，使用正規化後之鏈結權重係數而決定在運算單元PU0~PU3之可變電阻元件RP、RN寫入之電流值。在圖12B顯示在可變電阻元件RP、RN寫入之電流值之計算結果。由於鏈結權重係數w0之正規化後之值是+0.4，為正值，故在可變電阻元件RP寫入之電流值是20uA，在可變電阻元件RN寫入之電流值是0uA。由於鏈結權重係數w1之正規化後之值是-0.6，為負值，故在可變電阻元件RP寫入之電流值是0uA，在可變電阻元件RN寫入之電流值是30uA。由於鏈結權重係數w2之正規化後之值是-0.8，為負值，故在可變電阻元件RP寫入之電流值是0uA，在可變電阻元件RN寫入之電流值是40uA。由於鏈結權重係數w3之正規化後之值是+1.0，為正值，故在可變電阻元件RP寫入之電流值是50uA，在可變電阻元件RN寫入之電流值是0uA。藉由如此地在運算單元PU0~PU3之可變電阻元件RP、RN寫入電流值(電阻值)，進行類神經網路運算成為可能。
＜使用非揮發性半導體記憶元件之類神經網路運算電路之第2實施形態＞ 圖13A~圖13D是顯示與第2實施形態相關之類神經網路電路之構成、真值表、鏈結權重係數之值、及輸入層、隱藏層、輸出層之運算動作的圖。
圖13A是顯示與第2實施形態相關之類神經網路電路之構成的圖。第2實施形態之類神經網路電路是具有輸入層1、隱藏層2、輸出層3之多層類神經網路電路。
輸入層1具有3個輸入x0~x2，輸入x0一直是資料1之輸入，如前述之圖4所示，藉由輸入x0及其鏈結權重係數來進行隱藏層2之偏差值係數之運算。2個輸入x1、x2是作為輸入資料而從外部輸入。
隱藏層2具有1個輸入y0與3個神經元y1~y3，輸入y0一直是資料1之輸入，如前述之圖4所示，藉由輸入y0及其鏈結權重係數而進行輸出層3之偏差值係數之運算。3個神經元y1~y3分別承受來自輸入層1之3個輸入x0~x2與其鏈結權重係數而將輸出y1~y3輸出。
輸出層3具有1個神經元z1，承受來自隱藏層2之4個輸入y0~y3與其鏈結權重係數而將輸出z1輸出。
將神經元y1~y3、z1之類神經網路運算之計算顯示在圖13A之式子(1)與式子(2)。在此，鏈結權重係數wik_y是用在隱藏層2之神經元y1~y3之計算之鏈結權重係數，鏈結權重係數wik_z是用在輸出層3之計算之鏈結權重係數，活性化函數f是階梯函數。
圖13B是顯示與第2實施形態相關之類神經網路電路之真值表的圖。2個輸入x1、x2、及輸出z1是取資料0或資料1之值，輸出z1是只有當輸入x1、x2皆為資料1的情況下才將資料1輸出，其他的情況下是將資料0輸出。亦即，與第2實施形態相關之類神經網路電路是如下之電路：令輸出z1是輸出對輸入x1、x2之AND邏輯。
圖13C是顯示之與第2實施形態相關之類神經網路電路之鏈結權重係數的圖。隱藏層2之神經元y1~y3分別具有與3個輸入x0~x2對應之3個鏈結權重係數。又，輸出層3之神經元z1具有與4個輸入y0~y3對應之4個鏈結權重係數。
圖13D是顯示與第2實施形態相關之類神經網路電路之輸入層、隱藏層、輸出層之運算動作的圖。輸入層1之輸入之組合有4種。在隱藏層2之承受來自輸入層1之輸入x0~x2後之神經元y1~y3之乘積累加運算結果、以乘積累加運算結果作為輸入而進行活性化函數(階梯函數)之輸出結果、以及、在輸出層3之承受來自隱藏層2之輸入y0~y3後之神經元z1之乘積累加運算結果、以乘積累加運算結果作為輸入而進行活性化函數(階梯函數)之輸出結果是顯示在圖13D，如圖13B之真值表所示，輸出z1是將對輸入x1、x2之AND邏輯輸出。
圖14A及圖14B是顯示與第2實施形態相關之類神經網路運算電路之運算單元之可變電阻元件之電流範圍、及在可變電阻元件寫入之電流值的圖。如圖14A所示，與第1實施形態同樣，在第2實施形態，於可變電阻元件RP、RN流動之電流值之範圍是取0uA至50uA。亦即，電流值之最小值Imin是0uA，電流值之最大值Imax是50uA，使用50uA之電流範圍(動態範圍)。
圖14B是顯示將在隱藏層2之神經元y1~y3、輸出層3之神經元z1之類神經網路運算使用之鏈結權重係數寫入至運算單元之可變電阻元件RP、RN之電流值的圖。首先是算出令鏈結權重係數正規化而成為0~1之範圍後之鏈結權重係數，由正規化後之鏈結權重係數來決定在可變電阻元件RP、RN寫入之電流值。鏈結權重係數之正規化是依各神經元而實施。
說明將隱藏層2之神經元y1之鏈結權重係數w10_y=+0.8、w11_y=-0.6、w12_y=-0.4寫入至可變電阻元件RP、RN之電流值之計算方法。令3個鏈結權重係數分別作為電阻值(電流值)而寫入至3個運算單元之可變電阻元件RP、RN。關於鏈結權重係數之正規化，鏈結權重係數w10_y、w11_y、w12_y中有最大之絕對值的是w10_y=+0.8，令該鏈結權重係數之正規化後之值是w10_y=+1.0。藉由該正規化，剩餘之鏈結權重係數之正規化後之值是w11_y=-0.75、w12_y=-0.5。
接著，如圖14A所示，使用正規化後之鏈結權重係數而決定在運算單元之可變電阻元件RP、RN寫入之電流值。在圖14B顯示在可變電阻元件RP、RN寫入之電流值之計算結果。由於鏈結權重係數w10_y之正規化後之值是+1.0，為正值，故在可變電阻元件RP寫入之電流值是50uA，在可變電阻元件RN寫入之電流值是0uA。由於鏈結權重係數w11_y之正規化後之值是-0.75，為負值，故在可變電阻元件RP寫入之電流值是0uA，在可變電阻元件RN寫入之電流值是37.5uA。由於鏈結權重係數w12_y之正規化後之值是-0.5，為負值，故在可變電阻元件RP寫入之電流值是0uA，在可變電阻元件RN寫入之電流值是25uA。同樣地，將針對隱藏層2之神經元y2、y3、輸出層3之神經元z1而在運算單元之可變電阻元件RP、RN寫入之電流值之計算結果顯示在圖14B。
類神經網路電路之運算動作是對配置在記憶體陣列之複數個運算單元之可變電阻元件RP、RN寫入圖14B所示之電流值(電阻值)，首先，以輸入層1之輸入資料作為輸入，選擇儲存有隱藏層2之運算所需要之鏈結權重係數之運算單元而檢測、判定在位元線流動之電流，藉此決定隱藏層2之輸出資料。接著，以隱藏層2之輸出資料作為輸入，選擇儲存有輸出層3之運算所需要之鏈結權重係數之運算單元而檢測、判定在位元線流動之電流，藉此決定輸出層3之輸出資料。藉由如此之動作，進行多層類神經網路運算成為可能。
＜結語＞ 如以上，本發明之使用非揮發性半導體記憶元件之類神經網路運算電路是使用在非揮發性半導體記憶元件流動之電流值而進行類神經網路電路之乘積累加運算動作。藉此，可以在未搭載習知之以數位電路構成之大容量之記憶電路與暫存器電路、大規模之乘法電路與累積電路(累加器電路)、以及、複雜之控制電路之情形下進行乘積累加運算動作，故類神經網路運算電路之低消耗功率化及半導體積體電路之晶片面積縮小化成為可能。又，由於是可將神經元之輸入資料與輸出資料取資料0或資料1之2值之數位資料之類神經網路電路，故神經元間之資訊傳達可以是數位傳送，使用複數個神經元安裝大規模之類神經網路電路變得容易，大規模之類神經網路電路之半導體積體化成為可能。亦即，本發明之使用非揮發性半導體記憶元件之類神經網路運算電路可實現低消耗功率化與大規模積體化。
雖然以上是以本發明之實施形態進行說明，但本發明之使用非揮發性半導體記憶元件之類神經網路運算電路並非僅限定於上述之舉例顯示，對於在不超脫本發明之要旨之範圍內進行了各式各樣變更等之情況亦為有效。
例如，雖然上述實施形態之使用非揮發性半導體記憶元件之類神經網路運算電路是可變電阻型非揮發性記憶體(ReRAM)之例，但本發明亦可適用可變磁阻型非揮發性記憶體(MRAM)、相變化型非揮發性記憶體(PRAM)、鐵電型非揮發性記憶體(FeRAM)等之可變電阻型記憶體以外之非揮發性半導體記憶元件。 產業上之可利用性
與本發明相關之使用非揮發性半導體記憶元件之類神經網路運算電路是使用非揮發性半導體記憶元件而進行乘積累加運算動作之構成，故可在未搭載習知之用到數位電路之乘算電路與累積電路(累加器電路)等之情形下進行乘積累加運算動作。又，藉由將輸入資料與輸出資料數位化成2值，可容易地將大規模之類神經網路電路積體化。
所以，具有可實現類神經網路運算電路之低消耗功率化與大規模積體化之效果，例如，對搭載有自己進行學習與判斷之人工智慧(AI：Artificial Intelligence)技術之半導體積體電路、以及、將這些予以搭載之電子機器等有用。
1...輸入層 2...隱藏層 3...輸出層 10...神經元 11...鏈結權重 20...記憶體陣列 30...字線選擇電路 40...行閘極 50...判定電路 60...寫入電路 70...控制電路 80...半導體基板 81a、81b...擴散領域 82...氧化膜 83...閘極電極(字線) 84a、84b、86、88、92...通孔 85a、85b...第1配線層 87...第2配線層 89...下部電極 90...可變電阻層 91...上部電極 93...第3配線層 b...偏差值係數 f...活性化函數 w0~wn...鏈結權重係數 x0~xn...輸入 y...輸出 BL、BL0~BLm...位元線 DIS...放電控制訊號 DT0、DT1...放電電晶體 Ipi、Ini...在可變電阻元件流動之電流值 MC...記憶體單元 PU0~PUn...運算單元 Rpi、Rni...可變電阻元件之電阻值 RP、RN...可變電阻元件 SL、SL0~SLm...源極線 T0、T1...單元電晶體 Vbl...位元線電壓 WL、WL0~WLn...字線 YG...行閘極選擇訊號 YT0、YT1...行閘極電晶體
圖1A是顯示用在類神經網路運算之神經元的圖。 圖1B是顯示進行圖1A之神經元之運算處理之詳細電路構成的圖。 圖2是顯示深度類神經網路之構成的圖。 圖3是顯示類神經網路運算之神經元之計算的圖。 圖4是顯示在類神經網路運算之神經元之計算將偏差值係數b之運算分配到輸入x0與鏈結權重係數w0之情況下之計算的圖。 圖5是顯示與實施形態相關之類神經網路運算之神經元之活性化函數f的圖。 圖6是顯示與實施形態相關之使用非揮發性半導體記憶元件之類神經網路運算電路之整體構成的圖。 圖7A是把身為將圖6之記憶體陣列構成之非揮發性半導體記憶元件之記憶體單元MC的電路圖予以顯示。 圖7B是把記憶體單元MC的截面圖予以顯示。 圖7C是顯示記憶體單元MC之各動作模式之施加電壓的圖。 圖8A是顯示將與實施形態相關之類神經網路運算電路之動作原理予以顯示之計算的圖。 圖8B是顯示與實施形態相關之運算單元PUi之動作。 圖9A是顯示運算單元PUi之動作的圖。 圖9B是顯示與實施形態相關之運算單元PUi之輸入xi與字線WLi之狀態之關係的圖。 圖9C是顯示與實施形態相關之運算單元PUi之可變電阻元件RP、RN之電流範圍、及在可變電阻元件寫入之電流值之計算的圖。 圖9D是顯示與實施形態相關之運算單元PUi之輸入xi與鏈結權重係數wi之乘積累加運算動作的圖。 圖10A是顯示與第1實施形態相關之類神經網路運算之構成、及鏈結權重係數之值的圖。 圖10B是顯示與第1實施形態相關之類神經網路運算之鏈結權重係數之值的圖。 圖11是顯示與第1實施形態相關之類神經網路運算電路之詳細構成的圖。 圖12A是顯示與第1實施形態相關之運算單元之可變電阻元件之電流範圍、及在可變電阻元件寫入之電流值的圖。 圖12B是顯示與第1實施形態相關之運算單元PU0~PU3之可變電阻元件RP、RN之電流範圍、及在可變電阻元件RP、RN寫入之電流值(電阻值)的圖。 圖13A是顯示與第2實施形態相關之類神經網路運算之構成的圖。 圖13B是顯示與第2實施形態相關之類神經網路電路之真值表的圖。 圖13C是顯示與第2實施形態相關之類神經網路電路之鏈結權重係數的圖。 圖13D是顯示與第2實施形態相關之類神經網路電路之輸入層、隱藏層、輸出層之運算動作的圖。 圖14A是顯示與第2實施形態相關之運算單元之可變電阻元件之電流範圍、及在可變電阻元件寫入之電流值的圖。 圖14B是顯示與第2實施形態相關之類神經網路運算電路之運算單元之可變電阻元件之電流範圍、及在可變電阻元件寫入之電流值的圖。

Claims (10)

  1. 一種使用非揮發性半導體記憶元件之類神經網路運算電路，是因應可取第1邏輯值或第2邏輯值之資料之複數個輸入資料、分別對應於複數個輸入資料之複數個鏈結權重係數、以及複數個輸入資料與對應之鏈結權重係數的乘積累加運算結果，而將第1邏輯值或第2邏輯值之輸出資料輸出之類神經網路運算電路，其具備： 複數條字線； 第1資料線； 第2資料線； 第3資料線； 第4資料線； 複數個運算單元，以第1非揮發性半導體記憶元件與第1單元電晶體之串聯連接而構成，令第1非揮發性半導體記憶元件之一端連接於第1資料線、令第1單元電晶體之一端連接於第2資料線、令第1單元電晶體之閘極連接於字線，以第2非揮發性半導體記憶元件與第2單元電晶體之串聯連接而構成，令第2非揮發性半導體記憶元件之一端連接於第3資料線、令第2單元電晶體之一端連接於第4資料線、令第2單元電晶體之閘極連接於字線； 字線選擇電路，令複數條字線成為選擇狀態或非選擇狀態；以及 判定電路，判定在第1資料線與第3資料線、或者、在第2資料線與第4資料線產生之電壓值或電流值之大小關係，而將第1邏輯值或第2邏輯值之資料輸出； 在複數個運算單元之第1非揮發性半導體記憶元件與第2非揮發性半導體記憶元件儲存複數個鏈結權重係數， 字線選擇電路是因應複數個輸入資料而令複數條字線成為選擇狀態或非選擇狀態， 判定電路將輸出資料輸出。
  2. 如請求項1之使用非揮發性半導體記憶元件之類神經網路運算電路，其中關於往前述複數個運算單元之第1非揮發性半導體記憶元件與第2非揮發性半導體記憶元件儲存前述複數個鏈結權重係數， 當前述鏈結權重係數為正值的情況下，以令在前述第1非揮發性半導體記憶元件流動之電流值成為與前述鏈結權重係數之值成比例之電流值的方式，在前述第1非揮發性半導體記憶元件進行寫入， 當前述鏈結權重係數為負值的情況下，以令在前述第2非揮發性半導體記憶元件流動之電流值成為與前述鏈結權重係數之值成比例之電流值的方式，在前述第2非揮發性半導體記憶元件進行寫入。
  3. 如請求項1之使用非揮發性半導體記憶元件之類神經網路運算電路，其中關於往前述複數個運算單元之第1非揮發性半導體記憶元件與第2非揮發性半導體記憶元件儲存前述複數個鏈結權重係數， 當前述鏈結權重係數為正值的情況下，以在前述第1非揮發性半導體記憶元件流動之電流值比在前述第2非揮發性半導體記憶元件流動之電流值大，且其電流差成為與前述鏈結權重係數之值成比例之電流值的方式，在前述第1非揮發性半導體記憶元件與第2非揮發性半導體記憶元件進行寫入， 當前述鏈結權重係數為負值的情況下，以在前述第2非揮發性半導體記憶元件流動之電流值比在前述第1非揮發性半導體記憶元件流動之電流值大，且其電流差成為與前述鏈結權重係數之值成比例之電流值的方式，在前述第1非揮發性半導體記憶元件與第2非揮發性半導體記憶元件進行寫入。
  4. 如請求項1之使用非揮發性半導體記憶元件之類神經網路運算電路，其中前述字線選擇電路是當前述輸入資料為第1邏輯值的情況下，令對應之字線成為非選擇狀態，當前述輸入資料為第2邏輯值的情況下，令對應之字線成為選擇狀態。
  5. 如請求項1之使用非揮發性半導體記憶元件之類神經網路運算電路，其中令與乘積累加運算結果對應之電流值在前述第1資料線或前述第2資料線流動，前述乘積累加運算結果是鏈結權重係數為正值之複數個輸入資料與對應之正值之鏈結權重係數的乘積累加運算結果；令與乘積累加運算結果對應之電流值在前述第3資料線或前述第4資料線流動，前述乘積累加運算結果是鏈結權重係數為負值之複數個輸入資料與對應之負值之鏈結權重係數的乘積累加運算結果。
  6. 如請求項1之使用非揮發性半導體記憶元件之類神經網路運算電路，其中前述判定電路是當在前述第1資料線或第2資料線流動之電流值比在前述第3資料線或第4資料線流動之電流值小的情況下，將第1邏輯值輸出；當在前述第1資料線或第2資料線流動之電流值比在前述第3資料線或第4資料線流動之電流值大的情況下，將第2邏輯值輸出。
  7. 如請求項1之使用非揮發性半導體記憶元件之類神經網路運算電路，其中前述第1非揮發性半導體記憶元件與前述第2非揮發性半導體記憶元件是以可變電阻型元件形成之可變電阻型記憶元件。
  8. 如請求項1之使用非揮發性半導體記憶元件之類神經網路運算電路，其中前述第1非揮發性半導體記憶元件與前述第2非揮發性半導體記憶元件是以可變磁阻型元件形成之可變磁阻型記憶元件。
  9. 如請求項1之使用非揮發性半導體記憶元件之類神經網路運算電路，其中前述第1非揮發性半導體記憶元件與前述第2非揮發性半導體記憶元件是以相變化型元件形成之相變化型記憶元件。
  10. 如請求項1之使用非揮發性半導體記憶元件之類神經網路運算電路，其中前述第1非揮發性半導體記憶元件與前述第2非揮發性半導體記憶元件是以鐵電型元件形成之鐵電型記憶元件。
TW107130812A 2017-09-07 2018-09-03 使用非揮發性半導體記憶元件之類神經網路運算電路 TWI674534B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017171846 2017-09-07
JP2017-171846 2017-09-07

Publications (2)

Publication Number Publication Date
TW201921282A TW201921282A (zh) 2019-06-01
TWI674534B true TWI674534B (zh) 2019-10-11

Family

ID=65634088

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107130812A TWI674534B (zh) 2017-09-07 2018-09-03 使用非揮發性半導體記憶元件之類神經網路運算電路

Country Status (6)

Country Link
US (1) US11604974B2 (zh)
EP (1) EP3680907A4 (zh)
JP (1) JP6858870B2 (zh)
CN (1) CN111095417B (zh)
TW (1) TWI674534B (zh)
WO (1) WO2019049741A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11594279B2 (en) 2020-07-31 2023-02-28 Winbond Electronics Corp. Array device and writing method thereof

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11233049B2 (en) 2019-06-14 2022-01-25 Macronix International Co., Ltd. Neuromorphic computing device
US11514300B2 (en) 2019-06-14 2022-11-29 Macronix International Co., Ltd. Resistor circuit, artificial intelligence chip and method for manufacturing the same
TWI698810B (zh) * 2019-06-14 2020-07-11 旺宏電子股份有限公司 類神經計算裝置
US20210011732A1 (en) * 2019-07-09 2021-01-14 MemryX Inc. Matrix Data Reuse Techniques in Processing Systems
US10915248B1 (en) 2019-08-07 2021-02-09 Macronix International Co., Ltd. Memory device
CN110751279B (zh) * 2019-09-02 2022-10-14 北京大学 一种铁电电容耦合神经网络电路结构及神经网络中向量与矩阵的乘法运算方法
JP2021057446A (ja) * 2019-09-30 2021-04-08 ソニーセミコンダクタソリューションズ株式会社 半導体素子、不揮発性記憶装置、積和演算装置、及び半導体素子の製造方法
US20210125049A1 (en) * 2019-10-29 2021-04-29 Taiwan Semiconductor Manufacturing Co., Ltd. System for executing neural network
US11663455B2 (en) * 2020-02-12 2023-05-30 Ememory Technology Inc. Resistive random-access memory cell and associated cell array structure
CN111681696B (zh) * 2020-05-28 2022-07-08 中国科学院微电子研究所 基于非易失存储器的存储和数据处理方法、装置及设备
US11748062B2 (en) 2021-01-28 2023-09-05 Macronix International Co., Ltd. Multiplication and addition operation device and control method for multiplication and addition operation thereof
JP2022144993A (ja) 2021-03-19 2022-10-03 キオクシア株式会社 半導体集積回路及び情報処理装置
KR102582800B1 (ko) * 2021-04-09 2023-09-26 광운대학교 산학협력단 분할된 비트라인 기반 계산 메모리 장치를 이용한 곱의 합 연산을 수행하는 방법
KR20220141652A (ko) 2021-04-13 2022-10-20 삼성전자주식회사 멀티-비트 연산 장치 및 방법
KR20220148558A (ko) * 2021-04-29 2022-11-07 삼성전자주식회사 뉴로모픽 컴퓨팅 장치 및 그 설계 방법
US12063786B2 (en) 2021-07-23 2024-08-13 Taiwan Semiconductor Manufacturing Company, Ltd. Compute-in-memory device and method
US12051474B2 (en) 2021-08-23 2024-07-30 Cornell University Resistive electrodes on ferroelectric devices for linear piezoelectric programming
WO2023171683A1 (ja) * 2022-03-11 2023-09-14 ヌヴォトンテクノロジージャパン株式会社 ニューラルネットワーク演算回路
WO2023171406A1 (ja) * 2022-03-11 2023-09-14 ヌヴォトンテクノロジージャパン株式会社 演算回路ユニット、ニューラルネットワーク演算回路、および、ニューラルネットワーク演算回路の駆動方法
US20230317124A1 (en) 2022-04-05 2023-10-05 Taiwan Semiconductor Manufacturing Company, Ltd. Memory system and operating method of memory system
US20230326499A1 (en) * 2022-04-12 2023-10-12 Stmicroelectronics S.R.L. Signed and binary weighted computation for an in-memory computation system
CN115019856B (zh) * 2022-08-09 2023-05-16 之江实验室 一种基于rram多值存储的存内计算方法与系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW318933B (en) * 1996-03-08 1997-11-01 Hitachi Ltd Semiconductor IC device having a memory and a logic circuit implemented with a single chip
US20030183878A1 (en) * 2002-03-27 2003-10-02 Masayuki Tajiri Integrated circuit apparatus and neuro element
JP2010146514A (ja) * 2008-12-22 2010-07-01 Sharp Corp 情報処理装置及びこれを用いたニューラルネットワーク回路
US20140122402A1 (en) * 2011-06-30 2014-05-01 Commissariat A L'energie Atomique Et Aux Energies Alternatives Network of artificial neurons based on complementary memristive devices

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02161556A (ja) 1988-12-14 1990-06-21 Sumitomo Electric Ind Ltd ニューラルネットワークシステム
JPH0676582A (ja) * 1992-08-27 1994-03-18 Hitachi Ltd 半導体装置
JPH06259585A (ja) 1993-03-10 1994-09-16 Toyota Central Res & Dev Lab Inc ニューラルネットワーク装置
JP2001188767A (ja) 1999-12-28 2001-07-10 Fuji Xerox Co Ltd ニューラルネットワーク演算装置及びニューラルネットワークの演算方法
JP3940570B2 (ja) * 2001-07-06 2007-07-04 株式会社東芝 半導体記憶装置
US7302513B2 (en) * 2006-04-03 2007-11-27 Blaise Laurent Mouttet Programmable crossbar signal processor
US8018758B2 (en) * 2009-07-06 2011-09-13 Magic Technologies, Inc. Gate drive voltage boost schemes for memory array
JP5948667B2 (ja) * 2012-03-07 2016-07-06 パナソニックＩｐマネジメント株式会社 不揮発性半導体記憶装置
US10474948B2 (en) * 2015-03-27 2019-11-12 University Of Dayton Analog neuromorphic circuit implemented using resistive memories
CN105404925A (zh) * 2015-11-02 2016-03-16 上海新储集成电路有限公司 一种三维神经网络芯片
JP6602279B2 (ja) * 2016-09-20 2019-11-06 株式会社東芝 メムキャパシタ、ニューロ素子およびニューラルネットワーク装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW318933B (en) * 1996-03-08 1997-11-01 Hitachi Ltd Semiconductor IC device having a memory and a logic circuit implemented with a single chip
US20030183878A1 (en) * 2002-03-27 2003-10-02 Masayuki Tajiri Integrated circuit apparatus and neuro element
JP2010146514A (ja) * 2008-12-22 2010-07-01 Sharp Corp 情報処理装置及びこれを用いたニューラルネットワーク回路
US20140122402A1 (en) * 2011-06-30 2014-05-01 Commissariat A L'energie Atomique Et Aux Energies Alternatives Network of artificial neurons based on complementary memristive devices

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11594279B2 (en) 2020-07-31 2023-02-28 Winbond Electronics Corp. Array device and writing method thereof

Also Published As

Publication number Publication date
EP3680907A4 (en) 2020-10-28
US20200202204A1 (en) 2020-06-25
CN111095417A (zh) 2020-05-01
TW201921282A (zh) 2019-06-01
WO2019049741A1 (ja) 2019-03-14
JPWO2019049741A1 (ja) 2020-07-30
EP3680907A1 (en) 2020-07-15
CN111095417B (zh) 2023-08-29
JP6858870B2 (ja) 2021-04-14
US11604974B2 (en) 2023-03-14

Similar Documents

Publication Publication Date Title
TWI674534B (zh) 使用非揮發性半導體記憶元件之類神經網路運算電路
JP6956191B2 (ja) 不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路
TWI673657B (zh) 具有非揮發性突觸陣列的神經網路電路
Sun et al. XNOR-RRAM: A scalable and parallel resistive synaptic architecture for binary neural networks
US11531871B2 (en) Stacked neuromorphic devices and neuromorphic computing systems
CN111656371B (zh) 具有非易失性突触阵列的神经网络电路
TWI699711B (zh) 記憶體裝置及其製造方法
US20230059091A1 (en) Neuromorphic circuit based on 2t2r rram cells
US20240304267A1 (en) Artificial intelligence processing device and training inference method for artificial intelligence processing device
US10424378B2 (en) Memristive control circuits with current control components
WO2023171683A1 (ja) ニューラルネットワーク演算回路
WO2024048704A1 (ja) 人工知能処理装置および人工知能処理装置の重み係数書き込み方法
Prabaharan et al. Memristor augmented ReRAM cell for cross-bar memory architecture
KR102656337B1 (ko) 삼항 정밀도 xor 논리 연산을 기반으로 하는 반도체 소자 및 이를 포함하는 뉴로모픽 컴퓨팅 시스템
Irmanova et al. Multi-level memristive memory for neural networks
JP2023505178A (ja) 容量性処理ユニット
KR20210083599A (ko) 멀티 비트 특성을 갖는 뉴로모픽 시냅스 소자 및 이의 동작 방법