JP7271463B2 - シナプス回路およびニューラルネットワーク装置 - Google Patents

シナプス回路およびニューラルネットワーク装置 Download PDF

Info

Publication number
JP7271463B2
JP7271463B2 JP2020038543A JP2020038543A JP7271463B2 JP 7271463 B2 JP7271463 B2 JP 7271463B2 JP 2020038543 A JP2020038543 A JP 2020038543A JP 2020038543 A JP2020038543 A JP 2020038543A JP 7271463 B2 JP7271463 B2 JP 7271463B2
Authority
JP
Japan
Prior art keywords
current
circuit
weight
output
voltage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020038543A
Other languages
English (en)
Other versions
JP2021140531A (ja
Inventor
久美子 野村
孝生 丸亀
義史 西
公一 水島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2020038543A priority Critical patent/JP7271463B2/ja
Priority to US17/005,731 priority patent/US20210279558A1/en
Publication of JP2021140531A publication Critical patent/JP2021140531A/ja
Application granted granted Critical
Publication of JP7271463B2 publication Critical patent/JP7271463B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Description

本発明の実施形態は、シナプス回路およびニューラルネットワーク装置に関する。
近年、ハードウェア化したニューラルネットワークを用いて、脳型プロセッサを実現する技術が提案されている。このような脳型プロセッサは、シナプス回路を有する。シナプス回路は、重みを表すウェイト値が設定され、前段のニューロンから受け取った信号に対してウェイト値の影響を加えた信号を、後段のニューロンへと与える。
シナプス回路に設定されているウェイト値は、所定の学習方法により更新される。脳型プロセッサの学習方法として、スパイクタイミング依存シナプス可塑性（ＳＴＤＰ）を用いた学習が知られている。
ＳＴＤＰ学習によりウェイト値を更新した場合、ウェイト値が大きくなりすぎてニューロンが発火しやすくなり、適切に推論が行えなくなる、という問題が指摘されている。この問題を解決するため、正規化処理をすることが提案されている。従来の正規化処理では、１つのニューロンの入力段に接続されている複数のシナプス回路に設定されている複数のウェイト値の和を、一定値以下にするように調整する。これにより大きくなりすぎた複数のウェイト値を一律に小さくして、ニューロンを適切に発火させることができる。しかし、この方法は、複数のウェイト値を読み出して、演算を実行し、再度、複数のウェイト値を設定する処理を実行しなければならなく、回路コストが大きくなってしまっていた。
米国特許第８６５５８１３号明細書
Nicholas Soures， et al.， "On-Device STDP and Synaptic Normalization for Neuromemristive Spiking Neural Network"， 2017 IEEE 60th International Midwest Symposium on Circuits and Systems (MWSCAS)， P1081-1804，２０１７年８月 Elisabetta Chicca， et al.， "Neuromorphic Electronic Circuits for Building Autonomous Cognitive Systems"， Proceedings of the IEEE (Volume: 102 , Issue: 9 , Sept. 2014)， P1367-1388，２０１４年５月１日
本発明が解決しようとする課題は、適切に推論することができるようにニューロンの発火を調整する正規化処理を、簡易な構成で行うことができるシナプス回路およびニューラルネットワーク装置を提供することにある。
実施形態に係るシナプス回路は、ウェイト値が設定され、前段ニューロン回路から２値の入力信号を受け取り、後段ニューロン回路へと出力信号を出力する。前記シナプス回路は、ウェイト電流回路と、入力スイッチと、キャパシタと、出力回路と、電荷調整回路と、制御回路と、正規化回路と、を備える。前記ウェイト電流回路は、前記ウェイト値に応じた電流値のウェイト電流を流す。前記入力スイッチは、前記入力信号に応じて、前記ウェイト電流回路に前記ウェイト電流を流させるか否かを切り替える。前記キャパシタは、第１端子および第２端子を有し、前記第１端子に定電圧が印加される。前記出力回路は、前記第２端子に発生するキャパシタ電圧に応じた前記出力信号を出力する。前記電荷調整回路は、前記入力スイッチにより前記ウェイト電流が流される場合、前記第２端子から前記ウェイト電流の電流値に応じたキャパシタ電流を吸い出す、または、前記キャパシタ電流を前記第２端子に供給することにより、前記キャパシタに蓄積される電荷を減少または増加させる。前記制御回路は、前記ウェイト値に応じて、前記キャパシタ電流から予め定められた電流値の電流を減じるか否かを切り替える。前記正規化回路は、予め定められた電流値の正規化電流を出力する。前記制御回路は、前記ウェイト値に応じて、前記正規化回路から、前記キャパシタ電流から減じる前記電流として前記正規化電流を出力させるか否かを切り替える。前記キャパシタ電流は、前記入力スイッチにより前記ウェイト電流が流され、且つ、前記正規化電流が出力されない場合、前記ウェイト電流から、予め設定された一定電流を減じた電流値であり、前記入力スイッチにより前記ウェイト電流が流され、且つ、前記正規化電流が出力される場合、前記ウェイト電流から、前記一定電流および前記正規化電流を減じた電流値である。
実施形態に係るニューラルネットワーク装置の構成図。 複数のシナプス回路の接続関係を示す図。 学習回路による処理を説明するための図。 シナプス回路の構成を示す図。 入力信号、キャパシタ電圧および出力信号の一例を示す図。 正規化回路の第１の回路構成例を示す図。 正規化回路の第２の回路構成例を示す図。 正規化回路の第３の回路構成例を示す図。 制御回路の第１の処理例を示す図。 制御回路の第２の処理例を示す図。 変形例に係る複数のシナプス回路の接続関係を示す図。 変形例に係る制御回路の第１の処理例を示す図。 変形例に係る制御回路の第２の処理例を示す図。
以下、図面を参照しながら実施形態に係るニューラルネットワーク装置１０について説明する。実施形態に係るニューラルネットワーク装置１０は、ハードウェアにより実現され、精度の良い推論を実行することができる。
図１は、実施形態に係るニューラルネットワーク装置１０の構成を示す図である。ニューラルネットワーク装置１０は、Ｎ段（Ｎは２以上の整数）のレイヤ２２と、（Ｎ－１）個のシナプス部２４と、学習回路２６とを備える。
Ｎ段のレイヤ２２のそれぞれは、複数のニューロン回路３０を含む。複数のニューロン回路３０のそれぞれは、前段のレイヤ２２から出力された複数の信号を取得し、取得した複数の信号に対して積和演算処理を実行する。なお、Ｎ段のレイヤ２２のうち１段目のレイヤ２２は、外部の装置または入力レイヤから複数の信号を取得する。そして、複数のニューロン回路３０のそれぞれは、積和演算結果を表す信号に対して活性化関数処理を行った信号を出力する。複数のニューロン回路３０のそれぞれは、積和演算処理および活性化関数処理を、例えばアナログ回路により実行する。
（Ｎ－１）個のシナプス部２４のそれぞれは、複数のシナプス回路４０を含む。複数のシナプス回路４０のそれぞれは、学習回路２６によりウェイト値が設定される。
（Ｎ－１）個のシナプス部２４のうちのｎ番目（ｎは、１以上、（Ｎ－１）以下の整数）のシナプス部２４は、ｎ段目のレイヤ２２と、（ｎ＋１）段目のレイヤ２２との間に配置される。
ｎ番目のシナプス部２４に含まれる複数のシナプス回路４０のそれぞれは、ｎ段目のレイヤ２２に含まれる複数のニューロン回路３０のうちの１つのニューロン回路３０から出力された信号を２値の入力信号として受け取る。ｎ番目のシナプス部２４に含まれる複数のシナプス回路４０のそれぞれは、受け取った入力信号に対して、設定されたウェイト値の影響を加えた出力信号を生成する。本実施形態において、出力信号は、２値の電圧信号である。これに代えて、出力信号は、アナログ値（連続値）で表された電流であってもよいし、アナログ値（連続値）で表された電圧であってもよい。そして、ｎ番目のシナプス部２４に含まれる複数のシナプス回路４０のそれぞれは、（ｎ＋１）段目のレイヤ２２に含まれる複数のニューロン回路３０のうちの１つのニューロン回路３０に出力信号を与える。
学習回路２６は、複数のシナプス回路４０のそれぞれに設定されているウェイト値を更新する。学習回路２６は、複数のシナプス回路４０のそれぞれに設定されているウェイト値を、スパイクタイミング依存シナプス可塑性（ＳＴＤＰ）学習により更新する。
このようなニューラルネットワーク装置１０は、１段目のレイヤ２２が外部装置または入力レイヤから１または複数の信号を受け取る。そして、ニューラルネットワーク装置１０は、受け取った１または複数の信号に対してニューラルネットワークによる演算を実行した結果を表す１または複数の信号を、Ｎ段目のレイヤ２２から出力する。
図２は、複数のシナプス回路４０の接続関係を示す図である。シナプス回路４０は、学習回路２６によりウェイト値が設定されている。
シナプス回路４０は、前段のレイヤ２２に含まれる何れかのニューロン回路３０である前段ニューロン回路３２から、２値の入力信号を受け取る。シナプス回路４０は、受け取った２値の入力信号に設定されたウェイト値の影響を加えた出力信号を出力する。例えば、図２に示した３つのシナプス回路４０のそれぞれは、学習回路２６によりウェイト値（Ｗ１，Ｗ２，Ｗ３）が設定されている。
本実施形態において、シナプス回路４０は、２値の入力信号を、設定されたウェイト値に応じた時間分遅延させた２値の出力信号を出力する。すなわち、本実施形態において、シナプス回路４０は、前段ニューロン回路３２の発火タイミングを、設定されたウェイト値に応じた時間分遅延させた出力信号を出力する。例えば、シナプス回路４０は、設定されたウェイト値が大きいほど、遅延時間を短くする。そして、シナプス回路４０は、出力信号を対応する後段ニューロン回路３４に与える。
なお、シナプス回路４０は、入力信号が発火した場合に、設定されたウェイト値に応じた電流量の電流である出力信号を出力してもよい。また、シナプス回路４０は、入力信号の発火時間または発火回数に、設定されたウェイト値を乗じた値に応じた電流量の電流である出力信号を出力してもよい。この場合、シナプス回路４０は、設定されたウェイト値が大きいほど、出力信号の電流量を大きくする。この場合、後段ニューロン回路３４は、アナログ値（連続値）で表された出力信号をシナプス回路４０から受け取る。また、同様に、シナプス回路４０は、電流値に代えて、電圧値で表された出力信号を出力してもよい。
図３は、学習回路２６による処理を説明するための図である。学習回路２６は、複数のシナプス回路４０のそれぞれに設定されているウェイト値を更新する。学習回路２６は、複数のシナプス回路４０のそれぞれに設定されているウェイト値を、スパイクタイミング依存シナプス可塑性（ＳＴＤＰ）学習により更新する。
学習回路２６は、あるシナプス回路４０（第１シナプス回路４０－１）に設定されているウェイト値を式（１）に従い更新する。
Ｗｉｊ（ｔ＋Δｔ）＝Ｗｉｊ（ｔ）＋ΔＷｉｊ（ｔ）…（１）
Δｔは、単位時間を表す。ｔは、任意の時刻を表す。（ｔ＋Δｔ）は、時刻（ｔ）から単位時間（Δｔ）を経過した後の時刻を表す。
Ｗｉｊ（ｔ）は、時刻（ｔ）において、第１シナプス回路４０－１に設定されているウェイト値を表す。Ｗｉｊ（ｔ＋ｔΔ）は、時刻（ｔ＋Δｔ）において、第１シナプス回路４０－１に設定されているウェイト値を表す。
ここで、ΔＷｉｊ（ｔ）は、式（２）のように算出される。
ΔＷｉｊ（ｔ）＝ηＳＴＤＰ（ｘｉ（ｔ）×ｘｊ（ｔ－Δｔ）－ｘｉ（ｔ－Δｔ）×ｘｊ（ｔ））…（２）
（ｔ－Δｔ）は、時刻（ｔ）から、単位時間（Δｔ）前の時刻を表す。ηＳＴＤＰは、所定の定数を表す。
ｘｉ（ｔ）は、時刻（ｔ）において、第１シナプス回路４０－１に接続された後段ニューロン回路３４から出力される信号の値を表す。ｘｊ（ｔ）は、時刻（ｔ）において、第１シナプス回路４０－１に接続された前段ニューロン回路３２から出力される信号の値を表す。
ｘｉ（ｔ－Δｔ）は、時刻（ｔ－Δｔ）において、第１シナプス回路４０－１に接続された後段ニューロン回路３４から出力される信号の値を表す。ｘｊ（ｔ－Δｔ）は、時刻（ｔ－Δｔ）において、第１シナプス回路４０－１に接続された前段ニューロン回路３２から出力される信号の値を表す。
なお、ｘｉ（ｔ）、ｘｊ（ｔ）、ｘｉ（ｔ－Δｔ）およびｘｊ（ｔ－Δｔ）は、０または１を表す。また、ｘｉ（ｔ）、ｘｊ（ｔ）、ｘｉ（ｔ－Δｔ）およびｘｊ（ｔ－Δｔ）は、１の場合に、発火を表す。
式（２）で表されるΔＷｉｊ（ｔ）は、時刻（ｔ－Δｔ）において前段ニューロン回路３２が発火し、単位時刻（Δｔ）後の時刻（ｔ）において前段ニューロン回路３２が発火した場合、ηＳＴＤＰとなり、他の場合には、０となる。
すなわち、学習回路２６は、前段ニューロン回路３２から出力される信号が発火したことに応じて、後段ニューロン回路３４から出力される信号が発火した場合、シナプス回路４０に設定されたウェイト値を所定量増加させる。これにより、学習回路２６は、複数のシナプス回路４０のそれぞれに設定されるウェイト値をＳＴＤＰ学習させることができる。
図４は、シナプス回路４０の構成を示す図である。
シナプス回路４０は、ウェイト保持回路６０と、ウェイト電流回路６２と、入力スイッチ６４と、キャパシタ６６と、出力増幅回路６８と、出力回路７０と、電荷調整回路７２と、第１定電流回路７４と、第２定電流回路７６と、正規化回路７８と、制御回路８０とを備える。
ウェイト保持回路６０は、学習回路２６により設定されたウェイト値（Ｗ）を保持する。ウェイト保持回路６０は、例えばウェイト値（Ｗ）に応じて抵抗値が変化する可変抵抗器を含んでもよい。ウェイト保持回路６０は、例えば、ウェイト値（Ｗ）に応じた電荷を蓄積する保持用キャパシタを含んでもよい。また、ウェイト保持回路６０は、メモリ等を有し、ウェイト値（Ｗ）に応じたデジタル値を記憶してもよい。本実施形態においては、ウェイト保持回路６０は、保持しているウェイト値（Ｗ）に応じたウェイト電圧（ＶＷ）を出力する。
ウェイト電流回路６２は、ウェイト保持回路６０に設定されたウェイト値（Ｗ）に応じた電流値のウェイト電流（ＩＷ）を流す。例えば、ウェイト電流回路６２は、ウェイト値（Ｗ）に比例したウェイト電流（ＩＷ）を流す。
ウェイト電流回路６２は、入力スイッチ６４がオン状態の場合に、ノードＡからウェイト電流（ＩＷ）を吸い出して、基準電位（グランド）へと流す。ウェイト電流回路６２は、入力スイッチ６４がオフ状態の場合に、ウェイト電流（ＩＷ）を流さない（ウェイト電流を０とする）。
本実施形態においては、ウェイト電流回路６２は、ＭＯＳ－ＦＥＴ（Metal Oxide Semiconductor Field Effect Transistor）である。図４の例では、ウェイト電流回路６２は、ＮチャネルＭＯＳ－ＦＥＴである。
ＭＯＳ－ＦＥＴであるウェイト電流回路６２は、ゲートにウェイト電圧（ＶＷ）が印加され、ドレインがノードＡに接続される。そして、ＭＯＳ－ＦＥＴであるウェイト電流回路６２は、ウェイト電圧（ＶＷ）に応じた電流量のウェイト電流（ＩＷ）をドレイン－ソース間に流す。
入力スイッチ６４は、前段ニューロン回路３２から出力された２値の入力信号（Ｓｉｎ）に応じて、ウェイト電流回路６２にウェイト電流（ＩＷ）を流させるか否かを切り替える。例えば、入力スイッチ６４は、入力信号（Ｓｉｎ）が１の場合に、ウェイト電流（ＩＷ）を流させる。例えば、入力スイッチ６４は、入力信号（Ｓｉｎ）が０の場合に、ウェイト電流（ＩＷ）を流させない（つまり、ウェイト電流（ＩＷ）を０とする）。
本実施形態においては、入力スイッチ６４は、スイッチング動作をするＭＯＳ－ＦＥＴである。図４の例では、入力スイッチ６４は、ＮチャネルＭＯＳ－ＦＥＴである。ＭＯＳ－ＦＥＴである入力スイッチ６４は、ゲートに入力信号（Ｓｉｎ）が印加され、ドレインがウェイト電流回路６２のソースに接続され、ソースが基準電位（グランド）に接続される。
そして、ＭＯＳ－ＦＥＴである入力スイッチ６４は、入力信号（Ｓｉｎ）が１の場合にオン状態となり、ウェイト電流回路６２のソースをグランドに接続することにより、ウェイト電流回路６２にウェイト電流（ＩＷ）を流させる。また、ＭＯＳ－ＦＥＴである入力スイッチ６４は、入力信号（Ｓｉｎ）が０の場合にオフ状態となり、ウェイト電流回路６２のソースをグランドから切断することにより、ウェイト電流回路６２にウェイト電流（ＩＷ）を流させない。
キャパシタ６６は、第１端子６６ａおよび第２端子６６ｂを有する。キャパシタ６６の第１端子６６ａは、定電圧が発生される電源電位（例えば、ＶＤＤ）に接続される。このようなキャパシタ６６は、第１端子６６ａに定電圧が印加される。また、キャパシタ６６は、第２端子６６ｂにキャパシタ電圧（ＶＣ）を発生する。キャパシタ電圧（ＶＣ）は、電源電位から、キャパシタ６６により発生される電圧を減じた値である。キャパシタ６６により発生される電圧は、蓄積した電荷量を静電容量で除算した電圧である。
出力増幅回路６８は、キャパシタ６６の第２端子６６ｂに発生するキャパシタ電圧（ＶＣ）に応じてオン状態またはオフ状態を切り替える。例えば、出力増幅回路６８は、キャパシタ電圧（ＶＣ）が閾値電圧（Ｖｔ）以下である場合にオン状態となり、キャパシタ電圧（ＶＣ）が閾値電圧（Ｖｔ）より大きい場合にオフ状態となる。
例えば、出力増幅回路６８は、スイッチング動作をするＭＯＳ－ＦＥＴである。図４の例では、出力増幅回路６８は、ＰチャネルＭＯＳ－ＦＥＴである。ＰチャネルＭＯＳ－ＦＥＴである出力増幅回路６８は、ゲートにキャパシタ電圧（ＶＣ）が印加され、ソースが電源電位に接続され、ドレインが出力回路７０に接続される。そして、ＭＯＳ－ＦＥＴである出力増幅回路６８は、キャパシタ電圧（ＶＣ）が閾値電圧（Ｖｔ）以下である場合にオン状態となり出力電流（Ｉｏｕｔ）を出力回路７０に供給する。また、ＭＯＳ－ＦＥＴである出力増幅回路６８は、キャパシタ電圧（ＶＣ）が閾値電圧（Ｖｔ）より大きい場合にオフ状態となり、出力電流（Ｉｏｕｔ）の出力を停止する。
出力回路７０は、キャパシタ６６の第２端子６６ｂに発生するキャパシタ電圧（ＶＣ）に応じた出力信号（Ｓｏｕｔ）を出力する。例えば、出力回路７０は、キャパシタ電圧（ＶＣ）を閾値電圧（Ｖｔ）で２値化した２値の出力信号（Ｓｏｕｔ）を出力する。
例えば、出力回路７０は、出力増幅回路６８から出力電流（Ｉｏｕｔ）が供給された場合に１となり、出力増幅回路６８から出力電流（Ｉｏｕｔ）が供給されない場合に０となる出力信号（Ｓｏｕｔ）を出力する。すなわち、この場合、出力回路７０は、キャパシタ電圧（ＶＣ）が閾値電圧（Ｖｔ）以下である場合に１となり、キャパシタ電圧（ＶＣ）が閾値電圧（Ｖｔ）より大きい場合に０となる出力信号（Ｓｏｕｔ）を出力する。
なお、出力回路７０は、アナログ値（連続値）の電流である出力信号（Ｓｏｕｔ）を出力してもよい。この場合、出力増幅回路６８は、スイッチング動作をせずに、キャパシタ電圧（ＶＣ）に応じたアナログ値（連続値）の出力電流（Ｉｏｕｔ）を流す電流増幅器として機能する。そして、出力回路７０は、出力電流（Ｉｏｕｔ）をそのまま出力信号（Ｓｏｕｔ）として出力する。また、出力回路７０は、出力電流（Ｉｏｕｔ）に応じたアナログ値（連続値）の電圧信号を、出力信号（Ｓｏｕｔ）として出力してもよい。
電荷調整回路７２は、入力スイッチ６４によりウェイト電流（ＩＷ）が流される場合、ウェイト電流（ＩＷ）の電流値に応じた時間変化量でキャパシタ６６に蓄積される電荷を減少または増加させる。例えば、電荷調整回路７２は、入力スイッチ６４がオン状態の場合、つまり、入力信号（Ｓｉｎ）が１の場合、キャパシタ６６に蓄積される電荷を減少または増加させる。
また、電荷調整回路７２は、入力スイッチ６４によりウェイト電流（ＩＷ）が流されない場合、キャパシタ６６に蓄積される電荷を一定とする。例えば、電荷調整回路７２は、入力スイッチ６４がオフ状態の場合、つまり、入力信号（Ｓｉｎ）が０の場合、キャパシタ６６に蓄積される電荷を変化させない。
例えば、電荷調整回路７２は、ダイオード接続されたＭＯＳ－ＦＥＴである。図４の例では、電荷調整回路７２は、ダイオード接続されたＮチャネルＭＯＳ－ＦＥＴである。ＮチャネルＭＯＳ－ＦＥＴである電荷調整回路７２は、ゲートとドレインとが接続され、ゲートにキャパシタ６６の第２端子６６ｂが接続され、ソースがノードＡに接続される。そして、ＭＯＳ－ＦＥＴである電荷調整回路７２は、ノードＡにウェイト電流（ＩＷ）が流れる場合、キャパシタ６６の第２端子６６ｂからキャパシタ電流（ＩＣ）を吸い出してノードＡへと供給する。または、ＭＯＳ－ＦＥＴである電荷調整回路７２は、ノードＡからキャパシタ電流（ＩＣ）を吸い出してキャパシタ６６の第２端子６６ｂに供給する。
これにより、電荷調整回路７２は、入力スイッチ６４によりウェイト電流（ＩＷ）が流される場合、キャパシタ電圧（ＶＣ）を減少させ、入力スイッチ６４によりウェイト電流（ＩＷ）が流されない場合、キャパシタ電圧（ＶＣ）を一定とさせることができる。従って、電荷調整回路７２は、入力スイッチ６４がオン状態の場合、つまり、入力信号（Ｓｉｎ）が１の場合、キャパシタ電圧（ＶＣ）を減少させることができる。また、電荷調整回路７２は、入力スイッチ６４がオフ状態の場合、つまり、入力信号（Ｓｉｎ）が０の場合、キャパシタ電圧（ＶＣ）を一定とすることができる。
第１定電流回路７４は、入力スイッチ６４によりウェイト電流（ＩＷ）が流される場合、予め定められた一定の第１電流（Ｉｔａｕ）をノードＡへと供給する。例えば、第１定電流回路７４は、ＭＯＳ－ＦＥＴである。図４の例では、第１定電流回路７４は、ＰチャネルＭＯＳ－ＦＥＴである。ＰチャネルＭＯＳ－ＦＥＴである第１定電流回路７４は、ゲートに予め定められた一定の第１電圧（Ｖｔａｕ）が印加され、ソースが電源電位に接続され、ドレインが電荷調整回路７２のドレインに接続される。そして、このような第１定電流回路７４は、入力スイッチ６４によりウェイト電流（ＩＷ）が流される場合、第１電流（Ｉｔａｕ）を電荷調整回路７２を介してノードＡへと供給する。
第２定電流回路７６は、入力スイッチ６４によりウェイト電流（ＩＷ）が流される場合、予め定められた一定の第２電流（Ｉｔｈｒ）をノードＡへと供給する。例えば、第２定電流回路７６は、ＭＯＳ－ＦＥＴである。図４の例では、第２定電流回路７６は、ＮチャネルＭＯＳ－ＦＥＴである。ＮチャネルＭＯＳ－ＦＥＴである第２定電流回路７６は、ゲートに予め定められた一定の第２電圧（Ｖｔｈｒ）が印加され、ドレインが電源電位に接続され、ソースがノードＡに接続される。そして、このような第２定電流回路７６は、入力スイッチ６４によりウェイト電流（ＩＷ）が流される場合、第２電流（Ｉｔｈｒ）を電荷調整回路７２を介してノードＡへと供給する。
正規化回路７８は、制御回路８０による制御に応じて、予め設定された電流値の正規化電流（ＩＮＷ）をノードＡへと出力する。正規化回路７８は、電流発生回路８２と、スイッチ回路８４とを含む。電流発生回路８２は、予め設定された電流値の正規化電流（ＩＮＷ）を発生する。スイッチ回路８４は、制御回路８０による制御に応じて、電流発生回路８２から発生された正規化電流（ＩＮＷ）を、ノードＡへと供給するか否かを切り替える。
制御回路８０は、ウェイト値（Ｗ）に応じて、キャパシタ電流（ＩＣ）から正規化電流（ＩＮＷ）を減じるか否かを切り替える。より具体的には、制御回路８０は、ウェイト値（Ｗ）に応じて、正規化回路７８からノードＡへと正規化電流（ＩＮＷ）を出力させるか否かを切り替える。例えば、制御回路８０は、ウェイト値（Ｗ）が設定された値以下である場合、正規化回路７８からノードＡへと正規化電流（ＩＮＷ）を出力させず、ウェイト値（Ｗ）が設定された値より大きい場合、正規化回路７８からノードＡへと正規化電流（ＩＮＷ）を出力させる。
例えば、制御回路８０は、ウェイト電圧（ＶＷ）が、予め設定された第１電圧範囲内である場合（例えば、ウェイト電圧（ＶＷ）が予め設定された第１電圧値以下である場合）、正規化回路７８からノードＡへと正規化電流（ＩＮＷ）を出力させない。そして、制御回路８０は、ウェイト電圧（ＶＷ）が第１電圧範囲外となった場合（例えば、ウェイト電圧（ＶＷ）が第１電圧値より大きくなった場合）、正規化回路７８からノードＡへと正規化電流（ＩＮＷ）を出力させる。
また、この場合、制御回路８０は、正規化電流（ＩＮＷ）を出力させた後、ウェイト電圧（ＶＷ）が第１電圧範囲内となっても（例えばウェイト電圧（ＶＷ）が第１電圧値以下となっても）、正規化電流（ＩＮＷ）を出力させ続ける。これに代えて、制御回路８０は、正規化電流（ＩＮＷ）を出力させた後、所定時間前から現在までの間、ウェイト電圧（ＶＷ）が第１電圧範囲内である場合（例えばウェイト電圧（ＶＷ）が第１電圧値以下である場合）、正規化電流（ＩＮＷ）の出力を停止させてもよい。
図５は、入力信号（Ｓｉｎ）、キャパシタ電圧（ＶＣ）および出力信号（Ｓｏｕｔ）の一例を示す図である。
図４に示した回路において、キャパシタ電圧（ＶＣ）は、入力信号（Ｓｉｎ）が０から１に変化した第１時刻（ｔ１）から減少を開始する。そして、出力信号（Ｓｏｕｔ）は、キャパシタ電圧（ＶＣ）が閾値電圧（Ｖｔ）以下となった時刻で０から１に変化する。
ここで、キャパシタ電圧（ＶＣ）の時間変化量は、ウェイト電流（ＩＷ）の大きさに応じて変化する。ウェイト電流（ＩＷ）は、ウェイト保持回路６０により保持されているウェイト値（Ｗ）に応じた電流量である。
従って、出力信号（Ｓｏｕｔ）は、入力信号（Ｓｉｎ）が０から１に変化した第１時刻（ｔ１）から、ウェイト値（Ｗ）に応じた時間分遅延した時刻において、０から１に変化する。例えば、入力信号（Ｓｉｎ）が０から１に変化してから、出力信号（Ｓｏｕｔ）が０から１に変化する遅延時間は、ウェイト値（Ｗ）が大きい程、短い。従って、シナプス回路４０は、前段ニューロン回路３２から受け取った入力信号（Ｓｉｎ）をウェイト値（Ｗ）に応じた時間分遅延した出力信号（Ｓｏｕｔ）を生成し、生成した出力信号（Ｓｏｕｔ）を後段ニューロン回路３４へと供給することができる。
さらに、キャパシタ電圧（ＶＣ）の時間変化量は、正規化電流（ＩＮＷ）が出力されない状態（正規化オフ）から、正規化電流（ＩＮＷ）が出力された状態（正規化オン）かによっても変化する。より具体的には、正規化電流（ＩＮＷ）が出力される状態（正規化オン）のキャパシタ電圧（ＶＣ）の時間変化量は、正規化電流（ＩＮＷ）が出力されない状態（正規化オフ）のキャパシタ電圧（ＶＣ）の時間変化量より大きい。
このため、正規化電流（ＩＮＷ）が出力される場合（正規化オン）の遅延時間は、正規化電流（ＩＮＷ）が出力されない場合（正規化オフ）の遅延時間よりも長くなる。つまり、正規化オンの場合における出力信号（Ｓｏｕｔ）が０から１に変化する第３時刻（ｔ３）は、正規化オフの場合における出力信号（Ｓｏｕｔ）が０から１に変化する第２時刻（ｔ２）より遅い。
従って、制御回路８０は、正規化電流（ＩＮＷ）が出力させた場合、ウェイト値（Ｗ）を一定値小さくした場合と同様の出力信号（Ｓｏｕｔ）を出力させることができる。つまり、制御回路８０は、正規化処理をした場合と同様の処理を実行することができる。
以下、正規化電流（ＩＮＷ）が出力されない場合と、正規化電流（ＩＮＷ）が出力される場合の違いについてさらに説明する。
入力スイッチ６４によりウェイト電流（ＩＷ）が流される場合（入力スイッチ６４がオン状態の場合）、シナプス回路４０は、ノードＡから基準電位（グランド）へとウェイト電流（ＩＷ）を吸い出す。さらに、入力スイッチ６４によりウェイト電流（ＩＷ）が流され、且つ、正規化電流（ＩＮＷ）が出力されない場合（正規化オフの場合）、シナプス回路４０は、電源電位側からノードＡへと、第１電流（Ｉｔａｕ）、第２電流（Ｉｔｈｒ）およびキャパシタ電流（ＩＣ）を供給する。従って、この場合、ノードＡの電流は、式（１１）に示すように表される。
ＩＷ＝Ｉｔａｕ＋Ｉｔｈ＋ＩＣ…（１１）
式（１１）から、入力スイッチ６４によりウェイト電流（ＩＷ）が流され、且つ、正規化電流（ＩＮＷ）が出力されない場合、キャパシタ電流（ＩＣ）は、式（１２）に示すように表される。
ＩＣ＝ＩＷ－（Ｉｔａｕ＋Ｉｔｈ）…（１２）
すなわち、入力スイッチ６４によりウェイト電流（ＩＷ）が流され、且つ、正規化電流（ＩＮＷ）が出力されない場合、キャパシタ電流（ＩＣ）は、ウェイト電流（ＩＷ）から、予め設定された電流値の一定電流を減じた電流値となる。
一方、入力スイッチ６４によりウェイト電流（ＩＷ）が流され（入力スイッチ６４がオン状態）、且つ、正規化電流（ＩＮＷ）が出力される場合（正規化オンの場合）、シナプス回路４０は、電源電位側からノードＡへと、第１電流（Ｉｔａｕ）、第２電流（Ｉｔｈｒ）、キャパシタ電流（ＩＣ）および正規化電流（ＩＮＷ）を供給する。従って、この場合、ノードＡの電流は、式（１３）に示すように表される。
ＩＷ＝Ｉｔａｕ＋Ｉｔｈ＋ＩＣ＋ＩＮＷ…（１３）
式（１３）から、入力スイッチ６４によりウェイト電流（ＩＷ）が流され、且つ、正規化電流（ＩＮＷ）が出力さえる場合、キャパシタ電流（ＩＣ）は、式（１４）に示すように表される。
ＩＣ＝ＩＷ－ＩＮＷ－（Ｉｔａｕ＋Ｉｔｈ）…（１４）
すなわち、入力スイッチ６４によりウェイト電流（ＩＷ）が流され、且つ、正規化電流（ＩＮＷ）が出力される場合、キャパシタ電流（ＩＣ）は、ウェイト電流（ＩＷ）から、予め設定された電流値の一定電流および正規化電流を減じた電流値である。
式（１２）および式（１４）から、正規化電流（ＩＮＷ）が出力されない場合のキャパシタ電流（正規化オフ時のＩＣ）と、正規化電流（ＩＮＷ）が出力される場合のキャパシタ電流（正規化オン時のＩＣ）とは、式（１５）のような関係になることが分かる。
正規化オフ時のＩＣ＞正規化オン時のＩＣ…（１５）
このように、制御回路８０は、正規化電流（ＩＮＷ）をノードＡへと出力させることにより、電源電位側からノードＡへと供給される電流量を多くすることができる。電源電位側からノードＡに供給される電流量が多くなると、キャパシタ電流（ＩＣ）は、相対的に小さくなる。従って、制御回路８０は、正規化電流（ＩＮＷ）を出力させていない状態（正規化オフ）から、正規化電流（ＩＮＷ）を出力させている状態（正規化オン）に切り替えることにより、キャパシタ６６に蓄積する電荷の時間変化量を小さくすることができる。すなわち、制御回路８０は、正規化電流（ＩＮＷ）を出力させていない状態（正規化オフ）から、正規化電流（ＩＮＷ）を出力させている状態（正規化オン）に切り替えることにより、キャパシタ電圧（ＶＣ）の時間変化量を小さくすることができる。
図６は、正規化回路７８の第１の回路構成例を示す図である。正規化回路７８は、例えば、図６に示すような回路である。
図６に示す正規化回路７８の電流発生回路８２は、第１電界効果トランジスタ８６と、第２電界効果トランジスタ８８と、定電流源９０とを含む。
第１電界効果トランジスタ８６は、ダイオード接続され、ゲートが第２電界効果トランジスタ８８のゲートに接続されている。図６の例では、第１電界効果トランジスタ８６は、ＰチャネルＭＯＳ－ＦＥＴである。この場合、第１電界効果トランジスタ８６は、ソースが電源電位に接続され、ゲートがドレインに接続されている。
第２電界効果トランジスタ８８は、第１電界効果トランジスタ８６のドレイン－ソース間に流れる電流に応じた電流をドレイン－ソース間に流す。図６の例では、第２電界効果トランジスタ８８は、ＮチャネルＭＯＳ－ＦＥＴである。この場合、第２電界効果トランジスタ８８は、ゲートが第１電界効果トランジスタ８６のゲートに接続され、ドレインが電源電位に接続され、ソースがスイッチ回路８４に接続されている。
定電流源９０は、第１電界効果トランジスタ８６のドレイン－ソースに対して直列に接続される。定電流源９０は、定電流を流す。図６の例では、定電流源９０は、第１電界効果トランジスタ８６のドレインと、基準電位（グランド）との間に接続される。
また、図６に示す正規化回路７８のスイッチ回路８４は、第２電界効果トランジスタ８８のソースから出力される電流を、正規化電流（ＩＮＷ）としてノードＡへと出力させる。図６の例では、スイッチ回路８４は、ＮチャネルＭＯＳ－ＦＥＴである。この場合、スイッチ回路８４は、ゲートに制御回路８０からの制御信号が印加され、ドレインが第２電界効果トランジスタ８８のソースに接続され、ソースがノードＡに接続される。制御回路８０は、スイッチ回路８４に制御信号を与えて、スイッチ回路８４を導通状態または切断状態に切り替える。
このような構成の正規化回路７８は、制御回路８０からの制御信号に応じて、定電流源９０から出力される定電流に応じた電流を、正規化電流（ＩＮＷ）としてノードＡに供給することができる。
図７は、正規化回路７８の第２の回路構成例を示す図である。正規化回路７８は、例えば、図７に示すような回路であってもよい。
図７に示す正規化回路７８の電流発生回路８２は、抵抗９２を含む。抵抗９２は、一方の端子が電源電位に接続され、他方の端子がスイッチ回路８４に接続されている。
また、図７に示す正規化回路７８のスイッチ回路８４は、抵抗９２に流れる電流を、正規化電流（ＩＮＷ）として出力させる。図７の例では、スイッチ回路８４は、ＮチャネルＭＯＳ－ＦＥＴである。この場合、スイッチ回路８４は、ゲートに制御回路８０からの制御信号が印加され、ドレインが抵抗９２に接続され、ソースがノードＡに接続される。制御回路８０は、スイッチ回路８４に制御信号を与えて、スイッチ回路８４を導通状態または切断状態に切り替える。
このような構成の正規化回路７８は、制御回路８０からの制御信号に応じて、抵抗９２に流れる電流を、正規化電流（ＩＮＷ）としてノードＡに供給することができる。
図８は、正規化回路７８の第３の回路構成例を示す図である。正規化回路７８は、例えば、図８に示すような回路であってもよい。
図８に示す正規化回路７８の電流発生回路８２は、第３電界効果トランジスタ９４を含む。第３電界効果トランジスタ９４は、ドレイン－ソース間に一定の電流を流す。図８に示す例では、第３電界効果トランジスタ９４は、ＮチャネルＭＯＳ－ＦＥＴである。この場合、第３電界効果トランジスタ９４は、ゲートに予め定められた定電圧（ＶＡ）が印加され、ドレインが電源電位に接続され、スイッチ回路８４に接続されている。
また、図８に示す正規化回路７８のスイッチ回路８４は、第３電界効果トランジスタ９４のドレイン－ソース間に流れる電流を、正規化電流（ＩＮＷ）として出力させる。図８の例では、スイッチ回路８４は、ＮチャネルＭＯＳ－ＦＥＴである。この場合、スイッチ回路８４は、ゲートに制御回路８０からの制御信号が印加され、ドレインが第３電界効果トランジスタ９４のソースに接続され、ソースがノードＡに接続される。制御回路８０は、スイッチ回路８４に制御信号を与えて、スイッチ回路８４を導通状態または切断状態に切り替える。
このような構成の正規化回路７８は、制御回路８０からの制御信号に応じて、第３電界効果トランジスタ９４のドレイン－ソース間に流れる電流を、正規化電流（ＩＮＷ）としてノードＡに供給することができる。
図９は、制御回路８０の第１の処理例を示す図である。制御回路８０は、例えば、図９に示すような流れで処理を実行する。
まず、Ｓ１１において、制御回路８０は、ウェイト保持回路６０から出力されるウェイト電圧（ＶＷ）を取得する。続いて、Ｓ１２において、制御回路８０は、ウェイト電圧（ＶＷ）が所定電圧（Ｖｍａｘ）より大きいか否かを判断する。制御回路８０は、ウェイト電圧（ＶＷ）が所定電圧（Ｖｍａｘ）より大きくない場合（Ｓ１２のＮｏ）、処理をＳ１３に進める。
Ｓ１３において、制御回路８０は、正規化をオフとする制御信号を正規化回路７８に与える。正規化をオフとする制御信号を受け取った場合、正規化回路７８は、正規化電流（ＩＮＷ）を出力しない。制御回路８０は、Ｓ１３の後、処理をＳ１１に戻す。
また、制御回路８０は、ウェイト電圧（ＶＷ）が所定電圧（Ｖｍａｘ）より大きい場合（Ｓ１２のＹｅｓ）、処理をＳ１４に進める。Ｓ１４において、制御回路８０は、正規化をオンとする制御信号を正規化回路７８に与える。正規化をオンとする制御信号を受け取った場合、正規化回路７８は、正規化電流（ＩＮＷ）を出力する。
正規化電流（ＩＮＷ）が出力された場合、キャパシタ電圧（ＶＣ）の時間変化量は、正規化電流（ＩＮＷ）が出力されない場合と比較して、小さくなる。この結果、シナプス回路４０は、入力信号（Ｓｉｎ）が０から１に変化してから、出力信号（Ｓｏｕｔ）が０から１に変化するまでの遅延時間を、長くすることができる。これにより、シナプス回路４０は、ウェイト値（Ｗ）を一定値小さくした場合と同様の出力信号（Ｓｏｕｔ）を出力させることができる。つまり、シナプス回路４０は、ウェイト値（Ｗ）に対して正規化処理をした場合と同様の処理を実行することができる。
制御回路８０は、正規化をオンとする制御信号を出力した後、本フローを終了する。すなわち、制御回路８０は、正規化電流（ＩＮＷ）を出力させた後、正規化電流（ＩＮＷ）を出力させ続ける。
このような処理をすることにより、制御回路８０は、ウェイト電圧（ＶＷ）が予め設定された第１電圧範囲内である場合（例えば、ウェイト電圧（ＶＷ）が所定電圧（Ｖｍａｘ）より大きくない場合）、正規化回路７８から正規化電流（ＩＮＷ）を出力させないことができる。また、制御回路８０は、ウェイト電圧（ＶＷ）が、第１電圧範囲外となった場合（例えば、ウェイト電圧（ＶＷ）が所定電圧（Ｖｍａｘ）より大きくなった場合）、正規化電流（ＩＮＷ）を出力させることができる。さらに、制御回路８０は、正規化電流（ＩＮＷ）を出力させた後、ウェイト電圧（ＶＷ）が第１電圧範囲内となっても（例えば、ウェイト電圧（ＶＷ）が所定電圧（Ｖｍａｘ）以下となっても）、正規化電流（ＩＮＷ）を出力させ続けることができる。
図１０は、制御回路８０の第２の処理例を示す図である。制御回路８０は、例えば、図１０に示すような流れで処理を実行してもよい。
図１０に示す処理は、図９に示した処理と比較して、Ｓ２１の処理が加わっている。制御回路８０は、ウェイト電圧（ＶＷ）が所定電圧（Ｖｍａｘ）より大きくない場合（Ｓ１２のＮｏ）、処理をＳ１３ではなく、Ｓ２１に進める。
Ｓ２１において、制御回路８０は、所定時間前から現在までの間に、ウェイト電圧（ＶＷ）が所定電圧（Ｖｍａｘ）より大きくなったことがあるか否かを判断する。所定時間前から現在までの間に、ウェイト電圧（ＶＷ）が所定電圧（Ｖｍａｘ）より大きくなったことが無い場合（Ｓ２１のＮｏ）、制御回路８０は、処理をＳ１３に進める。
そして、Ｓ１３において、制御回路８０は、正規化をオフとする制御信号を正規化回路７８に与える。正規化をオフとする制御信号を受け取った場合、正規化回路７８は、正規化電流（ＩＮＷ）を出力しない。制御回路８０は、Ｓ１３の後、処理をＳ１１に戻す。
制御回路８０は、ウェイト電圧（ＶＷ）が所定電圧（Ｖｍａｘ）より大きい場合（Ｓ１２のＹｅｓ）、または、所定時間前から現在までの間に、ウェイト電圧（ＶＷ）が所定電圧（Ｖｍａｘ）より大きくなったことがある場合（Ｓ２１のＹｅｓ）、処理をＳ１４に進める。
Ｓ１４において、制御回路８０は、正規化をオンとする制御信号を正規化回路７８に与える。そして、制御回路８０は、Ｓ１４の後、処理をＳ１１に戻す。
このような処理を実行することにより、制御回路８０は、ウェイト電圧（ＶＷ）が、第１電圧範囲外となった場合（例えば、ウェイト電圧（ＶＷ）が所定電圧（Ｖｍａｘ）より大きくなった場合）、正規化電流（ＩＮＷ）を出力させることができる。さらに、制御回路８０は、正規化電流（ＩＮＷ）を出力させた後、所定時間前から現在までの間、ウェイト電圧（ＶＷ）が第１電圧範囲内である場合、正規化電流（ＩＮＷ）の出力を停止させることができる。
図１１は、変形例に係る複数のシナプス回路４０および後段ニューロン回路３４の接続関係を示す図である。ニューラルネットワーク装置１０は、複数のシナプス回路４０のそれぞれが有する制御回路８０に代えて、複数のシナプス回路４０に対して共通の制御回路８０を備えてもよい。
制御回路８０は、同一の後段ニューロン回路３４に対して出力信号（Ｓｏｕｔ）を出力する２以上のシナプス回路４０を共通に制御してもよい。この場合、制御回路８０は、これら２以上のシナプス回路４０のそれぞれのウェイト保持回路６０に保持されたウェイト値（Ｗ）を取得する。そして、制御回路８０は、取得した２以上のウェイト値（Ｗ）に応じて、これら２以上のシナプス回路４０のそれぞれのキャパシタ電流（Ｉｃ）から正規化電流（ＩＮＷ）を減じるか否かを切り替える。
例えば、制御回路８０は、同一の後段ニューロン回路３４に対して出力信号を出力する２以上のシナプス回路４０における全てのウェイト電圧（ＶＷ）が、第１電圧範囲内である場合、２以上のシナプス回路４０における全ての正規化回路７８から正規化電流（ＩＮＷ）を出力させない。制御回路８０は、同一の後段ニューロン回路３４に対して出力信号を出力する２以上のシナプス回路４０における、少なくとも１つのウェイト電圧（ＶＷ）が第１電圧範囲外となった場合、２以上のシナプス回路４０における全ての正規化回路７８から正規化電流（ＩＮＷ）を出力させる。
これにより、制御回路８０は、同一の後段ニューロン回路３４に接続されている２以上のシナプス回路４０に設定されている複数のウェイト値（Ｗ）の和を一定値以下にするように調整する正規化処理と、同様の処理を実行することができる。
図１２は、制御回路８０の第１の処理例を示す図である。制御回路８０は、同一の後段ニューロン回路３４に接続されている２以上のシナプス回路４０に対して、図１２に示すような流れで処理を実行する。
まず、Ｓ３１において、制御回路８０は、２以上のシナプス回路４０のそれぞれからウェイト電圧（ＶＷ）を取得する。続いて、Ｓ３２において、制御回路８０は、２以上のウェイト電圧（ＶＷ）のうちの最大のウェイト電圧（ＶＷ）を検出する。
続いて、Ｓ３３において、制御回路８０は、最大のウェイト電圧（ＶＷ）が所定電圧（Ｖｍａｘ）より大きいか否かを判断する。制御回路８０は、最大のウェイト電圧（ＶＷ）が所定電圧（Ｖｍａｘ）より大きくない場合（Ｓ３３のＮｏ）、処理をＳ３４に進める。
Ｓ３４において、制御回路８０は、正規化をオフとする制御信号を、２以上のシナプス回路４０のそれぞれの正規化回路７８に与える。正規化をオフとする制御信号を受け取った場合、２以上のシナプス回路４０のそれぞれの正規化回路７８は、正規化電流（ＩＮＷ）を出力しない。制御回路８０は、Ｓ３４の後、処理をＳ３１に戻す。
また、制御回路８０は、最大のウェイト電圧（ＶＷ）が所定電圧（Ｖｍａｘ）より大きい場合（Ｓ３３のＹｅｓ）、処理をＳ３５に進める。Ｓ３５において、制御回路８０は、正規化をオンとする制御信号を、２以上のシナプス回路４０のそれぞれの正規化回路７８に与える。正規化をオンとする制御信号を受け取った場合、２以上のシナプス回路４０のそれぞれの正規化回路７８は、正規化電流（ＩＮＷ）を出力する。
正規化電流（ＩＮＷ）が出力された場合、キャパシタ電圧（ＶＣ）の時間変化量は、正規化電流（ＩＮＷ）が出力されない場合と比較して、小さくなる。この結果、シナプス回路４０は、入力信号（Ｓｉｎ）が０から１に変化してから、出力信号（Ｓｏｕｔ）が０から１に変化するまでの遅延時間を、長くすることができる。これにより、シナプス回路４０は、ウェイト値（Ｗ）を一定値小さくした場合と同様の出力信号（Ｓｏｕｔ）を出力させることができる。つまり、シナプス回路４０は、ウェイト値（Ｗ）に対して正規化処理をした場合と同様の処理を実行することができる。
制御回路８０は、正規化をオンとする制御信号を出力した後、本フローを終了する。すなわち、制御回路８０は、正規化電流（ＩＮＷ）を出力させた後、正規化電流（ＩＮＷ）を出力させ続ける。
制御回路８０は、同一の後段ニューロン回路３４に対して出力信号を出力する２以上のシナプス回路４０における全てのウェイト電圧（ＶＷ）が、第１電圧範囲内である場合、２以上のシナプス回路４０のそれぞれの正規化回路７８から正規化電流（ＩＮＷ）を出力させないことができる。また、制御回路８０は、同一の後段ニューロン回路３４に対して出力信号を出力する２以上のシナプス回路４０における、少なくとも１つのウェイト電圧（ＶＷ）が第１電圧範囲外となった場合、２以上のシナプス回路４０のそれぞれの正規化回路７８から正規化電流（ＩＮＷ）を出力させることができる。さらに、制御回路８０は、正規化電流（ＩＮＷ）を出力させた後、２以上のシナプス回路４０における全てのウェイト電圧（ＶＷ）が第１電圧範囲内となっても、２以上のシナプス回路４０のそれぞれの正規化回路７８から正規化電流（ＩＮＷ）を出力させ続けることができる。
図１３は、制御回路８０の第２の処理例を示す図である。制御回路８０は、同一の後段ニューロン回路３４に接続されている２以上のシナプス回路４０に対して、図１３に示すような流れで処理を実行してもよい。
図１３に示す処理は、図１２に示した処理と比較して、Ｓ４１の処理が加わっている。制御回路８０は、最大のウェイト電圧（ＶＷ）が所定電圧（Ｖｍａｘ）より大きくない場合（Ｓ３３のＮｏ）、処理をＳ３４ではなく、Ｓ４１に進める。
Ｓ４１において、制御回路８０は、所定時間前から現在までの間に、最大のウェイト電圧（ＶＷ）が所定電圧（Ｖｍａｘ）より大きくなったことがあるか否かを判断する。所定時間前から現在までの間に、最大のウェイト電圧（ＶＷ）が所定電圧（Ｖｍａｘ）より大きくなったことが無い場合（Ｓ４１のＮｏ）、制御回路８０は、処理をＳ３４に進める。
そして、Ｓ３４において、制御回路８０は、正規化をオフとする制御信号を、２以上のシナプス回路４０のそれぞれの正規化回路７８に与える。正規化をオフとする制御信号を受け取った場合、正規化回路７８は、正規化電流（ＩＮＷ）を出力しない。制御回路８０は、Ｓ３４の後、処理をＳ３１に戻す。
制御回路８０は、最大のウェイト電圧（ＶＷ）が所定電圧（Ｖｍａｘ）より大きい場合（Ｓ３３のＹｅｓ）、または、所定時間前から現在までの間に、最大のウェイト電圧（ＶＷ）が所定電圧（Ｖｍａｘ）より大きくなったことがある場合（Ｓ４１のＹｅｓ）、処理をＳ３５に進める。
Ｓ３５において、制御回路８０は、正規化をオンとする制御信号を、２以上のシナプス回路４０のそれぞれの正規化回路７８に与える。そして、制御回路８０は、Ｓ３５の後、処理をＳ３１に戻す。
このような処理を実行することにより、制御回路８０は、最大のウェイト電圧（ＶＷ）が、第１電圧範囲外となった場合、２以上のシナプス回路４０のそれぞれの正規化回路７８から正規化電流（ＩＮＷ）を出力させることができる。さらに、制御回路８０は、正規化電流（ＩＮＷ）を出力させた後、所定時間前から現在までの間、２以上のシナプス回路４０における全てのウェイト電圧（ＶＷ）が第１電圧範囲内である場合、正規化電流（ＩＮＷ）の出力を停止させることができる。
以上のように、本実施形態に係るニューラルネットワーク装置１０によれば、適切に推論することができるようにニューロンの発火を調整する正規化処理を、簡易な構成で行うことができる。これにより、本実施形態に係るニューラルネットワーク装置１０によれば、精度の良い推論を実行することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
１０ ニューラルネットワーク装置
２２ レイヤ
２４ シナプス部
２６ 学習回路
３０ ニューロン回路
３２ 前段ニューロン回路
３４ 後段ニューロン回路
４０ シナプス回路
６０ ウェイト保持回路
６２ ウェイト電流回路
６４ 入力スイッチ
６６ キャパシタ
６８ 出力増幅回路
７０ 出力回路
７２ 電荷調整回路
７４ 第１定電流回路
７６ 第２定電流回路
７８ 正規化回路
８０ 制御回路
８２ 電流発生回路
８４ スイッチ回路
８６ 第１電界効果トランジスタ
８８ 第２電界効果トランジスタ
９０ 定電流源
９２ 抵抗
９４ 第３電界効果トランジスタ

Claims (13)

  1. ウェイト値が設定され、前段ニューロン回路から２値の入力信号を受け取り、後段ニューロン回路へと出力信号を出力するシナプス回路であって、
    前記ウェイト値に応じた電流値のウェイト電流を流すウェイト電流回路と、
    前記入力信号に応じて、前記ウェイト電流回路に前記ウェイト電流を流させるか否かを切り替える入力スイッチと、
    第１端子および第２端子を有し、前記第１端子に定電圧が印加されるキャパシタと、
    前記第２端子に発生するキャパシタ電圧に応じた前記出力信号を出力する出力回路と、
    前記入力スイッチにより前記ウェイト電流が流される場合、前記第２端子から前記ウェイト電流の電流値に応じたキャパシタ電流を吸い出す、または、前記キャパシタ電流を前記第２端子に供給することにより、前記キャパシタに蓄積される電荷を減少または増加させる電荷調整回路と、
    前記ウェイト値に応じて、前記キャパシタ電流から予め定められた電流値の電流を減じるか否かを切り替える制御回路と、
    予め定められた電流値の正規化電流を出力する正規化回路と、
    備え、
    前記制御回路は、前記ウェイト値に応じて、前記正規化回路から、前記キャパシタ電流から減じる前記電流として前記正規化電流を出力させるか否かを切り替え、
    前記キャパシタ電流は、
    前記入力スイッチにより前記ウェイト電流が流され、且つ、前記正規化電流が出力されない場合、前記ウェイト電流から、予め設定された一定電流を減じた電流値であり、
    前記入力スイッチにより前記ウェイト電流が流され、且つ、前記正規化電流が出力される場合、前記ウェイト電流から、前記一定電流および前記正規化電流を減じた電流値である
    シナプス回路。
  2. 前記正規化回路は、
    ダイオード接続された第１電界効果トランジスタと、
    ゲートが、前記第１電界効果トランジスタのゲートに接続された第２電界効果トランジスタと、
    前記第１電界効果トランジスタのドレイン－ソースに直列に接続され、定電流を流す定電流源と、
    前記第２電界効果トランジスタのドレイン－ソースに対して直列に接続されたスイッチ回路と、
    を有し、
    前記正規化回路は、前記第２電界効果トランジスタのドレイン－ソース間に流れる電流を前記正規化電流として出力し、
    前記制御回路は、前記スイッチ回路を導通状態または切断状態に切り替える
    請求項１に記載のシナプス回路。
  3. 前記正規化回路は、
    一方の端子が電源電位に接続された抵抗と、
    前記抵抗における前記電源電位とは異なる端子と前記ウェイト電流回路との間に接続されたスイッチ回路と、
    を有し、
    前記正規化回路は、前記抵抗に流れる電流を前記正規化電流として出力し、
    前記制御回路は、前記スイッチ回路を導通状態または切断状態に切り替える
    請求項１に記載のシナプス回路。
  4. 前記正規化回路は、
    ゲートに所定電圧が印加された第３電界効果トランジスタと、
    前記第３電界効果トランジスタのドレイン－ソースに対して直列に接続されたスイッチ回路と、
    を有し、
    前記正規化回路は、前記第３電界効果トランジスタのドレイン－ソース間に流れる電流を前記正規化電流として出力し、
    前記制御回路は、前記スイッチ回路を導通状態または切断状態に切り替える
    請求項１に記載のシナプス回路。
  5. 前記ウェイト値を記憶し、前記ウェイト値に応じた電圧値のウェイト電圧を出力するウェイト保持回路をさらに備え、
    前記ウェイト電流回路は、前記ウェイト電圧に応じた電流値の前記ウェイト電流を流す
    請求項１から４の何れか１項に記載のシナプス回路。
  6. 前記制御回路は、
    前記ウェイト電圧が、予め設定された第１電圧範囲内である場合、前記正規化回路から前記正規化電流を出力させず、
    前記ウェイト電圧が前記第１電圧範囲外となった場合、前記正規化電流を出力させる
    請求項５に記載のシナプス回路。
  7. 前記制御回路は、前記正規化電流を出力させた後、前記ウェイト電圧が前記第１電圧範囲内となっても、前記正規化電流を出力させ続ける
    請求項６に記載のシナプス回路。
  8. 前記制御回路は、前記正規化電流を出力させた後、所定時間前から現在までの間、前記ウェイト電圧が前記第１電圧範囲内である場合、前記正規化電流の出力を停止させる
    請求項６に記載のシナプス回路。
  9. それぞれが複数のニューロン回路を含む、Ｎ段（Ｎは２以上の整数）のレイヤと、
    （Ｎ－１）個のシナプス部と、
    を備え、
    前記（Ｎ－１）個のシナプス部のそれぞれは、
    それぞれに固有のウェイト値が設定された複数のシナプス回路と、
    制御回路と、
    を有し、
    前記（Ｎ－１）個のシナプス部のうちのｎ番目（ｎは、１以上、（Ｎ－１）以下の整数）のシナプス部に含まれる前記複数のシナプス回路のそれぞれは、ｎ段目のレイヤに含まれる前記複数のニューロン回路のうちの１つの前段ニューロン回路から出力された信号を２値の入力信号として受け取り、（ｎ＋１）段目のレイヤに含まれる前記複数のニューロン回路のうちの１つの後段ニューロン回路に出力信号を与え、
    前記Ｎ段のレイヤのうちの（ｎ＋１）段目のレイヤに含まれる前記複数のニューロン回路のそれぞれは、前記ｎ番目のシナプス部に含まれる何れか２以上のシナプス回路から出力された２以上の前記出力信号を受け取り、受け取った２以上の前記出力信号に基づき発火する信号を出力し、
    前記複数のシナプス回路のそれぞれは、
    前記ウェイト値に応じた電流値のウェイト電流を流すウェイト電流回路と、
    前記入力信号に応じて、前記ウェイト電流回路に前記ウェイト電流を流させるか否かを切り替える入力スイッチと、
    第１端子および第２端子を有し、前記第１端子に定電圧が印加されるキャパシタと、
    前記第２端子に発生するキャパシタ電圧に応じた前記出力信号を出力する出力回路と、
    前記入力スイッチにより前記ウェイト電流が流される場合、前記第２端子から前記ウェイト電流の電流値に応じたキャパシタ電流を吸い出す、または、前記キャパシタ電流を前記第２端子に供給することにより、前記キャパシタに蓄積される電荷を減少または増加させる電荷調整回路と、
    予め定められた電流値の正規化電流を出力する正規化回路と、
    を有し、
    前記制御回路は、前記複数のシナプス回路のそれぞれについて、前記ウェイト値に応じて、前記キャパシタ電流から予め定められた電流値の電流を減じるか否かを切り替え、
    前記制御回路は、前記複数のシナプス回路のそれぞれについて、前記ウェイト値に応じて、前記正規化回路から、前記キャパシタ電流から減じる前記電流として前記正規化電流を出力させるか否かを切り換え、
    前記キャパシタ電流は、
    前記入力スイッチにより前記ウェイト電流が流され、且つ、前記正規化電流が出力されない場合、前記ウェイト電流から、予め設定された一定電流を減じた電流値であり、
    前記入力スイッチにより前記ウェイト電流が流され、且つ、前記正規化電流が出力される場合、前記ウェイト電流から、前記一定電流および前記正規化電流を減じた電流値である
    ニューラルネットワーク装置。
  10. 前記複数のシナプス回路のそれぞれは、
    前記ウェイト値を記憶し、前記ウェイト値に応じた電圧値のウェイト電圧を出力するウェイト保持回路をさらに備え、
    前記ウェイト電流回路は、前記複数のシナプス回路のそれぞれについて、前記ウェイト電圧に応じた電流値の前記ウェイト電流を流す
    請求項９に記載のニューラルネットワーク装置。
  11. 前記制御回路は、前記複数のシナプス回路のそれぞれについて、
    前記ウェイト電圧が、予め設定された第１電圧範囲内である場合、前記正規化回路から前記正規化電流を出力させず、
    前記ウェイト電圧が前記第１電圧範囲外となった場合、前記正規化電流を出力させる
    請求項１０に記載のニューラルネットワーク装置。
  12. 前記制御回路は、同一の前記後段ニューロン回路に対して前記出力信号を出力する２以上のシナプス回路における全ての前記ウェイト電圧が、前記第１電圧範囲内である場合、前記正規化回路から前記正規化電流を出力させず、
    前記２以上のシナプス回路における、少なくとも１つの前記ウェイト電圧が前記第１電圧範囲外となった場合、前記正規化電流を出力させる
    請求項１１に記載のニューラルネットワーク装置。
  13. 前記（Ｎ－１）個のシナプス部のそれぞれに含まれる前記複数のシナプス回路に設定された前記ウェイト値を、前記前段ニューロン回路から出力された信号が発火したことに応じて、前記後段ニューロン回路から出力された信号が発火した場合、所定量増加させる学習回路をさらに備える
    請求項９から１２の何れか１項に記載のニューラルネットワーク装置。
JP2020038543A 2020-03-06 2020-03-06 シナプス回路およびニューラルネットワーク装置 Active JP7271463B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020038543A JP7271463B2 (ja) 2020-03-06 2020-03-06 シナプス回路およびニューラルネットワーク装置
US17/005,731 US20210279558A1 (en) 2020-03-06 2020-08-28 Synaptic circuit and neural network apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020038543A JP7271463B2 (ja) 2020-03-06 2020-03-06 シナプス回路およびニューラルネットワーク装置

Publications (2)

Publication Number Publication Date
JP2021140531A JP2021140531A (ja) 2021-09-16
JP7271463B2 true JP7271463B2 (ja) 2023-05-11

Family

ID=77555792

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020038543A Active JP7271463B2 (ja) 2020-03-06 2020-03-06 シナプス回路およびニューラルネットワーク装置

Country Status (2)

Country Link
US (1) US20210279558A1 (ja)
JP (1) JP7271463B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010146514A (ja) 2008-12-22 2010-07-01 Sharp Corp 情報処理装置及びこれを用いたニューラルネットワーク回路
JP2017529592A (ja) 2014-08-08 2017-10-05 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 非同期パルス変調を用いた人工ニューロンおよびスパイキングニューロン
US20190279078A1 (en) 2018-03-09 2019-09-12 Arizona Board Of Regents On Behalf Of Northern Arizona University Artificial neuron synaptic weights implemented with variable dissolvable conductive paths

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI894021A (fi) * 1988-08-31 1990-03-01 Fujitsu Ltd Neuronstruktur.
JPH05210649A (ja) * 1992-01-24 1993-08-20 Mitsubishi Electric Corp 神経回路網表現装置
JP3877862B2 (ja) * 1998-03-18 2007-02-07 独立行政法人科学技術振興機構 連続パルス遅延機能を有する軸索回路
JP3305267B2 (ja) * 1998-08-07 2002-07-22 株式会社モノリス シナプス素子、しきい値回路およびニューロン装置
JP6501146B2 (ja) * 2014-03-18 2019-04-17 パナソニックＩｐマネジメント株式会社 ニューラルネットワーク回路およびその学習方法
US20150278681A1 (en) * 2014-04-01 2015-10-01 Boise State University Memory controlled circuit system and apparatus
US11176451B2 (en) * 2018-10-12 2021-11-16 International Business Machines Corporation Capacitor based resistive processing unit with symmetric weight update

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010146514A (ja) 2008-12-22 2010-07-01 Sharp Corp 情報処理装置及びこれを用いたニューラルネットワーク回路
JP2017529592A (ja) 2014-08-08 2017-10-05 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 非同期パルス変調を用いた人工ニューロンおよびスパイキングニューロン
US20190279078A1 (en) 2018-03-09 2019-09-12 Arizona Board Of Regents On Behalf Of Northern Arizona University Artificial neuron synaptic weights implemented with variable dissolvable conductive paths

Also Published As

Publication number Publication date
JP2021140531A (ja) 2021-09-16
US20210279558A1 (en) 2021-09-09

Similar Documents

Publication Publication Date Title
US8975935B1 (en) Analog pulse delay circuit with multiple output potential
JP7132196B2 (ja) 処理装置および推論システム
EP2725694B1 (en) System and method for generating a regulated boosted voltage using a controlled variable number of charge pump circuits
US7747668B2 (en) Product-sum operation circuit and method
US11100397B2 (en) Method and apparatus for training memristive learning systems
JP6926037B2 (ja) シナプス回路、演算装置およびニューラルネットワーク装置
US11308390B2 (en) Methods and systems of neuron leaky integrate and fire circuits
US11055612B2 (en) Voltage controlled highly linear resistive elements
US20210294573A1 (en) Multiply-accumulate operation device, multiply-accumulate operation circuit, multiply-accumulate operation system, and multiply-accumulate operation method
US5666080A (en) Computational circuit
JP7271463B2 (ja) シナプス回路およびニューラルネットワーク装置
WO2020017444A1 (ja) 演算装置、積和演算装置、積和演算システム、及び積和演算方法
JP2020154412A (ja) ニューラルネットワーク装置
JP7447034B2 (ja) シナプス回路およびニューラルネットワーク装置
US20220083845A1 (en) Arithmetic device and neural network device
Khalid et al. Memristor crossbar-based pattern recognition circuit using perceptron learning rule
JPH0628504A (ja) ニューラル・ネットワーク
KR0178805B1 (ko) 스스로 학습이 가능한 다층 신경회로망 및 학습 방법
JP7358312B2 (ja) 記憶装置およびニューラルネットワーク装置
KR102543232B1 (ko) 아날로그 디지털 변환기 및 아날로그 디지털 변환기의 동작 방법
Hansen et al. A time-multiplexed switched-capacitor circuit for neural network applications
JP7482071B2 (ja) 記憶装置およびニューラルネットワーク装置
US6362662B1 (en) Analog W.T.A. circuit reject signal
US20230289579A1 (en) Neural network apparatus
US11782680B2 (en) Arithmetic logic unit, multiply-accumulate operation device, multiply-accumulate operation circuit, and multiply-accumulate operation system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230426

R151 Written notification of patent or utility model registration

Ref document number: 7271463

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151