JP5289647B1 - ニューラルネットワーク回路の学習方法 - Google Patents

ニューラルネットワーク回路の学習方法 Download PDF

Info

Publication number
JP5289647B1
JP5289647B1 JP2013513467A JP2013513467A JP5289647B1 JP 5289647 B1 JP5289647 B1 JP 5289647B1 JP 2013513467 A JP2013513467 A JP 2013513467A JP 2013513467 A JP2013513467 A JP 2013513467A JP 5289647 B1 JP5289647 B1 JP 5289647B1
Authority
JP
Japan
Prior art keywords
circuit
input
neural network
electrode
pulse voltage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013513467A
Other languages
English (en)
Other versions
JPWO2013111200A1 (ja
Inventor
雄 西谷
幸広 金子
路人 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2013513467A priority Critical patent/JP5289647B1/ja
Application granted granted Critical
Publication of JP5289647B1 publication Critical patent/JP5289647B1/ja
Publication of JPWO2013111200A1 publication Critical patent/JPWO2013111200A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Semiconductor Memories (AREA)
  • Feedback Control In General (AREA)

Abstract

パルスタイミングによる学習動作をより少ない数の素子の構成で実現することができるニューラルネットワーク回路の学習方法を提供する。シナプス回路(20)は、可変抵抗素子(10)を具備し、ニューロン回路(30)は、双極性ノコギリ形パルス電圧またはメキシカンハット形パルス電圧（以下、所定のパルス電圧）を発生させる波形発生回路(32)を備え、第１入力信号（他のニューラルネットワーク回路素子(40)の出力信号）が所定のパルス電圧波形を有するように構成され、可変抵抗素子(10)と同じニューラルネットワーク回路素子(40)内で生成された所定のパルス電圧波形の時間的な中間点を中間点とし、その中間点を基準として前後に所定の時間幅を有する期間（以下、入力許容期間）、可変抵抗素子(10)の制御電極(15)に、第１入力信号を入力可能とすることで、入力許容期間に対する第１入力信号の入力タイミングに依存して生じる第１電極(13)と制御電極(15)との間の電位差によって、可変抵抗素子(10)の抵抗値を変化させる。

Description

本発明は、ニューラルネットワーク回路の学習方法に関する。
現在、コンピュータの発展は目覚しく、日常の様々な場面で利用されている。しかし、これまでのコンピュータの処理能力の発展は部品の微細化とアルゴリズムの進化によって達成されたものであり、基本的な情報処理の原理は変化していない。一方で、これらのコンピュータは、その処理方式の特性のため、人が容易に行うことができる動作を非常に不得意としている。例えば、リアルタイムでの顔認識や、空間構造の把握などが挙げられる。こういった処理能力は、最新のアルゴリズムと最大規模のコンピュータを用いても人間の処理速度に及ばない。
これに対して、生体の脳の情報処理方式を模倣したコンピュータの研究が行われている。この処理モデルの最も基本となるものがニューラルネットワーク（neural network）である。
ニューラルネットワークは生体の神経回路網を模したものである。ここで、生体の神経細胞では、ほぼ一定形状のパルス（スパイクパルス）をやり取りしていることがわかっている。そこで、ニューラルネットワークを実現するニューラルネットワーク回路として、生体の神経回路をより忠実に真似て、パルスを直接扱うモデルが提案されている。例えば、特許文献１には、パルス密度を用いて情報を表現するモデル（パルス密度モデル）が開示されている。このモデルは、例えばある一定時間に伝播されるパルスの数を用いてアナログ情報を表現するモデルである。また、特許文献２にはパルスタイミングを用いて情報を表現するモデル（パルスタイミングモデル）が開示されている。このモデルは、パルスとパルスの時間的間隔とを用いてアナログ情報を表現するモデルである。これらパルス信号を扱うモデルでは、ニューロン（neuron）間でやり取りする信号が一定波形の信号であるため、ハードウェア化が容易であるという利点がある。しかし、特許文献１のようなパルス密度モデルでは密度を抽出する必要があるため、情報を表現するために一定の時間を要する。そのため、ニューロンの細かい時間スケールでの振る舞いを表現することはできないという欠点がある。一方、特許文献２のようなパルスタイミングモデルは、１つ１つのパルスによって情報を表現できるため、パルス密度モデルよりも高速な情報処理が可能である。例えば、非特許文献１には、パルスタイミングモデルを用いることで、パルス密度モデルを用いた場合よりも高い性能が得られることが開示されている。
特開平７−１１４５２４号公報 特開２０１０−１４６５１４号公報
Ｗ． Ｍａａｓｓ、"Ｎｅｔｗｏｒｋｓ ｏｆ Ｓｐｉｋｉｎｇ Ｎｅｕｒｏｎｓ： Ｔｈｅ Ｔｈｉｒｄ Ｇｅｎｅｒａｔｉｏｎ ｏｆ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｍｏｄｅｌｓ、" Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、 ｖｏｌ． １０、 ｎｏ． ９、 ｐｐ． １６５９−１６７１、 １９９７．
しかしながら、特許文献２のようなパルスタイミングモデルを実現するニューラルネットワーク回路では、ニューラルネットワーク回路全体の回路面積が大きくなるという課題を有していた。
本発明の目的は、パルスタイミングによる学習動作をより少ない数の素子の構成で実現することができるニューラルネットワーク回路の学習方法およびニューラルネットワーク回路を提供することである。
上記課題を解決するための一の態様に係るニューラルネットワーク回路の学習方法は、複数のニューラルネットワーク回路素子（４０）が接続されて構成されるニューラルネットワーク回路の学習方法であって、前記複数のニューラルネットワーク回路素子（４０）のそれぞれは、他のニューラルネットワーク回路素子（４０）の出力信号（以下、第１入力信号）が入力される少なくとも１つのシナプス回路（２０）と、前記少なくとも１つのシナプス回路（２０）の出力信号が入力される１つのニューロン回路（３０）と、を具備し、前記シナプス回路（２０）は、半導体膜（１１）上に形成された第１電極（１３）および第２電極（１４）と、前記半導体膜（１１）の主面に強誘電体膜（１２）を介して形成された制御電極（１５）とを備え、前記第１電極（１３）と前記制御電極（１５）との間の電位差に応じて前記第１電極（１３）と前記第２電極（１４）との間の抵抗値が変化する可変抵抗素子（１０）を具備し、前記ニューロン回路（３０）は、双極性ノコギリ形パルス電圧またはメキシカンハット形パルス電圧（以下、所定のパルス電圧）を発生させる波形発生回路（３２）を備え、前記第１入力信号が前記所定のパルス電圧波形を有するように構成され、前記可変抵抗素子（１０）と同じニューラルネットワーク回路素子（４０）内で生成された前記所定のパルス電圧波形の時間的な中間点を中間点とし、その中間点を基準として前後に所定の時間幅を有する期間（以下、入力許容期間）、前記可変抵抗素子（１０）の前記制御電極（１５）に、前記第１入力信号を入力可能とすることで、前記入力許容期間に対する前記第１入力信号の入力タイミングに依存して生じる前記第１電極（１３）と前記制御電極（１５）との間の電位差によって、前記可変抵抗素子（１０）の抵抗値を変化させるものである。
本発明の上記目的、他の目的、特徴、及び利点は、添付図面参照の下、以下の好適な実施態様の詳細な説明から明らかにされる。
本発明によれば、パルスタイミングによる学習動作をより少ない数の素子の構成で実現することができる。
図１は、実施の形態における、ニューラルネットワーク回路素子のブロック図を示す。 図２Ａは、実施の形態における、第１入力信号電圧および第３入力信号電圧に用いる双極性ノコギリ形パルス電圧の形状を示す。 図２Ｂは、実施の形態における、第１入力電圧および第３入力電圧に用いるメキシカンハット形パルス電圧の形状を示す。 図２Ｃは、実施の形態における、第２入力電圧に用いる方形波パルス電圧の形状を示す。 図３は、実施の形態における、第１スイッチにおいて、図２Ａに示す双極性ノコギリ形パルス電圧ＶＰＲＥの導通と非導通を、図２Ｃに示す方形波パルス電圧ＶＰＯＳＴ２を用いて、スイッチする動作を示す。 図４は、実施の形態における、第１スイッチにおいて、図２Ｂに示すメキシカンハット形パルス電圧ＶＰＲＥの導通と非導通を、図２Ｃに示す方形波パルス電圧ＶＰＯＳＴ２を用いて、スイッチする動作を示す。 図５Ａは、実施の形態における、可変抵抗素子の断面図を示す。 図５Ｂは、実施の形態における、可変抵抗素子の回路記号を示す。 図６は、実施例における、ＳＴＤＰの評価回路を示す。 図７Ａは、実施例１における、第１入力信号電圧に用いる双極性ノコギリ形パルス電圧の形状を示す。 図７Ｂは、実施例１における、第２入力電圧に用いる方形波パルス電圧の形状を示す。 図７Ｃは、実施例１における、非対称型ＳＴＤＰを示す。 図８は、実施例１における、積分動作の評価に用いた回路を示す。 図９は、実施例１における、非対称型ＳＴＤＰを示す。 図１０Ａは、実施例２における、第１入力信号電圧に用いるメキシカンハット形パルス電圧の形状を示す。 図１０Ｂは、実施例２における、第２入力電圧に用いる方形波パルス電圧の形状を示す。 図１０Ｃは、実施例２における、対称型ＳＴＤＰを示す。 図１１Ａは、階層型ニューラルネットワークを説明するための概略図を示す。 図１１Ｂは、相互結合型ニューラルネットワークを説明するための概略図を示す。 図１２は、一般的なニューロンの動作を説明するための概略図を示す。 図１３は、積分発火型ニューロンの動作を説明するための概略図を示す。 図１４Ａは、ＳＴＤＰを説明するための概略図を示す。 図１４Ｂは、非対称型ＳＴＤＰの特徴を示す概略図を示す。 図１４Ｃは、対称型ＳＴＤＰを示す概略図を示す。 図１５は、特許文献２に開示された、抵抗変化形メモリ素子の断面図を示す。 図１６Ａは、特許文献２に開示された、従来のＳＴＤＰニューラルネットワーク回路素子を示すブロック図を示す。 図１６Ｂは、特許文献２に開示された、従来のシナプス回路のＳＴＤＰ部を示すブロック図を示す。 図１６Ｃは、特許文献２に開示された、従来のシナプス回路のＳＴＤＰ部を示すブロック図を示す。 図１７は、実施の形態における、信号発生回路を示す。
［ニューラルネットワークの説明］
まず、本発明の実施の形態の前提となるニューラルネットワークおよびこれを実現するための従来におけるニューラルネットワーク回路の課題についてより詳しく説明する。ニューラルネットワークは生体の神経回路網を模したものである。ニューラルネットワークは、神経回路網における機能単位である神経細胞を模したニューロンを機能単位とし、複数のニューロンをネットワーク状に配置して情報処理を行う。例えば、図１１Ａに示すようにニューロン１００を階層状に接続した階層型ニューラルネットワークや、図１１Ｂに示すようにニューロン１００同士を相互に接続した相互結合型ニューラルネットワーク（ホップフィールドネットワーク）がある。
ニューラルネットワークは、大きく２つの機能を有する。１つ目は、入力から出力を得る「処理」機能であり、２つ目は、ニューラルネットワーク全体の入出力の関係を所望のものに設定する「学習」機能である。
[処理機能］
ここでは階層型ニューラルネットワーク回路を例に、情報処理の動作について説明する。図１１Ａに示した階層型ニューラルネットワークは、入力層４００、中間層５００、出力層６００の３つの層を備えている。各層には少なくとも１つのニューロン１００が含まれる。入力層４００は中間層５００の各ニューロン１００と接続され、同様に、中間層５００の各ニューロン１００は出力層の各ニューロン１００と接続されている。入力信号２００は入力層４００へ入力され、中間層５００、出力層６００と順に伝播し、出力層６００から出力される。ニューロン１００では、入力値に対して後述する所定の演算が行われ、その出力値を次の層のニューロンへ伝播する。従って、出力層６００からの出力値が、ネットワークの最終出力３００となる。この一連の動作がニューラルネットワークの情報処理であり、中間層５００に含まれるニューロンを十分多くとると、任意の入出力が実現される。図１１Ａに示した階層型ニューラルネットワークは３つの層を備えているが、中間層500を複数備えることもできる。
続いて、ニューラルネットワークの構成単位であるニューロンについて説明する。図１２は、ニューロンの模式図である。ニューロン１００は、シナプス（synapse）部１２１、１２２とニューロン部１３０を備えている。なお、シナプス部の数は前段に接続されたニューロンの数、つまり入力信号の数に等しい。シナプス部１２１、１２２は外部からの複数の入力信号１１１、１１２それぞれに対して重み付けを行う。重み付けの値（ｗ１、ｗ２）を結合荷重と呼ぶ。ニューロン部１３０は、シナプス部によって重み付けされた入力信号の和を計算し、和の値を非線形演算した値を出力する。ここで、外部からの入力信号をそれぞれｘｉ（１、２、・・・、ｎ）と表すとする。ｎは入力信号の数に等しい。式１に示すように、シナプス部は各入力信号に対して、対応する結合荷重の値ｗｉ（１、２、・・・、ｎ）を乗算し、ニューロン部はそれらの和Ｖｎを計算する。
Ｖｎ＝Σｗｉｘｉ （式１）
ここで、Σはｉについての和記号である。
さらにニューロン部は、求めた和Ｖｎに対して非線形演算ｆを行った結果を出力値ｙとする。従ってニューロンの出力ｙは式２のように表される。
ｙ＝ｆ（Ｖｎ） （式２）
非線形関数ｆには、飽和特性を持つ単調増加関数が用いられる。例えば、ステップ関数（階段関数）やシグモイド関数（sigmoid function）が用いられることが多い。
ニューラルネットワークは、複数のニューロンが同時に演算を行うことができるため、並列処理性を持つ。つまり、従来型コンピュータの逐次情報処理とは異なり、並列情報処理が可能であることが特長である。
［学習機能］
ニューラルネットワークの重要な特徴は、上述したように入力から出力を得る「処理」機能だけでなく、「学習」機能を備えている点である。ここで述べる学習とは、上述したシナプスの結合荷重を更新することで、ニューラルネットワーク全体の入出力の関係を所望のものに設定することである。
［パルスニューロンモデル］
ここまでニューラルネットワークの処理機能と学習機能について詳述してきた。これまでの説明に用いたモデルにおいては、ニューロン間で伝播する信号は、電流や電位の値をアナログ値で表現したものであった。これに対して、生体の神経細胞では、ほぼ一定形状のパルス（スパイクパルス）をやり取りしていることがわかっている。そこで、生体の神経回路をより忠実に真似て、パルスを直接扱うモデルが提案されている。例えば、特許文献１には、パルス密度を用いて情報を表現するモデル（パルス密度モデル）が開示されている。このモデルは、例えばある一定時間に伝播されるパルスの数を用いてアナログ情報を表現するモデルである。また、特許文献２にはパルスタイミングを用いて情報を表現するモデル（パルスタイミングモデル）が開示されている。このモデルは、パルスとパルスの時間的間隔を用いてアナログ情報を表現するモデルである。これらパルス信号を扱うモデルでは、ニューロン間でやり取りする信号が一定波形の信号であるため、後述するハードウェア化が容易であるという利点がある。しかし、パルス密度モデルでは密度を抽出する必要があるため、情報を表現するために一定の時間を要する。そのためニューロンの細かい時間スケールでの振る舞いを表現することはできないという欠点がある。一方、パルスタイミングモデルは、１つ１つのパルスによって情報を表現できるため、パルス密度モデルよりも高速な情報処理が可能である。例えば、非特許文献１には、パルスタイミングモデルを用いることで、パルス密度モデルを用いた場合よりも高い性能が得られることが開示されている。
上述のような、パルスを用いた情報表現に適用できるニューロンの動作モデルとして、積分発火モデルが提案されている。ここでは、２つの入力端子を有するニューロンの積分発火動作について、図１３を用いて説明する。
図１３に示すように、外部もしくは他のニューロンから、シナプス１に入力パルスｘ１が入力され、シナプス２に入力パルスｘ２が入力されると、パルスが入力されたタイミングで、それぞれのシナプス部において単峰性の電圧変化が現れる。このようなシナプス部の電位をシナプス後電位（Post-synaptic potential、以下、「ＰＳＰ」と略記する）と呼ぶ。図１３にシナプス１およびシナプス２でのＰＳＰの時間変化Ｐ１（ｔ）とＰ２（ｔ）を示す。ＰＳＰの高さはシナプス結合強度に比例する。ここでｔは時間を表す。
ニューロンは、接続しているすべてのシナプスからのＰＳＰの総和を演算する。これを、ニューロンの内部電位Ｖｎ（ｔ）と呼ぶ。ニューロンへの入力端子が２つの場合、図１３に示すように、内部電位Ｖｎ（ｔ）はＰ１（ｔ）とＰ２（ｔ）の和となる。一般的に表すと、内部電位Ｖｎ（ｔ）は式３のように表される。
Ｖｎ（ｔ）＝ΣＰｉ（ｔ） （式３）
ここで、ＰｉはシナプスｉでのＰＳＰであり、Σはｉについての和記号である。
図１３に示すように、内部電位Ｖnがあらかじめ定められた閾値Ｖｔｈを越えると、そのニューロンはパルス信号ｙを出力する。これをニューロンの「発火」と呼ぶ。パルス出力ｙはニューロンから出力され、一定の伝達時間ｔＤｅｌａｙを経た後に、他のニューロンに入力される。
パルスタイミングによる情報表現を用いる場合、学習動作におけるシナプス結合荷重の更新においてもパルスタイミングを利用することができる。特に、スパイクタイミングシナプス可塑性（Spike-timing dependent synaptic plasticity、以下では「ＳＴＤＰ」と略記する）と呼ばれる性質を用いた学習動作が注目を浴びている。STDPとは、あるシナプス１に着目したとき、シナプス１に信号を送るニューロン(前ニューロン)が発火するタイミングと、シナプス１に重み付けされた信号を受け取るニューロン(後ニューロン)が発火するタイミングに依存して、シナプス１のシナプス結合荷重が変化する特徴である。実際の生物の神経細胞においても、いくつかの種類のＳＴＤＰが観測されている。
ここで図１４Ａを用いて、ＳＴＤＰについて説明する。図１４Ａに示すように、シナプス１２０に接続された前ニューロンが発火するタイミングをｔＰＲＥとし、後ニューロン発火するタイミングをｔＰＯＳＴとする。ＳＴＤＰとは、このときのｔＰＲＥとｔＰＯＳＴとの時間差ｔＰＯＳＴ−ｔＰＲＥを関数として、シナプスの結合強度ｗが変化する特性のことである。ＳＴＤＰには大きく分けて、２種類のものが知られている。図１４Ｂに示した特性が非対称型ＳＴＤＰであり、シナプス結合強度の変化量Δｗが２つのパルスの時間差ｔＰＯＳＴ−ｔＰＲＥに加えて、両パルスの時間順序にも依存する。図１４Ｃに示した特性が対称型ＳＴＤＰであり、シナプス結合強度の変化量Δｗが２つのパルスの時間差ｔＰＯＳＴ−ｔＰＲＥだけの関数で決まり、パルスの順番に依存しない。
［集積回路化］
ここまででニューラルネットワークの概要について詳述したが、ニューラルネットワークを構成するにあたっては、上述したニューロンの機能をどのようにして実現するかが問題となる。これまで、従来型コンピュータを用い、ソフトウェア処理にてニューロンの機能を実現する手法を用いることが多かった。しかし、この場合、複数のニューロンにおける処理をＣＰＵが時分割で実行することになるため、本来の並列情報処理がなされない。
そのため、ハードウェアを用いてニューロンを構成し集積回路化することが必須である。
上述のように、パルスタイミングによる情報表現に基づくニューラルネットワークは高い性能を実現できることが示唆されている。また、ニューロン間でやり取りする信号が一定波形の信号であるため、ハードウェア化が容易である。そのため、近年ではＳＴＤＰを用いた学習機能を実装したニューラルネットワークのハードウェア化、すなわちニューラルネットワーク回路の実現に関する研究が盛んである。ＳＴＤＰを用いた学習機能を含む従来のニューラルネットワーク回路においては、シナプス結合強度をアナログ量として記憶することに適した素子を実現することが最大の課題である。これについて、例えば特許文献２では、可変抵抗型メモリ素子の可変抵抗値をシナプス結合荷重として記憶させる手法が開示されている。図１５は特許文献２に開示された可変抵抗型メモリ素子７２０の断面模式図である。可変抵抗型メモリ素子７２０は金属酸化膜７２２を上部電極７２１と下部電極７２３で挟んだ構造を有する。上部電極７２１と下部電極７２３との間に電圧を印加すると、流した電流値に依存して上部電極７２１と下部電極７２３との間の抵抗値が不揮発に変化する素子である。
図１６Ａは特許文献２に開示された従来のＳＴＤＰニューラルネットワーク回路素子のブロック図である。ここで、ニューラルネットワーク回路素子とは、ニューラルネットワークの機能単位であるニューロンをハードウェアで再現したものである。ニューラルネットワーク回路素子７００は、複数のシナプス回路７１０と、１つのニューロン回路７３０と、を備えている。シナプス回路７１０は、可変抵抗型メモリ素子７２０を用いてシナプス結合荷重を記憶している。また、上述した手法で、可変抵抗型メモリ素子７２０の抵抗値を変更することによって、学習機能を実現している。図１６Ｂおよび図１６Ｃは、図１６Ａ中に示されたＳＴＤＰ部の具体的な構成について、特許文献２に例示された回路図である。
図１１Ａおよび図１１Ｂからわかるように、ニューラルネットワーク回路を構成するには、１つのニューロン回路に対して複数の入力端子が必要となる。また、ニューラルネットワーク回路全体のニューラルネットワーク回路素子の数が増えるに従って、１つのニューロン回路に対して必要となる入力端子の数は増加する。１つのニューロン回路に対して、入力端子の数と同数のシナプス回路が必要となる。そのため多数のニューラルネットワーク回路素子からなるニューラルネットワーク回路を構成すると、非常に多くのシナプス回路が必要となる。例えば、図１１Ｂに示した相互結合型ニューラルネットワークでは、ニューロンの数をｎとしたときに必要なシナプスの数はｎの２乗となる。従って、ニューラルネットワーク回路をより小面積化するにはシナプス回路の構成を簡略化することが重要である。
従来のニューラルネットワーク回路素子７００では、ニューロン回路７３０へ伝播させる信号および、ＳＴＤＰによって抵抗変化型メモリ素子７２０のシナプス荷重を更新するための信号を、シナプス回路７１０の中で生成している。例えば、図１６Ａ中のパルス発生部やＳＴＤＰ部で波形を生成している。そのため、シナプス回路内に図１６Ｂおよび図１６Ｃに示すような信号発生器や演算回路が必要となり、シナプス回路７１０の構成が大規模なものとなってしまっていた。
以上の点から、従来のシナプス回路７１０およびその駆動法では、シナプス回７１０の面積が極めて大きくなるという課題を有しており、これを用いたニューラルネットワーク回路も大規模になっていた。
上記従来の課題に対して、本発明の発明者らは、鋭意研究の末、ＳＴＤＰによる学習動作をより少ない数の素子の構成で実現することができるニューラルネットワーク回路の学習方法およびニューラルネットワーク回路として、以下のような態様を想到するに至った。
本発明の発明者らは、従来のニューラルネットワーク回路素子７００において、シナプス回路７１０内でシナプス荷重を更新するための非線形波形を生成しているのは、シナプス回路７３０に入力される他のニューラルネットワーク回路素子からの信号（ここでは他の入力信号と称する）がスパイクパルスそのもの（図１１における入力パルスｘ１）であることに起因するものであることに着目した。つまり、従来の構成においては、他の入力信号がスパイクパルスであることにより、入力された当該シナプス回路７１０と同じニューラルネットワーク回路素子７００で生成されたスパイクパルス（ここでは自己の入力信号と称する）と比較するために、他の入力信号をトリガとして当該シナプス回路７１０で非線形波形を新たに生じさせる必要性が生じていた。
そこで、本発明の発明者らは、ニューラルネットワーク回路素子の出力信号自体を非線形波形とすることで他の入力信号をニューラルネットワーク回路素子のシナプス回路が受信してから非線形波形に変換する必要性をなくすことができるという知見を得た。さらに、非線形波形同士を比較する際に、入力タイミング差を有効に検出するために、当該非線形波形として、後述する双極性ノコギリ形波形（bipolar sawtooth waveform）またはメキシカンハット形波形（mexican-hat waveform）が好適に採用できるという知見を得るに至った。
以下、本発明の実施の形態によるニューラルネットワーク回路の学習方法を、図面を参照しながら説明する。
（実施の形態）
図１は、実施の形態によるニューラルネットワーク回路素子４０のブロック図を示す。１つのニューラルネットワーク回路素子４０は少なくとも１つの入力端子５１と、入力端子５１の数と同数のシナプス回路２０と、１つのニューロン回路３０と、１つの出力端子５２と、を備えている。また、ニューラルネットワーク回路は、図１１Ａ、図１１Ｂに示すように、複数のニューラルネットワーク回路素子４０が接続されることで構成される。具体的には、ニューラルネットワーク回路素子４０の出力端子５２は、他のニューラルネットワーク回路素子４０の入力端子５１に接続される。
ニューラルネットワーク回路素子４０の入力端子５１は、シナプス回路２０の第１入力端子４１に接続されている。シナプス回路２０の出力端子４４は、ニューロン回路３０の入力端子４５に接続されている。ニューロン回路３０の第１出力端子４６は、ニューラルネットワーク回路素子４０の出力端子５２に接続されている。なお、図１では、図面の見易さのため、１つのニューロン回路３０および１つのシナプス回路２０のみが記載されているが、実際には、１つのニューロン回路３０に対して複数のシナプス回路２０が接続される。
ニューロン回路３０は、積分回路３１と、波形発生回路３２と、遅延回路３３と、を備える。
ニューロン回路３０の入力端子４４は、積分回路３１に接続されている。積分回路３１は、ニューロン回路３０に接続されている複数のシナプス回路２０から流れ込む電流の和を演算する。そして、演算値が所定の値を超えたときに、波形発生回路３２へ信号（トリガ信号）を出力する。
信号発生回路３２は、積分回路３１からの信号をトリガとして、非線形波形パルス電圧ＶＰＯＳＴ１およびスイッチングパルス電圧ＶＰＯＳＴ２を生成する。非線形波形パルス電圧ＶＰＯＳＴ１は、例えば、図２Ａや図２Ｂに示した形状、またはそれらを符号反転させた形状である。ここで図２Ａに示した非線形波形パルス電圧を「双極性ノコギリ形パルス電圧」と呼ぶこととする。双極性ノコギリ形パルス電圧の特徴は、初めは０ボルトである電位が、時間経過と共に所定の負の電位まで低下し、その後、所定の正の電位まで上昇した後に、再び０ボルトに戻ることである。一方、図２Ｂに示した非線形波形パルス電圧を「メキシカンハット形パルス電圧」と呼ぶこととする。メキシカンハット形パルス電圧の場合は、初めは０ボルトである電位が、時間経過と共に所定の負の電位まで低下した後、所定の正の電位まで上昇する。その後、電位は、所定の負の値まで低下した後、再び０ボルトに戻る。スイッチングパルス電圧ＶＰＯＳＴ２には、例えば図２Ｃに示した方形波パルス電圧が用いられ得る。
例えば、信号発生回路３２は、図１７に示すように、積分回路３１からの出力信号をトリガとして駆動するデジタル／アナログコンバータ３２１と、双極性ノコギリ形パルス電圧またはメキシカンハット形パルス電圧を生成するためのデジタル波形データが記憶されたデジタルメモリ３２２とを備えている。デジタル／アナログコンバータ３２１は、積分回路３１からの出力信号が入力されると、デジタルメモリ３２２からデジタル波形データを読み出し、これをアナログ波形に変換して出力する。
非線形波形パルス電圧ＶＰＯＳＴ１は、遅延回路３２によって所定の遅延時間を経過した後、第１出力端子４５に出力される。ニューロン回路３０の第１出力端子４５は、ニューラルネットワーク回路素子４０の出力端子５２に接続されているので、遅延回路３３の出力信号がニューラルネットワーク回路素子４０の出力信号となる。そして、この出力信号が他のニューラルネットワーク回路素子（図示省略）におけるシナプス回路の第１入力端子に第１入力信号電圧（すなわち、非線形波形パルス電圧ＶＰＲＥ）として入力されることとなる。スイッチングパルス電圧ＶＰＯＳＴ２は、ニューロン回路３０の第２出力端子４６に出力される。第２出力端子４６は、ニューロン回路３０に接続された、すべてのシナプス回路２０の第２入力端子４２に接続され、第２入力信号電圧６０として入力される。
シナプス回路２０は、第１スイッチ２２と、第２スイッチ２１と、後述する可変抵抗素子１０と、所定の直流電圧源２３と、を備える。シナプス回路２０の第１入力端子４１は、第１スイッチ２２の入力端子２６に接続されている。シナプス回路２０の第２入力端子４２は、第１スイッチの制御端子２８に接続されている。
第１スイッチ２２の出力端子２７は、可変抵抗素子１０の制御電極１５に接続されている。シナプス回路２０の出力端子４３は、可変抵抗素子１０の第２電極１４に接続されている。シナプス回路２０の出力端子４３は、ニューロン回路３０の入力端子４４に接続されている。シナプス回路２０の第１入力信号電圧６０は、他のニューラルネットワーク回路素子（図示省略）からの非線形波形パルス電圧ＶＰＲＥである。またシナプス回路２０の第２入力端子４２への第２入力信号電圧７０は、同じニューラルネットワーク回路素子４０内のニューロン回路３０の波形生成回路３２が生成したスイッチングパルス電圧ＶＰＯＳＴ２である。
ここで、本実施の形態のニューラルネットワーク回路素子４０の構成において重要な点は、波形生成はすべてニューロン回路３０で行い、生成した非線形波形パルス電圧ＶＰＯＳＴ１（他のニューラルネットワーク回路素子４０に入力される非線形波形パルス電圧ＶＰＲＥとなる）とスイッチングパルス電圧ＶＰＯＳＴ２を用いて処理および学習動作を行うことである。これによってシナプス回路２０を簡略化することができる。
次に、可変抵抗素子１０について説明する。図５Ａおよび図５Ｂは、それぞれ、可変抵抗素子１０の断面模式図および回路記号を示す。可変抵抗素子１０は、半導体膜１１、強誘電体膜１２、第１電極１３、第２電極１４および制御電極１５を具備する。Ｚ軸は強誘電体膜１２の法線方向である。Ｘ軸はＺ軸に直交する方向である。また、可変抵抗素子１０の回路記号を図５Ｂのように表記することとする。図１には、図５Ｂの表記に基づいて当該可変抵抗素子１０が組み込まれたニューラルネットワーク回路素子４０が示されている。
半導体膜１１の材料の例は、ＺｎＯ、ＧａＮ、またはＩｎＧａＺｎＯである。強誘電体膜１２の材料の例は、Ｐｂ（Ｚｒ、Ｔｉ）Ｏ３、Ｓｒ（Ｂｉ，Ｔａ）Ｏ、またはＢｉ１２ＴｉＯ２０である。第１電極１３、第２電極１４および制御電極１５の例は、白金膜およびチタン膜から構成される積層体である。
半導体膜１１、強誘電体膜１２および制御電極１５はＺ軸に沿って積層されている。半導体膜１１の表側の面に、第１電極１３および第２電極１４が配置されている。
次に、本実施の形態における、可変抵抗素子１０の可変抵抗値について、図５Aを用いて説明する。可変抵抗素子１０の可変抵抗値とは、第１電極１３と第２電極１４との間の抵抗値である。強誘電体膜１２の一部分が上方向の分極方向を有する場合、当該一部分の上に積層している半導体膜１１の部分は低い抵抗を有する。一方、強誘電体膜１２の一部分が下方向の分極方向を有する場合、当該一部分の上に積層している半導体層１１の部分は高い抵抗を有する。このとき、第１電極１３と第２電極１４との間の抵抗値は、第１電極１３と第２電極１４とに挟まれた領域の半導体の抵抗値となる。従って、当該領域の下に積層されている強誘電体膜１２のうち上方向と下方向の分極方向を有する領域の割合によって、第１電極１３と第２電極１４との間の抵抗値は連続的に変化する。
次に、本実施の形態による可変抵抗素子１０の抵抗値の制御方法について、図５Ａを用いて説明する。可変抵抗素子１０では、第１電極１３および第２電極１４と制御電極１５との間に電位差を設けることで、強誘電体膜１２の分極方向を変化させ、第１電極１３と第２電極１４との間の抵抗値が制御される。例えば、第１電極１３および第２電極１４を基準として、両電極と制御電極１５との間に正の電位差を設けると、強誘電体膜１２の分極による電場の向きが上方向（半導体膜１１側）に向きやすくなる。反対に、負の電位差を設けると、強誘電体膜１２の分極による電場の向きが下方向（制御電極１５側）に向きやすくなる。また、与える電位差の絶対値が大きいほど、電位差による強誘電体膜１２の分極の変化量が大きくなる。したがって、正の電位差を設けると第１電極１３と第２電極１４との間の抵抗値は減少し、負の電位差を設けると第１電極１３と第２電極１４との間の抵抗値は増加し、それら抵抗値の変化は与えた電位差の絶対値が大きいほど顕著になる。ここで、上方向とは半導体膜１１が積層されている方向であり、下方向とは制御電極１５が積層されている方向を意味している。
次にニューラルネットワーク回路素子４０の動作の詳細について説明する。
まず、処理動作について説明する。
「処理」動作の間は、シナプス回路の第２入力信号電圧７０によって、第１スイッチ２２は、可変抵抗素子１０の制御電極１５と、シナプス回路２０の第１入力端子４１と、の間が非導通である状態を保つ。
また、第２スイッチ２１は、第１入力信号である非線形波形パルス電圧ＶＰＲＥがシナプス回路２０に入力されている間、直流電圧源（第１基準電圧源）２３と可変抵抗素子１０の第１電極１３とを接続する。すなわち、他のニューラルネットワーク回路素子（図示省略）から、非線形波形パルス電圧ＶＰＲＥが第１入力信号電圧６０としてシナプス回路２０へ入力されると、その非線形波形パルス電圧ＶＰＲＥによって第２スイッチ２１が開閉される。例えば第２スイッチ２１は、非線形波形パルス電圧ＶＰＲＥが所定の電圧以上となるＨＩレベルの期間に閉状態となり、それ以外の期間に開状態となる。また、シナプス回路２０の第２電極１４は、グランド電圧（第１基準電圧と異なるように、第２基準電圧源から供給される第２基準電圧）と等電位となる。
第２スイッチ２１が閉状態になると、直流電圧源２３と可変抵抗素子１０の第１電極１３とが接続される。可変抵抗素子１０は、前述したように第１電極１３と第２電極１４との間の抵抗値が可変する特性を有している。第２スイッチ２１が閉状態になることにより、可変抵抗素子１０の第１電極１３と第２電極１４との間に電源電圧ＶＤＤが印加され、直流電圧源２３から可変抵抗素子１０の第２電極１４へ、可変抵抗素子１０の現時点の伝導率（抵抗値の逆数）に比例した電流が流れ、ニューロン回路３０に入力される。ニューロン回路３０に入力される電流の大きさは、シナプス結合荷重ｗに比例しており、図１３のＰＳＰ（Ｐ１（ｔ），Ｐ２（ｔ））を表現している。従って、本実施の形態では、可変抵抗素子１０の伝導率（抵抗値の逆数）がシナプス結合荷重ｗに相当することとなる。
このようなニューロン回路３０への入力は、複数の他のニューラルネットワーク回路素子からシナプス回路２０を介して非同期的に与えられる。これら複数のシナプス回路２０からの入力電流が、ニューロン回路３０の積分回路３１において時空間加算される。時空間加算によって生じる積分電圧は内部電位Ｖｎとみなせる。内部電位Ｖｎが所定の閾値電圧ＶＴＨを超えると、波形発生回路３２がパルス電圧（ＶＰＯＳＴ１，ＶＰＯＳＴ２）を生成する。このうち、波形発生回路３２で生成された非線形波形パルス電圧ＶＰＯＳＴ１は、遅延回路３３により設定された所定の遅延時間が経過した後、他のニューラルネットワーク回路素子回路（図示省略）のシナプス回路の第１入力端子へ第１入力信号電圧ＶＰＲＥとして印加される。この遅延時間はニューロンモデルにおける伝達遅延時間ｔＤｅｌａｙに相当する。
次に、学習動作、特にＳＴＤＰを利用した学習動作について説明する。
「学習」動作時には、ニューロン回路３０の波形発生回路３２は非線形波形パルス電圧ＶＰＯＳＴ１と同時にスイッチングパルス電圧ＶＰＯＳＴ２を生成する。例えば、図２Ａおよび図２Ｂまたは図２Ｃのそれぞれに点線で示される時刻Ｔｉｎが同じ時刻となるように、パルス電圧を出力する。スイッチングパルス電圧ＶＰＯＳＴ２は第２入力信号電圧７０としてシナプス回路２０の第１スイッチ２２の制御端子２８へ与えられる。また他のニューラルネットワーク回路素子の非線形波形パルス電圧ＶＰＲＥが、第１入力信号電圧６０としてシナプス回路２０の第１スイッチ２２の入力端子２６に入力される。シナプス回路２０では、スイッチングパルス電圧ＶＰＯＳＴ２によって、第１スイッチ２２を切り替える。スイッチングパルス電圧ＶＰＯＳＴ２は、同じニューラルネットワーク回路素子４０内で生成された非線形波形パルス電圧ＶＰＲＥの時間的な中間点を中間点とし、その中間点を基準として前後に所定の時間幅を有する期間、所定の電圧レベル（ＨＩレベル）となる。
次に、可変抵抗素子１０を具備するシナプス回路２０において、ＳＴＤＰを実現する方法について、図１を用いて説明する。例えば、スイッチングパルス電圧ＶＰＯＳＴ２がＨＩレベルの期間は、第１スイッチ２２によって、可変抵抗素子１０の制御電極１５と、シナプス回路２０の第１入力端子４１とが接続される場合を考える。すなわち、スイッチングパルス電圧ＶＰＯＳＴ２がＨＩレベルの期間、可変抵抗素子１０の制御電極１５に第１信号電圧ＶＰＲＥが入力可能な入力許容期間となる。この場合、スイッチングパルス電圧ＶＰＯＳＴ２によって、第１スイッチ２２が可変抵抗素子１０の制御電極１５と第１入力端子４１とを導通させている間に、非線形波形パルス電圧ＶＰＲＥが入力されると、その間だけ可変抵抗素子１０の制御電極１５にパルス電圧が印加される。従って、非線形波形パルス電圧ＶＰＲＥとスイッチングパルス電圧ＶＰＯＳＴ２が時間的に重なって入力されることで、可変抵抗素子１０の制御電極１５に有限の電圧が印加される。つまり、第１電極１３および第２電極１４と制御電極１５との間に電位差が設けられるので、この電位差によって可変抵抗素子１０の抵抗値が変更される。上述のとおり、本実施の形態においては、可変抵抗素子１０の抵抗値の逆数（伝導率）がシナプス結合強度を表わしているので、その抵抗値の変化によりシナプス回路２０のシナプス結合強度を更新する「学習」動作が可能となる。
また、非線形波形パルス電圧ＶＰＲＥとスイッチングパルス電圧ＶＰＯＳＴ２とが印加されるタイミングによって、可変抵抗素子１０の制御電極１５に印加されるパルス電圧の波形は変化する。上述のように、可変抵抗素子１０の抵抗値変化の程度は印加される電圧の大きさ、つまり電圧波形に依存する。このため、２つのパルス電圧が印加されるタイミングによって変化する生成波形の形状に依存して、抵抗値変化の程度も変化する。本実施形態では、図２Ａに示した双極性ノコギリ形パルス電圧を非線形波形パルス電圧として用いることで、図１４Ｂに示した非対称型のＳＴＤＰを実現することができ、図２Ｂに示したメキシカンハット形パルス電圧を非線形波形パルス電圧として用いることで、図１４Ｃに示した対称型のＳＴＤＰを実現することができる。
非線形波形パルス電圧ＶＰＲＥを図２Ａに示す双極性ノコギリ形パルス電圧とし、スイッチングパルス電圧ＶＰＯＳＴ２を図２Ｃに示す方形波パルス電圧としたときの、第１スイッチ２２の動作について、図３にまとめた。ここでは、スイッチングパルス電圧ＶＰＯＳＴ２がＨＩの期間だけ、非線形波形パルス電圧ＶＰＲＥが可変抵抗素子１０の制御電極１５に印加される場合を考える。第１スイッチ２２の動作によって制御電極１５に印加される電圧をＶｓａｍｐｌｅとする。非線形波形パルス電圧ＶＰＲＥとスイッチングパルス電圧ＶＰＯＳＴ２の入力タイミング差ｔＰＯＳＴ２−ｔＰＲＥが変化すると、Ｖｓａｍｐｌｅの波形も変化する。例えばｔＰＯＳＴ２−ｔＰＲＥ＜０のとき（非線形波形パルス電圧ＶＰＲＥがスイッチングパルス電圧ＶＰＯＳＴ１より早く入力されるとき）、非線形波形パルス電圧ＶＰＲＥとスイッチングパルス電圧ＶＰＯＳＴ２が時間的に重なると、Ｖｓａｍｐｌｅの負方向の電位差変化が大きくなる。可変抵抗素子１０の、第１電極１３および第２電極１４と、制御電極１５との間に設けられる負の電位差が大きくなるほど、伝導率(抵抗値の逆数)が大きく減少する。従って、Ｖｓａｍｐｌｅの負方向の変化が大きくなると、伝導率(抵抗値の逆数)が大きく減少する。一方、ｔＰＯＳＴ２−ｔＰＲＥ＞０のとき（非線形波形パルス電圧ＶＰＲＥがスイッチングパルス電圧ＶＰＯＳＴ１より遅く入力されるとき）は、非線形波形パルス電圧ＶＰＲＥとスイッチングパルス電圧ＶＰＯＳＴ２が時間的に重なると、Ｖｓａｍｐｌｅは、正方向の電位差変化が大きくなる。可変抵抗素子１０の、第１電極１３および第２電極１４と、制御電極１５との間に設けられる正の電位差が大きくなるほど、伝導率(抵抗値の逆数)が大きく増加する。従って、Ｖｓａｍｐｌｅの正方向の変化が大きくなると、伝導率(抵抗値の逆数)が大きく増加する。
同様に非線形波形パルス電圧ＶＰＲＥを図２Ｂに示すメキシカンハット形パルス電圧とし、スイッチングパルス電圧ＶＰＯＳＴ２を図２Ｃに示す方形波パルス電圧としたときの、第１スイッチ２２の動作について、図４にまとめた。ここでも、スイッチングパルス電圧ＶＰＯＳＴ２がＨＩの期間（すなわち、前述の入力許容期間）だけ、非線形波形パルス電圧ＶＰＲＥが可変抵抗素子１０の制御電極１５に印加される場合を考える。非線形波形パルス電圧ＶＰＲＥとスイッチングパルス電圧ＶＰＯＳＴ２の入力タイミング差ｔＰＯＳＴ２−ｔＰＲＥが変化すると、Ｖｓａｍｐｌｅの波形も変化する。例えば、非線形波形パルス電圧ＶＰＲＥの電位が正の値をとるタイミングに、スイッチングパルス電圧ＶＰＯＳＴ２が印加されると、Ｖｓａｍｐｌｅの正方向の電位差変化が大きくなる。可変抵抗素子１０の、第１電極１３および第２電極１４と、制御電極１５との間に設けられる正の電位差が大きくなるほど、伝導率(抵抗値の逆数)が大きく増加する。従って、Ｖｓａｍｐｌｅの正方向の変化が大きくなると、伝導率(抵抗値の逆数)が大きく増加する。一方、非線形波形パルス電圧ＶＰＲＥの電位が負の値をとるタイミングに、スイッチングパルス電圧ＶＰＯＳＴ２が印加されると、Ｖｓａｍｐｌｅは、負方向の電位差変化が大きくなる。可変抵抗素子１０の、第１電極１３および第２電極１４と、制御電極１５との間に設けられる負の電位差が大きくなるほど、伝導率(抵抗値の逆数)が大きく減少する。従って、Ｖｓａｍｐｌｅの負方向の変化が大きくなると、伝導率(抵抗値の逆数)が大きく減少する。
このようにスイッチングパルス電圧ＶＰＯＳＴ２を用いて第１スイッチ２２を切り替えることで、同じニューラルネットワーク回路素子４０内で生成されたスイッチングパルス電圧（第２入力信号電圧）ＶＰＯＳＴ２と他のニューラルネットワーク回路素子から入力された非線形波形パルス電圧（第１入力信号電圧）ＶＰＲＥの入力タイミング差に基づいて、可変抵抗素子１０の第１電極１３および第２電極１４と制御電極１５との間に、当該入力タイミング差に依存した電位差が設けられる。このようにして設けられた電位差によって、可変抵抗素子１０において入力タイミング差に依存した抵抗値の変調が実現される。
このように、他のニューラルネットワーク回路素子から入力される双極性ノコギリ形パルス電圧またはメキシカンハット形パルス電圧である非線形パルス波形電圧ＶＰＲＥを、同じニューラルネットワーク回路素子４０内のニューロン回路３０で生成される双極性ノコギリ形パルス電圧ＶＰＯＳＴ１の生成タイミングに応じたスイッチングパルス電圧ＶＰＯＳＴ２と比較するため、当該比較用の波形をシナプス回路２０自身で生成する必要がなくなり、シナプス回路２０の面積を小さくすることができる。これにより、ニューラルネットワーク回路素子４０自体の回路面積を小さくすることができる。従って、パルスタイミングによる学習動作をより少ない数の素子の構成で実現することができる。
また、比較対象となる非線形パルス波形電圧ＶＰＲＥとして、２つの極性を有し、０ボルトの地点を基準として点対称となるような双極性ノコギリ形パルス電圧波形または０ボルトの時間を基準として線対称となるようなメキシカンハット形パルス電圧波形を用いている。このため、第１入力信号電圧ＶＰＲＥと比較される第２入力信号電圧であるスイッチングパルス電圧ＶＰＯＳＴ２との間のタイミングずれを容易に可変抵抗素子１０の抵抗値の変調に反映させることができる。
非線形パルス波形電圧ＶＰＲＥ，ＶＰＯＳＴ１の波形は、それぞれ上記のような双極性ノコギリ形パルス電圧波形またはメキシカンハット形パルス電圧波形である限り特に限定されないが、例えば、双極性ノコギリ形パルス電圧であれば、図２Ａに示すように、各極性の頂点と０ボルトの地点との間を結ぶ線分の傾きが他の部分の傾きより急峻であるような波形が採用可能である。０ボルトの地点に近い領域の傾きが急峻であることにより、第１入力信号電圧ＶＰＲＥと第３入力信号電圧ＶＰＯＳＴ１との入力タイミング差がわずかである場合でも電位差Ｖｅｆｆｅｃｔの変化が大きくなるため、入力タイミング差に対して感度を高めることができる。同様に、メキシカンハット形パルス電圧であれば、図２Ｂに示すように、各極性の頂点同士の間を結ぶ線分の傾きが急峻であることにより、第１入力信号電圧ＶＰＲＥと第３入力信号電圧ＶＰＯＳＴ１との入力タイミング差がわずかである場合でも電位差Ｖｅｆｆｅｃｔの変化が大きくなるため、入力タイミング差に対して感度を高めることができる。
なお、本実施の形態では、非線形波形パルス電圧ＶＰＲＥを用いて、シナプス回路２０の第２スイッチ２１を開閉したが、例えば非線形波形パルス電圧ＶＰＲＥが入力されている間、所定の電圧となるような方形波パルス電圧を用いて第２スイッチ２１を開閉してもよい。
（実施例）
以下の実施例を参照しながら本発明をより詳細に説明する。
（実施例１）
（可変抵抗素子１０の作製）
厚さ３０ｎｍのルテニウム酸ストロンチウム（ＳｒＲｕＯ３）からなる酸化物導電膜を、チタン酸ストロンチウム（ＳｒＴｉＯ３）からなる（００１）単結晶基板上に、パルスレーザデポジション（以下ＰＬＤ）法によって堆積した。堆積時の基板の温度は７００℃であった。堆積後、フォトリソグラフィおよびイオンミリング法によって制御電極１５を形成した。
基板の温度が７００℃である状態で、ＰＬＤ法を用いてＳＲＯ上に厚さ４５０ｎｍのジルコニウム酸チタン酸鉛（Ｐｂ（Ｚｒ，Ｔｉ）Ｏ３）からなる強誘電体膜１２を堆積した。その後、基板の温度を４００℃まで下げた。次いで、厚さ３０ｎｍの酸化亜鉛（ＺｎＯ）からなる半導体膜１１を堆積した。
半導体膜１１上にパターニングされたレジストを形成した後、厚さ５ｎｍのチタン膜と、厚さ３０ｎｍの白金膜から構成される積層体を、室温下で電子ビーム蒸着法によって堆積した。堆積後、リフトオフ法によって第１電極１３と第２電極１４を形成した。このようにして、可変抵抗素子１０を得た。
（シナプス回路の評価）
図６に示したシナプス回路を構成し、上述の可変抵抗素子１０を用いたシナプス回路のＳＴＤＰ特性を評価した。ＶＤＤには０．１ボルトの直流電圧源を接続した。第１スイッチには図６に示すようなスイッチ回路２５を用いた。スイッチ回路２５はスイッチングパルス電圧ＶＰＯＳＴ２がＨＩの期間だけ、非線形波形パルス電圧ＶＰＲＥが可変抵抗素子１０の制御電極１５に印加され、それ以外の期間は可変抵抗素子１０の制御電極１５は接地されるような動作を行う。なお、図６においては図１における第２スイッチ２１の構成は省略している。
本実施例では、図７Ａに示す波形を非線形波形パルス電圧ＶＰＲＥとし、図７Ｂに示す波形をスイッチングパルス電圧ＶＰＯＳＴ２とし、スイッチ回路２５を図１における第１スイッチ２２として用いることで図３に示したようなスイッチング動作を実現した。印加する非線形波形パルス電圧ＶＰＲＥおよびスイッチングパルス電圧ＶＰＯＳＴ２のタイミングを変えながら、両パルス電圧を印加する前後の伝導率（抵抗値の逆数）の変化を測定すると、図７Ｃに示したように、図１４Ｂのような非対称形のＳＴＤＰが得られた。
（積分動作の評価）
次に、図８に示したような、１つのシナプス回路２０に積分回路３１を接続した回路を作製し、ＳＴＤＰによる可変抵抗素子１０の抵抗変化に伴う積分動作の変化について評価した。
積分回路３１は、オペアンプ５３、キャパシタ３６および抵抗３７から構成される。キャパシタ３６の容量値は１ピコファラッドとし、抵抗３７の抵抗値は１メガオームとした。積分回路３１は、シナプス回路２０から入力される電流を用いてキャパシタ３６を充電する。この動作によって、電流の時間積分の演算結果が積分電位Ｖｎとして出力される。またキャパシタ３６は、オペアンプ３５の負極性入力端子（−）および出力端子間に配置されている。またオペアンプ３５の出力信号は抵抗３７を介して負極性入力端子（−）に戻る。その結果、オペアンプ３５のフィードバック機能により、負極性入力端子（−）への入力が仮想接地となる。
オペアンプ３５の負極性入力端子（−）への入力が仮想接地となるため、シナプス回路２０の数やキャパシタ３６の積分電位に関わらず、所定の電源電圧と可変抵抗素子２０の抵抗値によって決まる一定電流が、各シナプス回路２０を通して、ニューロン回路３０へ入力される。
図８に示すシナプス回路２０の第１スイッチ２２として図６と同様の回路２５を用い、第２スイッチ２１として電界効果トランジスタ２４を用いた。電界効果トランジスタ２４のゲート端子には非線形波形パルス電圧ＶＰＲＥが印加される。本実施例に用いた電界効果トランジスタ２４は、非線形波形パルス電圧ＶＰＲＥがＨＩのときにオンし、それ以外ではオフする。電界効果トランジスタ２４のオン抵抗は可変抵抗素子１０の抵抗値の１００分の１以下であるため、直流電圧源２３とオペアンプ３５の負極製入力端子（−）の間の抵抗値はおよそ可変抵抗素子１０の抵抗値に等しい。したがって、非線形波形パルス電圧ＶＰＲＥがＨＩの期間だけ、可変抵抗素子１０にパルス電流が流れる。パルス電流の大きさはおよそ可変抵抗素子１０の抵抗値の逆数(伝導率)に比例する。
ニューロン回路２０に入力されたパルス電流は、積分回路３１のキャパシタ３６を充電するため、時間積分結果が出力Ｖｎとして出力される。非線形波形パルス電圧ＶＰＲＥが印加されて２０マイクロ秒後の積分電圧Ｖｎについて評価した。
本実施例では、図７Ａに示す波形を非線形波形パルス電圧ＶＰＲＥとし、図７Ｂに示す波形をスイッチングパルス電圧ＶＰＯＳＴ２とした。印加する非線形波形パルス電圧およびスイッチングパルス電圧のタイミングを変えながら、両パルス電圧を印加する前後の積分電圧Ｖｎの変化を測定した。図９の左軸に積分電圧の変化量を示す。図９の右軸には、参考のため、図７Ｃに示した伝導率の変化量と同じものをプロットした。積分電圧の変化量は、伝導率の変化量に対応した特性を示し、可変抵抗素子１０のＳＴＤＰ特性が積分回路３１の積分動作にも反映されていることが示された。
（実施例２）
（シナプス回路１００の評価）
実施例１と同様に、図６に示したシナプス回路を構成し、可変抵抗素子１０を用いたシナプス回路のＳＴＤＰ特性を評価した。
図１０Ａに示す波形を非線形波形パルス電圧ＶＰＲＥとし、図１０Ｂに示す波形をスイッチングパルス電圧ＶＰＯＳＴ２として印加する前後の伝導率（抵抗値の逆数）の変化を測定した。図１０Ｃの左軸に示すように、図１４Ｃのような対称形のＳＴＤＰ特性が得られた。
（積分動作の評価）
次に、実施例１と同様に、図８に示したような、１つのシナプス回路２０に積分回路３１を接続した回路を作製し、ＳＴＤＰによる可変抵抗素子１０の抵抗変化に伴う積分動作の変化について、非線形波形パルス電圧ＶＰＲＥが印加されて２０マイクロ秒後の積分電圧Ｖｎから評価した。
図１０Ｃの右軸に積分電圧の変化量を示す。積分電圧の変化量は、伝導率の変化量に対応した特性を示し、可変抵抗素子１０の対称形ＳＴＤＰ特性が積分回路３１の積分動作にも反映されていることが示された。
上記説明から、当業者にとっては、本発明の多くの改良や他の実施形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきであり、本発明を実行する最良の態様を当業者に教示する目的で提供されたものである。本発明の精神を逸脱することなく、その構造及び／又は機能の詳細を実質的に変更できる。
本発明は、ニューラルネットワーク回路の荷重更新動作に用いられ得る。
１０ 可変抵抗素子
１１ 半導体膜
１２ 強誘電体膜
１３ 第１電極
１４ 第２電極
１５ 制御電極
２０ シナプス回路
２１ 第２スイッチ
２２ 第１スイッチ
２３ 直流電圧源（第１基準電圧源）
３０ ニューロン回路
３１ 積分回路
３２ 波形発生回路
３３ 遅延回路
４０ ニューラルネットワーク回路素子
５４ グランド電圧源（第２基準電圧源）
３２１ デジタル／アナログコンバータ
３２２ デジタルメモリ

Claims (5)

  1. 複数のニューラルネットワーク回路素子（４０）が接続されて構成されるニューラルネットワーク回路の学習方法であって、
    前記複数のニューラルネットワーク回路素子（４０）のそれぞれは、
    他のニューラルネットワーク回路素子（４０）の出力信号（以下、第１入力信号）が入力される少なくとも１つのシナプス回路（２０）と、
    前記少なくとも１つのシナプス回路（２０）の出力信号が入力される１つのニューロン回路（３０）と、を具備し、
    前記シナプス回路（２０）は、
    半導体膜（１１）上に形成された第１電極（１３）および第２電極（１４）と、前記半導体膜（１１）の主面に強誘電体膜（１２）を介して形成された制御電極（１５）とを備え、前記第１電極（１３）と前記制御電極（１５）との間の電位差に応じて前記第１電極（１３）と前記第２電極（１４）との間の抵抗値が変化する可変抵抗素子（１０）を具備し、
    前記ニューロン回路（３０）は、双極性ノコギリ形パルス電圧またはメキシカンハット形パルス電圧（以下、所定のパルス電圧）を発生させる波形発生回路（３２）を備え、前記第１入力信号が前記所定のパルス電圧波形を有するように構成され、
    前記可変抵抗素子（１０）と同じニューラルネットワーク回路素子（４０）内で生成された前記所定のパルス電圧波形の時間的な中間点を中間点とし、その中間点を基準として前後に所定の時間幅を有する期間（以下、入力許容期間）、前記可変抵抗素子（１０）の前記制御電極（１５）に、前記第１入力信号を入力可能とすることで、前記入力許容期間に対する前記第１入力信号の入力タイミングに依存して生じる前記第１電極（１３）と前記制御電極（１５）との間の電位差によって、前記可変抵抗素子（１０）の抵抗値を変化させる、ニューラルネットワーク回路の学習方法。
  2. 前記シナプス回路（２０）は、入力された前記第１入力信号を前記可変抵抗素子（１０）の前記制御電極（１５）に入力可能とするか否かを切り替える第１スイッチ（２２）を備え、
    前記ニューロン回路（３０）は、前記第１スイッチ（２２）を、前記入力許容期間、前記第１入力信号が前記制御電極（１５）に入力可能な状態となるように切り替えるための第２入力信号を生成するよう構成される、請求項１に記載のニューラルネットワーク回路の学習方法。
  3. 前記ニューロン回路（３０）は、
    前記少なくとも１つのシナプス回路（２０）の前記可変抵抗素子（１０）を流れる電流値を積分する積分回路（３１）と、
    前記波形発生回路（３２）で発生させた前記双極性ノコギリ形パルス電圧を所定時間遅延させて前記ニューラルネットワーク回路素子（４０）の出力信号として出力する遅延回路（３３）と、を具備し、
    前記波形発生回路（３２）は、前記積分回路（３１）で積分された電流値に応じた前記所定のパルス電圧を発生させる、請求項１に記載のニューラルネットワーク回路の学習方法。
  4. 前記シナプス回路（２０）は、一端が第１基準電圧源（２３）に接続され、他端が前記可変抵抗素子（１０）の前記第１電極（１３）に接続される第２スイッチ（２１）を備え、
    前記第２スイッチ（２１）は、前記第１入力信号が入力されている間、前記第１基準電圧源（２３）と前記第１電極（１３）とを接続するように構成される、請求項１に記載のニューラルネットワーク回路の学習方法。
  5. 複数のニューラルネットワーク回路素子（４０）が接続されて構成されるニューラルネットワーク回路であって、
    前記複数のニューラルネットワーク回路素子（４０）のそれぞれは、
    他のニューラルネットワーク回路素子（４０）の出力信号（以下、第１入力信号）が入力される少なくとも１つのシナプス回路（２０）と、
    前記少なくとも１つのシナプス回路（２０）の出力信号が入力される１つのニューロン回路（３０）と、を具備し、
    前記シナプス回路（２０）は、半導体膜（１１）上に形成された第１電極（１３）および第２電極（１４）と、前記半導体膜（１１）の主面に強誘電体膜（１２）を介して形成された制御電極（１５）とを備え、前記第１電極（１３）と前記制御電極（１５）との間の電位差に応じて前記第１電極（１３）と前記第２電極（１４）との間の抵抗値が変化する可変抵抗素子（１０）を具備し、
    前記ニューロン回路（３０）は、双極性ノコギリ形パルス電圧またはメキシカンハット形パルス電圧（以下、所定のパルス電圧）を生成する波形発生回路（３２）を備え、前記第１入力信号が前記所定のパルス電圧波形を有するように構成され、
    前記可変抵抗素子（１０）と同じニューラルネットワーク回路素子（４０）内で生成された前記所定のパルス電圧波形の時間的な中間点を中間点とし、その中間点を基準として前後に所定の時間幅を有する期間（以下、入力許容期間）、前記可変抵抗素子（１０）の前記制御電極（１５）に、前記第１入力信号を入力可能とすることで、前記入力許容期間に対する前記第１入力信号の入力タイミングに依存して生じる前記第１電極（１３）と前記制御電極（１５）との間の電位差によって、前記可変抵抗素子（１０）の抵抗値を変化させる、ニューラルネットワーク回路。
JP2013513467A 2012-01-23 2012-05-29 ニューラルネットワーク回路の学習方法 Expired - Fee Related JP5289647B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013513467A JP5289647B1 (ja) 2012-01-23 2012-05-29 ニューラルネットワーク回路の学習方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012010657 2012-01-23
JP2012010657 2012-01-23
JP2013513467A JP5289647B1 (ja) 2012-01-23 2012-05-29 ニューラルネットワーク回路の学習方法
PCT/JP2012/003492 WO2013111200A1 (ja) 2012-01-23 2012-05-29 ニューラルネットワーク回路の学習方法

Publications (2)

Publication Number Publication Date
JP5289647B1 true JP5289647B1 (ja) 2013-09-11
JPWO2013111200A1 JPWO2013111200A1 (ja) 2015-05-11

Family

ID=48872979

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013513467A Expired - Fee Related JP5289647B1 (ja) 2012-01-23 2012-05-29 ニューラルネットワーク回路の学習方法

Country Status (4)

Country Link
US (1) US8965821B2 (ja)
JP (1) JP5289647B1 (ja)
CN (1) CN103460220A (ja)
WO (1) WO2013111200A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
JP5289647B1 (ja) * 2012-01-23 2013-09-11 パナソニック株式会社 ニューラルネットワーク回路の学習方法
JP5659361B1 (ja) 2013-07-04 2015-01-28 パナソニックＩｐマネジメント株式会社 ニューラルネットワーク回路、およびその学習方法
JP6501146B2 (ja) 2014-03-18 2019-04-17 パナソニックＩｐマネジメント株式会社 ニューラルネットワーク回路およびその学習方法
US10169701B2 (en) * 2015-05-26 2019-01-01 International Business Machines Corporation Neuron peripheral circuits for neuromorphic synaptic memory array based on neuron models
US10318861B2 (en) * 2015-06-17 2019-06-11 International Business Machines Corporation Artificial neuron apparatus
CN107563497B (zh) * 2016-01-20 2021-03-19 中科寒武纪科技股份有限公司 用于稀疏人工神经网络的计算装置和运算方法
US10733946B2 (en) * 2016-08-26 2020-08-04 Semiconductor Energy Laboratory Co., Ltd. Display device and electronic device
KR20180111156A (ko) * 2017-03-31 2018-10-11 에스케이하이닉스 주식회사 피드-백 라인을 가진 포스트-시냅틱 뉴런을 포함하는 뉴로모픽 소자 및 뉴로모픽 소자의 동작 방법
KR20180116842A (ko) 2017-04-18 2018-10-26 에스케이하이닉스 주식회사 강유전체 트랜지스터를 포함하는 뉴로모픽 소자의 시냅스 시스템
CN107194463B (zh) * 2017-04-20 2019-11-22 北京大学 神经元电路和神经形态电路
WO2019131142A1 (ja) * 2017-12-28 2019-07-04 Tdk株式会社 積和演算器、ニューロモルフィックデバイスおよび積和演算器の使用方法
JP6747610B2 (ja) * 2017-12-28 2020-08-26 Tdk株式会社 積和演算器、ニューロモーフィックデバイスおよび積和演算器の故障判断方法
JP6569755B1 (ja) * 2018-03-06 2019-09-04 Tdk株式会社 ニューラルネットワーク装置、信号生成方法およびプログラム
CN110766130B (zh) * 2018-07-28 2022-06-14 华中科技大学 一种bp神经网络学习电路
US20210349693A1 (en) * 2018-10-11 2021-11-11 Tdk Corporation Product-sum operation device, logical calculation device, neuromorphic device, and multiply-accumulate method
EP3671750A1 (en) * 2018-12-21 2020-06-24 IMEC vzw Synapse circuit with memory
CN110163365A (zh) * 2019-05-29 2019-08-23 北京科易达知识产权服务有限公司 一种应用于忆阻器突触阵列的脉冲神经元电路
WO2021066100A1 (ja) * 2019-10-02 2021-04-08 国立大学法人東北大学 シナプス回路の駆動方法
JP6892026B1 (ja) * 2020-02-27 2021-06-23 Tdk株式会社 演算回路、及びニューロモーフィックデバイス
JP6841393B1 (ja) * 2020-02-27 2021-03-10 Tdk株式会社 演算回路及びニューロモーフィックデバイス
JP6899024B1 (ja) * 2020-06-11 2021-07-07 ウィンボンド エレクトロニクス コーポレーション 抵抗変化型シナプスアレイ装置
CN113033793B (zh) * 2021-03-02 2023-08-22 常州大学 一种双极性脉冲电流激励二维Wilson神经元模型的电路
WO2023013018A1 (ja) * 2021-08-06 2023-02-09 日本電気株式会社 演算装置、ニューラルネットワークシステム、ニューロンモデル装置、演算方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004514A (ja) * 2005-06-24 2007-01-11 Elpida Memory Inc 人工神経回路
JP2009282782A (ja) * 2008-05-22 2009-12-03 Sharp Corp 抵抗変化型可変抵抗素子を備えた積演算装置、及び積和演算装置、これらの装置を各ニューロン素子に備えるニューラルネットワーク、並びに積演算方法
JP2010146514A (ja) * 2008-12-22 2010-07-01 Sharp Corp 情報処理装置及びこれを用いたニューラルネットワーク回路

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0731705B2 (ja) * 1992-08-24 1995-04-10 東京工業大学長 自己学習型積和演算回路素子及び回路
KR0178805B1 (ko) * 1992-08-27 1999-05-15 정호선 스스로 학습이 가능한 다층 신경회로망 및 학습 방법
JPH07114524A (ja) 1993-10-14 1995-05-02 Ricoh Co Ltd 信号処理装置
US6470328B1 (en) * 1998-08-07 2002-10-22 Monolith Company, Ltd. Artificial neuron on the base of B-driven threshold element
US6847071B2 (en) * 2001-06-06 2005-01-25 Matsushita Electric Industrial Co., Ltd. Semiconductor device
US8156057B2 (en) * 2003-03-27 2012-04-10 Knowm Tech, Llc Adaptive neural network utilizing nanotechnology-based components
GB0506253D0 (en) * 2005-03-29 2005-05-04 Univ Ulster Electronic synapse device
US8103602B2 (en) * 2006-12-29 2012-01-24 Neurosciences Research Foundation, Inc. Solving the distal reward problem through linkage of STDP and dopamine signaling
JP2009021436A (ja) * 2007-07-12 2009-01-29 Hitachi Ltd 半導体装置
JP5106031B2 (ja) * 2007-10-12 2012-12-26 パナソニック株式会社 半導体記憶装置及びその製造方法並びに半導体スイッチング装置
US8614432B2 (en) * 2009-01-15 2013-12-24 Hewlett-Packard Development Company, L.P. Crystalline silicon-based memristive device with multiple mobile dopant species
GB2471535B (en) * 2010-01-07 2012-01-11 Dna Electronics Ltd Electrically actuated switch
WO2011148551A1 (ja) * 2010-05-26 2011-12-01 パナソニック株式会社 不揮発スイッチング装置を駆動する方法
US8441835B2 (en) * 2010-06-11 2013-05-14 Crossbar, Inc. Interface control for improved switching in RRAM
WO2012029211A1 (ja) * 2010-09-02 2012-03-08 パナソニック株式会社 不揮発性論理回路を駆動する方法
JP5158295B1 (ja) * 2011-07-15 2013-03-06 パナソニック株式会社 半導体記憶装置を駆動する方法
WO2013108299A1 (ja) * 2012-01-20 2013-07-25 パナソニック株式会社 ニューラルネットワーク回路の学習方法
JP5289647B1 (ja) * 2012-01-23 2013-09-11 パナソニック株式会社 ニューラルネットワーク回路の学習方法
US8658476B1 (en) * 2012-04-20 2014-02-25 Crossbar, Inc. Low temperature P+ polycrystalline silicon material for non-volatile memory device
CN103636128B (zh) * 2012-06-04 2016-12-28 松下知识产权经营株式会社 驱动非易失性半导体装置的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004514A (ja) * 2005-06-24 2007-01-11 Elpida Memory Inc 人工神経回路
JP2009282782A (ja) * 2008-05-22 2009-12-03 Sharp Corp 抵抗変化型可変抵抗素子を備えた積演算装置、及び積和演算装置、これらの装置を各ニューロン素子に備えるニューラルネットワーク、並びに積演算方法
JP2010146514A (ja) * 2008-12-22 2010-07-01 Sharp Corp 情報処理装置及びこれを用いたニューラルネットワーク回路

Also Published As

Publication number Publication date
JPWO2013111200A1 (ja) 2015-05-11
CN103460220A (zh) 2013-12-18
US20130311414A1 (en) 2013-11-21
US8965821B2 (en) 2015-02-24
WO2013111200A1 (ja) 2013-08-01

Similar Documents

Publication Publication Date Title
JP5289647B1 (ja) ニューラルネットワーク回路の学習方法
JP5289646B1 (ja) ニューラルネットワーク回路の学習方法
JP5659361B1 (ja) ニューラルネットワーク回路、およびその学習方法
JP6501146B2 (ja) ニューラルネットワーク回路およびその学習方法
JP5155843B2 (ja) 情報処理装置及びこれを用いたニューラルネットワーク回路
KR102230784B1 (ko) Stdp 동작을 위한 시냅스 회로 및 시냅스 회로를 포함하는 뉴로모픽 시스템
Pershin et al. Experimental demonstration of associative memory with memristive neural networks
CN111967589A (zh) 神经元模拟电路及其驱动方法、神经网络装置
Kumar et al. Y 2 O 3-based crossbar array for analog and neuromorphic computation
Kong et al. Study of recall time of associative memory in a memristive Hopfield neural network
Xu et al. A memristor model with concise window function for spiking brain-inspired computation
Donahue et al. Design and analysis of neuromemristive echo state networks with limited-precision synapses
Siegel et al. System model of neuromorphic sequence learning on a memristive crossbar array
Hajiabadi et al. Memristor-based synaptic plasticity and unsupervised learning of spiking neural networks
Wang et al. A memristor-based learning engine for synaptic trace-based online learning
Cederström et al. A model based comparison of BiFeO3 device applicability in neuromorphic hardware
Huang et al. Adaptive SRM neuron based on NbOx memristive device for neuromorphic computing
KR102215067B1 (ko) Stdp 학습 하드웨어
Parmar et al. Short-term plasticity circuit device exploration in the MASTISK neuromorphic framework
Mulaosmanovic et al. FeFETs for neuromorphic systems
Elhamdaoui et al. Synapse design based on memristor
Ostrovskii et al. Studying the dynamics of memristive synapses in spiking neuromorphic systems
Liu et al. Implementation of Multiple-Step Quantized STDP based on Linear Weight Update Memristive Synapses
Kipelkin et al. Memristive model of the Fitzhugh-Nagumo neuronal oscillator
Zhang et al. Applications of 3D RRAM beyond Storage

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130604

R150 Certificate of patent or registration of utility model

Ref document number: 5289647

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees