JP5420067B2 - メモリ・スイッチング素子を用いたスパイク・タイミング依存可塑性を有する電子学習シナプス - Google Patents

メモリ・スイッチング素子を用いたスパイク・タイミング依存可塑性を有する電子学習シナプス Download PDF

Info

Publication number
JP5420067B2
JP5420067B2 JP2012511214A JP2012511214A JP5420067B2 JP 5420067 B2 JP5420067 B2 JP 5420067B2 JP 2012511214 A JP2012511214 A JP 2012511214A JP 2012511214 A JP2012511214 A JP 2012511214A JP 5420067 B2 JP5420067 B2 JP 5420067B2
Authority
JP
Japan
Prior art keywords
synaptic
post
voltage
pulse
spike
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012511214A
Other languages
English (en)
Other versions
JP2012527669A (ja
Inventor
シェノイ、ロヒト、スディール
モダ、ダーメンドラ、シャンティラル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2012527669A publication Critical patent/JP2012527669A/ja
Application granted granted Critical
Publication of JP5420067B2 publication Critical patent/JP5420067B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Semiconductor Memories (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、人工神経網に関し、より詳細には、スパイク依存可塑性を有する電子学習シナプスに関する。
ニューロンの軸索と別のニューロン上の樹状突起との間の接点はシナプスと呼ばれ、そのシナプスに関して、これらの２つのニューロンは、それぞれシナプス前及びシナプス後と呼ばれる。我々の個人の経験の本質は、シナプスのコンダクタンスの形で記憶される。シナプスのコンダクタンスは、スパイク・タイミング依存可塑性（ＳＴＤＰ）に従って、シナプス前ニューロンとシナプス後ニューロンとの相対スパイク時間の関数として時間と共に変化する。ＳＴＤＰ規則は、あるシナプスのシナプス前ニューロンが発火した後にシナプス後ニューロンが発火する場合には、そのシナプスのコンダクタンスを増大させ、２つの発火の順序が逆の場合には、シナプスのコンダクタンスを減少させる。さらに、この変化はこれらの２つのイベント間のまさにその遅延に依存し、遅延が大きくなればなるほど、変化の大きさは小さくなる。
人工神経網は、コンピュータが本質的に生物の脳の機能と類似した方式で機能することを可能にする計算システムである。人工神経網は、０と１とを操作する従来のデジタル・モデルを利用するものではない。その代わりに、神経網は、ヒトの脳のニューロンに等価な処理要素間の接続を作り出す。人工神経網は、ニューロンに倣ってモデル化された種々の電子回路に基づくものとすることができる。
本発明の目的は、人工シナプスにおいてスパイク依存可塑性を発生させるためのシステム、方法及びコンピュータ・プログラムを提供することである。
本発明の１つの実施形態によれば、方法は、電子部品内でシナプス前スパイクを受信することと、電子部品内でシナプス後スパイクを受信することと、シナプス前スパイクに応答して、受信したシナプス前スパイクの所定時間後に生じるシナプス前パルスを生成することと、シナプス後スパイクに応答して、ベースライン値から開始し、シナプス後スパイクから第１の時間後に第１の電圧値に達し、その後、シナプス後スパイクから第２の時間後に第２の電圧値に達し、その後、シナプス後スパイクから第３の時間後にベースライン電圧に復帰するシナプス後パルスを生成することと、生成されたシナプス前パルスを、整流素子に直列接続した単極性の二端子型双安定デバイスを含むシナプス・デバイスのシナプス前ノードに印加することと、生成されたシナプス後パルスをシナプス・デバイスのシナプス後ノードに印加することとを含み、シナプス・デバイスはそのシナプス前及びシナプス後ノードに印加された入力電圧の値に基づいて第１の導電状態から第２の導電状態に変化し、シナプス前及びシナプス後パルスが印加された後の、結果として生じるシナプス・デバイスのコンダクタンスの状態は、受信したシナプス前スパイクのシナプス後スパイクに対する相対的タイミングに依存する。
本発明の別の実施形態によれば、方法は、電子部品内でシナプス前スパイクを受信することと、電子部品内でシナプス後スパイクを受信することと、シナプス前スパイクに応答して、ベースライン値から開始し、シナプス前スパイクから第１の時間後に第１の電圧値に達し、その後、シナプス前スパイクから第２の時間後に第２の電圧値に達し、その後、シナプス前スパイクから第３の時間後にベースライン電圧に復帰するシナプス後パルスを生成することと、シナプス後スパイクに応答して、受信したシナプス後スパイクの所定時間後に生じるシナプス前パルスを生成することと、生成されたシナプス前パルスを、整流素子に直列接続した単極性の二端子型双安定デバイスを含むシナプス・デバイスのシナプス前ノードに印加することと、生成されたシナプス後パルスをシナプス・デバイスのシナプス後ノードに印加することとを含み、シナプス・デバイスはそのシナプス前及びシナプス後ノードに印加された入力電圧の値に基づいて第１の導電状態から第２の導電状態に変化し、シナプス前及びシナプス後パルスが印加された後の、結果として生じるシナプス・デバイスのコンダクタンスの状態は、受信したシナプス前スパイクのシナプス後スパイクに対する相対的タイミングに依存する。
本発明のさらなる実施形態によれば、装置は、シナプス前端子に接続された単極性の二端子型双安定デバイスと、第１端と第２端とを有する整流素子であって、第１端で単極性の二端子型双安定デバイスに接続され、第２端でシナプス後端子に接続された整流素子と、シナプス前端子及びシナプス後端子に対して一連の電圧パルスを生成する少なくとも１つのパルス整形器素子であって、受信したシナプス前スパイクに応答して、受信したシナプス前スパイクの所定時間後に生じるパルスをシナプス前端子において生成し、シナプス後スパイクに応答して、ベースライン値から開始し、シナプス後スパイクから第１の時間後に第１の電圧値に達し、その後、シナプス後スパイクから第２の時間後に第２の電圧値に達し、その後、シナプス後スパイクから第３の時間後にベースライン電圧に復帰するパルスをシナプス後端子において生成する、パルス整形器素子とを含む。
本発明のさらなる実施形態によれば、装置は、各々がシナプス前端子に接続された、複数の、単極性の二端子型双安定デバイスと、それぞれ第１端と第２端を有する複数の整流素子であって、各々が第１端で単極性の二端子型双安定デバイスのうちの１つに接続され、第２端でシナプス後端子に接続された整流素子と、シナプス前端子及び前記シナプス後端子に対して一連の電圧パルスを生成する少なくとも１つのパルス整形器素子であって、受信したシナプス前スパイクに応答して、受信したシナプス前スパイクの所定時間後に生じるパルスをシナプス前端子において生成し、シナプス後スパイクに応答して、ベースライン値から開始し、シナプス後スパイクから第１の時間後に第１の電圧値に達し、その後、シナプス後スパイクから第２の時間後に第２の電圧値に達し、その後、シナプス後スパイクから第３の時間後にベースライン電圧に復帰するパルスをシナプス後端子において生成する、パルス整形器素子とを含む。
本発明の別の実施形態によれば、シナプス・デバイスに対してシナプス前パルス及びシナプス後パルスを与えるためのコンピュータ・プログラムは、具体化されたコンピュータ使用可能プログラム・コードを有するコンピュータ使用可能媒体を含み、コンピュータ使用可能プログラム・コードは、シナプス前スパイクの提示に応答して、単極性の二端子型双安定デバイスに対して、受信されたシナプス前スパイクの所定時間後に生じるシナプス前パルスを生成させる命令を生成し、シナプス後スパイクの提示に応答して、デバイスに対して、ベースライン値から開始し、シナプス後スパイクから第１の時間後に第１の電圧値に達し、その後、シナプス後スパイクから第２の時間後に第２の電圧値に達し、その後、シナプス後スパイクから第３の時間後にベースライン電圧に復帰するシナプス後パルスを生成させる命令を生成するように構成される。
本発明の実施形態による人工シナプス・システムのブロック図を示す。 本発明の実施形態による、人工シナプス・システムで用いられる例示的な入力パルスを示す。 本発明の実施形態による、図２に示される入力パルスから得られる例示的な実効パルスを示す。 本発明の実施形態による、例示的な入力パルス及び実効パルスを示す。 本発明の実施形態による、例示的な入力パルス及び実効パルスを示す。 本発明の実施形態による、例示的な入力パルス及び実効パルスを示す。 本発明の実施形態による、人工シナプスにおいてスパイク・タイミング依存可塑性を発生させるためのプロセスのフローチャートを示す。 本発明の１つの実施形態を実装するために有用な情報処理システムの高レベル・ブロック図を示す。
本発明の実施形態は、メモリ・スイッチング素子を用いたスパイク依存可塑性を有する電子学習シナプスのための、システム、方法及びコンピュータ可読媒体を提供する。「ニューロン」という用語は、脳の個々の情報処理ユニットを表現するために、１８９１年にＨｅｉｎｒｉｃｈ Ｗｉｌｈｅｌｍ Ｇｏｔｔｆｒｉｅｄ ｖｏｎ Ｗａｌｄｅｙｅｒ−Ｈａｒｔｚによって造語された。２つのニューロン間の接合部は、１８９７年にＳｉｒ Ｃｈａｒｌｅｓ Ｓｈｅｒｒｉｎｇｔｏｎによって「シナプス」と名付けられた。情報は、シナプスを通って一方向のみに沿って流れるので、「シナプス前」及び「シナプス後」ニューロンという言い方をする。ニューロンは、シナプスを介して受け取った十分な入力によって活性化されると「スパイク」を発し、このスパイクが、そのニューロンがそのシナプスにとってのシナプス前となるシナプスに受け渡される。ニューロンは、「興奮性」又は「抑制性」のいずれかであり得る。
脳は、ノードがニューロンであり、エッジがシナプスである、有向グラフとして考えることができる。以下の表は、マウス、ラット及びヒトにおけるニューロン及びシナプスの概数を示す。哺乳類の皮質内の各ニューロンは、およそ８，０００のシナプスを他のニューロンとの間に形成する。
マウス ラット ヒト
ニューロン １６×１０６ ５６×１０６ ２２×１０９
シナプス １２８×１０９ ４４８×１０９ ２２０×１０１２
脳の計算資源、伝達資源及び記憶資源は全てシナプス数に比例するものであり、ニューロン数に比例するものではない。電力及び空間の要求量でさえ、シナプス数に応じて増大する。
シナプスの物理特性のうちの幾つかは、以下のとおりである。シナプス密度は１ｍｍ３当たりおよそ７．２×１０８であり、これは、シナプスを全ての方向で１μｍの間隔を有する三次元グリッド上に配置することにほぼ相当する。この形状は、全ての哺乳類の皮質に共通する自然の定数であるように思われる。
シナプス結合荷重は、シナプス前発火がシナプス後ニューロンに及ぼす影響である。シナプス結合荷重は可塑性又は順応性であり、時間によって変化する。シナプス結合荷重は、（ａ）長期及び（ｂ）短期という２つの可塑性の形態を示す。シナプスの伝達特性における長期的変化は学習及び記憶のための生理学的基質を提供するのに対して、短期的変化は様々な計算をサポートする。短期的可塑性の機構は利得制御の形態であり、本開示においては扱わない。
長期的結合荷重の順応機構は、スパイク・タイミング依存可塑性（ＳＴＤＰ）として知られている。因果律は、ＳＴＤＰの重要な要素である。相関活動（correlated activity）は、学習されるべき因果関係を反映するのではなく、純粋に偶然に起こり得る。シナプス後反応を予測することに関して一貫して最良である入力が、そのニューロンに対する最も強力な入力となるはずである。したがってＳＴＤＰにおいては、シナプスは、そのシナプスのシナプス前作用電位がシナプス後ニューロンの発火に先立って生じ、それゆえシナプス後ニューロンの発火に寄与したであろう場合にのみ強化される。偶発的な、因果関係のない一致は、シナプスを弱めることになる。
ＳＴＤＰの広く普及している現象論的説明のうちの１つを記載する。すなわち、（ａ）シナプス前ニューロンが、シナプス後ニューロンが発火するｔミリ秒前に発火すると、シナプス結合荷重は、Ａ＋ｅｘｐ（−ｔ／τ）だけ増大し（強化される、増強される）、ここでＡ＋及びτは定数であり、（ｂ）シナプス前ニューロンが、シナプス後ニューロンが発火したｔミリ秒後に発火すると、シナプス結合荷重は、Ａ―ｅｘｐ（−ｔ／λ）だけ減少し（弱められる、抑制される）、ここで、Ａ―及びλは定数である。
シナプスがバイナリであると仮定すると、最も広範囲のレベルにおいて、ＳＴＤＰは、以下のとおり要約することができる。すなわち、シナプス前ニューロンから短時間のうちにシナプス後ニューロンが発火すると、シナプスは完全にオンにされるのに対して、シナプス後ニューロンから短時間のうちにシナプス前ニューロンが発火すると、シナプスは完全にＯＦＦにされる。ＳＴＤＰ規則は、脳が、時間空間的に変化する環境から因果律及び相関を抽出することを可能にする。
古典的なフォン・ノイマン型演算処理の重要な特性は、計算と記憶の分離である。具体的には、記憶位置が修正される場合、それは分離した計算ユニットへと運ばれ、修正され、その後再記憶される。この３ステップ・プロセスが、現代のコンピュータ・システムを悩ませている古典的なフォン・ノイマン・ボトルネックを生み出す。フォン・ノイマン型計算とは対照的に、シナプスはその場で修正される記憶要素であり、すなわち、記憶及び計算は脳内に分散している。
一般に、本発明の実施形態は、シナプス様の機能を示すデバイスを含む。特に、実施形態は、同じ電圧極性でプログラム動作及び消去動作を達成することができるメモリ・スイッチング素子を利用する。このようなデバイスの一例が、相変化メモリ（ＰＣＭ）であり、これは、この場合には、単極性の二端子型双安定デバイスである。相変化メモリ・デバイスは以下のように切り換えることができる。すなわち、プログラムする又はセットする（すなわち、低コンダクタンスの非晶質状態から高コンダクタンスの結晶状態にする）ための低電圧（電流）パルスと、消去する又はリセットする（すなわち、高コンダクタンスから低コンダクタンス状態にする）ための高電圧（電流）パルスである。本発明の実施形態は、このような物質におけるＳＴＤＰの本質を捉えることができる新規な双極性のシナプス前及びシナプス後パルスを利用する。詳細には、ダイオードと直列接続したＰＣＭデバイスを使用することによって、これらの新規なシナプス前及びシナプス後パルスは、シナプス後パルスがシナプス前パルス後１００ｍｓ以内に続く場合にデバイスをプログラムし、又はシナプス前パルスがシナプス後パルス後１００ｍｓ以内に続く場合にデバイスを消去するような形状とすることができる。開示される実施形態は、複数のコンダクタンス状態を許容しないこともあるが、これらは、ＳＴＤＰと同様の方法で因果律に報酬を与え、反因果律に罰を与えることができる。本発明の実施形態は、能動メモリの形態を作り出すことによって従来の演算処理の旧来の型を破る、シナプス様のデバイスを開示する。
図１は、人工バイナリ・シナプス１２と、ダイオード１６に対して直列接続した二端子ＰＣＭデバイス１４とからなる、人工シナプス・システム１０の概略図を示す。人工バイナリ・シナプス１２は、シナプス前ノード１８とシナプス後ノード２０とを含む。パルス整形器ユニット２２は、シナプス前ノード１８に接続されるシナプス前出力と、シナプス後ノード２０に接続されるシナプス後出力とを有する。パルス整形器ユニット２２は、シナプス前スパイク入力２４と、シナプス後スパイク入力２６とを含む。パルス整形器ユニット２２は、その２つの入力２４、２６においてそれぞれ、シナプス前スパイク及びシナプス後スパイクを受信し、それらを、後述し、かつ図２−図６で示されるように、シナプス前及びシナプス後入力パルスに変換する。いくつかの実施形態において、単一のパルス整形器ユニット２２の代わりに、一方はシナプス前スパイクを受信し、他方はシナプス後スパイクを受信する、別個の電子デバイス又は構成要素を使用することができる。
ＰＣＭデバイス１４はＶＴｈ＝０．９Ｖの閾値電圧を有するものと仮定する。ＰＣＭデバイス１４が低コンダクタンスの非晶質（ＲＥＳＥＴ）状態である場合には、ＰＣＭデバイス１４の両側に印加されるＶＴｈより小さい電圧では電流は流れないが、ＶＴｈより大きい電圧は閾値スイッチ挙動を生じさせ、デバイスを通って電流が流れることになる。ＰＣＭデバイスが高コンダクタンスの結晶（ＳＥＴ）状態にある場合には、閾値電圧基準は適用されないことに留意されたい。
さらに、約１．１Ｖの大きさの電圧パルスは、元の状態にかかわらずＰＣＭデバイス１４を高コンダクタンス結晶（ＳＥＴ）状態に切り換えるものと仮定する。この電圧はＰＣＭデバイスの両端間の電圧のことを指すことに留意されたい。最後に、約１．４Ｖの大きさの電圧パルスは、元の状態にかかわらずＰＣＭデバイス１４を低コンダクタンス非晶質（ＲＥＳＥＴ）状態に切り換えるものと仮定する。
ダイオード１６は以下の特性を有するものと仮定する。＜０．７Ｖの電圧をアノードとカソードとの間に印加しても、電流は全く流れない。＞０．７Ｖの電圧は、ダイオードを低抵抗でオンにする。オン状態のダイオードの両端間では、無視できる量の電圧しか降下しないものと仮定する。したがって、ダイオードは、＞０．７Ｖの全ての電圧について、電圧レベルシフタとしての役割を果たす。パルス整形器ユニット２２は、その入力２４、２６で受信した生のシナプス前及びシナプス後スパイクを、図２に示される特別に整形されたパルスに変換する。いくつかの実施形態において、パルス整形器ユニット２２は、全体としての領域の消費を削減するために、シナプス１２と同様の多くのシナプス間で共有することができる。
１つの実施形態において、パルス整形器ユニット２２は図２に示されるシナプス前パルスを生成し、これは本質的に非常に幅の狭い（例えば、１０−１００ｎｓｅｃ）の１．５Ｖスパイクであり、入力２４で受信される元のシナプス前スパイクの到達の１００ｍｓ後にトリガされる。パルス整形器ユニット２２はさらに、２つの部分を有するシナプス後パルス、すなわち、シナプス後入力２６における元のシナプス後スパイクの到達の数ｍｓ（例えば、５ｍｓ）後にトリガされる−０．３Ｖレベル電圧と、その後に続く、元のシナプス後スパイクの到着の１００ｍｓ後の−０．６Ｖレベル電圧とを有するシナプス後パルスも生成する。この−０．６Ｖレベル電圧は、１００ｍｓよりもわずかに短い時間（この例では９５ｍｓ）で緩和して０Ｖに戻る。入力２４、２６においてシナプス前スパイクもシナプス後スパイクもない場合には、図１に示される人工バイナリ・シナプス１２のシナプス前ノード１８及びシナプス後ノード２６の両方にゼロ（０）Ｖが印加される。
人工バイナリ・シナプス１２及びＰＣＭデバイス１４の両端間で現れる実効電圧を図３に示す。ここでダイオード１６の主目的が明らかである。シナプスを通って潜在的に流れる電流を整流することによって、電流は〜２００ｍｓにわたって流れる代わりに１０−１００ｎで流れるので、シナプス動作ごとに散逸されるエネルギーは大幅に削減される。
ここで３つの事例を考える。
事例１：シナプス前パルスは、シナプス後パルスの「直前」（所望の時間ウィンドウ、この例では９５ｍｓ以内）に到達する。図４に示されるように、この結果、ＰＣＭデバイス１４の両端間に実効１．１Ｖパルスがもたらされ、これはＰＣＭデバイス１４をＳＥＴする（コンダクタンスを増大させる）。
事例２：シナプス前パルスは、シナプス後パルスの「直後」（所望の時間ウィンドウ、この例では９５ｍｓ以内）に到達する。図５に示されるように、結果として得られるＰＣＭデバイス１４の両端間にわたる１．４Ｖのパルスは、ＰＣＭデバイス１４をＲＥＳＥＴする（コンダクタンスを減少させる）。
事例３：シナプス前パルスは、シナプス後パルスの「かなり前／後」（所望の時間ウィンドウ、この例では９５ｍｓより外）に到達する。図６に示されるように、この結果、ＰＣＭデバイス１４の両端間に０．８Ｖパルスがもたらされ、これはＰＣＭデバイス１４の状態を変化させない。元々ＲＥＳＥＴ状態であれば、０．８ＶはＶＴＨ（０．９Ｖ）より小さいので、ＰＣＭデバイス１４はＲＥＳＥＴのままである。元々ＳＥＴ状態であれば、パルスはＰＣＭデバイス１４をＲＥＳＥＴすることなく通過し（ＲＥＳＥＴには１．４Ｖが必要である）、それゆえ、ＰＣＭデバイス１４はＳＥＴのままである。実際の電圧及び時間の正確な値は例示のみのためのものであり、異なる実施形態でその他の多くの値を用いることもができることが理解されよう。
図７は、本発明の実施形態による、人工シナプス１２のような人工シナプスにＳＴＤＰ様挙動を呈するようにさせるためのプロセス３０のフローチャートである。ブロック３２において、シナプス前スパイクが入力２４において受信される。ブロック３４において、シナプス後スパイクが入力２６において受信される。ブロック３６において、シナプス前パルスがパルス整形器ユニット２２によってシナプス前スパイクの所定時間後に生成される。ブロック３８において、特定の時間において多重の電圧レベルを有するシナプス後パルスがパルス整形器ユニット２２によって生成される。特に、これは図２に示されるシナプス後パルスを含むことができる。ブロック４０において、生成されたシナプス前パルスが、デバイス１２のようなシナプス・デバイスのシナプス前ノードに印加される。ブロック４２において、生成されたシナプス後パルスが、デバイス１２のようなシナプス・デバイスのシナプス後ノードに印加される。本発明の１つの実施形態において、電圧パルスのうちの一方の半値全幅（ＦＷＨＭ）は、他方の電圧パルスのＦＷＨＭよりも持続時間が少なくとも１０００倍短い。
本発明の別の実施形態において、シナプス前パルス及びシナプス後パルスの形状を交換することができ、得られるシナプス前パルスはｙ軸を中心にして鏡映であり得る。この場合、シナプス前スパイクに応答してシナプス前パルスが生成され、これは、ベースラインレベルから開始し、シナプス前スパイクから第１の時間後に第１の電圧レベルまで達し、その後、シナプス前スパイクから第２の時間後に第２の電圧レベルに達し、その後、シナプス前スパイクから第３の時間後にベースライン電圧に復帰する。また、シナプス後スパイクに応答して、受信したシナプス後スパイクから所定の時間後に生じるシナプス後パルスが生成される。他の実施形態において、単極性ではないデバイスを用いることができるが、パルスは修正する必要がある場合がある。他の実施形態において、二端子型双安定ＰＣＭデバイスではないデバイスを用いることができる。また、両端間に印加される電圧の関数として、又は中を流れる電流の関数としてその抵抗を変化させることができる性質を有する、ＰＣＭデバイス以外のデバイスを用いることもできる。
本発明は、例えば神経回路網と環境イベントとの間の空間時間的連合を形成するといった種々の目的のための多様なアーキテクチャで用いることができる。そのような例の１つは、人工神経回路網におけるニューロンのセットに接続されるシナプスのセットを形成する、クロスバーアレイ内に本発明を埋め込むことであり得る。このような配置において、図１における人工シナプス１０は、クロスバーアレイの縦バーと横バーの接合部に接続することができる。縦バーは、図１に示されるシナプス前入力２４に接続されるシナプス前ワイヤとすることができ、横バーは、シナプス後入力２６に接続されるシナプス後ワイヤとすることができる。
上述の開示からわかるように、本発明の実施形態は、メモリ・スイッチング素子を用いた、ＳＴＤＰ可塑性を有する電子学習シナプスを提供する。当業者には認識されるように、本発明は、システム、方法又はコンピュータ・プログラムとして具体化することができる。従って、本発明は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、又はソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形式をとることができ、これらはすべて、本明細書において、一般的に「回路」、「モジュール」又は「システム」と呼ぶことができる。
さらに、本発明又はその構成要素は、媒体内に具体化されたコンピュータ使用可能プログラム・コードを有する、いずれかの有形の表現媒体内に具体化されたコンピュータ・プログラムの形態をとることができる。１つ又は複数のコンピュータ使用可能又はコンピュータ可読媒体のいずれの組み合わせを用いることもできる。コンピュータ使用可能又はコンピュータ可読媒体は、例えば、電子的、磁気的、光学的、電磁気的、赤外線、又は半導体のシステム、装置、デバイス又は伝搬媒体とすることができるが、これらに限定されるものではない。コンピュータ可読媒体のさらなる例は、以下のもの、すなわち、１つ又は複数の配線を有する電気的接続、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ・メモリ）、光ファイバ、ポータブル・コンパクト・ディスク読み出し専用メモリ（ＣＤＲＯＭ）、光記憶装置、インターネット又はイントラネットをサポートする通信媒体、又は磁気記憶装置を含む。プログラムが印刷された紙又は他の適切な媒体も、そのプログラムを例えば、その紙又は他の媒体の光学スキャンによって電子的にキャプチャし、次いで、コンパイルし、解釈し、又は必要に応じてそれ以外の適切な方法で処理し、その後、コンピュータ・メモリ内に格納することができるので、コンピュータ使用可能又はコンピュータ可読媒体はプログラムが印刷された紙又は別の適切な媒体とすることさえできることに留意されたい。本明細書の文脈内において、コンピュータ使用可能媒体又はコンピュータ可読媒体は、命令実行システム、装置、又はデバイスによって使用するため、又はそれらと接続して使用するために、プログラムを収納、保存、通信、伝搬、又は輸送することができるあらゆる媒体とすることができる。コンピュータ使用可能媒体は、コンピュータ使用可能なプログラム・コードがベースバンド内の、又は搬送波の一部としてその中で具体化された、伝搬データ信号を含むものとすることができる。コンピュータ使用可能プログラム・コードは、無線、有線、光ファイバ・ケーブル、及び／又はＲＦなどを含むがそれらには限定されないいずれかの適切な媒体を用いて伝送することができる。
本発明の動作を実行するためのコンピュータ・プログラム・コードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様なプログラミング言語のような、従来の手続き型プログラミング言語を含む、１つ又は複数のプログラミング言語の任意の組合せで記述することができる。プログラム・コードは、完全にユーザのコンピュータ上で実行される場合もあり、一部がユーザのコンピュータ上で、独立したソフトウェア・パッケージとして実行される場合もあり、一部がユーザのコンピュータ上で実行され、一部がリモート・コンピュータ上で実行される場合もあり、又は完全にリモート・コンピュータ若しくはサーバ上で実行される場合もある。後者のシナリオの場合、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）若しくは広域ネットワーク（ＷＡＮ）を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続される場合もあり、又は外部のコンピュータへの接続がなされる場合もある（例えば、インターネット・サービス・プロバイダを用いたインターネットを通じて）。
本発明は、本発明の実施形態による方法、装置（システム）及びコンピュータ・プログラムのフローチャート図及び／又はブロック図を参照して説明される。フローチャート図及び／又はブロック図の各ブロック、並びにフローチャート図及び／又はブロック図内のブロックの組合せは、コンピュータ・プログラム命令によって実施することができることが理解される。コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、フローチャート及び／又はブロック図の１つ又は複数のブロックにおいて指定された機能／行為を実施するための手段を作り出すようにさせるために、これらのコンピュータ・プログラム命令を、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えて、機械を製造することができる。
コンピュータ可読媒体内に格納された命令が、フローチャート及び／又はブロック図の１つ又は複数のブロックにおいて指定された機能／行為を実施する命令手段を含む製品を製造するようさせるために、これらのコンピュータ・プログラム命令を、コンピュータ又は他のプログラム可能なデータ処理装置を特定の方式で機能させるように指示することができるコンピュータ可読媒体内に格納することもできる。
コンピュータ又は他のプログラム可能装置上で実行される命令が、フローチャート及び／又はブロック図の１つ又は複数のブロックにおいて指定された機能／行為を実施するためのプロセスを提供するようにさせるために、コンピュータ・プログラム命令をコンピュータ又は他のプログラム可能データ処理装置上にロードして、一連の動作ステップをコンピュータ又は他のプログラム可能装置上で実行させ、コンピュータにより実行されるプロセスを生成することもできる。
図面内のフローチャート及びブロック図は、本発明の種々の実施形態による、システム、方法及びコンピュータ・プログラムの可能な実装の、アーキテクチャ、機能及び動作を示す。この点に関して、フローチャート又はブロック図内の各ブロックは、指定された論理機能を実装するための１つ又は複数の実行可能な命令を含む、モジュール、セグメント又はコードの一部を表すことができる。幾つかの代替的な実装において、ブロック内に記された機能は、図面に記された順序とは異なる順序で行われることもあることにも留意されたい。例えば、連続して図示された２つのブロックが実際には実質的に同時に実行されることもあり、又はこれらのブロックは、関与する機能に応じて、ときには逆順で実行されることもある。ブロック図及び／又はフローチャート図の各ブロック、並びにブロック図及び／又はフローチャート図内のブロックの組合せは、指定された機能又は行為を実行する専用ハードウェア・ベースのシステム、又は専用ハードウェアとコンピュータ命令との組合せによって実装することができることにも留意されたい。
図８は、本発明の１つの実施形態を実装するために有用な情報処理システムを示す高レベル・ブロック図である。コンピュータ・システムは、プロセッサ１０２のような１つ又は複数のプロセッサを含む。プロセッサ１０２は、通信インフラストラクチャ１０４（例えば、通信バス、クロスオーバ・バー又はネットワーク）に接続される。種々のソフトウェアの実施形態は、この例示的なコンピュータ・システムに関して説明される。この説明を読んだ後、当業者には、他のコンピュータ・システム及び／又はコンピュータ・アーキテクチャを用いて本発明を実装する方法が明らかとなろう。
コンピュータ・システムは、ディスプレイ・ユニット１０８上で表示するために通信インフラストラクチャ１０４から（又は図示されていないフレーム・バッファから）グラフィックス、テキスト及び他のデータを送る、ディスプレイ・インターフェース１０６を含むことができる。コンピュータ・システムはまた、メイン・メモリ１１０、好ましくはランダム・アクセス・メモリ（ＲＡＭ）を含み、さらに、二次メモリ１１２を含むこともできる。二次メモリ１１２は、例えば、ハード・ディスク・ドライブ１１４及び／又はリムーバブル・ストレージ・ドライブ１１６を含むことができ、リムーバブル・ストレージ・ドライブ１１６は、例えば、フロッピ・ディスク・ドライブ、磁気テープ・ドライブ又は光ディスク・ドライブを表す。リムーバブル・ストレージ・ドライブ１１６は、当業者に周知の方式でリムーバブル・ストレージ・ユニット１１８から読み出し、及び／又はこれに書き込みをする。リムーバブル・ストレージ・ユニット１１８は、例えば、フロッピ・ディスク、コンパクト・ディスク、磁気テープ又は光ディスク等を表し、リムーバブル・ストレージ・ドライブ１１６がこれに対して読み出し及び書き込みを行う。当然のことながら、リムーバブル・ストレージ・ユニット１１８は、コンピュータ・ソフトウェア及び／又はデータを内部に格納したコンピュータ可読媒体を含む。
代替的な実施形態において、二次メモリ１１２は、コンピュータ・プログラム又は他の命令をコンピュータ・システムにロードさせるための、他の同様の手段を含むことができる。このような手段は、リムーバブル・ストレージ・ユニット１２０とインターフェース１２２とを含むことができる。このような手段の他の例としては、プログラム・カートリッジとカートリッジ・インターフェース（例えば、ビデオ・ゲーム装置において見られるもの）、リムーバブル・メモリ・チップ（ＥＰＲＯＭ又はＰＲＯＭなど）と関連のソケット、並びにリムーバブル・ストレージ・ユニット１２０からコンピュータ・システムにソフトウェア及びデータを転送させることが可能な他のリムーバブル・ストレージ・ユニット１２０及びインターフェース１２２を挙げることができる。
コンピュータ・システムは、通信インターフェース１２４を含むこともできる。通信インターフェース１２４は、ソフトウェア及びデータをコンピュータ・システムと外部デバイスとの間で転送させることを可能にする。通信インターフェース１２４の例としては、モデム、ネットワーク・インターフェース（例えばイーサネット・カード）、通信ポート、又はＰＣＭＣＩＡスロット及びカード等が挙げられる。通信インターフェース１２４を介して転送されるソフトウェア及びデータは信号の形態であり、これは、例えば、電子信号、電磁気信号、光信号、又は通信インターフェース１２４によって受信することができる他の信号とすることができる。これらの信号は、通信パス（すなわち、チャネル）１２６を介して通信インターフェース１２４に送られる。この通信パス１２６は信号を搬送するものであり、配線又はケーブル、光ファイバ、電話線、携帯電話リンク、ＲＦリンク及び／又は他の通信チャネルを用いて実装することができる。
本明細書において、「コンピュータ・プログラム媒体」、「コンピュータ使用可能媒体」及び「コンピュータ可読媒体」という用語は、メイン・メモリ１１０及び二次メモリ１１２、リムーバブル・ストレージ・ドライブ１１６、並びにハード・ディスク・ドライブ１１４にインストールされたハード・ディスクのような媒体のことを一般的に指すために用いられる。
コンピュータ・プログラム（コンピュータ制御論理とも呼ばれる）は、メイン・メモリ１１０及び／又は二次メモリ１１２内に格納される。コンピュータ・プログラムは、通信インターフェース１２４を介して受信することもできる。このようなコンピュータ・プログラムは、実行されたときに、コンピュータ・システムがここで論じた本発明の特徴を実行することを可能にする。特に、このコンピュータ・プログラムは、実行されたときに、プロセッサ１０２がコンピュータ・システムの特徴を実行することを可能にする。従って、このようなコンピュータ・プログラムは、コンピュータ・システムのコントローラを表す。
上述の説明から、本発明が、本発明の実施形態を実施するためのシステム、コンピュータ・プログラム及び方法を提供することがわかる。特許請求の範囲において、ある要素を単数形で言及している場合、明示的に述べられていない限りは、「１つかつ唯一」を意味することを意図するものではなく、むしろ「１つ又は複数」を意味することが意図される。当業者に現在公知であり又は後に公知となる上記の例示的な実施形態の要素の機能的な均等物の全てが、本特許請求の範囲に包含されることが意図される。ここにおける請求項の要素は、その要素が「〜のための手段」又は「〜のためのステップ」という語句を用いて明確に詳述されていない限りは、米国特許法第１１２節、第６段落の規定の下で解釈されるべきではない。
本明細書において用いられる用語は、特定の実施形態を説明する目的のためのもの過ぎず、発明を限定することを意図するものではない。本明細書において用いられる場合、文脈から明らかにそうでないことが示されていない限り、単数形の「ある（ａ、ａｎ）」及び「この（ｔｈｅ）」は、複数形も同様に含むことが意図される。「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、本明細書において用いられる場合、言明された特徴、整数、ステップ、動作、要素及び／又はコンポーネントの存在を特定するものではあるが、１つ又は複数の他の特徴、整数、ステップ、動作、要素、コンポーネント及び／又はそれらの群の存在又は追加を排除するものではないこともさらに理解される。
以下の特許請求の範囲における全ての「手段又はステップと機能との組合せ（ミーンズ又はステップ・プラス・ファンクション）」要素の対応する構造、材料、行為及び均等物は、その機能を、明確に特許請求されているように他の特許請求された要素と組み合わせて実行するための、いかなる構造、材料又は行為をも含むことが意図される。本発明の説明は、例示及び説明の目的で提示されたものであるが、網羅的であることを意図するものでもなく、本発明を開示された形態に限定することを意図するものでもない。本発明の範囲及び精神から逸脱することのない多くの変更及び変形が、当業者には明らかである。実施形態は、本発明の原理及び実際の用途を最も良く説明するため、及び、当業者が本発明を種々の変更を有する種々の実施形態について企図される特定の使用に好適なものとして理解することを可能にするために、選択され、説明された。
１０：人工シナプス・システム
１２：人工バイナリ・シナプス
１４：ＰＣＭデバイス
１６：ダイオード
１８：シナプス前ノード
２０：シナプス後ノード
２２：パルス整形器ユニット
２４：シナプス前スパイク入力
２６：シナプス後スパイク入力

Claims (25)

  1. 電子部品内でシナプス前スパイクを受信することと、
    前記電子部品内でシナプス後スパイクを受信することと、
    前記シナプス前スパイクに応答して、前記受信したシナプス前スパイクの所定時間後に生じるシナプス前パルスを生成することと、
    前記シナプス後スパイクに応答して、ベースライン値から開始し、前記シナプス後スパイクから第１の時間後に第１の電圧値に達し、その後、前記シナプス後スパイクから第２の時間後に第２の電圧値に達し、その後、前記シナプス後スパイクから第３の時間後に前記ベースライン電圧に復帰するシナプス後パルスを生成することと、
    前記生成されたシナプス前パルスを、整流素子に直列接続した単極性の二端子型双安定デバイスを含むシナプス・デバイスのシナプス前ノードに印加することと、
    前記生成されたシナプス後パルスを前記シナプス・デバイスのシナプス後ノードに印加することと
    を含む方法であって、前記シナプス・デバイスがそのシナプス前及びシナプス後ノードに印加された入力電圧の値に基づいて第１の導電状態から第２の導電状態に変化し、前記シナプス前及びシナプス後パルスが印加された後の、結果として生じる前記シナプス・デバイスのコンダクタンスの状態は、前記受信したシナプス前スパイクの前記シナプス後スパイクに対する相対的タイミングに依存する、
    方法。
  2. 前記シナプス前スパイクが所定の時間ウィンドウ以内で前記シナプス後スパイクに先行する場合、結果として生じる前記シナプス・デバイスの前記コンダクタンス状態は高コンダクタンス状態である、請求項１に記載の方法。
  3. 前記シナプス前スパイクが所定の時間ウィンドウ以内で前記シナプス後スパイクの後に続く場合、結果として生じる前記シナプス・デバイスの前記コンダクタンス状態は低コンダクタンス状態である、請求項１に記載の方法。
  4. 前記シナプス前スパイクが前記シナプス後スパイクに対して所定の時間ウィンドウの外側で生じる場合、結果として生じる前記シナプス・デバイスの前記コンダクタンス状態は変化しない、請求項１に記載の方法。
  5. 前記所定の時間が前記第２の時間と等しい、請求項１に記載の方法。
  6. 前記シナプス・デバイスが相変化メモリ（ＰＣＭ）を含む、請求項１に記載の方法。
  7. 前記ＰＣＭデバイスが約０．９Ｖの閾値電圧を有し、前記ＰＣＭデバイスがＲＥＳＥＴ状態にある場合、前記ＰＣＭデバイスの両端間に印加される電圧では前記ＰＣＭデバイスを通して電流が流れず、一方、前記閾値電圧を上回る電圧では前記ＰＣＭデバイスを通って電流が流れる、請求項６に記載の方法。
  8. 前記ＰＣＭがセット電圧及びリセット電圧を有し、前記整流素子がターンオン電圧を有し、前記シナプス前パルスの大きさが、前記ターンオン電圧よりも大きいが前記ターンオン電圧と閾値電圧との合計よりも小さく、前記シナプス後パルスの第１の電圧値が、前記セット電圧に前記ターンオン電圧を足したものから前記シナプス前パルスの電圧を差し引いた値にほぼ等しく、前記シナプス後パルスの第２の電圧値が、前記リセット電圧に前記ターンオン電圧を足したものから前記シナプス前パルスの電圧を差し引いた値にほぼ等しく、前記第１の電圧値及び前記第２の電圧値は各々、前記整流素子の前記ターンオン電圧よりも小さい、請求項６に記載の方法。
  9. 前記第１の時間が、約５ミリ秒に等しく、前記第２の時間が約１００ミリ秒に等しく、前記第３の時間が約１９５ミリ秒に等しい、請求項８に記載の方法。
  10. 電子部品内でシナプス前スパイクを受信することと、
    前記電子部品内でシナプス後スパイクを受信することと、
    前記シナプス前スパイクに応答して、シナプス前パルスを生成することと、
    前記シナプス後スパイクに応答して、シナプス後パルスを生成することと、
    前記生成されたシナプス前パルスを、整流素子に直列接続した単極性の二端子型双安定デバイスを含むシナプス・デバイスのシナプス前ノードに印加することと、
    前記生成されたシナプス後パルスを前記シナプス・デバイスのシナプス後ノードに印加することと
    を含む方法であって、前記シナプス・デバイスがそのシナプス前及びシナプス後ノードに印加された入力電圧の値に基づいて第１の導電状態から第２の導電状態に変化し、前記シナプス前及びシナプス後パルスが印加された後の、結果として生じる前記シナプス・デバイスのコンダクタンスの状態は、前記受信したシナプス前スパイクの前記シナプス後スパイクに対する相対的タイミングに依存する、
    方法。
  11. 前記シナプス前スパイクが所定の時間ウィンドウ以内で前記シナプス後スパイクに先行する場合、結果として生じる前記シナプス・デバイスの前記コンダクタンス状態は低コンダクタンス状態である、請求項１０に記載の方法。
  12. 前記シナプス前スパイクが所定の時間ウィンドウ以内で前記シナプス後スパイクの後に続く場合、結果として生じる前記シナプス・デバイスの前記コンダクタンス状態は高コンダクタンス状態である、請求項１０に記載の方法。
  13. 前記シナプス・デバイスが相変化メモリ（ＰＣＭ）を含む、請求項１０に記載の方法。
  14. シナプス前端子に接続された単極性の二端子型双安定デバイスと、
    第１端と第２端とを有する整流素子であって、前記第１端で前記単極性の二端子型双安定デバイスに接続され、前記第２端でシナプス後端子に接続された整流素子と、
    前記シナプス前端子及び前記シナプス後端子に対して一連の電圧パルスを生成する少なくとも１つのパルス整形器素子であって、受信したシナプス前スパイクに応答して、前記受信したシナプス前スパイクの所定時間後に生じるパルスを前記シナプス前端子において生成し、シナプス後スパイクに応答して、ベースライン値から開始し、前記シナプス後スパイクから第１の時間後に第１の電圧値に達し、その後、前記シナプス後スパイクから第２の時間後に第２の電圧値に達し、その後、前記シナプス後スパイクから第３の時間後に前記ベースライン電圧に復帰するパルスを前記シナプス後端子において生成する、パルス整形器素子と
    を含む、装置。
  15. 前記単極性の二端子型双安定デバイスが、そのシナプス前及びシナプス後ノードに印加された前記生成されたパルスの電圧に基づいて、さらにまた、前記シナプス前スパイクが所定の時間ウィンドウ以内で前記シナプス後スパイクに先行するか又はその後に続くかのどちらであるかに基づいて、第１の導電状態から第２の導電状態に変化する、請求項１４に記載の装置。
  16. 前記パルス整形器素子が、
    ａ）前記単極性の二端子型双安定デバイスの第１の端子に第１の電圧パルスを印加し、前記デバイスが抵抗性メモリ素子を含み、
    ｂ）前記単極性の二端子型双安定デバイスの第２の端子に第２の電圧パルスを印加し、前記２つの電圧パルスが、前記第１及び第２の電圧スパイクの相対的な到達時間に応じて、以下の３つの実効電圧Ｖ１、Ｖ２、Ｖ３のうちの「第１の」１つが前記デバイスの両端間に形成されるように選択された振幅及び時間プロファイルを有し、
    ｉ）前記デバイスの状態を変化させることなく前記デバイスの抵抗を読み取るようにふるまうＶ１であって、前記第１及び第２の電圧パルス間に実質的に時間的な重なりがないイベントにおいて得られるＶ１、
    ｉｉ）前記デバイスを低抵抗状態にさせるＶ２であって、前記第１の電圧パルスが前記第２の電圧パルスの前に開始し、前記第１及び第２の電圧パルス間に実質的な時間的重なりがあるイベントにおいて得られるＶ２、
    ｉｉｉ）前記デバイスを高抵抗状態にさせるＶ３であって、前記第２の電圧パルスが前記第１の電圧パルスの前に開始し、前記第１及び第２の電圧パルス間に実質的な時間的重なりがあるイベントにおいて得られるＶ３、
    ｃ）前記ａ）を繰り返してＶ１、Ｖ２、Ｖ３のうちの「第２の」１つを得、
    ｄ）前記ａ）を繰り返してＶ１、Ｖ２、Ｖ３のうちの「第３の」１つを得る
    ように、さらに構成される請求項１４に記載の装置。
  17. 前記電圧パルスのうちの一方の半値全幅（ＦＷＨＭ）が、他方の前記電圧パルスのＦＷＨＭよりも持続時間が少なくとも１０００倍短い、請求項１６に記載の装置。
  18. 前記電圧パルスの一方のＦＷＨＭが１００ナノ秒を超えない、請求項１６に記載の装置。
  19. 前記抵抗性メモリ素子が相変化メモリ素子である、請求項１６に記載の装置。
  20. 前記第１及び第２の電圧パルスが反対の極性を有する、請求項１６に記載の装置。
  21. 前記Ｖ１、Ｖ２、Ｖ３が同じ極性を有する、請求項１６に記載の装置。
  22. 各々がシナプス前端子に接続された、複数の、単極性の二端子型双安定デバイスと、
    それぞれ第１端と第２端を有する複数の整流素子であって、各々が前記第１端で前記単極性の二端子型双安定デバイスのうちの１つに接続され、前記第２端でシナプス後端子に接続された整流素子と、
    前記シナプス前端子及び前記シナプス後端子に対して一連の電圧パルスを生成する少なくとも１つのパルス整形器素子であって、受信したシナプス前スパイクに応答して、前記受信したシナプス前スパイクの所定時間後に生じるパルスを前記シナプス前端子において生成し、シナプス後スパイクに応答して、ベースライン値から開始し、前記シナプス後スパイクから第１の時間後に第１の電圧値に達し、その後、前記シナプス後スパイクから第２の時間後に第２の電圧値に達し、その後、前記シナプス後スパイクから第３の時間後に前記ベースライン電圧に復帰するパルスを前記シナプス後端子において生成する、パルス整形器素子と
    を含む、装置。
  23. 前記複数の前記デバイスが人工スパイキング神経網内に埋め込まれており、前記パルス整形器素子が前記一連の電圧パルスを前記シナプス前端子及びシナプス後端子に対して繰り返し生成し、それによって、前記神経網と環境イベントとの間の時間空間的連合を形成する、請求項２２に記載の装置。
  24. シナプス・デバイスに対してシナプス前パルス及びシナプス後パルスを与えるためのコンピュータ・プログラムであって、前記コンピュータ・プログラムが、
    具体化されたコンピュータ使用可能プログラム・コードを有するコンピュータ使用可能媒体を含み、前記コンピュータ使用可能プログラム・コードが、
    シナプス前スパイクの提示に応答して、単極性の二端子型双安定デバイスに対して、前記受信されたシナプス前スパイクの所定時間後に生じるシナプス前パルスを生成させる命令を生成し、
    シナプス後スパイクの提示に応答して、デバイスに対して、ベースライン値から開始し、前記シナプス後スパイクから第１の時間後に第１の電圧値に達し、その後、前記シナプス後スパイクから第２の時間後に第２の電圧値に達し、その後、前記シナプス後スパイクから第３の時間後に前記ベースライン電圧に復帰するシナプス後パルスを生成させる命令を生成するように構成された
    コンピュータ・プログラム。
  25. 前記コンピュータ使用可能プログラム・コードが、
    ａ）パルス整形器に対して、前記単極性の二端子型双安定デバイスの第１の端子に第１の電圧パルスを印加させる命令を生成し、前記デバイスが抵抗性メモリ素子を含み、
    ｂ）前記パルス整形器に対して、前記単極性の二端子型双安定デバイスの第２の端子に第２の電圧パルスを印加させる命令を生成し、前記２つの電圧パルスは、前記第１及び第２の電圧スパイクの相対的な到達時間に応じて、以下の３つの実効電圧Ｖ１、Ｖ２、Ｖ３のうちの「第１の」１つが前記デバイスの両端間に形成されるように選択された振幅及び時間プロファイルを有し、
    ｉ）前記デバイスの状態を変化させることなく前記デバイスの抵抗を読み取るようにふるまうＶ１であって、前記第１及び第２の電圧パルス間に実質的に時間的な重なりがないイベントにおいて得られるＶ１、
    ｉｉ）前記デバイスを低抵抗状態にさせるＶ２であって、前記第１の電圧パルスが前記第２の電圧パルスの前に開始し、前記第１及び第２の電圧パルス間に実質的な時間的重なりがあるイベントにおいて得られるＶ２、
    ｉｉｉ）前記デバイスを高抵抗状態にさせるＶ３であって、前記第２の電圧パルスが前記第１の電圧パルスの前に開始し、前記第１及び第２の電圧パルス間に実質的な時間的重なりがあるイベントにおいて得られるＶ３、
    ｃ）前記ａ）を繰り返してＶ１、Ｖ２、Ｖ３のうちの「第２の」１つを得、
    ｄ）前記ａ）を繰り返してＶ１、Ｖ２、Ｖ３のうちの「第３の」１つを得る
    ようにさらに構成された、請求項２５に記載のコンピュータ・プログラム。
JP2012511214A 2009-05-21 2010-04-09 メモリ・スイッチング素子を用いたスパイク・タイミング依存可塑性を有する電子学習シナプス Active JP5420067B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/470,403 US8250010B2 (en) 2009-05-21 2009-05-21 Electronic learning synapse with spike-timing dependent plasticity using unipolar memory-switching elements
US12/470,403 2009-05-21
PCT/EP2010/054719 WO2010133401A1 (en) 2009-05-21 2010-04-09 Electronic learning synapse with spike-timing dependent plasticity using memory-switching elements

Publications (2)

Publication Number Publication Date
JP2012527669A JP2012527669A (ja) 2012-11-08
JP5420067B2 true JP5420067B2 (ja) 2014-02-19

Family

ID=42289016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012511214A Active JP5420067B2 (ja) 2009-05-21 2010-04-09 メモリ・スイッチング素子を用いたスパイク・タイミング依存可塑性を有する電子学習シナプス

Country Status (6)

Country Link
US (2) US8250010B2 (ja)
EP (1) EP2384488B1 (ja)
JP (1) JP5420067B2 (ja)
CN (1) CN102341815B (ja)
TW (1) TWI509537B (ja)
WO (1) WO2010133401A1 (ja)

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010151247A1 (en) * 2009-06-22 2010-12-29 Hewlett-Packard Development Company, L.P. Memristive adaptive resonance networks
US9122994B2 (en) 2010-03-26 2015-09-01 Brain Corporation Apparatus and methods for temporally proximate object recognition
US8467623B2 (en) 2010-03-26 2013-06-18 Brain Corporation Invariant pulse latency coding systems and methods systems and methods
US9405975B2 (en) 2010-03-26 2016-08-02 Brain Corporation Apparatus and methods for pulse-code invariant object recognition
US9311593B2 (en) 2010-03-26 2016-04-12 Brain Corporation Apparatus and methods for polychronous encoding and multiplexing in neuronal prosthetic devices
US9129220B2 (en) * 2010-07-07 2015-09-08 Qualcomm Incorporated Methods and systems for digital neural processing with discrete-level synapes and probabilistic STDP
US8942466B2 (en) 2010-08-26 2015-01-27 Brain Corporation Sensory input processing apparatus and methods
US9193075B1 (en) 2010-08-26 2015-11-24 Brain Corporation Apparatus and methods for object detection via optical flow cancellation
US20120084240A1 (en) * 2010-09-30 2012-04-05 International Business Machines Corporation Phase change memory synaptronic circuit for spiking computation, association and recall
US9269042B2 (en) 2010-09-30 2016-02-23 International Business Machines Corporation Producing spike-timing dependent plasticity in a neuromorphic network utilizing phase change synaptic devices
JP5656202B2 (ja) * 2010-10-18 2015-01-21 国立大学法人大阪大学 特徴抽出装置、特徴抽出方法、及び、そのプログラム
US8812414B2 (en) 2011-05-31 2014-08-19 International Business Machines Corporation Low-power event-driven neural computing architecture in neural networks
US9070039B2 (en) 2013-02-01 2015-06-30 Brian Corporation Temporal winner takes all spiking neuron network sensory processing apparatus and methods
US9147156B2 (en) 2011-09-21 2015-09-29 Qualcomm Technologies Inc. Apparatus and methods for synaptic update in a pulse-coded network
US9047568B1 (en) 2012-09-20 2015-06-02 Brain Corporation Apparatus and methods for encoding of sensory data using artificial spiking neurons
KR101888468B1 (ko) 2011-06-08 2018-08-16 삼성전자주식회사 Ｓｔｄｐ 기능 셀을 위한 시냅스, ｓｔｄｐ 기능 셀 및 ｓｔｄｐ 기능 셀을 이용한 뉴로모픽 회로
FR2977351B1 (fr) 2011-06-30 2013-07-19 Commissariat Energie Atomique Methode d'apprentissage non supervise dans un reseau de neurones artificiel a base de nano-dispositifs memristifs et reseau de neurones artificiel mettant en oeuvre la methode.
FR2977350B1 (fr) 2011-06-30 2013-07-19 Commissariat Energie Atomique Reseau de neurones artificiels a base de dispositifs memristifs complementaires
US9053428B2 (en) 2011-07-21 2015-06-09 Qualcomm Incorporated Method and apparatus of robust neural temporal coding, learning and cell recruitments for memory using oscillation
US8843425B2 (en) * 2011-07-29 2014-09-23 International Business Machines Corporation Hierarchical routing for two-way information flow and structural plasticity in neural networks
US9147155B2 (en) 2011-08-16 2015-09-29 Qualcomm Incorporated Method and apparatus for neural temporal coding, learning and recognition
US9460387B2 (en) * 2011-09-21 2016-10-04 Qualcomm Technologies Inc. Apparatus and methods for implementing event-based updates in neuron networks
US8725662B2 (en) 2011-09-21 2014-05-13 Brain Corporation Apparatus and method for partial evaluation of synaptic updates based on system events
US8725658B2 (en) 2011-09-21 2014-05-13 Brain Corporation Elementary network description for efficient memory management in neuromorphic systems
US8719199B2 (en) 2011-09-21 2014-05-06 Brain Corporation Systems and methods for providing a neural network having an elementary network description for efficient implementation of event-triggered plasticity rules
US9104973B2 (en) 2011-09-21 2015-08-11 Qualcomm Technologies Inc. Elementary network description for neuromorphic systems with plurality of doublets wherein doublet events rules are executed in parallel
US8909576B2 (en) * 2011-09-16 2014-12-09 International Business Machines Corporation Neuromorphic event-driven neural computing architecture in a scalable neural network
US9098811B2 (en) 2012-06-04 2015-08-04 Brain Corporation Spiking neuron network apparatus and methods
US9092735B2 (en) 2011-09-21 2015-07-28 Qualcomm Incorporated Method and apparatus for structural delay plasticity in spiking neural networks
US10210452B2 (en) 2011-09-21 2019-02-19 Qualcomm Incorporated High level neuromorphic network description apparatus and methods
US9117176B2 (en) 2011-09-21 2015-08-25 Qualcomm Technologies Inc. Round-trip engineering apparatus and methods for neural networks
US9111224B2 (en) * 2011-10-19 2015-08-18 Qualcomm Incorporated Method and apparatus for neural learning of natural multi-spike trains in spiking neural networks
US9111222B2 (en) * 2011-11-09 2015-08-18 Qualcomm Incorporated Method and apparatus for switching the binary state of a location in memory in a probabilistic manner to store synaptic weights of a neural network
US8996430B2 (en) 2012-01-27 2015-03-31 International Business Machines Corporation Hierarchical scalable neuromorphic synaptronic system for synaptic and structural plasticity
US9367797B2 (en) * 2012-02-08 2016-06-14 Jason Frank Hunzinger Methods and apparatus for spiking neural computation
US8909575B2 (en) 2012-02-29 2014-12-09 Qualcomm Incorporated Method and apparatus for modeling neural resource based synaptic placticity
US9224090B2 (en) * 2012-05-07 2015-12-29 Brain Corporation Sensory input processing apparatus in a spiking neural network
US20130297539A1 (en) * 2012-05-07 2013-11-07 Filip Piekniewski Spiking neural network object recognition apparatus and methods
US9129221B2 (en) * 2012-05-07 2015-09-08 Brain Corporation Spiking neural network feedback apparatus and methods
US9064215B2 (en) 2012-06-14 2015-06-23 Qualcomm Incorporated Learning spike timing precision
US8924322B2 (en) * 2012-06-15 2014-12-30 International Business Machines Corporation Multi-processor cortical simulations with reciprocal connections with shared weights
US9412041B1 (en) 2012-06-29 2016-08-09 Brain Corporation Retinal apparatus and methods
US9111215B2 (en) 2012-07-03 2015-08-18 Brain Corporation Conditional plasticity spiking neuron network apparatus and methods
US8977582B2 (en) 2012-07-12 2015-03-10 Brain Corporation Spiking neuron network sensory processing apparatus and methods
US9256823B2 (en) * 2012-07-27 2016-02-09 Qualcomm Technologies Inc. Apparatus and methods for efficient updates in spiking neuron network
US9159020B2 (en) 2012-09-14 2015-10-13 International Business Machines Corporation Multiplexing physical neurons to optimize power and area
US9311594B1 (en) 2012-09-20 2016-04-12 Brain Corporation Spiking neuron network apparatus and methods for encoding of sensory data
US9218563B2 (en) 2012-10-25 2015-12-22 Brain Corporation Spiking neuron sensory processing apparatus and methods for saliency detection
US9111226B2 (en) 2012-10-25 2015-08-18 Brain Corporation Modulated plasticity apparatus and methods for spiking neuron network
US9183493B2 (en) 2012-10-25 2015-11-10 Brain Corporation Adaptive plasticity apparatus and methods for spiking neuron network
US8943007B2 (en) 2012-10-26 2015-01-27 International Business Machines Corporation Spike tagging for debugging, querying, and causal analysis
US8990130B2 (en) * 2012-11-21 2015-03-24 International Business Machines Corporation Consolidating multiple neurosynaptic cores into one memory
US9275326B2 (en) 2012-11-30 2016-03-01 Brain Corporation Rate stabilization through plasticity in spiking neuron network
US9123127B2 (en) 2012-12-10 2015-09-01 Brain Corporation Contrast enhancement spiking neuron network sensory processing apparatus and methods
CN103078055B (zh) * 2013-01-04 2015-06-03 华中科技大学 一种模拟生物神经突触的单元、装置及方法
US9177245B2 (en) 2013-02-08 2015-11-03 Qualcomm Technologies Inc. Spiking network apparatus and method with bimodal spike-timing dependent plasticity
US9542643B2 (en) * 2013-05-21 2017-01-10 Qualcomm Incorporated Efficient hardware implementation of spiking networks
US9436909B2 (en) 2013-06-19 2016-09-06 Brain Corporation Increased dynamic range artificial neuron network apparatus and methods
US9239985B2 (en) 2013-06-19 2016-01-19 Brain Corporation Apparatus and methods for processing inputs in an artificial neuron network
US9552546B1 (en) 2013-07-30 2017-01-24 Brain Corporation Apparatus and methods for efficacy balancing in a spiking neuron network
US9558443B2 (en) 2013-08-02 2017-01-31 International Business Machines Corporation Dual deterministic and stochastic neurosynaptic core circuit
US9418332B2 (en) 2013-08-16 2016-08-16 Qualcomm Incorporated Post ghost plasticity
US9305256B2 (en) * 2013-10-02 2016-04-05 Qualcomm Incorporated Automated method for modifying neural dynamics
US9489623B1 (en) 2013-10-15 2016-11-08 Brain Corporation Apparatus and methods for backward propagation of errors in a spiking neuron network
US20150206050A1 (en) * 2014-01-23 2015-07-23 Qualcomm Incorporated Configuring neural network for low spiking rate
US9852006B2 (en) 2014-03-28 2017-12-26 International Business Machines Corporation Consolidating multiple neurosynaptic core circuits into one reconfigurable memory block maintaining neuronal information for the core circuits
US10194163B2 (en) 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US9939253B2 (en) 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US9713982B2 (en) 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US20150379397A1 (en) 2014-06-28 2015-12-31 Brainchip, Inc. Secure voice signature communications system
US9848112B2 (en) 2014-07-01 2017-12-19 Brain Corporation Optical detection apparatus and methods
US10057593B2 (en) 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
US9870617B2 (en) 2014-09-19 2018-01-16 Brain Corporation Apparatus and methods for saliency detection based on color occurrence analysis
US9881349B1 (en) 2014-10-24 2018-01-30 Gopro, Inc. Apparatus and methods for computerized object identification
WO2016072964A1 (en) * 2014-11-03 2016-05-12 Hewlett Packard Enterprise Development Lp Device with multiple resistance switches with different switching characteristics
US9830981B2 (en) * 2015-01-14 2017-11-28 International Business Machines Corporation Neuromorphic memory circuit using a leaky integrate and fire (LIF) line to transmit axon LIF pulse and a conductive denrite LIF line
WO2016122472A1 (en) * 2015-01-28 2016-08-04 Hewlett Packard Enterprise Development Lp Selector relaxation time reduction
US10489705B2 (en) 2015-01-30 2019-11-26 International Business Machines Corporation Discovering and using informative looping signals in a pulsed neural network having temporal encoders
US9990580B2 (en) 2015-03-13 2018-06-05 International Business Machines Corporation Neuromorphic synapses
US10074050B2 (en) 2015-07-13 2018-09-11 Denso Corporation Memristive neuromorphic circuit and method for training the memristive neuromorphic circuit
US10332004B2 (en) 2015-07-13 2019-06-25 Denso Corporation Memristive neuromorphic circuit and method for training the memristive neuromorphic circuit
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
US9767407B2 (en) 2015-09-18 2017-09-19 Samsung Electronics Co., Ltd. Weighting device, neural network, and operating method of the weighting device
CN107533459B (zh) * 2016-03-31 2020-11-20 慧与发展有限责任合伙企业 使用电阻存储器阵列的数据处理方法和单元
CN106292631A (zh) * 2016-08-25 2017-01-04 哈尔滨理工大学 一种基于神经网络的pwm整流器故障诊断系统
CN106407988B (zh) * 2016-09-05 2019-11-26 中国科学院自动化研究所 基于电镜序列切片图像的突触检测方法
US11341408B2 (en) 2016-10-27 2022-05-24 University Of Florida Research Foundation, Inc. Memristive learning for neuromorphic circuits
US20180146149A1 (en) 2016-11-21 2018-05-24 Samsung Electronics Co., Ltd. Event-based sensor, user device including the same, and operation method of the same
KR20180120511A (ko) * 2017-04-27 2018-11-06 에스케이하이닉스 주식회사 전달 함수 회로들을 가진 시냅스 어레이를 포함하는 뉴로모픽 소자
JP6724870B2 (ja) 2017-06-19 2020-07-15 株式会社デンソー 人工ニューラルネットワーク回路の訓練方法、訓練プログラム、及び訓練装置
WO2019212466A1 (en) 2018-04-30 2019-11-07 Hewlett Packard Enterprise Development Lp Resistive and digital processing cores
US11593624B2 (en) 2019-08-23 2023-02-28 Micron Technology, Inc. Self select memory cell based artificial synapse
US11183238B2 (en) 2019-08-28 2021-11-23 International Business Machines Corporation Suppressing outlier drift coefficients while programming phase change memory synapses
JP6899024B1 (ja) * 2020-06-11 2021-07-07 ウィンボンド エレクトロニクス コーポレーション 抵抗変化型シナプスアレイ装置
US11557343B2 (en) 2021-06-22 2023-01-17 International Business Machines Corporation Pulsing synaptic devices based on phase-change memory to increase the linearity in weight update

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9122362D0 (en) 1991-10-22 1991-12-04 British Telecomm Resistive memory element
US6141241A (en) 1998-06-23 2000-10-31 Energy Conversion Devices, Inc. Universal memory element with systems employing same and apparatus and method for reading, writing and programming same
US6314014B1 (en) 1999-12-16 2001-11-06 Ovonyx, Inc. Programmable resistance memory arrays with reference cells
TWI251166B (en) 2001-11-26 2006-03-11 Expl Of Next Generation Co Ltd Synapse element with learning function and semiconductor integrated circuit device including the synapse element
US7412428B2 (en) 2002-03-12 2008-08-12 Knowmtech, Llc. Application of hebbian and anti-hebbian learning to nanotechnology-based physical neural networks
US6844582B2 (en) 2002-05-10 2005-01-18 Matsushita Electric Industrial Co., Ltd. Semiconductor device and learning method thereof
US6671710B2 (en) 2002-05-10 2003-12-30 Energy Conversion Devices, Inc. Methods of computing with digital multistate phase change materials
US6999953B2 (en) 2002-07-03 2006-02-14 Energy Conversion Devices, Inc. Analog neurons and neurosynaptic networks
US7085155B2 (en) 2003-03-10 2006-08-01 Energy Conversion Devices, Inc. Secured phase-change devices
US7186998B2 (en) 2003-03-10 2007-03-06 Energy Conversion Devices, Inc. Multi-terminal device having logic functional
US7426501B2 (en) 2003-07-18 2008-09-16 Knowntech, Llc Nanotechnology neural network methods and systems
KR100564602B1 (ko) 2003-12-30 2006-03-29 삼성전자주식회사 상 변화 메모리 어레이의 셋 프로그래밍 방법 및 기입드라이버 회로
US7401058B2 (en) 2004-04-29 2008-07-15 University Of Massachusetts Artificial neuron with phase-encoded logic
JP4345676B2 (ja) * 2005-01-12 2009-10-14 エルピーダメモリ株式会社 半導体記憶装置
JP4728055B2 (ja) * 2005-06-24 2011-07-20 エルピーダメモリ株式会社 人工神経回路
KR100773095B1 (ko) * 2005-12-09 2007-11-02 삼성전자주식회사 상 변화 메모리 장치 및 그것의 프로그램 방법
US8138028B2 (en) 2007-02-12 2012-03-20 Macronix International Co., Ltd Method for manufacturing a phase change memory device with pillar bottom electrode
US20090029031A1 (en) 2007-07-23 2009-01-29 Tyler Lowrey Methods for forming electrodes in phase change memory devices
US7967994B2 (en) 2007-10-25 2011-06-28 Ovonyx, Inc. Method and apparatus for chalcogenide device formation
US8447714B2 (en) 2009-05-21 2013-05-21 International Business Machines Corporation System for electronic learning synapse with spike-timing dependent plasticity using phase change memory

Also Published As

Publication number Publication date
JP2012527669A (ja) 2012-11-08
WO2010133401A1 (en) 2010-11-25
TWI509537B (zh) 2015-11-21
EP2384488B1 (en) 2013-06-19
US8682822B2 (en) 2014-03-25
CN102341815B (zh) 2014-07-09
TW201110040A (en) 2011-03-16
US20120265719A1 (en) 2012-10-18
CN102341815A (zh) 2012-02-01
US8250010B2 (en) 2012-08-21
US20100299296A1 (en) 2010-11-25
EP2384488A1 (en) 2011-11-09

Similar Documents

Publication Publication Date Title
JP5420067B2 (ja) メモリ・スイッチング素子を用いたスパイク・タイミング依存可塑性を有する電子学習シナプス
JP5420066B2 (ja) 相変化メモリを用いたスパイク・タイミング依存可塑性を有する電子学習シナプス
US11270192B2 (en) Producing spike-timing dependent plasticity in a neuromorphic network utilizing phase change synaptic devices
US10282657B2 (en) Neuromorphic synapses
JP6591548B2 (ja) ニューロモーフィック記憶回路、それを動作させるための方法、およびそのコンピュータ・プログラム
US10713562B2 (en) Neuromorphic memory circuit
US8832011B2 (en) Electronic synapses from stochastic binary memory devices
US11934946B2 (en) Learning and recall in spiking neural networks
KR20130036318A (ko) Ｓｔｄｐ 및 도파민 시그널을 갖는 3―멤리스터 시냅스에 대한 방법들 및 시스템들
Pedroni et al. Memory-efficient synaptic connectivity for spike-timing-dependent plasticity
Memmesheimer et al. Non-additive coupling enables propagation of synchronous spiking activity in purely random networks
Baumann et al. Memristor‐enhanced humanoid robot control system–Part II: Circuit theoretic model and performance analysis
US20220138546A1 (en) Expandable neuromorphic circuit
US11397544B2 (en) Multi-terminal neuromorphic device
KR102314918B1 (ko) 소프트 뉴로모픽 시스템을 위한 소프트 멤리스터
KR102708509B1 (ko) 뉴로모픽 소자 및 뉴로모픽 소자의 저항 변화율을 조절하는 방법
KR20170080431A (ko) 뉴로모픽 소자 및 뉴로모픽 소자의 저항 변화율을 조절하는 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131119

R150 Certificate of patent or registration of utility model

Ref document number: 5420067

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150