JP5907994B2 - 電子シナプスを含むシステム、装置およびコンピュータ・プログラム（強化学習のための電子シナプス） - Google Patents

電子シナプスを含むシステム、装置およびコンピュータ・プログラム（強化学習のための電子シナプス） Download PDF

Info

Publication number
JP5907994B2
JP5907994B2 JP2013546624A JP2013546624A JP5907994B2 JP 5907994 B2 JP5907994 B2 JP 5907994B2 JP 2013546624 A JP2013546624 A JP 2013546624A JP 2013546624 A JP2013546624 A JP 2013546624A JP 5907994 B2 JP5907994 B2 JP 5907994B2
Authority
JP
Japan
Prior art keywords
electronic synapse
electronic
synapse
state
synaptic neuron
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013546624A
Other languages
English (en)
Other versions
JP2014504756A (ja
Inventor
モダ、ダルメンドラ、シャンティラル
チャン、リーランド
モントーヤ、ロバート、ケヴィン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2014504756A publication Critical patent/JP2014504756A/ja
Application granted granted Critical
Publication of JP5907994B2 publication Critical patent/JP5907994B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Semiconductor Memories (AREA)

Description

本発明は、ニューロモーフィックおよびシナパトロニック・システムに関し、詳細には、電子シナプスおよびシナプス・クロスバー・アレイに関する。
人工ニューラル・ネットワークとも呼ばれる、ニューロモーフィックおよびシナパトロニック・システムは、電子システムが本質的に生物学的な脳のシステムと類似した方法で機能できるようにする計算システムである。ニューロモーフィックおよびシナパトロニック・システムは、０および１を扱う従来のディジタル・モデルを一般には利用しない。代わりに、ニューロモーフィックおよびシナパトロニック・システムは、生物学的な脳のニューロンとほぼ機能的に等価な処理要素間の接続を作り出す。ニューロモーフィックおよびシナパトロニック・システムは、生物学的なニューロンをモデルにした様々な電子回路で構成することができる。
生物系では、あるニューロンの軸索と別のニューロン上の樹状突起との間の接触点は、シナプスと呼ばれ、シナプスに関して、この２つのニューロンは、それぞれシナプス前、およびシナプス後と呼ばれる。我々個人の経験のエッセンスは、シナプスのコンダクタンスに保存される。シナプスのコンダクタンスは、スパイクタイミング依存可塑性（STDP）に従って、シナプス前ニューロンおよびシナプス後ニューロンの相対的なスパイク時間の関数として時間とともに変化する。ＳＴＤＰ則により、シナプス前ニューロンが発火した後にシナプス後ニューロンが発火すると、シナプスのコンダクタンスが増加し、２つの発火の順序が逆になると、シナプスのコンダクタンスが減少する。
本発明の目的の一つは、強化学習のための電子シナプスを含むシステム、装置およびコンピュータ・プログラムを提供することである。
本発明の実施形態は、強化学習するように構成された電子シナプスを提供する。一実施形態において、電子シナプスは、シナプス前電子ニューロンとシナプス後電子ニューロンとを相互接続させるように構成される。電子シナプスは、電子シナプスの状態を保存するように、および電子シナプスの状態を更新するためのメタ情報を保存するように構成されたメモリ素子を備える。電子シナプスは、強化学習のために更新信号に応答して、メタ情報に基づいて電子シナプスの状態を更新するように構成された更新モジュールをさらに備える。更新モジュールは、学習則に基づく強化学習のために遅延更新信号に応答して、メタ情報に基づいて電子シナプスの状態を更新するように構成される。
別の実施形態において、本発明は、複数の電子ニューロン、およびこの複数の電子ニューロンを相互接続させるように構成されたクロスバー・アレイを備えるシステムを提供する。クロスバー・アレイは、軸索および樹状突起が互いに交差するような複数の軸索および複数の樹状突起を備える。クロスバー・アレイは、複数の電子シナプスをさらに備え、各電子シナプスは、樹状突起と軸索との間で結合されるクロスバー・アレイの交差点接合部にあり、各電子シナプスシナプスは、シナプス前電子ニューロンとシナプス後電子ニューロンとを相互接続させるように構成される。
本発明の好ましい実施形態は、読み取り用の２端子、セット用の２端子、およびリセット用の２端子を有する６端子デバイスを備える空間分割多元接続電子シナプスを提供する。
本発明のこれらの特徴、態様および利点、ならびに、他の特徴、態様および利点は、以下の説明、添付された特許請求の範囲および添付図を参照して理解されるであろう。
本発明の実施形態による、電子シナプスのクロスバー・アレイを有するニューロモーフィックおよびシナパトロニック・システムを示す図である。 本発明の実施形態による、シナプス前経路およびシナプス後経路の交差点接合部での電子シナプスを示す図である。 本発明の実施形態による、読み取り動作に関わる交差点接合部での電子シナプスを示す図である。 本発明の実施形態による、ＳＴＤＰセット動作に関わる交差点接合部での電子シナプスを示す図である。 本発明の実施形態による、ＳＴＤＰリセット動作に関わる交差点接合部での電子シナプスを示す図である。 本発明の実施形態による、ＳＴＤＰセット動作に関わる交差点接合部での電子シナプスを示す図である。 本発明の実施形態による、接合部のアレイを含む電子シナプスを示す図である。 本発明の実施形態による、Ｒビットに対するＳＴＤＰ動作に関わる電子シナプスを示す図である。 本発明の実施形態による、Ｇビットに対するＳＴＤＰ動作に関わる電子シナプスを示す図である。 本発明の実施形態による、Ｂビットに対するＳＴＤＰ動作に関わる電子シナプスを示す図である。 本発明の実施形態による、電子シナプスのクロスバー・アレイを示す図である。 本発明の実施形態による、電子シナプスを示す図である。 本発明の実施形態による、スタティック・ランダム・アクセス・メモリ（SRAM）をベースとした電子シナプスを示す図である。 本発明の実施形態による、ダイナミック・ランダム・アクセス・メモリ（DRAM）をベースとする電子シナプスを示す図である。 本発明の一実施形態を実施するのに有用な情報処理システムの高レベルのブロック図である。
本発明の実施形態は、強化学習（RL）するように構成された電子シナプスを提供する。本発明の実施形態は、そうしたＲＬのための電子シナプスを利用して、スパイクタイミング依存可塑性（STDP）を実施するクロスバー・アレイを含むニューロモーフィックおよびシナパトロニック・システムをさらに提供する。
ここで、図１を参照すると、本発明の実施形態によるクロスバー・アレイを有するニューロモーフィックおよびシナパトロニック・システム１０の図が示されている。一例において、クロスバー・アレイは、約０．１ｎｍから１０μｍの範囲にあるピッチを有し得る「超高密度クロスバー・アレイ」を備え得る。ニューロモーフィックおよびシナパトロニック・システム１０は、複数のニューロン１４、１６、１８および２０を有するクロスバー・アレイ１２を含む。これらのニューロンも本明細書では「電子ニューロン」と呼ばれる。ニューロン１４および１６は、軸索ニューロンであり、ニューロン１８および２０は、樹状突起ニューロンである。軸索経路（軸索）２６および２８にそれぞれ接続された出力部２２および２４を有する軸索ニューロン１４および１６が示されている。樹状突起経路（樹状突起）３４および３６にそれぞれ接続された入力部３０および３２を有する樹状突起ニューロン１８および２０が示されている。軸索ニューロン１４および１６は、入力部も含み、樹状突起に沿った信号を受け取るが、これらの入力部および樹状突起は、説明を簡単にするため図示されていない。したがって、樹状突起接続に沿った入力を受け取る場合は、軸索ニューロン１４および１６は、樹状突起ニューロンとして機能することになる。同様に、樹状突起ニューロン１８および２０は、それらの軸索接続に沿って信号を送出する場合、軸索ニューロンとして機能することになる。ニューロン１４、１６、１８および２０のうちのどれかが発火すると、それらは、その軸索接続およびその樹状突起接続にパルスを送出することになる。
軸索２６、２８と樹状突起３４、３６間の各接続は、シナプス・デバイス３１を介して行われる。シナプス・デバイスが配置される接合部は、本明細書では「交差点接合部」と呼ばれる場合がある。ニューロン１４、１６、１８および２０は、それぞれ、１対のＲＣ回路４８を含む。一般に、本発明の実施形態によると、軸索ニューロン１４および１６は、樹状突起入力接続（図示せず）から受け取る入力がしきい値を超えると、「発火する」（パルスを送信する）ことになる。軸索ニューロン１４および１６が発火すると、それらは、そのＲＣ回路４８のうちの１つの抵抗器およびコンデンサの値によって決まる、比較的長い、所定の時定数で減衰するＡ−ＳＴＤＰ変数を維持する。例えば、一実施形態において、この時定数は、５０ｍｓであってもよい。Ａ−ＳＴＤＰ変数は、カレントミラー、または等価回路を用いて、コンデンサ両端間の電圧を求めることによってサンプリングされ得る。この変数は、以下でより詳細に論じられるように、関連するニューロンが最後に発火してからの時間をコード化することによって、軸索ＳＴＤＰを実現するために用いられる。軸索ＳＴＤＰは、「増強」を制御するために使用され、この「増強」とは、本文脈において、シナプスのコンダクタンスを増加させることとして定義される。
樹状突起ニューロン１８および２０が発火すると、それらは、そのＲＣ回路４８のうちの１つの抵抗器およびコンデンサの値に基づいた、比較的長い、所定の時定数で減衰するＤ−ＳＴＤＰ変数を維持する。例えば、一実施形態において、この時定数は５０ｍｓであってもよい。他の実施形態において、この変数は、指数曲線以外の他の関数による時間の関数として減衰してもよい。例えば、変数は一次関数、多項式関数または二次関数によって減衰してもよい。本発明の別の実施形態において、変数は、時間とともに減少する代わりに増加してもよい。どんな場合でも、この変数は、以下でより詳細に論じられるように、関連するニューロンが最後に発火してからの時間をコード化することによって、樹状突起ＳＴＤＰを実現するために用いられ得る。樹状突起ＳＴＤＰは、「抑圧」を制御するために使用され、この「抑圧」とは、本文脈において、シナプスのコンダクタンスを減少させることとして定義される。
電子シナプス３１の機能には、ＳＴＤＰ、およびＲＬをベースとするＳＴＤＰによる読み取り状態およびプログラム状態が含まれる。電子シナプス３１は、電力効率がよく、そのため非同期の実施に適している。さらに、電子シナプスは空間効率がよく、そのためクロスバーの実施に適している。図２は、本発明の実施形態による、シナプス前経路２６およびシナプス後経路３６の交差点接合部での電子シナプス３１の斜視図を示す。
図３を参照すると、ニューロン１４の軸索２６と別のニューロン２０上の樹状突起３６との間の接触点の交差点接合部でのシナプス３１に関して、この２つのニューロンは、それぞれシナプス前およびシナプス後と呼ばれる。シナプス前ニューロン１４が発火すると、「読み取り」信号が、シナプス前ニューロン１４からシナプス後ニューロン２０に送られる。図４を参照すると、シナプス前ニューロン１４が発火し、次いで、シナプス後ニューロン２０が発火すると、シナプス３１はＳＴＤＰセットされる。図５を参照すると、シナプス後ニューロン２０が発火し、次いで、シナプス前ニューロン１４が発火すると、シナプス３１はＳＴＤＰリセットされる。
強化学習（RL）は、一般に行動の結果に基づいた学習を含み、ＲＬモジュールは、過去の事象に基づいて行動を選択する。ＲＬモジュールが受け取る強化信号（例えば報酬信号）は、行動の成功を示す報酬（数値）である。その場合、ＲＬモジュールは、報酬を時間とともに増加させる行動を選択することを学習する。本発明による強化学習の一実施態様において、ＳＴＤＰセットおよびＳＴＤＰリセット動作は直ぐには行われない。むしろ、報酬（「値」）信号がある時間窓内に生じる場合に、ＳＴＤＰセットまたはＳＴＤＰリセット動作が適用される。
本発明の実施形態によれば、シナプス３１は、複数の情報ビットを実装する。一例において、ＲＧＢスキームによると、シナプス３１は、ビットＲ、ビットＧおよびビットＢを含む３つのビットを維持する。ビットＲは読み取り用、ビットＧはＳＴＤＰセット用、およびビットＢはＳＴＤＰリセット用である。当初、ビットＧおよびＢは、それらの自然状態として０にセットされている。シナプス前ニューロンが発火し、次いで、シナプス後ニューロンが発火する場合、ＳＴＤＰセットのためにビットＧがセットされる（例えば、１にセットされる）。シナプス後ニューロンが発火し、次いで、シナプス前ニューロンが発火する場合、ＳＴＤＰセットのためにビットＢがセットされる（例えば、１にセットされる）。
一実施形態において、シナプス後ニューロンが発火し、次いで、シナプス後ニューロンが発火すると、ＳＴＤＰリセットがビットＢおよびＧに適用される。例えば、ビットＢおよびＧは、時定数の減衰（例えば１秒）に基づいて、０にリセットされる。別の実施形態において、ビットＢおよびＧのリセットは、ニューロンの発火とは無関係に、ＢおよびＧをリセットするランダム過程を含む。
一実施形態において、以下のように、報酬が生じると、ビットＲがセットおよびリセットされる。 報酬が生じると、
Ｇ＝１およびＢ＝０ならば、Ｒをセットし、
Ｂ＝１およびＧ＝０ならば、Ｒをリセットし、
Ｇ＝１およびＢ＝１、またはＧ＝０およびＢ＝０ならば、Ｒにはなにもしない。
図６を参照すると、一実施態様において、シナプス３１は、ｎｘｎアレイの接合部を含む。図７は、３ｘ３アレイの９つの接合部（ｎ＝３）を含む例示的なシナプス３１を示し、３つの対角線状の接合部が使用されている。
ビットＲを読み取るためのロジックは、図８に例示されるようにシナプス３１の周辺にあり、この図は、シナプス３１の読み取りビットＲをさらに示し、シナプス前ニューロンが発火すると、シナプス後ニューロンに読み取りパルスを送る。次に、パルスがシナプス３１のＲ接合部を介してシナプス前ニューロンから到着すると、シナプス後ニューロンは、非同期でこのパルスを読み取る。ビットＲのセット／リセット用ロジックは、シナプス３１内に収容されている。一実施態様において、ビットＲは、ＤＲＡＭデバイスを用いて実施されてもよい。
ビットＧをセットするためのロジックは、図９に例示されるようにシナプス３１の周辺にあり、この図は、シナプス３１のセットビットＧをさらに示し、シナプス後ニューロンが発火すると、シナプス前ニューロンに警告パルスを送る。シナプス前ニューロンは、いつ最後に発火したかによって、確率的にシナプス前セットパルスをセットする。シナプス後ニューロンは、常にシナプス後セットパルスを送る。シナプス前セットパルスおよびシナプス後セットパルスの両方がともにビットＧに対する接合部に到達すると、ビットＧがセットされる。
さらに、Ｇをリセットするためのロジックは、シナプス３１の周辺に配置されている。一実施形態において、ビットＧは、ゼロの推奨設定値を有し、ある時定数（例えば１秒）後にリセットする。別の実施形態において、Ｇのリセットは、ランダム確率過程を含み、ニューロンの発火とは無関係に完全に非同期でビットＧをリセットする。一例において、この過程は、約１秒の平均的なリセット時間を有し、著しいテール分布を有する。一例において、Ｇのリセットはシナプス前ニューロンによって開始される。一実施態様において、ビットＧは、ＤＲＡＭデバイスを用いて実施されてもよい。
ビットＢをセットするためのロジックは、シナプス３１の周辺にある。図１０を参照すると、一実施形態において、シナプス後ニューロンが発火し、次いで、シナプス前ニューロンが発火すると、ビットＢがセットされる。シナプス前ニューロンが発火し、次いで、シナプス後ニューロンが発火すると、ビットＧがセットされる。シナプス前ニューロンは、発火すると、シナプス後ニューロンに警告する。シナプス後ニューロンは、いつ最後に発火したかによって、確率的にシナプス後セットパルスをセットする。シナプス前ニューロンは、常にシナプス前セットパルスを送る。シナプス前セットパルスおよびシナプス後セットパルスの両方がともにビットＢに到着すると、ビットＢがセットされる。さらに、Ｂをリセットするためのロジックは、ブロック３１に存在する。ビットＢは、ゼロの推奨設定を有し、ビットＢは、ある時定数（例えば約１秒）後に単にリセットする。別の実施形態において、ランダム確率過程は、完全に非同期で、かつニューロンの発火とは無関係に、ビットＢをリセットする。一例において、この過程は、約１秒の平均的なリセット時間を有し、著しいテール分布を有する。一例において、このリセットは、シナプス後ニューロンによって開始される。一実施態様において、ビットＢは、ＤＲＡＭデバイスを使用して実施されてもよい。
図１１を参照すると、本発明が提供する一実施形態において、本発明の一実施形態による電子強化学習シナプスを実施するためのシステム７０が示されている。システム７０は、並列に非同期で動作可能なＲＧＢシナプス・ブロック３１のＮｘＮクロスバー・アレイを含む（Ｎ行およびＮ列）。システム７０は、シナプス３１のクロスバー・アレイを介して相互接続される、Ｎ個のシナプス前ニューロン（例えばプレ１、プレ２・・・、プレＮ）およびＮ個のシナプス後ニューロン（例えばポスト１、ポスト２・・・、ポストＮ）をさらに含む。一実施態様において、シナプス後ニューロン３１はそれぞれ、電子ミックストモード（アナログ‐ディジタル）非同期ニューロンを含む。
状態は、非同期の実施を行うためにＳＴＤＰ、およびＲＬに基づいたＳＴＤＰに従ってプログラムされる。シナプス前ニューロンが発火すると、読み取り信号がシナプス前ニューロンからシナプス後ニューロンに送られ、シナプス後ニューロンは、パルスが到着すると、非同期でパルスを読み取り、プリセット・パルスを確率的にセットし、ポストセット・パルスを常にセットする。
本発明の一実施形態において、各電子シナプス３１は、シナプス前電子ニューロンとシナプス後電子ニューロンとを相互接続させるように構成される。電子シナプス３１は、電子シナプスの状態を保存するように、および電子シナプスの状態を更新するためのメタ情報を保存するように構成されたメモリ素子（例えば、図１２におけるメモリ・デバイス３１Ｒ、３１Ｇ、３１Ｂ）を含む。各電子シナプス・セル３１は、強化学習のために更新信号に応答して、メタ情報に基づいて電子シナプスの状態を更新するように構成された更新モジュール（例えば、図１２におけるモジュール３１Ｌ）をさらに含む。更新モジュールは、学習則に基づく強化学習のために遅延更新信号に応答して、メタ情報に基づいて電子シナプスの状態を更新するように構成される。
図１２は、段階を必要とせずに（および読み取り、セット、およびリセットのための時分割多重アクセスを必要とせずに）、他のシナプス・セル３１と並行して動作させることができるシナプス・セル（ブロック）として、Ｒ、Ｇ、Ｂシナプス・アレイ３１の例示的な実施態様を示す。各シナプス・セル３１は、他のシナプス・セル３１と完全に非同期で動作することができ、したがって、クロックの必要性をなくすことができる。
本発明の一実施形態において、各ＲＧＢシナプス・セル３１は、ローカルのシナプス・セル・レベルにおいてディジタル相補型金属酸化膜半導体（CMOS）更新ロジック３１Ｌを含み、この更新ロジック３１ＬはＲセルに書き込むために使用され得る。一実施態様において、セル３１は、ビットＲ、Ｂ、およびＧに対するメモリ素子３１Ｒ、３１Ｂ、３１Ｇをそれぞれ含む。メモリ素子は、スタティック・ランダム・アクセス・メモリ（SRAM）、ダイナミック・ランダム・アクセス・メモリＤＲＡＭ、相変化メモリ（PCM）、磁気トンネル接合（MTJ）などを含むことができる。本実施形態において、シナプス・セル３１は、空間分割多元接続電子シナプスを備え、電子シナプスは、読み取り用の２端子、セット用の２端子、およびリセット用の２端子を有する６端子デバイスとして表される。
本発明の別の実施形態において、更新モジュール３１Ｌは、プロセッサ（例えば図１５における情報処理システム１００）上で実行するコンピュータ可読プログラム・コードを含むソフトウェア・モジュールを備え、このソフトウェア・モジュールは、本発明の実施形態により本明細書で説明されるような電子シナプスの状態を更新するように構成されたコンピュータ可読プログラム・コードを含む。
Ｒメモリ・セルは、シナプスの状態を維持する。ＧおよびＢのメモリ・セルは、その後のシナプスの更新のために使用されるメタ情報を維持する。ニューロンは、メモリ・セルに対する読み／書き情報を決定する。図１２において、シナプス３１は、シナプス前ニューロンからシナプス後ニューロンへの接続を提供し、これらニューロンは、共同してＲ、ＧおよびＢのメモリ・セルに読み／書きするための適切なワード線およびビット線をアクティブにする。ニューロンは、ライト・ポート（Write port）を使用して、外部からＧおよびＢのメモリ・セルにのみ書き込む。ＧおよびＢのメモリ・セルは、リード・ポート（Readport）を使用して、更新ロジック３１Ｌによって内部で読み取られ、それに応じてＲメモリ・セルを更新する。Ｒメモリ・セルは、リード・ポートを使用して外部から読み取られ、ライト・ポートを使用して、更新ロジック３１Ｌによって内部で書き込まれる（すなわち、更新される）。
シナプスの状態は、シナプスの伝導率のレベルを示す複数の値を保存する１つまたは複数のビットを有することができる。一実施形態において、Ｒメモリ・セルは、シナプスの状態を保存し、このシナプスの状態は、１ビットのシナプスである（接続を示す導通状態に対しては０、非接続を示す非導通状態に対しては１）。ニューロンは、Ｒメモリ・セルを読み取ることによってシナプスを介する接続を決定することができる。学習動作のためにＲセルを更新するため、シナプスに結合されているシナプス前ニューロンおよびシナプス後ニューロンは、強化学習のためのＢとＧのメモリ・セルに書き込む処理を実施する。これらニューロンは、ライト・ポートを使用して、ＢまたはＧあるいはその両方のメモリ・セルに更新値を保存する。その後、ＢまたはＧのメモリ・セルからの更新値が、入力する報酬信号に応答して、シナプスの状態としてＲメモリ・セルを更新するために使用される。上記したように、Ｒメモリ・セルは、強化信号として後から入力する報酬信号に応じてＢメモリ・セルの値またはＧメモリ・セルの値を用いて更新される（遅延更新）。一例において、ＳＴＤＰの値は、ＧまたはＢのメモリ・セルに保存され、しばらくして、シナプスの状態が、ＧまたはＢのセルからの値を用いてＲのメモリ・セルを更新することによって更新される。
一実施態様において、並行するワード線（水平の）およびビット線（垂直の）がメモリ・セルにアクセスするために用いられる。各メモリ・セルは、読み取りワード線、読み取りビット線、書き込みワード線および書き込みビット線を有する。一例において、更新ロジック３１Ｌは、シナプスのＲメモリ・セルの状態を更新するために、ＢとＧのメモリ・セルのメタ情報の排他的論理和（XOR）の組合せロジックを実装する。シナプス・セル３１は、ＳＲＡＭおよびＤＲＡＭの実装とともに強化学習を提供する。図１３を参照すると、ＳＲＡＭをベースとするＲＧＢセルの実装において、各ＳＲＡＭセル３１は置換可能である（行単位または列単位のいずれかで周辺回路によってアクセスすることができる）。図１４を参照すると、ＳＲＡＭおよびＤＲＡＭをベースとする実装において、ＤＲＡＭメモリ素子内のデータは、基本状態にまで時間とともに減衰する。クロック信号は、クロスバー・アレイ内のメモリ・セルの動作をクロック制御するために使用される。メモリ・セルは、同期してまたは非同期でアクセスすることができる。
シナプス前ニューロンが発火し、次いで、シナプス後ニューロンが発火すると、シナプスがセットされる。シナプス後ニューロンが発火し、シナプス前ニューロンが発火すると、シナプスはリセットされ、報酬（値）信号が時間窓内に生じる場合、ＳＴＤＰセットまたはリセットが適用される。
学習するシナプスの電子的な強化は、並列にＲ行を読み取るステップと、並列にＧ列を読み取り、セットするステップと、並列にＧ行をリセットするステップと、並列にＢ行を読み取り、セットするステップと、並列にＢ列をセットするステップと、Ｒ行およびＲ列上のセットされたビットの数を見積もるステップと、報酬信号が到達したときにグローバル値信号を実装／提供し、クロスバー・アレイ内で、Ｎ２個のＲビットすべてを並列にセットおよびリセットするステップとをさらに含む。
図１５は、本発明の一実施形態を実施するのに有用な情報処理システム１００を示す高レベルのブロック図である。コンピュータ・システムは、１つまたは複数のプロセッサ、例えばプロセッサ１０２を含む。プロセッサ１０２は、通信インフラ１０４（例えば、通信バス、クロスオーバー・バー、またはネットワーク）に接続される。
コンピュータ・システムは、ディスプレイ・ユニット１０８上に表示するために通信インフラ１０４からの（または図示しないフレーム・バッファからの）図形、テキストおよび他のデータを転送するディスプレイ・インターフェース１０６を含んでよい。コンピュータ・システムは、主記憶装置１１０（好ましくはランダム・アクセス・メモリ（ＲＡＭ））を含んでもよく、補助記憶装置１１２を含んでもよい。補助記憶装置１１２は、例えば、ハードディスク駆動装置１１４、または、例えば、フロッピー（Ｒ）ディスク駆動装置、磁気テープ駆動装置もしくは光ディスク駆動装置を代表とする取り外し可能な記憶駆動装置１１６、あるいはその両方を含んでもよい。取り外し可能な記憶駆動装置１１６は、当業者にはよく知られている方法で、取り外し可能な記憶ユニット１１８からの読み取り、または取り外し可能な記憶ユニット１１８への書き込み、あるいはその両方を行う。取り外し可能な記憶ユニット１１８は、例えば、フロッピー（Ｒ）ディスク、コンパクト・ディスク、磁気テープまたは光ディスクなどを表し、取り外し可能な記憶駆動装置１１６によって読み出され、書き込まれる。理解されるように、取り外し可能な記憶ユニット１１８は、コンピュータ・ソフトウェアまたはデータあるいはその両方が保存されたコンピュータ可読媒体を含む。
代替の実施形態において、補助記憶装置１１２は、コンピュータ・プログラムまたは他の命令をコンピュータ・システムにロードさせることができる他の同様の手段を含んでよい。そうした手段には、例えば、取り外し可能な記憶ユニット１２０およびインターフェース１２２が含まれ得る。そうした手段の例には、（ビデオゲーム装置に見られるような）プログラム・パッケージおよびパッケージ・インターフェース、（EPROMまたはPROMなどの）取り外し可能なメモリ・チップおよび関連するソケット、ならびに他の取り外し可能な記憶ユニット１２０およびソフトウェアとデータとを取り外し可能な記憶ユニット１２０からコンピュータ・システムに転送させることができるインターフェース１２２が含まれ得る。
コンピュータ・システムはまた、通信インターフェース１２４を含んでもよい。通信インターフェース１２４により、ソフトウェアおよびデータをコンピュータ・システムと外部装置との間で転送させることが可能になる。通信インターフェース１２４の例には、モデム、（イーサネット（Ｒ）・カードなどの）ネットワーク・インターフェース、通信ポート、またはＰＣＭＣＩＡスロットおよびカードなどが含まれ得る。通信インターフェース１２４を介して転送されるソフトウェアおよびデータは、例えば、通信インターフェース１２４によって受け取ることができる電子的、電磁的、光学的、またはその他の信号となり得る信号の形態である。これらの信号は、通信経路（すなわちチャネル）１２６を介して通信インターフェース１２４へ提供される。この通信経路１２６は、信号を運び、ワイヤーもしくはケーブル、光ファイバ、電話線、携帯電話リンク、ＲＦリンク、または他の通信チャネル、あるいはそれらすべてを使用して実施され得る。
本明細書において、「コンピュータ・プログラム媒体」、「コンピュータ使用可能媒体」および「コンピュータ可読媒体」という用語は、全体として、主記憶装置１１０および補助記憶装置１１２、取り外し可能記憶駆動装置１１６、およびハードディスク駆動装置１１４に設置されたハードディスクなどの媒体を指すために使用されている。
コンピュータ・プログラム（コンピュータ制御ロジックとも呼ばれる）は、主記憶装置１１０または補助記憶装置１１２あるいはその両方に保存される。コンピュータ・プログラムは、通信インターフェース１２４を介して受け取ることもできる。そうしたコンピュータ・プログラムは、実行されたとき、コンピュータ・システムに、本明細書で論じた本発明の機能を遂行させることができる。具体的には、コンピュータ・プログラムは、実行されたとき、プロセッサ１０２にコンピュータ・システムの機能を遂行させることができる。したがって、そうしたコンピュータ・プログラムは、コンピュータ・システムのコントローラを表す。
上記の説明から、本発明が、本発明の実施形態を実施するためのシステム、コンピュータ・プログラム製品および方法を提供することが理解され得る。特許請求の範囲における単数の要素の参照は、明示的にそうであると述べられていない場合、「１つおよび唯一」を意味することは意図されておらず、むしろ「１つまたは複数」を意味することが意図されている。当業者に現在知られているか、または今後知られることになる、上記の例示的な実施形態の要素に対する構造的、機能的な均等物はすべて、本特許請求の範囲によって包含されることが意図されている。
本明細書で使用された専門用語は、特定の実施形態のみを説明するためのものであり、本発明を限定するようには意図されていない。本明細書で使用されているように、単数形の「不定冠詞」（「a」、「an」）および「定冠詞」（「the」）は、文脈上明白にその他の解釈が示されなければ、複数形を同様に含むように意図されている。「備える」または「備えている」あるいはその両方の用語は、本明細書で使用される場合、述べられた特徴、整数、ステップ、動作、要素、または構成要素、あるいはそれらすべての存在を規定するが、１つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、またはそれらのグループあるいはそれらすべての存在もしくは追加を排除しないことをさらに理解されるであろう
下記の特許請求の範囲における対応する構造、材料、行動、およびすべての手段またはステップの均等物、さらに機能素子は、具体的に特許請求される他の特許請求される要素との組合せにおいて機能を遂行するための任意の構造、材料、または行動を含むことが意図されている。本発明の説明は、例示および説明の目的のために提示されたが、網羅的であること、または開示された形態の発明に限定されることは意図されていない。多くの変更形態および変形形態は、本発明の範囲から逸脱せずに、当業者には明かであろう。実施形態は、本発明の原理および実際的な用途について最善の説明をするように、かつ当業者が考慮される特定の使用に適する様々な変更形態を有する様々な実施形態に対して本発明を理解することができるように、選ばれ、説明された。

Claims (25)

  1. 複数の電子ニューロンと、
    前記複数の電子ニューロンを相互接続させるように構成されたクロスバー・アレイを備え、
    前記クロスバー・アレイが、
    軸索および樹状突起が互いに交差するような複数の軸索および複数の樹状突起と、
    樹状突起と軸索との間で結合される前記クロスバー・アレイの交差点接合部にそれぞれあり、シナプス前電子ニューロンとシナプス後電子ニューロンとを相互接続させるようにそれぞれ構成される、複数の電子シナプスを備え、
    各電子シナプスが、
    前記電子シナプスの状態を表す第１のビットを保存するための第１のメモリ素子と、
    前記電子シナプスの状態を更新するためのメタ情報を保存するための追加のメモリ素子であって、前記メタ情報が学習則に基づく強化学習のため前記電子シナプスの前記状態をセット／リセットするための第２および第３のビットを含む、追加のメモリ素子と、
    強化学習のために更新信号に応答して、前記メタ情報に基づいて前記電子シナプスの状態を更新するように構成された更新モジュールを備え、
    前記メタ情報が、シナプス前ニューロンのスパイク信号および前記シナプス後ニューロンのスパイク信号に基づくものであり、前記シナプスの前記状態が前記メタ情報に基づいてセット／リセットされる、システム。
  2. 前記電子シナプスが、並列に非同期で動作可能である、請求項１に記載のシステム。
  3. 電子シナプスの状態が、遅延更新信号に基づいて強化学習に従ってプログラムされる、請求項１または２に記載のシステム。
  4. 各電子シナプスの前記更新モジュールが、前記電子シナプスを更新するように構成され、その結果、
    前記シナプス前ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が、前記電子シナプスを介して前記シナプス前ニューロンから前記シナプス後ニューロンに送られる読み取り信号によって更新され、
    前記シナプス前ニューロンのスパイク信号に、次いで前記シナプス後ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が更新され、その結果前記電子シナプスが学習則に従ってセットされ、
    前記シナプス後ニューロンのスパイク信号に、次いで前記シナプス前ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が更新され、前記電子シナプスが学習則に従ってリセットされる、請求項１、２または３に記載のシステム。
  5. 各電子シナプスの前記更新モジュールが、前記電子シナプスが更新信号に応答して、スパイクタイミング依存可塑性に基づいて更新されるように、強化学習に基づいて前記電子シナプスを更新するように構成される、請求項１、２または３に記載のシステム。
  6. 各電子シナプスが、前記メモリ素子がアレイの対角線上の接合部に存在するように、接合部のアレイを形成する複数の樹状突起経路に交差する複数の軸索経路をさらに含む、請求項１ないし５のいずれかに記載のシステム。
  7. 各電子シナプスが、
    情報を維持するように構成される３つのメモリ素子と、
    前記メモリ素子が前記アレイの対角線上の接合部に存在して、Ｒビット、ＧビットおよびＢビットを提供するように、３×３アレイの９つの接合部を形成する、３つの樹状突起経路と交差する３つの軸索経路とを備える、請求項１ないし６のいずれかに記載のシステム。
  8. 前記クロスバー・アレイが、Ｎ２個の電子シナプスを有するＮｘＮ個の交差点接合部を備え、
    各電子シナプスが、
    Ｒ行を並列に読み取り、
    Ｇ列を並列に読み取ってセットし、
    Ｇ行を並列にリセットし、
    Ｂ行を並列に読み取ってセットし、
    Ｂ列を並列にセットし、
    Ｒ行およびＲ列上のセットされたビットの数を見積もり、
    報酬信号が到達したときに、グローバル値信号を提供し、前記クロスバー・アレイ内のＮ２個のＲビットをすべてセットおよびリセットして電子強化学習するように構成される、請求項７に記載のシステム。
  9. 各電子シナプスが、読み取り用の２端子、セット用の２端子、およびリセット用の２端子を有する６端子デバイスを備える、請求項１ないし８のいずれかに記載のシステム。
  10. 各電子シナプスが、スタティック・ランダム・アクセス・メモリ（SRAM）をベースとするメモリ素子を備える、請求項１ないし９のいずれかに記載のシステム。
  11. 各電子シナプスが、ダイナミック・ランダム・アクセス・メモリ（DRAM）をベースとするメモリ素子を備える、請求項１ないし９のいずれかに記載のシステム。
  12. 各電子シナプスが、シナプス前電子ニューロンの軸索とシナプス後電子ニューロンの樹状突起とを相互接続させるように構成される、請求項１ないし１１のいずれかに記載のシステム。
  13. シナプス前電子ニューロンとシナプス後電子ニューロンとを相互接続させるように構成された電子シナプスを備える装置であって、前記電子シナプスが、
    前記電子シナプスの状態を表す第１のビットを保存するための第１のメモリ素子と、
    前記電子シナプスの前記状態の更新のためメタ情報を保存するための追加のメモリ素子であって、前記メタ情報が学習則に基づく強化学習のため前記電子シナプスの前記状態をセット／リセットするための第２および第３のビットを含む、追加のメモリ素子と、
    強化学習のために更新信号に応答して、前記メタ情報に基づいて前記電子シナプスの前記状態を更新するように構成された更新モジュールを備え、
    前記メタ情報が、シナプス前ニューロンのスパイク信号および前記シナプス後ニューロンのスパイク信号に基づくものであり、前記シナプスの前記状態が前記メタ情報に基づいてセット／リセットされる、装置。
  14. 前記更新モジュールが、学習則に基づく強化学習のために遅延更新信号に応答して、前記メタ情報に基づいて前記電子シナプスの前記状態を更新するように構成される、請求項１３に記載の装置。
  15. 前記更新モジュールが、前記電子シナプスがスパイクタイミング依存可塑性学習則に基づいて更新されるように、電子強化学習に基づいて前記電子シナプスの前記状態を更新するように構成される、請求項１３または１４に記載の装置。
  16. 前記更新モジュールが、前記電子シナプスを更新するように構成され、その結果、
    前記シナプス前ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が、前記電子シナプスを介して前記シナプス前ニューロンから前記シナプス後ニューロンに送られる読み取り信号によって更新され、
    前記シナプス前ニューロンのスパイク信号に、次いで前記シナプス後ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が更新され、その結果前記電子シナプスが学習則に従ってセットされ、
    前記シナプス後ニューロンのスパイク信号に、次いで前記シナプス前ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が更新され、前記電子シナプスが学習則に従ってリセットされる、請求項１４に記載の装置。
  17. 前記更新モジュールが、前記電子シナプスを更新するように構成され、その結果、更新信号が時間窓内に受け取られる場合に、
    前記シナプス前ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が、前記電子シナプスを介して前記シナプス前ニューロンから前記シナプス後ニューロンに送られる読み取り信号によって更新され、
    前記シナプス前ニューロンのスパイク信号に、次いで前記シナプス後ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が更新され、前記電子シナプスが学習則に従ってセットされ、
    前記シナプス後ニューロンのスパイク信号に、次いで前記シナプス前ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が更新され、前記電子シナプスが学習則に従ってリセットされる、請求項１３ないし１６のいずれかに記載の装置。
  18. 前記電子シナプスが、６端子デバイスを備え、２つの端子が読み取り用、２つの端子がセット用、２つの端子がリセット用である、請求項１７に記載の装置。
  19. 前記電子シナプスが、前記シナプス前電子ニューロンの軸索と前記シナプス後電子ニューロンの樹状突起とを相互接続させるように構成される、請求項１３ないし１８のいずれかに記載の装置。
  20. 前記メモリ素子がアレイの対角線上の接合部に存在するように、前記電子シナプスが、接合部のアレイを形成する複数の樹状突起経路に交差する複数の軸索経路をさらに備える、請求項１３ないし１９のいずれかに記載の装置。
  21. 学習則に基づく強化学習のために遅延更新信号に応答して、メタ情報に基づいて電子シナプスの状態を更新するように構成されたコンピュータ可読プログラム・コードを含むコンピュータ・プログラムであって、
    前記電子シナプスが、シナプス前電子ニューロンとシナプス後電子ニューロンとを相互接続させるように構成され、前記電子シナプスが、
    前記電子シナプスの状態を表す第１のビットを保存するための第１のメモリ素子と、
    前記電子シナプスの前記状態の更新のためメタ情報を保存するための追加のメモリ素子であって、前記メタ情報が学習則に基づく強化学習のため前記電子シナプスの前記状態をセット／リセットするための第２および第３のビットを含む、追加のメモリ素子と、
    強化学習のために更新信号に応答して、前記メタ情報に基づいて前記電子シナプスの前記状態を更新するように構成された更新モジュールを備え、
    前記メタ情報が、シナプス前ニューロンのスパイク信号および前記シナプス後ニューロンのスパイク信号に基づくものであり、前記シナプスの前記状態が前記メタ情報に基づいてセット／リセットされる、コンピュータ・プログラム。
  22. 前記コンピュータ可読プログラム・コードが、
    前記電子シナプスがスパイクタイミング依存可塑性学習則に基づいて更新されるように、電子強化学習に基づいて前記電子シナプスの前記状態を更新するように構成される、請求項２１に記載のコンピュータ・プログラム。
  23. 前記コンピュータ可読プログラム・コードが前記電子シナプスを更新するように構成され、その結果、
    前記シナプス前ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が、前記電子シナプスを介して前記シナプス前ニューロンから前記シナプス後ニューロンに送られる読み取り信号によって更新され、
    前記シナプス前ニューロンのスパイク信号に、次いで前記シナプス後ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が更新され、その結果、前記電子シナプスが学習則に従ってセットされ、
    前記シナプス後ニューロンのスパイク信号に、次いで前記シナプス前ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が更新され、前記電子シナプスが学習則に従ってリセットされる、請求項２１に記載のコンピュータ・プログラム。
  24. 前記コンピュータ可読プログラム・コードが、前記電子シナプスを更新するように構成され、その結果、更新信号が時間窓内に受け取られる場合に、
    前記シナプス前ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が、前記電子シナプスを介して前記シナプス前ニューロンから前記シナプス後ニューロンに送られる読み取り信号によって更新され、
    前記シナプス前ニューロンのスパイク信号に、次いで前記シナプス後ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が更新され、前記電子シナプスが学習則に従ってセットされ、
    前記シナプス後ニューロンのスパイク信号に、次いで前記シナプス前ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が更新され、前記電子シナプスが学習則に従ってリセットされる、請求項２１に記載のコンピュータ・プログラム。
  25. 前記電子シナプスが、６端子デバイスを備え、２つの端子が読み取り用、２つの端子がセット用、２つの端子がリセット用であり、
    前記電子シナプスが、シナプス前電子ニューロンの軸索とシナプス後電子ニューロンの樹状突起とを相互接続させるように構成される、請求項２１に記載のコンピュータ・プログラム。
JP2013546624A 2010-12-30 2011-10-18 電子シナプスを含むシステム、装置およびコンピュータ・プログラム（強化学習のための電子シナプス） Active JP5907994B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/982,505 2010-12-30
US12/982,505 US8892487B2 (en) 2010-12-30 2010-12-30 Electronic synapses for reinforcement learning
PCT/EP2011/068183 WO2012089360A1 (en) 2010-12-30 2011-10-18 Electronic synapses for reinforcement learning

Publications (2)

Publication Number Publication Date
JP2014504756A JP2014504756A (ja) 2014-02-24
JP5907994B2 true JP5907994B2 (ja) 2016-05-11

Family

ID=44852931

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013546624A Active JP5907994B2 (ja) 2010-12-30 2011-10-18 電子シナプスを含むシステム、装置およびコンピュータ・プログラム（強化学習のための電子シナプス）

Country Status (8)

Country Link
US (1) US8892487B2 (ja)
EP (1) EP2641214B1 (ja)
JP (1) JP5907994B2 (ja)
KR (1) KR101507671B1 (ja)
CN (1) CN103282919B (ja)
CA (1) CA2817802C (ja)
TW (1) TWI515670B (ja)
WO (1) WO2012089360A1 (ja)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9405975B2 (en) 2010-03-26 2016-08-02 Brain Corporation Apparatus and methods for pulse-code invariant object recognition
US8712940B2 (en) * 2011-05-31 2014-04-29 International Business Machines Corporation Structural plasticity in spiking neural networks with symmetric dual of an electronic neuron
US8874498B2 (en) 2011-09-16 2014-10-28 International Business Machines Corporation Unsupervised, supervised, and reinforced learning via spiking computation
US8738554B2 (en) * 2011-09-16 2014-05-27 International Business Machines Corporation Event-driven universal neural network circuit
US8626684B2 (en) 2011-12-14 2014-01-07 International Business Machines Corporation Multi-modal neural network for universal, online learning
US9412041B1 (en) 2012-06-29 2016-08-09 Brain Corporation Retinal apparatus and methods
US9436908B2 (en) * 2013-02-22 2016-09-06 Qualcomm Technologies Inc. Apparatus and methods for rate-modulated plasticity in a neuron network
US9436909B2 (en) 2013-06-19 2016-09-06 Brain Corporation Increased dynamic range artificial neuron network apparatus and methods
US9552546B1 (en) 2013-07-30 2017-01-24 Brain Corporation Apparatus and methods for efficacy balancing in a spiking neuron network
KR20150016089A (ko) * 2013-08-02 2015-02-11 안병익 신경망 컴퓨팅 장치 및 시스템과 그 방법
US9418331B2 (en) * 2013-10-28 2016-08-16 Qualcomm Incorporated Methods and apparatus for tagging classes using supervised learning
US20150286925A1 (en) * 2014-04-08 2015-10-08 Qualcomm Incorporated Modulating plasticity by global scalar values in a spiking neural network
KR102366783B1 (ko) * 2014-07-07 2022-02-24 광주과학기술원 뉴로모픽 시스템 및 뉴로모픽 시스템의 동작방법
KR102255309B1 (ko) * 2014-10-17 2021-05-25 삼성전자주식회사 3차원 구조의 인공 뉴런 반도체 소자 및 이를 이용한 인공 뉴런 반도체 시스템
US9881349B1 (en) 2014-10-24 2018-01-30 Gopro, Inc. Apparatus and methods for computerized object identification
GB201419355D0 (en) 2014-10-30 2014-12-17 Ibm Neuromorphic synapses
GB2532787A (en) 2014-11-28 2016-06-01 Ibm Sensor arrangement for position sensing
KR101701250B1 (ko) * 2015-08-03 2017-02-01 서울대학교산학협력단 딥 빌리프 네트워크를 위한 복수 레이어가 적층된 뉴런 어레이 및 뉴런 어레이 동작 방법
US9767407B2 (en) 2015-09-18 2017-09-19 Samsung Electronics Co., Ltd. Weighting device, neural network, and operating method of the weighting device
KR102446409B1 (ko) 2015-09-18 2022-09-22 삼성전자주식회사 시냅스 메모리 소자의 제조방법
CN107194462B (zh) * 2016-03-15 2020-05-19 清华大学 三值神经网络突触阵列及利用其的神经形态计算网络系统
CN107368888B (zh) * 2016-05-11 2021-05-25 上海磁宇信息科技有限公司 类脑计算系统及其突触
US11308383B2 (en) 2016-05-17 2022-04-19 Silicon Storage Technology, Inc. Deep learning neural network classifier using non-volatile memory array
US10713562B2 (en) * 2016-06-18 2020-07-14 International Business Machines Corporation Neuromorphic memory circuit
US10892330B2 (en) * 2016-07-06 2021-01-12 International Business Machines Corporation FET based synapse network
US10423878B2 (en) 2016-09-07 2019-09-24 International Business Machines Corporation Artificial neuron apparatus
US10748060B2 (en) * 2016-10-14 2020-08-18 Intel Corporation Pre-synaptic learning using delayed causal updates
US10090047B2 (en) 2016-11-09 2018-10-02 International Business Machines Corporation Memory cell structure
CN108073982B (zh) * 2016-11-18 2020-01-03 上海磁宇信息科技有限公司 类脑计算系统
CN108154225B (zh) * 2016-12-06 2021-09-03 上海磁宇信息科技有限公司 一种使用模拟计算的神经网络芯片
KR101997868B1 (ko) 2017-02-14 2019-07-09 서울대학교 산학협력단 뉴로모픽 시스템, 및 기억 장치
JPWO2018163005A1 (ja) * 2017-03-10 2020-01-23 株式会社半導体エネルギー研究所 タッチパネルシステム、電子機器および半導体装置
US11222260B2 (en) * 2017-03-22 2022-01-11 Micron Technology, Inc. Apparatuses and methods for operating neural networks
US10748630B2 (en) 2017-11-29 2020-08-18 Silicon Storage Technology, Inc. High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks
US10803943B2 (en) 2017-11-29 2020-10-13 Silicon Storage Technology, Inc. Neural network classifier using array of four-gate non-volatile memory cells
US11087207B2 (en) 2018-03-14 2021-08-10 Silicon Storage Technology, Inc. Decoders for analog neural memory in deep learning artificial neural network
JP6896678B2 (ja) 2018-07-02 2021-06-30 株式会社東芝 強化学習システム
KR102618546B1 (ko) * 2018-09-03 2023-12-27 삼성전자주식회사 2차원 어레이 기반 뉴로모픽 프로세서 및 그 동작 방법
US11270763B2 (en) * 2019-01-18 2022-03-08 Silicon Storage Technology, Inc. Neural network classifier using array of three-gate non-volatile memory cells
US11409352B2 (en) 2019-01-18 2022-08-09 Silicon Storage Technology, Inc. Power management for an analog neural memory in a deep learning artificial neural network
US11023559B2 (en) 2019-01-25 2021-06-01 Microsemi Soc Corp. Apparatus and method for combining analog neural net with FPGA routing in a monolithic integrated circuit
US10720217B1 (en) 2019-01-29 2020-07-21 Silicon Storage Technology, Inc. Memory device and method for varying program state separation based upon frequency of use
KR20200099252A (ko) 2019-02-13 2020-08-24 삼성전자주식회사 회로 디자인을 검증하기 위한 검증 벡터를 생성하는 장치, 회로 디자인 시스템 및 이의 강화 학습 방법
US11270195B2 (en) 2019-03-05 2022-03-08 International Business Machines Corporation Neuromorphic computing in dynamic random access memory
US11423979B2 (en) 2019-04-29 2022-08-23 Silicon Storage Technology, Inc. Decoding system and physical layout for analog neural memory in deep learning artificial neural network
KR102425869B1 (ko) * 2019-12-09 2022-07-28 광주과학기술원 씨모스에 기반하는 크로스바 어레이 딥러닝 가속기
JP7237891B2 (ja) * 2020-07-15 2023-03-13 ソフトバンク株式会社 学習実行装置、プログラム、及び学習実行方法
US11790033B2 (en) * 2020-09-16 2023-10-17 International Business Machines Corporation Accelerated Quasi-Newton methods on analog crossbar hardware
EP4002220A1 (en) * 2020-11-12 2022-05-25 Commissariat à l'Energie Atomique et aux Energies Alternatives Synapse circuit for three-factor learning
CN113723602A (zh) * 2021-09-01 2021-11-30 哈尔滨工程大学 一种光纤结构的神经突触方案

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03209553A (ja) * 1990-01-11 1991-09-12 Mitsubishi Electric Corp 自己組織化機能を備えた神経回路網装置
IT1244911B (it) 1991-01-31 1994-09-13 Texas Instruments Italia Spa Architettura per rete neuronica fisicamente inseribile nel processo di apprendimento.
US5274748A (en) 1991-12-27 1993-12-28 At&T Bell Laboratories Electronic synapse circuit for artificial neural network
JPH05210649A (ja) 1992-01-24 1993-08-20 Mitsubishi Electric Corp 神経回路網表現装置
US5479579A (en) * 1992-09-04 1995-12-26 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Cascaded VLSI neural network architecture for on-line learning
US5355528A (en) * 1992-10-13 1994-10-11 The Regents Of The University Of California Reprogrammable CNN and supercomputer
GB9226192D0 (en) 1992-12-16 1993-02-10 Univ London Neural network architecture
JPH06290286A (ja) * 1993-04-06 1994-10-18 Ricoh Co Ltd シナプス回路
US5781702A (en) 1995-06-07 1998-07-14 Univ South Western Hybrid chip-set architecture for artificial neural network system
US6199057B1 (en) * 1996-10-23 2001-03-06 California Institute Of Technology Bit-serial neuroprocessor architecture
US6829598B2 (en) 2000-10-02 2004-12-07 Texas Instruments Incorporated Method and apparatus for modeling a neural synapse function by utilizing a single conventional MOSFET
ATE453903T1 (de) * 2001-12-21 2010-01-15 Ibm Verfahren und schaltungen zur bildskalierung mit hilfe neuronaler netzwerke
JP2007504576A (ja) * 2003-01-17 2007-03-01 アヤラ，フランシスコ，ジェイ 人工知能を開発するためのシステム及び方法
US7430546B1 (en) 2003-06-07 2008-09-30 Roland Erwin Suri Applications of an algorithm that mimics cortical processing
TW594843B (en) * 2003-07-30 2004-06-21 Powerchip Semiconductor Corp Management system of monitor wafers
GB0506253D0 (en) 2005-03-29 2005-05-04 Univ Ulster Electronic synapse device
US7533071B2 (en) 2005-06-28 2009-05-12 Neurosciences Research Foundation, Inc. Neural modeling and brain-based devices using special purpose processor
US7599895B2 (en) 2005-07-07 2009-10-06 Knowm Tech, Llc Methodology for the configuration and repair of unreliable switching elements
US8103602B2 (en) 2006-12-29 2012-01-24 Neurosciences Research Foundation, Inc. Solving the distal reward problem through linkage of STDP and dopamine signaling
EP2263165A4 (en) 2008-03-14 2011-08-24 Hewlett Packard Development Co NEUROMORPHIC CIRCUIT
US20090292661A1 (en) 2008-05-21 2009-11-26 Haas Alfred M Compact Circuits and Adaptation Techniques for Implementing Adaptive Neurons and Synapses with Spike Timing Dependent Plasticity (STDP).
GB0811057D0 (en) 2008-06-17 2008-07-23 Univ Ulster Artificial neural network architecture
US8463723B2 (en) 2009-03-01 2013-06-11 International Business Machines Corporation Electronic synapse
US8510244B2 (en) * 2009-03-20 2013-08-13 ISC8 Inc. Apparatus comprising artificial neuronal assembly

Also Published As

Publication number Publication date
JP2014504756A (ja) 2014-02-24
EP2641214B1 (en) 2017-06-14
KR20130114183A (ko) 2013-10-16
US20140310220A1 (en) 2014-10-16
US8892487B2 (en) 2014-11-18
TW201227545A (en) 2012-07-01
CN103282919B (zh) 2016-02-17
CN103282919A (zh) 2013-09-04
CA2817802C (en) 2018-07-24
CA2817802A1 (en) 2012-07-05
EP2641214A1 (en) 2013-09-25
TWI515670B (zh) 2016-01-01
WO2012089360A1 (en) 2012-07-05
KR101507671B1 (ko) 2015-03-31

Similar Documents

Publication Publication Date Title
JP5907994B2 (ja) 電子シナプスを含むシステム、装置およびコンピュータ・プログラム（強化学習のための電子シナプス）
US10628732B2 (en) Reconfigurable and customizable general-purpose circuits for neural networks
US11055609B2 (en) Single router shared by a plurality of chip structures
US11238343B2 (en) Scalable neural hardware for the noisy-OR model of Bayesian networks
US11295201B2 (en) Time-division multiplexed neurosynaptic module with implicit memory addressing for implementing a neural network
US8812414B2 (en) Low-power event-driven neural computing architecture in neural networks
US9852006B2 (en) Consolidating multiple neurosynaptic core circuits into one reconfigurable memory block maintaining neuronal information for the core circuits
US11074496B2 (en) Providing transposable access to a synapse array using a recursive array layout
US20200034687A1 (en) Multi-compartment neurons with neural cores
US9373073B2 (en) Time-division multiplexed neurosynaptic module with implicit memory addressing for implementing a universal substrate of adaptation
US9189731B2 (en) Structural plasticity in spiking neural networks with symmetric dual of an electronic neuron
US8918351B2 (en) Providing transposable access to a synapse array using column aggregation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150818

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160322

R150 Certificate of patent or registration of utility model

Ref document number: 5907994

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150