JP6734876B2 - ニューロモーフィック処理デバイス - Google Patents

Description

本発明は、一般にはニューロモーフィック処理デバイスに関し、より詳細には、抵抗変化型メモリ・セルに基づくニューロン回路の集合体（assemblage）を使用するニューロモーフィック処理デバイスに関する。

ニューロモーフィック技術は、神経系の生物学的構造によって着想を与えられたコンピューティング・システムに関するものである。ＣＭＯＳロジックとフォン・ノイマン型アーキテクチャとに基づく従来のコンピューティング・パラダイムは、最新のコンピュータ・システムに対する増大し続ける処理要求を満たすには不十分になりつつある。従来のフォン・ノイマン型コンピュータ・アーキテクチャは、生体系と比較すると、電力消費および必要な空間の点できわめて非効率的である。これらの問題は、人間の脳のきわめて効率的な演算パラダイムを理解するためと、かつてない演算能力を備えた人工認知システムを作製するための重要な研究努力を促してきた。

ニューロンはシナプスとともに、脳における２つの基本的な演算ユニットである。ニューロンは、受け取った入力信号を統合することができる。生体ニューロンでは、細胞内部の電荷をその外部から分離するために薄い脂質二分子膜が使用される。記憶されたニューロンの状態を表す膜電位は、ニューロン入力信号の到来によって漸進的に変更される。膜電位が特定の電圧閾値を超えると、ニューロンは「発火」し、「活動電位」または「スパイク」と呼ばれる出力信号を発生させ、次に、その初期状態に戻る。これらのスパイクは、ニューロン活動の結果として結合強度（「可塑性」または「シナプス荷重」）を変化させるシナプスを介して他のニューロンに伝達される。

現在の人工ニューロンの実現形態のほとんどは、ハイブリッド・アナログ／デジタルＶＬＳＩ回路に基づいており、いくつかのトランジスタが実現される必要がある。電流モード、電圧モードおよびサブスレッショルド・トランジスタ回路などの従来のＣＭＯＳ回路を使用して積分発火ニューロン機能をエミューレートするのは比較的複雑であり、高密度シナプス配列とのシームレスな統合を妨げている。さらに、従来のＣＭＯＳソリューションは、膜電位をキャパシタに格納することに依存している。テクノロジ・ノードの飛躍的スケーリングをもってしても、生体ニューロン膜において測定される容量密度（約１０ｆＦ／μｍ２）を実現することは困難である。

相変化メモリ（ＰＣＭ）セルなどの抵抗変化型メモリ・セルは、ニューラル・ハードウェアの実現に適する候補と認められてきた（例えば"The Ovonic Cognitive Computer - A New Paradigm",Ovshinsky, Proc. E/PCOS, 2004および"NovelApplications Possibilities for Phase-Change Materials and Devices", Wrightet al., Proc. E/PCOS, 2013参照）。抵抗変化型メモリ・セルは、１対の電極の間に配置された一定量の抵抗物質の可変抵抗特性に依存するプログラマブル抵抗素子（device）である。これらのセルは、メモリスタ、すなわち、素子を流れた電流の履歴を記憶する素子である。スケーラブルで効率的なメモリスタのシナプスが実証されているが、生体ニューロンの重要な属性の大部分を獲得することができる実用的な人工ニューロンのための具体的な実現は、より困難である。

生体系の信号符号化および信号伝達では、決定的ニューロン・ダイナミクスに加えて、確率的ニューロン・ダイナミクスが重要な役割を果たす。IEEE JESTCS, Vol.5, No.2,June 2015, "Memristors Empower SpikingNeurons With Stochasticity", Al-Shedival et al.は、回路ニューロン実装形態においてニューロン内確率性を人工的に導入するために、金属酸化膜メモリスタを使用することを開示している。

"The Ovonic Cognitive Computer- A New Paradigm", Ovshinsky, Proc. E/PCOS, 2004 "Novel ApplicationsPossibilities for Phase-Change Materials and Devices", Wright et al.,Proc. E/PCOS, 2013 IEEE JESTCS, Vol.5, No.2,June 2015,"Memristors Empower Spiking Neurons With Stochasticity", Al-Shedivalet al.

本発明の少なくとも一実施形態によると、ニューロモーフィック処理デバイスが提供される。

このデバイスは、入力データ信号を受け取るためのデバイス入力と、ニューロン回路の集合体とを有する。各ニューロン回路は、セル抵抗によって示されるニューロンの状態を記憶するとともに、ニューロンの状態を変化させるようにセル抵抗をプログラミングするためのニューロン入力信号を受け取るようになされた抵抗変化型メモリ・セルと、セル抵抗が閾値を超えるのに応答してニューロン出力信号を供給するためのニューロン出力回路とを含む。デバイスは、デバイス入力とニューロン回路の集合体とに接続された、入力データ信号に基づいて集合体のためのニューロン入力信号を発生させるための入力信号発生器を含む。デバイスは、集合体のニューロン出力回路に接続され、集合体のニューロン出力信号に依存するデバイス出力信号を生成するためのデバイス出力回路をさらに含み、それによって処理デバイスは集合体の抵抗変化型メモリ・セルの確率性を利用する。

以下、添付図面を参照しながら、例示のための非限定的な例により本発明の実施形態についてより詳細に説明する。

本発明を具現化するニューロモーフィック処理デバイスを示す概略図である。 図１のデバイスのニューロン回路集合体を示す図である。 集合体のニューロン回路において使用するためのＰＣＭセルを示す概略図である。 ＰＣＭセルを使用するニューロン回路の動作特性を示す図である。 ＰＣＭセルを使用するニューロン回路の動作特性を示す図である。 ＰＣＭセルを使用するニューロン回路の動作特性を示す図である。 ＰＣＭニューロン回路の確率特性を示す図である。 ＰＣＭニューロン回路の確率特性を示す図である ＰＣＭニューロン回路の一実施形態を示す図である。 図９のニューロン回路の動作を示す図である。 ＰＣＭニューロン回路の他の実施形態を示す図である。 ＰＣＭニューロン回路の他の実施形態を示す図である。 ＰＣＭニューロン回路の他の実施形態を示す図である。 本発明の一実施形態における高周波信号表現のためのニューロモーフィック処理デバイスを示す図である。 図１４のデバイスの動作結果を示す図である。 図１４のデバイスの動作結果を示す図である。 図１４のデバイスの動作結果を示す図である。

図１に、処理対象の入力データ信号を受け取るためのデバイス入力２を有する、本発明を具現化するニューロモーフィック処理デバイス１を示す。デバイス１は、本明細書において生体系との類比によりニューロンの「集団（population）」とも呼ぶニューロン回路の集合体３を含む。図中で破線ブロックにより示すように、集合体３は一般に、以下で詳述するように、単一のニューロン集団または複数の構成要素集団、または「部分集合体」を含む。デバイス入力２およびニューロン回路の集合体３には入力信号発生器４が接続されている。入力信号発生器４は、動作時に入力データ信号に基づいてニューロン集合体３のためのニューロン入力信号を発生させるように動作可能である。デバイス出力回路５が、集合体のニューロン回路からニューロン出力信号を受け取るためにニューロン集合体３に接続されている。デバイス出力回路５は、動作時、集合体のニューロン出力信号に基づいて、デバイス出力信号を生成するように動作可能である。

図１の破線矢印６で示すように、実施形態によっては、入力信号発生器４は、集合体のニューロン出力信号に応答してもよい。そのような実施形態では、入力信号発生器４は、ニューロン出力信号に基づいて集合体のためのニューロン入力信号の発生を制御するように構成することができる。別の任意選択の特徴として、入力信号発生器は、破線矢印７で示す確率性制御入力に応答してもよい。その場合、入力信号発生器４は、確率性制御入力７に基づいて、集合体のためのニューロン入力信号の発生を制御するように構成することができる。この任意選択機能については、以下で詳述する。

図２は、ニューロン集合体３の一実施形態を示す概略図である。これは、各ニューロン回路１０が入力１１と出力１２とを有する多数Ｎのニューロン回路１０を含む単一のニューロン集団を含む。集団内のニューロン回路の数Ｎは、様々な用途によって異なり得る。典型的な集団は、少なくとも数十個のニューロンを含んでよく、より一般的には少なくとも数百個のニューロンを含み得る。ニューロン入力１１およびニューロン出力１２は、それぞれ、入力信号発生器４およびデバイス出力回路５に接続される。（概略図では単純な形態で図示されているが、実際には、集団３の入力１１および出力１２は、直接、または、例えばスイッチなどの１つまたは複数の介在構成要素を介して間接的に、構成要素４、５に接続され得る）。各ニューロン回路１０は、抵抗変化型メモリ・セル１４とニューロン出力回路１５とを含む。以下で各例によって示すように、各ニューロン回路１０の抵抗変化型メモリ・セル１４は、セル抵抗によって示される、ニューロンの状態または「膜電位」（ＭＰ）を記憶するようになされる。メモリ・セル１４は、さらに、ニューロンの状態を変化させるようにセル抵抗をプログラミングするために、入力信号発生器４によってニューロン入力１１に供給されるニューロン入力信号を受け取るようになされる。ニューロン出力回路１５は、後述するように、セル抵抗が閾値を超えるのに応答してニューロン出力１２にニューロン出力信号を供給するようになされる。各ニューロン出力信号は、ニューロンの発火に対応するスパイク・イベントを表す。

処理デバイス１の動作時、処理対象のデータ信号がデバイス入力２に供給され、入力信号発生器４が、ニューロンの状態を変化させるようにニューロン集団３のメモリ・セル１４に印加されるニューロン入力信号を発生させる。これらのニューロン入力信号は、入力データ信号に依存する。したがって、信号発生器４によって、入力データ信号の１つまたは複数の属性に基づいてニューロン入力信号の１つまたは複数の属性が決定される。個々のニューロン回路は、それぞれのメモリ・セル１４の抵抗が閾値レベルを超えた場合に発火してニューロン出力信号（スパイク）を発生させる。デバイス出力回路５は、ニューロン出力信号を受け取り、それに基づいてデバイス出力信号を生成する。すなわち、出力回路５によって、ニューロン集団３の集合的な出力の１つまたは複数の属性に基づいてデバイス出力信号の１つまたは複数の属性が決定される。

典型的な用途では、個々のニューロン回路１０は、信号発生器４から一連のニューロン入力信号を受け取る。次に、任意のニューロン１０への一連の入力信号が、セル抵抗を漸次に変化させる。特に、入力信号発生器４は、集合体３のためのニューロン入力信号を周期的に発生させて、入力データ信号に基づいて各ニューロン入力信号の少なくとも１つの属性を制御するようになされることが好ましい。したがって、ニューロン入力信号は、入力データ信号に基づいて時間とともに変化する。以下で詳述する実施形態では、各ニューロン入力信号は、プログラミング・パルスを含み、入力信号発生器４は、入力データ信号の少なくとも１つの時間依存属性に基づいて少なくとも１つのプログラミング・パルス属性を制御する。例えば、プログラミング・パルス全体の、振幅、存続期間（例えばパルス幅）、パワー、立ち下がり形状、または構成要素パルスの数のうちの１つまたは複数を信号発生器４により制御することができる。したがって、連続したプログラミング・パルスは、入力データ信号の時間的変動に基づいて変化する。デバイス出力回路５は、デバイス出力回路５による集団３からのニューロン出力信号の受け取りレートに基づいて、デバイス出力信号の少なくとも１つの属性を制御するようになされてもよい。好ましい実施形態のニューロン回路１０は、一連の蓄積／発火サイクル、すなわち、結果として出力スパイクが発生するセル抵抗の漸進的変動が可能である。特に、各ニューロン１０のニューロン出力回路１５は、セル抵抗が閾値を超えることと、その結果としてのスパイク・イベントとに応答して、セル抵抗の初期（事前蓄積）ニューロン状態へのリセットを制御するように動作可能である。これは、以下で詳述するように、ニューロン出力回路を介したメモリ・セルへのリセット・パルスの選択的印加によって達成することができる。

入力信号発生器４およびデバイス出力回路５の動作の正確な詳細は、実行する特定の処理動作に依存し、以下で各例を詳細に説明する。ただし、一般には、入力データ信号に応じて集合体の抵抗変化型メモリ・セルをプログラミングし、集合体のニューロン出力に基づいてデバイス出力信号を生成することによって、処理デバイス１は、信号処理動作における集合体の抵抗変化型メモリ・セルの確率性を利用する。抵抗変化型メモリ・セルは、ニューロンの状態を記憶するとともに、ニューロン集団の集合的出力において表されるニューロン内とニューロン間の両方の確率的作用をもたらす。したがって本発明の実施形態は、単一セルではなくセルの集団を使用して実質的にすべての情報が符号化される生体系に直接対応するニューロン集団の確率的挙動を利用する、効率的ニューロモーフィック処理デバイスを提供する。

以下の各例では、ニューロン回路１０における抵抗変化型メモリ・セルはＰＣＭセルである。これらのＰＣＭ方式のニューロンにおいて中核となる概念は、ナノスケールの相変化デバイス内の相構成を使用して、ニューロンの状態、すなわち、ニューロン膜電位をエミューレートすることである。この相変化デバイスは、２つの電極に挟まれたナノメートルサイズの相変化材料からなる。この相構成は、ニューロン入力信号に基づいて経時変化する。ここでは「マッシュルーム・セル」タイプのＰＣＭセルの概略図を、図３に示す。ＰＣＭセル２０は、第１の「上部」電極（ＴＥ）と第２の「下部」電極（ＢＥ）との間に配置されたＧＳＴ（ゲルマニウム・アンチモン・テルル）などの一定量のカルコゲニド材料を含む。より小さい下部電極は、電極にプログラミング・パルスを印加することによって、カルコゲニドを加熱するためのヒータの役割を果たす。製造時のデバイスでは、カルコゲニド材料は（低抵抗）結晶相である。結晶母体内に（高抵抗）非晶質領域を形成するために、セルを流れる電流によって誘起される結果のジュール加熱が相変化材料の要部を溶融させるような十分に大きい振幅の電圧パルス（リセット・パルスと呼ぶ）が印加される。パルスが突然遮断された場合、ガラス転移により溶融材料が急冷されて非晶相になる。これにより、図に示すように、通常であれば結晶質であるカルコゲニド内に高抵抗の非晶質材料の領域が形成される。この非晶質領域の有効厚さｕａは、デバイス内の相構成の尺度である。この状態で、電極を介して所定の閾値スイッチング電圧未満の電圧がセルに印加された場合、電流は非常に小さいため、ジュール加熱がきわめてわずかしかなく、セル体積に実質的に相変化がない。しかし、この閾値電圧を超える（ただし、デバイス内において達する温度が溶融温度を下回るようにリセット・パルス振幅未満である）プログラミング（「書き込み」）パルスの印加により、その結果のジュール加熱がセル内の結晶成長を誘起し、非晶質の厚さｕａが減少する。結晶化の程度は、結晶化パルスの属性、例えば、結晶化パルスのパワーおよび存続期間を変化させることによって制御することができる。結晶化パルスの連続印加の結果、ｕａが漸進的に減少する。ｕａが減少すると、セルの電気抵抗が低下する。セル抵抗は、電極に低電圧の「読み取り信号」を印加し、その結果としてセルに流れる電流を測定することによって測定可能である。読み取り電圧レベルは、プログラムされたセル状態が読み取り動作によって乱されないように十分に低い。

以下の各実施形態におけるニューロン回路１０は、ニューロンの状態を記憶するためにＰＣＭセル２０内の相構成を使用する。ニューロン入力信号は、上述のようにニューロンの状態を変化させるようにセル抵抗の低下をもたらす。ニューロン出力回路１５は、ニューロンの状態を測定するためにセル抵抗を検出する。セル抵抗が閾値レベルを下回ると、ニューロンは発火し、ニューロン出力回路１５はニューロン出力１２にニューロン出力信号（スパイク）を供給する。ニューロン出力回路は、次に、セル抵抗を初期の事前蓄積ニューロン状態にリセットするためにリセット・パルスもセルに印加する。図４ないし図６に、このようなＰＣＭニューロン１０の動作特性を示す。これらの実験結果は、９０ｎｍテクノロジ・ノードで製造されたマッシュルーム・タイプのＰＣＭセル２０を使用して得られたものである。図４は、ニューロン入力信号として印加された典型的なリセット・パルスおよび一連の結晶化パルスと、その結果としてＰＣＭセル２０を流れる電流とを示す。図５は、結晶化パルス数の関数として、ＰＣＭセルの電気コンダクタンスで表したニューロンの状態の漸進的変化を示す。一定数のパルスの後、コンダクタンス勾配が急激に上昇し、ニューロンの状態が発火閾値を超える。この発火イベントの急激な発生は、ＰＣＭ結晶化ダイナミクスに特有の正のフィードバック機構によって可能となり、生体細胞における電圧依存作用電位の発生に類似している。リセット・パルスの印加後、結晶化パルスのパワーと存続期間（幅）とによって制御可能な発火レートでこの動作サイクルを繰り返す。これを図６に示す。図６は、結晶化パルス幅（２０ｎｓおよび５０ｎｓ）と振幅（２Ｖおよび４Ｖ）の異なる組合せの場合の発火レートの変動を示す。これらのＰＣＭニューロンの積分発火ダイナミクスは、きわめて高頻度の更新（パルス周期１０２ｎｓ、１０ＭＨｚの更新周波数に対応）から生体関連時間スケール以上（パルス周期１０８ｎｓ、１０Ｈｚの更新周波数に対応）までの範囲の時間スケールわたって一貫している。ＰＣＭセルは、１０１２サイクルを超えるスイッチング・サイクルに耐えることがわかっており、これは１００Ｈｚの更新頻度で３００年を超える動作に対応すると考えられる。

ＰＣＭニューロン１０の集団３において、ＰＣＭセルはニューロンの状態を記憶するための（単独の）機構を提供するだけなく、処理デバイス１において利用されるニューロン内およびニューロン間確率性も提供する。この確率的挙動の由来について、以下で説明する。

複数のＰＣＭニューロンの集団にわたる積分発火応答のばらつきは、主として製造プロセスに付随する構造的ばらつきから生じる。相変化層の厚さおよび電極寸法などのセルの物理属性は、ウエハ全体にわたって変動することが多く、時間積分特性およびそれに付随する発火応答の相違を生じさせる。この構造的ばらつきは、デバイスが、将来のテクノロジ・ノードになるとさらに増大する可能性がある。しかし、より複雑な現象は、個別の相変化ベースのニューロンの確率的発火応答である。その原因が、溶融−急冷プロセスによって形成された非晶質領域が各リセット・プロセス後に異なる原子配置を有するという事実に依存することを、証拠が示唆している。これは、溶融状態の原子の高い移動度によって、初期状態またはパルス特性のわずかな変動であっても、その結果としてガラス転移時に新しい非晶質ガラス状態が形成されることが保証されるためである。最終的に、異なるガラス状態の結果として、ガラス相の粘度および拡散度の変化に由来する成長速度の相違が生じる。非晶質領域は、結晶核の異なる分布を有する可能性も高く、それによって結晶化パルスの印加時の異なる結晶化速度、およびニューロンの異なる発火応答が生じる。確率的発火応答の別の原因は、蓄積パルスの印加時に付加的結晶核が形成されることである。例えば、Ｇｅ２Ｓｂ２Ｔｅ５（ＧＳＴ）における結晶化の仕組みは核生成に支配されており、核生成も本質的に確率的であり、結晶核形成の確率は温度依存度が大きい。

固有の確率性により、単一のＰＣＭニューロン１０における複数の積分発火サイクルの結果としてスパイク発生回数が分散する。これを図７に示す。図７は、固定存続期間の異なる結晶化パルス幅について２０回にわたる試行においてニューロンを発火させるのに必要なパルス数を示す。必要パルス数は変動するのがわかり、ニューロンの平均発火レートの逆数に対応する平均値を中心として対称形に分布している。この分布の分散は、パルスのパワーおよび幅の増加とともに減少する傾向がある。ＰＣＭニューロン１０の集団３において、個別ニューロンの固有確率性とニューロン間のばらつきとの組合せの結果、図８に示す測定値によって実証されるように、一貫性のある集団ダイナミクスとなる。これは、５０個のＰＣＭニューロンのサンプルの発火レート応答曲線を示している。太線は集団の平均発火レートを示し、陰影領域は標準偏差に基づく応答包絡線を示す。挿入図は、１００ｎｓの入力パルス幅の場合の個別ニューロンの応答分布を示す。ニューロン間ばらつきの結果、集団全体にわたる発火レートの分布が生じる一方、個別ニューロンはそれぞれの特性線形レート応答および固有確率的発火応答を維持する。個別発火レートは、線形で入力信号強度とともに増大する平均集団発火レートを中心として対称に分布している。

以下、ＰＣＭニューロン回路１０の例示の実施形態について、図９ないし図１３を参照しながら説明する。これらのニューロン回路は、周知の材料処理技術を使用して集積ナノ電子回路として製造可能である。処理デバイス１におけるこれらのニューロン回路の動作のために、入力信号発生器４は、セル抵抗をプログラミングするためのプログラミング・パルスを提供する書き込み部ＶＷと、読み取り部ＶＲとを（少なくとも）それぞれが含むニューロン入力信号を発生させるようになされる。各ニューロン回路のニューロン出力回路１５は、セル抵抗に依存する読み取り信号を生成するための読み取り回路と、読み取り信号に基づいてニューロン出力信号を供給するための出力端子とを含む。ニューロン出力回路は、読み取り信号に依存する測定信号を記憶するための記憶回路と、スイッチ・セットとをさらに含む。スイッチ・セットは、各ニューロン入力信号の読み取り部のメモリ・セルへの印加時に、記憶回路に読み取り信号を供給し、読み取り部の印加後に、セル抵抗が前述の閾値を超えるのに応答してニューロン回路に測定信号を印加してセル抵抗を初期の事前蓄積ニューロン状態にリセットすることを可能にするように動作可能である。

ニューロン回路１０の第１の実施形態を図９に示す。このニューロン回路は、上部セル電極に接続された入力端子２２を有するＰＣＭセル２０と、２３に概略的に示されているニューロン出力回路とを含む。加算器２４を介してニューロン入力１１から入力端子２２にニューロン入力信号が供給される。ニューロン入力信号は、読み取り部と書き込み部とを含む。この例では、ニューロン入力信号は、先頭の読み取り部ＶＲと後続の書き込み部ＶＷとを備える単純な階段形状を有する。読み取り部ＶＲは、相変化に必要な閾値電圧よりも小さい振幅を有する。本実施形態の読み取り回路は、ＰＣＭセル２０と、ここでは信号接地である基準端子との間に接続された読み取り抵抗２６を含む。読み取り信号は、セル抵抗に逆比例して変化する読み取り抵抗間の電圧によって与えられる。本実施形態におけるスイッチ・セットは、スイッチＳ１およびＳ２を含む。読み取り抵抗２６は、第１のスイッチＳ１を介して、漏れ積分器２８の形態の記憶回路に選択的に接続可能である。漏れ積分器２８は、図のようにキャパシタＣと抵抗器Ｒ１およびＲ２とに接続された演算増幅器４０によって実装可能である。スイッチＳ１を介して接続されると、積分器２８は読み取り信号を積分し、それに依存する測定信号Ｖｍを記憶する。比較器４１が測定信号Ｖｍを、図中で電圧Ｖｔｈによって表されている発火閾値と比較する。比較器４１と、ニューロン出力１２を提供する出力端子３０との間に出力スイッチＳｏが接続されている。Ｖｍ≦Ｖｔｈの場合、スイッチＳｏは出力端子を接地に接続する。セル２０の抵抗が閾値を下回ると、測定信号Ｖｍが発火閾値Ｖｔｈを超える。その場合、比較器は、スパイク発生器回路４３によって周期的スパイク列が発生する信号経路４２に出力端子を接続するために、Ｓｏの切り替えを引き起こす制御信号を発生させる。スパイク発生器回路４３は、スイッチＳｏが閉じている間に出力端子３０に少なくとも１つのスパイクが確実に供給されるようにするために、積分器２８の漏れ時間に従って選定される周期Ｔｐによりスパイクを発生させることができる。この構成における信号経路４２は、集団３内の複数のニューロン回路間で共有することができる。

スイッチＳ１およびＳ２は、ニューロン入力信号に応答して構成可能である。スイッチＳ１は、セル２０への読み取り部の印加時に積算器２８に読み取り信号を供給するように、読み取り部ＶＲに応答して動作可能である。スイッチＳ２は、セル２０への書き込み部の印加時に加算器２４の入力３１に測定信号Ｖｍを供給するように、書き込み部ＶＷに応答して動作可能である。したがって測定信号Ｖｍは書き込み部ＶＷに付加され、その結果の結合信号がセル入力２２に供給される。測定信号ＶｍはＰＣＭセル２０の抵抗に逆依存し、セル抵抗が低下するにつれて増大する。この回路は、セル抵抗が閾値レベルを下回ると測定信号Ｖｍがセルをその高抵抗状態にリセットするだけ十分に大きくなるようになされる。また、測定信号Ｖｍにより、スイッチＳｏはニューロン出力信号（スパイク）を出力端子３０に供給する。

ニューロン回路の動作を図１０の信号タイミング図によって示す。この図の最上段（ａ）は、入力１１に印加される一連のニューロン入力信号を示す。（ｂ）段および（ｃ）段の陰影領域は、入力信号の書き込み部ＶＷおよび読み取り部ＶＲにそれぞれ対応するスイッチＳ１およびＳ２の閉タイミングを示す。（ｄ）段は測定信号Ｖｍを示し、（ｅ）段は端子２２における結果のセル入力を示す。測定信号Ｖｍは読み取り部ＶＲ期間中に蓄積される。結果の信号は、積分器２８によって記憶され、セル入力２２において後続の書き込み部に付加される。記憶された測定信号Ｖｍは、セル抵抗が漸進的に低下するにつれて、連続入力信号とともに漸進的に増大する。記憶された測定信号Ｖｍは、積分器２８の漏れ性により時間とともに漏れ出る。積分器２８の時定数は、記憶された信号が連続入力信号間で消散するように設定することができる。測定信号Ｖｍは、ここでは実質的に、直後に続く書き込み部ＶＷの期間のみ記憶されるだけでよい。セルに十分な入力信号が印加された後、次の入力信号（図の右側の「スパイク入力」）によって、セル２０の抵抗が閾値より下がる。次に、測定信号Ｖｍはニューロン出力回路２３において発火閾値Ｖｔｈを超えて、端子３０において出力スパイクの発生を引き起こす。（ｅ）段に示すようにこの測定信号Ｖｍがセル入力に付加されると、セル入力信号の振幅がセルをリセットするのに十分な振幅となる。

図１１にＰＣＭニューロン回路の別の実施形態を示す。この回路は、図９の回路に概ね対応し、対応する構成要素は同様の参照符号によって示される。しかし、この回路では、読み取り回路は、キャパシタＣとともに漏れ積分回路２８の一部をなす読み取り抵抗ＲＳによって設けられる。したがって、前述同様に、スイッチＳ１が閉じると読み取り信号が積分器２８に供給される。本実施形態におけるスイッチ・セットは、セル書き込み動作時にセル２０を接地するように、各ニューロン入力信号の書き込み部ＶＷに応答して動作可能な第３のスイッチＳ３を含む。これにより、キャパシタＣに蓄えられた電圧Ｖｍが、書き込み動作のためにセル２０で降下した電圧を低下させるのを防ぐ。

図１２に別のニューロン実施形態を示す。ここでのニューロン入力信号は、書き込み部ＶＷの後に続く信号部ＶＲＳＴ（ゼロ・ボルト信号レベルであってよい）で示すように、リセット部を含む。リセット部ＶＲＳＴは、集団内の複数のニューロン回路間において共用可能な信号経路５１で発生させたリセット・パルスの周期的な列からの外部発生リセット・パルスがＰＣＭセルに印加される期間を規定する。図９の回路構成要素に対応する回路構成要素は、ここでも同様の参照符号により示す。ここでは、回路は２つの入力端子を有する。第１の入力端子５２はニューロン入力信号を受け取り、第２の入力端子５３は信号経路５１に接続されている。Ｖｍ＞Ｖｔｈのときに、比較器４１によって発生させた制御信号に応答してスイッチＳ３が動作可能である。スイッチＳ３は、通常、第１の入力端子５２をセル２０に接続する。比較器４１からの制御信号に応答して、スイッチＳ３は第２の入力端子５３をセルに接続するように切り替わる。この状態で、信号経路５１からリセット・パルスがセルに印加される。したがって、セルは、出力スパイクを引き起こす入力信号のリセット部ＶＲＳＴの期間中にリセットされる。

図１３に他のニューロン実施形態を示す。本実施形態のＰＣＭセルを、抵抗変化型ＲＰＣＭによって示す。ニューロン回路は、２つの入力端子６２、６３を有する。第１の入力端子６２は、ニューロン入力１１を提供し、ニューロン入力信号を受け取る。この例におけるニューロン入力信号は、先頭の書き込み部ＶＷと、読み取り部ＶＲとリセット部ＶＲＳＴとを有する。第２の入力端子６３は、セルを低抵抗状態から高抵抗状態にリセットするために、リセット・パルス（ＲＰ）６４で示されるリセット信号を受け取る。図１２のように、リセット・パルスは、入力端子６３に接続された信号経路上のリセット・パルスの周期的な列によって供給されてもよい。読み取り回路は、読み取り抵抗ＲＳを含み、記憶回路は、読み取り抵抗ＲＳ間に選択的に接続可能なキャパシタＣを含む。読み取り抵抗ＲＳにはニューロン出力回路３０が接続されている。ここでのスイッチ・セットは、セル・リセット動作を可能にするスイッチＳ１およびＳ２を含む。第１のスイッチＳ１は、キャパシタＣによって格納された測定信号Ｖｍに応答して、セル２０に第２の入力端子６３を接続するように動作可能である。第２のスイッチＳ２は、入力端子７３でのリセット・パルスＲＰの印加に応答して、第１のスイッチＳ１に測定信号Ｖｍを印加するように動作可能である。第３のスイッチが、ニューロン入力信号の読み取り部ＶＲに応答して、キャパシタＣを読み取り抵抗ＲＳ間に接続し、それによりセル２０に対する読み取り部ＶＲの印加時に読み取り信号をキャパシタに供給するように動作可能である。第４のスイッチＳ４が、セル２０と接地との間に接続されている。スイッチＳ４は、リセット・パルスＲＰと各ニューロン入力信号の書き込み部ＶＷのそれぞれに応答して、読み取り抵抗ＲＳを短絡させるように動作可能である。これにより、回路動作の書き込みフェーズ時と読み取りフェーズ時とに、端子３０で出力信号が発生するのを防ぐ。

このニューロン回路の動作時に、連続的ニューロン入力信号の書き込み部ＶＷの印加によってセル抵抗が漸進的に低下する。読み取り部ＶＲの印加時、発火閾値に達する前にはセル抵抗が高く、読み取り抵抗ＲＳに流れる電流は無視可能であり、それによって端子３０における出力は無視可能となる。しかし、セル抵抗が発火閾値より下がると、ＲＳに大きな電流が流れ、出力端子３０においてスパイクが発生する。読み取り信号は、キャパシタＣにも供給され、キャパシタＣは、後続のリセット・フェーズ中の使用のために測定信号Ｖｍを格納する。セル抵抗が発火閾値より下がる前は、測定信号ＶｍはスイッチＳ１を閉じるには不十分であり、したがって、セルにはリセット信号は印加されない。発火後は、その結果の測定信号ＶｍはスイッチＳ１を閉じるのに十分であり、リセット・パルスＲＰがセルに印加される。

処理デバイス１における確率的ニューロンの集団により可能になる１つの演算機能は、個別のニューロンの時定数よりも数桁速い信号の有効サンプリングおよび表現である。図１４に、高周波数信号表現のための処理デバイスの一実施形態を示す。処理デバイス７０は、図２について説明したようなニューロン集団７１を含む。本実施形態の入力信号発生器７２は、集団内のすべてのニューロン回路１０に供給されるニューロン入力信号を周期的に発生させるようになされる。入力信号発生器は、振幅検出器７３とパルス発生器７４とを含む。振幅検出器７３は、デバイス入力２で入力データ信号を受け取り、サンプリング周期ＴＳで入力信号の振幅を検出する。制御入力７５が、検出された振幅を示す制御信号をパルス発生器７４に供給する。パルス発生器７４は、タイミングＴＳで集団７１内のすべてのニューロン回路１０に供給されるニューロン入力信号を周期的に発生させる。各ニューロン入力信号の少なくとも１つの属性が、制御入力７５によって示される入力信号振幅に基づいて制御される。この例では、（例えば上述の回路の例では書き込み部ＶＷの）プログラミング・パルスの幅が、入力信号の振幅により変化する。集団７１内のすべてのニューロン１０のニューロン出力回路１５にデバイス出力回路７６が接続されている。デバイス出力回路７６は、パルス・カウンタ７７と信号発生器７８とを含む。パルス・カウンタ７７は、各時間窓ＴＳ内でニューロン１０から受け取ったニューロン出力信号（スパイク）をカウントし、信号発生器７８に各ＴＳの合計カウント数Σを供給する。信号発生器７８は、処理デバイス７０の出力信号を発生させ、パルス・カウンタ７７からのカウント数Σに基づいてデバイス出力信号の振幅を制御する。したがって、デバイス出力信号の振幅は、集団７１からのニューロン出力信号の受け取りレートに依存する。

集団７１内の十分な数Ｎのニューロンを使用することにより、処理デバイス７０は、入力データ信号を実質的に再生する出力信号を生成することができる。この数Ｎは、入力信号の形態、抵抗変化型メモリ・セル１４の特定の特性、およびニューロン回路１０の設計など、様々な要因に基づき得る。しかし、処理デバイス７０の良好な動作は、図１５ないし図１７に示す実験結果によって実証されている。図示されている結果は、最大Ｎ＝５００個のニューロンの集団を使用して得られたものである。集団の平均発火レートは、５０ｎｓから１００ｎｓの範囲の入力パルス幅で５ｋＨｚと１５ｋＨｚの間であり、２０ｋＨｚより高い実際の発火レートを有する個別ニューロンはなかった。入力信号は、基準周波数１０ｋＨｚの三角波、すなわち、周波数成分がすべて、集団内のいずれのニューロンのナイキスト・サンプリング限界をも上回る信号であった。入力信号の極値における急峻な「ピーク」の正確な表現は、基準周波数の奇数倍、すなわち、３０ｋＨｚ（基本成分）、５０ｋＨｚ（第二高調波）およびそれ以上の周波数における高調波成分を捕捉する必要があるため、特に困難である。これにより、単一のニューロンによる入力信号の正確な表現が事実上不可能となり、決定的ニューロンの集団においては難しくなる。

デバイス入力信号は、図１５の上部に、信号振幅に対応するプログラミング・パルス幅で示されている。この信号は、５０ｎｓから１００ｎｓの範囲のパルス幅値に対応する０．１ｍｓ（基準周波数１０ｋＨｚ）の周期を有する。ＴＳ＝０．０１ｍｓごとにパルスを集団内のすべてのニューロンに印加した。図１５の下部に、集団内の最初の１０個のニューロンの活動（スパイク・タイミング）を示す。図１６に、Ｎ＝５００個のニューロンの場合のデバイス出力信号を示す。出力信号（集団応答−右縦座標軸）を入力信号（左縦座標軸）に重ねて太線で示す。集団応答は、集団内のすべてのニューロンがナイキスト・レートを下回るそれぞれの実際のスパイク周波数を有するという事実にもかかわらず、入力信号の主要特性を捕捉している。平均応答は、ナイキスト周波数の半分に過ぎず、第二高調波の５分の１である。図１７に、異なる集団サイズＮの入力信号の表現のエラーを示す。Ｎ＝５００個のニューロンについて、挿入図に、入力信号を印加したときのニューロン集団全体にわたる実際のスパイク周波数の分布を示す。ニューロンの小規模な部分群から開始して確率ニューロン集団のサイズを漸進的に増大させることによって、入力信号の表現におけるエラーが劇的に減少する。わずか数十個のニューロンの集団について表現エラーの大幅な減少が観察され、表現忠実度は数百個のニューロンの集団で安定した。集団サイズを増大させることにより、任意の特定の入力値に対して応答するニューロンの絶対数が増加し、これにより、集団が大きいほど集団応答がより堅固になる。個々のニューロンの確率性を大きくし、ニューロン間のばらつきを増加させ、個々のニューロンの時定数を小さくし、集団サイズを増大させることにより、表現エラーをさらに改善することができることを、シミュレーションが予測している。

ＰＣＭニューロン１０の確率ダイナミクスは、追加の演算負荷なしに、処理デバイス７０における高帯域信号のサブナイキスト・サンプリングおよび表現を可能にすることがわかる。これは、ニューロモーフィック・コンピューティング・システム内でこれらの信号をさらに処理するための基礎を提供し、きわめて高い集積密度のトランジスタレス・ニューロモーフィック・システムの製造への意義のある前進を示している。ニューロンのノイズと確率ニューロン・ダイナミクスとを直接デバイス・レベルでエミューレートする機能は、信号およびニューロンの状態の堅固な表現のための高密度なニューロン集団の作成を容易にし、メモリとプロセッサとの高度に連結されたユニットを備えるニューロモーフィック・コンピュータの開発を促進する。ＰＣＭニューロンの特に有利な特性は、非晶質−結晶質転移の迅速かつ十分に理解されたダイナミクスと組み合わさった、相変化セルのナノメートル単位までのスケーラビリティである。ＰＣＭニューロンの動作速度は、数百万の高速データ・ストリームを処理するためにスパイク・ニューラル・ネットワークを使用する用途、例えば電子商取引、ソーシャル・メディア・プラットフォームのリアルタイム分析、および科学演算において、特に有用となるであろう。確率ニューロンの集団による処理は、ハードウェア障害に対する堅牢性を高めることができ、高速信号を数桁低速のニューロンで表現することができるその能力は、消費電力の低減と耐久性の向上に大いに寄与するであろう。これは、ニューロンのリセットがエネルギーと材料損耗の両方の点で最もコストのかかる動作であるＰＣＭニューロンの場合に特に言えることである。相変化材料の不揮発性は、漏れ電流の低減も可能にし、スパイク方式の演算の必要電力およびエネルギーをさらに低減する。

当然ながら、上述の例示の実施形態には様々な変形および変更を加えることができる。例えば、図１４のデバイスは、例えばニューロン回路１０の数、または入力信号発生器７２のサンプリング周期、またはデバイス出力回路７６のサンプリング周期などの動作特徴、あるいはこれらの組合せを変えることによって、入力信号のサブサンプリング／フィルタリングを行うように容易に適応化することができる。実施形態によっては、デバイス出力回路が、例えば、移動平均などの閾値化、バッファリングまたは計算によって、ニューロン出力信号に何らかのフィルタリング動作を行ってもよい。デバイス回路に加える適切な変更は、当業者には明らかであろう。

別の実施形態では、ニューロン集合体３がニューロン回路の複数の構成集団または部分集合体を含んでもよい。その場合、入力信号発生器４は、少なくとも１つの部分集合体のニューロン回路のためのニューロン入力信号を発生させるようになされてもよい。同様に、デバイス出力回路５は、少なくとも１つの部分集合体のニューロン出力回路に接続されてもよい。例えば、異なる部分集合体が、例えば異なるメモリ・セル設計および変動性あるいはその両方、または時定数などの異なるニューロン回路特性により、異なる数のニューロンを含んでもよく、またはその他の場合に異なる確率特性を提示してもよく、あるいはその両方でもよい。特定の用途における必要に応じて、動作のために１つまたは複数の異なる部分集合体が選択されてもよい。この選択は、例えば、図１の確率性制御入力７を介して制御することができる。これに代えて、またはこれに加えて、入力信号発生器４が、所望の出力応答を実現するために異なる部分集合体を適応的に選択するように図１のフィードバック入力６を介してニューロン出力信号に応答してもよい。例えば確率性制御入力７またはフィードバック制御６あるいはその両方に応答して、抵抗変化型メモリ・セル１４のプログラミングまたはその他の特性の変動を利用するようにニューロン入力信号を調整することによって、集団の確率的挙動を変化させてもよい。メモリ・セルから異なる確率応答を得るために、制御入力７に応答して異なる振幅／立ち下がりなどを有するリセット・パルス、または異なる振幅の結晶化パルス、あるいはその両方を発生させてもよい。したがって、確率性制御入力７をデバイス１における集合体３の確率性を制御するために使用することができる。

用途によっては、異なるニューロン部分集合体を、例えばカスケード状に選択的に相互接続可能とすることもでき、それによって１つの集団におけるニューロン出力が、別の集団のニューロンに入力信号を供給してもよい。１つまたは異なる集団内のニューロンが相互接続された用途も考えられる。その場合、任意の単一のニューロンが、集合体内の複数の他のニューロンから入力信号を受け取ることができる。ニューロンは、例えばシナプス回路を介して相互接続されてもよい。当技術分野では、様々なメモリスタ方式のシナプス回路が知られている。一般に、本発明の実施形態をメモリスタ方式のシナプスと組み合わせることによって、能動素子の数の削減と、大規模並列コンピューティング・システムの高密度化がもたらされる。

例示のための各例について上述したが、入力信号発生器４は、様々な形態のニューロン入力信号を発生させてよく、プログラミング・パルスの振幅、形状、パワー、存続期間、立ち下がり形状／区間など、または複合プログラミング・パルスの成分パルスの数／属性、あるいはこれらの組合せなどの任意の属性を変化させてもよい。このような属性は、入力信号またはその成分の振幅、周波数、強度などを含む、デバイス入力信号の任意の属性または属性の組合せに基づいて制御することができる。データ信号が例えば画像またはテキストを表す実施形態では、そのような入力信号属性は、表されたデータの特定のパターン、またはその他の時間依存特徴の出現に対応してもよい。実施形態によっては、集合体内のニューロンの異なる部分集合、例えば異なる部分集合体に、異なるニューロン入力信号が供給されてもよい。デバイス出力回路５は、集合的ニューロン出力信号の任意の属性に基づいて、出力信号の任意の所望の属性を制御してもよい。したがって、特定の用途のために特定の構成および動作特徴を希望に応じて選択することができる。

ニューロン回路１０においてマッシュルーム・セル・タイプ以外のＰＣＭセル設計を使用することができ、他の抵抗変化型メモリ・セルも使用することもできる。例としては、導電性ブリッジ型ＲＲＡＭセル、酸化膜または金属酸化膜ＲＲＡＭセル、炭素ＲＲＡＭセルなどの、抵抗変化型ＲＡＭ（ＲＲＡＭ）セルなどがある。

パルスをプログラミングすることによってセル抵抗を低下させ、セル抵抗が閾値より下がるとニューロンが発火する例について説明した。他の実施形態は、連続的なプログラミング・パルスによってセル抵抗を漸進的に増大させ、セル抵抗が閾値を上回るとニューロンが発火するように動作可能な抵抗変化型メモリ・セルに基づいてもよい。そのような実施形態では、抵抗を漸進的に増加させることができるバイポーラ・デバイスを含み得る任意の抵抗変化型メモリ・セルを使用してもよく、一例はＣＢＲＡＭ（導電性ブリッジＲＡＭ）セルである。上述のニューロン回路の各例に加えられる適切な変更は、当業者には明らかであろう。例えば、図９の積分器２８に供給される読み取り信号は、読み取り抵抗２６ではなくセル２０で低下させた電圧に基づいてもよい。

一般に、異なる実施形態の特徴を適宜に入れ替えてもよい。また、本明細書において、構成要素が別の構成要素に接続されていると述べている場合、一般に、特に明記していない限りそのような構成要素は直接接続されていても、例えば介在構成要素を介して間接的に接続されていてもよい。

例示のために本発明の様々な実施形態の説明を示したが、これらの説明は網羅的であること、または開示されている実施形態に限定されることを意図したものではない。記載されている実施形態の範囲および思想から逸脱することなく多くの変更および変形態様が当業者には明らかであろう。本明細書で使用されている用語は、実施形態の原理、実用化または市場に見られる技術の技術的改良を最もよく説明するため、または本明細書で開示されている実施形態を他の当業者が理解することができるようにするために選択された。

Claims (14)

1. ニューロモーフィック処理デバイスであって、
   入力データ信号を受け取るためのデバイス入力と、
   ニューロン回路の集合体であって、各ニューロン回路が、セル抵抗によって示されるニューロンの状態を記憶し、前記ニューロンの状態を変化させるようにセル抵抗をプログラミングするためのニューロン入力信号を受け取るようになされた抵抗変化型メモリ・セルと、セル抵抗が閾値を超えるのに応答してニューロン出力信号を供給するためのニューロン出力回路とを含む、ニューロン回路の前記集合体と、
   前記デバイス入力とニューロン回路の前記集合体とに接続され、前記入力データ信号に基づいて前記集合体のためのニューロン入力信号を発生させるための入力信号発生器と、
   前記集合体のニューロン出力回路に接続され、前記集合体のニューロン出力信号に依存するデバイス出力信号を生成するためのデバイス出力回路とを含み、
   それによって前記集合体の抵抗変化型メモリ・セルの確率性を利用する、ニューロモーフィック処理デバイス。
2. 前記入力信号発生器は、前記集合体のニューロン回路のためのニューロン入力信号を周期的に発生させ、前記入力データ信号に基づいて各ニューロン入力信号の少なくとも１つの属性を制御するようになされた、請求項１に記載のデバイス。
3. 各ニューロン入力信号はプログラミング・パルスを含み、前記入力信号発生器は、前記入力データ信号の少なくとも１つの時間依存属性に基づいて少なくとも１つのプログラミング・パルス属性を制御するようになされた、請求項１または２に記載のデバイス。
4. 前記デバイス出力回路は、前記デバイス出力回路による前記集合体からのニューロン出力信号の受け取りレートに基づいて、前記デバイス出力信号の少なくとも１つの属性を制御するようになされた、請求項１ないし３のいずれか一項に記載のデバイス。
5. 各ニューロン回路の前記ニューロン出力回路は、セル抵抗が前記閾値を超えるのに応答して前記セル抵抗の初期ニューロン状態へのリセットを制御するように動作可能である、請求項１ないし４のいずれか一項に記載のデバイス。
6. 前記入力信号発生器は、前記入力データ信号の振幅に基づいて各ニューロン入力信号の少なくとも１つの属性を制御するようになされ、
   前記デバイス出力回路は、ニューロン出力信号の前記受け取りレートに基づいて前記デバイス出力信号の振幅を制御するようになされた、請求項１ないし５のいずれか一項に記載のデバイス。
7. 前記集合体は、前記デバイス出力信号において前記入力データ信号の主要特性を捕捉するのに十分なニューロン回路を含む、請求項１ないし６のいずれか一項に記載のデバイス。
8. 前記入力信号発生器は、前記集合体内のすべてのニューロン回路のためのニューロン入力信号を周期的に発生させるようになされ、前記デバイス出力回路は、前記集合体内のすべてのニューロン回路のニューロン出力回路に接続された、請求項１ないし７のいずれか一項に記載のデバイス。
9. 前記集合体はニューロン回路の複数の部分集合体を含み、
   前記入力信号発生器は、少なくとも１つの部分集合体のニューロン回路のためのニューロン入力信号を発生させるようになされ、
   前記デバイス出力回路は少なくとも１つの部分集合体のニューロン出力回路に接続された、請求項１ないし８のいずれか一項に記載のデバイス。
10. 前記入力信号発生器は、前記集合体のニューロン出力信号に応答し、前記ニューロン出力信号に基づいて前記集合体のためのニューロン入力信号の発生を制御するようになされた、請求項１ないし９のいずれか一項に記載のデバイス。
11. 前記入力信号発生器は、確率性制御入力に応答し、前記集合体の確率性を制御するために前記制御入力に基づいて前記集合体のためのニューロン入力信号の発生を制御するようになされた、請求項１ないし１０のいずれか一項に記載のデバイス。
12. 前記抵抗変化型メモリ・セルは相変化メモリ・セルを含む、請求項１ないし１１のいずれか一項に記載のデバイス。
13. 前記ニューロン入力信号が前記ニューロンの状態を変化させるためにセル抵抗の低下を引き起こすようになされ、各ニューロン出力回路は、セル抵抗が前記閾値より下がるのに応答して前記ニューロン出力信号を供給するようになされた、請求項１ないし１２のいずれか一項に記載のデバイス。
14. 前記入力信号発生器は、前記ニューロンの状態を変化させるように前記セル抵抗をプログラミングするための書き込み部と、読み取り部とをそれぞれが含むニューロン入力信号を発生させるようになされ、各ニューロン回路の前記ニューロン出力回路は、
    前記セル抵抗に依存する読み取り信号を生成するための読み取り回路と、
    前記読み取り信号に基づいて前記ニューロン出力信号を供給するための出力端子と、
    前記読み取り信号に依存する測定信号を記憶するための記憶回路と、
    前記メモリ・セルへの各ニューロン入力信号の前記読み取り部の印加時に前記記憶回路に前記読み取り信号を供給し、前記読み取り部の印加後に、セル抵抗が前記閾値を超えるのに応答して前記セル抵抗を初期ニューロン状態にリセットすることを可能にするために前記ニューロン回路において前記測定信号を印加するように動作可能なスイッチ・セットとを含む、請求項１ないし１３のいずれか一項に記載のデバイス。