JP2023526740A - メモリ拡張ニューラル・ネットワークにおける計算のためのクロスバー・アレイ - Google Patents

Abstract

ニューラル・ネットワーク・システムを動作させるためのハードウェア実装手法において、コントローラと、メモリと、コントローラをメモリに接続するインターフェースとを含むニューラル・ネットワーク・システムが提供され、コントローラは、ニューラル・ネットワークを実行するように構成された処理ユニットを備え、メモリは、電子デバイスを介して接合部で相互接続された入力線および出力線を含むクロスバー・アレイ構造を有するニューロモーフィック・メモリ・デバイスを備える。ニューロモーフィック・メモリ・デバイスの電子デバイスは、コントローラから受信された書き込み命令とインターフェースによって生成された書き込みベクトルとに基づいて書き込み信号を入力線に結合することによって状態を増分的に変化させるようにプログラムされる。コントローラからの読み取り命令とインターフェースによって生成された読み取りベクトルとに基づいて読み取り信号をニューロモーフィック・メモリ・デバイスの入力線のうちの１つまたは複数に結合することによって、積和演算に従ってニューロモーフィック・メモリ・デバイスからデータが取り出される。

Description

本発明は、一般に、ニューラル・ネットワーク・システムの分野に関し、より詳細には、クロスバー・アレイ構造を有するニューロモーフィック・メモリ・デバイスを外部メモリとして使用する、メモリ拡張ニューラル・ネットワーク・システムに関する。

機械学習は、多くの場合、人間または動物の脳内の生物学的な神経回路網からインスピレーションを得た計算モデルである人工ニューラル・ネットワーク（ＡＮＮ：artificial neural network）に依存している。このようなシステムは、例を用いて漸進的かつ自律的にタスクを学習し、例えば、音声認識、テキスト処理、およびコンピュータ・ビジョンに成功裏に適用されている。

ニューラル・ネットワークには、多層パーセプトロンなどの順伝播型ニューラル・ネットワーク、深層ニューラル・ネットワーク、および畳み込みニューラル・ネットワークが含まれる。ニューラル・ネットワークは、典型的には、ソフトウェアにおいて実装される。しかしながら、ニューラル・ネットワークは、例えば抵抗型処理ユニット（クロスバー・アレイ構造）または光学ニューロモーフィック・システムとして、ハードウェアにおいても実装され得る。

ニューラル・ネットワークを実行するために様々なタイプのハードウェア・システムが使用され得る。特に有利であるのは、メモリ拡張ニューラル・ネットワーク・システムを使用することである。メモリ拡張ニューラル・ネットワークの基本的な考え方は、外部メモリを用いてニューラル・ネットワークを強化することである。メモリ拡張ニューラル・ネットワーク（ＭＡＮＮ：memory-augmented neural network）には、ニューラル・ネットワーク・データ処理からの利点と永続ストレージからの利点とを組み合わせた強力なアーキテクチャが有効である。

本発明の一実施形態の態様は、ハードウェア実装方法およびニューラル・ネットワーク・システムを開示する。コントローラと、メモリと、コントローラをメモリに接続するインターフェースとを含むニューラル・ネットワーク・システムが提供され、コントローラは、ニューラル・ネットワークを実行するように構成された処理ユニットを備え、メモリは、電子デバイスを介して接合部で相互接続された入力線および出力線を含むクロスバー・アレイ構造を有するニューロモーフィック・メモリ・デバイスを備える。ニューロモーフィック・メモリ・デバイスの電子デバイスは、（ｉ）コントローラから受信された書き込み命令と（ｉｉ）書き込み命令に従ってインターフェースによって生成された書き込みベクトルとに基づいて書き込み信号を入力線のうちの１つまたは複数に結合することによって、その電子デバイスの状態を増分的に変化させるようにプログラムされる。（ｉ）コントローラからの読み取り命令と（ｉｉ）読み取り命令に従ってインターフェースによって生成された読み取りベクトルとに基づいて読み取り信号をニューロモーフィック・メモリ・デバイスの入力線のうちの１つまたは複数に結合することによって、積和演算に従ってニューロモーフィック・メモリ・デバイスからデータが取り出される。

本発明の一実施形態による、ニューラル・ネットワーク・システムの選択された構成要素を概略的に示すブロック図である。 本発明の一実施形態による、図１のシステムのニューロモーフィック・メモリ・デバイスのメムリスティブ（memristive）・クロスバー・アレイを概略的に表す図である。 本発明の一実施形態による、図１のニューラル・ネットワーク・システムのニューロモーフィック・メモリ・デバイスを概略的に示す図であり、メモリ・デバイスはパルス幅変調回路および読み出し回路を備える。 本発明の一実施形態による、図１のニューラル・ネットワーク・システムを動作させる方法の高レベル・ステップを示すフローチャートである。 本発明の一実施形態による、書き込みメモリ・アクセスのサブステップを示すフローチャートである。 本発明の一実施形態による、ニューロモーフィック・メモリ・デバイスの電子デバイスがこの電子デバイスの状態を増分的に変化させるためにどのようにプログラムされるかを示すフローチャートであり、累積値を電子デバイスに書き込む前に、最初に増分値が追加メモリ内に累積される。 本発明の例示的な実施形態による、図１のニューラル・ネットワーク・システムの一部として含まれ得るコンピュータ・システムの構成要素を示すブロック図である。

本発明の実施形態は、通常のニューラル・ネットワーク・システムでは情報が内部状態でのみ記憶され得ることを認識している（例えば、ネットワークが長短期記憶（ＬＳＴＭ：long short-term memory）ユニットから構成される場合、情報は、ユニットの状態で記憶されなければならない）。本発明の実施形態は、こうした点には、ユニットに新しい入力が到着した場合、記憶された情報が潜在的に上書きされ、限られた時間しか保存できないという欠点があることを認識している。本発明の実施形態はさらに、メモリ拡張ニューラル・ネットワーク・システムにおけるように外部メモリを用いて同じネットワークが拡張される場合、ネットワークがこのストレージを活用し、そのストレージを使用して長期間にわたって情報を保持できることを認識している。

メモリ拡張ニューラル・ネットワークは、いくつかの利点を有する。本発明の実施形態は、ニューラル・ネットワーク・システムのための外部メモリとして、ニューロモーフィック・デバイス（例えば、クロスバー・アレイ構造）を使用する。

外部メモリを用いてニューラル・ネットワークを拡張するには、インターフェースが存在しなければならない。このインターフェースは、例えば、読み取りヘッドおよび書き込みヘッドを含み得る（複数の読み取りヘッドおよび複数の書き込みヘッドが存在する可能性がある）。これらのヘッドの目的は、外部メモリからデータを取り出し、外部メモリに情報を書き込むことである。

コントローラ（コントローラ・ネットワークとも呼ばれる）は、ニューラル・ネットワークを実行する処理ユニットを含むユニットを指す。このコントローラは、何らかの入力を受け取り何らかの出力を作成する通常のニューラル・ネットワークを実行するユニットと見なされ得る。外部メモリがない場合、これは、任意の特定のタスクを解決するために使用される標準のニューラル・ネットワークと同等である。実施形態では、コントローラは、入力データ（例えば、画像）から特徴を抽出するために使用される特徴抽出ユニット（図示せず）に結合され、これにより、抽出された特徴はコントローラに提供されて、コントローラは、（ニューラル・ネットワークが訓練目的であるか推論目的であるかにかかわらず）そのような抽出された特徴に基づいてニューラル・ネットワークを実行する。例えば、主成分分析または畳み込みニューラル・ネットワークに依存して、任意の好適な特徴抽出方式が企図され得る。必要に応じて、他の前処理エンティティが関与し得る。現在では、このような前処理エンティティは、場合によってはコントローラに統合され得る。したがって、コントローラ・ネットワークのために様々なアーキテクチャが企図され得る（例えば、コントローラは基本的に、単純な順伝播型ニューラル・ネットワークまたは複数の層を有する複雑な再帰型ニューラル・ネットワークを実行することを目的とし得る）。簡単にするために、例えば、このネットワークは、再帰型ＬＳＴＭユニットの単層であると見なされ得る。

一般に、読み取りヘッドおよび書き込みヘッドの構造は、メモリ拡張ニューラル・ネットワーク・システムの選ばれたタイプに依存する。多くの変形形態が利用可能である。読み取りヘッドおよび書き込みヘッドは、例えば浅いニューラル・ネットワークによって表され得る。読み取りヘッドは、コントローラから入力を受け取る。この入力の構造も、メモリ拡張ニューラル・ネットワークのタイプに依存する。単純なシナリオでは、読み取りヘッドへの入力は、コントローラ・ネットワーク自体への入力とまったく同じである。読み取りヘッドは、この入力に基づいて読み取りベクトルｗ^ｒを作成し、ベクトルｗ^ｒは、外部メモリＭ［ｉ，ｊ］にアクセスするために使用される。

非常に単純な事例では、読み取りヘッドへの入力は、浅いニューラル・ネットワークを通過し、この動作の結果が読み取りベクトルｗ^ｒを形成する。例えば注目メカニズムを含む、より複雑な読み取りヘッド・アーキテクチャが存在する。本質的に、読み取りベクトルは、読み取りベクトルがどのように生成されるかに関係なく、外部メモリにアクセスするために使用される。（メモリにアクセスすることによる）結果ｒは、コントローラ・ネットワークに返され、次いで、コントローラ・ネットワークは、結果ｒを使用して、最初に与えられた入力に対する出力を作成することができる。

書き込みヘッドは、読み取りヘッドと同様の方法で動作する。書き込みヘッドは、コントローラ・ネットワークから入力を受け取り、単純な事例では、この入力は、単にコントローラ・ネットワーク自体への入力である。しかしながら、読み取りヘッドとは対照的に、書き込みヘッドのタスクは、情報を読み取ることではなく、情報を外部メモリに記憶することである。本質的に、書き込みヘッドは、メモリへ書き込むために使用される書き込みベクトルｗ^ｗおよびｖを生成することによってこれを実現する。この場合もやはり、このようなベクトルを生成する方法の厳密な手順は、メモリ拡張ニューラル・ネットワークのタイプに固有である。単純な事例では、書き込みヘッドへの入力は２つの浅いニューラル・ネットワークを通過し、結果はｗ^ｗおよびｖである。次いで、
Ｍ［ｉ，ｊ］＝Ｍ［ｉ，ｊ］（１－ｗ^ｗ［ｉ］ｅ^Ｔ［ｊ］）＋ｗ^ｗ［ｉ］ｖ^Ｔ［ｊ］
に従って、メモリ内容が修正される。

本発明の実施形態は、クロスバー・アレイ構造を有するとともに、メムリスティブ・デバイス、例えば相変化メモリ（ＰＣＭ：phase-change memory）セルなどの電子デバイスを使用する、外部メモリに依存する。このタイプのメモリ・デバイスは、従来のメモリ（例えば、ＳＲＡＭまたはＤＲＡＭ）のように簡単に使用することはできない。メムリスティブ・セルがメモリへの特定の書き込み方法を優先すること、すなわち、セルに値を増分的に追加することができ、値を減算する必要がある場合はセルをゼロにリセットできることが理解され得る。この制約を説明するために、本発明の実施形態は、書き込みヘッドに対する修正を提案する。本発明の実施形態は、コントローラからの書き込み命令とそのような書き込み命令に従ってインターフェースによって生成された書き込みベクトルとに基づいて書き込み信号を外部メモリの入力線に結合することによって、外部メモリ・デバイスの電子デバイス（セル）を、その電子デバイスの状態を増分的に変化させるようにプログラムする。特定の実施形態では、書き込みヘッドは、セルの以前の状態を維持するか、またはセルの状態を完全にゼロにリセットし得る。この修正は、書き込みベクトルを取得する方法の手順を問題とはせず、したがって、様々なタイプのメモリ拡張ニューラル・ネットワークに適用され得ることに留意されたい。本発明の実施形態について、図に関連してさらに詳細に説明する。

最初に、図１～図３を参照して、受け取った入力（Ｓ１０）に基づいてニューラル・ネットワーク・システム１を動作させて出力（Ｓ３０）を生成するハードウェア実装方法に関係する、本発明の一実施形態の態様について説明する。この方法およびその変形形態を「本方法」と総称する。「Ｓｉｊ（ｋ）」に対する言及はすべて、図３～図５のフローチャートに示された方法ステップを指す。そのような方法は、本発明の実施形態の別の態様にさらに関係するニューラル・ネットワーク・システム１に依存する。基本的に、システム１は、コントローラ１０、メモリ３０、およびインターフェース２０を含む。このインターフェース２０は、コントローラ１０をメモリ３０に接続する。コントローラ１０は、ニューラル・ネットワークを実行するように構成された処理ユニットを備え、したがって、コントローラはコントローラ・ネットワークと見なされ得る。メモリ３０は、クロスバー・アレイ構造を有するニューロモーフィック・メモリ・デバイスを備える。この構造は、入力線３１および出力線３２を含み、線３１、３２は、電子デバイス３３（例えば、メムリスティブ・デバイス）を介して接合部で相互接続される。

ニューロモーフィック・メモリ・デバイス３０の電子デバイス３３は、デバイス３３の状態を増分的に変化させる（Ｓ２３）ようにプログラムされるＳ２１～Ｓ２３。これは、書き込み信号をクロスバー・アレイ構造３０の入力線３１のうちの１つまたは複数に結合することによって実現される。書き込み信号は、インターフェース２０によって生成される（Ｓ２２）書き込みベクトルに基づいて生成される。書き込みベクトル自体は、コントローラ１０からの書き込み命令（Ｓ２１）に従って生成される。

必要に応じて、電子デバイス３３は、積和演算に従って、ニューロモーフィック・メモリ・デバイス３０からデータを取り出すことができるＳ２４～Ｓ２６。これは、インターフェース２０によって生成されたＳ２５読み取りベクトルに基づいて、読み取り信号をニューロモーフィック・メモリ・デバイス３０の入力線３１のうちの１つまたは複数に結合することによって実現される。読み取りベクトル自体は、コントローラ１０からの読み取り命令Ｓ２４に従って生成される。

コントローラ１０の処理ユニットは、ニューラル・ネットワークを実装および実行するように構成される。処理ユニットが、例えば汎用処理ユニット（例えば、標準的なコンピュータの中央処理ユニット）であるか、またはアナログ回路を備え得ることに留意されたい。処理ユニットは、特に、別のニューロモーフィック・デバイス（図示せず）を含み得る。しかしながら、図示の実施形態では、ニューロモーフィック・メモリ・デバイス３０は、処理ユニットの一部を形成しない。むしろ、ニューロモーフィック・デバイス３０は、コントローラ１０およびコントローラ１０の処理ユニットのための外部メモリとして機能するように構成される。したがって、外部メモリとして使用されるニューロモーフィック・デバイス３０は、場合によってはコントローラ１０（または書き込みヘッドおよび読み取りヘッド）の一部を形成し得る他のニューロモーフィック・デバイスと混同されるべきではない。

したがって、ニューラル・ネットワーク・システム１は、メモリ拡張システムと見なされることが可能であり、このメモリ拡張システムにおいて、外部メモリ３０は、クロスバー・アレイ構造として具現化される。後者は、場合によっては低精度を使用し得るメムリスティブ・クロスバー構造であることが好ましい（すなわち、メモリ要素を表すために、単一のメムリスティブ要素が使用される場合がある）。

しかしながら、より一般的には、ニューロモーフィック・デバイス３０の各電子デバイス３３は、場合によっては１つまたは複数のメムリスティブ・デバイスを含み得る。また、当技術分野では慣例であるように、デュアル出力線（列）が含まれる場合があり、一方が正の値を記憶するためのものであり、もう一方が負の値を記憶するためのものである。ＰＣＭセル、抵抗変化型メモリ（ＲＲＡＭ：resistive random-access memory）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）セル、または電気化学ランダム・アクセス・メモリ（ＥＣＲＡＭ：electro-chemical random-access memory）セルなどのいくつかのタイプのメムリスティブ・デバイスが企図され得る。他の変形形態では、フラッシュ・セルが使用され得る。

インターフェース２０は、典型的には、コントローラ１０をメモリ３０に接続する複数の読み取り／書き込みヘッド（２４／２２）を含む。このようなヘッドは、様々な方法で実装され得る。本発明の別の態様を参照して後で説明するように、これらのヘッドは、特に浅いニューラル・ネットワークとして実装され得る。

本手法によれば、書き込みプロセスは、（少なくともセルをプログラムする目的で）書き込む前に外部メモリ３０の内容を読み取る必要がないように、増分書き込みプロセスに単純化される。以下で説明する実施形態のように、電子デバイスの完全なメモリ・リセットのみが必要とされる場合があり、それ以外の場合は増分書き込みが実施される。すなわち、電子デバイス３３をプログラムすると、結果としてデバイス３３の状態が増分的に変化する（例えば、デバイス３３の電気コンダクタンスが変化する）。電子デバイス３３の状態は、ニューロモーフィック・デバイス３０上に記憶されるデータを決定する一定の値に対応する。

本明細書で企図される増分書き込みプロセスは、特に増分プログラミング・プロセスを含み得、これにより電子デバイスのコンダクタンス状態が小さな一定のステップで増分されることに留意されたい。変形形態では、増分書き込みプロセスは反復プログラミングに依存し、これにより電子デバイスは、複数のパルスを使用して反復的な様式でプログラムされる。他の変形形態では、後で説明する実施形態のように、増分値は、そのような値を書き込む前に、追加メモリ２３内に累積的に記憶される。

メモリからの読み取りは、一定時間に実行され得るベクトル行列乗算によって実現され、すなわち、場合によっては任意の動作サイクル中にデータが取り出され得る。しかしながら、実際には、読み取り動作は（コントローラで実行される一般的なアルゴリズムに従って）特定の時間にのみ実行されることになり、必ずしも各動作サイクルで実行されるとは限らない。すべての場合において、電子デバイス３３の状態に対応する値によってパラメータ化される積和演算を介して、データを取り出すことができる。このようにして、ニューロモーフィック・デバイスによって形成された外部メモリ上にデータを記憶することができ、コントローラ１０によって監視されるタスクを実行するＳ２０ために必要に応じて、コントローラ１０によってそのようなデータを呼び出すことができる。

読み取り／書き込みメモリ・アクセスは、コントローラ１０からの入力に基づいて、それぞれの読み取り／書き込みベクトルによって決定される。このようなベクトルは、メモリ・アドレスと比較され得る。しかしながら、メモリ・アドレスは通常のハードウェア・メモリ内の特定の場所に対応するが、ここでは、読み取り／書き込みベクトルが、所与の動作、例えば読み取り動作のための積和に従って、必要な信号、およびそのような信号をどこに適用してメモリ３０に書き込むかまたはメモリ３０から読み取るかを決定する。読み取り／書き込み動作は各電子デバイス３３に個別にアクセスすることを必要とするため、本事例においても電子デバイス３３の物理アドレスが必要であることに留意されたい。クロスバー・アレイ構造３０への入力は、例えば、デジタル対アナログ変換器（ＤＡＣ：digital-to-analog converter）、パルス幅変調（ＰＷＭ：pulse width modulation）回路３５、または代替として、後で詳細に説明する時間対スパイク（time-to-spike）手法を使用して実現することができる。

本手法にはいくつかの利点がある。第１に、本明細書に開示されるようなメモリ拡張ニューラル・ネットワーク・システム１は、クロスバー構造を効率的に利用することができ、メモリ内計算能力により、メモリからの読み取り動作および書き込み動作を一定時間で実行することが可能になる。第２に、提案する手法はメムリスティブ技術に限定されず、フラッシュ・セルのような他の技術も企図され得る。第３に、提案する書き込みアクセスにより、書き込みサイクルの前に外部メモリを読み取る必要がなくなる（メモリ・セルの部分的なリセットは必要ない）。これにより、メムリスティブ・デバイス、例えばＰＣＭデバイスなどに基づいた、知られているクロスバー構造との完全な互換性が可能になる。したがって、提案する解決策により、メモリ拡張ニューラル・ネットワークにおけるエネルギー消費を削減しながら、メモリ・アクセスを大幅に高速化することが可能になる。

増分書き込み手法にかかわらず、以下で説明する実施形態のように必要に応じて疑似導関数を利用することによって、システムの微分可能性を復元することができる。また前述のように、メモリ内容を低精度（例えば、４ビットで十分である）で表すことができる。この手法により、接合部ごとに単一の電子デバイスがあれば十分であるので、メモリの面積効率の高い実装が可能になる。しかしながら、必要に応じて接合部ごとに複数のメムリスティブ要素を使用することによって、メモリの精度を向上させることができる。

次に、こうした点のすべてについて、本発明の特定の実施形態を参照して詳細に説明する。ここで図３～図４を参照すると、電子デバイス３３のプログラミングＳ２１～Ｓ２３は、電子デバイス３３のうちの１つまたは複数の状態を増分的に変化させる前に消去動作（例えば、リセット）を実行する（Ｓ２３）ことをさらに含み得る。消去動作は、書き込みベクトルによって決定される。本発明の実施形態において、そのような消去動作は、電子デバイス３３の状態をリセットするように電子デバイス３３を完全に消去することのみから構成され得る。書き込みベクトルによって決定されるように、メモリ３０に書き込まれるべきデータに応じて、いくつかの電子デバイス３３はそのような消去動作を経る必要がある場合がある。動作に際して、他の電子デバイス３３（通常、そのようなデバイスの大部分）は、それぞれの電子デバイス３３をリセットする必要なしに各書き込みサイクルにおいて増分されるのみであり得る。言い換えれば、電子デバイス３３上に記憶された値の完全消去または消去なしのいずれかであり得る２値タイプの消去動作が企図される。電子デバイス上に記憶される値は、これらのデバイスの状態に対応する。セルを消去するために、リセット・パルス、例えば、ＰＣＭセルのアモルファス化パルスが適用される。例えば、値を減算する必要がある場合、電子デバイス３３をゼロにリセットする必要があり得る。次に、加算項がセルに書き込まれ、この項は、最終値として計算され、すなわち初期値と減数との差に対応する。

実際、本手法は、少なくとも電子デバイス３３をプログラムする目的で（すなわち、電子デバイス３３に書き込むために）Ｓ２１～Ｓ２３、電子デバイス３３のうちのいずれかの部分的な消去を防止するように設計および実行され得る。すなわち、手法は、セルへの書き込みの目的でメモリ読み取りアクセスが必要とされないことを保証するように設計され得る。しかしながら、コントローラ１０によって実行される全体的なアルゴリズムが、このアルゴリズムの変動により、メモリにデータを書き込む前にメモリからデータを読み取る必要があり得ることに留意されたい。しかしながら、基本的なメモリ書き込みプロセスは、（メモリ内容を更新するために）セルに書き込む前にメモリ内容を読み取る必要がないように設計され得る。具体的には、メモリ読み取りアクセスを必要とせずに、すなわち、ニューロモーフィック・メモリ・デバイス３０から最初にデータを取り出す必要なしに、インターフェース２０によって書き込みベクトルが生成され得るＳ２２。すなわち、ステップＳ２２は、それ自体、ステップＳ２４～Ｓ２６から独立することができる。

図１～図２に見られるように、ニューラル・ネットワーク・システム１のクロスバー・アレイ構造３０は、例えば、Ｎ個の入力線３１およびＷ個の出力線３２を含み得、ここで、Ｎ＞１であり、Ｗ＞１である。その場合、ニューロモーフィック・メモリ・デバイス３０のメモリ容量は、次元Ｎ×Ｗのメモリ行列Ｍによって決定される。変形形態では、本手法が、単一の入力線または単一の出力線あるいはその両方にも適用され得ることに留意されたい。加えて、前述のように、デュアル出力線が必要になる場合がある。

実施形態において、書き込み信号は、２つのタイプの書き込みベクトルに基づく２つの動作に従って生成される。図４で想定されるように、第１の動作は、消去動作の範囲（すなわち、完全にリセットするか、まったくリセットしないか）を決定し、第２の動作は、電子デバイス３３の状態を増分的に変化させるために実行される。すなわち、第１のタイプの書き込みベクトルが、所与のデバイス３３に対してリセットが必要であるＳ２３１ことを意味する場合、このデバイスは、第２のタイプの書き込みベクトルに従って、その状態を増分的に変化させるＳ２３３前にリセットされるＳ２３２。それ以外で、リセットが必要ない場合、このデバイス３３の状態は直接増分されるＳ２３３。言い換えれば、書き込みアクセスは、消去部分と加算部分とに分けられる。

例えば、第１の動作には、メモリ行列に２値ベクトルを乗算したものを含み得、２値ベクトルが２値消去動作の範囲（すなわち、消去なしであるか、完全消去であるか）を決定し、第２の動作は、電子デバイス３３の状態を増分的に変化させるための加算項を含む。すなわち、２つのタイプのベクトルが使用され、すなわち、それらをベクトルｅ^Ｔおよびｖ^Ｔと呼び、２つのタイプのベクトルが２つの動作（動作の合計）を可能にする。

加えて、プログラムすることは、ベクトルｅ^Ｔの成分の値を２値化することをさらに含み得る。これは、Ｍ［ｉ，ｊ］＝Ｍ［ｉ，ｊ］（１－Ｅｅ’^Ｔ［ｊ］）＋Ｅｖ^Ｔ［ｊ］と記述することができ、ここで、Ｅ∈１^Ｎｘ１であり、ｅ’［ｊ］∈（０，１）^Ｗｘ１である。ｅ’が２値化されたベクトルを表すことに留意されたい。２値ベクトル成分ｅ’［ｊ］は、通常のベクトル成分ｅ［ｊ］を２値化することによって得ることができる。Ｅｅ’^ＴおよびＥｖ^Ｔという用語は、修正された書き込みキーと見なされることが可能であり、この修正された書き込みキーは、手元のアーキテクチャ（例えば、微分可能ニューラル・コンピュータ［ＤＮＣ］、ニューラル・チューリング・マシン［ＮＴＭ］など）に応じて様々な方法で生成され得る。

実施形態において、２値化は、ベクトルｅ^Ｔの成分の値をベクトル成分のシフトされた値のヘビサイド関数として計算することによって実現される。例えば、ｅ’［ｊ］＝Θ（ｅ［ｊ］－０．５）を使用してもよい。変形形態では、当業者には理解され得るように、２つのヘビサイド関数またはさらには比較器回路を使用して同様の結果を実現してもよい。

本手法を直接実装すると、微分可能性を失う結果となる可能性があり、これにより（例えば、逆伝播型アルゴリズムに基づく教師あり学習への適用の場合）訓練が害を受ける可能性があることに留意されたい。それでもなお、微分可能性、したがって誤差逆伝播型アルゴリズムを復元するために、疑似導関数に頼ることができる。例えば、ヘビサイド関数の解析的近似、例えば、十分に大きい値ｋを用いたΘ（ｘ）≒（１＋ｔａｎｈ（ｋｘ））／２を使用して、導関数

を生み出すことを考慮してもよい。変形形態では、例えば、

を使用してもよい。

したがって、デバイス３３の状態を増分する前に消去なしまたは完全消去のいずれかが実行される、単純化された書き込み手法を含むことができる。一方、書き込む前にメモリ内容を読み取る必要はない。加えて、（疑似導関数を使用して）微分可能性を復元するために、閾値化手法を使用することができる。

前述のように、コントローラ１０によって実行される一般的なアルゴリズムは、それでもやはり、（内容をデバイス３０に書き込むこと以外に）デバイス３０から内容を読み取る必要がある場合がある。図３に示すように、コントローラ１０は、積和演算に従って、ニューロモーフィック・メモリ・デバイス３０からデータを取り出す（Ｓ２４）。例えば、インターフェース２０は、読み取りベクトルｗ^ｒを生成し（Ｓ２５）、読み取りベクトルｗ^ｒにメモリ行列Ｍを乗算する。この場合もやはり、ベクトルｗ^ｒは、手元のアーキテクチャに応じて様々な方法で生成され得る読み取りキーである。各読み取り結果ｒは、ベクトルｗ^ｒにメモリ行列Ｍを乗算することによって得られる。この演算は、

として記述することができる。言い換えれば、メモリへの読み取りアクセスは、ベクトル行列乗算として定式化することができ、ここで、メモリＭは、次元Ｎ×Ｗのクロスバー・アレイによって表される。ベクトルｗ^ｒは、特に、デジタル対アナログ変換器（ＤＡＣ）または単純なＰＷＭ回路３５を使用してクロスバー構造３０に対して表され得る。さらなる変形形態では、後で説明するように、時間対スパイク（ＴＴＳ）実装に頼ることができる。

前述のように、増分書き込み手法は累積プログラミングと互換性がない。例えば、図５を参照すると、第２の動作に含まれる加算項は、前記加算項の加算値ｖを、外部メモリ３０とは別個の追加メモリ２３（図１を参照）内に累積する（Ｓ２２７）ことによって実行され得る。この場合もやはり、このような加算値は、第２のタイプの書き込みベクトルによって決定される。動作に際しては、所与の加算値の現在の値ｖを確認した後（Ｓ２２４）、累積された加算値ｖが所与の閾値ｖ_Ｔを超えることになる場合（Ｓ２２５）、アルゴリズムは、この累積された加算値ｖに従って、所与の電子デバイス３３の状態を増分的に変化させるように命令する（Ｓ２２６）。したがって、ｖの値が小さい場合、ｖを局所的に（追加メモリ２３内に）累積し、後続のステップでのみｖを適用する可能性がある。図５において想定されるように、累積プロセスは、書き込みベクトル生成（Ｓ２２）の一部として実行され得る。次いで、アルゴリズムは、図４を参照して先に説明したように進行する。

変形形態では、書き込みプロセス中に、ある程度の粒度で更新も適用され得ることに留意されたい。このような更新は、固定サイズの更新のみをサポートするハードウェア・アーキテクチャ、例えばＰＣＭデバイスなどにとって有用であり得る。その結果、理想値ｖとはわずかに異なる、ある一定の値

が適用される場合がある。このような事例では、差分

も追加メモリ２３内に記憶する必要があり得る。このような変形形態は、ＰＣＭベースの実装などの特定のタイプのハードウェア、または固定値の増分に対応する特定の固定電力でのみパルスを適用できる任意の他のハードウェアに利益をもたらす可能性がある。

典型的な適用例では、コントローラ１０の処理ユニットは、システム１に、電子デバイス３３をプログラムするステップＳ２１～Ｓ２３と、ニューロモーフィック・メモリ・デバイス３０からデータを取り出すステップＳ２４～Ｓ２６とをインターリーブさせるアルゴリズムを実行するＳ２０。このアルゴリズムは、特に、ニューラル・ネットワークを訓練するために実行され得る。これにより、動作中、処理ユニットにニューラル・ネットワークを複数回実行させる。例えば、ニューロモーフィック・メモリ・デバイス３０上に記憶された入力は、前記ニューラル・ネットワークを実行する前に、ニューラル・ネットワークの入力ノードに供給され得る。ニューラル・ネットワークを実行すると、出力がニューロモーフィック・メモリ・デバイス３０などに記憶される。

次に図１～図２を再び参照して、ニューラル・ネットワーク・システム１自体に関係する本発明の別の態様について説明する。前に説明したように、システム１はコントローラ１０を含み、コントローラ１０自体は処理ユニットを含む。処理ユニットは、ニューラル・ネットワークを実行するように構成される。システム１は、ニューロモーフィック・メモリ・デバイスを含むメモリ３０（すなわち、外部メモリ）をさらに含む。前述のように、メモリ３０のニューロモーフィック・メモリ・デバイスは、入力線３１および出力線３２を含むクロスバー・アレイ構造を有する。線は、電子デバイス３３を介して接合部で相互接続される。システム１は、コントローラ１０をメモリ３０に接続するインターフェース２０をさらに含む。

システム１は、一般に、電子デバイス３３を、その電子デバイス３３の状態を増分的に変化させるようにプログラムするように構成される。本方法を参照して説明したように、これは、書き込み信号を入力線３１のうちの１つまたは複数に結合することによって実現される。このような信号は、動作中、コントローラ１０からの書き込み命令と、そのような書き込み命令に従ってインターフェース２０によって生成された書き込みベクトルとに基づいて生成される。加えて、読み取り信号をニューロモーフィック・メモリ・デバイス３０の入力線３１のうちの１つまたは複数に結合することによって、積和演算に従ってニューロモーフィック・メモリ・デバイス３０からデータが取り出される。読み取り信号は、コントローラ１０からの読み取り命令と、そのような読み取り命令に従ってインターフェース２０によって生成された読み取りベクトルとに基づいて生成される。

実施形態において、システム１は、電子デバイス３３の状態を増分的に変化させる前に消去動作を実行するようにさらに構成される。すでに説明したように、前記消去動作は書き込みベクトルによって決定され、これにより、各消去動作は、（ｉ）電子デバイス３３のうちの１つを完全に消去すること、または（ｉｉ）この電子デバイス３３をまったく消去しないことのみから構成され得る。電子デバイスを完全に消去すると、動作中に電子デバイスの状態がリセットされる。さらに、ニューラル・ネットワーク・システム１は、システムの動作中に、（少なくとも、プログラムする目的で、すなわち、そのような電子デバイス３３に書き込む目的で）電子デバイス３３のうちのいずれかの部分的な消去を防止するように構成され得る。

図１～図２に見られるように、クロスバー・アレイ構造は、典型的には、Ｎ個の入力線３１およびＷ個の出力線３２を含み、ここで、Ｎ＞１であり、Ｗ＞１であり、これにより、ニューロモーフィック・メモリ・デバイス３０のメモリ容量が、次元Ｎ×Ｗのメモリ行列Ｍによって決定される。クロスバー・アレイ構造は、好ましくは、接合部ごとに単一の電子デバイスを備え、電子デバイスのそれぞれは、例えば、メムリスティブ・デバイス、すなわち、メムリスティブ・メモリ要素であり得る。実際には、メモリの内容は、限られた精度（例えば、４ビット）で表すことができ、これにより、メムリスティブ・クロスバー実装の利点を十分に活用することが可能になる。

前述のように、インターフェース２０は、入力線３１と出力線３２と両方に接続された読み取りヘッド２４、および入力線３１に接続された書き込みヘッド２２を含み得る。前に説明したように、読み取りヘッド２４および書き込みヘッド２２の様々な構造が企図され得る。

実施形態において、クロスバー・アレイ構造は、図２Ｂに示すように、ＰＷＭ回路３５をさらに備える。ＰＷＭ回路は、メモリ・デバイス３０への書き込みおよびメモリ・デバイス３０からの読み取りに必要な信号を制御可能に生成するために使用される。読み取りヘッド２４と書き込みヘッド２２はどちらも、それぞれのＰＷＭ回路３５を介して入力線３１に接続される。変形形態では、時間対スパイク（ＴＴＳ）手法を使用することができる。すなわち、信号のタイミングを利用して情報をより効率的に送信する低レイテンシＴＴＳ積分器が使用されてもよい。

それ以外の場合、読み取りヘッド２４は、クロスバー構造の出力に接続されて、積和演算からの結果を読み取り、そのような結果をコントローラ１０に返す。標準的な読み出し回路３６を使用して、出力線３２から出力電流を読み取ることができる。

興味深いことに、場合によっては、読み取りヘッド２４は、浅いニューラル・ネットワーク、例えば２層ネットワークを実装するモジュールとして具現化され得る。すなわち、このネットワークは、入力ノードがコントローラ１０からの出力にマッピングされる入力層と、出力ノードがクロスバー・アレイ構造の入力線３１にマッピングされる出力層とを含み得る。同様に、書き込みヘッド２２は、２つの浅いニューラル・ネットワークを実装するモジュールとして具現化され得る。前記ネットワークはそれぞれ、入力層であって、入力層の入力ノードがコントローラ１０からの出力にマッピングされる、入力層と、出力層であって、出力層の出力ノードがクロスバー・アレイ構造３０の入力線３１にマッピングされる、出力層とを含む。これにより、２つのタイプの書き込みベクトルを出力することが可能になり、システム１は、この２つのタイプの書き込みベクトルに基づいて、前述の２つの動作を実行することができる。すなわち、第１のタイプの動作は、消去動作を決定し、第２のタイプの動作は、電子デバイス３３の状態を増分的に変化させることを目的とする。読み取り／書き込みヘッド（２４／２２）はまた、それぞれがクロスバー・アレイ構造を有するニューロモーフィック・デバイスとして具現化され得ることに留意されたい。読み取り信号および書き込み信号を生成するために必要に応じて、このようなニューロモーフィック・デバイスを適切に使用して、浅いネットワークを実装することができる。

上記の実施形態は、添付の図面を参照して簡潔に説明されており、いくつかの変形形態に適応し得る。上記の特徴のいくつかの組合せが企図され得る。例えば、実施形態において、（ＰＣＭセルを有する）メムリスティブ・クロスバー構造３０は、コントローラ１０およびその処理ユニットのための外部メモリを実現するために最適化された読み取り／書き込みヘッド（２４／２２）と共に使用される。コントローラは、ニューラル・ネットワークを訓練するためであろうと、訓練済みネットワークに基づいて推論を実行するためであろうと、ニューラル・ネットワークを実行することを目的とする。したがって、そのようなニューラル・ネットワークを、メムリスティブ・デバイス３３上に構築されたメモリを用いて増強することができる。メモリ内容を、低精度で、またはさらにはメムリスティブ・デバイス内に記憶されている２値を用いて表すことができる。メモリ・アレイ３０の現在の内容を読み取ることなく、かつメムリスティブ・デバイス３３の部分的なリセットなしにメモリ書き込みアクセスを実行するための簡略化された書き込み手法は、信頼に値する。

本手法は、例えば、（背景のセクションにおいて引用されているＡ．ＧｒａｖｅｓおよびＧ．ＷａｙｎｅらのＮａｔｕｒｅ２０１６から採用された）いわゆるコピー・リピート・タスクに適用することができる。採用されるアーキテクチャは、例えば、以下のものとすることができる。（６４個のＬＳＴＭユニットの代わりに、１０個のＬＳＴＭユニットを含む）再帰型コントローラ・ネットワーク１０を、メモリ・サイズ１６×１６の外部メモリ・デバイス、ならびに４つの読み取りヘッド２４および１つの書き込みヘッド２２と共に使用することができる。ネットワーク構造ならびに読み取りヘッドおよび書き込みヘッド２２の動作は、他の点では上記の説明文のものと同様であり得る。本発明者らが観察したように、前述の簡略化されたメモリ・アクセスがネットワークの性能に影響を与えることはなく、メモリの内容を表すために使用される制限された精度が確度の低下を引き起こすこともない。

適用例の別の例として、単純なＰＷＭ回路３５を使用して、類似性測度を計算することができる。読み取り／書き込みの重みを生成するには、ドット積およびノルムを計算する、すなわち、

に従って距離を測定する必要があり得る。

ｋは入力ベクトルを表し、Ｍはメモリを表す。このような計算は、潜在的に、ＰＷＭ入力信号の１回の生成を使用して実行され得る。１を表す固定部分をｋの値に対応するＰＷＭ信号に追加して、ノルム｜｜Ｍ｜｜_１を計算する。デバイス３０からの２つの読み取りアクセスが必要であり、第１のアクセスはノルム｜｜Ｍ｜｜_１に対応し、第２のアクセスはベクトル行列乗算ｋＭに対応する。２つの結果を別々に取得する方法の１つは、｜｜Ｍ｜｜_１が計算された後に積分器をリセットすることである。変形形態では、積分器は継続的に動作し、入力で固定部分が処理された後、現在の値が補助メモリに記憶される。完全な入力が処理された後、｜｜Ｍ｜｜_１とｋＭを取得するには、以前に記憶された値を合計結果から減算する必要がある。

クロスバー・アレイ３０の行／列において入力ベクトルを提示するために、ＤＡＣまたはＰＷＭ回路を使用する代わりに時間対スパイク方式を使用することができ、これにより、入力の送信に必要なエネルギーを削減できることに留意されたい。この事例においても、類似性測度を計算する手順を、潜在的に単一のクロスバー動作で実施することができる。ＴＴＳ方式で基準点として送信されたパルスは、Ｌ１ノルム並列読み取りに利用することができる（入力ベクトルにはすべてのものが含まれる）。ドット積並列読み取りは、第２のパルスおよびＴＴＳ積分器方式を使用して実装され得る。ＴＴＳ積分器の変調項（modulatory term）をその初期値にアクティブ化する基準信号を有する代わりに、基準信号中に電流を読み取って、｜｜Ｍ｜｜_１を取得する。結果として、１回のＴＴＳ読み取りが、ノルムＭと値ｋＭとの両方を返す。

本発明について、限られた数の実施形態、変形形態、および添付の図面を参照して説明してきたが、本発明の範囲から逸脱することなく様々な変更を加えてもよいこと、および均等物を代用してもよいことが当業者には理解されよう。具体的には、所与の実施形態、変形形態に記載されている、または図面に示されている（デバイス様または方法様の）特徴は、本発明の範囲から逸脱することなく、別の実施形態、変形形態、または図面における別の特徴と組み合わせるか、またはそれらに置き換えることができる。したがって、上記の実施形態または変形形態のいずれかに関して記載された特徴の様々な組合せを企図することができ、これらは添付の特許請求の範囲内にとどまる。加えて、特定の状況または材料を本発明の教示に適合させるために、本発明の範囲から逸脱することなく多くの軽微な修正を行うことができる。したがって、本発明は開示された特定の実施形態に限定されず、本発明は添付の特許請求の範囲に含まれるすべての実施形態を含むことが意図される。加えて、上記で明示的に触れた以外の多くの変形形態が企図され得る。

図６は、本発明の例示的な実施形態による、ニューラル・ネットワーク・システム１の一部として含まれ得るコンピュータ・システム５００の構成要素のブロック図を示す。図６は１つの実装形態の例示を提供しているにすぎず、異なる実施形態が実装され得る環境に関していかなる制限を暗示するものではないことを理解されたい。示されている環境に多くの修正を加えることができる。

コンピュータ・システム５００は、キャッシュ５１６と、メモリ５０６と、永続ストレージ５０８と、通信ユニット５１０と、入力／出力（Ｉ／Ｏ）インターフェース５１２との間の通信を提供する通信ファブリック５０２を含む。通信ファブリック５０２は、プロセッサ（マイクロプロセッサ、通信およびネットワーク・プロセッサなど）と、システム・メモリと、周辺デバイスと、システム内の任意の他のハードウェア構成要素との間でデータまたは制御情報あるいはその両方を渡すために設計された任意のアーキテクチャを用いて実装され得る。例えば、通信ファブリック５０２は、１つまたは複数のバス、またはクロスバー・スイッチを用いて実装され得る。

メモリ５０６および永続ストレージ５０８は、コンピュータ可読記憶媒体である。この実施形態では、メモリ５０６は、ランダム・アクセス・メモリ（ＲＡＭ）を含む。一般に、メモリ５０６は、任意の好適な揮発性または不揮発性のコンピュータ可読記憶媒体を含むことができる。キャッシュ５１６は、メモリ５０６から、最近アクセスされたデータ、およびアクセスされたデータの近くのデータを保持することによって、コンピュータ・プロセッサ５０４の性能を向上させる高速メモリである。

プログラムは、キャッシュ５１６を介したそれぞれのコンピュータ・プロセッサ５０４のうちの１つまたは複数による実行のために、永続ストレージ５０８およびメモリ５０６に記憶され得る。一実施形態では、永続ストレージ５０８は、磁気ハード・ディスク・ドライブを含む。代替として、または磁気ハード・ディスク・ドライブに加えて、永続ストレージ５０８は、ソリッド・ステート・ハード・ドライブ、半導体ストレージ・デバイス、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、フラッシュ・メモリ、またはプログラム命令もしくはデジタル情報を記憶することが可能である任意の他のコンピュータ可読記憶媒体を含むことができる。

永続ストレージ５０８によって使用される媒体はまた、取り外し可能であり得る。例えば、永続ストレージ５０８のために取り外し可能ハード・ドライブが使用されてもよい。他の例には、永続ストレージ５０８の一部でもある別のコンピュータ可読記憶媒体への転送のためにドライブに挿入される光学ディスクおよび磁気ディスク、サム・ドライブ、ならびにスマート・カードが含まれる。

これらの例では、通信ユニット５１０は、他のデータ処理システムまたはデバイスとの通信を提供する。これらの例では、通信ユニット５１０は、１つまたは複数のネットワーク・インターフェース・カードを含む。通信ユニット５１０は、物理的通信リンクおよび無線通信リンクのいずれかまたは両方を使用して通信を提供し得る。プログラムは、通信ユニット５１０を介して永続ストレージ５０８にダウンロードされ得る。

Ｉ／Ｏインターフェース５１２は、コンピュータ・システム５００に接続され得る他のデバイスとのデータの入出力を可能にする。例えば、Ｉ／Ｏインターフェース５１２は、キーボード、キーパッド、タッチ・スクリーン、または何らかの他の好適な入力デバイス、あるいはその組合せなどの外部デバイス５１８への接続を提供し得る。外部デバイス５１８もまた、例えば、サム・ドライブ、ポータブル光学ディスクまたはポータブル磁気ディスク、およびメモリ・カードなどのポータブル・コンピュータ可読記憶媒体を含むことができる。本発明の実施形態を実施するために使用されるソフトウェアおよびデータは、そのようなポータブル・コンピュータ可読記憶媒体内に記憶され得、Ｉ／Ｏインターフェース５１２を介して永続ストレージ５０８上にロードされ得る。Ｉ／Ｏインターフェース５１２はまた、ディスプレイ５２０に接続する。

ディスプレイ５２０は、データをユーザに表示するためのメカニズムを提供し、例えば、コンピュータ・モニタであり得る。

本明細書に記載のプログラムは、本発明の特定の実施形態においてそのプログラムが実施される用途に基づいて識別される。しかしながら、本明細書における特定のプログラム命名法は便宜のために使用されているにすぎず、したがって、本発明が、そのような命名法によって識別または暗示されるあるいはその両方である特定の用途での使用に限定されるべきではないことを理解されたい。

本発明は、任意の可能な技術的詳細の統合レベルでのシステム、方法、またはコンピュータ・プログラム製品あるいはその組合せであり得る。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実施させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（または複数のコンピュータ可読記憶媒体）を含み得る。

コンピュータ可読記憶媒体は、命令実行デバイスが使用するための命令を保持および記憶することができる有形デバイスとすることができる。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁気記憶デバイス、半導体記憶デバイス、または上記の任意の好適な組合せとすることができるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストには以下のもの、すなわち、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピ（Ｒ）・ディスク、パンチカードまたは命令が記録された溝内の隆起構造体などの機械的に符号化されたデバイス、および上記の任意の好適な組合せが含まれる。本明細書で使用されるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝播する電磁波、導波路もしくは他の伝送媒体を介して伝播する電磁波（例えば、光ファイバ・ケーブルを通る光パルス）、または電線を介して送信される電気信号などの一過性の信号自体であると解釈されるべきではない。

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスに、または、ネットワーク、例えばインターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、またはワイヤレス・ネットワークあるいはその組合せを介して外部コンピュータまたは外部記憶デバイスにダウンロードされ得る。ネットワークは、銅伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバあるいはその組合せを含み得る。各コンピューティング／処理デバイスにおけるネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、そのコンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体における記憶のために転送する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、インストラクション・セット・アーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用の構成データ、または、Ｓｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋などのオブジェクト指向プログラミング言語および「Ｃ」プログラミング言語もしくは同様のプログラム言語などの手続き型プログラミング言語を含む１つまたは複数のプログラミング言語の任意の組合せで書かれたソース・コードもしくはオブジェクト・コードとすることができる。コンピュータ可読プログラム命令は、スタンドアロン・ソフトウェア・パッケージとして全体がユーザのコンピュータ上で、一部がユーザのコンピュータ上で、一部がユーザのコンピュータ上かつ一部がリモート・コンピュータ上で、または全体がリモート・コンピュータ上もしくはサーバ上で実行されてもよい。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）もしくはワイド・エリア・ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続され得るか、または（例えば、インターネット・サービス・プロバイダを使用してインターネットを介して）外部コンピュータに対して接続され得る。いくつかの実施形態では、本発明の態様を実行するために、例えば、プログラマブル・ロジック回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）を含む電子回路が、コンピュータ可読プログラム命令の状態情報を利用して電子回路をパーソナライズすることによって、コンピュータ可読プログラム命令を実行し得る。

本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照しながら本明細書で説明されている。フローチャート図またはブロック図あるいはその両方の各ブロック、およびフローチャート図またはブロック図あるいはその両方におけるブロックの組合せは、コンピュータ可読プログラム命令によって実施され得ることが理解されよう。

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定された機能／作用を実施するための手段を作り出すように、コンピュータのプロセッサ、または他のプログラマブル・データ処理装置に提供されて、マシンを作り出すものであってもよい。これらのコンピュータ可読プログラム命令はまた、命令が記憶されたコンピュータ可読記憶媒体が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定された機能／作用の態様を実施する命令を含む製造品を含むように、コンピュータ可読媒体に記憶され、コンピュータ、プログラマブル・データ処理装置、または他のデバイスあるいはその組合せに対して特定の方式で機能するように指示できるものであってもよい。

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブル装置、または他のデバイスで実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定された機能／作用を実施するように、コンピュータ実施プロセスを作り出すべくコンピュータ、他のプログラマブル・データ処理装置、または他のデバイスにロードされて、コンピュータ、他のプログラマブル装置、または他のデバイス上で一連の動作ステップを実行させるものであってもよい。

図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法およびコンピュータ・プログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を示す。これに関して、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実装するための１つまたは複数の実行可能命令を含む、命令のモジュール、セグメント、または一部を表すことがある。いくつかの代替の実装形態では、ブロックに記載された機能は、図に記載された順序とは異なる順序で行われてもよい。例えば、連続して示されている２つのブロックは、実際には、関与する機能に応じて、部分的にもしくは全体的に時間的に重複する方法で、同時に、実質的に同時に実行される１つのステップとして遂行され得るか、またはそれらのブロックは、時には逆の順序で実行され得る。ブロック図またはフローチャート図あるいはその両方の各ブロック、およびブロック図またはフローチャート図あるいはその両方におけるブロックの組合せは、指定された機能または作用を実行するか、あるいは専用ハードウェアとコンピュータ命令との組合せを遂行する専用ハードウェア・ベースのシステムによって実装され得ることにも留意されたい。

本発明の様々な実施形態の説明を例示の目的で提示してきたが、網羅的であることも、開示された実施形態に限定されることも意図されていない。当業者には、本発明の範囲および思想から逸脱することなく多くの変更形態および変形形態が明らかであろう。本明細書で使用される用語は、実施形態の原理、実際の適用例、もしくは市場で見られる技術を超える技術的な改良を最もよく説明するように、または本明細書で開示される実施形態を当業者が理解することが可能になるように選択されたものである。

Claims (18)

1. ニューラル・ネットワーク・システムを動作させるためのハードウェア実装方法であって、
   コントローラと、メモリと、前記コントローラを前記メモリに接続するインターフェースとを含むニューラル・ネットワーク・システムを提供することであって、前記コントローラが、ニューラル・ネットワークを実行するように構成された処理ユニットを備え、前記メモリが、電子デバイスを介して接合部で相互接続された入力線および出力線を含むクロスバー・アレイ構造を有するニューロモーフィック・メモリ・デバイスを備える、前記ニューラル・ネットワーク・システムを提供することと、
   （ｉ）前記コントローラから受信された書き込み命令と（ｉｉ）前記書き込み命令に従って前記インターフェースによって生成された書き込みベクトルとに基づいて書き込み信号を前記入力線のうちの１つまたは複数に結合することによって、前記ニューロモーフィック・メモリ・デバイスの前記電子デバイスを、前記電子デバイスの状態を増分的に変化させるようにプログラムすることと、
   （ｉ）前記コントローラからの読み取り命令と（ｉｉ）前記読み取り命令に従って前記インターフェースによって生成された読み取りベクトルとに基づいて読み取り信号を前記ニューロモーフィック・メモリ・デバイスの前記入力線のうちの１つまたは複数に結合することによって、積和演算に従って前記ニューロモーフィック・メモリ・デバイスからデータを取り出すことと
   を含む、ハードウェア実装方法。
2. 前記電子デバイスをプログラムすることが、前記電子デバイスのうちの１つまたは複数の前記状態を増分的に変化させる前に消去動作を実行することをさらに含み、
   前記消去動作が前記書き込みベクトルによって決定され、これにより前記消去動作が、前記電子デバイスのうちの前記１つまたは複数を、前記電子デバイスのそれぞれの状態をリセットするように完全に消去する、請求項１に記載の方法。
3. 前記インターフェースが前記ニューロモーフィック・メモリ・デバイスからデータを取り出すことなく、前記インターフェースによって前記書き込みベクトルが生成される、請求項１に記載の方法。
4. 提供される前記ニューラル・ネットワーク・システムの前記クロスバー・アレイ構造が、Ｎ個の前記入力線およびＷ個の前記出力線を含み、ここで、Ｎ＞１であり、Ｗ＞１であり、
   前記ニューロモーフィック・メモリ・デバイスのメモリ容量が、次元Ｎ×Ｗのメモリ行列Ｍによって決定される、請求項２に記載の方法。
5. 前記書き込み信号が、２つのタイプの書き込みベクトルに基づく２つの動作に従って生成され、前記２つの動作が、前記消去動作を決定するための第１の動作と、前記電子デバイスの状態を増分的に変化させるための第２の動作とを含む、請求項４に記載の方法。
6. 前記第２の動作が、加算項を含み、
   前記加算項の加算値を累積することであって、前記加算値が前記２つのタイプの書き込みベクトルのうちの第２のタイプによって決定される、前記加算値を累積すること、および
   前記累積された加算値が所与の閾値を超えたことに応答して、前記累積された加算値に従って前記電子デバイスの状態を増分的に変化させること
   によって実行される、請求項５に記載の方法。
7. 前記電子デバイスをプログラムすることが、前記２つのタイプのベクトルのうちの一方のベクトルの成分の値を２値化することをさらに含む、請求項５に記載の方法。
8. 前記値を２値化することが、前記値をベクトル成分のシフトされた値のヘビサイド関数として計算することを含む、請求項７に記載の方法。
9. 前記積和演算に従って前記ニューロモーフィック・メモリ・デバイスから第２のセットのデータが取り出され、これにより、前記インターフェースによって生成された読み取りベクトルに前記メモリ行列Ｍが乗算される、請求項４に記載の方法。
10. 前記コントローラの前記処理ユニットによってアルゴリズムを実行することをさらに含み、前記アルゴリズムが、前記システムに、（ｉ）前記電子デバイスをプログラムするステップと、（ｉｉ）前記ニューロモーフィック・メモリ・デバイスからデータを取り出すステップとをインターリーブさせる、請求項１に記載の方法。
11. ニューラル・ネットワーク・システムであって、
    ニューラル・ネットワークを実行するように構成された処理ユニットを含むコントローラと、
    電子デバイスを介して接合部で相互接続された入力線および出力線を含むクロスバー・アレイ構造を有するニューロモーフィック・メモリ・デバイスを備えるメモリと、
    前記コントローラを前記メモリに接続するインターフェースと
    を含み、
    前記システムが、
    （ｉ）前記コントローラから受信された書き込み命令と（ｉｉ）前記書き込み命令に従って前記インターフェースによって生成された書き込みベクトルとに基づいて書き込み信号を前記入力線のうちの１つまたは複数に結合することによって、前記ニューロモーフィック・メモリ・デバイスの前記電子デバイスを、前記電子デバイスの状態を増分的に変化させるようにプログラムし、
    （ｉ）前記コントローラからの読み取り命令と（ｉｉ）前記読み取り命令に従って前記インターフェースによって生成された読み取りベクトルとに基づいて読み取り信号を前記ニューロモーフィック・メモリ・デバイスの前記入力線のうちの１つまたは複数に結合することによって、積和演算に従って前記ニューロモーフィック・メモリ・デバイスからデータを取り出す
    ように構成される、ニューラル・ネットワーク・システム。
12. 前記システムが、前記電子デバイスの前記状態を増分的に変化させる前に消去動作を実行するようにさらに構成され、
    前記消去動作が、前記書き込みベクトルによって決定され、これにより前記消去動作のそれぞれが、動作に際して、（ｉ）前記電子デバイスのうちの１つを完全に消去すること、および（ｉｉ）前記電子デバイスのうちの前記１つをまったく消去しないことからなる群から選択されたアクションのみを実行することができる、
    請求項１１に記載のニューラル・ネットワーク・システム。
13. 前記クロスバー・アレイ構造が、Ｎ個の前記入力線およびＷ個の前記出力線を備え、ここで、Ｎ＞１であり、Ｗ＞１であり、
    前記ニューロモーフィック・メモリ・デバイスのメモリ容量が、次元Ｎ×Ｗのメモリ行列Ｍによって決定される、
    請求項１２に記載のニューラル・ネットワーク・システム。
14. 前記クロスバー・アレイ構造が、接合部ごとに単一の電子デバイスを備え、前記電子デバイスがメムリスティブ・デバイスである、請求項１３に記載のニューラル・ネットワーク・システム。
15. 前記インターフェースが、前記入力線および前記出力線に接続された読み取りヘッドと、前記入力線に接続された書き込みヘッドとを備える、請求項１３に記載のニューラル・ネットワーク・システム。
16. 前記クロスバー・アレイ構造がパルス幅変調回路をさらに備え、これにより前記読み取りヘッドと前記書き込みヘッドとの両方が、前記パルス幅変調回路のそれぞれの１つを介して前記入力線に接続される、請求項１５に記載のニューラル・ネットワーク・システム。
17. 前記読み取りヘッドが、２層ニューラル・ネットワークを実装するモジュールとして具現化され、前記２層ニューラル・ネットワークが、
    入力層であって、前記入力層の入力ノードが前記コントローラからの出力にマッピングされる、前記入力層と、
    出力層であって、前記出力層の出力ノードが前記クロスバー・アレイ構造の入力線にマッピングされる、前記出力層と
    を含む、請求項１５に記載のニューラル・ネットワーク・システム。
18. 前記書き込みヘッドが、２つのニューラル・ネットワークを実装するモジュールとして具現化され、各ニューラル・ネットワークが、
    入力層であって、前記入力層の入力ノードが前記コントローラからの出力にマッピングされる、前記入力層と、
    出力層であって、前記出力層の出力ノードが、それぞれ２つのタイプの書き込みベクトルを出力するために前記クロスバー・アレイ構造の入力線にマッピングされる、前記出力層とを含み、前記２つのタイプの書き込みベクトルに基づいて、前記システムが、前記消去動作を決定する第１の動作と前記電子デバイスの状態を増分的に変化させる第２の動作とを含む２つの動作を実行するように適合される、請求項１６に記載のニューラル・ネットワーク・システム。

Images