JP7060175B2

JP7060175B2 - リザボア素子

Info

Publication number: JP7060175B2
Application number: JP2021565152A
Authority: JP
Inventors: 一紀中田; 智生佐々木
Original assignee: TDK Corp
Current assignee: TDK Corp
Priority date: 2019-12-16
Filing date: 2019-12-16
Publication date: 2022-04-26
Anticipated expiration: 2039-12-16
Also published as: JPWO2021124379A1; WO2021124379A1

Description

本発明は、リザボア素子に関する。

ニューロモルフィックデバイスは、ニューラルネットワークにより人間の脳を模倣した素子である。ニューロモルフィックデバイスは、人間の脳におけるニューロンとシナプスとの関係を人工的に模倣している。

ニューロモルフィックデバイスは、例えば、階層状に配置されたチップ（脳におけるニューロン）と、これらの間を繋ぐ伝達手段（脳におけるシナプス）と、を有する。ニューロモルフィックデバイスは、伝達手段（シナプス）が学習することで、問題の正答率を高める。学習は将来使えそうな知識を情報から見つけることであり、ニューロモルフィックデバイスでは入力されたデータに重み付けをする。

ニューラルネットワークの一つとして、リカレントニューラルネットワークが知られている。リカレントニューラルネットワークは、非線形な時系列のデータを扱うことができる。非線形な時系列のデータは、時間の経過とともに値が変化するデータであり、株価等はその一例である。リカレントニューラルネットワークは、後段の階層のニューロンでの処理結果を前段の階層のニューロンに戻すことで、時系列のデータを処理することができる。

リザボアコンピューティングは、リカレントニューラルネットワークを実現する一つの手段である。リザボアコンピューティングは、信号を相互作用させることで、再帰的な処理を行う。リザボアコンピューティングは、例えば、小脳の動作を模倣しており、再帰的なデータの処理やデータの変換（例えば、座標の変換）等を行う。非特許文献１には、１次元リングトポロジーのリザボアが記載されている。

Herbert Jaeger and Harald Haas, Science, vol.304 pp.77-80, 2004.

リザボアコンピューティングの概念を実際の素子で実現しようとすると、配線が複雑化し、集積化しにくいという問題がある。

本発明は上記事情に鑑みてなされたものであり、配線の複雑化が抑制され、リザボア計算に対応した信号を出力できるリザボア素子を提供する。

（１）第１の態様にかかるリザボア素子は、共通の信号を伝える共通配線と、前記共通配線にそれぞれ接続され、前記共通配線から入力される前記信号をそれぞれ変調する複数の素子と、を有する。

（２）上記態様にかかるリザボア素子において、共通配線に接続された第１電源をさらに有し、前記複数の素子のそれぞれは接地されていてもよい。

（３）上記態様にかかるリザボア素子において、前記複数の素子のそれぞれに接続された第２電源をさらに有し、前記共通配線は接地されていてもよい。

（４）上記態様にかかるリザボア素子において、共通配線に接続された第１電源と、前記複数の素子のそれぞれに接続された第２電源と、をさらに有してもよい。

（５）上記態様にかかるリザボア素子において、前記第１電源は、電流補償機能を有してもよい。

（６）上記態様にかかるリザボア素子において、前記第２電源は、電流補償機能を有してもよい。

（７）上記態様にかかるリザボア素子において、前記複数の素子はそれぞれ、それぞれの素子への入力信号に対して出力が非線形に応答する非線形回路を有してもよい。

（８）上記態様にかかるリザボア素子において、前記複数の素子はそれぞれ、それぞれの素子への入力信号の電位の変化に対して出力状態がヒステリシスを持って変化するヒステリシス回路を有してもよい。

（９）上記態様にかかるリザボア素子において、前記複数の素子はそれぞれ、それぞれの素子への入力信号を遅延させる遅延回路を有してもよい。

（１０）上記態様にかかるリザボア素子において、前記複数の素子はそれぞれ、シュミットトリガー回路でもよい。

（１１）上記態様にかかるリザボア素子において、前記複数の素子のそれぞれは、前記共通配線と繋がる電源線に抵抗をそれぞれ有し、それぞれの抵抗の抵抗値は一定ではなく、前記複数の素子の抵抗値分布はばらつきを有してもよい。

（１２）上記態様にかかるリザボア素子において、前記複数の素子のそれぞれに接続され、前記複数の素子のそれぞれで変調された変調信号が合成される読み出し配線をさらに備えてもよい。

上記態様にかかるリザボア素子は、少ない配線数でもリザボア計算に対応した信号を出力できる。

第１実施形態に係るリザボア素子が模擬するニューラルネットワークの概念図である。第１実施形態に係るリザボア素子の回路図である。第１実施形態に係るリザボア素子の要部の拡大図である。第１変形例に係るリザボア素子の要部の拡大図である。第２実施形態に係るリザボア素子の回路図である。第３実施形態に係るリザボア素子の回路図である。

以下、本実施形態について、図を適宜参照しながら詳細に説明する。以下の説明で用いる図面は、本発明の特徴をわかりやすくするために便宜上特徴となる部分を拡大して示している場合があり、各構成要素の寸法比率などは実際とは異なっていることがある。以下の説明において例示される材料、寸法等は一例であって、本発明はそれらに限定されるものではなく、本発明の効果を奏する範囲で適宜変更して実施することが可能である。

本実施形態に係るリザボア素子は、リザボアコンピューティングにおける処理をデバイス化したものである。リザボアコンピューティングは、リカレントニューラルネットワークの一例である。

「第１実施形態」
図１は、第１実施形態にかかるリザボア素子が模擬するニューラルネットワークの概念図である。図１に示すニューラルネットワークＮＮは、リザボアコンピューティングの概念模式図である。図１に示すニューラルネットワークＮＮは、入力層Ｌ_ｉｎとリザボアＲと出力層Ｌ_ｏｕｔとを有する。入力層Ｌ_ｉｎ及び出力層Ｌ_ｏｕｔは、リザボアＲに接続されている。

入力層Ｌ_ｉｎは、外部から入力された信号をリザボアＲに伝える。入力層Ｌ_ｉｎは、例えば、複数のニューロンｎ_１を含む。外部から入力層Ｌ_ｉｎのそれぞれのニューロンｎ_１に入力された入力信号は、リザボアＲに伝わる。

リザボアＲは、入力層Ｌ_ｉｎから入力された入力信号を貯留し、別の信号に変換する。リザボアＲ内では、信号は相互作用するだけであり、学習しない。入力信号が互いに相互作用すると、入力信号が非線形に変化する。すなわち、入力信号は、元の情報を保有しつつ別の信号に置き換わる。入力信号は、リザボアＲ内で互いに相互作用することで、時間の経過とともに変化する。リザボアＲは、複数のニューロンｎ_２がランダムに接続されている。例えば、ある時刻ｔにあるニューロンｎ_２から出力された信号は、ある時刻ｔ＋１において元のニューロンｎ_２に戻る場合がある。ニューロンｎ_２では、時刻ｔ及び時刻ｔ＋１の信号を踏まえた処理ができ、情報を再帰的に処理できる。

出力層Ｌ_ｏｕｔは、リザボアＲからの信号を出力する。出力層Ｌ_ｏｕｔから出力される出力信号は、入力信号の情報を持ちつつ、別の信号に置き換わっている。当該変換の一例として、直交座標系（ｘ，ｙ，ｚ）から球面座標系（ｒ，θ，φ）への置き換えが挙げられる。出力層Ｌ_ｏｕｔは、例えば、複数のニューロンｎ_３を含む。リザボアＲから出力層Ｌ_ｏｕｔに至る際に、学習が行われる。学習は、リザボアＲのそれぞれのニューロンｎ_２と出力層Ｌ_ｏｕｔのニューロンｎ_３とを繋ぐ伝達経路（脳におけるシナプス）で行われる。出力層Ｌ_ｏｕｔは、学習の結果を外部に出力する。

図２は、第１実施形態にかかるリザボア素子１００の回路図である。リザボア素子１００は、例えば、複数の素子１０と共通配線１１と第１電源１２と読み出し配線１３とを有する。リザボア素子１００は、上記のリザボアＲをデバイス化したものである。リザボア素子１００に含まれる複数の素子１０の数は問わない。またそれぞれの素子１０の配置も自由である。

共通配線１１は、複数の素子１０のそれぞれに接続されている。図１に示す共通配線１１は、例えば、第１電源１２と複数の素子１０のそれぞれとを接続する。共通配線１１は、共通の信号を複数の素子１０のそれぞれに伝える。図１に示すリザボア素子１００は、複数の素子１０がそれぞれ接地されているため、第１電源１２から出力される電流が共通の信号となる。

図３は、第１実施形態に係るリザボア素子１００の要部を拡大した図である。図３は、図１に示すリザボア素子１００の素子１０の一例を示す図である。それぞれの素子１０は、共通配線１１から入力される信号をそれぞれ変調する。

複数の素子１０のそれぞれは、例えば、電源線ＰＬとインバータＩ１とループ線Ｒｐと抵抗Ｒ_１，ｎ、Ｒ_２，ｎ（ｎは整数）とコンデンサＣ_１，ｎ（ｎは整数）とを有する。図３に示す素子１０は、シュミットトリガー回路である。

それぞれの素子１０は、例えば、電源線ＰＬを有する。電源線ＰＬはそれぞれ、共通配線１１と複数の素子１０のそれぞれとを繋ぐ。それぞれの素子１０には、電源線ＰＬを介して共通配線１１から信号が入力される。

以下、素子１０のそれぞれに、電源線ＰＬから入力される信号を入力信号と称する。入力信号は、例えば、それぞれの素子１０の基準電位と第１電源１２との電位差に応じて生じる。図３に示すそれぞれの素子１０は接地しており、入力信号は電位Ｖ_ｉｎで表される。

それぞれの電源線ＰＬは、抵抗Ｒ_１，ｎ（ｎは整数）を有する。それぞれの素子１０の抵抗Ｒ_１，ｎの抵抗値は、例えば、一定ではなく、異なっている。それぞれの素子１０の抵抗Ｒ_１，ｎの抵抗値の素子数に対する分布（抵抗値分布）は、例えば、ばらついている。抵抗値分布は特に問わないが、例えば、正規分布である。それぞれの素子１０の抵抗Ｒ_１，ｎの抵抗値が異なると、それぞれの素子１０の時定数が異なる。その結果、入力信号は、それぞれの素子１０で異なる変調がされる。

それぞれの素子１０は、例えば、入力信号に対して出力が非線形に応答する非線形回路を有する。それぞれの素子１０は、例えば、入力信号の電位の変化に対して出力状態がヒステリシスを持って変化するヒステリシス回路を有してもよい。図３に示すシュミットトリガー回路におけるインバータＩ１は、非線形応答し、出力がヒステリシスを有する。インバータＩ１が非線形に応答することで、入力信号が変調される。インバータＩ１は、例えば、入力信号の振幅を変調する。出力がヒステリシスを有すると、入力信号のノイズに起因するチャタリングを防止できる。

それぞれの素子１０のインバータＩ１に入力される信号は、互いに相関を有するが、異なっている。それぞれの素子１０には、共通配線１１から共通の信号が入力されるが、それぞれの素子１０毎で抵抗Ｒ_１，ｎの抵抗値が異なるためである。

それぞれの素子１０は、例えば、ループ線Ｒｐを有する。ループ線Ｒｐは、インバータＩ１から出力された信号をループし、再度、インバータＩ１に入力させる。ループ線Ｒｐは、入力信号を遅延させる遅延回路である。ループ線ＲｐがインバータＩ１に入力する信号を遅延させることで、時系列の異なるデータがインバータＩ１で変調される。遅延回路は、入力信号を保持する履歴機能を有する。

それぞれのループ線Ｒｐは、抵抗Ｒ_２，ｎ（ｎは整数）を有する。それぞれの素子１０の抵抗Ｒ_２，ｎの抵抗値は一定でも、異なってもよい。それぞれの素子１０の抵抗Ｒ_２，ｎの抵抗値を変えることで、それぞれの素子１０の時定数を変えてもよい。それぞれの素子１０の時定数が異なると、それぞれの素子１０で異なる変調がされる。

コンデンサＣ_１，ｎ（ｎは整数）は、ループ線Ｒｐを伝わる信号がグラウンド側に至ることを防ぎ、信号を保持する役割を担う。それぞれの素子１０のコンデンサＣ_１，ｎの値は一定でも、異なってもよい。それぞれの素子１０のコンデンサＣ_１，ｎの値を変えることで、それぞれの素子１０の時定数を変えてもよい。それぞれの素子１０の時定数が異なると、それぞれの素子１０で異なる変調がされる。

図２に示すように、第１電源１２は、共通配線１１に接続されている。第１電源１２には、公知の電源を用いることができる。第１電源１２とそれぞれの素子１０の基準電位との電位差に応じた信号が、それぞれの素子１０に入力される。第１電源１２は、例えば、電流補償機能を有してもよい。電流補償機能とは、第１電源１２から供給される電流値が大きく変動しないように補償する機能である。第１電源１２から供給される電流値が大きく変動すると、例えば隣接する素子１０間に電位差が生じ、それぞれの素子１０の入力信号にノイズが増える。ノイズを抑制することで、それぞれの素子１０に入力される信号の相関が保たれる。

図２に示すように、読み出し配線１３は、それぞれの素子１０に接続されている。読み出し配線１３は、インバータＩ１の出力端子（電位Ｖ_Ａの位置）に接続してもよいし、ループ線Ｒｐの異なる位置（例えば、電位Ｖ_Ｂの位置）に接続してもよい。読み出し配線１３で、複数の素子１０のそれぞれで変調された変調信号は合成される。合成された信号は、共通配線１１から入力される共通の信号の情報を有しつつ、異なる信号に変調されている。例えば、共通配線１１から直交座標系（ｘ，ｙ，ｚ）の信号が入力されると、読み出し配線１３から球面座標系（ｒ，θ，φ）の信号が出力される。

上述のように、第１実施形態に係るリザボア素子１００によれば、互いに相関を有する信号をそれぞれ変調でき、異なる信号に再構築することができる。すなわち、リザボア素子１００は、リザボアＲとして機能している。またそれぞれの素子１０を一つずつ別々に電源と接続するのではなく、一つの共通配線でまとめることで、リザボア素子１００の配線が複雑化することを抑制できる。

ここまで第１実施形態に係るリザボア素子１００の一例について詳述したが、第１実施形態に係るリザボア素子は、本発明の要旨の範囲内において、種々の変形・変更が可能である。

図４は、第１変形例に係るリザボア素子の要部を拡大した図である。図４は、図１に示すリザボア素子１００の素子１０の別の例を示す図である。ここまで素子１０がシュミットトリガー回路の場合を例に説明したが、シュミットトリガー回路に変えてリングオシレータとしてもよい。また素子１０は、共通配線１１から入力される信号を変調できるものであれば、これらに限られない。

「第２実施形態」
図５は、第２実施形態に係るリザボア素子１０１の回路図である。図５に示すリザボア素子１０１は、第１電源１２を有さず、第２電源１５を有する点が、図２に示すリザボア素子１００と異なる。図２に示すリザボア素子１００と同様の構成については、同様の符号を付し、説明を省く。

第２電源１５は、それぞれの素子１０と、第２共通配線１６で接続されている。第２共通配線１６は、それぞれの素子１０と第２電源１５とを繋ぐ。また図５に示す共通配線１１は、複数の素子１０のそれぞれとグラウンドとを繋ぐ。

図５に示すリザボア素子１０１において、それぞれの素子１０は第２電源１５に接続され、共通配線１１は接地されている。それぞれの素子１０への入力信号は、第２電源１５とグラウンドとの電位差に応じて生じる。そのため、図５に示すリザボア素子１０１においても、素子１０のそれぞれには、電源線ＰＬから入力信号が入力される。第２電源１５は、例えば、電流補償機能を有してもよい。

第２実施形態にかかるリザボア素子１０１は、電位の基準となる位置が第１実施形態に係るリザボア素子１００と異なるだけであり、第１実施形態に係るリザボア素子１００と同様に動作する。したがって、第２実施形態に係るリザボア素子１０１によれば、互いに相関を有する信号をそれぞれ変調でき、異なる信号に再構築することができる。またリザボア素子１０１は配線がまとめられており、配線が複雑化することが抑制されている。

「第３実施形態」
図６は、第３実施形態に係るリザボア素子１０２の回路図である。図６に示すリザボア素子１０２は、第２電源１５をさらに有する点が、図２に示すリザボア素子１００と異なる。図２に示すリザボア素子１００と同様の構成については、同様の符号を付し、説明を省く。

第２電源１５は、それぞれの素子１０と、第２共通配線１６で接続されている。第２共通配線１６は、それぞれの素子１０と第２電源１５とを繋ぐ。

図６に示すリザボア素子１０２において、それぞれの素子１０は第２電源１５に接続され、共通配線１１は第１電源１２に接続されている。それぞれの素子１０への入力信号は、第１電源１２と第２電源１５との電位差に応じて生じる。そのため、図６に示すリザボア素子１０２においても、素子１０のそれぞれには、電源線ＰＬから入力信号が入力される。第２電源１５は、例えば、電流補償機能を有してもよい。

第３実施形態にかかるリザボア素子１０２は、第１電源１２と第２電源１５との電位差に応じた信号がそれぞれの素子１０に入力される点が、第１実施形態に係るリザボア素子１００と異なるだけであり、第１実施形態に係るリザボア素子１００と同様に動作する。したがって、第３実施形態に係るリザボア素子１０２によれば、互いに相関を有する信号をそれぞれ変調でき、異なる信号に再構築することができる。またリザボア素子１０２は配線がまとめられており、配線が複雑化することが抑制されている。

また第２実施形態及び第３実施形態に係るリザボア素子１０１、１０２においても、素子１０は、共通配線１１から入力される信号を変調できるものであれば、シュミットトリガー回路に限られない。

１０素子、１１共通配線、１２第１電源、１３読み出し配線、１５第２電源、１６第２共通配線、１００，１０１，１０２リザボア素子、Ｃ_１，ｎコンデンサ、Ｉ１インバータ、ｎ１，ｎ２，ｎ３ニューロン、ＮＮニューラルネットワーク、ＰＬ電源線、Ｒリザボア、Ｒ_１，ｎ，Ｒ_２，ｎ抵抗、Ｒｐループ線

Claims

共通の信号を伝える共通配線と、
前記共通配線にそれぞれ接続され、前記共通配線から入力される前記信号をそれぞれ変調する複数の素子と、
共通配線に接続された第１電源と、を有し、
前記複数の素子のそれぞれは接地されている、リザボア素子。
共通の信号を伝える共通配線と、
前記共通配線にそれぞれ接続され、前記共通配線から入力される前記信号をそれぞれ変調する複数の素子と、
前記複数の素子のそれぞれに接続された第２電源と、を有し、
前記共通配線は接地されている、リザボア素子。
共通の信号を伝える共通配線と、
前記共通配線にそれぞれ接続され、前記共通配線から入力される前記信号をそれぞれ変調する複数の素子と、
共通配線に接続された第１電源と、
前記複数の素子のそれぞれに接続された第２電源と、を有する、リザボア素子。
前記第１電源は、電流補償機能を有する、請求項１又は３に記載のリザボア素子。
前記第２電源は、電流補償機能を有する、請求項２又は３に記載のリザボア素子。
共通の信号を伝える共通配線と、
前記共通配線にそれぞれ接続され、前記共通配線から入力される前記信号をそれぞれ変調する複数の素子と、を有し、
前記複数の素子はそれぞれ、それぞれの素子への入力信号の電位の変化に対して出力がヒステリシスを持って変化するヒステリシス回路を有する、リザボア素子。
共通の信号を伝える共通配線と、
前記共通配線にそれぞれ接続され、前記共通配線から入力される前記信号をそれぞれ変調する複数の素子と、を有し、
前記複数の素子はそれぞれ、それぞれの素子への入力信号を遅延させる遅延回路を有する、リザボア素子。
共通の信号を伝える共通配線と、
前記共通配線にそれぞれ接続され、前記共通配線から入力される前記信号をそれぞれ変調する複数の素子と、を有し、
前記複数の素子はそれぞれ、シュミットトリガー回路である、リザボア素子。
共通の信号を伝える共通配線と、
前記共通配線にそれぞれ接続され、前記共通配線から入力される前記信号をそれぞれ変調する複数の素子と、を有し、
前記複数の素子のそれぞれは、前記共通配線と繋がる電源線に抵抗をそれぞれ有し、
それぞれの抵抗の抵抗値は一定ではなく、前記複数の素子の抵抗値分布はばらつきを有する、リザボア素子。
共通の信号を伝える共通配線と、
前記共通配線にそれぞれ接続され、前記共通配線から入力される前記信号をそれぞれ変調する複数の素子と、を有し、
前記複数の素子のそれぞれに接続され、前記複数の素子のそれぞれで変調された変調信号が合成される読み出し配線をさらに備える、リザボア素子。
前記複数の素子はそれぞれ、それぞれの素子への入力信号に対して出力が非線形に応答する非線形回路を有する、請求項１～１０のいずれか一項に記載のリザボア素子。
前記複数の素子はそれぞれ、それぞれの素子への入力信号の電位の変化に対して出力がヒステリシスを持って変化するヒステリシス回路を有する、請求項１～５、７～１０のいずれか一項に記載のリザボア素子。
前記複数の素子はそれぞれ、それぞれの素子への入力信号を遅延させる遅延回路を有する、請求項１～６、８～１０のいずれか一項に記載のリザボア素子。
前記複数の素子はそれぞれ、シュミットトリガー回路である、請求項１～７、９、１０のいずれか一項に記載のリザボア素子。
前記複数の素子のそれぞれは、前記共通配線と繋がる電源線に抵抗をそれぞれ有し、
それぞれの抵抗の抵抗値は一定ではなく、前記複数の素子の抵抗値分布はばらつきを有する、請求項１～８、１０のいずれか一項にリザボア素子。
前記複数の素子のそれぞれに接続され、前記複数の素子のそれぞれで変調された変調信号が合成される読み出し配線をさらに備える、請求項１～９のいずれか一項にリザボア素子。