JP6908210B1 - パラメータの設定方法およびリザボア素子の制御方法 - Google Patents

パラメータの設定方法およびリザボア素子の制御方法 Download PDF

Info

Publication number
JP6908210B1
JP6908210B1 JP2021507545A JP2021507545A JP6908210B1 JP 6908210 B1 JP6908210 B1 JP 6908210B1 JP 2021507545 A JP2021507545 A JP 2021507545A JP 2021507545 A JP2021507545 A JP 2021507545A JP 6908210 B1 JP6908210 B1 JP 6908210B1
Authority
JP
Japan
Prior art keywords
distribution
parameter
reservoir
reservoir element
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021507545A
Other languages
English (en)
Other versions
JPWO2021192147A1 (ja
Inventor
一紀 中田
一紀 中田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TDK Corp
Original Assignee
TDK Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TDK Corp filed Critical TDK Corp
Application granted granted Critical
Publication of JP6908210B1 publication Critical patent/JP6908210B1/ja
Publication of JPWO2021192147A1 publication Critical patent/JPWO2021192147A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065Analogue means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R19/00Electrostatic transducers
    • H04R19/04Microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/02Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/04Structural association of microphone with electric circuitry therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R19/00Electrostatic transducers
    • H04R19/005Electrostatic transducers using semiconductor materials
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/003Mems transducers or their use

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Neurology (AREA)
  • Micromachines (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

実施形態にかかるパラメータ分布の設定方法は、リザボア素子の出力の確率分布と出力の理想の確率分布との相互情報量が大きくなるように、勾配学習法に基づいた学習を予め行い、リザボア素子のデバイスモデルにおいて、リザボア素子を構成する複数の素子の素子ばらつきを規定するパラメータのパラメータ分布を設定する。

Description

本発明は、パラメータの設定方法およびリザボア素子の制御方法に関する。
ニューロモルフィックデバイスは、ニューラルネットワークにより人間の脳を模倣した素子である。ニューロモルフィックデバイスは、人間の脳におけるニューロンとシナプスとの関係を人工的に模倣している。
ニューロモルフィックデバイスは、例えば、階層状に配置されたチップ(脳におけるニューロン)と、これらの間を繋ぐ伝達手段(脳におけるシナプス)と、を有する。ニューロモルフィックデバイスは、伝達手段(シナプス)が学習することで、問題の正答率を高める。学習は将来使えそうな知識を情報から見つけることであり、ニューロモルフィックデバイスでは入力されたデータに重み付けをする。
ニューラルネットワークの一つとして、リカレントニューラルネットワークが知られている。リカレントニューラルネットワークは、非線形な時系列のデータを扱うことができる。非線形な時系列のデータは、時間の経過とともに値が変化するデータであり、株価等はその一例である。リカレントニューラルネットワークは、後段の階層のニューロンでの処理結果を前段の階層のニューロンに戻すことで、時系列のデータを処理することができる。
リザボアコンピューティングは、リカレントニューラルネットワークを実現する一つの手段である。リザボアコンピューティングは、信号を相互作用させることで、再帰的な処理を行う。リザボアコンピューティングは、例えば、小脳の動作を模倣しており、再帰的なデータの処理やデータの変換(例えば、座標の変換)等を行う。
リザボアコンピューティングの概念を実際の素子に物理的に実装する試みが行われている。リザボアコンピューティングの概念を実際の素子に落とし込んだものを、以下、リザボア素子と称する。例えば、非特許文献1には、スピントルク発振(STO)素子をチップ(ニューロン)として用いたニューロモルフィック素子が記載されている。
Jacob Torrejon et al., Nature, Vol.547, pp.428-432 (2017). J. Coulombe, M.York, and J. Sylvestre, PLoS One, Vol. 12(6), e0178663 (2017). doi: 10.1371/journal.pone.0178663. A. Slavin & V. S. Tiberkevich, IEEE Transactions on Magnetics, Vol. 45(4), pp.1875-1918 (2009). P. Koprinkova-Hristova et al, International Conference on Artificial Neural Networks. Springer, Berlin, Heidelberg (2011). 杉山 将、入江 清、友納 正裕、日本ロボット学会誌、Vol.33, No.2, pp.86-91, 2015.
リザボア素子の出力の教師データに対するフィッテイング精度は、リザボア素子のパラメータ設定に応じて変動する。リザボア素子のパラメータの体系的な設計方法は、まだ確立されていない。
本発明は上記事情に鑑みてなされたものであり、リザボア素子を構成する複数の素子の素子ばらつきを規定するパラメータの体系的な設計方法を提供する。
(1)第1の態様にかかるパラメータの設定方法は、リザボア素子を構成する複数の素子の特性に基づくデバイスモデルから導き出される前記リザボア素子の出力の理想の確率分布と、前記リザボア素子の出力の確率分布と、の相互情報量が大きくなるように、事前学習を行い、前記デバイスモデルにおいて、前記複数の素子のそれぞれのばらつきを規定するパラメータのパラメータ分布を設定する。
(2)上記態様にかかるパラメータの設定方法は、前記デバイスモデルが、例えば、非特許文献2に示されるバネ振動に基づくモデルであってもよい。
(3)上記態様にかかるパラメータの設定方法は、前記デバイスモデルが、例えば、非特許文献3に示される一般化された非線形振動子モデルに基づくモデルであってもよい。
(4)第2の態様にかかるリザボア素子の制御方法は、上記態様にかかるパラメータの設定方法に基づき、前記パラメータ分布を設定し、前記パラメータ分布を、前記リザボア素子の特性分布に変換し、前記特性分布に基づき、前記複数の素子のそれぞれの特性を設定する。
(5)上記態様にかかるリザボア素子の制御方法において、リザボア素子は、複数のMEMSマイクロフォンを有するMEMSマイクロフォンアレイを含み、上記態様にかかるパラメータの設定方法に基づき、前記パラメータ分布を設定し、前記パラメータ分布を前記MEMSマイクロフォンアレイの感度特性の分布に変換し、前記感度特性の分布に基づき、それぞれのMEMSマイクロフォンの感度特性を設定してもよい。
(6)上記態様にかかるリザボア素子の制御方法において、前記リザボア素子は、複数のスピントルク発振素子を有するスピントルク発振素子アレイを含み、上記態様にかかるパラメータの設定方法に基づき、前記パラメータ分布を設定し、前記パラメータ分布を前記スピントルク発振素子アレイの共振特性の分布に変換し、前記共振特性の分布に基づき、それぞれのスピントルク発振素子の周波数特性を設定してもよい。
上記態様にかかるパラメータの設定方法は、リザボア素子を構成する複数の素子の素子ばらつきを規定するパラメータの体系的な設計方法を提供する。
第1実施形態にかかるリザボア素子が模擬するニューラルネットワークの概念図である。 MEMSマイクロフォンの一例の断面図である。 リザボア素子がMEMSマイクロフォンアレイの場合のデバイスモデルの概念図である。 事前学習を行うリザボアコンピューティングの概念図である。 理想の正規分布の平均σを0.1、分散μを0.25とした場合において、事前学習により求められたパラメータaのパラメータ分布である。 理想の正規分布の平均σを0.1、分散μを0.25とした場合において、事前学習により求められたパラメータbのパラメータ分布である。 図5A及び図5Bのパラメータ分布を適用した際のリザボア素子の出力と教師データとを示す。 理想の正規分布の平均σを0.2、分散μを0.25とした場合において、事前学習により求められたパラメータaのパラメータ分布である。 理想の正規分布の平均σを0.2、分散μを0.25とした場合において、事前学習により求められたパラメータbのパラメータ分布である。 図6A及び図6Bのパラメータ分布を適用した際のリザボア素子の出力と教師データとを示す。 理想の正規分布の平均σを0.3、分散μを0.25とした場合において、事前学習により求められたパラメータaのパラメータ分布である。 理想の正規分布の平均σを0.3、分散μを0.25とした場合において、事前学習により求められたパラメータbのパラメータ分布である。 図7A及び図7Bのパラメータ分布を適用した際のリザボア素子の出力と教師データとを示す。 スピントルク発振素子の一例の回路図である。
以下、本実施形態について、図を適宜参照しながら詳細に説明する。以下の説明で用いる図面は、本発明の特徴をわかりやすくするために便宜上特徴となる部分を拡大して示している場合があり、各構成要素の寸法比率などは実際とは異なっていることがある。以下の説明において例示される材料、寸法等は一例であって、本発明はそれらに限定されるものではなく、本発明の効果を奏する範囲で適宜変更して実施することが可能である。
本実施形態に係るリザボア素子は、リザボアコンピューティングにおける処理をデバイス化したものである。リザボアコンピューティングは、リカレントニューラルネットワークの一例である。
「第1実施形態」
(リザボアコンピューティング)
図1は、第1実施形態にかかるリザボア素子が模擬するニューラルネットワークの概念図である。図1に示すニューラルネットワークNNは、リザボアコンピューティングの概念模式図である。図1に示すニューラルネットワークNNは、入力層LinとリザボアRと出力層Loutとを有する。入力層Lin及び出力層Loutは、リザボアRに接続されている。
入力層Linは、外部から入力された信号をリザボアRに伝える。入力層Linは、例えば、複数のニューロンnを含む。外部から入力層Linのそれぞれのニューロンnに入力された入力信号は、リザボアRに伝わる。
リザボアRは、入力層Linから入力された入力信号を貯留し、別の信号に変換する。リザボアR内では、信号は相互作用するだけであり、学習しない。入力信号が互いに相互作用すると、入力信号が非線形に変化する。すなわち、入力信号は、元の情報を保有しつつ別の信号に置き換わる。入力信号は、リザボアR内で互いに相互作用することで、時間の経過とともに変化する。リザボアRは、複数のニューロンnがランダムに接続されている。例えば、ある時刻tにあるニューロンnから出力された信号は、ある時刻t+1において元のニューロンnに戻る場合がある。ニューロンnでは、時刻t及び時刻t+1の信号を踏まえた処理ができ、情報を再帰的に処理できる。
出力層Loutは、リザボアRからの信号を出力する。出力層Loutから出力される出力信号は、入力信号の情報を持ちつつ、別の信号に置き換わっている。当該変換の一例として、直交座標系(x,y,z)から球面座標系(r,θ,φ)への置き換えが挙げられる。出力層Loutは、例えば、複数のニューロンnを含む。リザボアRから出力層Loutに至る際に、学習が行われる。学習は、リザボアRのそれぞれのニューロンnと出力層Loutのニューロンnとを繋ぐ伝達経路(脳におけるシナプス)で行われる。出力層Loutは、学習の結果を外部に出力する。
(パラメータの設定方法)
本実施形態にかかるパラメータの設定方法は、上記のリザボアRに該当する部分のパラメータを体系的に設定する。設定するパラメータは、リザボアRを構成する複数のニューロンnのばらつきを規定するパラメータである。本実施形態にかかるパラメータの設定方法は、デバイスモデルの決定工程と、理想の確率分布の設定工程と、学習工程と、を有する。以下、具体的な例を挙げて、それぞれの工程について説明する。
<MEMSマイクロフォンアレイに適用した例>
リザボアコンピューティングにおけるリザボアRを物理的な素子で実現したリザボア素子が、MEMSマイクロフォンアレイの場合を例に説明する。MEMSマイクロフォンアレイは、MEMSマイクロフォンが配列し、互いに電気的に接続されたものである。MEMSは、Micro Electronics Mechanical Systemの略語である。
図2は、MEMSマイクロフォンの一例の断面図である。MEMSマイクロフォン10は、例えば、振動膜1とMEMSチップ2と集積回路3と開口4Aを有する基板4と保護板5とを有する。振動膜1、MEMSチップ2及び集積回路3は、基板4上に形成され、互いに電気的に接続されている。振動膜1、MEMSチップ2及び集積回路3は、保護板5で保護されている。MEMSマイクロフォン10は、例えば、音波を電気信号に変換する。開口4Aを介して入力された音波は、振動膜1を振動させる。振動膜1の振動は、例えば、MEMSチップ2内のコンデンサの静電容量を変化させ、電気信号に変換される。集積回路3は、例えば、アナログ−デジタルコンバータを含み、電気信号をアナログで出力する。
[デバイスモデルの決定工程]
本実施形態にかかるパラメータの設定方法では、まずデバイスモデルを決定する。デバイスモデルは、リザボア素子を構成する複数の素子の特性に基づき、決定される。リザボア素子がMEMSマイクロフォンアレイの場合、リザボア素子を構成する素子は、MEMSマイクロフォン10である。上述のように、MEMSマイクロフォン10は、振動膜1の振動を電気信号に置き換えている。それぞれの振動膜1の振動をバネ振動と見立てると、MEMSマイクロフォンアレイは、複数のバネが連結したバネ振動に基づくモデルで表すことができる。
図3は、リザボア素子がMEMSマイクロフォンアレイの場合のデバイスモデルの概念図である。図3に示すデバイスモデルは、複数の振動点vpが互いにバネで接続されている。それぞれの振動点vpは、リザボア素子におけるそれぞれのMEMSマイクロフォン10に対応する。リザボア素子がMEMSマイクロフォンアレイの場合のデバイスモデルは、以下の数式(1)で表される。
Figure 0006908210
は、それぞれの振動点vpの変位である。ωはそれぞれの振動点vpにそれぞれ接続されたバネの固有の振動数であり、それぞれのMEMSマイクロフォン10の振動膜1の振動に対応する。Qは、クオリティファクター(Q値)である。右辺の第1項である−ω/Q・dx/dtは、抵抗がない場合の振動点vpにおける基本振動を表す。右辺の第2項である−ω は、それぞれの振動点vpの減衰を表し、例えば、振動膜1の振動の空気抵抗による減衰を表す。
βは、それぞれの振動点vpごとに異なる値であり、それぞれのMEMSマイクロフォン10の素子特性のばらつきに対応する。右辺の第3項である−β は、それぞれの振動点vpの非線形なバネ特性を表し、MEMSマイクロフォン10毎に異なる振動である。例えば、複数のMEMSマイクロフォン10の性能にばらつきがあり、素子毎にばらつきに応じて−β が生じる。右辺の第3項が、リザボア素子において、入力信号に含まれる非線形成分を増幅する部分である。
右辺の第4項であるA[1+Δinu]cos(Ωt)は、外部から印加される力により生じる振動であり、MEMSマイクロフォン10に印加される音響波により生じる振動に対応する。
ωは、隣り合う振動点vpを繋ぐバネの振動数である。右辺の第5項であるω [xi−1−2x+xi+1]は、隣り合う振動点vpが影響しあうことで生じる振動であり、異なるMEMSマイクロフォン10間の電気的な繋がりに基づいて生じる振動の振動数に対応する。
[理想の確率分布の設定工程]
次いで、リザボア素子の出力の理想の確率分布を設定する。出力の理想の確率分布は、リザボアコンピューティングで解きたいタスクに応じて任意に設定される。また、出力の理想の確率分布は、例えば、デバイスモデルから導き出される。デバイスモデルの特性に応じて出力の理想の確率分布は決定する。出力の理想の確率分布は、例えば、正規分布である。例えば、タスクとして、リザボアコンピューティングによって任意のフーリエ合成波を近似する回帰問題を考える。このとき、リザボア素子の出力の周波数分布は、教師信号となるフーリエ合成波に含まれる周波数分布(パワースペクトルに相当)と同様の形状となることが望ましい。もし、教師信号となるフーリエ合成波に含まれる周波数分布が単峰性の場合には、リザボア素子の出力の理想の確率分布も単峰性となることが望ましい。また教師信号となるフーリエ合成波に含まれる周波数分布が双峰性の周波数分布の場合には、双峰性の確率分布を近似するために、リザボア素子の出力の理想の確率分布を混合正規分布とする。
[学習工程]
デバイスモデルにおける右辺の第3項−β をtanh(x)のテイラー展開を使って解析しやすい式に変換すると、3β(x−tanh(x))となる。右辺の第3項は、上述のようにそれぞれのMEMSマイクロフォン10の素子ばらつきに対応する。ばらつきを規定するパラメータをa、bとすると、y=fgen(x)=tanh(ax+b)が、それぞれの素子において、ばらつきに該当するパラメータを含んだ式となる。以下、y=fgen(x)=tanh(ax+b)を第1関数と称する場合がある。
第1関数を用いて、事前学習(例えば、非特許文献4参考)を行う。図4は、事前学習を行うリザボアコンピューティングの概念図である。事前学習は、例えば、シミュレーションにより行う。第1関数y=fgen(x)=tanh(ax+b)は、リザボア素子の非線形性を生じる作用を抽出したものであり、第1関数を用いて事前学習を行えば、リザボア素子の出力の精度を高めることができる。
事前学習は、出力の理想の確率分布と、リザボア素子(第1関数を有するリザボア素子)の出力の確率分布と、の相互情報量が大きくなるように行う。事前学習の初期値は、任意に設定でき、例えば、[0:1]の一様乱数に設定する。事前学習の初期値が何であっても、パラメータa及びbの分布は、事前学習により所定の分布に漸近する。相互情報量は、2つの確率変数の相互依存の尺度を表す量である。出力の理想の確率分布と、リザボア素子の出力の確率分布と、の相互情報量が大きくなると、リザボア素子の出力の確率分布が、出力の理想の確率分布に近づく。
相互情報量は、さまざまなものを用いてよい(例えば、非特許文献5参考)。例えば、カルバック・ライブラー情報量を用いることができる。カルバック・ライブラー情報量は、以下のように定義される。
Figure 0006908210
ここで、p(y)はリザボア素子の出力の確率分布であり、p(y)は出力の理想の確率分布である。p(y)は、例えば、正規分布であり、下記式で表される。正規分布は、平均σと分散μの関数で表記される。
Figure 0006908210
上記のカルバック・ライブラー情報量をパラメータa及びbで微分すると以下の式が得られる。
Figure 0006908210
Figure 0006908210
相互情報量を大きくする学習は、例えば、勾配学習法を用いて行う。勾配学習法は、機械学習において最適値を求める手段の一つである。上記の微分値がゼロになる点は、パラメータa又はパラメータbに対するカルバック・ライブラー情報量の傾きがゼロになる部分に対応する。上記の傾きがゼロとなる部分では、エントロピーが最小化し、相互情報量が最大化する。そのため、上記の微分値がゼロとなるように式変形を行うと、以下の関係式が得られる。
Figure 0006908210
Figure 0006908210
図5Aは、理想の正規分布の平均σを0.1、分散μを0.25とした場合において、事前学習により求められたパラメータaのパラメータ分布である。図5Bは、理想の正規分布の平均σを0.1、分散μを0.25とした場合において、事前学習により求められたパラメータbのパラメータ分布である。図5Cは、図5A及び図5Bのパラメータ分布を適用した際のリザボア素子の出力と教師データとを示す。教師データは点線で示す。
図6Aは、理想の正規分布の平均σを0.2、分散μを0.25とした場合において、事前学習により求められたパラメータaのパラメータ分布である。図6Bは、理想の正規分布の平均σを0.2、分散μを0.25とした場合において、事前学習により求められたパラメータbのパラメータ分布である。図6Cは、図6A及び図6Bのパラメータ分布を適用した際のリザボア素子の出力と教師データとを示す。教師データは点線で示す。
図7Aは、理想の正規分布の平均σを0.3、分散μを0.25とした場合において、事前学習により求められたパラメータaのパラメータ分布である。図7Bは、理想の正規分布の平均σを0.3、分散μを0.25とした場合において、事前学習により求められたパラメータbのパラメータ分布である。図7Cは、図7A及び図7Bのパラメータ分布を適用した際のリザボア素子の出力と教師データとを示す。教師データは点線で示す。
パラメータaのパラメータ分布及びパラメータbのパラメータ分布は、いずれの場合も対数正規分布となった。パラメータaのパラメータ分布は、正規分布の平均σを変えても大きく変化しなかった。これに対し、パラメータbのパラメータ分布は、正規分布の平均σを変えると変化した。正規分布の平均σが0.1の場合、パラメータbの分布は0.10で最大となる対数正規分布であった。正規分布の平均σが0.2の場合、パラメータbの分布は0.20で最大となる対数正規分布であった。正規分布の平均σが0.3の場合、パラメータbの分布は0.30で最大となる対数正規分布であった。パラメータ分布を用いると、リザボア素子の出力が教師データに近づき、目的の出力が得られていることがわかる。
<スピントルク発振素子に適用した例>
次いで、リザボアコンピューティングにおけるリザボアRを物理的な素子で実現したリザボア素子が、スピントルク発振素子アレイの場合を例に説明する。リザボア素子を構成するそれぞれの素子がスピントルク発振素子の場合も、デバイスモデルを変更することにより、上記のMEMSマイクロフォンアレイに適用した場合と同様の手順で、パラメータは設定される。
図8は、スピントルク発振素子の一例の構成図である。スピントルク発振素子20は、例えば、磁気抵抗効果素子MTJと交流電源VACと直流電源VDCとインダクタLとコンダクタCと出力端子Tとを備える。磁気抵抗効果素子MTJは、非磁性層を挟む2つの強磁性層からなる。一方の強磁性層の磁化は、交流電源VACとグラウンドとの間に生じる高周波電流が生じる高周波磁場を受けて歳差運動する。磁気抵抗効果素子MTJの抵抗は、磁化の歳差運動に応じて周期的に変化する。直流電源VDCは、磁気抵抗効果素子MTJに直流電流を印加する。出力端子Tからは、磁気抵抗効果素子MTJの抵抗値と磁気抵抗効果素子MTJに印加される電流の積である信号が出力される。磁気抵抗効果素子MTJの抵抗が周期的に変化するため、出力端子Tから出力される信号は周期的に変化する。
[デバイスモデルの決定工程]
スピントルク発振素子のデバイスモデルは、一般化された非線形発振器モデル(非特許文献3)で表される。つまり、リザボア素子がスピントルク発振素子の場合のデバイスモデルは、以下の数式(2)で表される。
Figure 0006908210
数式(2)において、cは複素振幅であり、スピントルク発振素子のパワーをpとすると、p=|c|となる。左辺第2項は、振動周波数に相当する項であり、周波数は振幅に応じて変調されることを示している。また、左辺第3項は、散逸項であり、スピントルク発振素子のダンピングトルクに対応する。さらに、左辺第4項は、負性抵抗のように働く項であり、スピントルク発振素子のスピントランスファートルクに対応する。右辺第1項は外部入力に対応しており、例えば、スピントルク発振素子の交流外部磁場に対応する。
[理想の確率分布の設定工程]
理想の確率分布の設定工程は、MEMSマイクロフォンアレイの場合と同様である。例えば、出力の理想の確率分布を正規分布に設定する。これは、スピントルク発振素子の共振分布を正規分布に仮定することに相当する。
[学習工程]
学習工程も、上記のMEMSマイクロフォンアレイの場合と同様である。数式(2)から、素子ばらつきに対応するスピントルク発振素子の発振周波数は、非特許文献3において導出されているように、ω(p)=γ(H−4πM+8πMp)で表される。ここで、Hは実効磁場の強さに対応したパラメータであり、M=|M|は磁化の長さに対応したパラメータである。以下、上式を第2関数と称する場合がある。さらに、第2関数の変数pは第1関数の変数xに対応し、パラメータH及びMはそれぞれ第1関数のパラメータa及びbに対応するものとみなせる。この関数を用いることで、パラメータの分布とスピントルク発振素子アレイの共振特性の分布を相互に変換することができる。
第2関数を用いて事前学習を行う。事前学習は、出力の理想の確率分布と、リザボア素子となるスピントルク発振素子の出力の確率分布と、の相互情報量が大きくなるように行う。事前学習の初期値は、任意に設定でき、例えば、[0:1]の一様乱数に設定する。事前学習の初期値が何であっても、パラメータH及びMの分布は、事前学習により所定の分布に漸近する。出力の理想の確率分布と、リザボア素子の出力の確率分布と、の相互情報量が大きくなると、リザボア素子の出力の確率分布が、出力の理想の確率分布に近づく。
(リザボア素子の制御方法)
本実施形態にかかるリザボア素子の制御方法は、上記のパラメータ分布を設定する工程と、パラメータ分布を素子の特性分布に変換する変換工程と、特性分布に基づいてそれぞれの素子の特性を設定する工程と、を有する。
[変換工程]
まず上記手順で求めたパラメータ分布を素子の特性分布に変換する。リザボア素子がMEMSマイクロフォンアレイの場合、パラメータ分布をそれぞれのMEMSマイクロフォンの感度特性の分布に変換する。リザボア素子がスピントルク発振素子アレイの場合、パラメータ分布をそれぞれのスピントルク発振素子の共振特性の分布に変換する。
パラメータa及びパラメータbを上記のデバイスモデルの数式(1)に適用すると、MEMSマイクロフォンの感度特性が得られる。パラメータa及びパラメータbが決まると、MEMSマイクロフォンの感度特性が決定する。したがって、パラメータ分布からMEMSマイクロフォンアレイの感度特性の分布が得られる。
パラメータH及びパラメータMを上記のデバイスモデルの数式(2)に適用すると、スピントルク発振素子の共振特性が得られる。パラメータH及びパラメータMが決まると、スピントルク発振素子の共振特性が決定する。したがって、パラメータ分布からスピントルク発振素子アレイの共振特性の分布が得られる。
[素子特性の設定工程]
次いで、得られたリザボア素子の特性分布に基づき、それぞれの素子の特性を設定する。例えば、得られた特性がMEMSマイクロフォンアレイの感度分布であれば、それぞれのMEMSマイクロフォンの感度特性を設定する。例えば、得られた特性がスピントルク発振素子アレイの共振特性であれば、それぞれのスピントルク発振素子の共振特性を設定する。
それぞれのMEMSマイクロフォンの感度特性は、MEMSチップ2の電位を変えることで設定できる。それぞれのMEMSマイクロフォンのMEMSチップ2の電位が異なると、振動膜1の振動により出力される電気信号がそれぞれのMEMSマイクロフォンで異なる。すなわち、入力された信号(音響波)は、素子(MEMSマイクロフォン)毎で異なる信号に変換され、全体として非線形な出力に変換される。
それぞれのスピントルク発振素子の共振特性は、それぞれの磁気抵抗効果素子MTJの強磁性共鳴周波数に対応する。それぞれの磁気抵抗効果素子MTJの強磁性共鳴周波数は、磁気抵抗効果素子MTJに印加する外部磁場等で設定できる。それぞれの磁気抵抗効果素子MTJの強磁性共鳴周波数が異なると、それぞれのスピントルク発振素子から出力される信号(高周波)が異なる。すなわち、入力された信号(高周波)は、素子(スピントルク発振素子)毎で異なる信号に変換され、全体として非線形な出力に変換される。
パラメータ分布を一様分布に設定すると、それぞれの素子の物理パラメータを一様分布とすることが求められる。しかしながら、物理パラメータを一様分布に設定することは困難である。これに対し、本実施形態で求められるパラメータ分布は、一様ではない(例えば、対数正規分布)。そのため、それぞれの素子に製造ばらつきがある場合でも、所定のパラメータ分布への設定が容易になる。
本実施形態にかかるリザボア素子の制御方法によれば、それぞれの素子のパラメータを体系的に設定できる。パラメータを事前学習に基づいて体系的に設定することで、リザボア素子の出力が非線形になり、教師データへの一致の精度が高まる。
1 振動膜
2 MEMSチップ
3 集積回路
4 基板
4A 開口
5 保護板
10 MEMSマイクロフォン
20 スピントルク発振素子
C コンダクタ
L インダクタ
in 入力層
out 出力層
MTJ 磁気抵抗効果素子
n1、n2、n3 ニューロン
NN ニューラルネットワーク
T 出力端子
AC 交流電源
DC 直流電源

Claims (6)

  1. リザボア素子を構成する複数の素子の特性に基づくデバイスモデルから導き出される前記リザボア素子の出力の理想の確率分布と、前記リザボア素子の出力の確率分布と、の相互情報量が大きくなるように、事前学習を行い、
    前記デバイスモデルにおいて前記複数の素子のそれぞれのばらつきを規定するパラメータのパラメータ分布を設定する、パラメータの設定方法。
  2. 前記デバイスモデルがバネ振動に基づくモデルであり、
    Figure 0006908210
    で表される、請求項1に記載のパラメータの設定方法。
  3. 前記デバイスモデルが一般化された非線形振動子モデルに基づくモデルであり、
    Figure 0006908210
    で表される、請求項1に記載のパラメータの設定方法。
  4. 請求項1〜3のいずれか一項に記載のパラメータの設定方法に基づき、前記パラメータ分布を設定し、
    前記パラメータ分布を、前記リザボア素子の特性分布に変換し、
    前記特性分布に基づき、前記複数の素子のそれぞれの特性を設定する、リザボア素子の制御方法。
  5. リザボア素子は、複数のMEMSマイクロフォンを有するMEMSマイクロフォンアレイを含み、
    請求項2に記載のパラメータの設定方法に基づき、前記パラメータ分布を設定し、
    前記パラメータ分布を前記MEMSマイクロフォンアレイの感度特性の分布に変換し、
    前記感度特性の分布に基づき、それぞれのMEMSマイクロフォンの感度特性を設定する、リザボア素子の制御方法。
  6. 前記リザボア素子は、複数のスピントルク発振素子を有するスピントルク発振素子アレイを含み、
    請求項3に記載のパラメータの設定方法に基づき、前記パラメータ分布を設定し、
    前記パラメータ分布を前記スピントルク発振素子アレイの共振特性の分布に変換し、
    前記共振特性の分布に基づき、それぞれのスピントルク発振素子の周波数特性を設定する、リザボア素子の制御方法。
JP2021507545A 2020-03-26 2020-03-26 パラメータの設定方法およびリザボア素子の制御方法 Active JP6908210B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/013697 WO2021192147A1 (ja) 2020-03-26 2020-03-26 パラメータの設定方法およびリザボア素子の制御方法

Publications (2)

Publication Number Publication Date
JP6908210B1 true JP6908210B1 (ja) 2021-07-21
JPWO2021192147A1 JPWO2021192147A1 (ja) 2021-09-30

Family

ID=76919723

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021507545A Active JP6908210B1 (ja) 2020-03-26 2020-03-26 パラメータの設定方法およびリザボア素子の制御方法

Country Status (4)

Country Link
US (1) US20230140456A1 (ja)
JP (1) JP6908210B1 (ja)
CN (1) CN115004196A (ja)
WO (1) WO2021192147A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023062844A1 (ja) * 2021-10-15 2023-04-20 Tdk株式会社 情報処理装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014096145A (ja) * 2012-10-22 2014-05-22 Boeing Co リアルタイム制御システム管理
JP6620913B1 (ja) * 2018-09-12 2019-12-18 Tdk株式会社 リザボア素子及びニューロモルフィック素子

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014096145A (ja) * 2012-10-22 2014-05-22 Boeing Co リアルタイム制御システム管理
JP6620913B1 (ja) * 2018-09-12 2019-12-18 Tdk株式会社 リザボア素子及びニューロモルフィック素子

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FOURATI, RAHMA ET AL.: "Unsupervised Learning in Reservoir Computing for EEG-based Emotion Recognition", ARXIV, vol. v2, JPN6020025400, 23 November 2018 (2018-11-23), pages 1 - 11, ISSN: 0004520214 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023062844A1 (ja) * 2021-10-15 2023-04-20 Tdk株式会社 情報処理装置

Also Published As

Publication number Publication date
JPWO2021192147A1 (ja) 2021-09-30
WO2021192147A1 (ja) 2021-09-30
US20230140456A1 (en) 2023-05-04
CN115004196A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
Haykin et al. Signals and systems
Shishesaz et al. Design and analytical modeling of magneto-electro-mechanical characteristics of a novel magneto-electro-elastic vibration-based energy harvesting system
Alessandroni et al. A revival of electric analogs for vibrating mechanical systems aimed to their efficient control by PZT actuators
Halim et al. Low frequency vibration energy harvester using stopper-engaged dynamic magnifier for increased power and wide bandwidth
JP6908210B1 (ja) パラメータの設定方法およびリザボア素子の制御方法
Mohammadzaheri et al. A comparative study on the use of black box modelling for piezoelectric actuators
Rizzello et al. Simultaneous self-sensing of displacement and force for soft dielectric elastomer actuators
Yuan et al. Experimental identification of hardening and softening nonlinearity in circular laminated plates
Jha et al. Experimental investigation of active vibration control using neural networks and piezoelectric actuators
Abouzarkhanifard et al. FEM-inclusive transfer learning for bistable piezoelectric MEMS energy harvester design
Chang et al. Inverse filtering of a loudspeaker and room acoustics using time‐delay neural networks
Jiang et al. Metamaterial-based analog recurrent neural network toward machine intelligence
US8583442B2 (en) Rhythm processing and frequency tracking in gradient frequency nonlinear oscillator networks
Moheimani et al. Multimode piezoelectric shunt damping with a highly resonant impedance
Tumpold et al. Linearizing an electrostatically driven MEMS speaker by applying pre-distortion
Rubio et al. Toward optimal design of piezoelectric transducers based on multifunctional and smoothly graded hybrid material systems
Nanda et al. Uncertainty quantification of energy harvesting systems using method of quadratures and maximum entropy principle
Cairns et al. Learning with analogue VLSP MLPs
Patra et al. ANN-based intelligent pressure sensor in noisy environment
CN115130648A (zh) 信息处理装置、隐藏节点的设定方法和信息处理装置的制造方法
Cheng et al. A bidirectional deep learning approach for designing MEMS sensors
US20230055056A1 (en) Reservoir element and neuromorphic device
Li et al. Fractional order model of broadband piezoelectric energy harvesters
Bauer Equivalent Circuit Analysis of Mechano-acoustic Structures (Reprint)
Peleshchak et al. Spectral image recognition using artificial dynamic neural network in information resonance mode

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210210

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210210

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210614

R150 Certificate of patent or registration of utility model

Ref document number: 6908210

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150