JP6908210B1 - パラメータの設定方法およびリザボア素子の制御方法 - Google Patents

パラメータの設定方法およびリザボア素子の制御方法 Download PDF

Info

Publication number
JP6908210B1
JP6908210B1 JP2021507545A JP2021507545A JP6908210B1 JP 6908210 B1 JP6908210 B1 JP 6908210B1 JP 2021507545 A JP2021507545 A JP 2021507545A JP 2021507545 A JP2021507545 A JP 2021507545A JP 6908210 B1 JP6908210 B1 JP 6908210B1
Authority
JP
Japan
Prior art keywords
distribution
parameter
reservoir
reservoir element
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021507545A
Other languages
English (en)
Other versions
JPWO2021192147A1 (ja
Inventor
一紀 中田
一紀 中田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TDK Corp
Original Assignee
TDK Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TDK Corp filed Critical TDK Corp
Application granted granted Critical
Publication of JP6908210B1 publication Critical patent/JP6908210B1/ja
Publication of JPWO2021192147A1 publication Critical patent/JPWO2021192147A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R19/00—Electrostatic transducers
    • H04R19/04—Microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/04—Structural association of microphone with electric circuitry therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R19/00—Electrostatic transducers
    • H04R19/005—Electrostatic transducers using semiconductor materials
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/003—Mems transducers or their use

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Neurology (AREA)
  • Micromachines (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

実施形態にかかるパラメータ分布の設定方法は、リザボア素子の出力の確率分布と出力の理想の確率分布との相互情報量が大きくなるように、勾配学習法に基づいた学習を予め行い、リザボア素子のデバイスモデルにおいて、リザボア素子を構成する複数の素子の素子ばらつきを規定するパラメータのパラメータ分布を設定する。

Description

本発明は、パラメータの設定方法およびリザボア素子の制御方法に関する。
ニューロモルフィックデバイスは、ニューラルネットワークにより人間の脳を模倣した素子である。ニューロモルフィックデバイスは、人間の脳におけるニューロンとシナプスとの関係を人工的に模倣している。
ニューロモルフィックデバイスは、例えば、階層状に配置されたチップ（脳におけるニューロン）と、これらの間を繋ぐ伝達手段（脳におけるシナプス）と、を有する。ニューロモルフィックデバイスは、伝達手段（シナプス）が学習することで、問題の正答率を高める。学習は将来使えそうな知識を情報から見つけることであり、ニューロモルフィックデバイスでは入力されたデータに重み付けをする。
ニューラルネットワークの一つとして、リカレントニューラルネットワークが知られている。リカレントニューラルネットワークは、非線形な時系列のデータを扱うことができる。非線形な時系列のデータは、時間の経過とともに値が変化するデータであり、株価等はその一例である。リカレントニューラルネットワークは、後段の階層のニューロンでの処理結果を前段の階層のニューロンに戻すことで、時系列のデータを処理することができる。
リザボアコンピューティングは、リカレントニューラルネットワークを実現する一つの手段である。リザボアコンピューティングは、信号を相互作用させることで、再帰的な処理を行う。リザボアコンピューティングは、例えば、小脳の動作を模倣しており、再帰的なデータの処理やデータの変換（例えば、座標の変換）等を行う。
リザボアコンピューティングの概念を実際の素子に物理的に実装する試みが行われている。リザボアコンピューティングの概念を実際の素子に落とし込んだものを、以下、リザボア素子と称する。例えば、非特許文献１には、スピントルク発振（ＳＴＯ）素子をチップ（ニューロン）として用いたニューロモルフィック素子が記載されている。
Jacob Torrejon et al., Nature, Vol.547, pp.428-432 (2017). J. Coulombe, M.York, and J. Sylvestre, PLoS One, Vol. 12(6), e0178663 (2017). doi: 10.1371/journal.pone.0178663. A. Slavin & V. S. Tiberkevich, IEEE Transactions on Magnetics, Vol. 45(4), pp.1875-1918 (2009). P. Koprinkova-Hristova et al, International Conference on Artificial Neural Networks. Springer, Berlin, Heidelberg (2011). 杉山 将、入江 清、友納 正裕、日本ロボット学会誌、Vol.33, No.2, pp.86-91, 2015.
リザボア素子の出力の教師データに対するフィッテイング精度は、リザボア素子のパラメータ設定に応じて変動する。リザボア素子のパラメータの体系的な設計方法は、まだ確立されていない。
本発明は上記事情に鑑みてなされたものであり、リザボア素子を構成する複数の素子の素子ばらつきを規定するパラメータの体系的な設計方法を提供する。
（１）第１の態様にかかるパラメータの設定方法は、リザボア素子を構成する複数の素子の特性に基づくデバイスモデルから導き出される前記リザボア素子の出力の理想の確率分布と、前記リザボア素子の出力の確率分布と、の相互情報量が大きくなるように、事前学習を行い、前記デバイスモデルにおいて、前記複数の素子のそれぞれのばらつきを規定するパラメータのパラメータ分布を設定する。
（２）上記態様にかかるパラメータの設定方法は、前記デバイスモデルが、例えば、非特許文献２に示されるバネ振動に基づくモデルであってもよい。
（３）上記態様にかかるパラメータの設定方法は、前記デバイスモデルが、例えば、非特許文献３に示される一般化された非線形振動子モデルに基づくモデルであってもよい。
（４）第２の態様にかかるリザボア素子の制御方法は、上記態様にかかるパラメータの設定方法に基づき、前記パラメータ分布を設定し、前記パラメータ分布を、前記リザボア素子の特性分布に変換し、前記特性分布に基づき、前記複数の素子のそれぞれの特性を設定する。
（５）上記態様にかかるリザボア素子の制御方法において、リザボア素子は、複数のＭＥＭＳマイクロフォンを有するＭＥＭＳマイクロフォンアレイを含み、上記態様にかかるパラメータの設定方法に基づき、前記パラメータ分布を設定し、前記パラメータ分布を前記ＭＥＭＳマイクロフォンアレイの感度特性の分布に変換し、前記感度特性の分布に基づき、それぞれのＭＥＭＳマイクロフォンの感度特性を設定してもよい。
（６）上記態様にかかるリザボア素子の制御方法において、前記リザボア素子は、複数のスピントルク発振素子を有するスピントルク発振素子アレイを含み、上記態様にかかるパラメータの設定方法に基づき、前記パラメータ分布を設定し、前記パラメータ分布を前記スピントルク発振素子アレイの共振特性の分布に変換し、前記共振特性の分布に基づき、それぞれのスピントルク発振素子の周波数特性を設定してもよい。
上記態様にかかるパラメータの設定方法は、リザボア素子を構成する複数の素子の素子ばらつきを規定するパラメータの体系的な設計方法を提供する。
第１実施形態にかかるリザボア素子が模擬するニューラルネットワークの概念図である。 ＭＥＭＳマイクロフォンの一例の断面図である。 リザボア素子がＭＥＭＳマイクロフォンアレイの場合のデバイスモデルの概念図である。 事前学習を行うリザボアコンピューティングの概念図である。 理想の正規分布の平均σを０．１、分散μを０．２５とした場合において、事前学習により求められたパラメータａのパラメータ分布である。 理想の正規分布の平均σを０．１、分散μを０．２５とした場合において、事前学習により求められたパラメータｂのパラメータ分布である。 図５Ａ及び図５Ｂのパラメータ分布を適用した際のリザボア素子の出力と教師データとを示す。 理想の正規分布の平均σを０．２、分散μを０．２５とした場合において、事前学習により求められたパラメータａのパラメータ分布である。 理想の正規分布の平均σを０．２、分散μを０．２５とした場合において、事前学習により求められたパラメータｂのパラメータ分布である。 図６Ａ及び図６Ｂのパラメータ分布を適用した際のリザボア素子の出力と教師データとを示す。 理想の正規分布の平均σを０．３、分散μを０．２５とした場合において、事前学習により求められたパラメータａのパラメータ分布である。 理想の正規分布の平均σを０．３、分散μを０．２５とした場合において、事前学習により求められたパラメータｂのパラメータ分布である。 図７Ａ及び図７Ｂのパラメータ分布を適用した際のリザボア素子の出力と教師データとを示す。 スピントルク発振素子の一例の回路図である。
以下、本実施形態について、図を適宜参照しながら詳細に説明する。以下の説明で用いる図面は、本発明の特徴をわかりやすくするために便宜上特徴となる部分を拡大して示している場合があり、各構成要素の寸法比率などは実際とは異なっていることがある。以下の説明において例示される材料、寸法等は一例であって、本発明はそれらに限定されるものではなく、本発明の効果を奏する範囲で適宜変更して実施することが可能である。
本実施形態に係るリザボア素子は、リザボアコンピューティングにおける処理をデバイス化したものである。リザボアコンピューティングは、リカレントニューラルネットワークの一例である。
「第１実施形態」
（リザボアコンピューティング）
図１は、第１実施形態にかかるリザボア素子が模擬するニューラルネットワークの概念図である。図１に示すニューラルネットワークＮＮは、リザボアコンピューティングの概念模式図である。図１に示すニューラルネットワークＮＮは、入力層ＬｉｎとリザボアＲと出力層Ｌｏｕｔとを有する。入力層Ｌｉｎ及び出力層Ｌｏｕｔは、リザボアＲに接続されている。
入力層Ｌｉｎは、外部から入力された信号をリザボアＲに伝える。入力層Ｌｉｎは、例えば、複数のニューロンｎ１を含む。外部から入力層Ｌｉｎのそれぞれのニューロンｎ１に入力された入力信号は、リザボアＲに伝わる。
リザボアＲは、入力層Ｌｉｎから入力された入力信号を貯留し、別の信号に変換する。リザボアＲ内では、信号は相互作用するだけであり、学習しない。入力信号が互いに相互作用すると、入力信号が非線形に変化する。すなわち、入力信号は、元の情報を保有しつつ別の信号に置き換わる。入力信号は、リザボアＲ内で互いに相互作用することで、時間の経過とともに変化する。リザボアＲは、複数のニューロンｎ２がランダムに接続されている。例えば、ある時刻ｔにあるニューロンｎ２から出力された信号は、ある時刻ｔ＋１において元のニューロンｎ２に戻る場合がある。ニューロンｎ２では、時刻ｔ及び時刻ｔ＋１の信号を踏まえた処理ができ、情報を再帰的に処理できる。
出力層Ｌｏｕｔは、リザボアＲからの信号を出力する。出力層Ｌｏｕｔから出力される出力信号は、入力信号の情報を持ちつつ、別の信号に置き換わっている。当該変換の一例として、直交座標系（ｘ，ｙ，ｚ）から球面座標系（ｒ，θ，φ）への置き換えが挙げられる。出力層Ｌｏｕｔは、例えば、複数のニューロンｎ３を含む。リザボアＲから出力層Ｌｏｕｔに至る際に、学習が行われる。学習は、リザボアＲのそれぞれのニューロンｎ２と出力層Ｌｏｕｔのニューロンｎ３とを繋ぐ伝達経路（脳におけるシナプス）で行われる。出力層Ｌｏｕｔは、学習の結果を外部に出力する。
（パラメータの設定方法）
本実施形態にかかるパラメータの設定方法は、上記のリザボアＲに該当する部分のパラメータを体系的に設定する。設定するパラメータは、リザボアＲを構成する複数のニューロンｎ１のばらつきを規定するパラメータである。本実施形態にかかるパラメータの設定方法は、デバイスモデルの決定工程と、理想の確率分布の設定工程と、学習工程と、を有する。以下、具体的な例を挙げて、それぞれの工程について説明する。
＜ＭＥＭＳマイクロフォンアレイに適用した例＞
リザボアコンピューティングにおけるリザボアＲを物理的な素子で実現したリザボア素子が、ＭＥＭＳマイクロフォンアレイの場合を例に説明する。ＭＥＭＳマイクロフォンアレイは、ＭＥＭＳマイクロフォンが配列し、互いに電気的に接続されたものである。ＭＥＭＳは、Micro Electronics Mechanical Systemの略語である。
図２は、ＭＥＭＳマイクロフォンの一例の断面図である。ＭＥＭＳマイクロフォン１０は、例えば、振動膜１とＭＥＭＳチップ２と集積回路３と開口４Ａを有する基板４と保護板５とを有する。振動膜１、ＭＥＭＳチップ２及び集積回路３は、基板４上に形成され、互いに電気的に接続されている。振動膜１、ＭＥＭＳチップ２及び集積回路３は、保護板５で保護されている。ＭＥＭＳマイクロフォン１０は、例えば、音波を電気信号に変換する。開口４Ａを介して入力された音波は、振動膜１を振動させる。振動膜１の振動は、例えば、ＭＥＭＳチップ２内のコンデンサの静電容量を変化させ、電気信号に変換される。集積回路３は、例えば、アナログ−デジタルコンバータを含み、電気信号をアナログで出力する。
［デバイスモデルの決定工程］
本実施形態にかかるパラメータの設定方法では、まずデバイスモデルを決定する。デバイスモデルは、リザボア素子を構成する複数の素子の特性に基づき、決定される。リザボア素子がＭＥＭＳマイクロフォンアレイの場合、リザボア素子を構成する素子は、ＭＥＭＳマイクロフォン１０である。上述のように、ＭＥＭＳマイクロフォン１０は、振動膜１の振動を電気信号に置き換えている。それぞれの振動膜１の振動をバネ振動と見立てると、ＭＥＭＳマイクロフォンアレイは、複数のバネが連結したバネ振動に基づくモデルで表すことができる。
図３は、リザボア素子がＭＥＭＳマイクロフォンアレイの場合のデバイスモデルの概念図である。図３に示すデバイスモデルは、複数の振動点ｖｐが互いにバネで接続されている。それぞれの振動点ｖｐは、リザボア素子におけるそれぞれのＭＥＭＳマイクロフォン１０に対応する。リザボア素子がＭＥＭＳマイクロフォンアレイの場合のデバイスモデルは、以下の数式（１）で表される。
Figure 0006908210
ｘｉは、それぞれの振動点ｖｐの変位である。ω０はそれぞれの振動点ｖｐにそれぞれ接続されたバネの固有の振動数であり、それぞれのＭＥＭＳマイクロフォン１０の振動膜１の振動に対応する。Ｑは、クオリティファクター（Ｑ値）である。右辺の第１項である−ω０／Ｑ・ｄｘｉ／ｄｔは、抵抗がない場合の振動点ｖｐにおける基本振動を表す。右辺の第２項である−ω０ ２ｘｉは、それぞれの振動点ｖｐの減衰を表し、例えば、振動膜１の振動の空気抵抗による減衰を表す。
βｉは、それぞれの振動点ｖｐごとに異なる値であり、それぞれのＭＥＭＳマイクロフォン１０の素子特性のばらつきに対応する。右辺の第３項である−βｉｘｉ ３は、それぞれの振動点ｖｐの非線形なバネ特性を表し、ＭＥＭＳマイクロフォン１０毎に異なる振動である。例えば、複数のＭＥＭＳマイクロフォン１０の性能にばらつきがあり、素子毎にばらつきに応じて−βｉｘｉ ３が生じる。右辺の第３項が、リザボア素子において、入力信号に含まれる非線形成分を増幅する部分である。
右辺の第４項であるＡ［１＋Δｉｗｉｎｕ］ｃｏｓ（Ωｔ）は、外部から印加される力により生じる振動であり、ＭＥＭＳマイクロフォン１０に印加される音響波により生じる振動に対応する。
ω１は、隣り合う振動点ｖｐを繋ぐバネの振動数である。右辺の第５項であるω１ ２［ｘｉ−１−２ｘｉ＋ｘｉ＋１］は、隣り合う振動点ｖｐが影響しあうことで生じる振動であり、異なるＭＥＭＳマイクロフォン１０間の電気的な繋がりに基づいて生じる振動の振動数に対応する。
［理想の確率分布の設定工程］
次いで、リザボア素子の出力の理想の確率分布を設定する。出力の理想の確率分布は、リザボアコンピューティングで解きたいタスクに応じて任意に設定される。また、出力の理想の確率分布は、例えば、デバイスモデルから導き出される。デバイスモデルの特性に応じて出力の理想の確率分布は決定する。出力の理想の確率分布は、例えば、正規分布である。例えば、タスクとして、リザボアコンピューティングによって任意のフーリエ合成波を近似する回帰問題を考える。このとき、リザボア素子の出力の周波数分布は、教師信号となるフーリエ合成波に含まれる周波数分布（パワースペクトルに相当）と同様の形状となることが望ましい。もし、教師信号となるフーリエ合成波に含まれる周波数分布が単峰性の場合には、リザボア素子の出力の理想の確率分布も単峰性となることが望ましい。また教師信号となるフーリエ合成波に含まれる周波数分布が双峰性の周波数分布の場合には、双峰性の確率分布を近似するために、リザボア素子の出力の理想の確率分布を混合正規分布とする。
［学習工程］
デバイスモデルにおける右辺の第３項−βｉｘｉ ３をｔａｎｈ（ｘ）のテイラー展開を使って解析しやすい式に変換すると、３βｉ（ｘ−ｔａｎｈ（ｘ））となる。右辺の第３項は、上述のようにそれぞれのＭＥＭＳマイクロフォン１０の素子ばらつきに対応する。ばらつきを規定するパラメータをａ、ｂとすると、ｙ＝ｆｇｅｎ（ｘ）＝ｔａｎｈ（ａｘ＋ｂ）が、それぞれの素子において、ばらつきに該当するパラメータを含んだ式となる。以下、ｙ＝ｆｇｅｎ（ｘ）＝ｔａｎｈ（ａｘ＋ｂ）を第１関数と称する場合がある。
第１関数を用いて、事前学習（例えば、非特許文献４参考）を行う。図４は、事前学習を行うリザボアコンピューティングの概念図である。事前学習は、例えば、シミュレーションにより行う。第１関数ｙ＝ｆｇｅｎ（ｘ）＝ｔａｎｈ（ａｘ＋ｂ）は、リザボア素子の非線形性を生じる作用を抽出したものであり、第１関数を用いて事前学習を行えば、リザボア素子の出力の精度を高めることができる。
事前学習は、出力の理想の確率分布と、リザボア素子（第１関数を有するリザボア素子）の出力の確率分布と、の相互情報量が大きくなるように行う。事前学習の初期値は、任意に設定でき、例えば、［０：１］の一様乱数に設定する。事前学習の初期値が何であっても、パラメータａ及びｂの分布は、事前学習により所定の分布に漸近する。相互情報量は、２つの確率変数の相互依存の尺度を表す量である。出力の理想の確率分布と、リザボア素子の出力の確率分布と、の相互情報量が大きくなると、リザボア素子の出力の確率分布が、出力の理想の確率分布に近づく。
相互情報量は、さまざまなものを用いてよい（例えば、非特許文献５参考）。例えば、カルバック・ライブラー情報量を用いることができる。カルバック・ライブラー情報量は、以下のように定義される。
Figure 0006908210
ここで、ｐ〜（ｙ）はリザボア素子の出力の確率分布であり、ｐ（ｙ）は出力の理想の確率分布である。ｐ（ｙ）は、例えば、正規分布であり、下記式で表される。正規分布は、平均σと分散μの関数で表記される。
Figure 0006908210
上記のカルバック・ライブラー情報量をパラメータａ及びｂで微分すると以下の式が得られる。
Figure 0006908210
Figure 0006908210
相互情報量を大きくする学習は、例えば、勾配学習法を用いて行う。勾配学習法は、機械学習において最適値を求める手段の一つである。上記の微分値がゼロになる点は、パラメータａ又はパラメータｂに対するカルバック・ライブラー情報量の傾きがゼロになる部分に対応する。上記の傾きがゼロとなる部分では、エントロピーが最小化し、相互情報量が最大化する。そのため、上記の微分値がゼロとなるように式変形を行うと、以下の関係式が得られる。
Figure 0006908210
Figure 0006908210
図５Ａは、理想の正規分布の平均σを０．１、分散μを０．２５とした場合において、事前学習により求められたパラメータａのパラメータ分布である。図５Ｂは、理想の正規分布の平均σを０．１、分散μを０．２５とした場合において、事前学習により求められたパラメータｂのパラメータ分布である。図５Ｃは、図５Ａ及び図５Ｂのパラメータ分布を適用した際のリザボア素子の出力と教師データとを示す。教師データは点線で示す。
図６Ａは、理想の正規分布の平均σを０．２、分散μを０．２５とした場合において、事前学習により求められたパラメータａのパラメータ分布である。図６Ｂは、理想の正規分布の平均σを０．２、分散μを０．２５とした場合において、事前学習により求められたパラメータｂのパラメータ分布である。図６Ｃは、図６Ａ及び図６Ｂのパラメータ分布を適用した際のリザボア素子の出力と教師データとを示す。教師データは点線で示す。
図７Ａは、理想の正規分布の平均σを０．３、分散μを０．２５とした場合において、事前学習により求められたパラメータａのパラメータ分布である。図７Ｂは、理想の正規分布の平均σを０．３、分散μを０．２５とした場合において、事前学習により求められたパラメータｂのパラメータ分布である。図７Ｃは、図７Ａ及び図７Ｂのパラメータ分布を適用した際のリザボア素子の出力と教師データとを示す。教師データは点線で示す。
パラメータａのパラメータ分布及びパラメータｂのパラメータ分布は、いずれの場合も対数正規分布となった。パラメータａのパラメータ分布は、正規分布の平均σを変えても大きく変化しなかった。これに対し、パラメータｂのパラメータ分布は、正規分布の平均σを変えると変化した。正規分布の平均σが０．１の場合、パラメータｂの分布は０．１０で最大となる対数正規分布であった。正規分布の平均σが０．２の場合、パラメータｂの分布は０．２０で最大となる対数正規分布であった。正規分布の平均σが０．３の場合、パラメータｂの分布は０．３０で最大となる対数正規分布であった。パラメータ分布を用いると、リザボア素子の出力が教師データに近づき、目的の出力が得られていることがわかる。
＜スピントルク発振素子に適用した例＞
次いで、リザボアコンピューティングにおけるリザボアＲを物理的な素子で実現したリザボア素子が、スピントルク発振素子アレイの場合を例に説明する。リザボア素子を構成するそれぞれの素子がスピントルク発振素子の場合も、デバイスモデルを変更することにより、上記のＭＥＭＳマイクロフォンアレイに適用した場合と同様の手順で、パラメータは設定される。
図８は、スピントルク発振素子の一例の構成図である。スピントルク発振素子２０は、例えば、磁気抵抗効果素子ＭＴＪと交流電源ＶＡＣと直流電源ＶＤＣとインダクタＬとコンダクタＣと出力端子Ｔとを備える。磁気抵抗効果素子ＭＴＪは、非磁性層を挟む２つの強磁性層からなる。一方の強磁性層の磁化は、交流電源ＶＡＣとグラウンドとの間に生じる高周波電流が生じる高周波磁場を受けて歳差運動する。磁気抵抗効果素子ＭＴＪの抵抗は、磁化の歳差運動に応じて周期的に変化する。直流電源ＶＤＣは、磁気抵抗効果素子ＭＴＪに直流電流を印加する。出力端子Ｔからは、磁気抵抗効果素子ＭＴＪの抵抗値と磁気抵抗効果素子ＭＴＪに印加される電流の積である信号が出力される。磁気抵抗効果素子ＭＴＪの抵抗が周期的に変化するため、出力端子Ｔから出力される信号は周期的に変化する。
［デバイスモデルの決定工程］
スピントルク発振素子のデバイスモデルは、一般化された非線形発振器モデル（非特許文献３）で表される。つまり、リザボア素子がスピントルク発振素子の場合のデバイスモデルは、以下の数式（２）で表される。
Figure 0006908210
数式（２）において、ｃは複素振幅であり、スピントルク発振素子のパワーをｐとすると、ｐ＝｜ｃ｜２となる。左辺第２項は、振動周波数に相当する項であり、周波数は振幅に応じて変調されることを示している。また、左辺第３項は、散逸項であり、スピントルク発振素子のダンピングトルクに対応する。さらに、左辺第４項は、負性抵抗のように働く項であり、スピントルク発振素子のスピントランスファートルクに対応する。右辺第１項は外部入力に対応しており、例えば、スピントルク発振素子の交流外部磁場に対応する。
［理想の確率分布の設定工程］
理想の確率分布の設定工程は、ＭＥＭＳマイクロフォンアレイの場合と同様である。例えば、出力の理想の確率分布を正規分布に設定する。これは、スピントルク発振素子の共振分布を正規分布に仮定することに相当する。
［学習工程］
学習工程も、上記のＭＥＭＳマイクロフォンアレイの場合と同様である。数式（２）から、素子ばらつきに対応するスピントルク発振素子の発振周波数は、非特許文献３において導出されているように、ω（ｐ）＝γ（Ｈ０−４πＭ０＋８πＭ０ｐ）で表される。ここで、Ｈ０は実効磁場の強さに対応したパラメータであり、Ｍ０＝｜Ｍ｜は磁化の長さに対応したパラメータである。以下、上式を第２関数と称する場合がある。さらに、第２関数の変数ｐは第１関数の変数ｘに対応し、パラメータＨ０及びＭ０はそれぞれ第１関数のパラメータａ及びｂに対応するものとみなせる。この関数を用いることで、パラメータの分布とスピントルク発振素子アレイの共振特性の分布を相互に変換することができる。
第２関数を用いて事前学習を行う。事前学習は、出力の理想の確率分布と、リザボア素子となるスピントルク発振素子の出力の確率分布と、の相互情報量が大きくなるように行う。事前学習の初期値は、任意に設定でき、例えば、［０：１］の一様乱数に設定する。事前学習の初期値が何であっても、パラメータＨ０及びＭ０の分布は、事前学習により所定の分布に漸近する。出力の理想の確率分布と、リザボア素子の出力の確率分布と、の相互情報量が大きくなると、リザボア素子の出力の確率分布が、出力の理想の確率分布に近づく。
（リザボア素子の制御方法）
本実施形態にかかるリザボア素子の制御方法は、上記のパラメータ分布を設定する工程と、パラメータ分布を素子の特性分布に変換する変換工程と、特性分布に基づいてそれぞれの素子の特性を設定する工程と、を有する。
［変換工程］
まず上記手順で求めたパラメータ分布を素子の特性分布に変換する。リザボア素子がＭＥＭＳマイクロフォンアレイの場合、パラメータ分布をそれぞれのＭＥＭＳマイクロフォンの感度特性の分布に変換する。リザボア素子がスピントルク発振素子アレイの場合、パラメータ分布をそれぞれのスピントルク発振素子の共振特性の分布に変換する。
パラメータａ及びパラメータｂを上記のデバイスモデルの数式（１）に適用すると、ＭＥＭＳマイクロフォンの感度特性が得られる。パラメータａ及びパラメータｂが決まると、ＭＥＭＳマイクロフォンの感度特性が決定する。したがって、パラメータ分布からＭＥＭＳマイクロフォンアレイの感度特性の分布が得られる。
パラメータＨ０及びパラメータＭ０を上記のデバイスモデルの数式（２）に適用すると、スピントルク発振素子の共振特性が得られる。パラメータＨ０及びパラメータＭ０が決まると、スピントルク発振素子の共振特性が決定する。したがって、パラメータ分布からスピントルク発振素子アレイの共振特性の分布が得られる。
［素子特性の設定工程］
次いで、得られたリザボア素子の特性分布に基づき、それぞれの素子の特性を設定する。例えば、得られた特性がＭＥＭＳマイクロフォンアレイの感度分布であれば、それぞれのＭＥＭＳマイクロフォンの感度特性を設定する。例えば、得られた特性がスピントルク発振素子アレイの共振特性であれば、それぞれのスピントルク発振素子の共振特性を設定する。
それぞれのＭＥＭＳマイクロフォンの感度特性は、ＭＥＭＳチップ２の電位を変えることで設定できる。それぞれのＭＥＭＳマイクロフォンのＭＥＭＳチップ２の電位が異なると、振動膜１の振動により出力される電気信号がそれぞれのＭＥＭＳマイクロフォンで異なる。すなわち、入力された信号（音響波）は、素子（ＭＥＭＳマイクロフォン）毎で異なる信号に変換され、全体として非線形な出力に変換される。
それぞれのスピントルク発振素子の共振特性は、それぞれの磁気抵抗効果素子ＭＴＪの強磁性共鳴周波数に対応する。それぞれの磁気抵抗効果素子ＭＴＪの強磁性共鳴周波数は、磁気抵抗効果素子ＭＴＪに印加する外部磁場等で設定できる。それぞれの磁気抵抗効果素子ＭＴＪの強磁性共鳴周波数が異なると、それぞれのスピントルク発振素子から出力される信号（高周波）が異なる。すなわち、入力された信号（高周波）は、素子（スピントルク発振素子）毎で異なる信号に変換され、全体として非線形な出力に変換される。
パラメータ分布を一様分布に設定すると、それぞれの素子の物理パラメータを一様分布とすることが求められる。しかしながら、物理パラメータを一様分布に設定することは困難である。これに対し、本実施形態で求められるパラメータ分布は、一様ではない（例えば、対数正規分布）。そのため、それぞれの素子に製造ばらつきがある場合でも、所定のパラメータ分布への設定が容易になる。
本実施形態にかかるリザボア素子の制御方法によれば、それぞれの素子のパラメータを体系的に設定できる。パラメータを事前学習に基づいて体系的に設定することで、リザボア素子の出力が非線形になり、教師データへの一致の精度が高まる。
１ 振動膜
２ ＭＥＭＳチップ
３ 集積回路
４ 基板
４Ａ 開口
５ 保護板
１０ ＭＥＭＳマイクロフォン
２０ スピントルク発振素子
Ｃ コンダクタ
Ｌ インダクタ
Ｌｉｎ 入力層
Ｌｏｕｔ 出力層
ＭＴＪ 磁気抵抗効果素子
ｎ１、ｎ２、ｎ３ ニューロン
ＮＮ ニューラルネットワーク
Ｔ 出力端子
ＶＡＣ 交流電源
ＶＤＣ 直流電源

Claims (6)

  1. リザボア素子を構成する複数の素子の特性に基づくデバイスモデルから導き出される前記リザボア素子の出力の理想の確率分布と、前記リザボア素子の出力の確率分布と、の相互情報量が大きくなるように、事前学習を行い、
    前記デバイスモデルにおいて前記複数の素子のそれぞれのばらつきを規定するパラメータのパラメータ分布を設定する、パラメータの設定方法。
  2. 前記デバイスモデルがバネ振動に基づくモデルであり、
    Figure 0006908210
     で表される、請求項１に記載のパラメータの設定方法。
  3. 前記デバイスモデルが一般化された非線形振動子モデルに基づくモデルであり、
    Figure 0006908210
     で表される、請求項１に記載のパラメータの設定方法。
  4. 請求項１〜３のいずれか一項に記載のパラメータの設定方法に基づき、前記パラメータ分布を設定し、
    前記パラメータ分布を、前記リザボア素子の特性分布に変換し、
    前記特性分布に基づき、前記複数の素子のそれぞれの特性を設定する、リザボア素子の制御方法。
  5. リザボア素子は、複数のＭＥＭＳマイクロフォンを有するＭＥＭＳマイクロフォンアレイを含み、
    請求項２に記載のパラメータの設定方法に基づき、前記パラメータ分布を設定し、
    前記パラメータ分布を前記ＭＥＭＳマイクロフォンアレイの感度特性の分布に変換し、
    前記感度特性の分布に基づき、それぞれのＭＥＭＳマイクロフォンの感度特性を設定する、リザボア素子の制御方法。
  6. 前記リザボア素子は、複数のスピントルク発振素子を有するスピントルク発振素子アレイを含み、
    請求項３に記載のパラメータの設定方法に基づき、前記パラメータ分布を設定し、
    前記パラメータ分布を前記スピントルク発振素子アレイの共振特性の分布に変換し、
    前記共振特性の分布に基づき、それぞれのスピントルク発振素子の周波数特性を設定する、リザボア素子の制御方法。
JP2021507545A 2020-03-26 2020-03-26 パラメータの設定方法およびリザボア素子の制御方法 Active JP6908210B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/013697 WO2021192147A1 (ja) 2020-03-26 2020-03-26 パラメータの設定方法およびリザボア素子の制御方法

Publications (2)

Publication Number Publication Date
JP6908210B1 true JP6908210B1 (ja) 2021-07-21
JPWO2021192147A1 JPWO2021192147A1 (ja) 2021-09-30

Family

ID=76919723

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021507545A Active JP6908210B1 (ja) 2020-03-26 2020-03-26 パラメータの設定方法およびリザボア素子の制御方法

Country Status (4)

Country Link
US (1) US20230140456A1 (ja)
JP (1) JP6908210B1 (ja)
CN (1) CN115004196A (ja)
WO (1) WO2021192147A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023062844A1 (ja) * 2021-10-15 2023-04-20 Tdk株式会社 情報処理装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014096145A (ja) * 2012-10-22 2014-05-22 Boeing Co リアルタイム制御システム管理
JP6620913B1 (ja) * 2018-09-12 2019-12-18 Tdk株式会社 リザボア素子及びニューロモルフィック素子

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014096145A (ja) * 2012-10-22 2014-05-22 Boeing Co リアルタイム制御システム管理
JP6620913B1 (ja) * 2018-09-12 2019-12-18 Tdk株式会社 リザボア素子及びニューロモルフィック素子

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FOURATI, RAHMA ET AL.: "Unsupervised Learning in Reservoir Computing for EEG-based Emotion Recognition", ARXIV, vol. v2, JPN6020025400, 23 November 2018 (2018-11-23), pages 1 - 11, ISSN: 0004520214 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023062844A1 (ja) * 2021-10-15 2023-04-20 Tdk株式会社 情報処理装置

Also Published As

Publication number Publication date
JPWO2021192147A1 (ja) 2021-09-30
CN115004196A (zh) 2022-09-02
US20230140456A1 (en) 2023-05-04
WO2021192147A1 (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
Alessandroni et al. A revival of electric analogs for vibrating mechanical systems aimed to their efficient control by PZT actuators
US5671336A (en) Apparatus based on n-variable unlimited recurrent adjustable network
JP6908210B1 (ja) パラメータの設定方法およびリザボア素子の制御方法
Rizzello et al. Simultaneous self-sensing of displacement and force for soft dielectric elastomer actuators
Yuan et al. Experimental identification of hardening and softening nonlinearity in circular laminated plates
Jha et al. Experimental investigation of active vibration control using neural networks and piezoelectric actuators
Joyce et al. Developing an active artificial hair cell using nonlinear feedback control
Abouzarkhanifard et al. FEM-inclusive transfer learning for bistable piezoelectric MEMS energy harvester design
Chang et al. Inverse filtering of a loudspeaker and room acoustics using time‐delay neural networks
Jiang et al. Metamaterial-based analog recurrent neural network toward machine intelligence
US8583442B2 (en) Rhythm processing and frequency tracking in gradient frequency nonlinear oscillator networks
Moheimani et al. Multimode piezoelectric shunt damping with a highly resonant impedance
Tumpold et al. Linearizing an electrostatically driven MEMS speaker by applying pre-distortion
WO2022201425A1 (ja) 情報処理装置、隠れノードの設定方法及び情報処理装置の製造方法
Yadav et al. Study on piezoelectric ceramic under different pressurization conditions and circuitry
Rubio et al. Toward optimal design of piezoelectric transducers based on multifunctional and smoothly graded hybrid material systems
Nanda et al. Uncertainty quantification of energy harvesting systems using method of quadratures and maximum entropy principle
Cairns et al. Learning with analogue VLSP MLPs
US20230055056A1 (en) Reservoir element and neuromorphic device
Li et al. Fractional order model of broadband piezoelectric energy harvesters
El-Sabbagh et al. Maximization of the harvested power from piezoelectric bimorphs with multiple electrodes under dynamic excitation
WO2023062844A1 (ja) 情報処理装置
JP6973692B1 (ja) リザボア素子
Mohammadi et al. Design and simulation of an acoustic micro prob made of piezoelectric materials to stimulate nerve tissue and generate action potential
Carcangiu et al. A constructive algorithm of neural approximation models for optimization problems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210210

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210210

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210614

R150 Certificate of patent or registration of utility model

Ref document number: 6908210

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250