WO2021192147A1 - パラメータの設定方法およびリザボア素子の制御方法 - Google Patents

パラメータの設定方法およびリザボア素子の制御方法 Download PDF

Info

Publication number
WO2021192147A1
WO2021192147A1 PCT/JP2020/013697 JP2020013697W WO2021192147A1 WO 2021192147 A1 WO2021192147 A1 WO 2021192147A1 JP 2020013697 W JP2020013697 W JP 2020013697W WO 2021192147 A1 WO2021192147 A1 WO 2021192147A1
Authority
WO
WIPO (PCT)
Prior art keywords
distribution
parameter
reservoir
reservoir element
output
Prior art date
Application number
PCT/JP2020/013697
Other languages
English (en)
French (fr)
Inventor
一紀 中田
Original Assignee
Tdk株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tdk株式会社 filed Critical Tdk株式会社
Priority to JP2021507545A priority Critical patent/JP6908210B1/ja
Priority to CN202080095002.7A priority patent/CN115004196A/zh
Priority to US17/910,694 priority patent/US20230140456A1/en
Priority to PCT/JP2020/013697 priority patent/WO2021192147A1/ja
Publication of WO2021192147A1 publication Critical patent/WO2021192147A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R19/00—Electrostatic transducers
    • H04R19/04—Microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/04—Structural association of microphone with electric circuitry therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R19/00—Electrostatic transducers
    • H04R19/005—Electrostatic transducers using semiconductor materials
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/003—Mems transducers or their use

Definitions

  • the present invention relates to a parameter setting method and a reservoir element control method.
  • a neuromorphic device is an element that imitates the human brain by means of a neural network. Neuromorphic devices artificially mimic the relationship between neurons and synapses in the human brain.
  • the neuromorphic device has, for example, hierarchically arranged chips (neurons in the brain) and transmission means (synapses in the brain) connecting them.
  • Neuromorphic devices increase the percentage of correct answers to questions by learning by means of communication (synapses). Learning is to find knowledge that can be used in the future from information, and neuromorphic devices weight the input data.
  • a recurrent neural network is known as one of the neural networks.
  • Recurrent neural networks can handle non-linear time series data.
  • Non-linear time series data is data whose value changes with the passage of time, and stock prices and the like are examples.
  • the recurrent neural network can process time-series data by returning the processing results of the neurons in the latter layer to the neurons of the previous layer.
  • Reservoir computing is one means of realizing a recurrent neural network. Reservoir computing performs recursive processing by interacting signals. Reservoir computing, for example, mimics the behavior of the cerebellum, performing recursive data processing, data conversion (eg, coordinate conversion), and the like.
  • Non-Patent Document 1 describes a neuromorphic element using a spin torque oscillation (STO) element as a chip (neuron).
  • STO spin torque oscillation
  • the fitting accuracy of the output of the reservoir element for the teacher data varies depending on the parameter setting of the reservoir element.
  • a systematic design method for the parameters of the reservoir element has not yet been established.
  • the present invention has been made in view of the above circumstances, and provides a systematic design method of parameters that define element variations of a plurality of elements constituting a reservoir element.
  • the method of setting the parameters according to the first aspect is the ideal probability distribution of the output of the reservoir element derived from the device model based on the characteristics of the plurality of elements constituting the reservoir element, and the output of the reservoir element. Pre-learning is performed so that the mutual information amount of the probability distribution and the mutual information becomes large, and the parameter distribution of the parameter that defines the variation of each of the plurality of elements is set in the device model.
  • the device model may be, for example, a model based on the spring vibration shown in Non-Patent Document 2.
  • the device model may be, for example, a model based on the generalized nonlinear oscillator model shown in Non-Patent Document 3.
  • the parameter distribution is set based on the method for setting the parameters according to the above aspect, the parameter distribution is converted into the characteristic distribution of the reservoir element, and the above.
  • the characteristics of each of the plurality of elements are set based on the characteristic distribution.
  • the reservoir element includes a MEMS microphone array having a plurality of MEMS microphones, and the parameter distribution is set based on the method for setting the parameters according to the above aspect, and the parameters are set.
  • the distribution may be converted into the distribution of the sensitivity characteristics of the MEMS microphone array, and the sensitivity characteristics of each MEMS microphone may be set based on the distribution of the sensitivity characteristics.
  • the reservoir element includes a spin torque oscillator array having a plurality of spin torque oscillator elements, and the parameter distribution is distributed based on the method for setting parameters according to the above embodiment. It may be set, the parameter distribution may be converted into the distribution of the resonance characteristics of the spin torque oscillator array, and the frequency characteristics of each spin torque oscillator may be set based on the distribution of the resonance characteristics.
  • the parameter setting method provides a systematic design method of parameters that defines the element variation of a plurality of elements constituting the reservoir element.
  • the output of the reservoir element and the teacher data when the parameter distributions of FIGS. 5A and 5B are applied are shown.
  • the output of the reservoir element and the teacher data when the parameter distributions of FIGS. 6A and 6B are applied are shown.
  • the output of the reservoir element and the teacher data when the parameter distributions of FIGS. 7A and 7B are applied are shown. It is a circuit diagram of an example of a spin torque oscillator.
  • the Reservoir element according to the present embodiment is a device of processing in Reservoir computing.
  • Reservoir computing is an example of a recurrent neural network.
  • FIG. 1 is a conceptual diagram of a neural network simulated by the reservoir element according to the first embodiment.
  • the neural network NN shown in FIG. 1 is a conceptual schematic diagram of reservoir computing.
  • Neural networks NN shown in Figure 1 has an input layer L in the Rizaboa R and an output layer L out. The input layer L in and the output layer L out are connected to the reservoir R.
  • Input layer L in conveys a signal inputted from the outside to Rizaboa R.
  • Input layer L in, for example, comprises a plurality of neurons n 1.
  • Input signal input to each neuron n 1 of the input layer L in from the outside is transmitted to Rizaboa R.
  • Rizaboa R is storing the input signal input from the input layer L in, is converted into another signal.
  • the signals only interact and do not learn.
  • the input signals change non-linearly. That is, the input signal replaces another signal while retaining the original information.
  • the input signals change over time by interacting with each other within the Reservoir R.
  • a plurality of neurons n 2 are randomly connected. For example, the signal output from the neuron n 2 at a certain time t may return to the original neuron n 2 at a certain time t + 1.
  • neurons n 2 it can process in consideration of the time t and time t + 1 of the signal, can be recursively process the information.
  • the output layer L out outputs a signal from the reservoir R.
  • the output signal output from the output layer L out has the information of the input signal and is replaced with another signal.
  • An example of such conversion is the replacement of the Cartesian coordinate system (x, y, z) with the spherical coordinate system (r, ⁇ , ⁇ ).
  • Output layer L out for example, comprises a plurality of neurons n 3. Learning is performed from the reservoir R to the output layer L out. Learning is performed by a transmission pathway (synapse in the brain) that connects each neuron n 2 of the reservoir R and a neuron n 3 of the output layer L out. The output layer L out outputs the learning result to the outside.
  • the parameter setting method according to the present embodiment includes a device model determination step, an ideal probability distribution setting step, and a learning step.
  • a device model determination step the parameters of the portion corresponding to the above Reservoir R are systematically set.
  • Setting parameters is a parameter that defines a plurality of variations of neurons n 1 constituting the Rizaboa R.
  • the parameter setting method according to the present embodiment includes a device model determination step, an ideal probability distribution setting step, and a learning step.
  • each process will be described with reference to specific examples.
  • MEMS microphone array is an array of MEMS microphones that are electrically connected to each other.
  • MEMS is an abbreviation for Micro Electronics Mechanical System.
  • FIG. 2 is a cross-sectional view of an example of a MEMS microphone.
  • the MEMS microphone 10 has, for example, a vibrating membrane 1, a MEMS chip 2, an integrated circuit 3, a substrate 4 having an opening 4A, and a protective plate 5.
  • the vibrating membrane 1, the MEMS chip 2, and the integrated circuit 3 are formed on the substrate 4 and are electrically connected to each other.
  • the vibrating film 1, the MEMS chip 2, and the integrated circuit 3 are protected by a protective plate 5.
  • the MEMS microphone 10 converts, for example, a sound wave into an electrical signal.
  • the sound wave input through the opening 4A vibrates the vibrating membrane 1.
  • the vibration of the vibrating membrane 1 changes, for example, the capacitance of the capacitor in the MEMS chip 2 and is converted into an electric signal.
  • the integrated circuit 3 includes, for example, an analog-to-digital converter, and outputs an electric signal in analog.
  • the device model is first determined.
  • the device model is determined based on the characteristics of a plurality of elements constituting the reservoir element.
  • the reservoir element is a MEMS microphone array
  • the element constituting the reservoir element is the MEMS microphone 10.
  • the MEMS microphone 10 replaces the vibration of the vibrating membrane 1 with an electric signal. If the vibration of each vibrating membrane 1 is regarded as a spring vibration, the MEMS microphone array can be represented by a model based on the spring vibration in which a plurality of springs are connected.
  • FIG. 3 is a conceptual diagram of a device model when the reservoir element is a MEMS microphone array.
  • a plurality of vibration points vp are connected to each other by a spring.
  • Each vibration point vp corresponds to each MEMS microphone 10 in the reservoir element.
  • the device model when the reservoir element is a MEMS microphone array is expressed by the following mathematical formula (1).
  • x i is the displacement of each of the vibration point vp.
  • ⁇ 0 is a unique frequency of the spring connected to each vibration point vp, and corresponds to the vibration of the vibration film 1 of each MEMS microphone 10.
  • Q is a quality factor (Q value).
  • the first term on the right side, - ⁇ 0 / Q ⁇ dx i / dt, represents the fundamental vibration at the vibration point bp when there is no resistance.
  • a second term on the right side - [omega] 0 2 x i represents the attenuation of the respective vibration point vp, for example, represents the attenuation due to air resistance of the vibration of the vibrating membrane 1.
  • ⁇ i is a value different for each vibration point vp, and corresponds to the variation in the element characteristics of each MEMS microphone 10.
  • the third term on the right side, - ⁇ i x i 3 represents the non-linear spring characteristic of each vibration point bp, and is a vibration different for each MEMS microphone 10. For example, there are variations in the performance of the plurality of MEMS microphones 10, and - ⁇ i x i 3 is generated according to the variations for each element.
  • the third term on the right side is the portion of the reservoir element that amplifies the non-linear component contained in the input signal.
  • a fourth term of the right side A [1 + ⁇ i w in u] cos ( ⁇ t) is a vibration caused by an external force applied, corresponding to vibrations caused by the acoustic waves applied to the MEMS microphone 10.
  • ⁇ 1 is the frequency of the spring connecting the adjacent vibration points vp.
  • the ideal probability distribution of the output of the reservoir element is set.
  • the ideal probability distribution of the output is arbitrarily set according to the task to be solved by the reservoir computing.
  • the ideal probability distribution of the output is derived, for example, from the device model.
  • the ideal probability distribution of the output is determined according to the characteristics of the device model.
  • the ideal probability distribution for the output is, for example, a normal distribution. For example, as a task, consider a regression problem that approximates an arbitrary Fourier composite wave by reservoir computing. At this time, it is desirable that the frequency distribution of the output of the reservoir element has the same shape as the frequency distribution (corresponding to the power spectrum) included in the Fourier composite wave serving as the teacher signal.
  • the ideal probability distribution of the output of the reservoir element is also monomodal.
  • the ideal probability distribution of the output of the reservoir element is mixed and normally distributed in order to approximate the bimodal probability distribution.
  • Pre-learning (for example, refer to Non-Patent Document 4) is performed using the first function.
  • FIG. 4 is a conceptual diagram of reservoir computing that performs pre-learning. Pre-learning is performed, for example, by simulation.
  • Pre-learning is performed so that the mutual information amount between the ideal probability distribution of the output and the output probability distribution of the reservoir element (reservoir element having the first function) becomes large.
  • the initial value of pre-learning can be set arbitrarily, for example, it is set to a uniform random number of [0: 1]. Whatever the initial value of pre-learning, the distribution of parameters a and b asymptotically approaches a predetermined distribution by pre-learning.
  • Mutual information is a quantity that represents a measure of the interdependence of two random variables.
  • Non-Patent Document 5 Various amounts of mutual information may be used (for example, refer to Non-Patent Document 5).
  • the Kullback-Leibler information amount can be used.
  • the amount of Kullback-Leibler information is defined as follows.
  • p to (y) are the probability distributions of the output of the reservoir element
  • p (y) is the ideal probability distribution of the output.
  • p (y) is, for example, a normal distribution and is represented by the following equation. The normal distribution is expressed as a function of mean ⁇ and variance ⁇ .
  • the gradient learning method is one of the means for finding the optimum value in machine learning.
  • the point where the above differential value becomes zero corresponds to the portion where the slope of the Kullback-Leibler information amount with respect to the parameter a or the parameter b becomes zero.
  • the entropy is minimized and the mutual information amount is maximized. Therefore, the following relational expression can be obtained by transforming the equation so that the above differential value becomes zero.
  • FIG. 5A is a parameter distribution of the parameter a obtained by pre-learning when the average ⁇ of the ideal normal distribution is 0.1 and the variance ⁇ is 0.25.
  • FIG. 5B is a parameter distribution of the parameter b obtained by pre-learning when the average ⁇ of the ideal normal distribution is 0.1 and the variance ⁇ is 0.25.
  • FIG. 5C shows the output of the reservoir element and the teacher data when the parameter distributions of FIGS. 5A and 5B are applied. Teacher data is shown by the dotted line.
  • FIG. 6A is a parameter distribution of the parameter a obtained by pre-learning when the average ⁇ of the ideal normal distribution is 0.2 and the variance ⁇ is 0.25.
  • FIG. 6B is a parameter distribution of the parameter b obtained by pre-learning when the average ⁇ of the ideal normal distribution is 0.2 and the variance ⁇ is 0.25.
  • FIG. 6C shows the output of the reservoir element and the teacher data when the parameter distributions of FIGS. 6A and 6B are applied. Teacher data is shown by the dotted line.
  • FIG. 7A shows the parameter distribution of the parameter a obtained by pre-learning when the average ⁇ of the ideal normal distribution is 0.3 and the variance ⁇ is 0.25.
  • FIG. 7B is a parameter distribution of the parameter b obtained by pre-learning when the average ⁇ of the ideal normal distribution is 0.3 and the variance ⁇ is 0.25.
  • FIG. 7C shows the output of the reservoir element and the teacher data when the parameter distributions of FIGS. 7A and 7B are applied. Teacher data is shown by the dotted line.
  • the parameter distribution of parameter a and the parameter distribution of parameter b were lognormal distributions in both cases.
  • the parameter distribution of parameter a did not change significantly even if the mean ⁇ of the normal distribution was changed.
  • the parameter distribution of parameter b changed when the mean ⁇ of the normal distribution was changed.
  • the distribution of the parameter b was the lognormal distribution that became the maximum at 0.10.
  • the distribution of the parameter b was the lognormal distribution that became the maximum at 0.20.
  • the distribution of parameter b was the lognormal distribution that became the maximum at 0.30.
  • FIG. 8 is a configuration diagram of an example of a spin torque oscillating element.
  • the spin torque oscillator 20 includes, for example, a magnetoresistive element MTJ, an AC power supply DAC , a DC power supply VDC , an inductor L, a conductor C, and an output terminal T.
  • the magnetoresistive element MTJ is composed of two ferromagnetic layers sandwiching a non-magnetic layer. The magnetization of one of the ferromagnetic layers undergoes aging movement in response to a high-frequency magnetic field in which a high-frequency current generated between the AC power supply VAC and the ground is generated. The resistance of the magnetoresistive element MTJ changes periodically according to the precession of magnetization.
  • the DC power supply VDC applies a direct current to the magnetoresistive element MTJ. From the output terminal T, a signal which is the product of the resistance value of the magnetoresistive element MTJ and the current applied to the magnetoresistive element MTJ is output. Since the resistance of the magnetoresistive element MTJ changes periodically, the signal output from the output terminal T changes periodically.
  • Non-Patent Document 3 The device model when the reservoir element is a spin torque oscillating element is expressed by the following mathematical formula (2).
  • the second term on the left side is a term corresponding to the vibration frequency, and indicates that the frequency is modulated according to the amplitude.
  • the third term on the left side is a dissipation term and corresponds to the damping torque of the spin torque oscillator.
  • the fourth term on the left side is a term that acts like a negative resistance and corresponds to the spin transfer torque of the spin torque oscillator.
  • the first term on the right side corresponds to an external input, and corresponds to, for example, an AC external magnetic field of a spin torque oscillator.
  • the step of setting the ideal probability distribution is the same as in the case of the MEMS microphone array. For example, set the ideal probability distribution of the output to a normal distribution. This corresponds to assuming the resonance distribution of the spin torque oscillator element as a normal distribution.
  • variable p of the second function corresponds to the variable x of the first function
  • the parameters H 0 and M 0 can be regarded as corresponding to the parameters a and b of the first function, respectively.
  • Pre-learning is performed using the second function. Pre-learning is performed so that the mutual information amount between the ideal probability distribution of the output and the output probability distribution of the spin torque oscillating element serving as the reservoir element becomes large.
  • the initial value of pre-learning can be set arbitrarily, for example, it is set to a uniform random number of [0: 1]. Whatever the initial value of pre-learning, the distribution of parameters H 0 and M 0 asymptotically approaches a predetermined distribution by pre-learning. When the mutual information between the ideal probability distribution of the output and the output probability distribution of the reservoir element becomes large, the output probability distribution of the reservoir element approaches the ideal probability distribution of the output.
  • the method for controlling the reservoir element according to the present embodiment is a step of setting the above parameter distribution, a conversion step of converting the parameter distribution into the characteristic distribution of the element, and a step of setting the characteristics of each element based on the characteristic distribution. And have.
  • the parameter distribution obtained in the above procedure is converted into the characteristic distribution of the device.
  • the reservoir element is a MEMS microphone array
  • the parameter distribution is converted into the distribution of the sensitivity characteristics of each MEMS microphone.
  • the reservoir element is a spin torque oscillating element array
  • the parameter distribution is converted into the distribution of the resonance characteristics of each spin torque oscillating element.
  • the sensitivity characteristics of the MEMS microphone can be obtained. Once the parameters a and b are determined, the sensitivity characteristics of the MEMS microphone are determined. Therefore, the distribution of the sensitivity characteristics of the MEMS microphone array can be obtained from the parameter distribution.
  • the resonance characteristics of the spin torque oscillator can be obtained.
  • the parameter H 0 and the parameter M 0 are determined, the resonance characteristics of the spin torque oscillator are determined. Therefore, the distribution of the resonance characteristics of the spin torque oscillator array can be obtained from the parameter distribution.
  • the characteristics of each element are set based on the characteristic distribution of the obtained reservoir elements. For example, if the obtained characteristics are the sensitivity distribution of the MEMS microphone array, the sensitivity characteristics of each MEMS microphone are set. For example, if the obtained characteristic is the resonance characteristic of the spin torque oscillating element array, the resonance characteristic of each spin torque oscillating element is set.
  • each MEMS microphone can be set by changing the potential of the MEMS chip 2.
  • the potential of the MEMS chip 2 of each MEMS microphone is different, the electric signal output by the vibration of the vibrating membrane 1 is different for each MEMS microphone. That is, the input signal (acoustic wave) is converted into a different signal for each element (MEMS microphone), and is converted into a non-linear output as a whole.
  • the resonance characteristics of each spin torque oscillating element correspond to the ferromagnetic resonance frequency of each magnetoresistive element MTJ.
  • the ferromagnetic resonance frequency of each magnetoresistive element MTJ can be set by an external magnetic field or the like applied to the magnetoresistive element MTJ. If the ferromagnetic resonance frequency of each magnetoresistive element MTJ is different, the signal (high frequency) output from each spin torque oscillating element is different. That is, the input signal (high frequency) is converted into a different signal for each element (spin torque oscillating element), and is converted into a non-linear output as a whole.
  • the parameter distribution is set to a uniform distribution
  • the physical parameters of each element are required to be a uniform distribution.
  • the parameter distribution obtained in this embodiment is not uniform (for example, lognormal distribution). Therefore, even if there are manufacturing variations in each element, it is easy to set a predetermined parameter distribution.
  • the parameters of each element can be systematically set.
  • the output of the reservoir element becomes non-linear and the accuracy of matching to the teacher data is improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Neurology (AREA)
  • Micromachines (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

実施形態にかかるパラメータ分布の設定方法は、リザボア素子の出力の確率分布と出力の理想の確率分布との相互情報量が大きくなるように、勾配学習法に基づいた学習を予め行い、リザボア素子のデバイスモデルにおいて、リザボア素子を構成する複数の素子の素子ばらつきを規定するパラメータのパラメータ分布を設定する。

Description

パラメータの設定方法およびリザボア素子の制御方法
　本発明は、パラメータの設定方法およびリザボア素子の制御方法に関する。
　ニューロモルフィックデバイスは、ニューラルネットワークにより人間の脳を模倣した素子である。ニューロモルフィックデバイスは、人間の脳におけるニューロンとシナプスとの関係を人工的に模倣している。
　ニューロモルフィックデバイスは、例えば、階層状に配置されたチップ（脳におけるニューロン）と、これらの間を繋ぐ伝達手段（脳におけるシナプス）と、を有する。ニューロモルフィックデバイスは、伝達手段（シナプス）が学習することで、問題の正答率を高める。学習は将来使えそうな知識を情報から見つけることであり、ニューロモルフィックデバイスでは入力されたデータに重み付けをする。
　ニューラルネットワークの一つとして、リカレントニューラルネットワークが知られている。リカレントニューラルネットワークは、非線形な時系列のデータを扱うことができる。非線形な時系列のデータは、時間の経過とともに値が変化するデータであり、株価等はその一例である。リカレントニューラルネットワークは、後段の階層のニューロンでの処理結果を前段の階層のニューロンに戻すことで、時系列のデータを処理することができる。
　リザボアコンピューティングは、リカレントニューラルネットワークを実現する一つの手段である。リザボアコンピューティングは、信号を相互作用させることで、再帰的な処理を行う。リザボアコンピューティングは、例えば、小脳の動作を模倣しており、再帰的なデータの処理やデータの変換（例えば、座標の変換）等を行う。
　リザボアコンピューティングの概念を実際の素子に物理的に実装する試みが行われている。リザボアコンピューティングの概念を実際の素子に落とし込んだものを、以下、リザボア素子と称する。例えば、非特許文献１には、スピントルク発振（ＳＴＯ）素子をチップ（ニューロン）として用いたニューロモルフィック素子が記載されている。
Jacob Torrejon et al., Nature, Vol.547, pp.428-432 (2017). J. Coulombe, M.York, and J. Sylvestre, PLoS One, Vol. 12(6), e0178663 (2017). doi: 10.1371/journal.pone.0178663. A. Slavin & V. S. Tiberkevich, IEEE Transactions on Magnetics, Vol. 45(4), pp.1875-1918 (2009). P. Koprinkova-Hristova et al, International Conference on Artificial Neural Networks. Springer, Berlin, Heidelberg (2011). 杉山　将、入江　清、友納　正裕、日本ロボット学会誌、Vol.33, No.2, pp.86-91, 2015.
　リザボア素子の出力の教師データに対するフィッテイング精度は、リザボア素子のパラメータ設定に応じて変動する。リザボア素子のパラメータの体系的な設計方法は、まだ確立されていない。
　本発明は上記事情に鑑みてなされたものであり、リザボア素子を構成する複数の素子の素子ばらつきを規定するパラメータの体系的な設計方法を提供する。
（１）第１の態様にかかるパラメータの設定方法は、リザボア素子を構成する複数の素子の特性に基づくデバイスモデルから導き出される前記リザボア素子の出力の理想の確率分布と、前記リザボア素子の出力の確率分布と、の相互情報量が大きくなるように、事前学習を行い、前記デバイスモデルにおいて、前記複数の素子のそれぞれのばらつきを規定するパラメータのパラメータ分布を設定する。
（２）上記態様にかかるパラメータの設定方法は、前記デバイスモデルが、例えば、非特許文献２に示されるバネ振動に基づくモデルであってもよい。
（３）上記態様にかかるパラメータの設定方法は、前記デバイスモデルが、例えば、非特許文献３に示される一般化された非線形振動子モデルに基づくモデルであってもよい。
（４）第２の態様にかかるリザボア素子の制御方法は、上記態様にかかるパラメータの設定方法に基づき、前記パラメータ分布を設定し、前記パラメータ分布を、前記リザボア素子の特性分布に変換し、前記特性分布に基づき、前記複数の素子のそれぞれの特性を設定する。
（５）上記態様にかかるリザボア素子の制御方法において、リザボア素子は、複数のＭＥＭＳマイクロフォンを有するＭＥＭＳマイクロフォンアレイを含み、上記態様にかかるパラメータの設定方法に基づき、前記パラメータ分布を設定し、前記パラメータ分布を前記ＭＥＭＳマイクロフォンアレイの感度特性の分布に変換し、前記感度特性の分布に基づき、それぞれのＭＥＭＳマイクロフォンの感度特性を設定してもよい。
（６）上記態様にかかるリザボア素子の制御方法において、前記リザボア素子は、複数のスピントルク発振素子を有するスピントルク発振素子アレイを含み、上記態様にかかるパラメータの設定方法に基づき、前記パラメータ分布を設定し、前記パラメータ分布を前記スピントルク発振素子アレイの共振特性の分布に変換し、前記共振特性の分布に基づき、それぞれのスピントルク発振素子の周波数特性を設定してもよい。
　上記態様にかかるパラメータの設定方法は、リザボア素子を構成する複数の素子の素子ばらつきを規定するパラメータの体系的な設計方法を提供する。
第１実施形態にかかるリザボア素子が模擬するニューラルネットワークの概念図である。 ＭＥＭＳマイクロフォンの一例の断面図である。 リザボア素子がＭＥＭＳマイクロフォンアレイの場合のデバイスモデルの概念図である。 事前学習を行うリザボアコンピューティングの概念図である。 理想の正規分布の平均σを０．１、分散μを０．２５とした場合において、事前学習により求められたパラメータａのパラメータ分布である。 理想の正規分布の平均σを０．１、分散μを０．２５とした場合において、事前学習により求められたパラメータｂのパラメータ分布である。 図５Ａ及び図５Ｂのパラメータ分布を適用した際のリザボア素子の出力と教師データとを示す。 理想の正規分布の平均σを０．２、分散μを０．２５とした場合において、事前学習により求められたパラメータａのパラメータ分布である。 理想の正規分布の平均σを０．２、分散μを０．２５とした場合において、事前学習により求められたパラメータｂのパラメータ分布である。 図６Ａ及び図６Ｂのパラメータ分布を適用した際のリザボア素子の出力と教師データとを示す。 理想の正規分布の平均σを０．３、分散μを０．２５とした場合において、事前学習により求められたパラメータａのパラメータ分布である。 理想の正規分布の平均σを０．３、分散μを０．２５とした場合において、事前学習により求められたパラメータｂのパラメータ分布である。 図７Ａ及び図７Ｂのパラメータ分布を適用した際のリザボア素子の出力と教師データとを示す。 スピントルク発振素子の一例の回路図である。
　以下、本実施形態について、図を適宜参照しながら詳細に説明する。以下の説明で用いる図面は、本発明の特徴をわかりやすくするために便宜上特徴となる部分を拡大して示している場合があり、各構成要素の寸法比率などは実際とは異なっていることがある。以下の説明において例示される材料、寸法等は一例であって、本発明はそれらに限定されるものではなく、本発明の効果を奏する範囲で適宜変更して実施することが可能である。
　本実施形態に係るリザボア素子は、リザボアコンピューティングにおける処理をデバイス化したものである。リザボアコンピューティングは、リカレントニューラルネットワークの一例である。
「第１実施形態」
（リザボアコンピューティング）
　図１は、第１実施形態にかかるリザボア素子が模擬するニューラルネットワークの概念図である。図１に示すニューラルネットワークＮＮは、リザボアコンピューティングの概念模式図である。図１に示すニューラルネットワークＮＮは、入力層ＬｉｎとリザボアＲと出力層Ｌｏｕｔとを有する。入力層Ｌｉｎ及び出力層Ｌｏｕｔは、リザボアＲに接続されている。
　入力層Ｌｉｎは、外部から入力された信号をリザボアＲに伝える。入力層Ｌｉｎは、例えば、複数のニューロンｎ１を含む。外部から入力層Ｌｉｎのそれぞれのニューロンｎ１に入力された入力信号は、リザボアＲに伝わる。
　リザボアＲは、入力層Ｌｉｎから入力された入力信号を貯留し、別の信号に変換する。リザボアＲ内では、信号は相互作用するだけであり、学習しない。入力信号が互いに相互作用すると、入力信号が非線形に変化する。すなわち、入力信号は、元の情報を保有しつつ別の信号に置き換わる。入力信号は、リザボアＲ内で互いに相互作用することで、時間の経過とともに変化する。リザボアＲは、複数のニューロンｎ２がランダムに接続されている。例えば、ある時刻ｔにあるニューロンｎ２から出力された信号は、ある時刻ｔ＋１において元のニューロンｎ２に戻る場合がある。ニューロンｎ２では、時刻ｔ及び時刻ｔ＋１の信号を踏まえた処理ができ、情報を再帰的に処理できる。
　出力層Ｌｏｕｔは、リザボアＲからの信号を出力する。出力層Ｌｏｕｔから出力される出力信号は、入力信号の情報を持ちつつ、別の信号に置き換わっている。当該変換の一例として、直交座標系（ｘ，ｙ，ｚ）から球面座標系（ｒ，θ，φ）への置き換えが挙げられる。出力層Ｌｏｕｔは、例えば、複数のニューロンｎ３を含む。リザボアＲから出力層Ｌｏｕｔに至る際に、学習が行われる。学習は、リザボアＲのそれぞれのニューロンｎ２と出力層Ｌｏｕｔのニューロンｎ３とを繋ぐ伝達経路（脳におけるシナプス）で行われる。出力層Ｌｏｕｔは、学習の結果を外部に出力する。
（パラメータの設定方法）
　本実施形態にかかるパラメータの設定方法は、上記のリザボアＲに該当する部分のパラメータを体系的に設定する。設定するパラメータは、リザボアＲを構成する複数のニューロンｎ１のばらつきを規定するパラメータである。本実施形態にかかるパラメータの設定方法は、デバイスモデルの決定工程と、理想の確率分布の設定工程と、学習工程と、を有する。以下、具体的な例を挙げて、それぞれの工程について説明する。
＜ＭＥＭＳマイクロフォンアレイに適用した例＞
　リザボアコンピューティングにおけるリザボアＲを物理的な素子で実現したリザボア素子が、ＭＥＭＳマイクロフォンアレイの場合を例に説明する。ＭＥＭＳマイクロフォンアレイは、ＭＥＭＳマイクロフォンが配列し、互いに電気的に接続されたものである。ＭＥＭＳは、Micro Electronics Mechanical Systemの略語である。
　図２は、ＭＥＭＳマイクロフォンの一例の断面図である。ＭＥＭＳマイクロフォン１０は、例えば、振動膜１とＭＥＭＳチップ２と集積回路３と開口４Ａを有する基板４と保護板５とを有する。振動膜１、ＭＥＭＳチップ２及び集積回路３は、基板４上に形成され、互いに電気的に接続されている。振動膜１、ＭＥＭＳチップ２及び集積回路３は、保護板５で保護されている。ＭＥＭＳマイクロフォン１０は、例えば、音波を電気信号に変換する。開口４Ａを介して入力された音波は、振動膜１を振動させる。振動膜１の振動は、例えば、ＭＥＭＳチップ２内のコンデンサの静電容量を変化させ、電気信号に変換される。集積回路３は、例えば、アナログ－デジタルコンバータを含み、電気信号をアナログで出力する。
［デバイスモデルの決定工程］
　本実施形態にかかるパラメータの設定方法では、まずデバイスモデルを決定する。デバイスモデルは、リザボア素子を構成する複数の素子の特性に基づき、決定される。リザボア素子がＭＥＭＳマイクロフォンアレイの場合、リザボア素子を構成する素子は、ＭＥＭＳマイクロフォン１０である。上述のように、ＭＥＭＳマイクロフォン１０は、振動膜１の振動を電気信号に置き換えている。それぞれの振動膜１の振動をバネ振動と見立てると、ＭＥＭＳマイクロフォンアレイは、複数のバネが連結したバネ振動に基づくモデルで表すことができる。
　図３は、リザボア素子がＭＥＭＳマイクロフォンアレイの場合のデバイスモデルの概念図である。図３に示すデバイスモデルは、複数の振動点ｖｐが互いにバネで接続されている。それぞれの振動点ｖｐは、リザボア素子におけるそれぞれのＭＥＭＳマイクロフォン１０に対応する。リザボア素子がＭＥＭＳマイクロフォンアレイの場合のデバイスモデルは、以下の数式（１）で表される。
Figure JPOXMLDOC01-appb-M000003
　ｘｉは、それぞれの振動点ｖｐの変位である。ω０はそれぞれの振動点ｖｐにそれぞれ接続されたバネの固有の振動数であり、それぞれのＭＥＭＳマイクロフォン１０の振動膜１の振動に対応する。Ｑは、クオリティファクター（Ｑ値）である。右辺の第１項である－ω０／Ｑ・ｄｘｉ／ｄｔは、抵抗がない場合の振動点ｖｐにおける基本振動を表す。右辺の第２項である－ω０ ２ｘｉは、それぞれの振動点ｖｐの減衰を表し、例えば、振動膜１の振動の空気抵抗による減衰を表す。
　βｉは、それぞれの振動点ｖｐごとに異なる値であり、それぞれのＭＥＭＳマイクロフォン１０の素子特性のばらつきに対応する。右辺の第３項である－βｉｘｉ ３は、それぞれの振動点ｖｐの非線形なバネ特性を表し、ＭＥＭＳマイクロフォン１０毎に異なる振動である。例えば、複数のＭＥＭＳマイクロフォン１０の性能にばらつきがあり、素子毎にばらつきに応じて－βｉｘｉ ３が生じる。右辺の第３項が、リザボア素子において、入力信号に含まれる非線形成分を増幅する部分である。
　右辺の第４項であるＡ［１＋Δｉｗｉｎｕ］ｃｏｓ（Ωｔ）は、外部から印加される力により生じる振動であり、ＭＥＭＳマイクロフォン１０に印加される音響波により生じる振動に対応する。
　ω１は、隣り合う振動点ｖｐを繋ぐバネの振動数である。右辺の第５項であるω１ ２［ｘｉ－１－２ｘｉ＋ｘｉ＋１］は、隣り合う振動点ｖｐが影響しあうことで生じる振動であり、異なるＭＥＭＳマイクロフォン１０間の電気的な繋がりに基づいて生じる振動の振動数に対応する。
［理想の確率分布の設定工程］
　次いで、リザボア素子の出力の理想の確率分布を設定する。出力の理想の確率分布は、リザボアコンピューティングで解きたいタスクに応じて任意に設定される。また、出力の理想の確率分布は、例えば、デバイスモデルから導き出される。デバイスモデルの特性に応じて出力の理想の確率分布は決定する。出力の理想の確率分布は、例えば、正規分布である。例えば、タスクとして、リザボアコンピューティングによって任意のフーリエ合成波を近似する回帰問題を考える。このとき、リザボア素子の出力の周波数分布は、教師信号となるフーリエ合成波に含まれる周波数分布（パワースペクトルに相当）と同様の形状となることが望ましい。もし、教師信号となるフーリエ合成波に含まれる周波数分布が単峰性の場合には、リザボア素子の出力の理想の確率分布も単峰性となることが望ましい。また教師信号となるフーリエ合成波に含まれる周波数分布が双峰性の周波数分布の場合には、双峰性の確率分布を近似するために、リザボア素子の出力の理想の確率分布を混合正規分布とする。
［学習工程］
　デバイスモデルにおける右辺の第３項－βｉｘｉ ３をｔａｎｈ（ｘ）のテイラー展開を使って解析しやすい式に変換すると、３βｉ（ｘ－ｔａｎｈ（ｘ））となる。右辺の第３項は、上述のようにそれぞれのＭＥＭＳマイクロフォン１０の素子ばらつきに対応する。ばらつきを規定するパラメータをａ、ｂとすると、ｙ＝ｆｇｅｎ（ｘ）＝ｔａｎｈ（ａｘ＋ｂ）が、それぞれの素子において、ばらつきに該当するパラメータを含んだ式となる。以下、ｙ＝ｆｇｅｎ（ｘ）＝ｔａｎｈ（ａｘ＋ｂ）を第１関数と称する場合がある。
　第１関数を用いて、事前学習（例えば、非特許文献４参考）を行う。図４は、事前学習を行うリザボアコンピューティングの概念図である。事前学習は、例えば、シミュレーションにより行う。第１関数ｙ＝ｆｇｅｎ（ｘ）＝ｔａｎｈ（ａｘ＋ｂ）は、リザボア素子の非線形性を生じる作用を抽出したものであり、第１関数を用いて事前学習を行えば、リザボア素子の出力の精度を高めることができる。
　事前学習は、出力の理想の確率分布と、リザボア素子（第１関数を有するリザボア素子）の出力の確率分布と、の相互情報量が大きくなるように行う。事前学習の初期値は、任意に設定でき、例えば、［０：１］の一様乱数に設定する。事前学習の初期値が何であっても、パラメータａ及びｂの分布は、事前学習により所定の分布に漸近する。相互情報量は、２つの確率変数の相互依存の尺度を表す量である。出力の理想の確率分布と、リザボア素子の出力の確率分布と、の相互情報量が大きくなると、リザボア素子の出力の確率分布が、出力の理想の確率分布に近づく。
　相互情報量は、さまざまなものを用いてよい（例えば、非特許文献５参考）。例えば、カルバック・ライブラー情報量を用いることができる。カルバック・ライブラー情報量は、以下のように定義される。
Figure JPOXMLDOC01-appb-M000004
　ここで、ｐ～（ｙ）はリザボア素子の出力の確率分布であり、ｐ（ｙ）は出力の理想の確率分布である。ｐ（ｙ）は、例えば、正規分布であり、下記式で表される。正規分布は、平均σと分散μの関数で表記される。
Figure JPOXMLDOC01-appb-M000005
　上記のカルバック・ライブラー情報量をパラメータａ及びｂで微分すると以下の式が得られる。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
　相互情報量を大きくする学習は、例えば、勾配学習法を用いて行う。勾配学習法は、機械学習において最適値を求める手段の一つである。上記の微分値がゼロになる点は、パラメータａ又はパラメータｂに対するカルバック・ライブラー情報量の傾きがゼロになる部分に対応する。上記の傾きがゼロとなる部分では、エントロピーが最小化し、相互情報量が最大化する。そのため、上記の微分値がゼロとなるように式変形を行うと、以下の関係式が得られる。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
　図５Ａは、理想の正規分布の平均σを０．１、分散μを０．２５とした場合において、事前学習により求められたパラメータａのパラメータ分布である。図５Ｂは、理想の正規分布の平均σを０．１、分散μを０．２５とした場合において、事前学習により求められたパラメータｂのパラメータ分布である。図５Ｃは、図５Ａ及び図５Ｂのパラメータ分布を適用した際のリザボア素子の出力と教師データとを示す。教師データは点線で示す。
　図６Ａは、理想の正規分布の平均σを０．２、分散μを０．２５とした場合において、事前学習により求められたパラメータａのパラメータ分布である。図６Ｂは、理想の正規分布の平均σを０．２、分散μを０．２５とした場合において、事前学習により求められたパラメータｂのパラメータ分布である。図６Ｃは、図６Ａ及び図６Ｂのパラメータ分布を適用した際のリザボア素子の出力と教師データとを示す。教師データは点線で示す。
　図７Ａは、理想の正規分布の平均σを０．３、分散μを０．２５とした場合において、事前学習により求められたパラメータａのパラメータ分布である。図７Ｂは、理想の正規分布の平均σを０．３、分散μを０．２５とした場合において、事前学習により求められたパラメータｂのパラメータ分布である。図７Ｃは、図７Ａ及び図７Ｂのパラメータ分布を適用した際のリザボア素子の出力と教師データとを示す。教師データは点線で示す。
　パラメータａのパラメータ分布及びパラメータｂのパラメータ分布は、いずれの場合も対数正規分布となった。パラメータａのパラメータ分布は、正規分布の平均σを変えても大きく変化しなかった。これに対し、パラメータｂのパラメータ分布は、正規分布の平均σを変えると変化した。正規分布の平均σが０．１の場合、パラメータｂの分布は０．１０で最大となる対数正規分布であった。正規分布の平均σが０．２の場合、パラメータｂの分布は０．２０で最大となる対数正規分布であった。正規分布の平均σが０．３の場合、パラメータｂの分布は０．３０で最大となる対数正規分布であった。パラメータ分布を用いると、リザボア素子の出力が教師データに近づき、目的の出力が得られていることがわかる。
＜スピントルク発振素子に適用した例＞
　次いで、リザボアコンピューティングにおけるリザボアＲを物理的な素子で実現したリザボア素子が、スピントルク発振素子アレイの場合を例に説明する。リザボア素子を構成するそれぞれの素子がスピントルク発振素子の場合も、デバイスモデルを変更することにより、上記のＭＥＭＳマイクロフォンアレイに適用した場合と同様の手順で、パラメータは設定される。
　図８は、スピントルク発振素子の一例の構成図である。スピントルク発振素子２０は、例えば、磁気抵抗効果素子ＭＴＪと交流電源ＶＡＣと直流電源ＶＤＣとインダクタＬとコンダクタＣと出力端子Ｔとを備える。磁気抵抗効果素子ＭＴＪは、非磁性層を挟む２つの強磁性層からなる。一方の強磁性層の磁化は、交流電源ＶＡＣとグラウンドとの間に生じる高周波電流が生じる高周波磁場を受けて歳差運動する。磁気抵抗効果素子ＭＴＪの抵抗は、磁化の歳差運動に応じて周期的に変化する。直流電源ＶＤＣは、磁気抵抗効果素子ＭＴＪに直流電流を印加する。出力端子Ｔからは、磁気抵抗効果素子ＭＴＪの抵抗値と磁気抵抗効果素子ＭＴＪに印加される電流の積である信号が出力される。磁気抵抗効果素子ＭＴＪの抵抗が周期的に変化するため、出力端子Ｔから出力される信号は周期的に変化する。
［デバイスモデルの決定工程］
　スピントルク発振素子のデバイスモデルは、一般化された非線形発振器モデル（非特許文献３）で表される。つまり、リザボア素子がスピントルク発振素子の場合のデバイスモデルは、以下の数式（２）で表される。
Figure JPOXMLDOC01-appb-M000010
　数式（２）において、ｃは複素振幅であり、スピントルク発振素子のパワーをｐとすると、ｐ＝｜ｃ｜２となる。左辺第２項は、振動周波数に相当する項であり、周波数は振幅に応じて変調されることを示している。また、左辺第３項は、散逸項であり、スピントルク発振素子のダンピングトルクに対応する。さらに、左辺第４項は、負性抵抗のように働く項であり、スピントルク発振素子のスピントランスファートルクに対応する。右辺第１項は外部入力に対応しており、例えば、スピントルク発振素子の交流外部磁場に対応する。
［理想の確率分布の設定工程］
　理想の確率分布の設定工程は、ＭＥＭＳマイクロフォンアレイの場合と同様である。例えば、出力の理想の確率分布を正規分布に設定する。これは、スピントルク発振素子の共振分布を正規分布に仮定することに相当する。
［学習工程］
　学習工程も、上記のＭＥＭＳマイクロフォンアレイの場合と同様である。数式（２）から、素子ばらつきに対応するスピントルク発振素子の発振周波数は、非特許文献３において導出されているように、ω（ｐ）＝γ（Ｈ０－４πＭ０＋８πＭ０ｐ）で表される。ここで、Ｈ０は実効磁場の強さに対応したパラメータであり、Ｍ０＝｜Ｍ｜は磁化の長さに対応したパラメータである。以下、上式を第２関数と称する場合がある。さらに、第２関数の変数ｐは第１関数の変数ｘに対応し、パラメータＨ０及びＭ０はそれぞれ第１関数のパラメータａ及びｂに対応するものとみなせる。この関数を用いることで、パラメータの分布とスピントルク発振素子アレイの共振特性の分布を相互に変換することができる。
　第２関数を用いて事前学習を行う。事前学習は、出力の理想の確率分布と、リザボア素子となるスピントルク発振素子の出力の確率分布と、の相互情報量が大きくなるように行う。事前学習の初期値は、任意に設定でき、例えば、［０：１］の一様乱数に設定する。事前学習の初期値が何であっても、パラメータＨ０及びＭ０の分布は、事前学習により所定の分布に漸近する。出力の理想の確率分布と、リザボア素子の出力の確率分布と、の相互情報量が大きくなると、リザボア素子の出力の確率分布が、出力の理想の確率分布に近づく。
（リザボア素子の制御方法）
　本実施形態にかかるリザボア素子の制御方法は、上記のパラメータ分布を設定する工程と、パラメータ分布を素子の特性分布に変換する変換工程と、特性分布に基づいてそれぞれの素子の特性を設定する工程と、を有する。
［変換工程］
　まず上記手順で求めたパラメータ分布を素子の特性分布に変換する。リザボア素子がＭＥＭＳマイクロフォンアレイの場合、パラメータ分布をそれぞれのＭＥＭＳマイクロフォンの感度特性の分布に変換する。リザボア素子がスピントルク発振素子アレイの場合、パラメータ分布をそれぞれのスピントルク発振素子の共振特性の分布に変換する。
　パラメータａ及びパラメータｂを上記のデバイスモデルの数式（１）に適用すると、ＭＥＭＳマイクロフォンの感度特性が得られる。パラメータａ及びパラメータｂが決まると、ＭＥＭＳマイクロフォンの感度特性が決定する。したがって、パラメータ分布からＭＥＭＳマイクロフォンアレイの感度特性の分布が得られる。
　パラメータＨ０及びパラメータＭ０を上記のデバイスモデルの数式（２）に適用すると、スピントルク発振素子の共振特性が得られる。パラメータＨ０及びパラメータＭ０が決まると、スピントルク発振素子の共振特性が決定する。したがって、パラメータ分布からスピントルク発振素子アレイの共振特性の分布が得られる。
［素子特性の設定工程］
　次いで、得られたリザボア素子の特性分布に基づき、それぞれの素子の特性を設定する。例えば、得られた特性がＭＥＭＳマイクロフォンアレイの感度分布であれば、それぞれのＭＥＭＳマイクロフォンの感度特性を設定する。例えば、得られた特性がスピントルク発振素子アレイの共振特性であれば、それぞれのスピントルク発振素子の共振特性を設定する。
　それぞれのＭＥＭＳマイクロフォンの感度特性は、ＭＥＭＳチップ２の電位を変えることで設定できる。それぞれのＭＥＭＳマイクロフォンのＭＥＭＳチップ２の電位が異なると、振動膜１の振動により出力される電気信号がそれぞれのＭＥＭＳマイクロフォンで異なる。すなわち、入力された信号（音響波）は、素子（ＭＥＭＳマイクロフォン）毎で異なる信号に変換され、全体として非線形な出力に変換される。
　それぞれのスピントルク発振素子の共振特性は、それぞれの磁気抵抗効果素子ＭＴＪの強磁性共鳴周波数に対応する。それぞれの磁気抵抗効果素子ＭＴＪの強磁性共鳴周波数は、磁気抵抗効果素子ＭＴＪに印加する外部磁場等で設定できる。それぞれの磁気抵抗効果素子ＭＴＪの強磁性共鳴周波数が異なると、それぞれのスピントルク発振素子から出力される信号（高周波）が異なる。すなわち、入力された信号（高周波）は、素子（スピントルク発振素子）毎で異なる信号に変換され、全体として非線形な出力に変換される。
　パラメータ分布を一様分布に設定すると、それぞれの素子の物理パラメータを一様分布とすることが求められる。しかしながら、物理パラメータを一様分布に設定することは困難である。これに対し、本実施形態で求められるパラメータ分布は、一様ではない（例えば、対数正規分布）。そのため、それぞれの素子に製造ばらつきがある場合でも、所定のパラメータ分布への設定が容易になる。
　本実施形態にかかるリザボア素子の制御方法によれば、それぞれの素子のパラメータを体系的に設定できる。パラメータを事前学習に基づいて体系的に設定することで、リザボア素子の出力が非線形になり、教師データへの一致の精度が高まる。
１　振動膜
２　ＭＥＭＳチップ
３　集積回路
４　基板
４Ａ　開口
５　保護板
１０　ＭＥＭＳマイクロフォン
２０　スピントルク発振素子
Ｃ　コンダクタ
Ｌ　インダクタ
Ｌｉｎ　入力層
Ｌｏｕｔ　出力層
ＭＴＪ　磁気抵抗効果素子
ｎ１、ｎ２、ｎ３　ニューロン
ＮＮ　ニューラルネットワーク
Ｔ　出力端子
ＶＡＣ　交流電源
ＶＤＣ　直流電源

Claims (6)

  1. 　リザボア素子を構成する複数の素子の特性に基づくデバイスモデルから導き出される前記リザボア素子の出力の理想の確率分布と、前記リザボア素子の出力の確率分布と、の相互情報量が大きくなるように、事前学習を行い、
    　前記デバイスモデルにおいて前記複数の素子のそれぞれのばらつきを規定するパラメータのパラメータ分布を設定する、パラメータの設定方法。
  2. 　前記デバイスモデルがバネ振動に基づくモデルであり、
    Figure JPOXMLDOC01-appb-M000001
     で表される、請求項１に記載のパラメータの設定方法。
  3. 　前記デバイスモデルが一般化された非線形振動子モデルに基づくモデルであり、
    Figure JPOXMLDOC01-appb-M000002
     で表される、請求項１に記載のパラメータの設定方法。
  4. 　請求項１～３のいずれか一項に記載のパラメータの設定方法に基づき、前記パラメータ分布を設定し、
    　前記パラメータ分布を、前記リザボア素子の特性分布に変換し、
    　前記特性分布に基づき、前記複数の素子のそれぞれの特性を設定する、リザボア素子の制御方法。
  5. 　リザボア素子は、複数のＭＥＭＳマイクロフォンを有するＭＥＭＳマイクロフォンアレイを含み、
    　請求項２に記載のパラメータの設定方法に基づき、前記パラメータ分布を設定し、
    　前記パラメータ分布を前記ＭＥＭＳマイクロフォンアレイの感度特性の分布に変換し、
    　前記感度特性の分布に基づき、それぞれのＭＥＭＳマイクロフォンの感度特性を設定する、リザボア素子の制御方法。
  6. 　前記リザボア素子は、複数のスピントルク発振素子を有するスピントルク発振素子アレイを含み、
    　請求項３に記載のパラメータの設定方法に基づき、前記パラメータ分布を設定し、
    　前記パラメータ分布を前記スピントルク発振素子アレイの共振特性の分布に変換し、
    　前記共振特性の分布に基づき、それぞれのスピントルク発振素子の周波数特性を設定する、リザボア素子の制御方法。
PCT/JP2020/013697 2020-03-26 2020-03-26 パラメータの設定方法およびリザボア素子の制御方法 WO2021192147A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021507545A JP6908210B1 (ja) 2020-03-26 2020-03-26 パラメータの設定方法およびリザボア素子の制御方法
CN202080095002.7A CN115004196A (zh) 2020-03-26 2020-03-26 参数的设定方法和储备池元件的控制方法
US17/910,694 US20230140456A1 (en) 2020-03-26 2020-03-26 Parameter setting method and control method for reservoir element
PCT/JP2020/013697 WO2021192147A1 (ja) 2020-03-26 2020-03-26 パラメータの設定方法およびリザボア素子の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/013697 WO2021192147A1 (ja) 2020-03-26 2020-03-26 パラメータの設定方法およびリザボア素子の制御方法

Publications (1)

Publication Number Publication Date
WO2021192147A1 true WO2021192147A1 (ja) 2021-09-30

Family

ID=76919723

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/013697 WO2021192147A1 (ja) 2020-03-26 2020-03-26 パラメータの設定方法およびリザボア素子の制御方法

Country Status (4)

Country Link
US (1) US20230140456A1 (ja)
JP (1) JP6908210B1 (ja)
CN (1) CN115004196A (ja)
WO (1) WO2021192147A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023062844A1 (ja) * 2021-10-15 2023-04-20 Tdk株式会社 情報処理装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014096145A (ja) * 2012-10-22 2014-05-22 Boeing Co リアルタイム制御システム管理
JP6620913B1 (ja) * 2018-09-12 2019-12-18 Tdk株式会社 リザボア素子及びニューロモルフィック素子

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014096145A (ja) * 2012-10-22 2014-05-22 Boeing Co リアルタイム制御システム管理
JP6620913B1 (ja) * 2018-09-12 2019-12-18 Tdk株式会社 リザボア素子及びニューロモルフィック素子

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RAHMA FOURATI; BOUDOUR AMMAR; JAVIER SANCHEZ-MEDINA; ADEL M. ALIMI: "Unsupervised Learning in Reservoir Computing for EEG-based Emotion Recognition", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 19 November 2018 (2018-11-19), 201 Olin Library Cornell University Ithaca, NY 14853 , XP080936410 *

Also Published As

Publication number Publication date
JP6908210B1 (ja) 2021-07-21
CN115004196A (zh) 2022-09-02
US20230140456A1 (en) 2023-05-04
JPWO2021192147A1 (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
Lin et al. A triple-memristor Hopfield neural network with space multistructure attractors and space initial-offset behaviors
Shishesaz et al. Design and analytical modeling of magneto-electro-mechanical characteristics of a novel magneto-electro-elastic vibration-based energy harvesting system
US5671336A (en) Apparatus based on n-variable unlimited recurrent adjustable network
Cao et al. Control of a muscle-like soft actuator via a bioinspired approach
JP6908210B1 (ja) パラメータの設定方法およびリザボア素子の制御方法
Mohammadzaheri et al. A comparative study on the use of black box modelling for piezoelectric actuators
Jha et al. Experimental investigation of active vibration control using neural networks and piezoelectric actuators
Yuan et al. Experimental identification of hardening and softening nonlinearity in circular laminated plates
Beckwith How to use the cosmological Schwinger principle for energy flux, entropy, and" atoms of space–time" to create a thermodynamic space–time and multiverse
Joyce et al. Developing an active artificial hair cell using nonlinear feedback control
Abouzarkhanifard et al. FEM-inclusive transfer learning for bistable piezoelectric MEMS energy harvester design
Jiang et al. Metamaterial-based analog recurrent neural network toward machine intelligence
Yadav et al. Study on piezoelectric ceramic under different pressurization conditions and circuitry
WO2011152888A2 (en) Rhythm processing and frequency tracking in gradient frequency nonlinear oscillator networks
Moheimani et al. Multimode piezoelectric shunt damping with a highly resonant impedance
Tumpold et al. Linearizing an electrostatically driven MEMS speaker by applying pre-distortion
Cairns et al. Learning with analogue VLSP MLPs
JPH05197701A (ja) ニューラルネットワークを用いた情報処理装置
US20220309339A1 (en) Information processing device, method for setting hidden nodes, and method for manufacturing information processing device
US20230055056A1 (en) Reservoir element and neuromorphic device
US5689621A (en) Modular feedforward neural network architecture with learning
Bauer Equivalent Circuit Analysis of Mechano-acoustic Structures (Reprint)
WO2019136377A1 (en) Hypercomputation with programmable matter
Peleshchak et al. Spectral image recognition using artificial dynamic neural network in information resonance mode
Mohammadi et al. Design and simulation of an acoustic micro prob made of piezoelectric materials to stimulate nerve tissue and generate action potential

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021507545

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20927175

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20927175

Country of ref document: EP

Kind code of ref document: A1