WO2023062844A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2023062844A1
WO2023062844A1 PCT/JP2021/038325 JP2021038325W WO2023062844A1 WO 2023062844 A1 WO2023062844 A1 WO 2023062844A1 JP 2021038325 W JP2021038325 W JP 2021038325W WO 2023062844 A1 WO2023062844 A1 WO 2023062844A1
Authority
WO
WIPO (PCT)
Prior art keywords
distribution
connection weights
layer
information processing
input
Prior art date
Application number
PCT/JP2021/038325
Other languages
English (en)
French (fr)
Inventor
英治 鈴木
智生 佐々木
Original Assignee
Tdk株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tdk株式会社 filed Critical Tdk株式会社
Priority to PCT/JP2021/038325 priority Critical patent/WO2023062844A1/ja
Publication of WO2023062844A1 publication Critical patent/WO2023062844A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Definitions

  • the present invention relates to an information processing device.
  • a neuromorphic device is an element that mimics the human brain using a neural network. Neuromorphic devices artificially mimic the relationships between neurons and synapses in the human brain.
  • a neuromorphic device has, for example, hierarchically arranged nodes (neurons in the brain) and means of communication (synapses in the brain) that connect these nodes.
  • Neuromorphic devices increase the rate of correct answers to questions by learning through the means of communication (synapses). Learning is to find knowledge that can be used in the future from information, and the neuromorphic device weights the input data.
  • a recurrent neural network is known as one of the neural networks.
  • a recurrent neural network contains recursive connections inside and can handle time-series data.
  • Time-series data is data whose values change with the passage of time, and stock prices are an example thereof.
  • Recurrent neural networks can also have non-linear activations inside.
  • the processing in the activation part can be regarded as a projection onto a nonlinear space.
  • recurrent neural networks can extract features of complex signal changes in time-series signals.
  • a recurrent neural network can realize recursive processing by returning the processing results of the neurons in the lower layer to the neurons in the upper layer.
  • a recurrent neural network can acquire rules and governing factors behind time-series data by performing recursive processing.
  • Reservoir computing is a type of recurrent neural network that includes recursive connections and nonlinear activation functions (for example, Non-Patent Document 1). Reservoir computing is a neural network developed as a method of implementing liquid state machines.
  • Reservoir computing has a reservoir layer.
  • the "layer” here is a conceptual layer, and does not need to be formed as a physical structure.
  • a reservoir layer is a graph structure containing a large number of nonlinear nodes and recursive connections between nodes. In reservoir computing, the reservoir layer mimics the neuron connections of the human brain and expresses states as transitions between interference states.
  • reservoir computing is not the object of learning.
  • Reservoir computing is attracting attention as a system that handles time-series signals at the edge and IoT (Internet of Things) with limited hardware resources because it requires few computer resources for learning.
  • the present invention has been made in view of the above circumstances, and aims to provide an information processing apparatus with a high percentage of correct answers.
  • An information processing apparatus includes an input layer, a reservoir layer, an output layer, an evaluation circuit, and an adjustment circuit.
  • the reservoir layer is connected to the input layer and generates a feature space containing information of the first signal input from the input layer.
  • the output layer is connected to the reservoir layer and applies combining weights to the second signal output from the reservoir layer.
  • An evaluation circuit obtains a distribution of connection weights in the output layer and evaluates whether or not the distribution of connection weights is a prescribed distribution.
  • the adjustment circuit changes an adjustment parameter for adjusting the first signal when the distribution of the connection weights is not the prescribed distribution.
  • the prescribed distribution may be a normal distribution.
  • the evaluation circuit determines the It may be evaluated whether the distribution of the connection weights is a prescribed distribution.
  • the adjustment circuit may select an optimum adjustment parameter among the adjustment parameters that have been changed when the number of times the adjustment parameter has been changed reaches a specified number of times.
  • the adjustment parameter may be a connection weight by which the input signal applied to the input layer is multiplied.
  • the adjustment parameter may be a filter coefficient of a filter that selectively passes frequency components forming an input signal applied to the input layer.
  • the distribution of the adjustment parameter may be a normal distribution.
  • the distribution of the adjustment parameter may be a uniform distribution.
  • the information processing device has a high percentage of correct answers.
  • FIG. 1 is a conceptual diagram of an information processing apparatus according to a first embodiment; FIG. It is an example of a distribution of connection weights. 2 is a flow diagram of the information processing apparatus according to the first embodiment; FIG.
  • FIG. 1 is a conceptual diagram of an information processing device 100 according to the first embodiment.
  • the information processing apparatus 100 is a reservoir device that implements reservoir computing.
  • the information processing device 100 may be a device that implements reservoir computing with software, or a device that implements the concept of reservoir computing in a physical device (hardware).
  • the information processing device 100 includes, for example, an input layer 10, a reservoir layer 20, an output layer 30, an evaluation circuit 40, an adjustment circuit 50, a comparison circuit 60, and an indication circuit .
  • the information processing apparatus 100 can perform learning for increasing the percentage of correct answers to a task and calculation (inference) for outputting an answer to the task based on the learning result.
  • the evaluation circuit 40, the adjustment circuit 50, the comparison circuit 60 and the indication circuit 70 are used in the learning phase and are unnecessary in the calculation (inference) phase.
  • Input signals Sin 1 to Sin n are input to the input layer 10 . Regardless of the number of input signals Sin 1 to Sin n , n is a natural number.
  • the input layer 10 is, for example, a single-layer or multilayer perceptron. Input signals Sin 1 to Sin n input to the input layer 10 are converted into first signals S1 1 to S1 n . Regardless of the first signals S1 1 to S1 n , n is a natural number. The number of first signals S1 1 -S1 n may be the same as or different from the number of input signals Sin 1 -Sin n . The transformation of the signals from the input signals Sin 1 -Sin n to the first signals S1 1 -S1 n is adjusted by adjustment parameters.
  • the input layer 10 includes, for example, a filter 11 and a bias applying section 12 .
  • the filter 11, for example, divides the input signals Sin 1 to Sin n into signal and noise.
  • the signal-to-noise ratio is determined, for example, by the filter coefficients f 1 to f n .
  • the filter coefficients f 1 to f n are one of the adjustment parameters.
  • a filter 11 is provided, for example, for each of the input signals Sin 1 to Sin n .
  • Each of the filter coefficients f 1 -f n for each input signal Sin 1 -Sin n may be the same or different.
  • the filter coefficients f 1 to f n may, for example, show a distribution when plotted with the value of the filter coefficient on the horizontal axis and the number of filter coefficients with a specific value on the vertical axis.
  • the distribution of the filter coefficients f 1 to f n is, for example, normal distribution, uniform distribution, Laplace distribution, or the like.
  • the bias application unit 12 applies coupling weights wa 1 to wa n to the input signals Sin 1 to Sin n .
  • the connection weights wa 1 to wa n are applied to the input signals Sin 1 to Sin n , respectively.
  • the bias application unit 12 multiplies each of the input signals Sin 1 to Sin n by the coupling weights wa 1 to wa n .
  • the connection weights wa 1 to wa n are one of adjustment parameters.
  • connection weights wa 1 to wa n may be the same or different.
  • the connection weights wa 1 to wa n may, for example, show a distribution when plotted with the values of the connection weights on the horizontal axis and the number of connection weights of a specific value on the vertical axis.
  • the distribution of the connection weights wa 1 to wa n is, for example, normal distribution, uniform distribution, Laplace distribution, or the like.
  • FIG. 2 is an example of the distribution of the connection weights wa 1 to wan .
  • FIG. 2 is an example in which the connection weights wa 1 to wa n exhibit a normal distribution.
  • connection weights wa 1 -wan are, for example, the amplitude, frequency, phase, etc. of propagating waves.
  • a wave may be anything that is generated by vibration, such as an electromagnetic field, a magnetic field, a spin wave, or an elastic wave.
  • the connection weights wa 1 to wan are the resistance values of variable resistors.
  • the variable resistor is, for example, a variable resistance element called a memristor.
  • a domain wall motion type magnetoresistive effect element whose resistance value changes depending on the position of the domain wall is an example of a memristor.
  • the filter coefficients f 1 -f n and the connection weights wa 1 -wa n are varied during the learning phase.
  • the filter coefficients f 1 to f n and the connection weights wa 1 to wa n are fixed in the calculation (inference) stage based on the learning result that matches the task in the learning stage.
  • the reservoir layer 20 includes multiple nodes 21 .
  • the number of nodes 21 does not matter. The greater the number of nodes 21, the more expressive the reservoir layer 20 is. For example, let the number of nodes 21 be i. i is any natural number.
  • each of the nodes 21 is substituted with a physical element, for example.
  • a physical element is, for example, a device capable of converting an input signal into vibration, an electromagnetic field, a magnetic field, a spin wave, or the like.
  • Node 21 is, for example, a MEMS microphone.
  • a MEMS microphone can convert the vibration of the vibrating membrane into an electrical signal.
  • Node 21 may be, for example, a Spin Torque Oscillator (STO).
  • STO Spin Torque Oscillator
  • a spin torque oscillator can convert between an electrical signal and a high frequency signal.
  • the node 21 may be a Schmitt trigger circuit having a hysteresis circuit in which the output state changes with hysteresis in response to changes in the potential of the input signal, or an operational amplifier having other nonlinear response characteristics.
  • Node 21 may be a memristor.
  • connection weight wb_m is set between each node 21 .
  • the number of connection weights wb m is equal to the number of combinations of connections between nodes 21 .
  • m is, for example, any natural number.
  • Each of the connection weights wb_m between the nodes 21 is fixed in principle and does not change due to learning.
  • Each of the connection weights wb_m between nodes 21 is arbitrary and may be the same or different. Some of the connection weights wb_m between multiple nodes 21 may vary due to learning.
  • connection weights wb m are, for example, the amplitude, frequency, phase, etc. of the propagating wave.
  • the coupling weight wbm may be the resistance value of the variable resistor.
  • First signals S1 1 to S1 n are input to the reservoir layer 20 .
  • the first signals S1 1 to S1 n interact while propagating between the plurality of nodes 21 within the reservoir layer 20 .
  • the interaction of the first signals S1 1 to S1 n means that a signal propagated to one node 21 affects a signal propagated to another node 21 .
  • the first signals S1 1 to S1 n are applied with the coupling weight wb m when propagating between the nodes 21 and change.
  • the reservoir layer 20 projects the input first signals S1 1 to S1 n onto a multidimensional nonlinear space.
  • the reservoir layer 20 By propagating the first signals S1 1 to S1 n between the plurality of nodes 21 , the reservoir layer 20 generates a feature space containing the information of the first signals S1 1 to S1 n input to the reservoir layer 20 .
  • the input first signals S1 1 -S1 n are converted into second signals S2 1 -S2 i .
  • i is, for example, any natural number and may be the same as or different from n.
  • the second signals S2 1 -S2 i carry at least part of the information contained in the first signals S1 1 -S1 n in a different form.
  • the first signals S1 1 -S1 n change non-linearly within the reservoir layer 20 to become the second signals S2 1 -S2 i .
  • the interaction of the first signals S1 1 to S1 n within the reservoir layer 20 changes the state of the system of the reservoir layer 20 over time.
  • Output layer 30 is fed from reservoir layer 20 .
  • the second signals S2 1 to S2 i output from the reservoir layer 20 are input to the output layer 30 .
  • the output layer 30 includes, for example, a bias applying section 31, a summing circuit 32, and an activation function circuit 33.
  • the bias applying unit 31 applies coupling weights wc 1 to wc i to the second signals S2 1 to S2 i .
  • Connection weights wc 1 to wc i are applied to the second signals S2 1 to S2 i , respectively.
  • the bias applying unit 31 multiplies each of the second signals S2 1 to S2 i by the coupling weights wc 1 to wc i to perform a product operation.
  • connection weights wc 1 to wc i may be the same or different.
  • the connection weights wc 1 to wc i show a distribution when plotted, for example, with the value of the connection weight on the horizontal axis and the number of connection weights with a specific value on the vertical axis.
  • the distribution of the connection weights wc 1 -wc i is determined based on the task.
  • the distribution of the connection weights wc 1 to wc i is, for example, normal distribution, uniform distribution, Laplace distribution, or the like.
  • connection weights wc 1 to wc i vary during the learning phase.
  • connection weights wc 1 to wc i are fixed in the calculation (inference) stage based on the learning result that matches the task in the learning stage.
  • connection weights wc 1 -wc i are, for example, the amplitude, frequency, phase, etc. of propagating waves.
  • a wave may be anything that is generated by vibration, such as an electromagnetic field, a magnetic field, a spin wave, or an elastic wave.
  • connection weights wc 1 -wc i are the resistance values of variable resistors.
  • the summation circuit 32 sums the results of multiplying the respective second signals S2 1 to S2 i by the connection weights wc 1 to wc i .
  • the sum calculation circuit 32 may sum all or part of the results of multiplying the second signals S2 1 to S2 i by the connection weights wc 1 to wc i .
  • the result output from the sum operation circuit 32 may be one as shown in FIG. 1, or may be plural. For example, when a signal is propagated using waves, the waves are combined in the sum calculation circuit 32 . For example, in the case of propagating a signal using current, the summing circuit 32 collects wires and merges the currents.
  • the activation function circuit 33 substitutes the result of the sum-of-products operation into the activation function f(x) and performs the operation.
  • the activation function circuit 33 non-linearly transforms the sum-of-products operation result.
  • the activation function circuit 33 may be omitted.
  • the output signal S out from output layer 30 is sent to comparison circuit 60 .
  • the output signal S out from the output layer 30 is output to the outside as an answer.
  • the number of output signals S out is not limited to one.
  • the output layer 30 outputs a plurality of output signals S out corresponding to each class.
  • the comparison circuit 60 compares the output signal S out with the teacher data t.
  • the comparison circuit 60 compares, for example, mutual information between the output signal S out and the teacher data t.
  • Mutual information is a quantity that represents a measure of the interdependence of two random variables.
  • the comparison circuit 60 transmits the comparison result to the instruction circuit 70 .
  • the instruction circuit 70 sends an instruction to the bias application section 31 based on the comparison circuit 60 . Based on the instruction from the instruction circuit 70, the bias applying section 31 updates the connection weights wc 1 to wc i . When the connection weights wc 1 to wc i change, the output signal S out from the output layer 30 changes. The instruction circuit 70 feeds back information to the bias applying section 31 so that the mutual information amount between the output signal Sout and the teacher data t is increased (maximized). The connection weights wc 1 to wc i change based on the fed back data.
  • the evaluation circuit 40 obtains the distribution of the connection weights wc 1 to wc i in the output layer 30 and evaluates whether the distribution of the connection weights wc 1 to wc i is a prescribed distribution.
  • the evaluation circuit 40 may perform the above evaluation each time the connection weights wc 1 to wc i are updated in the learning stage, or may perform the above evaluation based on a predetermined rule.
  • the evaluation circuit 40 may determine the difference between the connection weights wc 1 to wc i before and after the update.
  • the distribution of the coupling weights wc 1 to wc i can be obtained by applying a reference signal to the bias applying section 31, for example.
  • a switch may be provided before the second signals S2 1 to S2 i reach the bias applying section 31 to switch between the second signals S2 1 to S2 i and the reference signal.
  • the connection weights wc 1 to wc i can be extracted.
  • the reference signal is output from the evaluation circuit 40, for example.
  • connection weights wc 1 to wc i are the resistance values of the memristors
  • the resistance values (coupling weights wc 1 to wc i ) of the memristors can be obtained by applying a reference current to each memristor. good.
  • the adjustment circuit 50 adjusts the first signals S1 1 to S1 n based on the evaluation result of the evaluation circuit 40.
  • FIG. The adjustment circuit 50 changes the adjustment parameters of the input layer 10, for example, when the distribution of the connection weights wc 1 to wc i is not the prescribed distribution.
  • the adjustment parameters are, for example, filter coefficients f 1 to f n and connection weights wa 1 to wan .
  • the adjustment parameters may also count the number of times the adjustment parameter is changed.
  • the evaluation circuit 40, the adjustment circuit 50, the comparison circuit 60, and the indication circuit 70 operate in the learning stage and do not operate in the calculation (inference) stage.
  • the evaluation circuit 40, the adjustment circuit 50, the comparison circuit 60, and the indication circuit 70 each have a processor such as a CPU and a memory, for example.
  • a processor such as a CPU and a memory
  • Each of the evaluating circuit 40, the adjusting circuit 50, the comparing circuit 60 and the indicating circuit 70 operates by the processor executing a program.
  • the processor instructs each circuit to operate, and the memory records programs and past results.
  • All or part of the operation of these circuits may be realized using hardware such as ASIC (Application Specific Integrated Circuit), PLD (Programmable Logic Device), FPGA (Field Programmable Gate Array), etc.
  • the above program may be recorded on a computer-readable recording medium.
  • Computer-readable recording media include portable media such as flexible disks, magneto-optical disks, ROMs, CD-ROMs, semiconductor storage devices (such as SSD: Solid State Drive), hard disks and semiconductor storage built into computer systems. It is a storage device such as a device.
  • the above program may be transmitted via telecommunication lines.
  • FIG. 3 is a flowchart of the information processing device 100 according to the first embodiment.
  • the information processing apparatus 100 operates according to the flowchart shown in FIG. 3 in the learning stage.
  • the information processing apparatus 100 outputs an output signal S out when the input signals Sin 1 to Sin n are input.
  • the information processing apparatus 100 compares the teacher data t and the output signal S out while changing the connection weights wc 1 to wc i of the output layer 30 and the adjustment parameters of the input layer 10 . Learning ends when the amount of mutual information between the teacher data t and the output signal Sout becomes sufficiently large (the percentage of correct answers to the task becomes sufficiently high).
  • the first process S1 is performed.
  • the connection weights wc 1 to wc i of the output layer 30 are updated when the comparison result in the comparison circuit 60 is insufficient (when the correct answer rate for the task is insufficient).
  • the coupling weights wc 1 to wc i of the output layer 30 are changed based on instructions from the instruction circuit 70 to the bias applying section 31 .
  • the first step S1 is performed multiple times, and the connection weights wc 1 to wc i are updated each time.
  • a second step S2 is performed.
  • the change amount D of the connection weights wc 1 to wc i before and after the update is measured.
  • the change amount D of the connection weights wc 1 to wc i is measured by the evaluation circuit 40, for example.
  • the second step S2 it is determined whether or not the change amount D of the connection weights wc 1 to wc i before and after the update is equal to or less than the threshold value ⁇ . If the variation D of the connection weights wc 1 to wc i before and after the update is equal to or less than the threshold value ⁇ , the output signal S out from the output layer 30 has converged. If the change amount D of the connection weights wc 1 to wc i before and after the update is equal to or less than the threshold value ⁇ , the process proceeds to the third step S3.
  • the threshold ⁇ for each of the connection weights wc 1 to wc i may be set separately.
  • the distribution of the connection weights wc 1 to wc i in the output layer 30 is obtained.
  • the distribution of the connection weights wc 1 to wc i is obtained by the evaluation circuit 40 .
  • the distribution of the connection weights wc 1 to wc i can be obtained by plotting the values of the connection weights on the horizontal axis and the number of connection weights with specific values on the vertical axis. Values of respective connection weights wc 1 to wc i are obtained by, for example, inputting reference signals as described above.
  • the predetermined distribution is, for example, normal distribution, uniform distribution, Laplacian distribution, or the like.
  • the prescribed distribution differs depending on the task given to the information processing apparatus 100 .
  • a default distribution is determined and stored in the evaluation circuit 40 at the time the task is determined.
  • the predetermined distribution is a normal distribution
  • it is determined based on, for example, the Kolmogorov-Smirnoff test or the Shapiro-Wilk test.
  • the P value of the distribution of the connection weights wc 1 to wc i is less than 0.05, it can be determined that the distribution of the connection weights wc 1 to wc i is not a normal distribution.
  • the fourth step S4 is reached to determine the adjustment parameters of the input layer 10.
  • FIG. After the adjustment parameters of the input layer 10 are determined, if the information processing apparatus 100 shows a sufficient percentage of correct answers, the learning is terminated. If the information processing apparatus 100 does not show a sufficient percentage of correct answers even after determining the adjustment parameters of the input layer 10, the process returns to the first step S1 again, and the connection weights wc 1 to wc i of the output layer 30 are updated.
  • the fifth step S5 it is determined whether or not the number of times the adjustment parameters have been changed is equal to or greater than a specified number of times.
  • the adjustment circuit 50 counts the number of times the adjustment parameter is changed. The specified number of times is appropriately determined according to the task of the information processing apparatus 100, the accuracy of the correct answer, the calculation load, and the like. The prescribed number of times is stored in the adjustment circuit 50 .
  • the sixth step S6 is reached to change the adjustment parameters of the input layer 10 .
  • the adjustment circuit 50 changes the adjustment parameters.
  • the adjustment circuit 50 changes, for example, the filter coefficients f 1 to f n .
  • the adjustment circuit 50 may change, for example, the connection weights wa 1 to wan . Further, the adjustment circuit 50 may change both the filter coefficients f 1 to f n and the coupling weights wa 1 to wa n .
  • the adjustment circuit 50 makes the distribution of the adjustment parameters of the input layer 10 a normal distribution.
  • the adjustment circuit 50 changes the adjustment parameter multiple times, the average or variance is changed based on the normal distribution.
  • the distribution of the adjustment parameter is a normal distribution with an average of 0 and a variance of 1.
  • the distribution of the adjustment parameters is changed so that the variance increases. For example, when the adjustment parameter is adjusted for the nth time, the variance value is increased by 10% with respect to the (n ⁇ 1)th variance value.
  • the adjustment circuit 50 may, for example, make the distribution of the adjustment parameters of the input layer 10 a uniform distribution having a constant random number width. If the adjustment circuit 50 changes the adjustment parameter multiple times, the random number width is changed.
  • the distribution of the adjustment parameter is a uniform distribution with a random number width of ⁇ 0.1.
  • the distribution of the adjustment parameters is changed so that the random number width increases.
  • the random number width is assumed to be a uniform distribution of ⁇ 0.1 ⁇ n.
  • the seventh step S7 is reached.
  • the optimum adjustment parameter is selected among the adjustment parameters that have been changed. In the change history so far, the adjustment parameter with the highest percentage of correct answers is set as the optimum adjustment parameter.
  • the information processing apparatus 100 determines the connection weights wc 1 to wc i of the output layer 30 and the adjustment parameters of the input layer 10, and completes learning.
  • the information processing apparatus 100 performs computation using the connection weights wc 1 to wc i of the output layer 30 and the adjustment parameters of the input layer 10 determined in the learning stage.
  • the processing flow is not limited to this example.
  • the second step S2 may not be performed. If no upper limit is set for the number of times the adjustment parameters are changed, the fifth step S5 and the seventh step S7 may not be performed.
  • the information processing apparatus 100 adjusts the adjustment parameters of the input layer 10 based on the distribution of the connection weights wc 1 to wc i of the output layer 30 . By adjusting the adjustment parameters of the input layer 10 as well, the information processing apparatus 100 can further increase the percentage of correct answers to the task.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Complex Calculations (AREA)

Abstract

この情報処理装置は、入力層とレザバー層と出力層と評価回路と調整回路とを備える。レザバー層は、入力層に接続され、入力層から入力された第１信号の情報を含む特徴空間を生成する。出力層は、レザバー層に接続され、前記レザバー層から出力される第２信号に結合重みを印加する。評価回路は、前記出力層における結合重みの分布を求め、前記結合重みの分布が規定の分布であるか否かを評価する。調整回路は、前記結合重みの分布が前記規定の分布ではない場合に、前記第１信号を調整する調整パラメータを変更する。

Description

情報処理装置
　本発明は、情報処理装置に関する。
　ニューロモーフィックデバイスは、ニューラルネットワークを利用して人間の脳を模倣した素子である。ニューロモーフィックデバイスは、人間の脳におけるニューロンとシナプスとの関係を人工的に模倣している。
　ニューロモーフィックデバイスは、例えば、階層状に配置されたノード（脳におけるニューロン）と、これらの間を繋ぐ伝達手段（脳におけるシナプス）と、を有する。ニューロモーフィックデバイスは、伝達手段（シナプス）が学習することで、問題の正答率を高める。学習は将来使えそうな知識を情報から見つけることであり、ニューロモーフィックデバイスでは入力されたデータに重み付けをする。
　ニューラルネットワークの一つとして、リカレントニューラルネットワークが知られている。リカレントニューラルネットワークは、再帰的結合を内部に含み、時系列のデータを扱うことができる。時系列のデータは、時間の経過とともに値が変化するデータであり、株価等はその一例である。リカレントニューラルネットワークは、内部に非線形な活性化部を持つことも可能である。活性化部での処理は数学的には非線形空間への射影とみなすことができる。データを非線形空間へ射影することで、リカレントニューラルネットワークは、時系列信号が持つ複雑な信号変化の特徴を抽出することができる。後段の階層のニューロンでの処理結果を前段の階層のニューロンに戻すことで、リカレントニューラルネットワークは再帰的な処理を実現できる。リカレントニューラルネットワークは、再帰的な処理を行うことで、時系列のデータの背景にあるルールや支配要因を獲得することができる。
　レザバーコンピューティングは、再帰的結合と非線形活性化関数を含むリカレントニューラルネットワークの一種である（例えば、非特許文献１）。レザバーコンピューティングは、リキッドステートマシンの実装手法として発展したニューラルネットワークである。
　レザバーコンピューティングは、レザバー層を有する。ここでいう「層」とは概念的な層であり、物理構造物として層が形成されている必要はない。レザバー層は、多数の非線形ノードとノード間の再帰的結合を含むグラフ構造をなす。レザバーコンピューティングは、人間の脳のニューロン結合をレザバー層が模倣し、干渉状態の遷移として状態を表現する。
　レザバーコンピューティングの特徴の一つは、レザバー層が学習対象でないという点である。レザバーコンピューティングは、学習に必要な計算機資源が少ないため、ハードウェア資源に制約があるＩｏＴ（Internet of Things）や、エッジでの時系列信号を取り扱うシステムとして注目されている。
U. Ozertem, D. Erdogmus, and I. Santamaria, Detection of nonlinearly distorted signals using mutual information, European Signal Processing Conference. IEEE, 2005.
　教師データに対するレザバーコンピューティングからの出力値のフィッテイング精度は、パラメータ設定に応じて変動する。レザバーコンピューティングのパラメータの体系的な設計方法は、まだ確立されていない。
　本発明は上記事情に鑑みてなされたものであり、正答率の高い情報処理装置を提供することを目的とする。
（１）第１の態様にかかる情報処理装置は、入力層とレザバー層と出力層と評価回路と調整回路とを備える。レザバー層は、入力層に接続され、入力層から入力された第１信号の情報を含む特徴空間を生成する。出力層は、レザバー層に接続され、前記レザバー層から出力される第２信号に結合重みを印加する。評価回路は、前記出力層における結合重みの分布を求め、前記結合重みの分布が規定の分布であるか否かを評価する。調整回路は、前記結合重みの分布が前記規定の分布ではない場合に、前記第１信号を調整する調整パラメータを変更する。
（２）上記態様にかかる情報処理装置において、前記規定の分布は、正規分布でもよい。
（３）上記態様にかかる情報処理装置において、前記評価回路は、前記第２信号に印加する結合重みを更新する際に、更新前後のそれぞれの結合重みの変化量が閾値以下の場合に、前記結合重みの分布が規定の分布であるか否かを評価してもよい。
（４）上記態様にかかる情報処理装置において、前記調整回路は、前記調整パラメータの変更回数が規定回数に達すると、これまで変更した調整パラメータのうち最適な調整パラメータを選択してもよい。
（５）上記態様にかかる情報処理装置において、前記調整パラメータは、前記入力層に印加される入力信号に乗算する結合重みでもよい。
（６）上記態様にかかる情報処理装置において、前記調整パラメータは、前記入力層に印加される入力信号を構成する周波数成分を選択的に通過させるフィルタのフィルタ係数でもよい。
（７）上記態様にかかる情報処理装置において、前記調整パラメータの分布は正規分布でもよい。
（８）上記態様にかかる情報処理装置において、前記調整パラメータの分布は、一様分布でもよい。
　上記態様にかかる情報処理装置は、正答率が高い。
第１実施形態にかかる情報処理装置の概念図である。 結合重みの分布の一例である。 第１実施形態にかかる情報処理装置のフロー図である。
　以下、本実施形態について、図を適宜参照しながら詳細に説明する。以下の説明で用いる図面は、特徴をわかりやすくするために便宜上特徴となる部分を拡大して示している場合があり、各構成要素の寸法比率などは実際とは異なっていることがある。以下の説明において例示される材料、寸法等は一例であって、本発明はそれらに限定されるものではなく、本発明の効果を奏する範囲で適宜変更して実施することが可能である。
　図１は、第１実施形態にかかる情報処理装置１００の概念図である。情報処理装置１００は、リザバーコンピューティングを実現するリザバーデバイスである。情報処理装置１００は、リザバーコンピューティングをソフトウェアで実現する装置でも、リザバーコンピューティングの概念を物理デバイス（ハードウェア）に実装した装置でもよい。
　情報処理装置１００は、例えば、入力層１０とレザバー層２０と出力層３０と評価回路４０と調整回路５０と比較回路６０と指示回路７０とを備える。情報処理装置１００は、タスクに対する正答率を高める学習と学習結果に基づきタスクに対する回答を出力する演算（推論）のそれぞれを行うことができる。評価回路４０、調整回路５０、比較回路６０及び指示回路７０は、学習段階で使用され、演算（推論）段階では不要である。
　入力層１０には、入力信号Ｓｉｎ１～Ｓｉｎｎが入力される。入力信号Ｓｉｎ１～Ｓｉｎｎの数は問わず、ｎは自然数である。
　入力層１０は、例えば、単層又は多層のパーセプトロンである。入力層１０に入力された入力信号Ｓｉｎ１～Ｓｉｎｎは、第１信号Ｓ１１～Ｓ１ｎに変換される。第１信号Ｓ１１～Ｓ１ｎは問わず、ｎは自然数である。第１信号Ｓ１１～Ｓ１ｎの数は、入力信号Ｓｉｎ１～Ｓｉｎｎの数と同じでも異なってもよい。入力信号Ｓｉｎ１～Ｓｉｎｎから第１信号Ｓ１１～Ｓ１ｎへの信号の変換は、調整パラメータによって調整される。
　入力層１０は、例えば、フィルタ１１とバイアス印加部１２とを備える。フィルタ１１は、例えば、入力信号Ｓｉｎ１～Ｓｉｎｎをシグナルとノイズに区分する。シグナルとノイズの割合は、例えば、フィルタ係数ｆ１～ｆｎによって決まる。フィルタ係数ｆ１～ｆｎは、調整パラメータの一つである。フィルタ１１は、例えば、入力信号Ｓｉｎ１～Ｓｉｎｎのそれぞれに対して設けられている。
　それぞれの入力信号Ｓｉｎ１～Ｓｉｎｎに対するフィルタ係数ｆ１～ｆｎのそれぞれは、同じでも異なっていてもよい。フィルタ係数ｆ１～ｆｎは、例えば、横軸をフィルタ係数の値、縦軸を特定の値のフィルタ係数の数としてプロットした際に分布を示してもよい。フィルタ係数ｆ１～ｆｎの分布は、例えば、正規分布、一様分布、ラプラス分布等である。
　バイアス印加部１２は、入力信号Ｓｉｎ１～Ｓｉｎｎに結合重みｗａ１～ｗａｎを印加する。入力信号Ｓｉｎ１～Ｓｉｎｎのそれぞれには、結合重みｗａ１～ｗａｎのそれぞれが印加される。バイアス印加部１２は、入力信号Ｓｉｎ１～Ｓｉｎｎのそれぞれに結合重みｗａ１～ｗａｎを掛け合わせる積演算を行う。結合重みｗａ１～ｗａｎは、調整パラメータの一つである。
　結合重みｗａ１～ｗａｎのそれぞれは同じでも異なってもよい。結合重みｗａ１～ｗａｎは、例えば、横軸を結合重みの値、縦軸を特定の値の結合重みの数としてプロットした際に分布を示してもよい。結合重みｗａ１～ｗａｎの分布は、例えば、正規分布、一様分布、ラプラス分布等である。図２は、結合重みｗａ１～ｗａｎの分布の一例である。図２は、結合重みｗａ１～ｗａｎが正規分布を示す例である。
　リザバーコンピューティングの概念を物理デバイス（ハードウェア）に実装した一例において、結合重みｗａ１～ｗａｎは、例えば、伝搬する波の振幅、振動数、位相等である。波は、振動により生じるものであればよく、例えば、電磁場、磁場、スピン波、弾性波である。またリザバーコンピューティングの概念を物理デバイス（ハードウェア）に実装した別の例において、結合重みｗａ１～ｗａｎは、可変抵抗の抵抗値である。可変抵抗は、例えば、メモリスタと言われる抵抗変化型素子である。例えば、磁壁の位置で抵抗値が変化する磁壁移動型の磁気抵抗効果素子は、メモリスタの一例である。
　フィルタ係数ｆ１～ｆｎ及び結合重みｗａ１～ｗａｎは、学習段階では変動する。一方で、フィルタ係数ｆ１～ｆｎ及び結合重みｗａ１～ｗａｎは、演算（推論）段階では、学習段階におけるタスクに合わせた学習結果に基づいて固定される。
　レザバー層２０は、複数のノード２１を備える。ノード２１の数は、特に問わない。ノード２１の数が多いほど、レザバー層２０の表現力は高まる。例えば、ノード２１の数をｉ個とする。ｉは任意の自然数である。
　リザバーコンピューティングの概念を物理デバイス（ハードウェア）に実装した場合、ノード２１のそれぞれは、例えば、物理素子で代用される。物理素子は、例えば、入力された信号を振動、電磁場、磁場、スピン波等に変換できるデバイスである。ノード２１は、例えば、ＭＥＭＳマイクロフォンである。ＭＥＭＳマイクロフォンは、振動膜の振動と電気信号とを変換できる。ノード２１は、例えば、スピントルクオシレータ（ＳＴＯ）でもよい。スピントルクオシレータは、電気信号と高周波信号とを変換できる。またノード２１は、入力信号の電位の変化に対して出力状態がヒステリシスを持って変化するヒステリシス回路を有するシュミットトリガー回路やそのほかの非線形的な応答特性をもつオペアンプ等でもよい。ノード２１は、メモリスタでもよい。
　それぞれのノード２１からの信号は、周囲のノード２１からの信号と相互作用している。それぞれのノード２１の間には、例えば、結合重みｗｂｍが設定されている。結合重みｗｂｍの数は、ノード２１間の接続の組み合わせの数だけある。ｍは、例えば、任意の自然数である。ノード２１の間の結合重みｗｂｍのそれぞれは、原則、固定されており、学習により変動するものではない。ノード２１の間の結合重みｗｂｍのそれぞれは、任意であり、互いに一致していても、異なっていてもよい。複数のノード２１の間の結合重みｗｂｍの一部は、学習により変動してもよい。
　リザバーコンピューティングの概念を物理デバイス（ハードウェア）に実装した一例において、結合重みｗｂｍは、例えば、伝搬する波の振幅、振動数、位相等である。また結合重みｗｂｍは、可変抵抗の抵抗値でもよい。
　レザバー層２０には、第１信号Ｓ１１～Ｓ１ｎが入力される。第1信号Ｓ１１～Ｓ１ｎは、レザバー層２０内で複数のノード２１間を伝搬しながら、相互作用する。第１信号Ｓ１１～Ｓ１ｎが相互作用するとは、あるノード２１に伝搬した信号が他のノード２１を伝搬する信号に影響を及ぼすことをいう。例えば、第１信号Ｓ１１～Ｓ１ｎは、ノード２１間を伝搬する際に結合重みｗｂｍが印加され、変化していく。レザバー層２０は、入力された第１信号Ｓ１１～Ｓ１ｎを多次元の非線形空間に射影する。
　第１信号Ｓ１１～Ｓ１ｎが複数のノード２１間を伝搬することで、レザバー層２０は、レザバー層２０に入力された第１信号Ｓ１１～Ｓ１ｎの情報を含む特徴空間を生成する。レザバー層２０内おいて、入力された第１信号Ｓ１１～Ｓ１ｎは、第２信号Ｓ２１～Ｓ２ｉに変換される。ｉは、例えば、任意の自然数であり、ｎと一致していても異なっていてもよい。第２信号Ｓ２１～Ｓ２ｉは、第１信号Ｓ１１～Ｓ１ｎに含まれる情報の少なくとも一部を、形を変えて保有する。例えば、第１信号Ｓ１１～Ｓ１ｎは、レザバー層２０内において非線形に変化し、第２信号Ｓ２１～Ｓ２ｉになる。第１信号Ｓ１１～Ｓ１ｎがレザバー層２０内で相互作用することで、レザバー層２０の系の状態は、時間の経過とともに変化する。
　出力層３０には、レザバー層２０から信号が送られる。レザバー層２０から出力された第２信号Ｓ２１～Ｓ２ｉは、出力層３０に入力される。
　出力層３０は、例えば、バイアス印加部３１と和演算回路３２と活性化関数回路３３とを備える。
　バイアス印加部３１は、第２信号Ｓ２１～Ｓ２ｉに結合重みｗｃ１～ｗｃｉを印加する。第２信号Ｓ２１～Ｓ２ｉのそれぞれには、結合重みｗｃ１～ｗｃｉがそれぞれ印加される。バイアス印加部３１は、第２信号Ｓ２１～Ｓ２ｉのそれぞれに結合重みｗｃ１～ｗｃｉを掛け合わせる積演算を行う。
　結合重みｗｃ１～ｗｃｉのそれぞれは同じでも異なってもよい。結合重みｗｃ１～ｗｃｉは、例えば、横軸を結合重みの値、縦軸を特定の値の結合重みの数としてプロットした際に分布を示す。結合重みｗｃ１～ｗｃｉの分布は、タスクに基づいて決定される。結合重みｗｃ１～ｗｃｉの分布は、例えば、正規分布、一様分布、ラプラス分布等である。
　結合重みｗｃ１～ｗｃｉは、学習段階では変動する。一方で、結合重みｗｃ１～ｗｃｉは、演算（推論）段階では、学習段階におけるタスクに合わせた学習結果に基づいて固定される。
　リザバーコンピューティングの概念を物理デバイス（ハードウェア）に実装した一例において、結合重みｗｃ１～ｗｃｉは、例えば、伝搬する波の振幅、振動数、位相等である。波は、振動により生じるものであればよく、例えば、電磁場、磁場、スピン波、弾性波である。またリザバーコンピューティングの概念を物理デバイス（ハードウェア）に実装した別の例において、結合重みｗｃ１～ｗｃｉは、可変抵抗の抵抗値である。
　和演算回路３２は、第２信号Ｓ２１～Ｓ２ｉのそれぞれに結合重みｗｃ１～ｗｃｉを乗算した結果を和算する。和演算回路３２は、第２信号Ｓ２１～Ｓ２ｉのそれぞれに結合重みｗｃ１～ｗｃｉを乗算した結果の全てを和算してもよいし、一部を和算してもよい。和演算回路３２から出力される結果は、図１に示すように一つでもよいし、複数でもよい。例えば、波を利用して信号を伝搬する場合は、和演算回路３２で波を合流させる。例えば、電流を利用して信号を伝搬する場合は、和演算回路３２で配線をまとめ、電流を合流させる。
　活性化関数回路３３は、積和演算結果を活性化関数ｆ（ｘ）に代入して演算する。活性化関数回路３３は、積和演算結果を非線形に変換する。活性化関数回路３３は、なくてもよい。
　学習段階において、出力層３０からの出力信号Ｓｏｕｔは、比較回路６０に送られる。演算（推論）段階において、出力層３０からの出力信号Ｓｏｕｔは、回答として外部に出力される。出力信号Ｓｏｕｔは一つに限られない。例えば、情報処理装置１００が一般的な機械学習の応用である多クラス分類問題等に対応する場合、出力層３０は各クラスに対応する複数の出力信号Ｓｏｕｔを出力する。
　比較回路６０は、出力信号Ｓｏｕｔを教師データｔと比較する。比較回路６０は、例えば、出力信号Ｓｏｕｔと教師データｔとの相互情報量を比較する。相互情報量は、２つの確率変数の相互依存の尺度を表す量である。比較回路６０は、指示回路７０に比較結果を送信する。
　指示回路７０は、比較回路６０に基づいて、バイアス印加部３１に指示を送る。指示回路７０の指示に基づいて、バイアス印加部３１は結合重みｗｃ１～ｗｃｉを更新する。結合重みｗｃ１～ｗｃｉが変化すると、出力層３０からの出力信号Ｓｏｕｔが変化する。指示回路７０は、出力信号Ｓｏｕｔを教師データｔとの相互情報量が大きくなる（最大化する）ように、バイアス印加部３１に情報をフィードバックする。結合重みｗｃ１～ｗｃｉは、フィードバックされたデータに基づいて変化する。
　評価回路４０は、出力層３０における結合重みｗｃ１～ｗｃｉの分布を求め、結合重みｗｃ１～ｗｃｉの分布が規定の分布であるか否かを評価する。評価回路４０は、学習段階において、結合重みｗｃ１～ｗｃｉを更新する毎に、上記の評価を行ってもよいし、所定のルールに基づいて上記評価を行ってもよい。評価回路４０は、更新前後の結合重みｗｃ１～ｗｃｉの差を求めてもよい。
　結合重みｗｃ１～ｗｃｉの分布は、例えば、バイアス印加部３１に基準信号を印加することで求められる。例えば、第２信号Ｓ２１～Ｓ２ｉがバイアス印加部３１に至るまでの間にスイッチを設け、第２信号Ｓ２１～Ｓ２ｉと基準信号とを切り替え可能としてもよい。第２信号Ｓ２１～Ｓ２ｉの代わりに、値が一定の基準信号を入力することで、結合重みｗｃ１～ｗｃｉを抽出できる。基準信号は、例えば、評価回路４０から出力される。また例えば、結合重みｗｃ１～ｗｃｉがメモリスタの抵抗値の場合は、それぞれのメモリスタに基準電流を印加することで、それぞれのメモリスタの抵抗値（結合重みｗｃ１～ｗｃｉ）を求めてもよい。
　調整回路５０は、評価回路４０での評価結果に基づいて、第１信号Ｓ１１～Ｓ１ｎを調整する。調整回路５０は、例えば、結合重みｗｃ１～ｗｃｉの分布が規定の分布ではない場合に、入力層１０の調整パラメータを変更する。調整パラメータは、例えば、フィルタ係数ｆ１～ｆｎ、結合重みｗａ１～ｗａｎである。調整パラメータが変更されると、入力信号Ｓｉｎ１～Ｓｉｎｎから第１信号Ｓ１１～Ｓ１ｎへの信号の変換のルールが変化し、第１信号Ｓ１１～Ｓ１ｎが変化する。また調整回路５０は、調整パラメータの変更回数をカウントしてもよい。
　評価回路４０、調整回路５０、比較回路６０及び指示回路７０は、学習段階で動作し、演算（推論）段階では動作しない。
　評価回路４０、調整回路５０、比較回路６０及び指示回路７０はそれぞれ、例えば、ＣＰＵ等のプロセッサーとメモリーとを有する。評価回路４０、調整回路５０、比較回路６０及び指示回路７０のそれぞれは、プロセッサーがプログラムを実行することによって、動作する。プロセッサーは、それぞれの回路に動作を指示し、メモリーはプログラムや過去の結果を記録する。
　これらの回路の動作の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ：Solid State Drive）等の可搬媒体、コンピュータシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されても良い。
　図３は、第１実施形態にかかる情報処理装置１００のフロー図である。情報処理装置１００は、学習段階において、図３に示すフロー図に従って動作する。
　情報処理装置１００は、入力信号Ｓｉｎ１～Ｓｉｎｎが入力されると、出力信号Ｓｏｕｔを出力する。情報処理装置１００は、出力層３０の結合重みｗｃ１～ｗｃｉ、入力層１０の調整パラメータを変更しながら、教師データｔと出力信号Ｓｏｕｔを比較する。教師データｔと出力信号Ｓｏｕｔとの相互情報量が十分大きくなる（タスクに対する正答率が十分高くなる）ことで、学習は終了する。
　まず学習工程において、第１工程Ｓ１を行う。第１工程Ｓ１では、比較回路６０での比較結果が不十分な場合（タスクに対する正答率が不十分な場合）に、出力層３０の結合重みｗｃ１～ｗｃｉを更新する。出力層３０の結合重みｗｃ１～ｗｃｉは、指示回路７０からバイアス印加部３１への指示に基づいて変更する。例えば、第１工程Ｓ１は複数回行われ、結合重みｗｃ１～ｗｃｉはその度に更新される。
　次いで、第２工程Ｓ２を行う。第２工程Ｓ２では、更新前後の結合重みｗｃ１～ｗｃｉの変化量Ｄを測定する。結合重みｗｃ１～ｗｃｉの変化量Ｄは、例えば、評価回路４０で測定する。
　第２工程Ｓ２では、更新前後の結合重みｗｃ１～ｗｃｉの変化量Ｄが、それぞれ閾値Δ以下となっているかを判定する。更新前後の結合重みｗｃ１～ｗｃｉの変化量Ｄがそれぞれ閾値Δ以下であれば、出力層３０からの出力信号Ｓｏｕｔは収束している。更新前後の結合重みｗｃ１～ｗｃｉの変化量Ｄが閾値Δ以下の場合は、第３工程Ｓ３に進む。結合重みｗｃ１～ｗｃｉそれぞれの閾値Δは、それぞれ別々に設定されてもよい。結合重みｗｃ１～ｗｃｉの変化量Ｄが閾値Δより大きく、出力層３０からの出力信号Ｓｏｕｔが発散する場合は、再度、第１工程Ｓ１に戻り、結合重みｗｃ１～ｗｃｉを更新する。
　第３工程Ｓ３では、出力層３０における結合重みｗｃ１～ｗｃｉの分布を求める。結合重みｗｃ１～ｗｃｉの分布は、評価回路４０で求める。結合重みｗｃ１～ｗｃｉの分布は、横軸を結合重みの値、縦軸を特定の値の結合重みの数としてプロットすることで、求められる。それぞれの結合重みｗｃ１～ｗｃｉの値は、例えば、上述のように基準信号を入力することで求められる。
　そして、結合重みｗｃ１～ｗｃｉの分布が、既定の分布に該当するかを評価する。既定の分布は、例えば、例えば、正規分布、一様分布、ラプラス分布等である。規定の分布は、情報処理装置１００に与えられたタスクに応じて異なる。既定の分布は、タスクが決定された時点で決定され、評価回路４０に記憶される。
　例えば、既定の分布が正規分布の場合は、例えば、コルモゴロフ・スミノルフ検定、シャピロ・ウィルク検定に基づいて判断される。結合重みｗｃ１～ｗｃｉの分布のＰ値が０．０５未満の場合は、結合重みｗｃ１～ｗｃｉの分布は正規分布ではないと判断できる。
　結合重みｗｃ１～ｗｃｉの分布が既定の分布に該当する場合は、第４工程Ｓ４に至り、入力層１０の調整パラメータを決定する。入力層１０の調整パラメータが決定された後に、情報処理装置１００が十分な正答率を示す場合は、学習を終了する。入力層１０の調整パラメータを決定後にも、情報処理装置１００が十分な正答率を示さない場合は、再度、第１工程Ｓ１に戻り、出力層３０の結合重みｗｃ１～ｗｃｉを更新する。
　これに対し、結合重みｗｃ１～ｗｃｉの分布が既定の分布に該当しない場合は、第５工程Ｓ５に至る。第５工程Ｓ５では、調整パラメータの変更回数が規定回数以上であるかを判断する。調整回路５０は、調整パラメータの変更回数をカウントする。規定回数は、情報処理装置１００のタスク、正答の精度、計算負荷等に応じて、適宜決定される。規定回数は、調整回路５０に記憶されている。
　調整パラメータの変更回数が規定回数未満の場合は、第６工程Ｓ６に至り、入力層１０の調整パラメータを変更する。調整パラメータの変更は、調整回路５０が行う。調整回路５０は、例えば、フィルタ係数ｆ１～ｆｎを変更する。調整回路５０は、例えば、結合重みｗａ１～ｗａｎを変更してもよい。また調整回路５０は、フィルタ係数ｆ１～ｆｎと結合重みｗａ１～ｗａｎを両方変更してもよい。
　調整回路５０は、例えば、入力層１０の調整パラメータの分布を正規分布にする。調整回路５０による調整パラメータの変更が複数回に亘る場合は、正規分布を基準に、平均又は分散を変更する。
　例えば、調整回路５０による調整パラメータの調整が１回目の場合は、調整パラメータの分布を平均が０、分散が１の正規分布とする。そして、調整回路５０による調整パラメータの調整が２回目以降の場合は、分散が大きくなるように調整パラメータの分布を変更していく。例えば、調整パラメータの調整がｎ回目の場合は、ｎ－１回目の分散値に対して１０％だけ分散値を大きくする。
　また調整回路５０は、例えば、入力層１０の調整パラメータの分布を、一定の乱数幅を有する一様分布にしてもよい。調整回路５０による調整パラメータの変更が複数回に亘る場合は、乱数幅を変更する。
　例えば、調整回路５０による調整パラメータの調整が１回目の場合は、調整パラメータの分布を乱数幅が±０．１の一様分布とする。そして、調整回路５０による調整パラメータの調整が２回目以降の場合は、乱数幅が大きくなるように調整パラメータの分布を変更していく。例えば、調整パラメータの調整がｎ回目の場合は、乱数幅が±０．１×ｎの一様分布とする。
　これに対し、調整パラメータの変更回数が規定回数以上の場合は、これ以上の入力層１０の調整パラメータの変更を行わない。調整パラメータの変更回数が規定回数以上の場合は、第７工程Ｓ７に至る。第７工程Ｓ７では、入力層１０の調整パラメータとして、これまで変更した調整パラメータのうち最適な調整パラメータを選択する。これまでの変更履歴において、最も正答率が高い時の調整パラメータを最適な調整パラメータとする。
　上記の手順で、情報処理装置１００は、出力層３０の結合重みｗｃ１～ｗｃｉ、入力層１０の調整パラメータを決定し、学習を終了する。演算（推論）段階では、情報処理装置１００は、学習段階で決定された出力層３０の結合重みｗｃ１～ｗｃｉ、入力層１０の調整パラメータで、演算を行う。
　ここでは、情報処理装置１００の処理フローの一例を示したが、処理フローはこの例に限られない。例えば、結合重みｗｃ１～ｗｃｉを更新する毎に結合重みｗｃ１～ｗｃｉの分布を評価する場合は、第２工程Ｓ２を行わなくてもよい。また調整パラメータの変更回数の上限を設定しない場合は、第５工程Ｓ５及び第７工程Ｓ７を行わなくてもよい。
　本実施形態に係る情報処理装置１００は、出力層３０の結合重みｗｃ１～ｗｃｉの分布に基づいて、入力層１０の調整パラメータを調整する。情報処理装置１００は、入力層１０の調整パラメータも調整することで、タスクに対する正答率をより高めることができる。
１０…入力層、１１…フィルタ、１２，３１…バイアス印加部、２０…レザバー層、２１…ノード、３０…出力層、３２…和演算回路、３３…活性化関数回路、４０…評価回路、５０…調整回路、６０…比較回路、７０…指示回路、１００…情報処理装置、ｆ１～ｆｎ…フィルタ係数、Ｓｉｎ１～Ｓｉｎｎ…入力信号、Ｓ１１～Ｓ１ｎ…第１信号、Ｓ２１～Ｓ２ｉ…第２信号、ｗａ１～ｗａｎ，ｗｃ１～ｗｃi…結合重み

Claims (8)

  1. 　入力層と、
    　前記入力層に接続され、前記入力層から入力された第１信号の情報を含む特徴空間を生成するレザバー層と、
    　前記レザバー層に接続され、前記レザバー層から出力される第２信号に結合重みを印加する出力層と、
    　前記出力層における結合重みの分布を求め、前記結合重みの分布が規定の分布であるか否かを評価する評価回路と、
    　前記結合重みの分布が前記規定の分布ではない場合に、前記第１信号を調整する調整パラメータを変更する調整回路と、を備える、情報処理装置。
  2. 　前記規定の分布は、正規分布である、請求項１に記載の情報処理装置。
  3. 　前記評価回路は、前記第２信号に印加する結合重みを更新する際に、更新前後の結合重みの変化量が閾値以下の場合に、前記結合重みの分布が規定の分布であるか否かを評価する、請求項１又は２に記載の情報処理装置。
  4. 　前記調整回路は、前記調整パラメータの変更回数が規定回数に達すると、これまで変更した調整パラメータのうち最適な調整パラメータを選択する、請求項１～３のいずれか一項に記載の情報処理装置。
  5. 　前記調整パラメータは、前記入力層に印加される入力信号に乗算する結合重みである、請求項１～４のいずれか一項に記載の情報処理装置。
  6. 　前記調整パラメータは、前記入力層に印加される入力信号を構成する周波数成分を選択的に通過させるフィルタのフィルタ係数である、請求項１～５のいずれか一項に記載の情報処理装置。
  7. 　前記調整パラメータの分布が、正規分布である、請求項１～６のいずれか一項に記載の情報処理装置。
  8. 　前記調整パラメータの分布が、一様分布である、請求項１～６のいずれか一項に記載の情報処理装置。
PCT/JP2021/038325 2021-10-15 2021-10-15 情報処理装置 WO2023062844A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/038325 WO2023062844A1 (ja) 2021-10-15 2021-10-15 情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/038325 WO2023062844A1 (ja) 2021-10-15 2021-10-15 情報処理装置

Publications (1)

Publication Number Publication Date
WO2023062844A1 true WO2023062844A1 (ja) 2023-04-20

Family

ID=85988192

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/038325 WO2023062844A1 (ja) 2021-10-15 2021-10-15 情報処理装置

Country Status (1)

Country Link
WO (1) WO2023062844A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020201557A (ja) * 2019-06-06 2020-12-17 株式会社日立製作所 演算システムおよび方法
WO2021067358A1 (en) * 2019-10-01 2021-04-08 Ohio State Innovation Foundation Optimizing reservoir computers for hardware implementation
JP6908210B1 (ja) * 2020-03-26 2021-07-21 Tdk株式会社 パラメータの設定方法およびリザボア素子の制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020201557A (ja) * 2019-06-06 2020-12-17 株式会社日立製作所 演算システムおよび方法
WO2021067358A1 (en) * 2019-10-01 2021-04-08 Ohio State Innovation Foundation Optimizing reservoir computers for hardware implementation
JP6908210B1 (ja) * 2020-03-26 2021-07-21 Tdk株式会社 パラメータの設定方法およびリザボア素子の制御方法

Similar Documents

Publication Publication Date Title
Rotter et al. Exact digital simulation of time-invariant linear systems with applications to neuronal modeling
Chaudhary et al. Identification of Hammerstein nonlinear ARMAX systems using nonlinear adaptive algorithms
Leary et al. A knowledge-based approach to response surface modelling in multifidelity optimization
US11562249B2 (en) DNN training with asymmetric RPU devices
Peterson et al. Using Taguchi's method of experimental design to control errors in layered perceptrons
Hillebrecht et al. Certified machine learning: A posteriori error estimation for physics-informed neural networks
Lu et al. Recursive second-order Volterra filter based on Dawson function for chaotic memristor system identification
WO2023062844A1 (ja) 情報処理装置
Kumar et al. A novel dynamic recurrent functional link neural network-based identification of nonlinear systems using Lyapunov stability analysis
Chairez Wavelet differential neural network observer
JP6908210B1 (ja) パラメータの設定方法およびリザボア素子の制御方法
Le et al. A novel pipelined neural FIR architecture for nonlinear adaptive filter
WO2022214309A1 (en) Deep neural network training
Dorado-Rojas et al. Orthogonal laguerre recurrent neural networks
Zeng et al. Identification of nonlinear dynamic systems using convex combinations of multiple adaptive radius basis function networks
Vieira et al. Neural network based approaches for network traffic prediction
Wang et al. A Novel Two-Stage Ellipsoid Filtering Based System Modeling Algorithm for a Hammerstein Nonlinear Model with an Unknown Noise Term
Li et al. Data modeling of calibration parameter measurement based on MLP model
Zhou et al. Harmony search algorithm for fuzzy cerebellar model articulation controller networks optimization
WO2023175722A1 (ja) 学習プログラム及び学習器
Motazedian et al. Nonlinear and Time Varying System Identification Using a Novel Adaptive Fully Connected Recurrent Wavelet Network
JPH0644207A (ja) ニューラルネットワーク及びその構成方法
Alhousseini et al. Physicist's Journeys Through the AI World-A Topical Review. There is no royal road to unsupervised learning
Mohamed et al. Brain-inspired machine learning algorithm: Neural network optimization
US20220207344A1 (en) Filtering hidden matrix training dnn

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2022551622

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21960697

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE