WO2020137090A1 - ニューラルネットワーク学習装置、方法およびプログラム - Google Patents

ニューラルネットワーク学習装置、方法およびプログラム Download PDF

Info

Publication number
WO2020137090A1
WO2020137090A1 PCT/JP2019/040179 JP2019040179W WO2020137090A1 WO 2020137090 A1 WO2020137090 A1 WO 2020137090A1 JP 2019040179 W JP2019040179 W JP 2019040179W WO 2020137090 A1 WO2020137090 A1 WO 2020137090A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
neural network
linearization
amount
unit
Prior art date
Application number
PCT/JP2019/040179
Other languages
English (en)
French (fr)
Inventor
康博 水越
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/418,007 priority Critical patent/US20220076125A1/en
Priority to JP2020562380A priority patent/JP7151788B2/ja
Publication of WO2020137090A1 publication Critical patent/WO2020137090A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Definitions

  • the present invention relates to a neural network learning device for learning a neural network, a neural network learning method, and a neural network learning program.
  • Neural networks are one of the models used in machine learning and represent neural networks in the human brain with mathematical models.
  • the neural network includes an input layer and an output layer, and a weight W indicating the strength of connection between neurons is considered between the layers.
  • an intermediate layer (hidden layer) is included between the input layer and the output layer in order to express a complicated model.
  • the neural network used in machine learning is sometimes called an artificial neural network in order to distinguish it from a neural network in neuroscience.
  • An early artificial neural network called a simple perceptron has a structure for obtaining an output (Out i ) by using a weight (W) of each layer as an input (In i ).
  • FIG. 32 is an explanatory diagram showing the structure of the neural network.
  • FIG. 33 is an explanatory diagram schematically showing a linear separable problem and a linear non-separable problem.
  • a linear separable problem as shown in FIG. 33(a) can be solved.
  • the simple perceptron since the simple perceptron has a simple structure, it cannot solve the problem of linear non-separation as shown in FIG. Therefore, the multi-layer perceptron is generally used in order to cope with the problem of linear non-separation.
  • FIG. 34 is an explanatory diagram showing a multilayer perceptron.
  • the multilayer perceptron has a structure in which an input (In i ) uses an weight (W i ) of each layer to obtain an output (Out i ), and the multilayer perceptron shown in FIG. 34 has four hidden layers.
  • the intermediate layer H 11 is calculated by Equation 1 shown below.
  • the values in each hidden layer are calculated in the forward direction.
  • b is a bias value.
  • w 1i in Expression 1 is calculated by Expression 2 shown below.
  • FIG. 35 is an explanatory diagram showing a non-linear function.
  • the activation function ⁇ (x) used for modeling the brain a non-linear function as shown in FIG. 35 is used.
  • the multilayer perceptron it is possible to solve even a linear non-separation problem.
  • Neural networks are used in deep learning, for example, and can output highly accurate results for complex inputs, so they are widely used in various fields. Therefore, various methods for appropriately learning the neural network have been proposed.
  • Patent Document 1 describes a learning method of a neural network that efficiently completes the learning process.
  • the learning method described in Patent Document 1 when the accuracy of the output of the neural network is not improved, the parameter is returned to the past state and the learning rate is also reduced, and the parameter returned to the past state and Re-learn at the reduced learning rate.
  • FIG. 36 is an explanatory diagram showing an example of a general method for learning a neural network using a computer.
  • the computer determines the learning data 111 from the learning data set 110 (step S110).
  • the computer inputs the determined learning data 111 as input data 112 to the multilayer neural network 113 (step S120), and acquires output data 114 (step S130).
  • the computer calculates the error between the output data 114 and the learning data 111 (step S140).
  • the computer propagates the calculated error in the input direction and corrects the weight (step S150, step S160).
  • the correction amount is determined by the learning rate.
  • an object of the present invention is to provide a neural network learning device, a neural network learning method, and a neural network learning program that can learn a neural network so as to reduce the amount of calculation.
  • a neural network learning device is a parameter included in a learning unit for learning a neural network and an activation function used in the neural network, which parameter increases or decreases to bring the activation function closer to a linear function.
  • the linearization amount determining unit that determines the linearization amount that is and the activation function that is determined to converge to a linear function by increasing or decreasing the linearization amount are replaced with the linear function, and the replaced linear function is used.
  • the learning unit calculates an evaluation value based on the output of the neural network in learning of the neural network, and the linearization amount determination unit determines the evaluation value based on a predetermined criterion. It is characterized in that the linearization amount is changed when the above condition is satisfied.
  • a neural network learning method learns a neural network, calculates an evaluation value based on an output from the neural network in learning the neural network, and is a parameter included in an activation function used in the neural network,
  • the linearization amount which is a parameter that makes the activation function closer to a linear function by increasing or decreasing, is determined.
  • the evaluation value satisfies a predetermined criterion
  • the linearization amount is changed and the linearization amount is increased.
  • the activation function that is determined to converge to a linear function by decreasing it is replaced with the linear function, and the weights between layers using the replaced linear function are aggregated.
  • the neural network learning program causes a computer to perform a learning process for learning a neural network, a parameter included in an activation function used in the neural network, and increase or decrease the parameter so that the activation function becomes a linear function.
  • Linearization amount determination processing for determining the linearization amount that is a parameter to approach, and the activation function that is determined to converge to a linear function by increasing or decreasing the linearization amount is replaced with the linear function, and the replaced linear
  • An aggregation process for aggregating the weights between layers using a function is executed, in the learning process, an evaluation value based on the output from the neural network is calculated in the learning of the neural network, and the evaluation value is predetermined in the linearization amount determination process. It is characterized in that the linearization amount is changed when the specified criterion is satisfied.
  • the neural network can be learned so as to reduce the calculation amount.
  • FIG. 1 is a block diagram showing a configuration example of a first embodiment of a neural network learning device according to the present invention. It is explanatory drawing which shows the example of a change of Scaling Tanh. It is explanatory drawing which shows the example of the degree which increases a linearization amount. It is explanatory drawing which shows the example of the range set when determining linear approximation. It is explanatory drawing which shows the example of the neural network which aggregated the weight. It is explanatory drawing which shows the example of the process which partially linearly approximates an activation function. It is explanatory drawing which shows the example of a change of Scaling Sigmaid. It is explanatory drawing which shows the example of a change of the inclination of Scaling Sigmaid.
  • FIG. 1 is a block diagram showing an outline of a neural network learning device according to the present invention. It is a schematic block diagram which shows the structure of the computer which concerns on at least 1 embodiment. It is explanatory drawing which shows the structure of a neural network.
  • FIG. 1 is a block diagram showing an outline of a neural network learning device according to the present invention. It is a schematic block diagram which shows the structure of the computer which concerns on at least 1 embodiment. It is explanatory drawing which shows the structure of a neural network.
  • FIG. 3 is an explanatory diagram schematically showing a linear separable problem and a linear non-separable problem. It is explanatory drawing which shows a multilayer perceptron. It is explanatory drawing which shows a nonlinear function. It is explanatory drawing which shows the example of the general method of learning a neural network using a computer.
  • FIG. 1 is a block diagram showing a configuration example of a first embodiment of a neural network learning device according to the present invention.
  • the neural network learning device 100 includes a learning data storage unit 10, a learning data determination unit 20, a learning unit 30, a linearization amount determination unit 40, and an aggregation unit 50.
  • the learning data storage unit 10 stores a plurality of learning data (learning data set) used by the learning unit 30 described later for learning. Further, the learning data storage unit 10 may store various parameters necessary for the learning unit 30 described later to generate a model. In the present embodiment, it is assumed that the network structure including the number of input layers, the number of intermediate layers and output layers, and the connection form of each layer is determined in advance by using parameters and the like and stored in the learning data storage unit 10 before learning. To do.
  • the learning data storage unit 10 is realized by, for example, a magnetic disk or the like.
  • the learning data determination unit 20 acquires the learning data from the learning data storage unit 10 and inputs it to the learning unit 30.
  • the method of determining the learning data acquired by the learning data determination unit 20 is arbitrary. Further, the learning data determination unit 20 may specify learning data used by the learning unit 30 described later for learning.
  • the learning unit 30 learns a neural network using the learning data input by the learning data determination unit 20.
  • the learning unit 30 may learn the neural network using a widely known method. In this embodiment, a method in which the learning unit 30 learns a neural network using the error back propagation method will be described. Specifically, the learning unit 30 inputs the input learning data to the (multilayer) neural network and acquires the output. Then, the learning unit 30 calculates the error between the output and the learning data, propagates the calculated error from the output to the input direction, and corrects the weight of each layer up to the input layer. Since the correction amount is determined by the learning rate, the learning rate to be used may be set in advance.
  • the learning unit 30 calculates an evaluation value based on the output of the neural network when learning the neural network.
  • Examples of the evaluation value calculated by the learning unit 30 include an error between the output and the learning data, an output determination accuracy based on the verification data, and the number of outputs.
  • the learning unit 30 uses the calculated error as an evaluation value. That is, the learning unit 30 calculates the error between the learning data and the output of the neural network in learning the neural network.
  • the linearization amount determination unit 40 is a parameter included in the activation function used in the neural network, and a parameter that makes the activation function closer to a linear function by increasing or decreasing (hereinafter, referred to as a linearization amount). To decide. Specifically, the linearization amount determination unit 40 changes the linearization amount by a predetermined amount when the evaluation value calculated by the learning unit 30 satisfies a predetermined reference. In this embodiment, a method of increasing or decreasing the linearization amount will be described.
  • FIG. 2 is an explanatory diagram showing an example of changes in Scaling Tanh.
  • FIG. 2 exemplifies a change in the graph when ⁇ is changed from 1 to 1000.
  • Expression 3 when ⁇ >0, the output does not exceed ⁇ .
  • the differentiation in Expression 3 has a slope of 1 near the origin, as shown in Expression 4 below.
  • the linearization amount determination unit 40 sequentially increases or decreases the linearization amount ⁇ in the learning process.
  • the linearization amount determination unit 40 increases or decreases the linearization amount according to the reduction of the error.
  • the linearization amount determination unit 40 may increase or decrease the linearization amount when, for example, the error calculated as the evaluation value becomes smaller than a predetermined threshold value.
  • the degree of changing the linearization amount may be set in advance similarly to the learning rate and the like, and the linearization amount determination unit 40 applies, for example, ⁇ calculated by the following Expression 5 to the error err. Good.
  • FIG. 3 is an explanatory diagram showing an example of the degree of increasing the linearization amount.
  • the graph illustrated in FIG. 3 is the degree determined by the above equation 5, and shows that the linearization amount is set to be larger as the error becomes smaller.
  • FIG. 4 is an explanatory diagram showing an example of a range set when determining linear approximation.
  • a range near the origin may be set, and the aggregating unit 50 may calculate the tilt within this range.
  • the gradient of the linear function to be aggregated is 1
  • the aggregation unit 50 causes the gradient of the activation function when ⁇ is increased to 0.
  • the aggregation unit 50 aggregates the weights between layers using the replaced linear function. For example, it is assumed that all activation functions used in the neural network illustrated in FIG. 34 can be replaced with linear functions. In this case, the aggregating unit 50 aggregates the weights W 1 to W 5 illustrated in FIG. 34 into the weight W illustrated in Expression 7 below.
  • the amount of calculation can be reduced. For example, in the example of Expression 7 shown above, it becomes possible to reduce the calculation amount to one fifth.
  • the aggregation unit 50 may aggregate not only the weights of all the layers but also the weights of some layers. For example, when only some of the activation functions are replaced with linear functions, the aggregating unit 50 may aggregate only the weights of some of the replaced layers. For example, it is assumed that the activation function of the input layer, the first layer, and the second layer of the neural network illustrated in FIG. 34 can be replaced with a linear function. In this case, the aggregation unit 50 may aggregate the weights W 1 to W 5 illustrated in FIG. 34 into the weight W part illustrated in the following Expression 9.
  • FIG. 5 is an explanatory diagram showing an example of a neural network in which weights are aggregated.
  • the weights are aggregated in the neural network illustrated in FIG. 5, by using the weight W part that is a part of the aggregated weights, it is possible to perform the calculation using Equation 10 illustrated below at the time of inference.
  • FIG. 6 is an explanatory diagram illustrating an example of a process of partially linearly approximating the activation function.
  • the state in which the activation function can be partially linearly approximated refers to the state in which the structure of some neural networks included in one neural network can be changed. For example, when a structure for partially extracting a “certain feature amount” is designed, the structure itself for extracting each feature amount corresponds to some neural networks.
  • the presence/absence of a circle, the presence/absence of a triangle, and the presence/absence of a square are separately determined.
  • the configuration that finally combines the outputs of the three types of decision circuits to create one output is one neural network, for example, the situation where linear approximation can be performed only for the determination of the presence/absence of a circle corresponds to the situation where partial linear approximation can be performed. To do.
  • Scaling Tanh has been described as an example of the activation function, but the activation function is not limited to Scaling Tanh.
  • some examples of the activation function that approaches a linear function by changing the linearization amount will be described.
  • Scaling sigmoid is an example of the first other activation function.
  • FIG. 7 is an explanatory diagram showing an example of changes in Scaling Sigmaid.
  • FIG. 8 is an explanatory diagram showing an example of a change in the slope of Scaling Sigmaid.
  • FIG. 7 exemplifies a change in the graph when ⁇ is changed from 1 to 1000. As ⁇ is increased as illustrated in FIG. 7, the graph illustrated in FIG. 7 is a straight line with a slope of 0.25 that finally passes through the intercept 0.5 as shown by the slope illustrated in FIG. Is approximated by.
  • Scaling ReLU is an example of the second other activation function.
  • FIG. 9 is an explanatory diagram showing an example of changes in Scaling ReLU.
  • FIG. 9 illustrates the change in the graph when ⁇ is changed from 0 to ⁇ 1000. As illustrated in FIG. 9, when ⁇ is decreased, the graph illustrated in FIG. 9 is finally approximated to a straight line having a slope of 1 passing through the origin.
  • Scaling PRELU is an example of the third other activation function.
  • FIG. 10 is an explanatory diagram showing an example of changes in Scaling PRELU.
  • Min and Max is an example of the fourth other activation function.
  • FIG. 11 is an explanatory diagram showing an example of changes in Min and Max.
  • FIG. 11 exemplifies the change of the graph when ⁇ is changed from 1 to 1000. As ⁇ is increased as illustrated in FIG. 11, the graph illustrated in FIG. 11 is finally approximated to a straight line having a slope of 1 passing through the origin.
  • a generalized Scaling Tanh which is a generalization of the above-mentioned Scaling Tanh, may be used as the activation function.
  • FIG. 12 is an explanatory diagram showing an example of a change in generalized Scaling Tanh.
  • FIG. 13 is an explanatory diagram showing an example of a change in the slope of the generalized Scaling Tanh.
  • the learning data determining unit 20, the learning unit 30, the linearization amount determining unit 40, and the aggregating unit 50 are processors of a computer (for example, a CPU (Central Processing Unit), a GPU that operates according to a program (neural network learning program)). (Graphics Processing Unit), FPGA (field-programmable gate array)).
  • a computer for example, a CPU (Central Processing Unit), a GPU that operates according to a program (neural network learning program)).
  • a program neural network learning program
  • FPGA field-programmable gate array
  • the program is stored in a storage unit (not shown) of the neural network learning device, the processor reads the program, and according to the program, the learning data determination unit 20, the learning unit 30, the linearization amount determination unit 40, and the aggregation. It may operate as the unit 50.
  • the function of the neural network learning device may be provided in the SaaS (Software as a Service) format.
  • Each of the learning data determination unit 20, the learning unit 30, the linearization amount determination unit 40, and the aggregation unit 50 may be realized by dedicated hardware. Further, some or all of the constituent elements of each device may be realized by a general-purpose or dedicated circuit, a processor, or a combination thereof. These may be configured by a single chip, or may be configured by a plurality of chips connected via a bus. Some or all of the components of each device may be realized by a combination of the above-described circuits and the like and a program.
  • the plurality of information processing devices or circuits may be centrally arranged. It may be distributed.
  • the information processing device, the circuit, and the like may be realized as a form in which a client server system, a cloud computing system, and the like are connected to each other via a communication network.
  • FIG. 14 is a flowchart showing an operation example of the neural network learning device of this embodiment.
  • the learning data determination unit 20 determines learning data from the learning data set stored in the learning data storage unit 10 (step S11), and inputs the learning data to the learning unit 30 as input data (step S12).
  • the learning unit 30 obtains an output by applying the input learning data to a (multilayer) neural network (step S13), and calculates an error between the output and the learning data (step S14).
  • the learning unit 30 propagates the error from the output to the input direction and corrects the weight to the input layer (step S15).
  • the linearization amount determination unit 40 increases or decreases the linearization amount according to the reduction of the error (step S16).
  • the aggregating unit 50 determines whether or not the end condition of the learning process is satisfied (step S17).
  • the termination condition is arbitrary, and examples thereof include a predetermined number of times and time. When the termination condition is not satisfied (No in step S17), the processes of step S11 and subsequent steps are repeated.
  • step S17 when the end condition is satisfied (Yes in step S17), the aggregating unit 50 replaces the activation function determined to converge to a linear function with the linear function, and sets the weight between layers using the replaced linear function. Aggregate (step S18).
  • the learning unit 30 calculates the evaluation value (specifically, the error) based on the output of the neural network in the learning of the neural network, and the linearization amount determination unit 40
  • the linearization amount is changed when the evaluation value satisfies a predetermined criterion.
  • the linearization amount determination unit 40 increases or decreases the linearization amount according to the reduction of the error.
  • the aggregating unit 50 replaces the activation function determined to converge to a linear function by increasing or decreasing the linearization amount with the linear function, and aggregates the weights between layers using the replaced linear function. Therefore, the neural network can be learned so as to reduce the calculation amount.
  • the learning unit 30 transforms the activation function into a linear change during learning by using an activation function that can be scaled in the learning process of the multilayer neural network. That is, an activation function that can bring the original non-linear function close to the linear function or restore the original non-linear function by changing the parameter is used. Therefore, it becomes possible to judge whether the learning target is linearly separable or not.
  • FIG. 15 is an explanatory diagram showing an example of a neural network in which weights are aggregated.
  • the weight of W 1 is represented by the matrix shown in the following Expression 21 as a result of learning by increasing or decreasing the linearization amount.
  • the matrix expressed by the following expression 21 can be transformed into two (matrix) expressions expressed by the expression 22. Therefore, the aggregating unit 50 may construct a neural network in which weights are aggregated as shown in a portion P1 of FIG.
  • the aggregating unit 50 may construct the neural network by deleting the connection relation, that is, pruning, as shown in a portion P2 of FIG.
  • the linearization amount determination unit 40 increases or decreases the linearization amount according to the reduction of the error.
  • the linearization amount determination unit 40 may further consider the output of the intermediate layer as a condition for increasing or decreasing the linearization amount.
  • the linearization amount determination unit 40 in addition to the reduction of the error, when the output of the intermediate layer is in the range set as what can be regarded as the slope of the linear function to be aggregated (that is, the linear approximation range), The amount of linearization may be increased or decreased.
  • Embodiment 2 Next, a second embodiment of the neural network learning device according to the present invention will be described.
  • the method of increasing or decreasing the linearization amount based on the error calculated as the evaluation value by the learning unit 40 has been described.
  • a method of changing the linearization amount using the output determination accuracy based on the verification data as the evaluation value will be described.
  • FIG. 16 is a block diagram showing a configuration example of the second embodiment of the neural network learning device according to the present invention.
  • the neural network learning device 200 of this embodiment includes a learning data storage unit 10, a test data storage unit 12, a learning data determination unit 20, a test data determination unit 22, a learning unit 32, and a linearization amount determination unit 42. And an aggregating unit 50.
  • the neural network learning device 200 further includes the test data storage unit 12 and the test data determination unit 22 as compared with the neural network learning device 100 according to the first embodiment, and includes the learning unit 30 and the linearization.
  • the difference is that a learning unit 32 and a linearization amount determination unit 42 are provided instead of the amount determination unit 40.
  • the test data storage unit 12 stores the test data with the correct answer label used when the learning unit 32, which will be described later, calculates the determination accuracy of the neural network.
  • the test data storage unit 12 is realized by, for example, a magnetic disk or the like.
  • the test data determination unit 22 acquires test data from the test data storage unit 12 and inputs it to the learning unit 32.
  • the method of determining the test data acquired by the test data determination unit 22 is arbitrary. Further, the test data determination unit 22 may specify the test data used by the learning unit 32, which will be described later, for evaluation.
  • the learning unit 32 learns a neural network using the learning data input by the learning data determination unit 20 by using the same method as in the first embodiment. Further, in the present embodiment, the learning unit 32 inputs the input test data to the (multilayer) neural network and acquires the output. Then, the learning unit 32 calculates the determination accuracy based on the output and the correct answer label of the test data.
  • the learning unit 32 calculates the determination accuracy when the test data with the correct answer label is input to the neural network.
  • a method of calculating the determination accuracy is arbitrary, and a widely known method such as a method of calculating the accuracy rate may be used.
  • the linearization amount determination unit 42 increases or decreases the linearization amount according to the increase in the calculated determination accuracy.
  • the linearization amount determination unit 42 may increase or decrease the linearization amount, for example, when the determination accuracy calculated as the evaluation value reaches a target value (when it becomes higher than a predetermined threshold value). Good.
  • the degree of changing the linearization amount may be set in advance as in the first embodiment.
  • the aggregating unit 50 replaces an activation function that is determined to converge to a linear function by increasing or decreasing the linearization amount with the linear function, and weights between layers using the replaced linear function. Aggregate.
  • the linearization amount determination unit 42 may update the linearization amount each time learning data is input, or may update the linearization amount each time learning is performed using a plurality of learning data. ..
  • the learning data determination unit 20, the test data determination unit 22, the learning unit 32, the linearization amount determination unit 42, and the aggregation unit 50 are realized by a processor of a computer that operates according to a program (neural network learning program). ..
  • FIG. 17 is a flowchart showing an operation example of the neural network learning device of this embodiment.
  • the processing from step S11 to step S15 for inputting the learning data and correcting the weight is similar to the processing illustrated in FIG.
  • the test data determination unit 22 determines test data from the test data set stored in the test data storage unit 12 (step S21) and inputs it to the learning unit 32 as input data (step S22).
  • the learning unit 32 acquires an output by applying the input test data to a (multilayer) neural network (step S23), and calculates a correct answer rate (determination accuracy) based on the output and the test data (step S24). ..
  • the linearization amount determination unit 42 determines whether or not the determination accuracy has reached a target value (step S25). When the determination accuracy reaches the target value (Yes in step S25), the linearization amount determination unit 42 increases or decreases the linearization amount ⁇ (step S26). On the other hand, when the determination accuracy does not reach the target value (No in step S25), the linearization amount ⁇ is not changed and the process is continued.
  • steps S17 and S18 in which the aggregating unit 50 determines the end condition of the learning process and replaces the activation function with the linear function are the same as the processes illustrated in FIG.
  • the learning unit 32 calculates the determination accuracy when the labeled test data is input to the neural network, and the linearization amount determination unit 42 responds to the increase in the determination accuracy. Increase or decrease the amount of linearization. Therefore, similarly to the first embodiment, the neural network can be learned so as to reduce the calculation amount.
  • the learning unit 30 calculates the error as the evaluation value
  • the learning unit 32 calculates the determination accuracy as the evaluation value.
  • the learning unit may use the number of times of outputting the learning result as the evaluation value.
  • Embodiment 3 Next, a third embodiment of the neural network learning device according to the present invention will be described.
  • the linearization amount is changed based on the error and the determination accuracy.
  • the activation function is updated by changing the linearization amount, an increase in error and a decrease in determination accuracy are expected due to the influence of data that cannot be linearly separated.
  • FIG. 18 is an explanatory diagram showing an example of linear separation when the input dimension is increased.
  • a two-dimensional XOR exclusive unit
  • the XOR can be linearly separated using the three-dimensional linear space.
  • the separation illustrated in FIG. 18A is an example in which 1 is linearly separated when the value of the added dimension is 0, and the separation illustrated in FIG. In the case of 1, 0 is linearly separated.
  • FIG. 19 is a block diagram showing a configuration example of the third embodiment of the neural network learning device according to the present invention.
  • the neural network learning device 300 of the present embodiment includes a learning data storage unit 10, a learning data determination unit 20, a learning unit 30, a linearization amount determination unit 40, an aggregation unit 50, and an input dimension addition unit 60. I have it.
  • the neural network learning device 300 of the present embodiment is different from the neural network learning device 100 of the first embodiment in that it further includes an input dimension adding unit 60.
  • the input dimension adding unit 60 adds the value of the learning data so as to increase the number of dimensions and increases the number of dimensions of the input layer of the neural network. Change the structure of the neural network to. Specifically, when the error increases after the linearization amount is increased or decreased, the input dimension adding unit 60 includes n pieces of learning data (for example, [I n1 ,..., I ni , Out 1 ,...
  • the input dimension adding unit 60 changes the structure of the multilayer neural network so as to increase the input dimension by 1.
  • the neural network learning device 200 of the second embodiment may further include the input dimension adding unit 60 of the present embodiment.
  • the input dimension adding unit 60 adds the learning data obtained by increasing the input dimension by one dimension to the n learning data, and inputs the learning data.
  • the structure of the multilayer neural network may be changed so as to increase the dimension by 1.
  • the learning data determination unit 20, the learning unit 30, the linearization amount determination unit 40, the aggregation unit 50, and the input dimension addition unit 60 are realized by a processor of a computer that operates according to a program (neural network learning program). ..
  • FIG. 20 is a flowchart showing an operation example of the neural network learning device of this embodiment.
  • the processing from step S11 to step S16 of inputting the learning data, correcting the weight, and changing the linearization amount is the same as the processing illustrated in FIG.
  • the input dimension adding unit 60 determines whether the evaluation value has deteriorated after changing the linearization amount (step S31). The input dimension adding unit 60 determines, for example, whether the error has become large and the determination accuracy has deteriorated. When the evaluation value deteriorates (Yes in step S31), the input dimension adding unit 60 adds the value of the learning data so as to increase the number of dimensions (step S32). Further, the input dimension adding unit 60 changes the structure of the neural network so as to increase the number of dimensions of the input layer of the neural network (step S33).
  • step S31 if the evaluation value has not deteriorated (No in step S31), the process from step S17 is performed without changing the data.
  • steps S17 and S18 in which the aggregating unit 50 determines the end condition of the learning process and replaces the activation function with a linear function are the same as the processes illustrated in FIG.
  • the input dimension adding unit 60 adds the value of learning data to increase the number of dimensions when the evaluation value deteriorates after the linearization amount is changed, and the neural network Change the structure of the neural network to increase the dimensionality of the input layer of. Therefore, in addition to the effects of the first or second embodiment, it is possible to increase the range in which linear separation is possible.
  • Embodiment 4 Next, a fourth embodiment of the neural network learning device according to the present invention will be described.
  • the method of increasing or decreasing the linearization amount so that the activation function is approximated from a non-linear function to a linear function has been described.
  • a method will be described in which a linearization amount is set in advance to a value that can be approximated to a linear function, and learning is performed while determining the presence or absence of linearity.
  • FIG. 21 is a block diagram showing a configuration example of the fourth embodiment of the neural network learning device according to the present invention.
  • the neural network learning device 400 according to the present embodiment includes a learning data storage unit 10, a test data storage unit 12, a learning data determination unit 20, a test data determination unit 22, a learning unit 32, and a linearization amount determination unit 44. And an aggregating unit 50. That is, the neural network learning device 400 of the present exemplary embodiment is different from the neural network learning device 200 of the second exemplary embodiment in that the linearization amount determination unit 44 is provided instead of the linearization amount determination unit 42. different.
  • the neural network learning device 400 of this embodiment may include the input dimension adding unit 60.
  • the linearization amount determination unit 44 changes the linearization amount so that the activation function represents a non-linear function when it is determined that the determination accuracy does not satisfy the predetermined criterion representing linearity. For example, when Scaling Tanh shown in the above Expression 3 is used as the activation function, the linearization amount determination unit 44 changes ⁇ back to 1. On the other hand, if the linearization amount determination unit 44 determines that the determination accuracy satisfies a predetermined criterion representing linearity, it continues the subsequent learning processing without changing the linearization amount.
  • the setting of the criterion indicating the linearity is arbitrary, and the linearization amount determination unit 44 may determine whether or not the linearity is indicated by whether or not the determination accuracy reaches a predetermined target accuracy.
  • the linearization amount determination unit 44 can switch between the linear state and the non-linear state without changing the model simply by changing the linearization amount that is a parameter.
  • the learning data determination unit 20, the test data determination unit 22, the learning unit 32, the linearization amount determination unit 44, and the aggregating unit 50 are realized by a processor of a computer that operates according to a program (neural network learning program). ..
  • FIG. 22 is a flowchart showing an operation example of the neural network learning device of this exemplary embodiment.
  • the linearization amount determination unit 44 sets the linearization amount to a value that can approximate the activation function to a linear function before the learning process is performed (step S51). Thereafter, the neural network learning process and the determination accuracy calculation process similar to the processes of steps S11 to S15 illustrated in FIG. 17 and the processes of steps S21 to S24 are performed.
  • the linearization amount determination unit 44 determines whether or not the determination accuracy satisfies a predetermined criterion representing linearity (that is, whether or not it has linearity) (step S52). When it is determined that the criterion is not satisfied (that is, there is no linearity) (No in step S52), the linearization amount determination unit 44 changes the linearization amount so that the activation function represents a non-linear function. (Step S53). On the other hand, when it is determined that the criterion is satisfied (that is, it has linearity) (Yes in step S52), the processing from step S17 is performed while maintaining the linearization amount.
  • the linearization amount determination unit 44 sets the linearization amount to a value that can approximate the activation function to a linear function before the learning by the learning unit 32 starts. Then, as a result of learning by the learning unit 32, when it is determined that the determination accuracy does not satisfy the predetermined criterion representing linearity, the linearization amount is changed so that the activation function represents a non-linear function, and the above criterion is satisfied. When the determination is made, the learning by the learning unit 32 is continued while maintaining the linearization amount. Therefore, in addition to the effects of the above embodiment, it is possible to switch between the linear state and the non-linear state without changing the model of the neural network.
  • Embodiment 5 Next, a fifth embodiment of the neural network learning device according to the present invention will be described.
  • the linearization amount determination unit 44 determines that the determination accuracy satisfies a predetermined criterion representing linearity and continues the learning by the learning unit 32 while maintaining the linearization amount will be described. did.
  • a method of reconstructing a model in the fourth embodiment when it is determined that a predetermined criterion representing linearity is satisfied will be described.
  • FIG. 23 is a block diagram showing a configuration example of the fifth embodiment of the neural network learning device according to the present invention.
  • the neural network learning device 500 of this embodiment includes a learning data storage unit 10, a test data storage unit 12, a learning data determination unit 20, a test data determination unit 22, a learning unit 34, and a linearization amount determination unit 44. And an aggregating unit 50 and a model reconstructing unit 70. That is, the neural network learning device 500 according to the present exemplary embodiment is different from the neural network learning device 400 according to the fourth exemplary embodiment in that the learning unit 34 is provided instead of the learning unit 32, and the model reconstructing unit 70 is further provided. Differ in that there is.
  • the neural network learning device 500 of this embodiment may include the input dimension adding unit 60.
  • the model reconstructing unit 70 deletes all the intermediate layers from the neural network being learned, and separates the input layer and the output layer. Reconstruct into connected models with activation functions that represent linear functions.
  • the model reconstructing unit 70 reconstructs the neural network illustrated in FIG. 34 into the neural network illustrated in FIG. 32, for example. After that, the same learning cycle as that of the second embodiment and the like (for example, the processing of steps S11 to S15 and steps S21 to S24 illustrated in FIG. 17) is executed.
  • FIG. 24 is an explanatory diagram showing an example of a method for reconstructing a neural network.
  • a model definition including a makelink() function that defines a network structure and a forward() function that defines an activation function of an intermediate layer is made.
  • the link structure is represented by link (the number of inputs and the number of outputs), and the link structure includes a weight value.
  • the output sequence is represented by gstanh (input sequence, link structure, ⁇ in generalized Scaling Tanh) representing generalized Scaling Tanh, or linear (input sequence, link structure) representing a linear function.
  • the model reconstructing unit 70 rewrites the model definition from the model definition D1 illustrated in FIG.
  • the model may be reconstructed mechanically.
  • FIG. 25 is an explanatory diagram showing another example of a method for reconstructing a neural network.
  • a network with the same number of outputs and inputs is added to the output for processing.
  • the method of replacing all the activation functions in the intermediate layer with linear functions is used, but in the example shown in FIG. 25, the method of leaving the softmax function at the final stage is used.
  • the output sequence is represented by softmax (input sequence, link structure) representing the softmax function.
  • the model reconstructing unit 70 rewrites the model definition from the model definition D3 illustrated in FIG.
  • the model may be reconstructed mechanically.
  • the learning unit 32 performs learning using the neural network connected by the activation function representing the linear function, the weight W between layers is calculated by learning. Therefore, since it is possible to suppress the occurrence of a rounding error due to the sum of products calculation, it is possible to further improve the accuracy of the neural network.
  • the learning data determining unit 20, the test data determining unit 22, the learning unit 32, the linearization amount determining unit 44, the aggregating unit 50, the model reconstructing unit 70 operate according to a program (neural network learning program). It is realized by the processor of the computer.
  • FIG. 26 is a flowchart showing an operation example of the neural network learning device of this embodiment.
  • the process of learning the neural network by setting the linearization amount to a value that can approximate the activation function to a linear function and determining the linearity is the same as the process from step S51 to step S53 illustrated in FIG. Is. However, the processing after Yes in step S52 is different.
  • the model reconstructing unit 70 deletes all the intermediate layers from the neural network being learned, and outputs the input layer and the output layer.
  • a layer is reconstructed into a model connected by an activation function representing a linear function (step S61). After that, the neural network is learned by repeating the processing from step S11 using the reconstructed model.
  • the model reconstructing unit 70 deletes all the intermediate layers from the neural network being learned, and the input layer And the output layer are reconstructed into a model in which an activation function representing a linear function is connected.
  • the learning unit 32 performs learning using the reconstructed model, it is possible to improve the accuracy of the neural network.
  • Embodiment 6 Next, a sixth embodiment of the neural network learning device according to the present invention will be described.
  • the method of reconstructing the model when it is determined that the determination accuracy satisfies the predetermined criterion representing the linearity has been described.
  • a part having linearity and a part having non-linearity are specified to reconstruct the model. Will be explained.
  • FIG. 27 is a block diagram showing a configuration example of the sixth embodiment of the neural network learning device according to the present invention.
  • the neural network learning device 600 of this embodiment includes a learning data storage unit 10, a test data storage unit 12, a first weight storage unit 14, a second weight storage unit 16, a learning data determination unit 20, and test data.
  • the determination unit 22, the learning unit 34, the linearization amount determination unit 44, the aggregation unit 50, and the linear/non-linear separation/reconstruction unit 72 are provided.
  • the neural network learning device 600 of the present exemplary embodiment is different from the neural network learning device 500 of the fifth exemplary embodiment in that it includes a linear/non-linear separation/reconstruction unit 72 instead of the model reconstruction unit 70.
  • the difference is that a weight storage unit 14 and a second weight storage unit 16 are further provided.
  • the neural network learning device 600 of this embodiment may include the input dimension adding unit 60. Further, the first weight storage unit 14 and the second weight storage unit 16 may be realized by the same storage device.
  • the learning unit 34 continues the learning process even when the linearization amount determination unit 44 determines that the predetermined criterion representing the linearity is satisfied.
  • the linear/nonlinear separation/reconstruction unit 72 determines the weight of the learned neural network (hereinafter referred to as the first weight) when it is determined that the predetermined criterion representing the linearity is satisfied. ) Is stored in the first weight storage unit 14.
  • the learning unit 34 and the linearization amount determination unit 44 like the learning unit 32 and the linearization amount determination unit 42 of the second embodiment, increase the linearization amount ⁇ on the basis of the determination accuracy and execute the neural network operation. learn.
  • the linearization amount determination unit 44 then weights the neural network learned when the linearization amount ⁇ becomes sufficiently large (for example, about 1000 times the original amount) (hereinafter referred to as the second weight). Is stored in the second weight storage unit 16.
  • the linear/non-linear separation/reconstruction unit 72 identifies an input having non-linearity based on the difference between the first weight and the second weight, and separates the input into a linear part and a non-linear part. Reconfigure. Specifically, the linear/non-linear separation/reconstruction unit 72 deletes a layer in which the difference between the weights of the layers corresponding to the first weight and the second weight is smaller than a predetermined reference as a layer having linearity. Configure a neural network.
  • FIG. 28 is an explanatory diagram showing an example of processing for reconfiguring the neural network.
  • the structure illustrated in FIG. 34 is defined as the model definition D5 illustrated in FIG.
  • the matrix of the weights (first weights) stored in the first weight storage unit 14 is set to M.M. W1-M.
  • W5 be the matrix of the weights (second weights) stored in the second weight storage unit 16, and W1-N. Set to W5.
  • the linear/non-linear separation/reconstruction unit 72 calculates the weight difference for each layer and determines whether or not to reconstruct the neural network.
  • the linear/non-linear separation/reconstruction unit 72 may calculate a weight difference for each layer, or may calculate a weight quotient for each layer. Specifically, the linear/non-linear separation/reconstruction unit 72 uses (N.W1-M.W1),..., (N.W5-M.W5), or (N.W1/M.W1),. , (N.W5/M.W5) may be calculated. When the calculated difference is 0 or when the calculated quotient is 1, it is determined that the layer corresponding to the weight does not contribute to the improvement in accuracy, and the linear/non-linear separation reconstruction unit 72 determines that layer. Determine to delete.
  • the learning data determining unit 20, the test data determining unit 22, the learning unit 32, the linearization amount determining unit 44, the aggregating unit 50, the linear/non-linear separation/reconstructing unit 72 are programs (neural network learning programs). It is realized by the processor of the computer which operates according to.
  • FIG. 29 is a flowchart showing an operation example of the neural network learning device of this exemplary embodiment.
  • the process of learning the neural network by setting the linearization amount to a value that can approximate the activation function to a linear function and determining the linearity is the same as the process from step S51 to step S53 illustrated in FIG. Is. However, the processing after Yes in step S52 is different.
  • the linear/non-linear separation/reconstruction unit 72 causes the learned neural network to complete the learning by the learning unit 34. It is determined that the weight of 1 is stored in the first weight storage unit 14 (step S71), and the learning process is repeated until the end condition is satisfied (No in step S17).
  • the linear/non-linear separation/reconstruction unit 72 stores the weight (first weight) of the learned neural network in the first weight storage unit 14 (step). S72). Further, as shown in the second embodiment, the learning unit 34 performs the process of step S100 illustrated in FIG. 17 for learning the neural network while increasing the linearization amount ⁇ based on the determination accuracy. Then, the linearization amount determination unit 44 stores the learned weight (second weight) of the neural network in the second weight storage unit 16 (step S73).
  • the linear/non-linear separation/reconstruction unit 72 determines whether or not there is a difference between the first weight and the second weight (step S74). When it is determined that there is no difference (Yes in step S74), the re-linear/non-linear separation/reconstruction unit 72 reconstructs the neural network (step S75). On the other hand, if it is determined that there is a difference (No in step S74), the process ends.
  • the linearization amount determination unit 44 sets the linearization amount to a value that can approximate the activation function to a linear function before the learning by the learning unit 34, and the learning result.
  • the first weight is stored when it is determined that the determination accuracy satisfies a predetermined criterion representing linearity.
  • the learning unit 34 sets the linearization amount to a value where the activation function indicates a non-linear function, and performs learning, and stores the learning result as the second weight.
  • the linear/non-linear separation/reconfiguration unit 72 reconfigures the neural network so as to delete a layer having a difference between corresponding weights of the first weight and the second weight smaller than a predetermined reference as a layer having linearity. To do. Therefore, the neural network can be learned so as to improve the accuracy and reduce the calculation amount.
  • FIG. 30 is a block diagram showing an outline of the neural network learning device according to the present invention.
  • the neural network learning device 80 includes a learning unit 81 (for example, the learning units 30, 32, 34) for learning a neural network, and parameters included in an activation function used in the neural network, which increases or decreases.
  • a linearization amount determination unit 82 for example, linearization amount determination units 40, 42, 44
  • determines a linearization amount for example, a linearization amount ⁇
  • a linearization amount ⁇ that is a parameter that brings the activation function closer to a linear function.
  • An aggregating unit 83 (eg, an aggregating unit) that replaces an activation function that is determined to converge to a linear function by increasing or decreasing the linearization amount with the linear function and aggregates interlayer weights using the replaced linear function. 50) and.
  • the learning unit 81 calculates an evaluation value (for example, an error, an evaluation accuracy, the number of outputs, etc.) based on the output of the neural network, and the linearization amount determination unit 82 determines the evaluation value in advance.
  • the linearization amount is changed when the above criteria are satisfied.
  • the neural network can be learned so as to reduce the amount of calculation.
  • the learning unit 81 may calculate the determination accuracy when the test data with the correct answer label is input to the neural network. Then, the linearization amount determination unit 82 may increase or decrease the linearization amount according to the increase in the determination accuracy.
  • the linearization amount determination unit 82 sets the linearization amount to a value that can approximate the activation function to a linear function before the learning by the learning unit, and as a result of the learning, the determination accuracy indicates a predetermined linearity.
  • the activation function is changed so that the activation function represents a non-linear function, and when it is determined that the criterion is satisfied, learning by the learning unit is continued while maintaining the linearization amount. Good.
  • the neural network learning device 80 deletes all the intermediate layers from the neural network under learning and sets the input layer and the output layer as linear functions.
  • a model reconstructing unit (for example, model reconstructing unit 70) that reconstructs a connected model with the activation function represented may be provided. Then, the learning unit 81 may learn the neural network using the reconstructed model.
  • the learning unit 81 may calculate an error between the learning data and the output of the neural network in learning the neural network. Then, the linearization amount determination unit 82 may increase or decrease the linearization amount according to the reduction of the error.
  • the neural network learning device 80 increases the number of dimensions of the input layer of the neural network by adding the value of learning data so as to increase the number of dimensions when the evaluation value deteriorates after the linearization amount is changed.
  • An input dimension addition unit (for example, the input dimension addition unit 60) that changes the structure of the neural network may be provided.
  • FIG. 31 is a schematic block diagram showing the configuration of a computer according to at least one embodiment.
  • the computer 1000 includes a processor 1001, a main storage device 1002, an auxiliary storage device 1003, and an interface 1004.
  • the above-mentioned neural network learning device is implemented in the computer 1000.
  • the operation of each processing unit described above is stored in the auxiliary storage device 1003 in the form of a program (neural network learning program).
  • the processor 1001 reads the program from the auxiliary storage device 1003, expands it in the main storage device 1002, and executes the above-described processing according to the program.
  • the auxiliary storage device 1003 is an example of a non-transitory tangible medium.
  • Other examples of non-transitory tangible media include magnetic disks, magneto-optical disks, CD-ROMs (Compact Disc Read-only memory), DVD-ROMs (Read-only memory), which are connected via the interface 1004.
  • a semiconductor memory etc. are mentioned. Further, when this program is distributed to the computer 1000 via a communication line, the computer 1000 that has received the distribution may expand the program in the main storage device 1002 and execute the above processing.
  • the program may be for realizing some of the functions described above. Further, the program may be a so-called difference file (difference program) that realizes the above-mentioned function in combination with another program already stored in the auxiliary storage device 1003.
  • difference file difference program
  • a learning unit that learns a neural network, and a linearization that is a parameter included in an activation function used in the neural network and that is a parameter that brings the activation function closer to a linear function by increasing or decreasing the activation function.
  • the linearization amount determining unit that determines the amount and the activation function, which is determined to converge to a linear function by increasing or decreasing the linearization amount, by the linear function, and using the replaced linear function.
  • An aggregating unit for aggregating weights the learning unit calculates an evaluation value based on an output from the neural network in learning of the neural network, and the linearization amount determining unit determines the evaluation value in advance.
  • a neural network learning device wherein the linearization amount is changed when the above criteria are satisfied.
  • the learning unit calculates the determination accuracy when the test data with the correct answer label is input to the neural network, and the linearization amount determination unit increases the linearization amount according to the increase of the determination accuracy.
  • the neural network learning device according to appendix 1, which reduces the number.
  • the linearization amount determination unit sets the linearization amount to a value that can approximate the activation function to a linear function before the learning by the learning unit, and as a result of the learning, the determination accuracy shows linearity. If it is determined that the predetermined criterion is not satisfied, the linearization amount is changed so that the activation function represents a non-linear function, and if it is determined that the criterion is satisfied, the learning unit performs learning while maintaining the linearization amount.
  • the neural network learning device according to attachment 2 to be continued.
  • the neural network learning device When it is determined that the determination accuracy satisfies a predetermined criterion representing linearity, all the intermediate layers are deleted from the neural network being learned, and the input layer and the output layer are activated by a linear activation function.
  • the neural network learning device further comprising a model reconstructing unit that reconstructs a connected model, and the learning unit learns a neural network using the reconstructed model.
  • the learning unit calculates an error between the learning data and the output of the neural network, and the linearization amount determination unit increases or decreases the linearization amount according to the decrease of the error.
  • the neural network learning device according to appendix 1.
  • the neural network learning device according to any one of appendices 1 to 5, comprising an input dimension adding unit that changes the structure of.
  • a linear/non-linear separation/reconstruction unit that reconstructs the structure of the neural network is provided, and the linearization amount determination unit sets the activation function to a value that can approximate a linear function before the learning by the learning unit.
  • the first weight is saved, and the learning unit linearizes the activation function to a value indicating a non-linear function.
  • the learning amount is set and the learning result is stored as the second weight, and the linear/non-linear separation/reconstruction unit determines the difference between the corresponding weights of the first weight and the second weight in advance. 7.
  • the neural network learning device according to any one of appendices 1 to 6, which reconfigures a neural network so as to delete a layer smaller than a reference as a layer having linearity.
  • a neural network is learned, and in the learning of the neural network, an evaluation value based on an output from the neural network is calculated, and the parameter is included in an activation function used in the neural network and increases or decreases.
  • the linearization amount that is a parameter that brings the activation function closer to a linear function
  • the activation function that is determined to converge to a linear function by reducing the value is replaced with the linear function, and the weights between layers using the replaced linear function are aggregated.
  • a linearization amount determination process for determining a linearization amount, and the activation function determined to converge to a linear function by increasing or decreasing the linearization amount is replaced with the linear function, and the replaced linear function is
  • An aggregation process for aggregating the weights between layers to be used is executed, in the learning process, an evaluation value based on the output of the neural network is calculated in the learning of the neural network, and the evaluation value is calculated in the linearization amount determination process.
  • the computer causes the neural network to calculate the determination accuracy when the test data with the correct answer is input in the learning processing, and the linearization amount determination processing performs the linearization amount according to the increase in the determination accuracy.
  • the neural network learning program according to supplementary note 11, which increases or decreases.
  • the computer In the learning process, the computer is caused to calculate an error between the learning data and the output by the neural network in the learning of the neural network, and in the linearization amount determination process, the linearization amount is calculated according to the decrease of the error.
  • the present invention can be suitably applied to a neural network learning device that learns a neural network.
  • a neural network learning device that learns a neural network. For example, in the field of automobiles, by reducing the amount of calculation, the speed and power consumption of the in-vehicle ECU (Electronic Control Unit) are reduced, the storage capacity (memory capacity, etc.) is reduced, the development of new functions is shortened, and the weight W is reduced. It is possible to verify the authentication function using.
  • ECU Electronic Control Unit
  • learning data storage unit 12 test data storage unit 14 first weight storage unit 16 second weight storage unit 20 learning data determination unit 22 test data determination unit 30, 32, 34 learning unit 40, 42, 44 linear amount determination unit 50 aggregation Part 60 input dimension adding part 70 model reconstructing part 72 linear/non-linear separation/reconstructing part 100, 200, 300, 400, 500, 600 neural network learning device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Abstract

学習部８１は、ニューラルネットワークを学習する。線形化量決定部８２は、ニューラルネットワークで用いられる活性化関数に含まれるパラメータであって、増加または減少させることによりその活性化関数を線形関数に近づけるパラメータである線形化量を決定する。集約部８３は、線形化量を増加または減少させることにより線形関数に収束すると判断される活性化関数をその線形関数に置き換えて、置き換えた線形関数を用いる層間の重みを集約する。学習部８１は、ニューラルネットワークの学習において、そのニューラルネットワークによる出力に基づく評価値を算出し、線形化量決定部８２は、評価値が予め定められた基準を満たす場合に、線形化量を変化させる。

Description

ニューラルネットワーク学習装置、方法およびプログラム
　本発明は、ニューラルネットワークを学習するニューラルネットワーク学習装置、ニューラルネットワーク学習方法およびニューラルネットワーク学習プログラムに関する。
　ニューラルネットワークは、機械学習で用いられるモデルの一つであり、人間の脳内にある神経回路網を数学的なモデルで表現したものである。ニューラルネットワークは、入力層および出力層を含み、各層の間には、ニューロン同士の繋がりの強さを示す重みＷが考慮される。また、複雑なモデルを表現するために、入力層と出力層の間に中間層（隠れ層）が含まれる。なお、神経科学におけるニューラルネットワークと区別するため、機械学習で用いられるニューラルネットワークのことは人工ニューラルネットワークと呼ばれることもある。
　単純パーセプトロンと呼ばれる初期の人工ニューラルネットワークは、入力（Ｉｎｉ）に、各層の重み（Ｗ）を用いて出力（Ｏｕｔｉ）を得る構造を有する。図３２は、ニューラルネットワークの構造を示す説明図である。図３２に示す人工ニューラルネットワークにおいて、例えば、Ｏｕｔ１は、各Ｉｎｉ（ｉ＝１～３）からの出力に重みｗ１ｉを乗じて加算された結果である。
　図３３は、線形分離可能な問題と線形非分離な問題を模式的に表した説明図である。単純パーセプトロンを用いることで、図３３（ａ）に示すような線形分離可能な問題を解くことができる。一方、単純パーセプトロンは、単純な構造であるため、図３３（ｂ）に示すような線形非分離である問題を解くことができない。そこで、線形非分離である問題に対応できるようにするため、多層パーセプトロンが一般的に用いられている。
　図３４は、多層パーセプトロンを示す説明図である。多層パーセプトロンは、入力（Ｉｎｉ）に、各層の重み（Ｗｉ）を用いて出力（Ｏｕｔｉ）を得る構造を有し、図３４に示す多層パーセプトロンは、４つの隠れ層を有する。例えば、中間層Ｈ１１は、以下に示す式１により計算される。同様の方法で、各中間層における値が順方向に計算される。
Figure JPOXMLDOC01-appb-M000001
　式１において、ｂはバイアス値である。また、式１におけるｗ１ｉは、以下に示す式２により計算される。
Figure JPOXMLDOC01-appb-M000002
　図３５は、非線形関数を示す説明図である。脳をモデル化するために用いられる活性化関数ψ（ｘ）は、図３５に示すような非線形関数が用いられる。多層パーセプトロンを用いることで、線形非分離問題であっても解くことが可能になる。
　ニューラルネットワークは、例えば、ディープラーニングに用いられ、複雑な入力に対して精度の高い結果を出力できるため、様々な分野での活用が広がっている。そのため、ニューラルネットワークの学習を適切に行う方法が各種提案されている。
　例えば、特許文献１には、学習工程を効率的に完了させるニューラルネットワークの学習方法が記載されている。特許文献１に記載された学習方法では、ニューラルネットワークの出力の精度が改善されない状態になった場合に、パラメータを過去の状態に戻すとともに学習率も低下させ、過去の状態に戻されたパラメータおよび低下させた学習率で再度学習を行う。
特開２０１８－１６０２００号公報
　ニューラルネットワークの学習過程において、入力に対応する学習データと出力との誤差から重みを修正する誤差逆伝播法が用いられる。図３６は、コンピュータを用いてニューラルネットワークを学習する一般的な方法の例を示す説明図である。
　コンピュータは、学習データセット１１０から学習データ１１１を決定する（ステップＳ１１０）。コンピュータは、決定した学習データ１１１を入力データ１１２として多層ニューラルネットワーク１１３へ入力し（ステップＳ１２０）、出力データ１１４を取得する（ステップＳ１３０）。コンピュータは、出力データ１１４と学習データ１１１の誤差を計算する（ステップＳ１４０）。コンピュータは、計算した誤差を入力方向へ伝搬させ、重みを修正する（ステップＳ１５０、ステップＳ１６０）。なお、修正量は、学習率により決定される。入力層までの重みが修正されると、コンピュータは、ステップＳ１１０以降の処理を繰り返す。
　線形分離可能な問題は、単純パーセプトロンで解決できることが知られている。しかし、特許文献１に記載されている方法のように、現在のニューラルネットワークを活用する場面では、学習対象が線形分離可能か不可能かに関わらず、線形非分離な問題として学習が行われる。この場合、各層の計算に非線形関数が用いられるため、各層の重みの意味が分からず、構造として学習前に設計したニューラルネットワークの階層（または中間層）の数を変更させられないために計算量が削減できないという問題がある。
　そこで、本発明は、計算量を削減するようにニューラルネットワークを学習できるニューラルネットワーク学習装置、ニューラルネットワーク学習方法およびニューラルネットワーク学習プログラムを提供することを目的とする。
　本発明によるニューラルネットワーク学習装置は、ニューラルネットワークを学習する学習部と、ニューラルネットワークで用いられる活性化関数に含まれるパラメータであって、増加または減少させることによりその活性化関数を線形関数に近づけるパラメータである線形化量を決定する線形化量決定部と、線形化量を増加または減少させることにより線形関数に収束すると判断される活性化関数をその線形関数に置き換えて、置き換えた線形関数を用いる層間の重みを集約する集約部とを備え、学習部が、ニューラルネットワークの学習において、そのニューラルネットワークによる出力に基づく評価値を算出し、線形化量決定部が、評価値が予め定められた基準を満たす場合に、線形化量を変化させることを特徴とする。
　本発明によるニューラルネットワーク学習方法は、ニューラルネットワークを学習し、ニューラルネットワークの学習において、そのニューラルネットワークによる出力に基づく評価値を算出し、ニューラルネットワークで用いられる活性化関数に含まれるパラメータであって、増加または減少させることによりその活性化関数を線形関数に近づけるパラメータである線形化量を決定し、評価値が予め定められた基準を満たす場合に、線形化量を変化させ、線形化量を増加または減少させることにより線形関数に収束すると判断される活性化関数をその線形関数に置き換えて、置き換えた線形関数を用いる層間の重みを集約することを特徴とする。
　本発明によるニューラルネットワーク学習プログラムは、コンピュータに、ニューラルネットワークを学習する学習処理、ニューラルネットワークで用いられる活性化関数に含まれるパラメータであって、増加または減少させることによりその活性化関数を線形関数に近づけるパラメータである線形化量を決定する線形化量決定処理、および、線形化量を増加または減少させることにより線形関数に収束すると判断される活性化関数をその線形関数に置き換えて、置き換えた線形関数を用いる層間の重みを集約する集約処理を実行させ、学習処理で、ニューラルネットワークの学習において、そのニューラルネットワークによる出力に基づく評価値を算出させ、線形化量決定処理で、評価値が予め定められた基準を満たす場合に、線形化量を変化させることを特徴とする。
　本発明によれば、計算量を削減するようにニューラルネットワークを学習できる。
本発明によるニューラルネットワーク学習装置の第一の実施形態の構成例を示すブロック図である。 Ｓｃａｌｉｎｇ　Ｔａｎｈの変化例を示す説明図である。 線形化量を増加させる度合いの例を示す説明図である。 線形近似を判定する際に設定する範囲の例を示す説明図である。 重みを集約したニューラルネットワークの例を示す説明図である。 活性化関数を部分的に線形近似する処理の例を示す説明図である。 Ｓｃａｌｉｎｇ　Ｓｉｇｍｏｉｄの変化例を示す説明図である。 Ｓｃａｌｉｎｇ　Ｓｉｇｍｏｉｄの傾きの変化例を示す説明図である。 Ｓｃａｌｉｎｇ　ＲｅＬＵの変化例を示す説明図である。 Ｓｃａｌｉｎｇ　ＰＲｅＬＵの変化例を示す説明図である。 Ｍｉｎ　ａｎｄ　Ｍａｘの変化例を示す説明図である。 一般化Ｓｃａｌｉｎｇ　Ｔａｎｈの変化例を示す説明図である。 一般化Ｓｃａｌｉｎｇ　Ｔａｎｈの傾きの変化例を示す説明図である。 第一の実施形態のニューラルネットワーク学習装置の動作例を示すフローチャートである。 重みを集約したニューラルネットワークの例を示す説明図である。 本発明によるニューラルネットワーク学習装置の第二の実施形態の構成例を示すブロック図である。 第二の実施形態のニューラルネットワーク学習装置の動作例を示すフローチャートである。 入力次元を増加させた場合の線形分離化の例を示す説明図である。 本発明によるニューラルネットワーク学習装置の第三の実施形態の構成例を示すブロック図である。 第三の実施形態のニューラルネットワーク学習装置の動作例を示すフローチャートである。 本発明によるニューラルネットワーク学習装置の第四の実施形態の構成例を示すブロック図である。 第四の実施形態のニューラルネットワーク学習装置の動作例を示すフローチャートである。 本発明によるニューラルネットワーク学習装置の第五の実施形態の構成例を示すブロック図である。 ニューラルネットワークを再構築する方法の例を示す説明図である。 ニューラルネットワークを再構築する方法の他の例を示す説明図である。 第五の実施形態のニューラルネットワーク学習装置の動作例を示すフローチャートである。 本発明によるニューラルネットワーク学習装置の第六の実施形態の構成例を示すブロック図である。 ニューラルネットワークを再構成する処理の例を示す説明図である。 第六の実施形態のニューラルネットワーク学習装置の動作例を示すフローチャートである。 本発明によるニューラルネットワーク学習装置の概要を示すブロック図である。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。 ニューラルネットワークの構造を示す説明図である。 線形分離可能な問題と線形非分離な問題を模式的に表した説明図である。 多層パーセプトロンを示す説明図である。 非線形関数を示す説明図である。 コンピュータを用いてニューラルネットワークを学習する一般的な方法の例を示す説明図である。
　以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
　図１は、本発明によるニューラルネットワーク学習装置の第一の実施形態の構成例を示すブロック図である。本発明におけるニューラルネットワーク学習装置１００は、学習データ記憶部１０と、学習データ決定部２０と、学習部３０と、線形化量決定部４０と、集約部５０とを備えている。
　学習データ記憶部１０は、後述する学習部３０が学習に用いる複数の学習データ（学習データセット）を記憶する。また、学習データ記憶部１０は、後述する学習部３０がモデルを生成するために必要な各種パラメータを記憶していてもよい。本実施形態では、学習前に入力層、中間層の数および出力層、並びに、各層の接続形態を含むネットワーク構造がパラメータ等を用い予め定められ、学習データ記憶部１０に記憶されているものとする。学習データ記憶部１０は、例えば、磁気ディスク等により実現される。
　学習データ決定部２０は、学習データ記憶部１０から学習データを取得し、学習部３０に入力する。学習データ決定部２０が取得する学習データを決定する方法は任意である。また、学習データ決定部２０は、後述する学習部３０が学習に用いた学習データを特定してもよい。
　学習部３０は、学習データ決定部２０により入力された学習データを用いてニューラルネットワークを学習する。学習部３０は、広く知られた方法を用いてニューラルネットワークを学習すればよい。本実施形態では、学習部３０が誤差逆伝播法を用いてニューラルネットワークを学習する方法を説明する。具体的には、学習部３０は、入力された学習データを（多層）ニューラルネットワークへ入力し、出力を取得する。そして、学習部３０は、出力と学習データとの誤差を算出し、算出された誤差を出力から入力方向へ伝搬させ、入力層までの各層の重みを修正する。修正量は、学習率により決定されるため、用いられる学習率は、予め定めておけばよい。
　さらに、本実施形態では、学習部３０は、ニューラルネットワークの学習の際、そのニューラルネットワークによる出力に基づく評価値を算出する。学習部３０が算出する評価値として、出力と学習データとの誤差や、検証データによる出力の判定精度、出力回数などが挙げられる。
　本実施形態では、学習部３０が、算出した誤差を評価値として用いる場合について説明する。すなわち、学習部３０は、ニューラルネットワークの学習において、学習データとそのニューラルネットワークによる出力との誤差を算出する。
　線形化量決定部４０は、ニューラルネットワークで用いられる活性化関数に含まれるパラメータであって、増加または減少させることによりその活性化関数を線形関数に近づけるパラメータ（以下、線形化量と記す。）を決定する。具体的には、線形化量決定部４０は、学習部３０によって算出された評価値が予め定められた基準を満たす場合に、線形化量を予め定めた分だけ変化させる。本実施形態では、線形化量を増加または減少させる方法を説明する。
　以下の式３に例示する関数は、線形化量γを含む活性化関数の一例である。
Figure JPOXMLDOC01-appb-M000003
　式３に示す活性化関数は、Ｓｃａｌｉｎｇ　Ｔａｎｈと呼ばれる活性化関数であり、γを増加させると線形関数ｙ＝ｘに近づく。図２は、Ｓｃａｌｉｎｇ　Ｔａｎｈの変化例を示す説明図である。図２では、γを１から１０００まで変化させた場合のグラフの変化を例示している。図２に例示するように、上記の式３では、γ＞０のときに、出力が±γを超えない。また、式３における微分は、以下の式４に示すように、原点付近で傾き１になる。
Figure JPOXMLDOC01-appb-M000004
　線形化量決定部４０は、学習過程において、線形化量γを逐次増加または減少させる。本実施形態では、線形化量決定部４０は、誤差の減少に応じて線形化量を増加または減少させる。線形化量決定部４０は、例えば、評価値として算出された誤差が予め定めた閾値より小さくなったときに線形化量を増加または減少させてもよい。線形化量を変更する度合いは、学習率等と同様に予め定めておけばよく、線形化量決定部４０は、例えば、誤差ｅｒｒに対し、以下の式５で算出されるγを適用してもよい。
Figure JPOXMLDOC01-appb-M000005
　図３は、線形化量を増加させる度合いの例を示す説明図である。図３に例示するグラフは、上記式５によって定められる度合いであり、誤差が小さくなるほど線形化量が大きく設定されることを示す。
　集約部５０は、線形化量を増加または減少させることにより線形関数に収束すると判断される活性化関数をその線形関数に置き換える。例えば、上記式３に示す活性化関数を用いた場合に、学習過程において線形化量γを増加させた結果、学習の終了時にγ＝∞（無限大）にできるとする。この場合、集約部５０は、線形近似可能と判断し、活性化関数を以下の式６に示すように、傾き１の線形関数に置き換える。
Figure JPOXMLDOC01-appb-M000006
　また、集約部５０は、γを予め定めた閾値（例えばγ＝１６など）以上の場合に、線形近似可能と判定して、線形関数に置き換えてもよい。また、中間層の出力に対して集約させる線形関数の傾きと見なせる範囲（以下、線形近似範囲と記す。）を設定しておき、集約部５０は、γを増加させたときの活性化関数の傾きがその範囲内の場合に線形近似可能と判定して、線形関数に置き換えてもよい。
　図４は、線形近似を判定する際に設定する範囲の例を示す説明図である。図４に例示するように、原点付近の範囲を設定しておき、集約部５０は、この範囲内における傾きを算出してもよい。例えば、集約させる線形関数の傾きが１の場合、傾き＝０．９５を傾き１と見なせる範囲と設定しておき、集約部５０は、γを増加させたときの活性化関数の傾きが０．９５以上の場合に線形近似可能と判定して、線形関数に置き換えてもよい。
　なお、集約部５０は、γ＝∞にできないと判断した場合、活性化関数を線形関数に置き換えられないと判断して、集約処理を中止すればよい。また、上記説明では、誤差の減少に応じて線形化量γを増加させる方法を説明したが、学習部３０がγ＝１で学習を行った後で、推論の精度を維持できるようにγ＝∞に変更されてもよい。
　そして、集約部５０は、置き換えた線形関数を用いる層間の重みを集約する。例えば、図３４に例示するニューラルネットワークで用いる活性化関数が全て線形関数に置き換え可能であったとする。この場合、集約部５０は、図３４に例示する重みＷ１～Ｗ５を以下の式７に例示する重みＷに集約する。
　Ｗ＝Ｗ５Ｗ４Ｗ３Ｗ２Ｗ１　（式７）
　集約された重みＷを用いることで、推論時には、以下に例示する式８を用いて計算を行うことができる。
　Ｏｕｔ＝Ｗ・Ｉｎ　　（式８）
　このように集約部５０が重みを集約することで、計算量を削減することが可能になる。例えば、上記に示す式７の例では、計算量を５分の１に削減することが可能になる。
　なお、集約部５０は、全ての層間の重みだけでなく、一部の層間の重みを集約してもよい。例えば、一部の活性化関数のみ線形関数に置き換えられた場合、集約部５０は、置き換えた一部の層間の重みのみ集約してもよい。例えば、図３４に例示するニューラルネットワークの入力層、第一層および第二層の活性化関数を線形関数に置き換え可能であったとする。この場合、集約部５０は、図３４に例示する重みＷ１～Ｗ５を以下の式９に例示する重みＷｐａｒｔに集約してもよい。
　Ｗｐａｒｔ＝Ｗ３Ｗ２Ｗ１　（式９）
　図５は、重みを集約したニューラルネットワークの例を示す説明図である。図５に例示するニューラルネットワークに重みを集約した場合、一部を集約した重みＷｐａｒｔを用いることで、推論時には、以下に例示する式１０を用いて計算を行うことができる。
　Ｏｕｔ＝Ｗｐａｒｔ・Ｉｎ　　（式１０）
　以下、活性化関数を部分的に線形近似する場合の具体例を説明する。図６は、活性化関数を部分的に線形近似する処理の例を示す説明図である。活性化関数を部分的に線形近似できる状態とは、一つのニューラルネットワークに含まれる一部のニューラルネットワークの構造を変更できる状態を示す。例えば、部分的に「ある特徴量」を抽出するための構造を設計した場合には、各特徴量を抽出する構造自体が、一部のニューラルネットワークに対応する。
　例えば、図６に例示するように、ある画像データのセットから、丸、三角および四角を分類する処理を想定した場合、丸の有無の判定、三角の有無の判定および四角の有無の判定を別々のネットワーク構造で構成することができる。最終的に三種類の判定回路の出力をまとめて一つの出力を作る構成を一つのニューラルネットワークとした場合、例えば、丸の有無の判定だけ線形近似できる状況が部分的に線形近似できる状況に対応する。
　なお、上記説明では、Ｓｃａｌｉｎｇ　Ｔａｎｈを活性化関数の一例として説明したが、活性化関数は、Ｓｃａｌｉｎｇ　Ｔａｎｈに限定されない。以下、線形化量を変更することにより線形関数に近づく活性化関数の例をいくつか説明する。
　第一の他の活性化関数の例として、Ｓｃａｌｉｎｇ　Ｓｉｇｍｏｉｄが挙げられる。Ｓｃａｌｉｎｇ　Ｓｉｇｍｏｉｄは、以下に例示する式１１で表される関数であり、γを１から∞まで増加させたときに、φ（ｘ）＝０．２５ｘ＋０．５に近似される関数である。また、式１１の微分は、以下の式１２で表される。
Figure JPOXMLDOC01-appb-M000007
　図７は、Ｓｃａｌｉｎｇ　Ｓｉｇｍｏｉｄの変化例を示す説明図である。また、図８は、Ｓｃａｌｉｎｇ　Ｓｉｇｍｏｉｄの傾きの変化例を示す説明図である。図７では、γを１から１０００まで変化させた場合のグラフの変化を例示している。図７に例示するようにγを増加させていくと、図７に例示するグラフは、図８に例示する傾きで示されるように、最終的に切片０．５を通る傾き０．２５の直線に近似される。
　第二の他の活性化関数の例として、Ｓｃａｌｉｎｇ　ＲｅＬＵが挙げられる。Ｓｃａｌｉｎｇ　ＲｅＬＵは、以下に例示する式１３で表される関数であり、γを０から－∞まで減少させたときに、φ（ｘ）＝ｘに近似される関数である。また、式１３の微分は、以下の式１４で表される。
Figure JPOXMLDOC01-appb-M000008
　図９は、Ｓｃａｌｉｎｇ　ＲｅＬＵの変化例を示す説明図である。図９では、γを０から－１０００まで変化させた場合のグラフの変化を例示している。図９に例示するように、γを減少させていくと、図９に例示するグラフは、最終的に、原点を通る傾き１の直線に近似される。
　第三の他の活性化関数の例として、Ｓｃａｌｉｎｇ　ＰＲｅＬＵが挙げられる。Ｓｃａｌｉｎｇ　ＰＲｅＬＵは、以下に例示する式１５で表される関数であり、γを０から（１－α）（ただし、０＜α＜１）まで増加させたときに、φ（ｘ）＝ｘに近似される関数である。また、式１５の微分は、以下の式１６で表される。
Figure JPOXMLDOC01-appb-M000009
　図１０は、Ｓｃａｌｉｎｇ　ＰＲｅＬＵの変化例を示す説明図である。図１０では、α＝０．２とし、γを０から０．８まで変化させた場合のグラフの変化を例示している。図１０に例示するように、γを増加させていくと、図１０に例示するグラフは、最終的に、原点を通る傾き１の直線に近似される。
　第四の他の活性化関数の例として、Ｍｉｎ　ａｎｄ　Ｍａｘが挙げられる。Ｍｉｎ　ａｎｄ　Ｍａｘは、以下に例示する式１７で表される関数であり、γを０から∞まで増加させたときに、φ（ｘ）＝ｘに近似される関数である。また、式１７の微分は、以下の式１８で表される。
Figure JPOXMLDOC01-appb-M000010
　図１１は、Ｍｉｎ　ａｎｄ　Ｍａｘの変化例を示す説明図である。図１１では、γを１から１０００まで変化させた場合のグラフの変化を例示している。図１１に例示するように、γを増加させていくと、図１１に例示するグラフは、最終的に、原点を通る傾き１の直線に近似される。
　他にも、上述するＳｃａｌｉｎｇ　Ｔａｎｈを一般化した一般化Ｓｃａｌｉｎｇ　Ｔａｎｈが活性化関数として用いられてもよい。一般化Ｓｃａｌｉｎｇ　Ｔａｎｈは、以下に例示する式１９で表される関数であり、γを１から∞まで増加させたときに、φ（ｘ）＝αｘに近似される関数である。また、式１９の微分は、以下の式２０で表される。
Figure JPOXMLDOC01-appb-M000011
　図１２は、一般化Ｓｃａｌｉｎｇ　Ｔａｎｈの変化例を示す説明図である。また、図１３は、一般化Ｓｃａｌｉｎｇ　Ｔａｎｈの傾きの変化例を示す説明図である。図１２では、α＝３とし、γを１から１０００まで変化させた場合のグラフの変化を例示している。図１２に例示するように、γを増加させていくと、図１２に例示するグラフは、図１３に例示する傾きで示されるように、最終的に原点を通る傾きα＝３の直線に近似される。
　以降、学習処理が終了するまで、上記処理が繰り返される。
　学習データ決定部２０と、学習部３０と、線形化量決定部４０と、集約部５０とは、プログラム（ニューラルネットワーク学習プログラム）に従って動作するコンピュータのプロセッサ（例えば、ＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array ））によって実現される。
　例えば、プログラムは、ニューラルネットワーク学習装置の記憶部（図示せず）に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、学習データ決定部２０、学習部３０、線形化量決定部４０および集約部５０として動作してもよい。また、ニューラルネットワーク学習装置の機能がＳａａＳ（Software as a Service ）形式で提供されてもよい。
　学習データ決定部２０と、学習部３０と、線形化量決定部４０と、集約部５０とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。
　また、ニューラルネットワーク学習装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
　次に、本実施形態のニューラルネットワーク学習装置の動作を説明する。図１４は、本実施形態のニューラルネットワーク学習装置の動作例を示すフローチャートである。学習データ決定部２０は、学習データ記憶部１０に記憶された学習データセットから学習データを決定し（ステップＳ１１）、入力データとして学習部３０に入力する（ステップＳ１２）。学習部３０は、入力された学習データを（多層）ニューラルネットワークに適用することで出力を取得し（ステップＳ１３）、出力と学習データとの誤差を算出する（ステップＳ１４）。
　学習部３０は、誤差を出力から入力方向へ伝搬させて入力層までの重みを修正する（ステップＳ１５）。一方、線形化量決定部４０は、誤差の減少に応じて線形化量を増加または減少させる（ステップＳ１６）。集約部５０は、学習処理の終了条件を満たしているか判断する（ステップＳ１７）。終了条件は任意であり、例えば、予め定めた回数や時間等が挙げられる。終了条件を満たしていない場合（ステップＳ１７におけるＮｏ）、ステップＳ１１以降の処理が繰り返される。
　一方、終了条件を満たしている場合（ステップＳ１７におけるＹｅｓ）、集約部５０は、線形関数に収束すると判断される活性化関数をその線形関数に置き換えて、置き換えた線形関数を用いる層間の重みを集約する（ステップＳ１８）。
　以上のように、本実施形態では、学習部３０が、ニューラルネットワークの学習において、そのニューラルネットワークによる出力に基づく評価値（具体的には、誤差）を算出し、線形化量決定部４０が、評価値が予め定められた基準を満たす場合に、線形化量を変化させる。具体的には、線形化量決定部４０は、誤差の減少に応じて線形化量を増加または減少させる。そして、集約部５０が、線形化量を増加または減少させることにより線形関数に収束すると判断される活性化関数をその線形関数に置き換えて、置き換えた線形関数を用いる層間の重みを集約する。よって、計算量を削減するようにニューラルネットワークを学習できる。
　例えば、特許文献１に記載されているような一般的なニューラルネットワークの学習において、学習率を調整して最適解を求めることは行われていたが、予め定められた非線形な活性化関数を変更するという技術的思想は存在しなかった。一方、本実施形態では、学習部３０が、多層ニューラルネットワークの学習過程にて、拡大縮小が可能な活性化関数を用いて、学習途中で活性化関数を線形変更へ変形させる。すなわち、パラメータを変えることにより、元の非線形関数を線形関数に近づけたり、元の非線形関数に戻したりできる活性化関数が用いられる。そのため、学習対象が線形分離可能か不可能かの判断が可能になる。
　図１５は、重みを集約したニューラルネットワークの例を示す説明図である。例えば、図３４に例示するニューラルネットワークについて、線形化量を増加または減少させた学習の結果、Ｗ１の重みが以下の式２１で示す行列で表されるものとする。この場合、以下の式２１で示す行列は、式２２で示す２つの（行列）式に変形できる。そこで、集約部５０は、図１５の部分Ｐ１に示すように重みを集約したニューラルネットワークを構築してもよい。
Figure JPOXMLDOC01-appb-M000012
　また、Ｗ４の重みについて、ｗ１２、ｗ１３、ｗ２１、ｗ２２、ｗ３１、および、ｗ３３が十分小さいとする。この場合、集約部５０は、図１５の部分Ｐ２に示すように、接続関係を削除する、いわゆる枝刈りをすることによってニューラルネットワークを構築してもよい。
　次に、本実施形態のニューラルネットワーク学習装置の変形例を説明する。上記実施形態では、線形化量決定部４０が、誤差の減少に応じて線形化量を増加または減少させた。線形化量決定部４０は、線形化量を増加または減少させる条件として、さらに、中間層の出力を考慮してもよい。具体的には、線形化量決定部４０は、誤差の減少に加え、中間層の出力が、集約させる線形関数の傾きと見なせるものとして設定された範囲（すなわち、線形近似範囲）の場合に、線形化量を増加または減少させてもよい。
実施形態２．
　次に、本発明によるニューラルネットワーク学習装置の第二の実施形態を説明する。第一の実施形態では、学習部４０が評価値として算出した誤差に基づいて線形化量を増加または減少させる方法を説明した。本実施形態では、評価値として検証データによる出力の判定精度を用いて線形化量を変更する方法を説明する。
　図１６は、本発明によるニューラルネットワーク学習装置の第二の実施形態の構成例を示すブロック図である。本実施形態のニューラルネットワーク学習装置２００は、学習データ記憶部１０と、テストデータ記憶部１２と、学習データ決定部２０と、テストデータ決定部２２と、学習部３２と、線形化量決定部４２と、集約部５０とを備えている。
　すなわち、本実施形態のニューラルネットワーク学習装置２００は、第一の実施形態のニューラルネットワーク学習装置１００と比較して、テストデータ記憶部１２およびテストデータ決定部２２をさらに備え、学習部３０および線形化量決定部４０の代わりに、それぞれ学習部３２および線形化量決定部４２を備えている点において異なる。
　テストデータ記憶部１２は、後述する学習部３２が、ニューラルネットワークの判定精度を算出する際に用いる正解ラベル付のテストデータを記憶する。テストデータ記憶部１２は、例えば、磁気ディスク等により実現される。
　テストデータ決定部２２は、テストデータ記憶部１２からテストデータを取得し、学習部３２に入力する。テストデータ決定部２２が取得するテストデータを決定する方法は任意である。また、テストデータ決定部２２は、後述する学習部３２が評価に用いたテストデータを特定してもよい。
　学習部３２は、第一の実施形態と同様の方法を用いて、学習データ決定部２０により入力された学習データを用いてニューラルネットワークを学習する。さらに、本実施形態では、学習部３２は、入力されたテストデータを（多層）ニューラルネットワークへ入力し、出力を取得する。そして、学習部３２は、出力とテストデータの正解ラベルとに基づいて判定精度を算出する。
　具体的には、学習部３２は、ニューラルネットワークに、正解ラベル付のテストデータを入力した際の判定精度を算出する。判定精度を算出する方法は任意であり、例えば正解率を算出する方法など、広く知られた方法が用いられれば良い。
　線形化量決定部４２は、算出された判定精度の増加に応じて線形化量を増加または減少させる。線形化量決定部４２は、例えば、評価値として算出された判定精度が目標とした値になったとき（予め定めた閾値よりも高くなったとき）に線形化量を増加または減少させてもよい。線形化量を変更させる度合いは、第一の実施形態と同様に予め定めておけばよい。
　集約部５０は、第一の実施形態と同様、線形化量を増加または減少させることにより線形関数に収束すると判断される活性化関数をその線形関数に置き換え、置き換えた線形関数を用いる層間の重みを集約する。
　以降、学習処理が終了するまで、上記処理が繰り返される。なお、線形化量決定部４２は、学習データが入力されるごとに、線形化量を更新してもよく、複数の学習データによる学習が行われるごとに、線形化量を更新してもよい。
　学習データ決定部２０と、テストデータ決定部２２と、学習部３２と、線形化量決定部４２と、集約部５０とは、プログラム（ニューラルネットワーク学習プログラム）に従って動作するコンピュータのプロセッサによって実現される。
　次に、本実施形態のニューラルネットワーク学習装置の動作を説明する。図１７は、本実施形態のニューラルネットワーク学習装置の動作例を示すフローチャートである。学習データを入力して重みを修正するステップＳ１１からステップＳ１５までの処理は、図１４に例示する処理と同様である。
　テストデータ決定部２２は、テストデータ記憶部１２に記憶されたテストデータセットからテストデータを決定し（ステップＳ２１）、入力データとして学習部３２に入力する（ステップＳ２２）。学習部３２は、入力されたテストデータを（多層）ニューラルネットワークに適用することで出力を取得し（ステップＳ２３）、出力とテストデータに基づいて正解率（判定精度）を算出する（ステップＳ２４）。
　線形化量決定部４２は、判定精度が目標とした値になったか否か判断する（ステップＳ２５）。判定精度が目標とした値になった場合（ステップＳ２５におけるＹｅｓ）、線形化量決定部４２は、線形化量γを増加または減少させる（ステップＳ２６）。一方、判定精度が目標とした値になっていない場合（ステップＳ２５におけるＮｏ）、線形化量γは変更せずに処理を継続する。
　以降、集約部５０が学習処理の終了条件を判断して活性化関数を線形関数に置き換えるステップＳ１７およびステップＳ１８の処理は、図１４に例示する処理と同様である。
　以上のように、本実施形態では、学習部３２が、ニューラルネットワークに、ラベル付のテストデータを入力した際の判定精度を算出し、線形化量決定部４２が、判定精度の増加に応じて線形化量を増加または減少させる。よって、第一の実施形態と同様、計算量を削減するようにニューラルネットワークを学習できる。
　なお、第一の実施形態では、学習部３０が評価値として誤差を算出し、第二の実施形態では、学習部３２が評価値として判定精度を算出する方法を説明した。他にも、学習部は、学習結果の出力回数を評価値としてもよい。
実施形態３．
　次に、本発明によるニューラルネットワーク学習装置の第三の実施形態を説明する。第一の実施形態および第二の実施形態では、誤差や判定精度に基づいて線形化量を変更させていた。一方、線形化量を変更することにより活性化関数を更新した場合、線形分離できないデータの影響によって、誤差の増大や判定精度の低下が想定される。
　一方、線形分離できないデータの集合であっても、データの入力次元を増加させることで線形分離できるようになることが知られている。図１８は、入力次元を増加させた場合の線形分離化の例を示す説明図である。図１８に例示するように、二次元のＸＯＲ（exclusive or）は、線形分離できない。一方、入力次元を四次元に増加させ、増加させた次元のデータの値を０（または１）にした場合、三次元線形空間を用いてＸＯＲを線形分離可能になる。図１８（ａ）に例示する分離は、追加した次元の値が０の場合に、１を線形分離している例であり、図１８（ｂ）に例示する分離は、追加した次元の値が１の場合に、０を線形分離している例である。
　そこで、本実施形態では、線形化量の変更に応じて学習データを修正する方法を説明する。図１９は、本発明によるニューラルネットワーク学習装置の第三の実施形態の構成例を示すブロック図である。本実施形態のニューラルネットワーク学習装置３００は、学習データ記憶部１０と、学習データ決定部２０と、学習部３０と、線形化量決定部４０と、集約部５０と、入力次元追加部６０とを備えている。
　すなわち、本実施形態のニューラルネットワーク学習装置３００は、第一の実施形態のニューラルネットワーク学習装置１００と比較して、入力次元追加部６０をさらに備える点において異なる。
　入力次元追加部６０は、線形化量が変更されたあとで評価値が悪化した場合、次元数を増加させるように学習データの値を追加し、ニューラルネットワークの入力層の次元数を増加させるようにニューラルネットワークの構造を変更する。具体的には、入力次元追加部６０は、線形化量を増加または減少させたあとで誤差が大きくなる場合、ｎ個の学習データ（例えば、［Ｉｎ１，…，Ｉｎｉ，Ｏｕｔ１，…，Ｏｕｔｊ］）に、入力次元を１次元増加させた学習データ（例えば、［Ｉｎ１，…，Ｉｎｉ，Ｉｎｉ＋１，Ｏｕｔ１，…，Ｏｕｔｊ］＝［Ｉｎ１，…，Ｉｎｉ，１，１，…，１］）を追加する。そして、入力次元追加部６０は、入力次元を１増加させるように、多層ニューラルネットワークの構造を変更する。
　以降、入力次元を増加させた学習データを用いて、学習部３０による処理が繰り返される。なお、本実施形態の入力次元追加部６０を第二の実施形態のニューラルネットワーク学習装置２００が、さらに備える構成であってもよい。この場合、入力次元追加部６０は、線形化量を増加または減少させたあとで判定精度が悪くなる場合、ｎ個の学習データに、入力次元を１次元増加させた学習データを追加し、入力次元を１増加させるように、多層ニューラルネットワークの構造を変更すればよい。
　学習データ決定部２０と、学習部３０と、線形化量決定部４０と、集約部５０と、入力次元追加部６０とは、プログラム（ニューラルネットワーク学習プログラム）に従って動作するコンピュータのプロセッサによって実現される。
　次に、本実施形態のニューラルネットワーク学習装置の動作を説明する。図２０は、本実施形態のニューラルネットワーク学習装置の動作例を示すフローチャートである。学習データを入力して重みを修正し、線形化量を変更するステップＳ１１からステップＳ１６までの処理は、図１４に例示する処理と同様である。
　入力次元追加部６０は、線形化量を変更したあとで評価値が悪化したか否か判断する（ステップＳ３１）。入力次元追加部６０は、例えば、誤差が大きくなったか否か、判定精度が悪くなったか否かを判断する。評価値が悪化した場合（ステップＳ３１におけるＹｅｓ）、入力次元追加部６０は、次元数を増加させるように学習データの値を追加する（ステップＳ３２）。さらに、入力次元追加部６０は、ニューラルネットワークの入力層の次元数を増加させるようにニューラルネットワークの構造を変更する（ステップＳ３３）。
　一方、評価値が悪化していない場合（ステップＳ３１におけるＮｏ）、データの変更等は行われずにステップＳ１７からの処理が行われる。以降、集約部５０が学習処理の終了条件を判断して活性化関数を線形関数に置き換えるステップＳ１７およびステップＳ１８の処理は、図１４に例示する処理と同様である。
　以上のように、本実施形態では、入力次元追加部６０が、線形化量が変更されたあとで評価値が悪化した場合、次元数を増加させるように学習データの値を追加し、ニューラルネットワークの入力層の次元数を増加させるようにニューラルネットワークの構造を変更する。よって、第一の実施形態または第二の実施形態の効果に加え、線形分離可能な範囲を増やすことが可能になる。
実施形態４．
　次に、本発明によるニューラルネットワーク学習装置の第四の実施形態を説明する。上記実施形態では、活性化関数を非線形関数から線形関数に近似するように線形化量を増加または減少させる方法を説明した。本実施形態では、予め線形関数に近似可能な値に線形化量を設定し、線形性の有無を判定しながら学習を行う方法を説明する。
　図２１は、本発明によるニューラルネットワーク学習装置の第四の実施形態の構成例を示すブロック図である。本実施形態のニューラルネットワーク学習装置４００は、学習データ記憶部１０と、テストデータ記憶部１２と、学習データ決定部２０と、テストデータ決定部２２と、学習部３２と、線形化量決定部４４と、集約部５０とを備えている。すなわち、本実施形態のニューラルネットワーク学習装置４００は、第二の実施形態のニューラルネットワーク学習装置２００と比較して、線形化量決定部４２の代わりに線形化量決定部４４を備えている点において異なる。なお、本実施形態のニューラルネットワーク学習装置４００が、入力次元追加部６０を備えていていてもよい。
　線形化量決定部４４は、学習部３２による学習が行われる前に、活性化関数を線形関数に近似可能な値に線形化量を設定する。例えば、活性化関数として、上記の式３に示すＳｃａｌｉｎｇ　Ｔａｎｈが用いられる場合、線形化量決定部４４は、γを非常に大きな値（例えば、γ＝１０００）に設定する。このように設定することで、学習の初期状態で活性化関数を線形関数と見なして学習処理を行うことができる。
　以降、第二の実施形態等と同様の学習サイクル（例えば、図１７に例示するステップＳ１１からステップＳ１５およびステップＳ２１からステップＳ２４の処理）を複数回実行する。
　線形化量決定部４４は、判定精度が線形性を表わす所定の基準を満たさないと判定した場合、活性化関数が非線形関数を表わすように線形化量を変更する。例えば、活性化関数として、上記の式３に示すＳｃａｌｉｎｇ　Ｔａｎｈが用いられる場合、線形化量決定部４４は、γを１に戻すように変更する。一方、線形化量決定部４４は、判定精度が線形性を表わす所定の基準を満たすと判定した場合、線形化量を変更せずに以降の学習処理を継続させる。線形性を表わす基準の設定は任意であり、線形化量決定部４４は、例えば、判定精度が予め定めた目標精度に達したか否かで線形性を表わすか否か判定してもよい。
　このように、線形化量決定部４４がパラメータである線形化量を変更するだけで、モデルを変更せずに線形状態と非線形状態とを切り替えることが可能になる。
　学習データ決定部２０と、テストデータ決定部２２と、学習部３２と、線形化量決定部４４と、集約部５０とは、プログラム（ニューラルネットワーク学習プログラム）に従って動作するコンピュータのプロセッサによって実現される。
　次に、本実施形態のニューラルネットワーク学習装置の動作を説明する。図２２は、本実施形態のニューラルネットワーク学習装置の動作例を示すフローチャートである。まず、線形化量決定部４４は、学習処理が行われる前に、活性化関数を線形関数に近似可能な値に線形化量を設定する（ステップＳ５１）。以降、図１７に例示するステップＳ１１からステップＳ１５までの処理、および、ステップＳ２１からステップＳ２４の処理と同様のニューラルネットワークの学習処理および判定精度の算出処理が行われる。
　線形化量決定部４４は、判定精度が線形性を表わす所定の基準を満たすか否か（すなわち、線形性を有するか否か）判断する（ステップＳ５２）。基準を満たしていない（すなわち、線形性を有さない）と判断した場合（ステップＳ５２におけるＮｏ）、線形化量決定部４４は、活性化関数が非線形関数を表わすように線形化量を変更する（ステップＳ５３）。一方、基準を満たしている（すなわち、線形性を有する）と判断した場合（ステップＳ５２におけるＹｅｓ）、線形化量を維持したまま、ステップＳ１７以降の処理が行われる。
　以上のように、本実施形態では、線形化量決定部４４が、学習部３２による学習の開始前に、活性化関数を線形関数に近似可能な値に線形化量を設定する。そして、学習部３２による学習の結果、判定精度が線形性を表わす所定の基準を満たさないと判定した場合、活性化関数が非線形関数を表わすように線形化量を変更し、上記基準を満たすと判定した場合、線形化量を維持したまま学習部３２による学習を継続させる。よって、上記実施形態の効果に加え、ニューラルネットワークのモデルを変更することなく、線形状態と非線形状態とを切り替えることが可能になる。
実施形態５．
　次に、本発明によるニューラルネットワーク学習装置の第五の実施形態を説明する。第四の実施形態では、線形化量決定部４４が、判定精度が線形性を表わす所定の基準を満たすと判定した場合、線形化量を維持したまま学習部３２による学習を継続させる場合について説明した。本実施形態では、第四の実施形態において、線形性を表わす所定の基準を満たすと判定された場合、モデルを再構築する方法を説明する。
　図２３は、本発明によるニューラルネットワーク学習装置の第五の実施形態の構成例を示すブロック図である。本実施形態のニューラルネットワーク学習装置５００は、学習データ記憶部１０と、テストデータ記憶部１２と、学習データ決定部２０と、テストデータ決定部２２と、学習部３４と、線形化量決定部４４と、集約部５０と、モデル再構築部７０とを備えている。すなわち、本実施形態のニューラルネットワーク学習装置５００は、第四の実施形態のニューラルネットワーク学習装置４００と比較して、学習部３２の代わりに学習部３４を備え、モデル再構築部７０を更に備えている点において異なる。なお、本実施形態のニューラルネットワーク学習装置５００が、入力次元追加部６０を備えていていてもよい。
　モデル再構築部７０は、線形化量決定部４４によって、線形性を表わす所定の基準を満たすと判定された場合、学習中のニューラルネットワークから中間層をすべて削除し、入力層と出力層とを線形関数を表わす活性化関数で接続するモデルへ再構築する。モデル再構築部７０は、例えば、図３４に例示するニューラルネットワークを図３２に例示するニューラルネットワークに再構築する。以降、第二の実施形態等と同様の学習サイクル（例えば、図１７に例示するステップＳ１１からステップＳ１５およびステップＳ２１からステップＳ２４の処理）を実行する。
　図２４は、ニューラルネットワークを再構築する方法の例を示す説明図である。図２４に例示するように、ネットワーク構造を定義するmakelink()関数と、中間層の活性化関数を定義するforward() 関数とを含むモデル定義がされているとする。図２４に例示するモデル定義において、リンク構造は、link(入力数，出力数)で表されるものとし、リンク構造内には重み値が含まれる。また、出力列は、一般化Ｓｃａｌｉｎｇ　Ｔａｎｈを表わすgstanh(入力列，リンク構造，一般化Ｓｃａｌｉｎｇ　Ｔａｎｈにおけるγ)、または、線形関数を表わすlinear(入力列，リンク構造)で表されるものとする。
　例えば、図３４に例示する構造を図３２に例示する構造に置き換える場合、モデル再構築部７０は、図２４に例示するモデル定義Ｄ１からモデル定義Ｄ２へモデル定義を書き換えることで、中間層の構造に依らず、機械的にモデルを再構築してもよい。
　図２５は、ニューラルネットワークを再構築する方法の他の例を示す説明図である。一般に、出力数と入力数が同じになるネットワークが出力に追加されて処理される。図２４に示す例では、中間層の活性化関数をすべて線形関数に置き換える方法が使用されたが、図２５に示す例では、最終段のｓｏｆｔｍａｘ関数を残す方法が使用されている。ここでは、出力列は、ｓｏｆｔｍａｘ関数を表わすsoftmax(入力列，リンク構造) で表されるものとする。
　例えば、図３４に例示する構造を図３２に例示する構造に置き換える場合、モデル再構築部７０は、図２５に例示するモデル定義Ｄ３からモデル定義Ｄ４へモデル定義を書き換えることで、中間層の構造に依らず、機械的にモデルを再構築してもよい。
　このように、学習部３２が、線形関数を表わす活性化関数で接続されたニューラルネットワークを用いて学習を行うため、層間の重みＷは、学習により算出される。よって、積和計算による丸め誤差が生じすること抑制できるため、よりニューラルネットワークの精度を向上させることが可能になる。
　学習データ決定部２０と、テストデータ決定部２２と、学習部３２と、線形化量決定部４４と、集約部５０とは、モデル再構築部７０とは、プログラム（ニューラルネットワーク学習プログラム）に従って動作するコンピュータのプロセッサによって実現される。
　次に、本実施形態のニューラルネットワーク学習装置の動作を説明する。図２６は、本実施形態のニューラルネットワーク学習装置の動作例を示すフローチャートである。活性化関数を線形関数に近似可能な値に線形化量を設定してニューラルネットワークを学習し、線形性を判断するまでの処理は、図２２に例示するステップＳ５１からステップＳ５３までの処理と同様である。ただし、ステップＳ５２におけるＹｅｓ以降の処理が異なる。
　すなわち、判定精度が線形性を表わす所定の基準を満たすと判断された場合（ステップＳ５２におけるＹｅｓ）、モデル再構築部７０は、学習中のニューラルネットワークから中間層をすべて削除し、入力層と出力層とを線形関数を表わす活性化関数で接続するモデルへ再構築する（ステップＳ６１）。以降、再構築されたモデルを用いてステップＳ１１以降の処理を繰り返すことによりニューラルネットワークを学習する。
　以上のように、本実施形態では、判定精度が線形性を表わす所定の基準を満たすと判断された場合、モデル再構築部７０が、学習中のニューラルネットワークから中間層をすべて削除し、入力層と出力層とを線形関数を表わす活性化関数で接続するモデルへ再構築する。このように、再構築されたモデルを用いて学習部３２が学習を行うため、ニューラルネットワークの精度を向上させることが可能になる。
実施形態６．
　次に、本発明によるニューラルネットワーク学習装置の第六の実施形態を説明する。第五の実施形態では、判定精度が線形性を表わす所定の基準を満たすと判断された場合にモデルを再構築する方法を説明した。本実施形態では、第五の実施形態において、線形性を表わす所定の基準を満たすと判定された場合に、線形性を有する部分と非線形性が残る部分とを特定してモデルを再構成する方法を説明する。
　図２７は、本発明によるニューラルネットワーク学習装置の第六の実施形態の構成例を示すブロック図である。本実施形態のニューラルネットワーク学習装置６００は、学習データ記憶部１０と、テストデータ記憶部１２と、第一重み記憶部１４と、第二重み記憶部１６と、学習データ決定部２０と、テストデータ決定部２２と、学習部３４と、線形化量決定部４４と、集約部５０と、線形・非線形分離再構成部７２とを備えている。
　すなわち、本実施形態のニューラルネットワーク学習装置６００は、第五の実施形態のニューラルネットワーク学習装置５００と比較して、モデル再構築部７０の代わりに線形・非線形分離再構成部７２を備え、第一重み記憶部１４および第二重み記憶部１６をさらに備えている点において異なる。なお、本実施形態のニューラルネットワーク学習装置６００が、入力次元追加部６０を備えていていてもよい。また、第一重み記憶部１４および第二重み記憶部１６が、同一の記憶装置で実現されていてもよい。
　本実施形態では、線形化量決定部４４によって、線形性を表わす所定の基準を満たすと判定された場合でも、学習部３４は、学習処理を継続する。線形・非線形分離再構成部７２は、学習部３４による学習が完了すると、線形性を表わす所定の基準を満たすと判定された場合、学習されたニューラルネットワークの重み（以下、第一重みと記す。）を第一重み記憶部１４に保存する。
　その後、学習部３４および線形化量決定部４４は、第二の実施形態の学習部３２および線形化量決定部４２と同様に、判定精度に基づいて線形化量γを増加させながらニューラルネットワークを学習する。そして、線形化量決定部４４は、線形化量γが十分な大きさ（例えば、元の１０００倍程度）になったときに学習されたニューラルネットワークの重み（以下、第二重みと記す。）を第二重み記憶部１６に保存する。
　線形・非線形分離再構成部７２は、第一重みと第二重みとの差分に基づいて、非線形性が残る入力を特定し、線形性を有する部分と非線形性を有する部分とに分離したニューラルネットワークを再構成する。具体的には、線形・非線形分離再構成部７２は、第一重みと第二重みで対応する層の重みの差異が予め定めた基準よりも小さい層を線形性を有する層として削除するようにニューラルネットワークを構成する。
　図２８は、ニューラルネットワークを再構成する処理の例を示す説明図である。例えば、図３４に例示する構造が、図２８に例示するモデル定義Ｄ５のように定義されているものとする。また、第一重み記憶部１４に記憶された重み（第一重み）の行列を、Ｍ．Ｗ１～Ｍ．Ｗ５とし、第二重み記憶部１６に記憶された重み（第二重み）の行列を、Ｎ．Ｗ１～Ｎ．Ｗ５とする。
　線形・非線形分離再構成部７２は、層ごとの重みの差異を算出して、ニューラルネットワークを再構成するか否か判断する。線形・非線形分離再構成部７２は、層ごとの重みの差を算出してもよく、層ごとの重みの商を算出してもよい。具体的には、線形・非線形分離再構成部７２は、（Ｎ．Ｗ１－Ｍ．Ｗ１），…，（Ｎ．Ｗ５－Ｍ．Ｗ５）、または、（Ｎ．Ｗ１／Ｍ．Ｗ１），…，（Ｎ．Ｗ５／Ｍ．Ｗ５）を算出してもよい。算出された差が０の場合、または、算出された商が１の場合、その重みに対応する層は精度の向上に貢献しないと判断し、線形・非線形分離再構成部７２は、その層を削除すると判定する。
　そして、線形・非線形分離再構成部７２は、削除すると判定された層の数を全層数から削除する。例えば、（Ｎ．Ｗ１－Ｍ．Ｗ１）＝０、または、（Ｎ．Ｗ１／Ｍ．Ｗ１）＝１を満たすが、それ以外の層は上記条件を満たさない場合、線形・非線形分離再構成部７２は、全層から一層分削除する。例えば、図２８に例示するモデル定義Ｄ５がされていた場合、線形・非線形分離再構成部７２は、モデル定義Ｄ６のようにニューラルネットワークの構造を再構成する。
　学習データ決定部２０と、テストデータ決定部２２と、学習部３２と、線形化量決定部４４と、集約部５０は、線形・非線形分離再構成部７２とは、プログラム（ニューラルネットワーク学習プログラム）に従って動作するコンピュータのプロセッサによって実現される。
　次に、本実施形態のニューラルネットワーク学習装置の動作を説明する。図２９は、本実施形態のニューラルネットワーク学習装置の動作例を示すフローチャートである。活性化関数を線形関数に近似可能な値に線形化量を設定してニューラルネットワークを学習し、線形性を判断するまでの処理は、図２２に例示するステップＳ５１からステップＳ５３までの処理と同様である。ただし、ステップＳ５２におけるＹｅｓ以降の処理が異なる。
　すなわち、判定精度が線形性を表わす所定の基準を満たすと判断された場合（ステップＳ５２におけるＹｅｓ）、線形・非線形分離再構成部７２は、学習部３４による学習の完了時に、学習されたニューラルネットワークの重みを第一重み記憶部１４に保存すると判断し（ステップＳ７１）、終了条件満たすまで学習処理を繰り返す（ステップＳ１７におけるＮｏ）。
　終了条件を満たすと判断された場合（ステップＳ１７におけるＹｅｓ）、線形・非線形分離再構成部７２は、学習されたニューラルネットワークの重み（第一重み）を第一重み記憶部１４に保存する（ステップＳ７２）。さらに、学習部３４は、第二の実施形態で示すように、判定精度に基づいて線形化量γを増加させながらニューラルネットワークを学習する図１７に例示するステップＳ１００の処理を行う。そして、線形化量決定部４４は、学習されたニューラルネットワークの重み（第二重み）を第二重み記憶部１６に保存する（ステップＳ７３）。
　線形・非線形分離再構成部７２は、第一重みと第二重みとの差異がないか否か判断する（ステップＳ７４）。差異がないと判断された場合（ステップＳ７４におけるＹｅｓ）、再線形・非線形分離再構成部７２は、ニューラルネットワークを再構成する（ステップＳ７５）。一方、差異があると判断された場合（ステップＳ７４におけるＮｏ）、処理を終了する。
　以上のように、本実施形態では、線形化量決定部４４が、学習部３４による学習の開始前に、活性化関数を線形関数に近似可能な値に線形化量を設定し、学習の結果、判定精度が線形性を表わす所定の基準を満たすと判断した場合第一の重みを保存する。さらに、学習部３４は、活性化関数が非線形関数を示す値に線形化量を設定して学習し、学習の結果を第二の重みとして保存する。そして、線形・非線形分離再構成部７２が、第一重みと第二重みで対応する重みの差異が予め定めた基準よりも小さい層を線形性を有する層として削除するようにニューラルネットワークを再構成する。よって、精度を向上させながら計算量を削減するようにニューラルネットワークを学習できる。
　次に、本発明の概要を説明する。図３０は、本発明によるニューラルネットワーク学習装置の概要を示すブロック図である。本発明によるニューラルネットワーク学習装置８０は、ニューラルネットワークを学習する学習部８１（例えば、学習部３０，３２，３４）と、ニューラルネットワークで用いられる活性化関数に含まれるパラメータであって、増加または減少させることによりその活性化関数を線形関数に近づけるパラメータである線形化量（例えば、線形化量γ）を決定する線形化量決定部８２（例えば、線形化量決定部４０，４２，４４）と、線形化量を増加または減少させることにより線形関数に収束すると判断される活性化関数をその線形関数に置き換えて、置き換えた線形関数を用いる層間の重みを集約する集約部８３（例えば、集約部５０）とを備えている。
　学習部８１は、ニューラルネットワークの学習において、そのニューラルネットワークによる出力に基づく評価値（例えば、誤差、評価精度、出力回数など）を算出し、線形化量決定部８２は、評価値が予め定められた基準を満たす場合に、線形化量を変化させる。
　そのような構成により、計算量を削減するようにニューラルネットワークを学習できる。
　具体的には、学習部８１は、ニューラルネットワークに、正解ラベル付のテストデータを入力した際の判定精度を算出してもよい。そして、線形化量決定部８２は、判定精度の増加に応じて線形化量を増加または減少させてもよい。
　また、線形化量決定部８２は、学習部による学習の開始前に、活性化関数を線形関数に近似可能な値に線形化量を設定し、学習の結果、判定精度が線形性を表わす所定の基準を満たさないと判定した場合、活性化関数が非線形関数を表わすように線形化量を変更し、基準を満たすと判定した場合、線形化量を維持したまま学習部による学習を継続させてもよい。
　また、ニューラルネットワーク学習装置８０は、判定精度が線形性を表わす所定の基準を満たすと判断された場合、学習中のニューラルネットワークから中間層をすべて削除し、入力層と出力層とを線形関数を表わす活性化関数で接続するモデルへ再構築するモデル再構築部（例えば、モデル再構築部７０）を備えていてもよい。そして、学習部８１は、再構築されたモデルを用いてニューラルネットワークを学習してもよい。
　一方、学習部８１は、ニューラルネットワークの学習において、学習データとそのニューラルネットワークによる出力との誤差を算出してもよい。そして、線形化量決定部８２は、誤差の減少に応じて線形化量を増加または減少させてもよい。
　また、ニューラルネットワーク学習装置８０は、線形化量が変更されたあとで評価値が悪化した場合、次元数を増加させるように学習データの値を追加し、ニューラルネットワークの入力層の次元数を増加させるようにニューラルネットワークの構造を変更する入力次元追加部（例えば、入力次元追加部６０）を備えていてもよい。
　図３１は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。コンピュータ１０００は、プロセッサ１００１、主記憶装置１００２、補助記憶装置１００３、インタフェース１００４を備える。
　上述のニューラルネットワーク学習装置は、コンピュータ１０００に実装される。そして、上述した各処理部の動作は、プログラム（ニューラルネットワーク学習プログラム）の形式で補助記憶装置１００３に記憶されている。プロセッサ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、当該プログラムに従って上記処理を実行する。
　なお、少なくとも１つの実施形態において、補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read-only memory ）、ＤＶＤ－ＲＯＭ（Read-only memory）、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００が当該プログラムを主記憶装置１００２に展開し、上記処理を実行しても良い。
　また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、当該プログラムは、前述した機能を補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であっても良い。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）ニューラルネットワークを学習する学習部と、前記ニューラルネットワークで用いられる活性化関数に含まれるパラメータであって、増加または減少させることにより当該活性化関数を線形関数に近づけるパラメータである線形化量を決定する線形化量決定部と、前記線形化量を増加または減少させることにより線形関数に収束すると判断される前記活性化関数を当該線形関数に置き換えて、置き換えた線形関数を用いる層間の重みを集約する集約部とを備え、前記学習部は、前記ニューラルネットワークの学習において、当該ニューラルネットワークによる出力に基づく評価値を算出し、前記線形化量決定部は、前記評価値が予め定められた基準を満たす場合に、前記線形化量を変化させることを特徴とするニューラルネットワーク学習装置。
（付記２）学習部は、ニューラルネットワークに、正解ラベル付のテストデータを入力した際の判定精度を算出し、線形化量決定部は、前記判定精度の増加に応じて線形化量を増加または減少させる付記１記載のニューラルネットワーク学習装置。
（付記３）線形化量決定部は、学習部による学習の開始前に、活性化関数を線形関数に近似可能な値に線形化量を設定し、前記学習の結果、判定精度が線形性を表わす所定の基準を満たさないと判定した場合、活性化関数が非線形関数を表わすように線形化量を変更し、前記基準を満たすと判定した場合、線形化量を維持したまま学習部による学習を継続させる付記２記載のニューラルネットワーク学習装置。
（付記４）判定精度が線形性を表わす所定の基準を満たすと判断された場合、学習中のニューラルネットワークから中間層をすべて削除し、入力層と出力層とを線形関数を表わす活性化関数で接続するモデルへ再構築するモデル再構築部を備え、学習部は、再構築されたモデルを用いてニューラルネットワークを学習する付記３記載のニューラルネットワーク学習装置。
（付記５）学習部は、ニューラルネットワークの学習において、学習データと当該ニューラルネットワークによる出力との誤差を算出し、線形化量決定部は、前記誤差の減少に応じて線形化量を増加または減少させる付記１記載のニューラルネットワーク学習装置。
（付記６）線形化量が変更されたあとで評価値が悪化した場合、次元数を増加させるように学習データの値を追加し、ニューラルネットワークの入力層の次元数を増加させるようにニューラルネットワークの構造を変更する入力次元追加部を備えた付記１から付記５のうちのいずれか１つに記載のニューラルネットワーク学習装置。
（付記７）ニューラルネットワークの構造を再構成する線形・非線形分離再構成部を備え、線形化量決定部は、学習部による学習の開始前に、活性化関数を線形関数に近似可能な値に線形化量を設定し、学習の結果、判定精度が線形性を表わす所定の基準を満たすと判断した場合第一の重みを保存し、学習部は、活性化関数が非線形関数を示す値に線形化量を設定して学習し、学習の結果を第二の重みとして保存し、前記線形・非線形分離再構成部は、前記第一重みと前記第二重みで対応する重みの差異が予め定めた基準よりも小さい層を線形性を有する層として削除するようにニューラルネットワークを再構成する付記１から付記６のうちのいずれか１つに記載のニューラルネットワーク学習装置。
（付記８）ニューラルネットワークを学習し、前記ニューラルネットワークの学習において、当該ニューラルネットワークによる出力に基づく評価値を算出し、前記ニューラルネットワークで用いられる活性化関数に含まれるパラメータであって、増加または減少させることにより当該活性化関数を線形関数に近づけるパラメータである線形化量を決定し、前記評価値が予め定められた基準を満たす場合に、前記線形化量を変化させ、前記線形化量を増加または減少させることにより線形関数に収束すると判断される前記活性化関数を当該線形関数に置き換えて、置き換えた線形関数を用いる層間の重みを集約することを特徴とするニューラルネットワーク学習方法。
（付記９）ニューラルネットワークに、正解ラベル付のテストデータを入力した際の判定精度を算出し、前記判定精度の増加に応じて線形化量を増加または減少させる付記８記載のニューラルネットワーク学習方法。
（付記１０）ニューラルネットワークの学習において、学習データと当該ニューラルネットワークによる出力との誤差を算出し、前記誤差の減少に応じて線形化量を増加または減少させる付記８記載のニューラルネットワーク学習方法。
（付記１１）コンピュータに、ニューラルネットワークを学習する学習処理、前記ニューラルネットワークで用いられる活性化関数に含まれるパラメータであって、増加または減少させることにより当該活性化関数を線形関数に近づけるパラメータである線形化量を決定する線形化量決定処理、および、前記線形化量を増加または減少させることにより線形関数に収束すると判断される前記活性化関数を当該線形関数に置き換えて、置き換えた線形関数を用いる層間の重みを集約する集約処理を実行させ、前記学習処理で、前記ニューラルネットワークの学習において、当該ニューラルネットワークによる出力に基づく評価値を算出させ、前記線形化量決定処理で、前記評価値が予め定められた基準を満たす場合に、前記線形化量を変化させるためのニューラルネットワーク学習プログラム。
（付記１２）コンピュータに、学習処理で、ニューラルネットワークに、正解ラベル付のテストデータを入力した際の判定精度を算出させ、線形化量決定処理で、前記判定精度の増加に応じて線形化量を増加または減少させる付記１１記載のニューラルネットワーク学習プログラム。
（付記１３）コンピュータに、学習処理で、ニューラルネットワークの学習において、学習データと当該ニューラルネットワークによる出力との誤差を算出させ、線形化量決定処理で、前記誤差の減少に応じて線形化量を増加または減少させる付記１１記載のニューラルネットワーク学習プログラム。
　本発明は、ニューラルネットワークを学習するニューラルネットワーク学習装置に好適に適用可能である。例えば、自動車の分野では、計算量を削減できることにより、車載ＥＣＵ（Electronic Control Unit ）の高速化や省電力化や、記憶容量（メモリ容量など）の削減、新規機能の開発の短縮や、重みＷを用いた認証機能検証などが可能になる。
　以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１８年１２月２８日に出願された日本特許出願２０１８－２４７３３７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１０　学習データ記憶部
　１２　テストデータ記憶部
　１４　第一重み記憶部
　１６　第二重み記憶部
　２０　学習データ決定部
　２２　テストデータ決定部
　３０，３２，３４　学習部
　４０，４２，４４　線形量決定部
　５０　集約部
　６０　入力次元追加部
　７０　モデル再構築部
　７２　線形・非線形分離再構成部
　１００，２００，３００，４００，５００，６００　ニューラルネットワーク学習装置

Claims (13)

  1. 　ニューラルネットワークを学習する学習部と、
    　前記ニューラルネットワークで用いられる活性化関数に含まれるパラメータであって、増加または減少させることにより当該活性化関数を線形関数に近づけるパラメータである線形化量を決定する線形化量決定部と、
    　前記線形化量を増加または減少させることにより線形関数に収束すると判断される前記活性化関数を当該線形関数に置き換えて、置き換えた線形関数を用いる層間の重みを集約する集約部とを備え、
    　前記学習部は、前記ニューラルネットワークの学習において、当該ニューラルネットワークによる出力に基づく評価値を算出し、
    　前記線形化量決定部は、前記評価値が予め定められた基準を満たす場合に、前記線形化量を変化させる
    　ことを特徴とするニューラルネットワーク学習装置。
  2. 　学習部は、ニューラルネットワークに、正解ラベル付のテストデータを入力した際の判定精度を算出し、
    　線形化量決定部は、前記判定精度の増加に応じて線形化量を増加または減少させる
    　請求項１記載のニューラルネットワーク学習装置。
  3. 　線形化量決定部は、学習部による学習の開始前に、活性化関数を線形関数に近似可能な値に線形化量を設定し、前記学習の結果、判定精度が線形性を表わす所定の基準を満たさないと判定した場合、活性化関数が非線形関数を表わすように線形化量を変更し、前記基準を満たすと判定した場合、線形化量を維持したまま学習部による学習を継続させる
    　請求項２記載のニューラルネットワーク学習装置。
  4. 　判定精度が線形性を表わす所定の基準を満たすと判断された場合、学習中のニューラルネットワークから中間層をすべて削除し、入力層と出力層とを線形関数を表わす活性化関数で接続するモデルへ再構築するモデル再構築部を備え、
    　学習部は、再構築されたモデルを用いてニューラルネットワークを学習する
    　請求項３記載のニューラルネットワーク学習装置。
  5. 　学習部は、ニューラルネットワークの学習において、学習データと当該ニューラルネットワークによる出力との誤差を算出し、
    　線形化量決定部は、前記誤差の減少に応じて線形化量を増加または減少させる
    　請求項１記載のニューラルネットワーク学習装置。
  6. 　線形化量が変更されたあとで評価値が悪化した場合、次元数を増加させるように学習データの値を追加し、ニューラルネットワークの入力層の次元数を増加させるようにニューラルネットワークの構造を変更する入力次元追加部を備えた
    　請求項１から請求項５のうちのいずれか１項に記載のニューラルネットワーク学習装置。
  7. 　ニューラルネットワークの構造を再構成する線形・非線形分離再構成部を備え、
    　線形化量決定部は、学習部による学習の開始前に、活性化関数を線形関数に近似可能な値に線形化量を設定し、学習の結果、判定精度が線形性を表わす所定の基準を満たすと判断した場合第一の重みを保存し、
    　学習部は、活性化関数が非線形関数を示す値に線形化量を設定して学習し、学習の結果を第二の重みとして保存し、
    　前記線形・非線形分離再構成部は、前記第一重みと前記第二重みで対応する重みの差異が予め定めた基準よりも小さい層を線形性を有する層として削除するようにニューラルネットワークを再構成する
    　請求項１から請求項６のうちのいずれか１項に記載のニューラルネットワーク学習装置。
  8. 　ニューラルネットワークを学習し、
    　前記ニューラルネットワークの学習において、当該ニューラルネットワークによる出力に基づく評価値を算出し、
    　前記ニューラルネットワークで用いられる活性化関数に含まれるパラメータであって、増加または減少させることにより当該活性化関数を線形関数に近づけるパラメータである線形化量を決定し、
    　前記評価値が予め定められた基準を満たす場合に、前記線形化量を変化させ、
    　前記線形化量を増加または減少させることにより線形関数に収束すると判断される前記活性化関数を当該線形関数に置き換えて、置き換えた線形関数を用いる層間の重みを集約する
    　ことを特徴とするニューラルネットワーク学習方法。
  9. 　ニューラルネットワークに、正解ラベル付のテストデータを入力した際の判定精度を算出し、
    　前記判定精度の増加に応じて線形化量を増加または減少させる
    　請求項８記載のニューラルネットワーク学習方法。
  10. 　ニューラルネットワークの学習において、学習データと当該ニューラルネットワークによる出力との誤差を算出し、
    　前記誤差の減少に応じて線形化量を増加または減少させる
    　請求項８記載のニューラルネットワーク学習方法。
  11. 　コンピュータに、
    　ニューラルネットワークを学習する学習処理、
    　前記ニューラルネットワークで用いられる活性化関数に含まれるパラメータであって、増加または減少させることにより当該活性化関数を線形関数に近づけるパラメータである線形化量を決定する線形化量決定処理、および、
    　前記線形化量を増加または減少させることにより線形関数に収束すると判断される前記活性化関数を当該線形関数に置き換えて、置き換えた線形関数を用いる層間の重みを集約する集約処理を実行させ、
    　前記学習処理で、前記ニューラルネットワークの学習において、当該ニューラルネットワークによる出力に基づく評価値を算出させ、
    　前記線形化量決定処理で、前記評価値が予め定められた基準を満たす場合に、前記線形化量を変化させる
    　ためのニューラルネットワーク学習プログラム。
  12. 　コンピュータに、
    　学習処理で、ニューラルネットワークに、正解ラベル付のテストデータを入力した際の判定精度を算出させ、
    　線形化量決定処理で、前記判定精度の増加に応じて線形化量を増加または減少させる
    　請求項１１記載のニューラルネットワーク学習プログラム。
  13. 　コンピュータに、
    　学習処理で、ニューラルネットワークの学習において、学習データと当該ニューラルネットワークによる出力との誤差を算出させ、
    　線形化量決定処理で、前記誤差の減少に応じて線形化量を増加または減少させる
    　請求項１１記載のニューラルネットワーク学習プログラム。
PCT/JP2019/040179 2018-12-28 2019-10-11 ニューラルネットワーク学習装置、方法およびプログラム WO2020137090A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/418,007 US20220076125A1 (en) 2018-12-28 2019-10-11 Neural network learning device, method, and program
JP2020562380A JP7151788B2 (ja) 2018-12-28 2019-10-11 ニューラルネットワーク学習装置、方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018247337 2018-12-28
JP2018-247337 2018-12-28

Publications (1)

Publication Number Publication Date
WO2020137090A1 true WO2020137090A1 (ja) 2020-07-02

Family

ID=71126255

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/040179 WO2020137090A1 (ja) 2018-12-28 2019-10-11 ニューラルネットワーク学習装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US20220076125A1 (ja)
JP (1) JP7151788B2 (ja)
WO (1) WO2020137090A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11676033B1 (en) * 2020-03-06 2023-06-13 Google Llc Training machine learning models to be robust against label noise
US20220327386A1 (en) * 2021-04-07 2022-10-13 Samsung Electronics Co., Ltd. Neural network layer folding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163808A (ja) * 2004-12-07 2006-06-22 Fuji Electric Holdings Co Ltd ニューラルネットワークの構造
JP2017182319A (ja) * 2016-03-29 2017-10-05 株式会社メガチップス 機械学習装置
JP2018206382A (ja) * 2017-06-01 2018-12-27 株式会社東芝 画像処理システム及び医用情報処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163808A (ja) * 2004-12-07 2006-06-22 Fuji Electric Holdings Co Ltd ニューラルネットワークの構造
JP2017182319A (ja) * 2016-03-29 2017-10-05 株式会社メガチップス 機械学習装置
JP2018206382A (ja) * 2017-06-01 2018-12-27 株式会社東芝 画像処理システム及び医用情報処理システム

Also Published As

Publication number Publication date
JP7151788B2 (ja) 2022-10-12
US20220076125A1 (en) 2022-03-10
JPWO2020137090A1 (ja) 2021-10-28

Similar Documents

Publication Publication Date Title
US11601265B2 (en) Quantum neural network
KR102110486B1 (ko) 인공 뉴럴 네트워크 클래스-기반 프루닝
CN112088383A (zh) 神经网络构筑装置、信息处理装置、神经网络构筑方法及程序
EP3295385A1 (en) Fixed point neural network based on floating point neural network quantization
KR20200031163A (ko) 신경 네트워크 구조의 생성 방법 및 장치, 전자 기기, 저장 매체
KR20160143548A (ko) 인공 신경 네트워크를 자동으로 조정하는 방법 및 장치
WO2019111118A1 (en) Robust gradient weight compression schemes for deep learning applications
TW201915839A (zh) 對人工神經網路及浮點神經網路進行量化的方法及裝置
CN112348177B (zh) 神经网络模型验证方法、装置、计算机设备和存储介质
US20190138899A1 (en) Processing apparatus, processing method, and nonvolatile recording medium
US20230196202A1 (en) System and method for automatic building of learning machines using learning machines
US20210133617A1 (en) Hybrid Quantum-Classical Computer System for Parameter-Efficient Circuit Training
US11568212B2 (en) Techniques for understanding how trained neural networks operate
WO2020137090A1 (ja) ニューラルネットワーク学習装置、方法およびプログラム
KR20220103739A (ko) 시뮬레이션의 계산 비용을 추정하기 위한 방법 및 시스템
KR20190130443A (ko) 뉴럴 네트워크의 양자화 방법 및 장치
WO2020003434A1 (ja) 機械学習方法、機械学習装置、及び機械学習プログラム
CN111967015B (zh) 一种提升分布式学习系统拜占庭鲁棒性的防御代理方法
US20200356850A1 (en) Fusion of neural networks
US20210110268A1 (en) Learned threshold pruning for deep neural networks
TWI732467B (zh) 訓練稀疏連接神經網路的方法
US20220405561A1 (en) Electronic device and controlling method of electronic device
JPWO2018135516A1 (ja) ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、及び、ニューラルネットワーク学習プログラム
CN113490955A (zh) 用于产生金字塔层的架构的系统和方法
US12086953B2 (en) Image processing device and operating method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19904006

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020562380

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19904006

Country of ref document: EP

Kind code of ref document: A1