WO2020196389A1 - 情報処理装置、情報処理方法および記録媒体 - Google Patents

情報処理装置、情報処理方法および記録媒体 Download PDF

Info

Publication number
WO2020196389A1
WO2020196389A1 PCT/JP2020/012679 JP2020012679W WO2020196389A1 WO 2020196389 A1 WO2020196389 A1 WO 2020196389A1 JP 2020012679 W JP2020012679 W JP 2020012679W WO 2020196389 A1 WO2020196389 A1 WO 2020196389A1
Authority
WO
WIPO (PCT)
Prior art keywords
node
value
linear combination
linear
selection
Prior art date
Application number
PCT/JP2020/012679
Other languages
English (en)
French (fr)
Inventor
駿平 窪澤
貴士 大西
慶雅 鶴岡
Original Assignee
日本電気株式会社
国立研究開発法人産業技術総合研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社, 国立研究開発法人産業技術総合研究所 filed Critical 日本電気株式会社
Priority to JP2021509383A priority Critical patent/JP7236061B2/ja
Priority to US17/442,347 priority patent/US20220180148A1/en
Publication of WO2020196389A1 publication Critical patent/WO2020196389A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Definitions

  • the present invention relates to an information processing device, an information processing method, and a recording medium.
  • Non-linear activation functions may be used to perform more complex processing using forward-propagation neural networks.
  • the neural network described in Patent Document 1 includes a plurality of COS elements using a cosine (COS) function as an activation function in a hidden layer for the purpose of achieving both shortening of prediction time and generalization performance. It is provided with a ⁇ element that weights and sums the outputs of the COS elements.
  • COS cosine
  • An example of an object of the present invention is to provide an information processing device, an information processing method, and a recording medium capable of solving the above-mentioned problems.
  • the information processing apparatus uses a plurality of linear combination nodes for linearly combining input values and a value provided in the linear combination node to indicate whether or not a corresponding linear combination node is selected. It includes a selection node that calculates according to the input value, and an output node that outputs an output value calculated based on the value of the linear combination node and the value of the selection node.
  • the computer calculates a plurality of linear combination node values in which input values are linearly combined, and whether or not the linear combination node value is selected for the linear combination node value.
  • the selected node value indicating the above is calculated, and the output value is calculated based on the linear combination node value and the selected node value.
  • the recording medium has a function of calculating a plurality of linear combination node values in which input values are linearly combined, and selection of the linear combination node value for the linear combination node value.
  • a program for executing a function of calculating a selected node value indicating presence / absence and a function of calculating an output value based on the linear combination node value and the selected node value is stored.
  • a non-linear model can be expressed and the interpretability of the model is relatively high.
  • FIG. 1 is a schematic block diagram showing an example of the functional configuration of the information processing apparatus 10 according to the embodiment.
  • the information processing device 10 includes a communication unit 11, a display unit 12, an operation input unit 13, a storage unit 18, and a control unit 19.
  • the information processing device 10 calculates output data based on the input data.
  • the information processing apparatus 10 applies input data to a piecewise linear model using a piecewise linear network described later to calculate output data.
  • the communication unit 11 communicates with another device.
  • the communication unit 11 may receive input data from another device. Further, the communication unit 11 may transmit the calculation result (output data) of the information processing device 10 to another device.
  • the display unit 12 and the operation input unit 13 constitute a user interface of the information processing device 10.
  • the display unit 12 includes a display screen such as a liquid crystal panel or an LED (Light Emitting Diode), and displays various images. For example, the display unit 12 may display the calculation result of the information processing device 10.
  • the operation input unit 13 includes an input device such as a keyboard and a mouse, and accepts user operations. For example, the operation input unit 13 may accept a user operation for setting a parameter value for the information processing device 10 to perform machine learning.
  • the storage unit 18 stores various data.
  • the storage unit 18 is configured by using the storage device included in the information processing device 10.
  • the control unit 19 controls each unit of the information processing device 10 to perform various processes.
  • the function of the control unit 19 is executed by the CPU (Central Processing Unit) included in the information processing device 10 reading a program from the storage unit 18 and executing the program.
  • CPU Central Processing Unit
  • FIG. 2 is a diagram showing an example of a network showing processing performed by the information processing apparatus 10.
  • the network indicating the processing performed by the information processing apparatus 10 is referred to as a piecewise linear (PL) network.
  • a piecewise linear network constructs a piecewise linear model using a linear model as a submodel.
  • the linear model is, for example, a multiple regression equation with each dimension of the input data as an explanatory variable, a multiple regression equation with the logarithm of each dimension of the input data as an explanatory variable, or one or more multivariable nonlinear functions in the input data. It is a multiple regression equation etc. with each dimension of the applied data as an explanatory variable.
  • the linear model is not limited to the above-mentioned example.
  • a numerical interval as shown by the horizontal axis in FIG. 3 is not necessarily divided into a plurality of sections.
  • the information processing device 10 performs the processing described as the operation of the piecewise linear network (particularly, by executing the processing of each part such as the linear node vector, the selected node vector, and the element unit product node vector described later). As a result, as illustrated in FIG. 3, a process is executed in which the numerical interval is divided into a plurality of intervals.
  • the information processing apparatus 10 sets each part of the piecewise linear network by machine learning to set a section as illustrated in FIG.
  • the piecewise linear network 20 includes an input layer 21, an intermediate layer (hidden layer) 22, and an output layer 23.
  • the information processing apparatus 10 stores the program of the piecewise linear network 20 in the storage unit 18, and the control unit 19 reads and executes the program to execute the processing of the piecewise linear network 20.
  • the method of executing the processing of the piecewise linear network 20 is not limited to this.
  • the information processing apparatus 10 may execute the processing of the piecewise linear network 20 in terms of hardware, such as the piecewise linear network 20 being configured by using an ASIC (Application Specific Integrated Circuit).
  • ASIC Application Specific Integrated Circuit
  • the input layer 21 includes an input node vector 110.
  • the number of elements of the input node vector is M (M is a positive integer), and the elements of the input node vector 110 are referred to as input nodes 111-1 to 111-M.
  • Input node 111-1 to input node 111-M are collectively referred to as input node 111.
  • Each of the input nodes 111 accepts data input to the piecewise linear network 20. Therefore, the input node vector 110 acquires the input vector value to the piecewise linear network 20 and outputs it to the node of the intermediate layer 22.
  • the number M of the input nodes 111 is not limited to a specific number, and may be one or more.
  • the mesosphere 22 includes linear combination node vectors 120-1 and 120-2, selection node vectors 130-1 and 130-2, and element unit product node vectors 140-1 and 140-2.
  • the linear combination node vectors 120-1 and 120-2 are collectively referred to as the linear combination node vector 120.
  • the selected node vectors 130-1 and 130-2 are collectively referred to as the selected node vector 130.
  • the element unit product node vectors 140-1 and 140-2 are collectively referred to as the element unit product node vector 140.
  • the number of the linear combination node vector 120, the selection node vector 130, and the element unit product node vector 140 included in the piecewise linear network 20 is not limited to the two shown in FIG.
  • the piecewise linear network 20 may include the same number of linear combination node vectors 120, selection node vectors 130, and element unit product node vectors 140.
  • the number of elements of the linear combination node vector 120-1 is N1 (N1 is a positive integer), and the elements of the linear combination node vector 120-1 are expressed as linear combination nodes 121-1-1 to 121-1-N1.
  • the number of elements of the linear combination node vector 120-2 is N2 (N2 is a positive integer), and the elements of the linear combination node vector 120-2 are expressed as linear combination nodes 121-2-1 to 121-2-N2.
  • linear combination nodes 121-1-1 to 121-1-N1 and 121-2-1 to 121-2-N2 are generically referred to as linear combination nodes 121.
  • Each of the linear combination nodes 121 linearly combines the values of the input node vector 110 (input vector values to the piecewise linear network 20).
  • the operation performed by the linear combination node 121 is expressed as in Eq. (1).
  • the number of elements of the selected node vector 130-1 is N1, which is the same as the number of elements of the linear combination node vector 120-1.
  • the elements of the selection node vector 130-1 are referred to as selection nodes 131-1-1 to 131-1-N1.
  • the number of elements of the selected node vector 130-2 is N2, which is the same as the number of elements of the linear combination node vector 120-2.
  • the elements of the selection node vector 130-2 are referred to as selection nodes 131-2-1 to 131-2-N2.
  • Selected nodes 131-1-1 to 131-1-N1 and 131-2-1 to 131-2-N2 are collectively referred to as selected nodes 131.
  • the selection node 131 calculates a value based on the value of the input node vector 110, and applies the calculated value to the activation function.
  • the output value of the selection node 131 determines whether or not to select the linear combination node 121 that is one-to-one associated with the selection node 131.
  • the selection node 131 may linearly combine the values of the input node vector 110 as in the case of the linear combination node 121.
  • the selection node 131 may divide the input space into two in each axial direction and select an area on the input space by using a decision tree trainable by the backpropagation method. Both the linear combination node 121 and the selection node 131 are common in that they calculate a value based on the value of the input node vector 110. On the other hand, in the linear combination node 121 and the selection node 131, the linear combination node 121 uses the linear combination of the values of the input node vector 110 calculated by the equation (1) as the node value (output from the node). On the other hand, the selection node 131 differs in that it applies a value based on the value of the input node vector 110 to the activation function. By applying a value based on the value of the input node vector 110 to the activation function, the value of any one element of the selected node vector 130 preferably approaches 1 and the value of the other element approaches 0. ..
  • the selection node 131 is a node that calculates a value for indicating whether or not the linear combination node 121 is selected, and the linear combination node 121 and the selection node 131 are associated one-to-one with each other.
  • the linear combination nodes 121 included in the linear combination node vector 120 the one in which the value of the selection node 131 associated with the linear combination node 121 is close to 1 becomes dominant in the output value of the piecewise linear network 20.
  • the Softmax function can be used as the activation function used for the selection node 131.
  • the Softmax function is expressed by Eq. (2).
  • the “x” on the left side of the equation (2) is different from the case of the equation (1), and the input node vector 110 is linearly combined. It is a vector.
  • the linear combination node 121, the weighting coefficient w j, and a i and the bias value b i is provided to the selected node 131, respectively. Therefore, even a linear combination node 121 and the selected node 131 are associated with each other, the weight coefficient w j, the values of the values and the bias value b i for i is usually different values.
  • “ ⁇ i (x)” indicates the value of the i-th element of the selected node vector 130.
  • x j f (x j ).
  • "E” indicates the number of Napiers.
  • each of the selection nodes 131 which is an element thereof, calculates xi for each element (and therefore, for each selection node 131). Then, the calculated value is divided by the total value of xi of the entire selection node vector 130 (specifically, the entire selection node vector 130-1 or the entire selection node vector 130-2) to be 0 or more.
  • ⁇ i (x) Standardize to a value of 1 or less.
  • the value of ⁇ i (x) calculated by the equation (2) is 0 or more and 1 or less, and the total value of ⁇ i (x) of the entire selection node vector 130 is 1.
  • ⁇ i (x) has properties such as probability.
  • the activation function used by the selection node 131 is not limited to the Softmax function.
  • various values that can select a specific node can be used.
  • a step function single edge function in which the value of any one selection node 131 is 1 and the values of the other selection nodes 131 are all 0 is used. You may.
  • the number of elements of the element unit product node vector 140-1 is N1, which is the same as the number of elements of the linear combination node vector 120-1.
  • the elements of the element unit product node vector 140-1 are referred to as element unit product nodes 141-1-1 to 1411-1N1.
  • the number of elements of the element unit product node vector 140-2 is N2, which is the same as the number of elements of the linear combination node vector 120-2.
  • the elements of the element unit product node vector 140-2 are referred to as element unit product nodes 141-2-1 to 141-2-N2.
  • the element unit product nodes 141-1-1 to 141-1-N1 and 141-2-1 to 141-2-N2 are generically referred to as element unit product nodes 141.
  • the operation performed by the element unit product node 141 is expressed by Eq. (3).
  • g i (x) indicates the value of i-th element of the element-wise product node vector 140.
  • f i (x) indicates the value of the i-th element of the linear combination node vector 120.
  • ⁇ i (x) indicates the value of the i-th element of the selected node vector 130.
  • the element unit product node 141 executes the selection of the linear combination node based on the value of the selection node 131.
  • the output from one linear combination node 121 and the output from one selection node 131 are input to one unit element product node, so that the linear combination node 121 and the selection node 131 are combined. There is a one-to-one correspondence. Then, when the element unit product node 141 multiplies the output from the linear combination node 121 by the output from the selection node 131, and the value of the selection node 131 is close to 0, the value of the associated linear combination node 121 is Be masked. With this mask, the linear combination node 121 associated with the selection node 131 whose value is close to 1 becomes dominant with respect to the value of the output node 151.
  • the output layer 23 includes an output node vector 150.
  • the output node vector 150 contains two elements. These two elements are referred to as output nodes 151-1 and 151-2. Output nodes 151-1 and 151-2 are collectively referred to as output nodes 151.
  • the number of elements of the output node vector 150 (the number of output nodes 151) is not limited to the two shown in FIG. As shown in FIG. 2, the output node 151 is associated one-to-one with the element unit product node vector 140. Therefore, the number of output nodes 151 is the same as the number of element unit product node vectors 140.
  • the operation performed by the output node 151 is expressed by the equation (4).
  • ⁇ k (x) indicates the value of the output node 151, which is the kth element of the output node vector 150.
  • g i (x) indicates the value of i-th element is an element unit credit node 141 in element unit credit node vector 140.
  • the output node 151 calculates the sum of the values of all the elements of one element unit product node vector 140.
  • the piecewise linear network 20 can be regarded as a kind of forward propagation neural network in that it has an input layer, an intermediate layer, and an output layer, and each layer has a node.
  • the piecewise linear network 20 is different from a general forward propagation neural network in that it includes a linear combination node 121, a selection node 131, and an element unit product node 141.
  • FIG. 3 is a diagram showing an example of selection of linear combination nodes in the piecewise linear network 20.
  • the horizontal axis of the graph in FIG. 3 indicates the input value.
  • the vertical axis shows the output value of the node.
  • the scale on the right side of the graph in FIG. 3 is the scale of the value of the selection node 131.
  • the value of the selection node 131 is also referred to as a weight.
  • the scale on the left side of the graph in FIG. 3 is a scale of the value of the linear combination node 121 and the value of the output node 151.
  • FIG. 3 shows a case where the number of elements of the linear combination node vector 120 is two. These elements are referred to as a first linear combination node 121-1 and a second linear combination node 121-2. Further, the selection node associated with the first linear combination node 121-1 is referred to as the first selection node 131-1. The selection node associated with the second linear combination node 121-2 is referred to as the second selection node 131-2.
  • Line L111 shows the value of the first linear combination node 121-1.
  • Line L112 shows the value of the second linear combination node 121-2.
  • Line L121 shows the value of the first selection node 131-1.
  • Line L122 shows the value of the second selection node 131-2.
  • Line L131 shows the value of output node 151.
  • the value of the second linear combination node 121-2 (see line L112) is close to 1, and the value of the first linear combination node 121-1 (see line L111) is close to 0. Therefore, in the value of the output node 151 (see line L131), the value of the second linear combination node 121-2 (see line L112) is dominant.
  • the value of the first linear connection node 121-1 (see line L111) and the value of the second linear connection node 121-2 (see line L112) are the first selection nodes 131, respectively.
  • the value of -1 (see line L121) and the value of the second selection node 131-2 (see line L122) are weighted and averaged, and the calculation result becomes the value of output node 151 (see line L131). There is.
  • a piecewise linear model is formed with the linear model formed by the linear combination nodes 121 as a submodel. Ru. Since the piecewise linear network 20 forms a piecewise linear model, the model is relatively easy to interpret.
  • the piecewise linear network 20 can represent the same piecewise linear functions (as an asymptotic approximation in the limit) as in the case of a Rectified Linear Unit (ReLU) neural network.
  • the normalized linear neural network referred to here is a neural network that uses a normalized linear function (also referred to as a ramp function) as an activation function.
  • the piecewise linear function referred to here is expressed as in Eq. (5).
  • s h is the coefficient
  • w h T is the weight
  • b h and t h are the bias value, both of which are set by the machine learning.
  • x is a vector indicating an input value.
  • the superscript T indicates the transpose of a matrix or vector.
  • max (0, w h T x + b h) is a function that outputs either greater value of 0 and w h T x + b h.
  • a piecewise linear model is generated by synthesizing (superposing) submodels that are piecewise linear models.
  • the same piecewise linear function as in the case of the rectified linear neural network can be expressed (as an asymptotic approximation in the limit) by using the piecewise linear network 20 as follows.
  • a piecewise linear network 20 having the number of inflection points of the normalized linear neural network + 1 submodel is prepared.
  • the selection model is configured so that the x-coordinate of the inflection point of the normalized linear neural network and the selection model inflection point of the piecewise linear network 20 are the same.
  • the selection model referred to here is a model obtained by selecting the linear combination node 121 as described above according to the value of the selection node 131.
  • the piecewise linear network 20 has higher model expressive ability than the normalized linear neural network in the following points.
  • the piecewise linear network 20 has a larger number of parameters than the normalized linear neural network expressing the equivalent function because the submodel (linear combination node 121) is selected.
  • B In the piecewise linear network 20, by selecting the submodel (linear combination node 121) using the Softmax function as described above, the boundary of the submodel becomes a curve instead of a point.
  • equations (6) and (7) are as follows.
  • the model has a high dimension, it is difficult to analyze and interpret any of the above (i) and (ii).
  • the submodel is represented by a linear model as in the above equation (1), and the weight (w j, i in the equation (1)) and the bias value (b in the equation (1)).
  • the submodel can be interpreted by interpreting i ).
  • the model can be interpreted relatively easily.
  • Equation (8) holds for the classification probability of the piecewise linear network 20.
  • x i denotes the target data classification.
  • c indicates a class. Note that the data x i, the sub-model (classified into a class) to be selected with certainty if the formula (9) is satisfied.
  • equation (11) holds.
  • equation (12) holds when submodels are selected (classified into a certain class) completely randomly for the data x i .
  • equation (14) holds for the classification of data x i .
  • the piecewise linear network 20 may perform machine learning so that the slope of the rise or fall of the activation function becomes steep. For example, in the example of FIG. 3, the falling edge of the line L121 and the rising edge of the line L122 become steeper, so that the input of the region (in the example of FIG. 3, regions A11 and A13) in which any linear model is dominant is input. It is expected that the ratio of the value to the whole (domain) will increase and the model will be easier to interpret.
  • the absolute value of is large, and the value of the second term on the right side is small due to "-".
  • the objective function value L is small, that is, the evaluation in machine learning is It gets higher.
  • the piecewise linear network included in the information processing apparatus 10 may be configured with a variable number of nodes in the hidden layer.
  • FIG. 4 is a diagram showing an example of a piecewise linear network in which the number of nodes in the hidden layer is variable.
  • the information processing apparatus 10 includes a piecewise linear network 20b instead of the piecewise linear network 20 of FIG.
  • the piecewise linear network 20b includes an input layer 21, an intermediate layer (hidden layer) 22, and an output layer 23.
  • the input layer 21 is the same as in the case of the piecewise linear network 20 (FIG. 2).
  • the piecewise linear network 20b as well, as in the case of the piecewise linear network 20, the notation of input node vector 110, input nodes 111-1 to 111-M, and input node 111 is used.
  • the intermediate layer 22b includes a batch normalization node vector 210-1, a linear combination node vector 120-1, a selection node vector 130-1, a binary mask node vector 220-1, and a probabilistic node vector 230-1. Be prepared.
  • One or more batch normalization node vectors are generically referred to as batch normalization node vector 210.
  • One or more linear combination node vectors are collectively referred to as a linear combination node vector 120.
  • One or more selected node vectors are collectively referred to as a selected node vector 130.
  • One or more binary mask node vectors are collectively referred to as a binary mask node vector 220.
  • One or more probabilistic node vectors are collectively referred to as a probabilistic node vector 230.
  • One or more element unit product node vectors are collectively referred to as element unit product node vector 140.
  • the function of the linear combination node vector 120 is the same as that of the piecewise linear network 20.
  • the piecewise linear network 20b as well, as in the case of the piecewise linear network 20, the notations of linear combination nodes 121-1-1 and 121-1-2 and linear combination nodes 121 are used.
  • the point that the number of elements of the linear combination node vector 120 is not limited to a specific number is the same as in the case of the piecewise linear network 20.
  • the function of the selected node vector 130 is the same as that of the piecewise linear network 20.
  • the piecewise linear network 20b as well, as in the case of the piecewise linear network 20, the notations of selected nodes 131-1-1 and 131-1-2 and selected nodes 131 are used.
  • the point that the number of elements of the selected node vector 130 is not limited to a specific number is the same as in the case of the piecewise linear network 20.
  • the function of the element unit product node vector 140 is the same as that of the piecewise linear network 20.
  • the piecewise linear network 20b as well, as in the case of the piecewise linear network 20, the notation of the element unit product nodes 141-1-1 and 141-1-2 and the element unit product node 141 is used.
  • the point that the number of elements of the element unit product node vector 140 is not limited to a specific number is the same as in the case of the piecewise linear network 20.
  • the batch normalization node vector 210, the binary mask node vector 220, and the probabilistic node vector 230 are provided to vary the number of combinations of the linear combination node 121, the selection node 131, and the element unit product node 141 to be used. ing.
  • the number of elements of the batch normalization node vector 210-1 is L (L is a positive integer), and the elements of the batch normalization node vector 210 are expressed as batch normalization nodes 211-1-1 to 211-1-L. ..
  • the number of elements in the batch normalization node vector 210 is not limited to a specific number.
  • the batch normalization nodes 211-1-1 to 211-1-L are generically referred to as batch normalization nodes 211.
  • the batch normalization node vector 210 normalizes the value of the input node vector 110.
  • the batch normalization node vector 210 includes a batch normalization node vector when only one submodel is used and a batch normalization node vector when two submodels are used is prepared. Keep it.
  • the compartmentalized linear network 20b is a machine learning phase (learning) and an operation phase (test). In either case, the processing can be performed without significantly reducing the accuracy.
  • the number of elements of the binary mask node vector 220-1 is two, and the elements of the binary mask node vector 220 are referred to as binary mask nodes 221-1-1 to 221-1-2.
  • the binary mask node 221 of the binary mask node vector 220 located after the linear combination node vector 120 (downstream of the data flow) is associated one-to-one with the linear combination node 121. Therefore, the number of elements of the binary mask node vector 220 is the same as the number of elements of the linear combination node vector 120.
  • the binary mask node 221 of the binary mask node vector 220 located after the selection node vector 130 is associated one-to-one with the selection node 131. Therefore, the number of elements of the binary mask node vector 220 is the same as the number of elements of the selection node vector 130.
  • Each of the binary mask nodes 221 takes a scalar value of "1" or "0".
  • the binary mask node 221 operates as a mask by multiplying the input value (the value of the linear combination node 121 or the value of the selection node 131) by the value of the binary mask node 221 itself.
  • the input value is output as it is.
  • the value of the binary mask node 221 is "0"
  • 0 is output regardless of the input value.
  • the binary mask node vector 220 on the linear combination node vector 120 side and the binary mask node vector 220 on the selection node vector 130 side have the same value. As a result, the binary mask node vector 220 selects whether or not to mask each pair of the linear combination node 121 and the selection node 131 that are associated one-to-one with each other.
  • the probabilistic node vector 230 is provided to set the total of the output values from the binary mask node vector 220 to 1. As described above, the total output value from the selection node vector 130 is 1, whereas the binary mask node vector 220 masks some elements of the selection node vector 130, so that the binary mask node vector 220 The sum of the output values from can be less than 1. Therefore, the probabilistic node vector 230 is adjusted so that the total of the output values from the binary mask node vector 220 is 1. For example, the probabilistic node vector 230 sets the total value of the element values to 1 by dividing each element value of the binary mask node vector 220 by the total of these element values.
  • a known technique of a slimable neural network can be applied to the process performed by the batch normalization node vector 210 and the process performed by the binary mask node vector 220.
  • the same batch normalization node vector 210 as the batch normalization node vector 210 before the linear combination node vector 120 is provided so that both have the same value. Is a configuration peculiar to the sectional linear network 20b according to the embodiment.
  • the configuration in which the same binary mask node vector 220 as the binary mask node vector 220 after the linear combination node vector 120 is provided after the selection node vector 130 and both have the same value is also peculiar to the sectional linear network 20b according to the embodiment. It is a configuration.
  • the configuration in which the probabilistic node vector 230 is provided in addition to the binary mask node vector 220 after the selection node vector 130 is also a configuration peculiar to the piecewise linear network 20b according to the embodiment. With such a configuration, the technique of the Slimmable neural network can be applied to the piecewise linear network 20b according to the embodiment, and as described above, processing can be performed in both the machine learning phase and the operation phase without significantly reducing the accuracy.
  • the output layer 23 of the piecewise linear network 20b is also the same as in the case of the piecewise linear network 20 (FIG. 2).
  • the notation of output node vector 150, output node 151-1, and output node 151 is used.
  • the number of output nodes 151 is not limited to a specific number as in the case of the piecewise linear network 20 (FIG. 2).
  • the number of output nodes 151 is the same as the number of element unit product node vectors 140.
  • the number of combinations of the linear combination node 121, the selection node 131, and the element unit product node 141 to be used is variable.
  • the piecewise linear network 20b reduces the processing accuracy by training a set of training data sets with a combination of various numbers of linear combination nodes 121, selection nodes 131, and element unit product nodes 141.
  • the number of nodes used can be reduced as much as possible to reduce the processing load, and the optimum number of nodes can be detected.
  • the piecewise linear network 20b may set the number of combinations of the selection node 131 and the element unit product node 141 to the minimum number among the number that can secure the correct answer rate equal to or higher than a predetermined threshold value. Good.
  • the piecewise linear network 20 or the piecewise linear network 20b can be applied to reinforcement learning.
  • Reinforcement learning is a method of creating a measure for outputting an operation sequence (time series of operations) for a controlled object to reach a desired state from a start state by inputting observation values at each time point.
  • measures are formulated based on rewards calculated by a given method based on at least some of the controlled states.
  • reinforcement learning a policy with the highest cumulative reward for the state up to the desired state is created. Therefore, in reinforcement learning, a state that can be reached when a certain operation is performed on a controlled object in a certain state, a prediction process for predicting a reward in the state, and the like are executed.
  • the piecewise linear network 20 or the piecewise linear network 20b is used, for example, in the prediction process or a function representing a policy.
  • the control device (for example, the information processing device 10) determines the operation for the controlled object according to the policy created by using the piecewise linear network 20 or the piecewise linear network 20b, and controls the controlled object according to the determined operation. By controlling the controlled object according to the policy, the controlled object can achieve a desired state.
  • data from the surrounding environment such as sensor data is input to the piecewise linear network 20 or the piecewise linear network 20b, and the output data obtained by applying the input data to the model is information that numerically represents the estimated state, or , Information representing the reward in the estimated state.
  • the information processing device 10 performs machine learning using an evaluation function for evaluating the state of the surrounding environment (for example, an evaluation function for calculating the above reward).
  • the evaluation function for example, the above equation (17) can be used.
  • the information processing device 10 when the information processing device 10 is applied to a game, the values of various parameters in the game are input to the piecewise linear network 20 or the piecewise linear network 20b as input data.
  • the piecewise linear network 20 or the piecewise linear network 20b applies the input data to the model to calculate the amount of operation such as the operation direction and angle of the joystick. Further, the information processing device 10 performs machine learning of the piecewise linear network 20 or the piecewise linear network 20b by using the evaluation function corresponding to the strategy of the game.
  • FIG. 5 is a diagram showing an example of a chemical plant.
  • ethylene gas and liquid acetic acid are input to the chemical plant as raw materials.
  • FIG. 5 shows the plant configuration of a process in which the input raw material is heated by a vaporizer to vaporize acetic acid and output to the reactor.
  • the information processing device 10 is used for PID control (Proportional-Integral-Differential Controller) of the operation amount of a valve (flow rate adjusting valve) that adjusts the flow rate of ethylene gas.
  • the information processing apparatus 10 determines the operation amount of the valve (flow rate adjusting valve) according to the policy created by using the piecewise linear network 20 or the piecewise linear network 20b.
  • the control device that controls the valve controls the open / closed state of the valve according to the operation amount determined by the information processing device 10.
  • the information processing apparatus 10 receives input of sensor data such as a pressure gauge and a flow meter and a control command value, applies the input data to the model, and calculates an operation amount for executing the control command value.
  • control target was one valve, but the control target is not limited to this. Multiple valves or all valves in a chemical plant may be controlled. Further, the control target is not limited to a chemical plant, and may be, for example, a construction site, an automobile production factory, a precision parts manufacturing factory, robot control, or the like. Further, the control device may include the information processing device 10. In other words, in this case, the control device determines the operation to be performed on the controlled object according to the policy created by using the piecewise linear network 20 or the piecewise linear network 20b, and executes the determined operation on the controlled object. To do. As a result, the control device can control the controlled object so that the controlled object is in a desired state.
  • the stability of training is improved as compared with the case where a normal neural network is applied to reinforcement learning.
  • reinforcement learning especially in reinforcement learning using function approximation such as deep learning, the reward obtained by executing the operation output by the device's own policy for reinforcement learning and the state value (function) predicted by itself. ), And feed back to your own policy and predicted state value to proceed with learning.
  • the stability of training may be poor, such as the policy function value vibrating during training due to the learning structure called feedback (feedback loop). This is thought to be a phenomenon that occurs due to the adoption of a complex model with excessively non-linearity.
  • the piecewise linear network 20 or 20b to reinforcement learning, the non-linearity (complexity) can be adjusted, and the effect of increasing the stability of training can be obtained.
  • the training stability is improved by configuring the piecewise linear network 20. confirmed.
  • each of the plurality of linear combination nodes 121 linearly combines the input values (values of the input node vector 110).
  • the selection node 131 is provided for each linear combination node 121, and a value indicating whether or not the corresponding linear combination node 121 is selected is calculated according to the input value.
  • the output node 151 outputs an output value calculated based on the value of the linear combination node 121 and the value of the selection node 131.
  • the linear model formed by the linear combination node 121 can be used as a submodel, and the submodel can be selected according to the input value, and the piecewise linear model is constructed to form a nonlinear model.
  • the complexity of the model can be controlled by adjusting the number of linear combination nodes 121, selection nodes 131, and element unit product nodes 141. The greater the number of linear combination nodes 121, selection nodes 131, and element unit product nodes 141, the greater the number of submodels (linear models) that the piecewise linear network 20 or 20b can use, and the more complex the piecewise linear model. Can be constructed.
  • the user can know which submodel (linear model) is selected by which input value by the piecewise linear network 20 or 20b, and by analyzing the selected submodel, the interpretation of the model (for example) , Model meaning) can be done.
  • the user can interpret the model relatively easily in that the object of interpretation is an individual linear model, that is, the model is relatively interpretable.
  • the total value obtained by summing the values of the selection nodes 131 for all the selection nodes 131 included in one selection node vector 130 is a constant value (1).
  • the piecewise linear network 20 or 20b performs machine learning in which the maximum value of the value of the selection node 131 is made larger in the machine learning phase.
  • the piecewise linear network 20 or 20b performs machine learning using the above equation (17) to increase the maximum value of the selected node 131.
  • the non-linear interval the interval in which the dominant linear model is not uniquely determined
  • the binary mask node 221 is set to be used or not used for each combination of the linear combination node 121 and the selection node 131.
  • the number of combinations of the linear combination node 121 and the selection node 131 to be used can be made variable.
  • the piecewise linear network 20b reduces the processing accuracy by training a set of training data sets with a combination of various numbers of linear combination nodes 121, selection nodes 131, and element unit product nodes 141.
  • the number of nodes used can be reduced as much as possible to reduce the processing load, and the optimum number of nodes can be detected.
  • FIG. 6 is a diagram showing an example of the configuration of the information processing apparatus according to the embodiment.
  • the information processing apparatus 300 shown in FIG. 6 includes a plurality of linear combination nodes 301, a selection node 302, and an output node 303.
  • Each of the plurality of linear combination nodes 301 linearly combines the input values.
  • the selection node 302 is provided for each linear combination node 301, and a value indicating whether or not the corresponding linear combination node 301 is selected is calculated according to the input value.
  • the output node 303 outputs an output value calculated based on the value of the linear combination node 301 and the value of the selection node 302.
  • the linear model formed by the linear combination node 301 can be used as a submodel, and the submodel can be selected according to the input value, and a piecewise linear model is constructed to obtain a nonlinear model ( Can be expressed (approximately).
  • the complexity of the model can be controlled by adjusting the number of linear combination nodes 301 and selection nodes 302. As the number of linear combination nodes 301 and selection nodes 302 increases, the number of submodels (linear models) that can be used by the information processing apparatus 300 increases, and a more complicated piecewise linear model can be constructed.
  • the user can know which submodel (linear model) is selected by the information processing apparatus 300 at which input value, and by analyzing the selected submodel, the interpretation of the model (for example, the model) (Meaning of) can be performed.
  • the user can interpret the model relatively easily in that the object of interpretation is an individual linear model, that is, the model is relatively interpretable.
  • FIG. 7 is a diagram showing an example of processing in the information processing method according to the embodiment.
  • the information processing method includes a step of calculating the linear combination node value (step S11), a step of calculating the selected node (step S12), and a step of calculating the output value (step S13). ..
  • step S11 a plurality of linear combination node values obtained by linearly combining the input values are calculated.
  • step S12 the selection node value indicating whether or not the linear combination node value is selected is calculated for each linear combination node value.
  • the output value is calculated based on the linear combination node value and the selected node value.
  • a linear model that linearly combines input values can be used as a submodel, and the submodel can be selected according to the input value, and a piecewise linear model is constructed to (approximately) a nonlinear model.
  • the complexity of the model can be controlled by adjusting the number of linear combination node values and selected node values. As the number of linear combination node values and selected node values increases, the number of submodels (linear models) that can be used in this information processing method increases, and a more complicated piecewise linear model can be constructed.
  • the user who uses this information processing method can know which submodel (linear model) is selected at which input value, and interprets the model (for example, by analyzing the selected submodel). Model meaning) can be done.
  • the user can interpret the model relatively easily in that the object of interpretation is an individual linear model, that is, the model is relatively interpretable.
  • FIG. 8 is a schematic block diagram showing a configuration of a computer according to at least one embodiment.
  • the computer 700 includes a CPU (Central Processing Unit) 710, a main storage device 720, an auxiliary storage device 730, and an interface 740. Any one or more of the above-mentioned information processing devices 10 and 300 may be mounted on the computer 700. In that case, the operation of each of the above-mentioned processing units is stored in the auxiliary storage device 730 in the form of a program.
  • the CPU 710 reads the program from the auxiliary storage device 730, expands it to the main storage device 720, and executes the above processing according to the program.
  • the CPU 710 secures a storage area corresponding to each of the above-mentioned storage units in the main storage device 720 according to the program. Communication between each device and other devices is executed by having the interface 740 have a communication function and performing communication according to the control of the CPU 710.
  • the auxiliary storage device 730 is, for example, a non-transitory recording medium such as a CD (Compact Disc) or a DVD (digital versatile disc).
  • the operation of the control unit 19 is stored in the auxiliary storage device 730 in the form of a program.
  • the CPU 710 reads the program from the auxiliary storage device 730, expands it to the main storage device 720, and executes the above processing according to the program. Further, the CPU 710 secures a storage area corresponding to the storage unit 18 in the main storage device 720 according to the program.
  • the communication performed by the communication unit 11 is executed by having the interface 740 have a communication function and performing communication according to the control of the CPU 710.
  • the function of the display unit 12 is executed by having the interface 740 have a display device and displaying an image on the display screen of the display device according to the control of the CPU 710.
  • the function of the operation input unit 13 is performed by the interface 740 having an input device, accepting a user operation, and outputting a signal indicating the accepted user operation to the CPU 710.
  • the processing of the piecewise linear network 20 and its respective parts is also stored in the auxiliary storage device 730 in the form of a program.
  • the CPU 710 reads the program from the auxiliary storage device 730, expands it to the main storage device 720, and executes the above processing according to the program to perform the processing of the piecewise linear network 20 and each part thereof.
  • the processing of the piecewise linear network 20b and its respective parts is also stored in the auxiliary storage device 730 in the form of a program.
  • the CPU 710 reads the program from the auxiliary storage device 730, expands it to the main storage device 720, and executes the above processing according to the program to perform the processing of the piecewise linear network 20b and each part thereof.
  • the operations of the linear combination node 301, the selection node 302, and the output node 303 are stored in the auxiliary storage device 730 in the form of a program.
  • the CPU 710 reads the program from the auxiliary storage device 730, expands it to the main storage device 720, and executes the above processing according to the program.
  • the term "computer system” as used herein includes hardware such as an OS (Operating System) and peripheral devices.
  • the "computer-readable recording medium” is a portable medium such as a flexible disk, a magneto-optical disk, a ROM (Read Only Memory), a CD-ROM (Compact Disc Read Only Memory), or a hard disk built in a computer system. It refers to a storage device such as.
  • the above-mentioned program may be for realizing a part of the above-mentioned functions, and may further realize the above-mentioned functions in combination with a program already recorded in the computer system.
  • the present invention may be applied to an information processing device, an information processing method, and a recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Complex Calculations (AREA)

Abstract

情報処理装置が、入力値を線形結合する複数の線形結合ノードと、前記線形結合ノードに設けられ、対応する線形結合ノードの選択の有無を示す値を前記入力値に応じて算出する選択ノードと、前記線形結合ノードの値と前記選択ノードの値とに基づいて算出された出力値を出力する出力ノードと、を備える。

Description

情報処理装置、情報処理方法および記録媒体
　本発明は、情報処理装置、情報処理方法および記録媒体に関する。
　順伝搬型ニューラルネットワークを用いてより複雑な処理を行うために、非線形の活性化関数が用いられる場合がある。
　例えば、特許文献１に記載のニューラルネットワークは、予測時間の短縮と汎化性能との両立を目的として、隠れ層に、活性化関数としてコサイン（ＣＯＳ）関数を用いる複数個のＣＯＳ素子と、複数のＣＯＳ素子の出力を重み付け合計するΣ素子とを備える。
日本国特開２０１６－２１８５１３号公報
　順伝搬型ニューラルネットワークに非線形の活性化関数を用いて非線形モデルを扱うことで、線形モデルのみを扱う場合よりも複雑な処理を行うことができる。一方で、順伝搬型ニューラルネットワークに非線形の活性化関数を用いることで、表現されるモデルが複雑になり、処理を解釈することが困難になる。
　本発明の目的の一例は、上述の課題を解決することのできる情報処理装置、情報処理方法および記録媒体を提供することである。
　本発明の第１の態様によれば、情報処理装置は、入力値を線形結合する複数の線形結合ノードと、前記線形結合ノードに設けられ、対応する線形結合ノードの選択の有無を示す値を前記入力値に応じて算出する選択ノードと、前記線形結合ノードの値と前記選択ノードの値とに基づいて算出された出力値を出力する出力ノードと、を備える。
　本発明の第２の態様によれば、情報処理方法は、コンピュータが、入力値を線形結合した線形結合ノード値を複数算出し、前記線形結合ノード値について、その線形結合ノード値の選択の有無を示す選択ノード値を算出し、前記線形結合ノード値と前記選択ノード値とに基づいて出力値を算出する。
　本発明の第３の態様によれば記録媒体は、コンピュータに、入力値を線形結合した線形結合ノード値を複数算出する機能と、前記線形結合ノード値についてに、その線形結合ノード値の選択の有無を示す選択ノード値を算出する機能と、前記線形結合ノード値と前記選択ノード値とに基づいて出力値を算出する機能と、を実行させるプログラムが格納される。
　この発明の実施形態によれば、非線形のモデルを表現でき、かつ、モデルの解釈性が比較的高い。
実施形態に係る情報処理装置の機能構成の例を示す概略ブロック図である。 実施形態に係る情報処理装置が行う処理を示すネットワークの例を示す図である。 実施形態に係る区分線形ネットワークにおける線形結合ノードの選択の例を示す図である。 実施形態に係る隠れ層のノードの個数が可変な区分線形ネットワークの例を示す図である。 実施形態に係る区分線形ネットワークの適用対象の化学プラントの例を示す図である。 実施形態に係る情報処理装置の構成の例を示す図である。 実施形態に係る情報処理方法における処理の例を示す図である。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
　以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定しない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
＜情報処理装置の構成について＞
　図１は、実施形態に係る情報処理装置１０の機能構成の例を示す概略ブロック図である。図１に示す構成で、情報処理装置１０は、通信部１１と、表示部１２と、操作入力部１３と、記憶部１８と、制御部１９とを備える。
　情報処理装置１０は、入力データに基づいて出力データを算出する。特に、情報処理装置１０は、後述する区分線形ネットワークを用いた区分線形モデルに入力データを適用して出力データを算出する。
　通信部１１は、他の装置と通信を行う。通信部１１が、他の装置から入力データを受信するようにしてもよい。また、通信部１１は、情報処理装置１０の演算結果（出力データ）を他の装置へ送信するようにしてもよい。
　表示部１２および操作入力部１３は、情報処理装置１０のユーザインタフェースを構成する。
　表示部１２は、例えば液晶パネルまたはＬＥＤ（Light Emitting Diode、発光ダイオード）等の表示画面を備え、各種画像を表示する。例えば、表示部１２が情報処理装置１０の演算結果を表示するようにしてもよい。
　操作入力部１３は、例えばキーボードおよびマウス等の入力デバイスを備え、ユーザ操作を受け付ける。例えば、操作入力部１３が、情報処理装置１０が機械学習を行うためのパラメタ値を設定するユーザ操作を受け付けるようにしてもよい。
　記憶部１８は、各種データを記憶する。記憶部１８は、情報処理装置１０が備える記憶デバイスを用いて構成される。
　制御部１９は、情報処理装置１０の各部を制御して各種処理を行う。制御部１９の機能は、情報処理装置１０が備えるＣＰＵ（Central Processing Unit、中央処理装置）が記憶部１８からプログラムを読み出して実行することで実行される。
＜区分線形ネットワークの構成について＞
　図２は、情報処理装置１０が行う処理を示すネットワークの例を示す図である。以下では、情報処理装置１０が行う処理を示すネットワークを、区分線形（Piecewise Linear；ＰＬ）ネットワークと称する。区分線形ネットワークは、線形モデルをサブモデルとして用いて区分線形モデルを構成する。線形モデルは、たとえば、入力データの各次元を説明変数とした重回帰式、入力データの各次元の対数を説明変数とする重回帰式、または、入力データに1個以上の多変数非線形関数を適用したデータの各次元を説明変数とした重回帰式等である。ただし、線形モデルは、上述した例に限定されない。
　区分線形ネットワークは、必ずしも、たとえば、図３の横軸にて示されているような数値区間が、複数の区間に区切られるわけではない。情報処理装置１０が、区分線形ネットワークの動作として説明する処理を行うことで（特に、後述する線形ノードベクトル、選択ノードベクトル、及び、要素単位積ノードベクトルなど各部の処理を実行することで）、結果として、図３に例示されるように数値区間が複数の区間に区切られるような処理が実行される。あるいは、情報処理装置１０が、機械学習によって区分線形ネットワークの各部を設定することで、図３に例示されるような区間が設定されるといえる。
　図２の例で、区分線形ネットワーク２０は、入力層２１と、中間層（隠れ層）２２と、出力層２３とを備える。
　情報処理装置１０は、例えば、区分線形ネットワーク２０のプログラムを記憶部１８に記憶しておき、制御部１９がそのプログラムを読み出して実行することで、区分線形ネットワーク２０の処理を実行する。
　ただし、区分線形ネットワーク２０の処理の実行方法は、これに限定されない。たとえば、区分線形ネットワーク２０がＡＳＩＣ（Application Specific Integrated Circuit）を用いて構成されているなど、情報処理装置１０が、区分線形ネットワーク２０の処理をハードウェア的に実行するようにしてもよい。
　入力層２１は、入力ノードベクトル１１０を備える。入力ノードベクトルの要素数をＭ個（Ｍは正の整数）として、入力ノードベクトル１１０の要素を入力ノード１１１－１～１１１－Ｍと表記する。入力ノード１１１－１～入力ノード１１１－Ｍを総称して入力ノード１１１と表記する。
　入力ノード１１１の各々は、区分線形ネットワーク２０へのデータ入力を受け付ける。したがって、入力ノードベクトル１１０は、区分線形ネットワーク２０への入力ベクトル値を取得し、中間層２２のノードへ出力する。
　入力ノード１１１の個数Ｍは、特定の個数に限定されず、１つ以上であればよい。
　中間層２２は、線形結合ノードベクトル１２０－１および１２０－２と、選択ノードベクトル１３０－１および１３０－２と、要素単位積ノードベクトル１４０－１および１４０－２とを備える。
　線形結合ノードベクトル１２０－１および１２０－２を総称して線形結合ノードベクトル１２０と表記する。選択ノードベクトル１３０－１および１３０－２を総称して、選択ノードベクトル１３０と表記する。要素単位積ノードベクトル１４０－１および１４０－２を総称して要素単位積ノードベクトル１４０と表記する。
　ただし、区分線形ネットワーク２０が備える線形結合ノードベクトル１２０、選択ノードベクトル１３０および要素単位積ノードベクトル１４０の個数は図２に示す２個に限定さない。区分線形ネットワーク２０が、線形結合ノードベクトル１２０と、選択ノードベクトル１３０と、要素単位積ノードベクトル１４０とを同じ個数ずつ備えていればよい。
　線形結合ノードベクトル１２０－１の要素数をＮ１（Ｎ１は正の整数）として、線形結合ノードベクトル１２０－１の要素を線形結合ノード１２１－１－１～１２１－１－Ｎ１と表記する。線形結合ノードベクトル１２０－２の要素数をＮ２（Ｎ２は正の整数）として、線形結合ノードベクトル１２０－２の要素を線形結合ノード１２１－２－１～１２１－２－Ｎ２と表記する。
　線形結合ノード１２１－１－１～１２１－１－Ｎ１および１２１－２－１～１２１－２－Ｎ２を総称して線形結合ノード１２１と表記する。
　線形結合ノード１２１の各々は、入力ノードベクトル１１０の値（区分線形ネットワーク２０への入力ベクトル値）を線形結合する。線形結合ノード１２１が行う演算は、式（１）のように示される。
Figure JPOXMLDOC01-appb-M000001
　式（１）の左辺の「ｘ」は、入力ノードベクトル１１０の値を示す。入力ノード１１１の個数をＭ個（Ｍは正の整数）として、ｘ＝［ｘ１，・・・，ｘＭ］と表記する。
　式（１）の右辺の「ｘｊ」は、入力ノードベクトル１１０のｊ番目の要素の値を示す。「ｗｊ，ｉ」は、線形結合ノードベクトル１２０のｉ番目の要素である線形結合ノード１２１が、線形結合ノード１２１自らの値を算出する際に、入力ノードベクトル１１０のｊ番目の要素に乗算される重み係数を示す。「ｂｉ」は、線形結合ノード毎に設定されるバイアス値を示す。重み係数ｗｊ，ｉおよびバイアス値ｂｉは、何れも機械学習によって設定または更新される。
　選択ノードベクトル１３０－１の要素数は、線形結合ノードベクトル１２０－１の要素数と同じくＮ１個である。選択ノードベクトル１３０-１の要素を選択ノード１３１－１－１～１３１－１－Ｎ１と表記する。選択ノードベクトル１３０－２の要素数は、線形結合ノードベクトル１２０－２の要素数と同じくＮ２個である。選択ノードベクトル１３０-２の要素を選択ノード１３１－２－１～１３１－２－Ｎ２と表記する。
　選択ノード１３１－１－１～１３１－１－Ｎ１および１３１－２－１～１３１－２－Ｎ２を総称して選択ノード１３１と表記する。
　選択ノード１３１は、入力ノードベクトル１１０の値に基づく値を算出し、算出した値を活性化関数に適用する。選択ノード１３１の出力値によって、その選択ノード１３１と一対一に対応付けられている線形結合ノード１２１を選択するか否かが決定される。
　選択ノード１３１が入力ノードベクトル１１０の値に基づく値を算出する方法として、線形結合ノード１２１選択の根拠がわかりやすく、かつ、勾配法（逆誤差伝播法、Back Propagation）にて訓練（機械学習）可能な、いろいろな方法を用いることができる。
　例えば、選択ノード１３１が、線形結合ノード１２１の場合と同様、入力ノードベクトル１１０の値を線形結合するようにしてもよい。あるいは、選択ノード１３１が、誤差逆伝播法により訓練可能とした決定木を用いて、入力空間を各軸方向に２分して行き、入力空間上の領域を選択するようにしてもよい。
　線形結合ノード１２１と選択ノード１３１とは、何れも入力ノードベクトル１１０の値に基づく値を算出する点で共通する。一方、線形結合ノード１２１と選択ノード１３１とは、線形結合ノード１２１が、式（１）で算出される入力ノードベクトル１１０の値の線形結合をノードの値（ノードからの出力）とするのに対し、選択ノード１３１が、入力ノードベクトル１１０の値に基づく値を活性化関数に適用する点で異なる。入力ノードベクトル１１０の値に基づく値を活性化関数に適用することによって、好ましくは、選択ノードベクトル１３０のうち何れか１つの要素の値が１に近付き、それ以外の要素の値が０に近付く。
　選択ノード１３１は、線形結合ノード１２１の選択の有無を示すための値を算出するノードであり、線形結合ノード１２１と選択ノード１３１とが一対一に対応付けられる。線形結合ノードベクトル１２０に含まれる線形結合ノード１２１の各々うち、その線形結合ノード１２１に対応付けられる選択ノード１３１の値が１に近いものが、区分線形ネットワーク２０の出力値において支配的になる。この点で、線形結合ノードベクトル１２０に含まれる線形結合ノード１２１の各々うち、その線形結合ノード１２１に対応付けられる選択ノード１３１の値が１に近いものが選択される。
　選択ノード１３１に用いる活性化関数として、Ｓｏｆｔｍａｘ関数を用いることができる。Ｓｏｆｔｍａｘ関数は、式（２）のように示される。
Figure JPOXMLDOC01-appb-M000002
　選択ノード１３１の活性化関数として式（２）のＳｏｆｔｍａｘ関数を用いる場合、式（２）の左辺の「ｘ」は、式（１）の場合とは異なり、入力ノードベクトル１１０を線形結合値のベクトルである。式（１）の表記を用いれば、「ｘ＝［ｆ１（ｘ），・・・ｆＮ（ｘ）］」（Ｎ＝Ｎ１またはＮ＝Ｎ２）となる。
　なお、線形結合ノード１２１、選択ノード１３１それぞれに重み係数ｗｊ，ｉとバイアス値ｂｉとが設けられる。したがって、互いに対応付けられる線形結合ノード１２１および選択ノード１３１であっても、重み係数ｗｊ，ｉの値およびバイアス値ｂｉの値は、通常は異なる値となる。
　「σｉ（ｘ）」は、選択ノードベクトル１３０のｉ番目の要素の値を示す。
　式（２）の右辺の「ｘｊ」は、ｘの要素を示す。式（１）の表記を用いれば、ｘｊ＝ｆ（ｘｊ）となる。「ｅ」は、ネイピア数を示す。
　式（２）に示されるように、選択ノードベクトル１３０の値の計算では、その要素である選択ノード１３１の各々が、要素毎（従って、選択ノード１３１毎）にｅｘｉを算出する。そして、算出した値を、選択ノードベクトル１３０全体（具体的には、選択ノードベクトル１３０－１全体、または、選択ノードベクトル１３０－２全体）のｅｘｉの合計値で除算することで、０以上１以下の値に規格化する。式（２）で算出されるσｉ（ｘ）は、０以上１以下の値をとり、かつ、選択ノードベクトル１３０全体のσｉ（ｘ）の合計値が１になる。このように、σｉ（ｘ）は確率のような性質を有する。
　ただし、選択ノード１３１が使用する活性化関数はＳｏｆｔｍａｘ関数に限定されない。選択ノード１３１が使用する活性化関数として、特定のノードを選択可能ないろいろな値を用いることができる。例えば、選択ノード１３１が使用する活性化関数として、何れか１つの選択ノード１３１の値が１となり、それ以外の選択ノード１３１の値が全て０となるステップ関数（単エッジ関数）を用いるようにしてもよい。
　要素単位積ノードベクトル１４０－１の要素数は、線形結合ノードベクトル１２０－１の要素数と同じくＮ１個である。要素単位積ノードベクトル１４０－１の要素を要素単位積ノード１４１－１－１～１４１－１－Ｎ１と表記する。要素単位積ノードベクトル１４０－２の要素数は、線形結合ノードベクトル１２０－２の要素数と同じくＮ２個である。要素単位積ノードベクトル１４０-２の要素を要素単位積ノード１４１－２－１～１４１－２－Ｎ２と表記する。
　要素単位積ノード１４１－１－１～１４１－１－Ｎ１および１４１－２－１～１４１－２－Ｎ２を総称して要素単位積ノード１４１と表記する。
　要素単位積ノード１４１が行う演算は、式（３）のように示される。
Figure JPOXMLDOC01-appb-M000003
　ｇｉ（ｘ）は、要素単位積ノードベクトル１４０のｉ番目の要素の値を示す。ｆｉ（ｘ）は、線形結合ノードベクトル１２０のｉ番目の要素の値を示す。σｉ（ｘ）は、選択ノードベクトル１３０のｉ番目の要素の値を示す。
　要素単位積ノード１４１は、選択ノード１３１の値に基づく線形結合ノードの選択を実行する。
　図２に示すように、１つの線形結合ノード１２１からの出力と、１つの選択ノード１３１からの出力が１つの単位要素積ノードに入力されることで、線形結合ノード１２１と選択ノード１３１との一対一の対応付けが行われている。そして、要素単位積ノード１４１が、線形結合ノード１２１からの出力に選択ノード１３１からの出力を乗算することで、選択ノード１３１の値が０に近い場合、対応付けられる線形結合ノード１２１の値がマスクされる。このマスクにより、値が１に近い選択ノード１３１に対応付けられる線形結合ノード１２１が、出力ノード１５１の値に関して支配的となる。
　このように、選択ノードベクトル１３０の要素のうち何れか１つの要素の値が１に近付き、それ以外の要素の値が０に近付くことで、値が１に近い要素（したがって、値が１に近い選択ノード１３１）に対応付けられる線形結合ノード１２１が選択される。
　出力層２３は、出力ノードベクトル１５０を備える。図２の例では、出力ノードベクトル１５０は、２つの要素を含んでいる。これら２つの要素を出力ノード１５１－１および１５１－２と表記する。
　出力ノード１５１－１および１５１－２を総称して出力ノード１５１と表記する。
　ただし、出力ノードベクトル１５０の要素の個数（出力ノード１５１の個数）は、図２に示す２個に限定されない。図２に示されるように、出力ノード１５１は、要素単位積ノードベクトル１４０と一対一に対応付けられる。したがって、出力ノード１５１の個数は、要素単位積ノードベクトル１４０の個数と同じになる。
　出力ノード１５１が行う演算は、式（４）のように示される。
Figure JPOXMLDOC01-appb-M000004
　μｋ（ｘ）は、出力ノードベクトル１５０のｋ番目の要素である出力ノード１５１の値を示す。ｇｉ（ｘ）は、要素単位積ノードベクトル１４０におけるｉ番目の要素である要素単位積ノード１４１の値を示す。
　式（４）に示されるように、出力ノード１５１は、１つの要素単位積ノードベクトル１４０の全ての要素の値の合計を算出する。
　区分線形ネットワーク２０は、入力層、中間層、および、出力層を備え、各層にノードを備える構成の点では、順伝搬型ニューラルネットワークの一種と見做すことができる。一方、区分線形ネットワーク２０は、線形結合ノード１２１、選択ノード１３１、および、要素単位積ノード１４１を備える点で、一般的な順伝搬型ニューラルネットワークとは異なる。
＜サブモデルの選択について＞
　図３は、区分線形ネットワーク２０における線形結合ノードの選択の例を示す図である。図３のグラフの横軸は入力値を示す。縦軸は、ノードの出力値を示す。具体的には、図３のグラフの右側の目盛りは、選択ノード１３１の値の目盛りである。ここでは、選択ノード１３１の値を重みとも称する。また、図３のグラフの左側の目盛りは、線形結合ノード１２１の値および出力ノード１５１の値の目盛りである。
　図３は、線形結合ノードベクトル１２０の要素数が２個の場合を示している。これらの要素を、第１の線形結合ノード１２１－１および第２の線形結合ノード１２１－２と表記する。また、第１の線形結合ノード１２１－１に対応付けられる選択ノードを第１の選択ノード１３１－１と表記する。第２の線形結合ノード１２１－２に対応付けられる選択ノードを第２の選択ノード１３１－２と表記する。
　線Ｌ１１１は、第１の線形結合ノード１２１－１の値を示す。線Ｌ１１２は、第２の線形結合ノード１２１－２の値を示す。
　線Ｌ１２１は、第１の選択ノード１３１－１の値を示す。線Ｌ１２２は、第２の選択ノード１３１－２の値を示す。
　線Ｌ１３１は、出力ノード１５１の値を示す。
　入力値の取り得る範囲－１０～（＋）１５を図３のように領域Ａ１１、Ａ１２、Ａ１３の３つの領域に分割すると、領域Ａ１１では、第１の線形結合ノード１２１－１の値（線Ｌ１１１参照）が１に近く、第２の線形結合ノード１２１－２の値（線Ｌ１１２参照）は０に近い。このため、出力ノード１５１の値（線Ｌ１３１参照）において、第１の線形結合ノード１２１－１の値（線Ｌ１１１参照）が支配的である。
　領域Ａ１３では、第２の線形結合ノード１２１－２の値（線Ｌ１１２参照）が１に近く、第１の線形結合ノード１２１－１の値（線Ｌ１１１参照）は０に近い。このため、出力ノード１５１の値（線Ｌ１３１参照）において、第２の線形結合ノード１２１－２の値（線Ｌ１１２参照）が支配的である。
　一方、領域Ａ１２では、第１の線形結合ノード１２１－１の値（線Ｌ１１１参照）と、第２の線形結合ノード１２１－２の値（線Ｌ１１２参照）とが、それぞれ第１の選択ノード１３１－１の値（線Ｌ１２１参照）、第２の選択ノード１３１－２の値（線Ｌ１２２参照）を重みとして重み付け平均されて、その演算結果が出力ノード１５１の値（線Ｌ１３１参照）となっている。
　区分線形ネットワーク２０では、領域Ａ１１およびＡ１３のように、入力値に応じて線形結合ノード１２１の何れかが選択されることで、線形結合ノード１２１による線形モデルをサブモデルとして区分線形モデルが形成される。
　区分線形ネットワーク２０が区分線形モデルを形成することで、モデルの解釈が比較的容易である。
（区分線形ネットワークの表現力について）
　区分線形ネットワーク２０は、正規化線形（Rectified Linear Unit；ＲｅＬＵ）ニューラルネットワークの場合と同じ区分線形関数を（極限における漸近近似として）表現可能である。ここでいう正規化線形ニューラルネットワークは、活性化関数として正規化線形関数（ランプ関数ともいう）を用いるニューラルネットワークである。ここでいう区分線形関数は、式（５）のように示される。
Figure JPOXMLDOC01-appb-M000005
　ｓｈは係数、ｗｈ Ｔは重み、ｂｈおよびｔｈはバイアス値であり、いずれも機械学習によって設定される。ｘは入力値を示すベクトルである。上付きのＴは行列またはベクトルの転置を示す。ｍａｘ（０，ｗｈ Ｔｘ＋ｂｈ）は、０およびｗｈ Ｔｘ＋ｂｈのうち何れか大きい方の値を出力する関数である。
　正規化線形ニューラルネットワークでは、区分線形モデルであるサブモデルの合成（重ね合わせ）によって区分線形モデルが生成される。
　例えば、以下のようにすれば、区分線形ネットワーク２０を用いて正規化線形ニューラルネットワークの場合と同じ区分線形関数を（極限における漸近近似として）表現可能である。
（１）　正規化線形ニューラルネットワークの変曲点の数＋１個のサブモデルを持つ区分線形ネットワーク２０を用意する。
（２）　正規化線形ニューラルネットワークの変曲点のｘ座標と、区分線形ネットワーク２０の選択モデル変曲点とが同じになるよう選択モデルを構成する。ここでいう選択モデルは、選択ノード１３１の値によって上記のように線形結合ノード１２１を選択して得られるモデルである。
（３）　区分線形ネットワーク２０の選択モデルの変曲点を変えずに、選択モデルの傾きを∞に近づける。この点で、極限における漸近近似表現となる。
（４）　区分線形ネットワーク２０の各サブモデルの重みを正規化線形ニューラルネットワークの各区分線形部と同じにする。
　また、区分線形ネットワーク２０の方が、以下の点で、正規化線形ニューラルネットワークよりもモデルの表現能力が高い。
（ａ）　区分線形ネットワーク２０は、サブモデル（線形結合ノード１２１）を選択する分、同等の関数を表現する正規化線形ニューラルネットワークよりパラメタ数が多い。（ｂ）　区分線形ネットワーク２０では、上記のようにＳｏｆｔｍａｘ関数を用いてサブモデル（線形結合ノード１２１）を選択することで、サブモデルの境界は、点でなく曲線になる。
　ここで、区分線形ネットワーク２０の場合と正規化線形ニューラルネットワークの場合とでモデルの解釈性を比較すると、正規化線形ニューラルネットワークでは、どの回帰式がどの入力区間で使われるのかの解釈が困難である。
　具体的には、上記の式（５）において、モデルを構成するある１個の線形区間がどんな回帰式（サブモデル）なのか、および、どの入力区間がその回帰式に対応するかの解釈が困難である。
　例えば、正規化線形ニューラルネットワークのモデルを解釈するために、（ｉ）　式（６）の各々を満たす入力空間ｘの部分集合Ｘｈ⊆Ｒｄ（Ｒｄは、ｄ次元の実数ベクトルを示す）を求め、また、（ｉｉ）　あるＸｈにおいて式（６）の各々を満たす全てのｉについて加算した式（７）を回帰式として解釈する（式（７）が回帰式だと判明する）場合、について説明する。
　ここで、式（６）および式（７）は下記のとおりである。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
　この場合、モデルが高次元だと、上記の（ｉ）、（ｉｉ）の何れに関しても分析、解釈が困難である。
　これに対し、区分線形ネットワーク２０では、サブモデルは上記の式（１）のように線形モデルで表され、重み（式（１）ではｗｊ，ｉ）およびバイアス値（式（１）ではｂｉ）を解釈することでサブモデルを解釈できる。
　また、区分線形ネットワーク２０では、選択ノード１３１の値を見ることで、どのサブモデルが選択されたか判定できる。
　このように、区分線形ネットワーク２０によれば、比較的容易にモデルを解釈できる。
（区分線形ネットワークにおけるクラス分類確率について）
　区分線形ネットワーク２０のクラス分類確率に関して、式（８）が成り立つ。
Figure JPOXMLDOC01-appb-M000008
　ここで、ｘｉはクラス分類の対象のデータを示す。ｃはクラスを示す。
　なお、データｘｉについて、確信をもってサブモデルが選択される（あるクラスに分類される）場合に、式（９）が成り立つ。
Figure JPOXMLDOC01-appb-M000009
　式（８）より、Ｄ個のデータ｛ｘｉ｝ｉ＝１ Ｄについて式（１０）が成り立つ。
Figure JPOXMLDOC01-appb-M000010
　また、クラスの個数をＣとすると、式（１１）が成り立つ。
Figure JPOXMLDOC01-appb-M000011
　式（１１）が成り立つことについてさらに説明すると、データｘｉについて、全くランダムにサブモデルが選択される（あるクラスに分類される）場合に、式（１２）が成り立つ。
Figure JPOXMLDOC01-appb-M000012
　すなわち、「∀ｃ，Ｐ（ｃ｜ｘｉ）＝１／Ｃ」の場合に式（１２）が成り立つ。
　一方、「１＝Σｉ＝１ ＤＰ（ｃ｜ｘｉ）」より、式（１３）が成り立つ。
Figure JPOXMLDOC01-appb-M000013
　この場合、データｘｉのクラス分類に関して、式（１４）が成り立つ。
Figure JPOXMLDOC01-appb-M000014
　式（１２）および式（１４）より、上記の式（１１）のように表される。
　式（１１）より、Ｄ個のデータ｛ｘｉ｝ｉ＝１ Ｄについて式（１５）が成り立つ。
Figure JPOXMLDOC01-appb-M000015
　式（１０）および式（１５）より、Ｄ個のデータｘｉ（ｉは、１≦ｉ≦Ｄの整数）の各々をＣ個のクラスの何れかに分類する確率Ｐ（ｃ｜ｘｉ）について、式（１６）が成り立つ。
Figure JPOXMLDOC01-appb-M000016
　Ｄ個のデータで学習する際に、式（１６）の真ん中の辺（１／ＤΣｉ＝１ ＤｍａｘｃＰ（ｃ｜ｘｉ））の値が１であれば、各サブモデル（線形結合ノード１２１毎の線形モデル）のうち一つだけが常に選択され、Ｄ個のデータについてはサブモデル（線形モデル）間の非線形な補間が無くなる。すなわち、Ｄ個のデータ点については、区分線形ネットワーク２０が生成するモデルが完全な区分線形関数になる。このことから、後述する式（１７）のように、式（１６）の真ん中の辺の値が１に近づく（大きくなる）ことを訓練時の目的関数に加えることで、得られるモデルの線形性を高めることができる。
（区分線形ネットワークにおける機械学習について）
　区分線形ネットワーク２０の機械学習アルゴリズムとして、ニューラルネットワークの機械学習で一般的に用いられる誤差逆伝播法アルゴリズムを用いることができる。誤差逆伝播法により、線形結合ノード１２１および選択ノード１３１の何れについても、係数（重みｗｊ，ｉおよびバイアス値ｂｉ）を機械学習することができる。
　ここで、区分線形ネットワーク２０が、活性化関数の立ち上がりまたは立ち下がりの傾きが急になるように機械学習を行うようにしてもよい。例えば、図３の例で、線Ｌ１２１の立下りおよび線Ｌ１２２の立ち上がりがより急になることで、何れかの線形モデルが支配的な領域（図３の例では、領域Ａ１１およびＡ１３）の入力値の全体（定義域）に占める割合が大きくなり、モデルの解釈がより容易になると期待される。
　活性化関数の立ち上がりまたは立下りの傾きを急にするために、情報処理装置１０が、目的関数として式（１７）を用いて目的関数値Ｌを最小化するように、区分線形ネットワーク２０の機械学習を行うようにしてもよい。
Figure JPOXMLDOC01-appb-M000017
　式（１７）で、「Ｄ」はデータ（ｘｉ，ｙｉ）の個数を示す。「ｆ（ｘｉ）」は、線形結合ノード１２１の値を示す。「σｃ」は、式（２）の「σｉ」に相当し、選択ノード１３１の値を示す。「ｃ」は、分類対象のクラスの個数（すなわち、サブモデルの個数＝選択ノードベクトル１３０の要素数）を示す。「Ｗ」、「ｂ」は、それぞれ選択ノード１３１の線形結合演算における重み係数値およびバイアス値を示す。
　右辺の第１項「１／ＤΣｉ＝１ Ｄ（ｆ（ｘｉ）－ｙｉ）２」は、逆誤差伝播法における誤差の最小化の項である。
　右辺の第２項「－λ（１／ＤΣｉ＝１ Ｄｍａｘｃσｃ（Ｗｘｉ＋ｂ）」は、活性化関数の立ち上がりまたは立下りの傾きを急にするための項である。「λ」は、第１項と第２項との比重を調整するための係数である。選択ノードベクトル１３０の要素（選択ノード１３１）の各々の値のうち最大値が大きくなるほど、右辺の第２項の絶対値が大きくなり、「－」によって右辺の第２項の値が小さくなる。右辺の第２項の値が小さくなることで、目的関数値Ｌが小さくなる、すなわち、機械学習における評価が高くなる。
（区分線形ネットワークの変形例）
　情報処理装置１０が備える区分線形ネットワークが、隠れ層のノードの個数を可変に構成されていてもよい。
　図４は、隠れ層のノードの個数が可変な区分線形ネットワークの例を示す図である。図４の例で、情報処理装置１０は、図２の区分線形ネットワーク２０に代えて区分線形ネットワーク２０ｂを備える。
　図４に示す構成で、区分線形ネットワーク２０ｂは、入力層２１と、中間層（隠れ層）２２と、出力層２３とを備える。
　入力層２１は、区分線形ネットワーク２０（図２）の場合と同様である。区分線形ネットワーク２０ｂにおいても、区分線形ネットワーク２０の場合と同様、入力ノードベクトル１１０、入力ノード１１１－１～１１１－Ｍ、入力ノード１１１との表記を用いる。中間層２２ｂは、バッチ正規化ノードベクトル２１０－１と、線形結合ノードベクトル１２０－１と、選択ノードベクトル１３０－１と、バイナリマスクノードベクトル２２０－１と、確率化ノードベクトル２３０－１とを備える。
　図４の例では、中間層２２ｂについて１モデル分の構成を示しているが、区分線形ネットワーク２０ｂが備える構成部分は、１モデル分に限定されない。このため、図４においても図２の場合と同様の符号の表記を用いている。
　１つ以上のバッチ正規化ノードベクトルを総称して、バッチ正規化ノードベクトル２１０と表記する。１つ以上の線形結合ノードベクトルを総称して、線形結合ノードベクトル１２０と表記する。１つ以上の選択ノードベクトルを総称して、選択ノードベクトル１３０と表記する。１つ以上のバイナリマスクノードベクトルを総称してバイナリマスクノードベクトル２２０と表記する。１つ以上の確率化ノードベクトルを総称して確率化ノードベクトル２３０と表記する。１つ以上の要素単位積ノードベクトルを総称して要素単位積ノードベクトル１４０と表記する。
　線形結合ノードベクトル１２０側（図４の例では上側の並び）と、選択ノードベクトル１３０側（図４の例では下側の並び）とで、同じバッチ正規化ノードベクトル２１０、および、同じバイナリマスクノードベクトル２２０を使用するため、図４の例で同じ符号を付している。
　線形結合ノードベクトル１２０の機能は、区分線形ネットワーク２０の場合と同様である。区分線形ネットワーク２０ｂにおいても、区分線形ネットワーク２０の場合と同様、線形結合ノード１２１－１－１および１２１－１－２、線形結合ノード１２１との表記を用いる。線形結合ノードベクトル１２０の要素数が特定の個数に限定されない点も、区分線形ネットワーク２０の場合と同様である。
　選択ノードベクトル１３０の機能も、区分線形ネットワーク２０の場合と同様である。区分線形ネットワーク２０ｂにおいても、区分線形ネットワーク２０の場合と同様、選択ノード１３１－１－１および１３１－１－２、選択ノード１３１との表記を用いる。選択ノードベクトル１３０の要素数が特定の個数に限定されない点も、区分線形ネットワーク２０の場合と同様である。
　要素単位積ノードベクトル１４０の機能も、区分線形ネットワーク２０の場合と同様である。区分線形ネットワーク２０ｂにおいても、区分線形ネットワーク２０の場合と同様、要素単位積ノード１４１－１－１および１４１－１－２、要素単位積ノード１４１との表記を用いる。要素単位積ノードベクトル１４０の要素数が特定の個数に限定されない点も、区分線形ネットワーク２０の場合と同様である。
　バッチ正規化ノードベクトル２１０、バイナリマスクノードベクトル２２０、および、確率化ノードベクトル２３０は、使用する線形結合ノード１２１、選択ノード１３１および要素単位積ノード１４１の組み合わせの個数を可変にするために設けられている。
　バッチ正規化ノードベクトル２１０－１の要素数をＬ個（Ｌは正の整数）として、バッチ正規化ノードベクトル２１０の要素をバッチ正規化ノード２１１－１－１～２１１－１－Ｌと表記する。バッチ正規化ノードベクトル２１０の要素数は、特定の個数に限定されない。
　バッチ正規化ノード２１１－１－１～２１１－１－Ｌを総称してバッチ正規化ノード２１１と表記する。
　バッチ正規化ノードベクトル２１０は、入力ノードベクトル１１０の値を正規化する。使用するサブモデルの個数の異なりに応じたバッチ正規化ノード２１１を用意しておき、使用するサブモデルの個数別に使い分けることで、使用するサブモデルの個数の異なりに応じて入力ノードベクトル１１０の値が正規化される。図４の例の場合、サブモデル１個のみ使用する場合のバッチ正規化ノードベクトルと、サブモデル２個を使用する場合のバッチ正規化ノードベクトルとを含む、バッチ正規化ノードベクトル２１０を用意しておく。
　使用するサブモデルの個数の異なりに応じて入力ノードベクトル１１０の値が正規化されることにより、線形結合ノード１２１、選択ノード１３１および要素単位積ノード１４１の組み合わせの一部を不使用にした場合でも（すなわち、使用する線形結合ノード１２１、選択ノード１３１および要素単位積ノード１４１の組み合わせの個数を減らした場合でも）、区分線形ネットワーク２０ｂは、機械学習フェーズ（学習）および運用フェーズ（テスト）のいずれでも、精度を大きく落とすことなく処理を行える。
　図４の例ではバイナリマスクノードベクトル２２０－１の要素数は２個であり、バイナリマスクノードベクトル２２０の要素をバイナリマスクノード２２１－１－１～２２１－１－２と表記する。
　線形結合ノードベクトル１２０の後（データの流れの下流側）に位置するバイナリマスクノードベクトル２２０のバイナリマスクノード２２１は、線形結合ノード１２１と一対一に対応付けられる。したがって、このバイナリマスクノードベクトル２２０の要素数は、線形結合ノードベクトル１２０の要素数と同じである。
　選択ノードベクトル１３０の後に位置するバイナリマスクノードベクトル２２０のバイナリマスクノード２２１は、選択ノード１３１と一対一に対応付けられる。したがって、このバイナリマスクノードベクトル２２０の要素数は、選択ノードベクトル１３０の要素数と同じである。
　バイナリマスクノード２２１の各々は、「１」または「０」のスカラ値をとる。バイナリマスクノード２２１は、入力される値（線形結合ノード１２１の値、または、選択ノード１３１の値）にバイナリマスクノード２２１自らの値を乗算することで、マスクとして動作する。バイナリマスクノード２２１の値が「１」の場合、入力値をそのまま出力する。一方、バイナリマスクノード２２１の値が「０」の場合、入力値にかかわらず０を出力する。
　線形結合ノードベクトル１２０側のバイナリマスクノードベクトル２２０と、選択ノードベクトル１３０側のバイナリマスクノードベクトル２２０とは、同じ値をとる。これにより、バイナリマスクノードベクトル２２０は、一対一に対応付けられた線形結合ノード１２１および選択ノード１３１の組毎に、マスクするか否かを選択する。
　確率化ノードベクトル２３０は、バイナリマスクノードベクトル２２０からの出力値の合計を１にするために設けられている。上記のように、選択ノードベクトル１３０からの出力値の合計が１であるのに対し、バイナリマスクノードベクトル２２０が、選択ノードベクトル１３０の一部の要素をマスクすることで、バイナリマスクノードベクトル２２０からの出力値の合計は１より小さくなり得る。そこで、確率化ノードベクトル２３０は、バイナリマスクノードベクトル２２０からの出力値の合計が１になるように調整する。例えば、確率化ノードベクトル２３０は、バイナリマスクノードベクトル２２０の要素値毎に、これらの要素値の合計で除算することで、要素値の合計値を１にする。
　バッチ正規化ノードベクトル２１０が行う処理、および、バイナリマスクノードベクトル２２０が行う処理に、公知技術であるスリマブルニューラルネットワーク（Slimmable Neural Network）の技術を適用できる。
　一方、選択ノードベクトル１３０の前（データの流れの上流側）に、線形結合ノードベクトル１２０の前のバッチ正規化ノードベクトル２１０と同じバッチ正規化ノードベクトル２１０を設けて両者を同じ値にする構成は、実施形態に係る区分線形ネットワーク２０ｂに特有の構成である。
　選択ノードベクトル１３０の後に、線形結合ノードベクトル１２０の後のバイナリマスクノードベクトル２２０と同じバイナリマスクノードベクトル２２０を設けて両者を同じ値にする構成も、実施形態に係る区分線形ネットワーク２０ｂに特有の構成である。
　選択ノードベクトル１３０の後に、バイナリマスクノードベクトル２２０に加えて確率化ノードベクトル２３０を設ける構成も、実施形態に係る区分線形ネットワーク２０ｂに特有の構成である。
　かかる構成により、実施形態に係る区分線形ネットワーク２０ｂにSlimmable neural Networkの技術を適用可能であり、上記のように、機械学習フェーズおよび運用フェーズのいずれでも、精度を大きく落とすことなく処理を行える。
　区分線形ネットワーク２０ｂの出力層２３も、区分線形ネットワーク２０（図２）の場合と同様である。区分線形ネットワーク２０ｂにおいても、区分線形ネットワーク２０の場合と同様、出力ノードベクトル１５０、出力ノード１５１－１、出力ノード１５１との表記を用いる。
　図４では、１つの出力ノード１５１（出力ノード１５１－１）のみ記載しているが、区分線形ネットワーク２０（図２）の場合と同様、出力ノード１５１の個数は特定の個数に限定されない。出力ノード１５１の個数は、要素単位積ノードベクトル１４０の個数と同じになる。
　このように、区分線形ネットワーク２０ｂでは、使用する線形結合ノード１２１、選択ノード１３１、および、要素単位積ノード１４１の組み合わせの個数が可変である。例えば、区分線形ネットワーク２０ｂが、１組の学習用データセットに対していろいろな個数の線形結合ノード１２１、選択ノード１３１、および、要素単位積ノード１４１の組み合わせで学習することで、処理精度を落とさず、かつ、使用するノード数をなるべく減らして処理負荷を低減させることができ、いわば最適なノード数を検出することができる。例えば、区分線形ネットワーク２０ｂが、選択ノード１３１、および、要素単位積ノード１４１の組み合わせの個数を、所定のしきい値以上の正解率を確保できる個数のうち最少の個数に設定するようにしてもよい。
（区分線形ネットワークの強化学習への適用について）
　区分線形ネットワーク２０または区分線形ネットワーク２０ｂを強化学習に適用可能である。強化学習は、各時点の観測値を入力として、制御対象が開始状態から所望状態に到達するための動作列（動作の時系列）を出力する方策を作成する方法である。強化学習では、制御対象の状態のうち、少なくとも、一部の状態に基づき所与の方法で算出される報酬に基づき、方策を策定する。強化学習では、所望状態に至るまでの状態に対する報酬の累計が最も高い方策を作成する。強化学習においては、このため、或る状態の制御対象に対して或る動作を行った場合に到達しうる状態、当該状態における報酬を予測する予測処理等が実行される。区分線形ネットワーク２０または区分線形ネットワーク２０ｂは、たとえば、当該予測処理、あるいは方策を表す関数に用いられる。
　制御装置（例えば、情報処理装置１０）は、区分線形ネットワーク２０または区分線形ネットワーク２０ｂを用いて作成された方策に従い、制御対象に対する動作を決定し、決定した動作に従い制御対象を制御する。当該方策に従い制御対象を制御することによって、制御対象は、所望の状態を達成することができる。
　この場合、センサデータなど周囲環境からのデータが区分線形ネットワーク２０または区分線形ネットワーク２０ｂに入力され、入力データをモデルに適用して得られる出力データが、推定した状態を数値的に表す情報、または、推定した状態における報酬を表す情報である。また、情報処理装置１０は、周囲環境の状態を評価する評価関数（例えば、上記の報酬を算出する評価関数）を用いて機械学習を行う。評価関数として、例えば上記の式（１７）を用いることができる。
　例えば、情報処理装置１０をゲームに適用する場合、ゲームにおける各種パラメタの値が入力データとして区分線形ネットワーク２０または区分線形ネットワーク２０ｂに入力される。区分線形ネットワーク２０または区分線形ネットワーク２０ｂは、入力データをモデルに適用して、例えばジョイスティックの操作方向および角度などの操作量を算出する。また、情報処理装置１０は、ゲームの戦略に相当する評価関数を用いて、区分線形ネットワーク２０または区分線形ネットワーク２０ｂの機械学習を行う。
　また、情報処理装置１０を化学プラントの運転制御に用いるようにしてもよい。
　図５は、化学プラントの例を示す図である。
　図５の例で、エチレンガス及び液体の酢酸が原料として化学プラントに入力される。図５は、入力された原料を気化器で温めて酢酸を気化させてリアクタへ出力する工程のプラント構成を示している。
　情報処理装置１０は、エチレンガスの流量を調整するバルブ（流量調整弁）の操作量のＰＩＤ制御（Proportional-Integral-Differential Controller）に用いられる。情報処理装置１０は、区分線形ネットワーク２０または区分線形ネットワーク２０ｂを用いて作成された方策に従い、バルブ（流量調整弁）の操作量を決定する。バルブを制御する制御装置は、情報処理装置１０が決定した操作量に従い、バルブの開閉状態を制御する。言い換えると、情報処理装置１０は、圧力計および流量計などのセンサデータおよび制御指令値の入力を受け、入力データをモデルに適用して制御指令値を実行するための操作量を算出する。
　図５に示す化学プラントの動作を模擬するシミュレータで、供給されるエチレンガスの圧力が急変した場合にリアクタへ出力するガスの圧力を一定に保つようにバルブを制御する課題のシミュレーションを実行したところ、区分線形ネットワーク２０を用いた強化学習では単純なＰＩＤ制御の場合よりも速く、約３分でリアクタへの出力ガスの圧力を回復できるという結果を得られた。
　上述した例では、制御対象は、１つのバルブであったが、制御対象は、これに限定されない。複数のバルブや、化学プラントにおける全てのバルブが制御対象であってもよい。また、制御対象は、化学プラントに限定されず、たとえば、建築現場、自動車の生産工場、精密部品の製造工場、ロボットの制御等であってもよい。また、制御装置は、情報処理装置１０を含んでいてもよい。言い換えると、この場合に、制御装置は、区分線形ネットワーク２０または区分線形ネットワーク２０ｂを用いて作成された方策に従い制御対象に対して施す動作を決定し、決定した動作を該制御対象に対して実施する。この結果、制御装置は、制御対象が所望状態となるよう、当該制御対象を制御することができる。
　区分線形ネットワーク２０または２０ｂを強化学習に適用することで、通常のニューラルネットワークを強化学習に適用する場合よりも、訓練の安定性が高まる。
　ここで、強化学習、特にDeep Learningなど関数近似を使用する強化学習においては、強化学習を行う装置自らの方策が出力した動作を実施して得られた報酬と、自らが予測した状態価値（関数）との両方を用いて、自らの方策と予測状態価値にフィードバックして学習を進める。一般的な強化学習では、このフィードバック（フィードバックループ）という学習構造に起因して、訓練途中に方策関数値が振動をおこすなど、訓練の安定性に乏しい場合がある。これは、過度に非線形性の大きい複雑なモデルを採用したために発生する現象だと考えられる。
　これに対し、区分線形ネットワーク２０または２０ｂを強化学習に適用することで、非線形性（複雑性）を調節することができ、訓練の安定性が高まる効果が得られる。
　なお、区分線形ネットワーク２０で方策関数を構成した場合と、通常のニューラルネットワークで方策関数を構成した場合との比較実験にて、区分線形ネットワーク２０で構成したほうが、訓練安定性が向上することが確認された。
　以上のように、複数の線形結合ノード１２１の各々は、入力値（入力ノードベクトル１１０の値）を線形結合する。選択ノード１３１は、線形結合ノード１２１毎に設けられ、対応する線形結合ノード１２１の選択の有無を示す値を、入力値に応じて算出する。出力ノード１５１は、線形結合ノード１２１の値と選択ノード１３１の値とに基づいて算出された出力値を出力する。
　これにより、区分線形ネットワーク２０または２０ｂでは、線形結合ノード１２１が形成する線形モデルをサブモデルとして用いて、入力値に応じてサブモデルを選択することができ、区分線形モデルを構築して非線形モデルを（近似的に）表現できる。
　特に、区分線形ネットワーク２０または２０ｂでは、線形結合ノード１２１、選択ノード１３１、および、要素単位積ノード１４１の個数を調整することで、モデルの複雑さを制御できる。線形結合ノード１２１、選択ノード１３１、および、要素単位積ノード１４１の個数が多いほど、区分線形ネットワーク２０または２０ｂが使用可能なサブモデル（線形モデル）の個数が多くなり、より複雑な区分線形モデルを構築可能となる。
　また、ユーザは、区分線形ネットワーク２０または２０ｂが、どの入力値でどのサブモデル（線形モデル）を選択したかを知ることができ、選択されたサブモデルを解析することで、モデルの解釈（例えば、モデルの意味付け）を行うことができる。解釈の対象が個々の線形モデルである点で、ユーザは比較的容易にモデルを解釈することができる、すなわち、モデルの解釈性が比較的高い。
　また、選択ノード１３１の値を１つの選択ノードベクトル１３０に含まれるすべての選択ノード１３１について合計した合計値は、一定値（１）である。そして、区分線形ネットワーク２０または２０ｂは、機械学習フェーズでは、選択ノード１３１の値の最大値をより大きくする機械学習を行う。例えば、区分線形ネットワーク２０または２０ｂは、上述した式（１７）を用いて機械学習を行うことで、選択ノード１３１の値の最大値をより大きくする機械学習を行う。
　これにより、区分線形ネットワーク２０または２０ｂが構築するノードで、非線形な区間（支配的な線形モデルが一意に定まらない区間）が小さくなり、モデルの解釈性がより高くなる。
　また、バイナリマスクノード２２１は、線形結合ノード１２１と選択ノード１３１との組み合わせ毎に使用または不使用を設定する。
　これにより、区分線形ネットワーク２０ｂでは、使用する線形結合ノード１２１と選択ノード１３１との組み合わせの個数を可変にすることができる。
　例えば、区分線形ネットワーク２０ｂが、１組の学習用データセットに対していろいろな個数の線形結合ノード１２１、選択ノード１３１、および、要素単位積ノード１４１の組み合わせで学習することで、処理精度を落とさず、かつ、使用するノード数をなるべく減らして処理負荷を低減させることができ、いわば最適なノード数を検出することができる。
（実施形態に係る情報処理装置の構成例）
　図６は、実施形態に係る情報処理装置の構成の例を示す図である。図６に示す情報処理装置３００は、複数の線形結合ノード３０１と、選択ノード３０２と、出力ノード３０３と、を備える。
　複数の線形結合ノード３０１の各々は、入力値を線形結合する。選択ノード３０２は、線形結合ノード３０１毎に設けられ、対応する線形結合ノード３０１の選択の有無を示す値を入力値に応じて算出する。出力ノード３０３は、線形結合ノード３０１の値と選択ノード３０２の値とに基づいて算出された出力値を出力する。
　これにより、情報処理装置３００では、線形結合ノード３０１が形成する線形モデルをサブモデルとして用いて、入力値に応じてサブモデルを選択することができ、区分線形モデルを構築して非線形モデルを（近似的に）表現できる。
　特に、情報処理装置３００では、線形結合ノード３０１および選択ノード３０２の個数を調整することで、モデルの複雑さを制御できる。線形結合ノード３０１および選択ノード３０２の個数が多いほど、情報処理装置３００が使用可能なサブモデル（線形モデル）の個数が多くなり、より複雑な区分線形モデルを構築可能となる。
　また、ユーザは、情報処理装置３００が、どの入力値でどのサブモデル（線形モデル）を選択したかを知ることができ、選択されたサブモデルを解析することで、モデルの解釈（例えば、モデルの意味付け）を行うことができる。解釈の対象が個々の線形モデルである点で、ユーザは比較的容易にモデルを解釈することができる、すなわち、モデルの解釈性が比較的高い。
（実施形態に係る情報処理方法における処理）
　図７は、実施形態に係る情報処理方法における処理の例を示す図である。図７の例で、情報処理方法は、線形結合ノード値を算出する工程（ステップＳ１１）と、選択ノードを算出する工程（ステップＳ１２）と、出力値を算出する工程（ステップＳ１３）とを含む。
　線形結合ノード値を算出する工程（ステップＳ１１）では、入力値を線形結合した線形結合ノード値を複数算出する。選択ノードを算出する工程（ステップＳ１２）では、線形結合ノード値毎に、その線形結合ノード値の選択の有無を示す選択ノード値を算出する。出力値を算出する工程（ステップＳ１３）では、線形結合ノード値と選択ノード値とに基づいて出力値を算出する。
　この情報処理方法では、入力値を線形結合する線形モデルをサブモデルとして用いて、入力値に応じてサブモデルを選択することができ、区分線形モデルを構築して非線形モデルを（近似的に）表現できる。
　特に、この情報処理方法では、線形結合ノード値および選択ノード値の個数を調整することで、モデルの複雑さを制御できる。線形結合ノード値および選択ノード値の個数が多いほど、この情報処理方法で使用可能なサブモデル（線形モデル）の個数が多くなり、より複雑な区分線形モデルを構築可能となる。
　また、この情報処理方法を利用するユーザは、どの入力値でどのサブモデル（線形モデル）が選択されたかを知ることができ、選択されたサブモデルを解析することで、モデルの解釈（例えば、モデルの意味付け）を行うことができる。解釈の対象が個々の線形モデルである点で、ユーザは比較的容易にモデルを解釈することができる、すなわち、モデルの解釈性が比較的高い。
　図８は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
　図８に示す構成で、コンピュータ７００は、ＣＰＵ（Central Processing Unit）７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０とを備える。上記の情報処理装置１０および３００のうち何れか１つ以上が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。各装置と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。補助記憶装置７３０は、たとえば、CD(Compact Disc)や、DVD(digital versatile disc)等の不揮発性(non-transitory)記録媒体である。
　情報処理装置１０がコンピュータ７００に実装される場合、制御部１９の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
　また、ＣＰＵ７１０は、プログラムに従って、記憶部１８に対応する記憶領域を主記憶装置７２０に確保する。通信部１１が行う通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。表示部１２の機能は、インタフェース７４０が表示デバイスを有し、ＣＰＵ７１０の制御に従って表示デバイスの表示画面に画像を表示することで実行される。操作入力部１３の機能は、インタフェース７４０が入力デバイスを有してユーザ操作を受け付け、受け付けたユーザ操作を示す信号をＣＰＵ７１０へ出力することで行われる。
　区分線形ネットワーク２０およびその各部の処理も、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、そのプログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行することで、区分線形ネットワーク２０およびその各部の処理を行う。
　区分線形ネットワーク２０ｂおよびその各部の処理も、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、そのプログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行することで、区分線形ネットワーク２０ｂおよびその各部の処理を行う。
　情報処理装置３００がコンピュータ７００に実装される場合、線形結合ノード３０１、選択ノード３０２、および、出力ノード３０３の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
　なお、制御部１９が行う処理の全部または一部を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１９年３月２８日に出願された日本国特願２０１９－０６４９７７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、情報処理装置、情報処理方法および記録媒体に適用してもよい。
　１０、３００　情報処理装置
　１１　通信部
　１２　表示部
　１３　操作入力部
　１８　記憶部
　１９　制御部
　２０、２０ｂ　区分線形ネットワーク
　２１　入力層
　２２、２２ｂ　中間層
　２３　出力層
　１１０　入力ノードベクトル
　１１１　入力ノード
　１２０　線形結合ノードベクトル
　１２１、３０１　線形結合ノード
　１３０　選択ノードベクトル
　１３１、３０２　選択ノード
　１４０　要素単位積ノードベクトル
　１４１　要素単位積ノード
　１５０　出力ノードベクトル
　１５１、３０３　出力ノード
　２１０　バッチ正規化ノードベクトル
　２１１　バッチ正規化ノード
　２２０　バイナリマスクノードベクトル
　２２１　バイナリマスクノード
　２３０　確率化ノードベクトル
　２３１　確率化ノード

Claims (5)

  1. 　入力値を線形結合する複数の線形結合ノードと、
    　前記線形結合ノードに設けられ、対応する線形結合ノードの選択の有無を示す値を前記入力値に応じて算出する選択ノードと、
    　前記線形結合ノードの値と前記選択ノードの値とに基づいて算出された出力値を出力する出力ノードと、
    　を備える情報処理装置。
  2. 　前記選択ノードの値をすべての選択ノードについて合計した合計値が一定値であり、
    　機械学習フェーズでは、前記選択ノードの値の最大値をより大きくする機械学習を行う、
    　請求項１に記載の情報処理装置。
  3. 　前記線形結合ノードと前記選択ノードとの組み合わせについて、使用または不使用を設定するバイナリマスクノードをさらに備える、
    　請求項１または請求項２に記載の情報処理装置。
  4. 　コンピュータが、
    　入力値を線形結合した線形結合ノード値を複数算出し、
    　前記線形結合ノード値について、その線形結合ノード値の選択の有無を示す選択ノード値を算出し、
    　前記線形結合ノード値と前記選択ノード値とに基づいて出力値を算出する、
    　情報処理方法。
  5. 　コンピュータに、
    　入力値を線形結合した線形結合ノード値を複数算出する機能と、
    　前記線形結合ノード値について、その線形結合ノード値の選択の有無を示す選択ノード値を算出する機能と、
    　前記線形結合ノード値と前記選択ノード値とに基づいて出力値を算出する機能と、
    　を実行させるプログラムが格納された記録媒体。
PCT/JP2020/012679 2019-03-28 2020-03-23 情報処理装置、情報処理方法および記録媒体 WO2020196389A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021509383A JP7236061B2 (ja) 2019-03-28 2020-03-23 情報処理装置、情報処理方法およびプログラム
US17/442,347 US20220180148A1 (en) 2019-03-28 2020-03-23 Information processing device, information processing method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019064977 2019-03-28
JP2019-064977 2019-03-28

Publications (1)

Publication Number Publication Date
WO2020196389A1 true WO2020196389A1 (ja) 2020-10-01

Family

ID=72610956

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/012679 WO2020196389A1 (ja) 2019-03-28 2020-03-23 情報処理装置、情報処理方法および記録媒体

Country Status (3)

Country Link
US (1) US20220180148A1 (ja)
JP (1) JP7236061B2 (ja)
WO (1) WO2020196389A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07262292A (ja) * 1994-03-23 1995-10-13 Mamoru Tanaka ニューロンとニューラルネットワークの構成

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07262292A (ja) * 1994-03-23 1995-10-13 Mamoru Tanaka ニューロンとニューラルネットワークの構成

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KUROGI, SHUICHI: "Asymptotic Optimality of Competitive Associative Nets and Its Application to Incremental Learning of Nonlinear Functions", SYSTEMS AND COMPUTERS IN JAPAN. PROCEEDINGS OF IEICE, vol. 38, no. 9, 1 February 2003 (2003-02-01), pages 85 - 96, XP055743653 *

Also Published As

Publication number Publication date
JP7236061B2 (ja) 2023-03-09
JPWO2020196389A1 (ja) 2020-10-01
US20220180148A1 (en) 2022-06-09

Similar Documents

Publication Publication Date Title
Zhang et al. Using neural networks to represent von Mises plasticity with isotropic hardening
US8260441B2 (en) Method for computer-supported control and/or regulation of a technical system
Dehghannasiri et al. Optimal experimental design for materials discovery
Pasandideh et al. Multi-response simulation optimization using genetic algorithm within desirability function framework
Zhang Batch-to-batch optimal control of a batch polymerisation process based on stacked neural network models
US8554707B2 (en) Method for the computer-assisted control and/or regulation of a technical system where the dynamic behavior of the technical system is modeled using a recurrent neural network
US8296107B2 (en) Computer method and apparatus for constraining a non-linear approximator of an empirical process
US10353351B2 (en) Machine learning system and motor control system having function of automatically adjusting parameter
US8160978B2 (en) Method for computer-aided control or regulation of a technical system
WO2019004350A1 (ja) データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法
JP2010514986A (ja) 技術システムの、とりわけガスタービンの、計算機支援による閉ループ制御および／または開ループ制御のための方法
EP3704550B1 (en) Generation of a control system for a target system
Sanchis et al. Modelling preferences in multi-objective engineering design
Torrecilla et al. Optimization of an artificial neural network for thermal/pressure food processing: Evaluation of training algorithms
KR20190018885A (ko) 중첩 신경망을 프루닝하는 방법 및 장치
Ławryńczuk Explicit nonlinear predictive control algorithms with neural approximation
US20230268035A1 (en) Method and apparatus for generating chemical structure using neural network
Nayak et al. Assessing compressive strength of concrete with extreme learning machine
Dudek Data-driven randomized learning of feedforward neural networks
Pérez-Aracil et al. Improving numerical methods for the steel yield strain calculation in reinforced concrete members with Machine Learning algorithms
WO2020196389A1 (ja) 情報処理装置、情報処理方法および記録媒体
Pratama et al. Solving partial differential equations with hybridized physic-informed neural network and optimization approach: Incorporating genetic algorithms and L-BFGS for improved accuracy
Fotovati et al. Prediction of elevated temperature fatigue crack growth rates in TI-6AL-4V alloy–neural network approach
Montesinos López et al. Artificial Neural Networks and Deep Learning for Genomic Prediction of Continuous Outcomes
Al-Hiary et al. Identification of a chemical process reactor using soft computing techniques

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20779725

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021509383

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20779725

Country of ref document: EP

Kind code of ref document: A1