WO2023233559A1 - 学習装置、判定装置、学習方法および記録媒体 - Google Patents

学習装置、判定装置、学習方法および記録媒体 Download PDF

Info

Publication number
WO2023233559A1
WO2023233559A1 PCT/JP2022/022235 JP2022022235W WO2023233559A1 WO 2023233559 A1 WO2023233559 A1 WO 2023233559A1 JP 2022022235 W JP2022022235 W JP 2022022235W WO 2023233559 A1 WO2023233559 A1 WO 2023233559A1
Authority
WO
WIPO (PCT)
Prior art keywords
parameter
shared
machine learning
vector
parameters
Prior art date
Application number
PCT/JP2022/022235
Other languages
English (en)
French (fr)
Inventor
和也 柿崎
潤 古川
俊則 荒木
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/022235 priority Critical patent/WO2023233559A1/ja
Publication of WO2023233559A1 publication Critical patent/WO2023233559A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning

Definitions

  • the present invention relates to a learning device, a determination device, a learning method, and a recording medium.
  • a determination device using multiple machine learning models such as a determination device using ensemble learning
  • Patent Document 1 discloses that a neural network (NN) is used in ensemble learning such as face recognition.
  • ERT Ensemble based Robust Training
  • Non-Patent Document 1 discloses that the resulting determination device is less likely to be fooled by an adversarial example (AX).
  • AX adversarial example
  • the determination device is less likely to be fooled by adversarial samples, which means that the determination device is less likely to make false determinations when input with adversarial samples.
  • the determination device using multiple machine learning models be able to store a relatively small number of parameter values.
  • An example of the object of the present invention is to provide a learning device, a determination device, a learning method, and a recording medium that can solve the above-mentioned problems.
  • the learning device includes, for the parameters of a machine learning model having a plurality of parameters, a shared parameter provided for common use by a plurality of the machine learning models, and a shared parameter provided for each machine learning model.
  • mask initialization means for determining mask information that indicates distinction from non-shared parameters; and a plurality of machine learning models to which parameter values indicated by the shared parameters, the non-shared parameters, and the mask information are applied.
  • the method includes a loss function calculating means for calculating a value of a loss function for training data, and a parameter updating means for updating the value of the shared parameter and the value of the non-shared parameter using the value of the loss function.
  • the learning method includes a learning method in which, for the parameters of a machine learning model having a plurality of parameters, a shared parameter provided for common use by a plurality of machine learning models, and a shared parameter for each machine learning model. a step of determining mask information indicating differentiation from a non-shared parameter provided in the shared parameter, the non-shared parameter, and a plurality of machine learning models to which the parameter values indicated by the mask information are applied.
  • the method includes calculating a value of a loss function for training data, and updating the value of the shared parameter and the value of the non-shared parameter using the value of the loss function.
  • the recording medium stores, in a computer, the parameters of a machine learning model having a plurality of parameters, a shared parameter provided for common use by a plurality of machine learning models, and a shared parameter for each machine learning model.
  • a program was recorded for executing the steps of calculating a value of a loss function for training data, and updating the value of the shared parameter and the value of the non-shared parameter using the value of the loss function. It is a recording medium.
  • the number of parameter values that should be stored by the determination device using a plurality of machine learning models can be relatively reduced.
  • FIG. 2 is a diagram illustrating an example of multiple neural networks in which all parameters are configured as non-shared parameters.
  • FIG. 2 is a diagram illustrating an example of multiple neural networks including shared parameters.
  • FIG. 1 is a schematic block diagram showing an example of a functional configuration of a learning device according to a first embodiment.
  • 3 is a flowchart illustrating an example of a processing procedure of the learning device according to the first embodiment.
  • 7 is a flowchart illustrating an example of a processing procedure for loss function calculation by the learning device according to the first embodiment.
  • It is a schematic block diagram showing an example of the functional composition of the learning device concerning a 2nd embodiment and a 3rd embodiment.
  • It is a flow chart which shows an example of a processing procedure of a learning device concerning a 2nd embodiment.
  • FIG. 1 is a schematic block diagram showing the configuration of a computer according to at least one embodiment.
  • FIG. 1 is a diagram illustrating an example of a plurality of neural networks in which all parameters are configured as non-shared parameters.
  • NN1 and NN2 shown in FIG. 1 are neural networks having the same structure. Specifically, NN1 and NN2 are fully connected neural networks having layer 1, layer 2, and layer 3, respectively, and each layer has four nodes. Each node is configured using a neuron model (artificial neuron).
  • Figure 1 shows an example where it is determined for each node whether a parameter is provided for each neural network or shared by multiple neural networks, and for all nodes, parameters are provided for each neural network. It is being
  • Parameters provided for each neural network are also referred to as non-shared parameters.
  • a node whose parameters are determined to be provided for each neural network is also referred to as a node with non-shared parameters.
  • nodes based on non-shared parameters are indicated by circles ( ⁇ ).
  • a parameter that is shared by a plurality of neural networks is also referred to as a shared parameter.
  • a node whose parameters are determined to be shared by a plurality of neural networks is also referred to as a node with shared parameters.
  • Parameters in the neural network are provided depending on the type of neural network.
  • examples of parameters include a weighting coefficient provided for each connection between nodes and a bias provided for each node for calculating node output.
  • the weighting coefficient provided for each connection between nodes and the bias provided for each node for calculating the node output are parameters. This applies to the example below.
  • examples of parameters include a weighting coefficient provided for each connection between nodes and a firing threshold provided for each node.
  • the parameter provided for the connection between nodes is It can be treated as belonging to the receiving node.
  • a parameter provided in a connection whose input node is a node based on a non-shared parameter may be a non-shared parameter.
  • a parameter provided in a connection in which a node based on a shared parameter is an input node may be a shared parameter.
  • Ensemble learning involves learning a system that includes multiple machine learning models. This system determines the output of the system based on the outputs of the plurality of machine learning models, such as by taking a majority vote of the outputs of the plurality of machine learning models.
  • a system that includes a plurality of machine learning models and determines the output of the system based on the outputs of the plurality of machine learning models will be referred to as an ensemble system.
  • a machine learning model included in an ensemble system is referred to as a "machine learning model within the ensemble.”
  • a neural network included in an ensemble system is referred to as a "neural network within the ensemble.”
  • FIG. 2 is a diagram illustrating an example of multiple neural networks including shared parameters.
  • NN3 and NN4 shown in FIG. 2 are neural networks having the same structure. Specifically, NN3 and NN4 are fully connected neural networks having layer 1, layer 2, and layer 3, respectively, and each layer has four nodes. Each node is constructed using a neuron model.
  • NN1 and NN2 in FIG. 1 all parameters are non-shared parameters, whereas NN3 and NN4 in FIG. 2 include shared parameters.
  • nodes based on non-shared parameters are indicated by circles ( ⁇ ), and nodes based on shared parameters are indicated by double circles ( ⁇ ).
  • NN3 and NN4 have the same structure, parameters at the same position in the neural network structure can be associated with NN3 and NN4, and parameters at the same position can be shared.
  • nodes at the same position in the neural network structure of NN3 and NN4 are nodes based on shared parameters.
  • parameters located at the same position in the neural network structure are shared parameters between NN3 and NN4.
  • parameters located at the same position in the neural network structure can be associated, and parameters located at the same position can be shared. Sharing parameters among multiple neural networks is also referred to as multiple neural networks sharing parameters.
  • two neural networks are said to be the same if they have the same structure and all the values of parameters located at the same position in the structure of the neural networks are the same.
  • two neural networks are said to be different if their structures are different.
  • Two neural networks are said to be different even if they have the same structure but have different values for at least one set of parameters located at the same position in the structure of the neural network.
  • Different neural networks may output different values for the same input data. Since the plurality of neural networks can be configured as different neural networks, it is possible to configure a system that determines the output of the system based on the outputs of the plurality of neural networks. For example, a majority model that takes a majority vote of the outputs of these plurality of neural networks may be configured as a system.
  • Adversarial samples are input data that are intentionally generated using minute perturbations that cause machine learning models to make incorrect decisions.
  • a method is needed to make machine learning models such as neural networks robust against adversarial samples.
  • ERT Robustization training
  • Ensemble learning is a learning method for improving prediction ability for unknown data by using a plurality of neural networks that have been trained individually and taking a majority vote.
  • Robust training based on ensemble learning allows the neural networks in the ensemble to simultaneously learn to be less likely to be fooled (less likely to make false judgments) against adversarial samples, and to make robust predictions as a system using multiple neural networks. This is a learning method that aims to realize the following. In robustness training based on ensemble learning, it is expected that robustness will improve by increasing the number of neural networks in the ensemble.
  • the number of parameters increases in proportion to the number of neural networks.
  • the storage capacity required to store parameter values will be large, which may lead to processing delays.
  • the number of neural networks cannot be sufficiently increased due to the limitation of storage capacity that can be used to store parameter values, and that sufficient robustness cannot be ensured.
  • a neural network in which only some parameters are configured as shared parameters for robust training based on ensemble learning a neural network in which all parameters are configured as non-shared parameters due to parameter sharing is used.
  • the number of parameters can be reduced compared to when using . This is expected to result in relatively high processing speed. Furthermore, in this case, the number of neural networks can be relatively increased, and in this respect, it is expected that robustness will be improved.
  • machine learning model is not limited to this.
  • Various machine learning models can be used that can update parameters using a learning method such as error backpropagation, have multiple parameters, and can share parameters in ensemble learning.
  • examples of such machine learning models include support vector machines (SVM) and random forests.
  • a neural network is used as a machine learning model
  • the machine learning model is not limited to this.
  • Various machine learning models can be used that can update parameters using a learning method such as error backpropagation, have multiple parameters, and can share parameters in ensemble learning.
  • a system using multiple machine learning models like ensemble learning, It is not limited to determining the output of the system by taking a majority vote.
  • a system using a plurality of machine learning models may weight the outputs of the plurality of machine learning models and then take a majority vote to determine the output of the system.
  • a system that uses multiple machine learning models can distribute or trust the outputs of multiple machine learning models. Index values regarding the outputs of a plurality of machine learning models, such as degree, may be calculated.
  • an error backpropagation method as an example of a machine learning method, applicable machine learning methods are not limited to this.
  • a system using a plurality of machine learning models is not limited to one in which the output of the system is determined by taking a majority vote of the outputs of the plurality of machine learning models.
  • a system using a plurality of machine learning models may weight the outputs of the plurality of machine learning models and then take a majority vote to determine the output of the system.
  • a system that uses multiple machine learning models can distribute or trust the outputs of multiple machine learning models. Index values regarding the outputs of a plurality of machine learning models, such as degree, may be calculated.
  • the applicable machine learning method is not limited to the error backpropagation method.
  • each neural network in the ensemble is the same, and the position of the shared parameter of each neural network is also the same in the structure of the neural network.
  • ⁇ is a vector indicating the parameters of one neural network in the ensemble. As mentioned above, it is assumed that the neural networks in the ensemble have the same structure and therefore the same number of parameters.
  • represents the number of parameters for one neural network in the ensemble.
  • represents a set of
  • the parameter vector of the neural network is an element of R
  • ⁇ s is a shared parameter vector that holds parameters shared between neural networks. s represents shared.
  • ⁇ j ns (1 ⁇ j ⁇ K) is a non-shared parameter vector that holds parameters of the j-th neural network that are not shared between neural networks. ns represents non-shared.
  • the j-th neural network in the ensemble will also be simply referred to as the j-th neural network. In this case, 1 ⁇ j ⁇ K.
  • both the shared parameter vector and the non-shared parameter vector can be vectors whose elements are real numbers equal to the number of parameters for one neural network in the ensemble.
  • the storage capacity required for storing parameter values can be reduced by sharing parameters.
  • a shared mask vector M for representing the shared position of the shared parameter vector can be expressed as in equation (2).
  • the shared mask vector M is a
  • An element value of 1 represents a shared position.
  • the shared position is the position of an element associated with the shared parameter in the shared parameter vector.
  • the shared mask vector M indicates the position of the shared parameter in the structure of the neural network.
  • the shared mask vector M corresponds to an example of mask information.
  • the non-shared mask vector ⁇ M for representing the non-shared position of the non-shared parameter vector can be expressed as in equation (3).
  • the non-shared mask vector ⁇ M is also a
  • An element value of 1 represents a non-shared position.
  • the non-shared position is the position of the element associated with the non-shared parameter in the non-shared parameter vector.
  • the non-shared mask vector ⁇ M indicates the position of the non-shared parameter in the structure of the neural network.
  • the non-shared mask vector ⁇ M is the shared mask vector M with 0 and 1 inverted.
  • Extracting the shared parameter from the shared parameter vector can be expressed as in equation (4).
  • the elements at shared positions indicate the values of the shared parameters, and the values of the elements at non-shared positions are 0.
  • Extraction of the non-shared vector from the non-shared parameter vector of the j-th neural network can be expressed as in equation (5).
  • ⁇ represents the Hadamard product.
  • the elements at non-shared positions indicate the values of non-shared parameters, and the values of the elements at shared positions are 0.
  • the parameter vector ⁇ j of the j-th neural network can be expressed as in equation (6).
  • the parameter vector ⁇ j is a vector indicating the value of the parameter of the j-th neural network.
  • the parameter vector ⁇ j has an element of the shared vector ⁇ s at the shared position represented by the shared mask vector M, and an element of the j-th neural network at the unshared position represented by the unshared mask vector ⁇ M. It has elements of a non-shared parameter vector ⁇ j ns .
  • l represents one selected layer of the neural network.
  • ⁇ represents adversarial perturbation (noise).
  • ⁇ ⁇ indicates that the magnitude of ⁇ in the ⁇ norm is less than or equal to the given ⁇ .
  • x s + ⁇ represents input data obtained by adding hostile perturbation ⁇ to x s .
  • f l ⁇ j (x s + ⁇ ) represents the output (vector) of the l-th layer when x s + ⁇ is input in the j-th neural network using the parameter vector ⁇ j .
  • f l ⁇ j (x t ) represents the output (vector) of the l-th layer when x t is input in the j-th neural network using the parameter vector ⁇ j .
  • ” 2 2 represents the 2 norm, and “
  • argmin ⁇ d( ⁇ )” represents finding ⁇ that minimizes d( ⁇ ).
  • Equation (8) " ⁇ f ⁇ j (x s , x t , l)" in Equation (8) is expressed as " ⁇ f ⁇ j (x s , When ⁇ is given, it represents the noise ⁇ that makes the output closest to x t . That is, this noise ⁇ is the minimum noise that causes x s to be misjudged as x t regarding the output of the l-th layer of the j-th neural network.
  • x s + ⁇ f ⁇ j (x s , x t , l) means that the hostile perturbation ⁇ f ⁇ j (x s , x t , l) obtained by equation (8) is applied to x s Represents the given input data.
  • CEf ⁇ i (x, y) is a cross entropy loss function, and when input data x and class label y are given, the i-th neural network when using parameter vector ⁇ i is , is a function that outputs a smaller value as x is correctly classified as y.
  • CEf ⁇ i (x s + ⁇ f ⁇ j (x s , x t , l), y s ) means that when the parameter vector ⁇ j is used for x s , the This is a function that outputs a relatively small value when the i-th neural network using the parameter vector ⁇ i correctly judges y s even if an adversarial perturbation is applied to make a judgment.
  • ⁇ j ⁇ i CEf ⁇ i ( ⁇ , ⁇ ) represents calculating the cross entropy of all neural networks different from the j-th neural network and taking the sum.
  • E (xs, ys), (xt, yt), l ⁇ j ⁇ i CEf ⁇ i ( ⁇ , ⁇ )” is for (x s , y s ), (x t , y t ), l, Represents taking the expected value of the sum of cross entropy.
  • FIG. 3 is a schematic block diagram showing an example of the functional configuration of the learning device 100 according to the first embodiment.
  • the learning device 100 includes a control section 110 and a storage section 130.
  • the control unit 110 includes a mask initialization unit 111, a parameter initialization unit 112, a training data acquisition unit 113, and a learning unit 114.
  • the learning unit 114 includes a mini-batch sampling unit 115, a layer selection unit 116, a parameter determination unit 117, a loss function calculation unit 118, and a parameter update unit 119.
  • the storage unit 130 includes a training data storage unit 131. It should be noted that the learning device 100 may include things other than these, and the storage unit 130 may be provided outside the learning device 100.
  • the robustness training ERT
  • the positions of shared parameters of neural networks (NN) in the ensemble are randomly determined, and the parameters of the neural networks are learned. Let K be the number of neural networks in the ensemble.
  • the mask initialization unit 111 initializes the shared mask vector M and the non-shared mask vector ⁇ M.
  • the mask initialization unit 111 corresponds to an example of mask initialization means.
  • the initialization of the shared mask vector M and the non-shared mask vector ⁇ M performed by the mask initialization unit 111 can be regarded as a process of randomly selecting a shared parameter from among the parameters of one neural network.
  • the shared mask vector M and the non-shared mask vector ⁇ M can be expressed as in equation (9).
  • the mask initialization unit 111 randomly initializes the shared mask vector M so that the element of p ⁇
  • p indicates the proportion of shared parameters of neural networks in the ensemble. The value of p may be predetermined depending on the available storage capacity. Alternatively, the initial value of the shared mask vector M may be determined in advance, and the mask initialization unit 111 may store the initial value of the shared mask vector M in advance.
  • the parameter initialization unit 112 initializes the shared parameter vector ⁇ s and each of the non-shared parameter vectors ⁇ 1 ns , . . . , ⁇ K ns .
  • the shared parameters and non-shared parameters can be expressed as in equation (10).
  • the parameter initialization unit 112 assigns random numbers to each element of these parameter vectors and randomly initializes the parameter values.
  • the initial value of each parameter may be determined in advance, and the parameter initialization unit 112 may store the initial value of the parameter in advance as the initial value of each element of the parameter vector.
  • the training data storage unit 131 stores training data (a set of) X tr used for learning the neural network.
  • the training data X tr can be expressed as in equation (11).
  • xs is the input data to the neural network, such as image data
  • ys is the correct class label (class value) of xs
  • x t is the input data to the neural network
  • y t is the correct class label of x t
  • x s ” and “x t ” are input data belonging to different classes. In other words, y s ⁇ y t .
  • the training data acquisition unit 113 acquires training data X tr stored in the training data storage unit 131.
  • the learning unit 114 uses the training data X tr to perform learning by updating the parameter vector of the neural network in the ensemble by an iterative error backpropagation method.
  • the mini-batch sampling unit 115 samples a mini-batch B used for one learning from the training data X tr . Specifically, the mini-batch sampling unit 115 randomly samples a subset from the training data X tr to form the mini-batch B.
  • the layer selection unit 116 selects one layer l of the neural network to be used to generate the adversarial perturbation ⁇ f ⁇ j (x s , x t , l).
  • the parameter determining unit 117 determines a parameter vector for each neural network.
  • the parameter determining unit 117 corresponds to an example of parameter determining means.
  • the parameter vector ⁇ j of the j-th neural network can be expressed as in equation (12).
  • the parameter determination unit 117 uses the shared mask vector M, the unshared mask vector ⁇ M, the shared parameter vector ⁇ s , and the unshared parameter vector ⁇ j ns (1 ⁇ j ⁇ K). , determine (calculate) the parameter vector ⁇ j (1 ⁇ j ⁇ K) of each neural network. ⁇ s and ⁇ j ns (1 ⁇ j ⁇ K) are initialized or updated.
  • the process in which the parameter determining unit 117 determines the parameter vector ⁇ j can be regarded as a process for configuring the j-th neural network.
  • a model template is provided for common use by K neural networks having the same structure.
  • a model template is a template in which the parameters of a neural network are indicated by a parameter vector, and a neural network is configured by inputting values to the parameter vector.
  • ⁇ f ⁇ j (x s , x t , l) is the hostile perturbation shown in equation (8).
  • “l” is the layer l selected by the layer selection unit 116. This adversarial perturbation is the minimum noise that causes x s to be misjudged as x t with respect to the output of the lth layer of the jth neural network.
  • “x s + ⁇ f ⁇ j (x s , x t , l)” represents input data in which the hostile perturbation ⁇ f ⁇ j (x s , x t , l) is added to x s .
  • CEf ⁇ i (x, y) is a cross-entropy loss function, and when input data x and class label y are given, the i-th neural network using parameter vector ⁇ i converts x to y This is a function that outputs a smaller value as it is correctly classified. Therefore, “CEf ⁇ i (x s + ⁇ f ⁇ j (x s , x t , l), y s )" means that when the parameter vector ⁇ j is used for x s , the Even if an adversarial perturbation is applied to make a judgment, the i-th neural network using the parameter vector ⁇ i is a function that outputs a value small enough to correctly judge y s .
  • ⁇ j ⁇ i CEf ⁇ i (x s + ⁇ f ⁇ j (x s , x t , l), y s ) represents finding the cross entropy of all neural networks different from the jth neural network and taking the sum. . " 1 /
  • the loss function calculation unit 118 corresponds to an example of loss function calculation means.
  • the parameter update unit 119 updates parameters by backpropagating error information using an error backpropagation method.
  • the parameter update unit 119 corresponds to an example of a parameter update unit. Specifically, the parameter update unit 119 calculates the partial differential of the loss function Loss shown in Equation (14), and updates ⁇ s .
  • Equation (14) means that ⁇ Loss/ ⁇ ( ⁇ s ) i is calculated for the element ( ⁇ s ) i of ⁇ s (1 ⁇ i ⁇
  • Equation (15) means that ⁇ Loss/ ⁇ ( ⁇ j ns ) i is calculated for the element ( ⁇ j ns ) i (1 ⁇ i ⁇
  • the parameter updating unit 119 updates ( ⁇ j ns ) i to ( ⁇ j ns ) i ⁇ Loss/ ⁇ ( ⁇ j ns ) i for a predetermined learning coefficient ⁇ (>0). do.
  • the learning unit 114 After completing the learning a predetermined number of times, the learning unit 114 outputs the parameter vectors ⁇ s , ⁇ 1 ns , . . . , ⁇ K ns as learning results.
  • FIG. 4 is a flowchart illustrating an example of a processing procedure of the learning device 100 according to the first embodiment.
  • FIG. 5 is a flowchart illustrating an example of a processing procedure for loss function calculation by the learning device 100.
  • the mask initialization unit 111 initializes the shared mask vector M and the non-shared mask vector ⁇ M (step S101). For example, the mask initialization unit 111 randomly initializes the shared mask vector M, and initializes the non-shared mask vector ⁇ M by inverting 0 and 1 of each element of the mask vector M.
  • the parameter initialization unit 112 initializes the shared parameter vector ⁇ s and the non-shared parameter vector ⁇ 1 ns , . . . , ⁇ K ns (step S102). For example, the parameter initialization unit 112 allocates random numbers to each element of these parameter vectors.
  • the layer selection unit 116 selects one layer l of the neural network to be used to generate the adversarial perturbation ⁇ f ⁇ j (x s , x t , l) (step S105).
  • the parameter determining unit 117 uses the shared mask vector M, the unshared mask vector ⁇ M, the shared parameter vector ⁇ s , and the unshared parameter vector ⁇ j ns (1 ⁇ j ⁇ K) to determine each
  • the parameter vector ⁇ j ⁇ s ⁇ M+ ⁇ j ns ⁇ M (1 ⁇ j ⁇ K) is determined (calculated) for the neural network (step S106).
  • ⁇ represents the Hadamard product.
  • ⁇ s and ⁇ j ns (1 ⁇ j ⁇ K) are initialized or updated.
  • a loss function Loss is calculated (step S107).
  • the loss function calculation unit 118 selects one element (x s , y s , x t , y t ) from mini-batch B (step S201).
  • the loss function calculation unit 118 calculates the adversarial perturbation ⁇ f ⁇ j (x s , x t , l) in the j-th neural network (step S202).
  • the loss function calculation unit 118 calculates the sum of cross entropy when adversarial perturbation ⁇ f ⁇ j (x s , x t , l) is added to x s in the i-th neural network different from the j-th neural network.
  • ⁇ j ⁇ i CEf ⁇ i (x s + ⁇ f ⁇ j (x s , x t , l), y s ) is calculated (step S203).
  • the loss function calculation unit 118 determines whether the sum of cross entropy has been calculated for all elements of mini-batch B (step S204). If the calculation has not been performed for all elements, the loss function calculation unit 118 returns the process to step S201. On the other hand, if the calculation has been performed for all elements, the loss function calculation unit 118 moves the process to step S205.
  • the learning unit 114 determines whether learning has been performed a predetermined number of times (step S110). If learning has not been performed a predetermined number of times, the learning unit 114 returns the process to step S104. On the other hand, if learning has been performed a predetermined number of times, the learning unit 114 moves the process to step S111. Next, the learning unit 114 (control unit 110) outputs the parameter vectors ⁇ s , ⁇ 1 ns , ..., ⁇ K ns of the neural network (step S111).
  • the learning end condition is that learning has been performed a predetermined number of times, but the condition is not limited to this.
  • the learning termination condition may be that the amount of decrease in the loss function is smaller than a predetermined threshold.
  • the mask initialization unit 111 initializes shared and non-shared mask vectors
  • the parameter initialization unit 112 initializes parameter vectors
  • the training data acquisition unit 113 acquires training data.
  • a mini-batch sampling unit 115 samples the mini-batch
  • a layer selection unit 116 selects a layer
  • a parameter determination unit 117 determines a parameter vector using shared and non-shared mask vectors
  • a loss function calculation unit 118 calculate the loss function.
  • the parameter updating unit 119 updates the parameters
  • the learning unit 114 outputs a parameter vector after completing a predetermined number of learnings.
  • the learning device 100 can suppress the number of neural network parameters in the ensemble in robust training (ERT) based on ensemble learning. Therefore, since the learning device 100 can reduce the storage capacity of the memory, etc., it is possible to increase the number of neural networks in the ensemble. Therefore, the learning device 100 can improve robustness in robustness training based on ensemble learning.
  • the mask initialization unit 111 determines a shared mask vector that indicates the distinction between a shared parameter that is shared by a plurality of neural networks and a non-shared parameter that is provided for each neural network, regarding the parameters of the neural network.
  • the loss function calculation unit 118 calculates a value for training data of a loss function based on a plurality of neural networks to which parameter values indicated by a shared parameter, an unshared parameter, and a shared mask vector are applied.
  • the parameter update unit 119 updates the shared parameter value and the non-shared parameter value using the value of the loss function.
  • a part of a plurality of neural networks can be shared. Therefore, according to the learning device 100, the number of parameter values to be stored by the determination device using a plurality of trained neural networks can be relatively reduced.
  • the parameter determination unit 117 selects a shared mask vector from among the parameter vector elements of a model template that includes a parameter vector in which parameters for one neural network are configured as a vector.
  • the shared parameter value is set from the shared parameter vector for the element that is set as a shared parameter by By setting parameter values, one neural network among the plurality of neural networks is configured.
  • parameter values can be calculated by matrix calculations, and calculations can be performed relatively quickly. .
  • the mask initialization unit 111 determines a shared mask vector so as to randomly select a shared parameter from among the parameters for one neural network. Thereby, the learning device 100 can select a shared parameter among the parameters for one neural network through a simple process of randomly selecting the shared parameter. If the desired learning result cannot be obtained, the learning may be redone, including the selection of shared parameters by the mask initialization unit 111.
  • the loss function is a function that outputs a relatively small value when other neural networks do not make a misjudgment with respect to input data that has been given an adversarial perturbation that causes one neural network to make a misjudgment. It is expected that the learning device 100 can obtain a determination device that is robust to adversarial perturbations by performing ensemble learning of a neural network using this loss function. Specifically, even if one of the neural networks obtained by ensemble learning makes a judgment (incorrect class identification) on input data that has been given adversarial perturbation, the other neural networks It is expected to make correct judgments (correct class identification) on the data.
  • ERT robustness training
  • the positions of shared parameters of neural networks (NNs) within the ensemble are also determined by learning. That is, in the ERT of the second embodiment, the parameters of the neural network and the positions of the shared parameters are learned by solving the optimization problem of equation (23) below.
  • the position of the shared parameter is also determined by learning, so the position of the shared parameter is changed during learning. For example, in FIG. 2, the position of the shared parameter indicated by ⁇ is changed during learning.
  • the second embodiment is similar to the first embodiment.
  • the shared parameters and non-shared parameters in the second embodiment are the same as in the first embodiment.
  • the shared vector and non-shared vector can be expressed as in equation (16).
  • the shared mask vector M in the second embodiment is also the same as in the first embodiment.
  • a real vector corresponding to the shared mask vector M is provided.
  • This real vector is also referred to as a substitute vector for the shared mask vector M, or simply a substitute vector, and is denoted by S.
  • S is a variable (variable vector) and is also referred to as an alternative variable.
  • the shared mask vector M and the alternative vector S can be expressed as in equation (17).
  • M is a
  • p is the proportion of shared parameters. p can be expressed as in equation (18).
  • n can be a predetermined positive integer.
  • the unshared mask vector ⁇ M in the second embodiment is also the same as in the first embodiment.
  • the real vector corresponding to the non-shared mask vector ⁇ M can be calculated by 1-S.
  • This real vector is also called a substitute vector for the non-shared mask vector ⁇ M, or simply a substitute vector, and is expressed as 1-S or ⁇ S.
  • 1-S or ⁇ S is also referred to as a substitute variable.
  • a variable corresponding to ⁇ S may be provided and 1-S may be substituted therein.
  • the non-shared mask vector ⁇ M and the alternative vector ⁇ S can be expressed as in equation (19).
  • ⁇ M is also a
  • ⁇ M is the inversion of 0 and 1 of M.
  • the substitute variable ⁇ S corresponding to the non-shared mask vector ⁇ M is also a
  • the value of each element of ⁇ S is the value obtained by subtracting the value of the element at the corresponding position of S from 1.
  • the shared parameter vector M may be calculated from the alternative vector S during learning.
  • the shared parameter can be extracted from the shared parameter vector ⁇ s using the shared mask vector M, as in the first embodiment, and can be expressed as in equation (4) above.
  • a case where the shared parameters are extracted from the shared parameter vector ⁇ s using the shared mask vector M will be described in the third embodiment.
  • the elements of the alternative vector S are used as coefficients by which the shared parameter is multiplied. Multiplication of the elements of the alternative vector S by the shared parameter can be expressed as in equation (20).
  • ⁇ represents the Hadamard product, and the product of each element of the vector is calculated.
  • the extraction of the unshared parameter from the unshared parameter vector ⁇ j ns of the j-th neural network is performed using the unshared mask vector as in the first embodiment. This can be done using ⁇ M, and can be expressed as in the above equation (5).
  • the parameter vector ⁇ j of the j-th neural network can also be calculated in the same manner as in the first embodiment, and can be expressed as in equation (6). In the third embodiment described later, these processing methods can be used.
  • the elements of the non-substitution vector 1-S are used as coefficients by which the non-shared parameters are multiplied. Multiplication of the elements of the non-alternative vector 1-S by the unshared parameters of the j-th neural network can be expressed as in equation (21).
  • ⁇ represents the Hadamard product
  • a parameter vector is calculated by adding together the value obtained by multiplying the shared parameter by the element of the substitute vector S and the value obtained by multiplying the non-shared parameter by the element of the non-substitute vector 1-S.
  • the parameter vector ⁇ j of the j-th neural network can be expressed as in equation (22).
  • Equation (23) " xs " is input data to the neural network, such as image data, and " ys " is the correct class label (class value) of xs .
  • “x t ” is the input data to the neural network and “y t ” is the correct class label of x t .
  • “x s ” and “x t ” are input data belonging to different classes. In other words, y s ⁇ y t .
  • “ ⁇ f ⁇ j (x s , x t , l)” represents hostile perturbation (noise) and is similar to that calculated by equation (8) in the first embodiment.
  • ⁇ f ⁇ j (x s , x t , l) is the minimum noise that causes x s to be misjudged as x t regarding the output of the l-th layer of the j-th neural network.
  • x s + ⁇ f ⁇ j (x s , x t , l) represents input data in which the hostile perturbation ⁇ f ⁇ j (x s , x t , l) obtained by equation (8) is added to x s .
  • CEf ⁇ i (x, y) is a cross entropy loss function, and when input data x and class label y are given, the i-th neural network when using parameter vector ⁇ i is , is a function that outputs a smaller value as x is correctly classified as y.
  • CEf ⁇ i (x s + ⁇ f ⁇ j (x s , x t , l), y s ) means that when the parameter vector ⁇ j is used for x s , the Even if an adversarial perturbation is applied to make a judgment, the i-th neural network using the parameter vector ⁇ i is a function that outputs a value small enough to correctly judge y s .
  • ⁇ j ⁇ i CEf ⁇ i ( ⁇ , ⁇ ) represents calculating the cross entropy of all neural networks different from the j-th neural network and taking the sum.
  • E (xs, ys), (xt, yt), l ⁇ j ⁇ i CEf ⁇ i ( ⁇ , ⁇ )” is for (x s , y s ), (x t , y t ), l, Represents taking the expected value of the sum of cross entropy.
  • an alternative vector S is used as one of the targets for which values are determined in optimization.
  • the shared mask vector M takes discrete values, a method using differentiation such as error backpropagation cannot be applied as a solution to the optimization problem. Therefore, an optimization problem is constructed using an alternative vector S in place of the shared mask vector M, and the shared mask vector M is determined from the obtained alternative vector S.
  • the shared mask vector M is obtained from the alternative vector S obtained at the end of learning according to the ratio p shown in equation (18) as described above.
  • the value of the alternative vector S is updated.
  • the shared mask vector M is determined according to the ratio p shown in equation (18) as described above.
  • the shared parameter vector ⁇ s and the non-shared parameter vector ⁇ j ns are updated, as in the first embodiment.
  • FIG. 6 is a schematic block diagram showing an example of the functional configuration of the learning device 200 according to the second embodiment.
  • the learning device 200 includes a control section 210 and a storage section 230.
  • the control unit 210 includes a mask initialization unit 211, a parameter initialization unit 212, a training data acquisition unit 213, a learning unit 214, and a mask determination unit 221.
  • the learning unit 214 includes a mini-batch sampling unit 215, a layer selection unit 216, a parameter determination unit 217, a loss function calculation unit 218, a mask update unit 219, and a parameter update unit 220.
  • the storage unit 230 includes a training data storage unit 231.
  • the learning device 200 may include things other than these, and the storage unit 230 may be provided outside the learning device 200.
  • the robustness training (ERT) based on ensemble learning of the second embodiment the positions of shared parameters of neural networks (NN) in the ensemble are determined by learning, and the parameters of the neural networks are learned.
  • K be the number of neural networks in the ensemble.
  • the mask initialization unit 211 initializes a substitute variable (substitute vector) S corresponding to the shared mask vector M.
  • the mask initialization unit 211 corresponds to an example of mask initialization means.
  • the substitute variables S and ⁇ S can be expressed as in equation (24).
  • the mask initialization unit 211 randomly initializes the substitute variables S.
  • the elements of S are real numbers from 0 to 1.
  • the initial value of the alternative variable S may be determined in advance, and the mask initialization unit 211 may store the initial value of the alternative variable S in advance.
  • Parameter initialization section 212 is similar to parameter initialization section 112.
  • the parameter initialization unit 212 initializes the shared parameter vector ⁇ s and each of the non-shared parameter vectors ⁇ 1 ns , . . . , ⁇ K ns .
  • the shared parameters and non-shared parameters can be expressed as in equation (25).
  • the parameter initialization unit 212 assigns random numbers to each element of these parameter vectors and randomly initializes the parameter values.
  • the initial value of each parameter may be determined in advance, and the parameter initialization unit 112 may store the initial value of the parameter in advance as the initial value of each element of the parameter vector.
  • the training data storage section 231 is similar to the training data storage section 131.
  • the training data storage unit 231 stores (a set of) training data X tr used for learning the neural network. As described above, the training data X tr can be expressed as in equation (26).
  • the learning unit 214 uses the training data X tr to perform learning by updating the parameter vector of the neural network in the ensemble and the substitute variable S of the shared mask vector by an iterative error backpropagation method.
  • Mini-batch sampling section 215 is similar to mini-batch sampling section 115.
  • the mini-batch sampling unit 215 samples a mini-batch B used for one learning from the training data X tr . Specifically, the mini-batch sampling unit 215 randomly samples a subset from the training data X tr to form the mini-batch B.
  • the layer selection section 216 is similar to the layer selection section 116.
  • the layer selection unit 216 selects one layer l of the neural network to be used to generate the adversarial perturbation ⁇ f ⁇ j (x s , x t , l).
  • the parameter determining unit 217 determines a parameter vector for each neural network.
  • the parameter determining unit 217 corresponds to an example of parameter determining means.
  • the parameter vector ⁇ j of the j-th neural network can be expressed as in equation (27).
  • a parameter vector ⁇ j (1 ⁇ j ⁇ K) of each neural network is determined (calculated) using ⁇ j ns (1 ⁇ j ⁇ K ). S, ⁇ s and ⁇ j ns (1 ⁇ j ⁇ K) have been initialized or updated.
  • Loss function calculation section 218 is similar to loss function calculation section 118.
  • the loss function calculation unit 218 corresponds to an example of loss function calculation means.
  • the loss function Loss in equation (28) is similar to the loss function Loss in equation (13).
  • the mask update unit 219 updates the substitute variable S by backpropagating error information using an error backpropagation method.
  • the mask updating unit 219 corresponds to an example of mask updating means. Specifically, the mask update unit 219 calculates the partial differential of the loss function Loss shown in Equation (29), and updates S.
  • Equation (29) means that ⁇ Loss/ ⁇ S i is calculated for element S i (1 ⁇ i ⁇
  • the mask updating unit 219 updates S i to S i ⁇ Loss/ ⁇ S i for a predetermined ⁇ (>0). Furthermore, the mask updating unit 219 performs adjustment so that S i becomes a value within the range of [0, 1]. For example, if the calculated value of S i is S i ⁇ 0, the mask updating unit 219 sets the updated value of S i to 0. Further, when the calculated value of S i is S i >1, the mask updating unit 219 sets the updated value of S i to 1.
  • the parameter update unit 220 is similar to the parameter update unit 119.
  • the parameter update unit 220 corresponds to an example of a parameter update unit.
  • the parameter update unit 220 updates parameters by backpropagating error information using an error backpropagation method. Specifically, the parameter update unit 220 calculates the partial differential of the loss function Loss shown in Equation (30), and updates ⁇ s .
  • Equation (30) is similar to Equation (14).
  • the parameter updating unit 220 updates ( ⁇ s ) i to ( ⁇ s ) i ⁇ Loss/ ⁇ ( ⁇ s ) i for a predetermined learning coefficient ⁇ (>0).
  • Equation (31) is similar to Equation (15).
  • the parameter updating unit 220 updates ( ⁇ j ns ) i to ( ⁇ j ns ) i ⁇ Loss/ ⁇ ( ⁇ j ns ) i for a predetermined learning coefficient ⁇ (>0). do.
  • the learning unit 214 After completing the learning a predetermined number of times, the learning unit 214 outputs the parameter vectors ⁇ s , ⁇ 1 ns , . . . , ⁇ K ns and the substitute variable S as learning results.
  • the mask determining unit 221 determines the mask vector M. Specifically, for the alternative variable S output from the learning unit 214, the mask determining unit 221 sets the top p ⁇
  • m positions with large values to 1, and sets the other positions to 0.
  • the mask vector M is determined so that Here, p is the proportion of shared parameters shown in equation (18).
  • FIG. 7 is a flowchart illustrating an example of a processing procedure of the learning device 200 according to the second embodiment.
  • the parameter vectors ⁇ s , ⁇ 1 ns , . . . , ⁇ K ns and the alternative variable S are updated simultaneously for each learning session.
  • the mask initialization unit 211 initializes a substitute variable (substitute vector) S corresponding to the shared mask vector M. (Step S301). For example, the mask initialization unit 211 randomly initializes the substitute variables S.
  • the parameter initialization unit 212 initializes the shared parameter vector ⁇ s and the non-shared parameter vector ⁇ 1 ns , . . . , ⁇ K ns (step S302). For example, the parameter initialization unit 212 randomly initializes each element of these parameter vectors by assigning a random number to each element.
  • the layer selection unit 216 selects one layer l of the neural network to be used to generate the adversarial perturbation ⁇ f ⁇ j (x s , x t , l) (step S305).
  • ⁇ represents the Hadamard product.
  • S, ⁇ s and ⁇ j ns (1 ⁇ j ⁇ K) have been initialized or updated.
  • the loss function Loss (1/
  • the calculation of the loss function Loss is similar to the loss function calculation procedure shown in FIG. 5 in the first embodiment, except that the meaning of the parameter vector ⁇ j (1 ⁇ j ⁇ K) is different.
  • the mask update unit 219 backpropagates the error information, calculates ⁇ Loss/ ⁇ S, and updates S (step S308).
  • the parameter update unit 220 backpropagates the error information, calculates ⁇ Loss/ ⁇ s , and updates ⁇ s (step S309).
  • the learning unit 214 determines whether learning has been performed a predetermined number of times (step S311). If learning has not been performed the predetermined number of times, the learning unit 214 returns the process to step S304. On the other hand, if learning has been performed a predetermined number of times, the learning unit 214 moves the process to step S312.
  • the mask determining unit 221 determines a mask vector M for the alternative variable S so that the top p ⁇
  • m positions with large values are set to 1 and the other positions are set to 0. (Step S312).
  • the learning unit 214 (control unit 210) outputs the parameter vectors ⁇ s , ⁇ 1 ns , ..., ⁇ K ns of the neural network and the mask vector M (step S313).
  • the learning end condition is that learning has been performed a predetermined number of times, but the condition is not limited to this.
  • the learning termination condition may be that the amount of decrease in the loss function is smaller than a predetermined threshold.
  • the mask initialization unit 211 initializes the substitute variable S
  • the parameter initialization unit 212 initializes the parameter vector
  • the training data acquisition unit 213 acquires training data.
  • the mini-batch sampling section 215 samples the mini-batch
  • the layer selection section 216 selects the layer
  • Calculation unit 218 calculates a loss function.
  • the mask update unit 219 updates the substitute variable S
  • the parameter update unit 220 updates the parameter
  • the learning unit 214 outputs the parameter vector and the substitute variable S after completing learning a predetermined number of times.
  • the mask determining unit 221 determines a mask vector from the alternative variable S.
  • the learning device 200 can suppress the number of neural network parameters in the ensemble in robust training (ERT) based on ensemble learning. Therefore, since the learning device 200 can reduce the storage capacity of the memory, etc., it is possible to increase the number of neural networks in the ensemble. Therefore, the learning device 200 can improve robustness in robustness training based on ensemble learning.
  • the learning device 200 determines the position of the shared parameter (mask vector) through learning, it is possible to more appropriately determine the position and number of the shared parameter. Furthermore, the learning device 200 of the second embodiment can perform processing faster than the processing method of the third embodiment described later.
  • the shared mask vector has continuous values for each parameter in one portion of the neural network.
  • the mask update unit 219 updates the value of each parameter in the shared mask vector (the value of the element of the shared mask vector) using the value of the loss function.
  • the learning device 200 in addition to the values of the parameters of the neural network, it is also possible to learn parameters to be shared parameters and their positions in the structure of the neural network. In this respect, the learning device 200 is expected to be able to perform learning with higher accuracy.
  • the position of the shared parameter of the neural network (NN) within the ensemble is also determined by learning, as in the second embodiment. That is, in the ERT of the third embodiment, the parameters of the neural network and the positions of the shared parameters are learned by solving the optimization problem of equation (23) described above.
  • the position of the shared parameter is also determined by learning, so the position of the shared parameter is changed during learning. For example, in FIG. 2, the position of the shared parameter indicated by ⁇ is changed during learning.
  • the third embodiment when updating the shared parameter vector and the non-shared parameter vector using the error backpropagation method, the shared mask vector M is calculated (updated) from the updated alternative vector S, and The error is calculated by calculating the parameter values of the neural network using the shared mask vector.
  • the third embodiment is similar to the second embodiment.
  • a schematic block diagram showing an example of the functional configuration of the learning device 200 of the third embodiment is similar to the schematic block diagram showing an example of the functional configuration of the learning device 200 of the second embodiment shown in FIG.
  • FIGS. 8 and 9 are flowcharts illustrating an example of a processing procedure of the learning device 200 according to the third embodiment.
  • the substitute variable S is first learned, mask vectors M and ⁇ M are determined from the substitute variable S, and these are used to calculate the parameter vectors ⁇ s , ⁇ 1 ns , ..., ⁇ K Learn ns .
  • the mask initialization unit 211 initializes a substitute variable (substitute vector) S corresponding to the shared mask vector M. (Step S401). For example, the mask initialization unit 211 randomly initializes the substitute variables S.
  • the parameter initialization unit 212 initializes the shared parameter vector ⁇ s and the non-shared parameter vector ⁇ 1 ns , . . . , ⁇ K ns (step S402). For example, the parameter initialization unit 212 randomly initializes each element of these parameter vectors by assigning a random number to each element.
  • the layer selection unit 216 selects one layer l of the neural network to be used to generate the adversarial perturbation ⁇ f ⁇ j (x s , x t , l) (step S405).
  • the parameter vector ⁇ j ⁇ s ⁇ S+ ⁇ j ns ⁇ S (1 ⁇ j ⁇ K) of each neural network is determined (calculated) using ⁇ j ⁇ K) (step S406).
  • ⁇ represents the Hadamard product. S is initialized or updated.
  • the loss function Loss (1/
  • the calculation of the loss function Loss performed by the loss function calculation unit 218 is the same as the processing procedure of the loss function calculation shown in FIG. 5 in the first embodiment, except that the meaning of the parameter vector ⁇ j (1 ⁇ j ⁇ K) is different. It is similar to
  • the mask update unit 219 backpropagates the error information, calculates ⁇ Loss/ ⁇ S, and updates S (step S408).
  • the learning unit 214 determines whether learning A has been performed a predetermined number of times (step S409). If learning A has not been performed a predetermined number of times, the learning unit 214 returns the process to step S404. On the other hand, if learning A has been performed a predetermined number of times, the learning unit 214 moves the process to step S410.
  • the mask determining unit 221 determines a mask vector M for the alternative variable S so that the top p ⁇
  • m positions with large values are set to 1 and the other positions are set to 0. (Step S410). Furthermore, the mask determining unit 221 determines the inverted 0 and 1 of each element of the mask vector M as a non-shared mask vector ⁇ M (step S410).
  • the layer selection unit 216 selects one layer l of the neural network to be used to generate the adversarial perturbation ⁇ f ⁇ j (x s , x t , l) (step S412).
  • the parameter determining unit 217 uses the shared mask vector M, the unshared mask vector ⁇ M, the shared parameter vector ⁇ s , and the unshared parameter vector ⁇ j ns (1 ⁇ j ⁇ K) to determine each
  • the parameter vector ⁇ j ⁇ s ⁇ M+ ⁇ j ns ⁇ M (1 ⁇ j ⁇ K) is determined (calculated) for the neural network (step S413).
  • ⁇ represents the Hadamard product.
  • ⁇ s and ⁇ j ns (1 ⁇ j ⁇ K) have been initialized or updated.
  • the loss function Loss (1/
  • the calculation of the loss function Loss performed by the loss function calculation unit 218 is the same as the processing procedure of the loss function calculation shown in FIG. 5 in the first embodiment, except that the meaning of the parameter vector ⁇ j (1 ⁇ j ⁇ K) is different. It is similar to
  • the learning unit 214 determines whether learning B has been performed a predetermined number of times (step S417). If learning B has not been performed a predetermined number of times, the learning unit 214 returns the process to step S411. On the other hand, if learning B has been performed a predetermined number of times, the learning unit 214 moves the process to step S417.
  • the learning unit 214 further determines whether learning A and learning B have been performed a predetermined number of times (step S418). If learning A and learning B have not been performed a predetermined number of times, the learning unit 214 returns the process to step S404. On the other hand, if learning A and learning B have been performed a predetermined number of times, the learning unit 214 moves the process to step S419.
  • the learning unit 214 (control unit 210) outputs the parameter vectors ⁇ s , ⁇ 1 ns , . . . , ⁇ K ns of the neural network and the mask vector M (step S419).
  • step S4108 the termination condition for learning A and learning B may be one learning.
  • the learning end condition in steps S409, S417, and S418 is that learning has been performed a predetermined number of times, the learning end condition may be, for example, that the decrease in the loss function is smaller than a predetermined threshold.
  • the mask initialization unit 211 initializes the substitute variable S
  • the parameter initialization unit 212 initializes the parameter vector
  • the training data acquisition unit 213 acquires training data.
  • the mini-batch sampling unit 215 samples the mini-batch
  • the layer selection unit 216 selects a layer
  • the loss function calculation unit 218 calculates the loss function
  • the mask update unit 219 updates the substitute variable S.
  • the mask determining unit 221 determines a mask vector from the alternative variable S.
  • the mini-batch sampling section 215 samples the mini-batch
  • the layer selection section 216 selects the layer
  • the parameter determination section 217 determines the parameter vector using the mask vectors M and ⁇ M
  • a loss function calculation unit 218 calculates a loss function
  • a parameter update unit 220 updates parameters.
  • the learning unit 214 performs learning B a predetermined number of times
  • the learning unit 214 further performs learning A and learning B a predetermined number of times, and then outputs a parameter vector and a mask vector M.
  • the learning device 200 can suppress the number of neural network parameters in the ensemble in robust training (ERT) based on ensemble learning. Therefore, since the learning device 200 can reduce the storage capacity of the memory, etc., it is possible to increase the number of neural networks in the ensemble. Therefore, the learning device 200 can improve robustness in robustness training based on ensemble learning.
  • the learning device 200 determines the position of the shared parameter (mask vector) through learning, it is possible to more appropriately determine the position and number of the shared parameter. Further, the learning device 200 of the third embodiment can perform learning with higher accuracy than the processing method of the second embodiment described above.
  • the fourth embodiment shows an example of a determination device using the neural network trained by the learning devices 100 and 200 of the first to third embodiments.
  • FIG. 10 is a schematic block diagram showing an example of the functional configuration of a determination device 300 according to the fourth embodiment.
  • the determination device 300 includes a plurality of neural networks 301 (neural network 1, . . . , neural network K) and a majority decision unit 302.
  • the neural networks 301 are neural networks 1, . . . , neural networks K trained by the learning devices 100 and 200 of the first to third embodiments. These neural networks i (1 ⁇ i ⁇ K) share parameters (parameter vectors). Each neural network i receives input data such as image data and outputs a class label (class value).
  • the majority decision unit 302 When the majority decision unit 302 receives class labels (class values) from the plurality of neural networks 301, it takes a majority decision (takes the largest number of class labels) and outputs the resulting class label. Note that the majority decision unit 302 may weight the inputs of the plurality of neural networks 301. Moreover, the majority decision unit 302 may calculate a value using another function and output the result, instead of using the majority decision based on the inputs from the plurality of neural networks 301.
  • the unit 302 takes a majority vote on the class labels and outputs the result. This allows determination (class identification) with a reduced number of neural network parameters. Furthermore, since the number of neural networks in the ensemble can be increased, robustness can be improved.
  • FIG. 11 is a schematic block diagram showing an example of the functional configuration of a learning device 500 according to the fifth embodiment.
  • the learning device 500 includes a mask initialization section 501, a loss function calculation section 502, and a parameter update section 503.
  • the mask initialization unit 501 distinguishes between shared parameters that are shared by multiple machine learning models and non-shared parameters that are provided for each machine learning model, regarding the parameters of a machine learning model that has multiple parameters.
  • the loss function calculation unit 502 calculates a value for training data of a loss function based on the plurality of machine learning models to which the shared parameters, the unshared parameters, and the parameter values indicated by the mask information are applied.
  • the parameter update unit 503 updates the shared parameter value and the non-shared parameter value using the value of the loss function.
  • the mask initialization unit 501 corresponds to an example of mask initialization means.
  • the loss function calculation unit 502 corresponds to an example of loss function calculation means.
  • the parameter update unit 503 corresponds to an example of a parameter update unit.
  • the number of parameter values to be stored by a determination device using a plurality of machine learning models can be relatively reduced.
  • the learning device 500 can suppress the number of neural network parameters in the ensemble in ensemble learning-based robustness training (ERT). Therefore, since the learning device 500 can reduce the storage capacity of the memory, etc., it is possible to increase the number of neural networks in the ensemble. Therefore, the learning device 500 can improve robustness in robustness training based on ensemble learning.
  • ERT ensemble learning-based robustness training
  • FIG. 12 is a flowchart illustrating an example of the processing procedure of the learning method according to the sixth embodiment.
  • the learning method shown in FIG. 12 includes determining mask information (step S501), calculating a loss function (step S502), and updating shared parameters and non-shared parameters (step S503). include.
  • the computer determines, regarding the parameters of a machine learning model having multiple parameters, a shared parameter that is shared by multiple machine learning models, and a non-shared parameter that is provided for each machine learning model. Determine mask information that distinguishes it from parameters.
  • the computer uses training data to calculate a loss function based on a plurality of machine learning models.
  • the computer updates the shared parameters and non-shared parameters by error backpropagation using the value of the loss function.
  • the number of parameter values to be stored by a determination device using a plurality of machine learning models can be relatively reduced.
  • the number of neural network parameters in the ensemble can be suppressed in robust training (ERT) based on ensemble learning. Therefore, since the learning method can reduce the storage capacity of memory, etc., it is possible to increase the number of neural networks in the ensemble. Therefore, robustness can be improved in the learning method and robustness training based on ensemble learning.
  • FIG. 13 is a schematic block diagram showing the configuration of a computer according to at least one embodiment.
  • the computer 400 includes a CPU (Central Processing Unit) 410, a main storage device 420, an auxiliary storage device 430, and an interface 440. Any one or more of the learning devices 100 and 200 described above may be implemented in the computer 400. In that case, the operations of each processing section described above are stored in the auxiliary storage device 430 in the form of a program.
  • the CPU 410 reads the program from the auxiliary storage device 430, expands it to the main storage device 420, and executes the above processing according to the program.
  • the CPU 410 secures storage areas corresponding to each of the above-mentioned storage units in the main storage device 420 according to the program. Communication between each device and other devices is performed by the interface 440 having a communication function and performing communication under the control of the CPU 410.
  • the operations of the mask initialization unit 111, the parameter initialization unit 112, the training data acquisition unit 113, and the learning unit 114, and the mini-batch sampling unit included in the learning unit 114 115, layer selection section 116, parameter determination section 117, loss function calculation section 118, and parameter updating section 119 are stored in the auxiliary storage device 430 in the form of a program.
  • the CPU 410 reads the program from the auxiliary storage device 430, expands it to the main storage device 420, and executes the above processing according to the program.
  • the output of the learning device 100 is executed by the interface 440 having an output function such as a communication function or a display function, and performing output processing under the control of the CPU 410.
  • the operations of the mask initialization unit 211, the parameter initialization unit 212, the training data acquisition unit 213, the learning unit 214, the mask determination unit 221, and the learning unit 114 The operations of the mini-batch sampling unit 215, layer selection unit 216, parameter determination unit 217, loss function calculation unit 218, mask update unit 219, and parameter update unit 119 included in the auxiliary storage device 430 are stored in the form of a program. is stored in The CPU 410 reads the program from the auxiliary storage device 430, expands it to the main storage device 420, and executes the above processing according to the program.
  • the output of the learning device 100 is executed by the interface 440 having an output function such as a communication function or a display function, and performing output processing under the control of the CPU 410.
  • a mask initialization method that determines mask information indicating a distinction between a shared parameter provided for common use by a plurality of the machine learning models and a non-shared parameter provided for each machine learning model.
  • loss function calculation means for calculating a value for training data of a loss function based on the plurality of machine learning models to which parameter values indicated by the shared parameter, the unshared parameter, and the mask information are applied; parameter updating means for updating the value of the shared parameter and the value of the non-shared parameter using the value of the loss function;
  • the parameter vector includes a parameter vector in which parameters for one of the machine learning models are configured as a vector, and a shared parameter is determined by the mask information among the elements of the parameter vector of a model template provided for common use by a plurality of machine learning models.
  • the shared parameter is configured into a vector, and the value of the shared parameter is set from a shared parameter vector that is shared by a plurality of the machine learning models, and among the elements of the parameter vector, the value of the shared parameter is set according to the mask information.
  • the non-shared parameters are configured into vectors, and values of the non-shared parameters are set from the non-shared parameter vector provided for each machine learning model.
  • the learning device according to supplementary note 1, further comprising parameter determining means that configures one of the machine learning models.
  • the mask information has a continuous value for each parameter in one part of the machine learning model,
  • the learning device according to any one of Supplementary Notes 1 to 3, further comprising a mask updating unit that updates a value for each parameter in the mask information using the value of the loss function.
  • the loss function is a function that outputs a relatively small value when the other machine learning models do not misjudge input data that has been given adversarial perturbation that causes one of the machine learning models to misjudge. Yes A learning device described in any one of Supplementary Notes 1 to 5.
  • a determination device comprising:
  • the computer is With respect to the parameters of a machine learning model having a plurality of parameters, determining mask information indicating a distinction between a shared parameter provided for common use by a plurality of the machine learning models and a non-shared parameter provided for each machine learning model; , calculating a value for training data of a loss function based on the plurality of machine learning models to which parameter values indicated by the shared parameter, the unshared parameter, and the mask information are applied; updating the value of the shared parameter and the value of the non-shared parameter using the value of the loss function; Learning methods including.
  • Embodiments of the present invention may be applied to a learning device, a determination device, a learning method, and a recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

学習装置が、複数のパラメータをもつ機械学習モデルの前記パラメータについて、複数の前記機械学習モデルに共用として設けられる共有パラメータと、機械学習モデルごとに設けられる非共有パラメータとの区別を示すマスク情報を決定するマスク初期化手段と、訓練データを用いて、複数の前記機械学習モデルに基づく損失関数の値を計算する損失関数計算手段と、前記損失関数の値を用いて前記共有パラメータの値と前記非共有パラメータの値とを更新するパラメータ更新手段と、を備える。

Description

学習装置、判定装置、学習方法および記録媒体
　本発明は、学習装置、判定装置、学習方法および記録媒体に関する。
　アンサンブル学習による判定装置など、複数の機械学習モデルを用いる判定装置が構成される場合がある。
　例えば、特許文献１には、顔認証等のアンサンブル学習においてニューラルネットワーク（Neural Network；ＮＮ）が用いられることが開示されている。
　また、非特許文献１には、アンサンブル学習に基づくロバスト化訓練（Ensemble based Robust Training；ＥＲＴ）が示されている。アンサンブル学習に基づくロバスト化訓練では、得られる判定装置が敵対的サンプル（Adversarial Example；ＡＸ）に騙されにくくなるように、アンサンブル学習を行う。判定装置が敵対的サンプルに騙されにくいとは、判定装置が敵対的サンプルの入力に対して誤判定を行いにくいことである。
ＷＯ２０１７／１２６４８２号公報
Huanrui Yang、他８名、"DVERGE: Diversifying Vulnerabilities for Enhanced Robust Generation of Ensemble"、NeurIPS2020、２０２０年。
　複数の機械学習モデルを用いる判定装置が記憶すべきパラメータ値の個数を比較的少なくすることができることが好ましい。
　本発明の目的の一例は、上述した課題を解決することのできる学習装置、判定装置、学習方法および記録媒体を提供することである。
　本発明の第１の態様によれば、学習装置は、複数のパラメータをもつ機械学習モデルの前記パラメータについて、複数の前記機械学習モデルに共用として設けられる共有パラメータと、機械学習モデルごとに設けられる非共有パラメータとの区別を示すマスク情報を決定するマスク初期化手段と、前記共有パラメータ、前記非共有パラメータ、および、前記マスク情報にて示されるパラメータ値を適用した複数の前記機械学習モデルに基づく損失関数の、訓練データに対する値を計算する損失関数計算手段と、前記損失関数の値を用いて前記共有パラメータの値と前記非共有パラメータの値とを更新するパラメータ更新手段と、を備える。
　本発明の第２の態様によれば、学習方法は、コンピュータが、複数のパラメータをもつ機械学習モデルの前記パラメータについて、複数の前記機械学習モデルに共用として設けられる共有パラメータと、機械学習モデルごとに設けられる非共有パラメータとの区別を示すマスク情報を決定する工程と、前記共有パラメータ、前記非共有パラメータ、および、前記マスク情報にて示されるパラメータ値を適用した複数の前記機械学習モデルに基づく損失関数の、訓練データに対する値を計算する工程と、前記損失関数の値を用いて前記共有パラメータの値と前記非共有パラメータの値とを更新する工程と、を含む。
　本発明の第３の態様によれば、記録媒体は、コンピュータに、複数のパラメータをもつ機械学習モデルの前記パラメータについて、複数の前記機械学習モデルに共用として設けられる共有パラメータと、機械学習モデルごとに設けられる非共有パラメータとの区別を示すマスク情報を決定する工程と、前記共有パラメータ、前記非共有パラメータ、および、前記マスク情報にて示されるパラメータ値を適用した複数の前記機械学習モデルに基づく損失関数の、訓練データに対する値を計算する工程と、前記損失関数の値を用いて前記共有パラメータの値と前記非共有パラメータの値とを更新する工程と、を実行させるためのプログラムを記録した記録媒体である。
　上記した学習装置、判定装置、学習方法および記録媒体によれば、複数の機械学習モデルを用いる判定装置が記憶すべきパラメータ値の個数を比較的少なくすることができる。
全てのパラメータが非共有パラメータとして構成されている複数のニューラルネットワークの例を示す図である。 共有パラメータを含む複数のニューラルネットワークの例を示す図である。 第１実施形態に係る学習装置の機能構成の例を示す概略ブロック図である。 第１実施形態に係る学習装置の処理手順の例を示すフローチャートである。 第１実施形態に係る学習装置の損失関数計算の処理手順の例を示すフローチャートである。 第２実施形態及び第３実施形態に係る学習装置の機能構成の例を示す概略ブロック図である。 第２実施形態に係る学習装置の処理手順の例を示すフローチャートである。 第３実施形態に係る学習装置の処理手順の例を示すフローチャートである。 第３実施形態に係る学習装置の処理手順の例を示すフローチャートである。 第４実施形態に係る判定装置の機能構成の例を示す概略ブロック図である。 第５実施形態に係る学習装置の機能構成の例を示す概略ブロック図である。 第６実施形態に係る学習方法の処理手順の例を示すフローチャートである。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
　以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　まず、実施形態における共有パラメータを含むニューラルネットワークの例を、全てのパラメータが非共有パラメータとして構成されているニューラルネットワークの例と比較して示す。
　図１は、全てのパラメータが非共有パラメータとして構成されている複数のニューラルネットワークの例を示す図である。
　図１に示すＮＮ１とＮＮ２とは、同じ構造を有するニューラルネットワークである。具体的には、ＮＮ１及びＮＮ２は、それぞれ層１、層２、層３を有する全結合型のニューラルネットワークであり、各層には４つのノードを持つ。各ノードはニューロンモデル（人工ニューロン）を用いて構成される。
　ＮＮ１およびＮＮ２の何れにおいても、全てのパラメータがニューラルネットワークごとに設けられている。図１は、パラメータがニューラルネットワークごとに設けられるか複数のニューラルネットワークに共用として設けられるかがノードごとに決定される場合の例を示しており、全てのノードについて、パラメータがニューラルネットワークごとに設けられている。
　ニューラルネットワークごとに設けられるパラメータを、非共有パラメータとも称する。パラメータがニューラルネットワークごとに設けられると決定されているノードを、非共有パラメータによるノードとも称する。図１では、非共有パラメータによるノードを丸（○）で示している。
　一方、複数のニューラルネットワークに共用として設けられるパラメータを、共有パラメータとも称する。パラメータが複数のニューラルネットワークに共用として設けられると決定されているノードを、共有パラメータによるノードとも称する。
　ニューラルネットワークにおけるパラメータは、ニューラルネットワークの種類に応じて設けられる。例えば、パーセプトロンの場合、ノード間の結合ごとに設けられる重み係数と、ノード出力算出用にノードごとに設けられるバイアスとが、パラメータの例に該当する。また、活性化関数をパーセプトロンにおけるステップ関数に限定しないように一般化されたニューラルネットワークでも、ノード間の結合ごとに設けられる重み係数と、ノード出力算出用にノードごとに設けられるバイアスとが、パラメータの例に該当する。
　また、スパイキングニューラルネットワーク（Spiking Neural Network；ＳＮＮ）では、ノード間の結合ごとに設けられる重み係数と、ノードごとに設けられる発火閾値とがパラメータの例に該当する。
　なお、パラメータがニューラルネットワークごとに設けられるか複数のニューラルネットワークに共用として設けられるかがノードごとに決定される場合、ノード間の結合に設けられるパラメータは、その結合で伝達される情報の入力を受ける側のノードに属するものとして扱うことができる。具体的には、非共有パラメータによるノードが入力ノードとなっている結合に設けられているパラメータは、非共有パラメータとなっていてもよい。また、共有パラメータによるノードが入力ノードとなっている結合に設けられているパラメータは、共有パラメータとなっていてもよい。
　ＮＮ１およびＮＮ２のような複数のニューラルネットワークは、例えば、アンサンブル学習に用いることができる。アンサンブル学習では、機械学習モデルを複数含むシステムの学習を行う。このシステムは、これら複数の機械学習モデルの出力の多数決をとるなど、複数の機械学習モデルの出力に基づいてシステムとしての出力を決定する。
　以下では、機械学習モデルを複数含み、これら複数の機械学習モデルの出力に基づいてシステムとしての出力を決定するシステムを、アンサンブルシステムと称する。また、アンサンブルシステムに含まれる機械学習モデルを、「アンサンブル内の機械学習モデル」という。例えば、アンサンブルシステムに含まれるニューラルネットワークを、「アンサンブル内のニューラルネットワーク」と称する。
　図２は、共有パラメータを含む複数のニューラルネットワークの例を示す図である。
　図２に示すＮＮ３とＮＮ４とは、同じ構造を有するニューラルネットワークである。具体的には、ＮＮ３及びＮＮ４は、それぞれ層１、層２、層３を有する全結合型のニューラルネットワークであり、各層には４つのノードを持つ。各ノードはニューロンモデルを用いて構成される。
　図１のＮＮ１およびＮＮ２では、全てのパラメータが非共有パラメータとなっているのに対し、図２のＮＮ３およびＮＮ４は、共有パラメータを含む。図２では、非共有パラメータによるノードを丸（○）で示し、共有パラメータによるノードを二重丸（◎）で示している。
　ＮＮ３とＮＮ４とが同じ構造を有することから、ＮＮ３とＮＮ４とで、ニューラルネットワークの構造において同じ位置にあるパラメータを対応付けることができ、同じ位置にあるパラメータを共用とすることができる。図２の例では、ＮＮ３とＮＮ４とで、ニューラルネットワークの構造において同じ位置にあるノードが共有パラメータによるノードとなっている。これにより、ＮＮ３とＮＮ４とで、ニューラルネットワークの構造において同じ位置にあるパラメータが共有パラメータとなっている。
　このように、同じ構造を有する複数のニューラルネットワークについて、ニューラルネットワークの構造において同じ位置にあるパラメータを対応付けることができ、同じ位置にあるパラメータを共用とすることができる。複数のニューラルネットワークでパラメータを共用とすることを、複数のニューラルネットワークがパラメータを共有するとも称する。
　複数のニューラルネットワークがパラメータの一部のみを共有することにより、複数のニューラルネットワークの構成に必要なメモリ領域を抑えつつ、複数のニューラルネットワークを異なるニューラルネットワークとして構成することができる。
　ここでは、２つのニューラルネットワークが、構造が同じであり、かつ、ニューラルネットワークの構造において同じ位置にあるパラメータの値が全て同じである場合、これら２つのニューラルネットワークは同じであると称する。一方、２つのニューラルネットワークの構造が異なる場合、これら２つのニューラルネットワークは異なると称する。２つのニューラルネットワークが、構造が同じであっても、ニューラルネットワークの構造において同じ位置にあるパラメータのうち少なくとも一組のパラメータの値が異なる場合も、これら２つのニューラルネットワークは異なると称する。
　異なるニューラルネットワークは、同じ入力データに対して異なる値を出力する場合がある。複数のニューラルネットワークが互いに異なるニューラルネットワークとして構成され得ることで、これら複数のニューラルネットワークの出力に基づいてシステムとしての出力を決定するシステムを構成することができる。例えば、これら複数のニューラルネットワークの出力の多数決をとる多数決モデルが、システムとして構成されていてもよい。
　例えば、パラメータの一部のみを共有する複数のニューラルネットワークをアンサンブル学習に基づくロバスト化訓練に用いる場合、全てのパラメータがニューラルネットワーク毎に設けられているニューラルネットワークを用いる場合と比較して、複数のニューラルネットワークの構成に必要なメモリ領域を抑えつつ、アンサンブル内のニューラルネットワークの個数を増加させることができ、ロバスト性（Robustness、頑健性）の向上が期待される。
　ここで、機械学習モデルの安全性に関するクリティカルな問題の１つとして、敵対的サンプル（ＥＸ）の問題を挙げることができる。敵対的サンプルとは、機械学習モデルが誤判断をするような微小な摂動を用いて意図的に生成される入力データである。ニューラルネットワーク等の機械学習モデルの敵対的サンプルに対するロバスト化の方法が必要である。
　機械学習モデルの敵対的サンプルに対するロバスト化の方法の１つとして、アンサンブル学習に基づくロバスト化訓練（ＥＲＴ）を挙げることができる。アンサンブル学習は、それぞれ個別に学習させた複数のニューラルネットワークを用いて多数決等をとることにより、未知のデータに対して予測能力を向上させるための学習方法である。
　アンサンブル学習に基づくロバスト化訓練は、アンサンブル内のニューラルネットワークが敵対的サンプルに対して同時に騙されにくく（誤判断をしにくく）なるように学習し、複数のニューラルネットワークを用いたシステムとしてロバストな予測を実現しようとする学習方法である。アンサンブル学習に基づくロバスト化訓練では、アンサンブル内のニューラルネットワークの個数を増やすことでロバスト性が向上することが期待される。
　アンサンブル学習に基づくロバスト化訓練に、全てのパラメータが非共有パラメータとして構成されるニューラルネットワークを用いる場合、ニューラルネットワークの個数に比例してパラメータの個数が増加する。この場合、ニューラルネットワークの個数が多いと、パラメータ値の記憶に必要な記憶容量が大きくなり、処理の遅延につながることが考えられる。また、この場合、パラメータ値の記憶に用いることができる記憶容量の制約により、ニューラルネットワークの個数を十分に多くすることができず、ロバスト性を十分確保できないことが考えられる。
　これに対し、アンサンブル学習に基づくロバスト化訓練に、一部のパラメータのみが共有パラメータとして構成されるニューラルネットワークを用いる場合、パラメータの共有化によって、全てのパラメータが非共有パラメータとして構成されるニューラルネットワークを用いる場合よりもパラメータの個数を少なくすることができる。これにより、処理速度が比較的速いことが期待される。また、この場合、ニューラルネットワークの個数を比較的多くすることができ、この点で、ロバスト性の向上が期待される。
　なお、上記の説明では、機械学習モデルとしてニューラルネットワークを用いる場合を例に説明したが、機械学習モデルはこれに限られない。誤差逆伝播法などの学習手法を用いてパラメータを更新可能であり、かつ、複数のパラメータをもちアンサンブル学習においてパラメータを共有することができるいろいろな機械学習モデルを用いることができる。このような機械学習モデルの例として、ニューラルネットワークの他に、サポートベクターマシン（Support Vector Machine；ＳＶＭ）、及び、ランダムフォレスト（Random Forest）を挙げることができる。
　以下でも、機械学習モデルとしてニューラルネットワークを用いる場合を例に説明するが、機械学習モデルはこれに限られない。誤差逆伝播法などの学習手法を用いてパラメータを更新可能であり、かつ、複数のパラメータをもちアンサンブル学習においてパラメータを共有することができるいろいろな機械学習モデルを用いることができる。
　さらに、上記の説明では、複数の機械学習モデルを用いてアンサンブル学習を行う場合を例に説明したが、複数の機械学習モデルを用いるシステムは、アンサンブル学習のように、複数の機械学習モデルの出力の多数決をとってシステムとしての出力を決定するものに限られない。例えば、複数の機械学習モデルを用いるシステムが、複数の機械学習モデルの出力に対して重み付けを行ったうえで多数決をとってシステムとしての出力を決定するようにしてもよい。
　また、複数の機械学習モデルを用いるシステムが、複数の機械学習モデルの出力を用いてシステムとしての出力を決定することに加えて、あるいは、変えて、複数の機械学習モデルの出力の分散または信頼度など、複数の機械学習モデルの出力に関する指標値を算出するようにしてもよい。
　また、機械学習の手法として誤差逆伝播法を用いる場合を例に説明するが、適用可能な機械学習の手法は、これに限られない。
　以下でも、複数の機械学習モデルを用いるシステムは、複数の機械学習モデルの出力の多数決をとってシステムとしての出力を決定するものに限られない。例えば、複数の機械学習モデルを用いるシステムが、複数の機械学習モデルの出力に対して重み付けを行ったうえで多数決をとってシステムとしての出力を決定するようにしてもよい。
　また、複数の機械学習モデルを用いるシステムが、複数の機械学習モデルの出力を用いてシステムとしての出力を決定することに加えて、あるいは、変えて、複数の機械学習モデルの出力の分散または信頼度など、複数の機械学習モデルの出力に関する指標値を算出するようにしてもよい。
　以下でも、適用可能な機械学習の手法は、誤差逆伝播法に限られない。
　なお、上記の説明と同様、以下でも、アンサンブル内の各ニューラルネットワークの構造は同一とし、各ニューラルネットワークの共有パラメータの位置も、ニューラルネットワークの構造における位置について同一とする。
＜第１実施形態＞
　第１実施形態のアンサンブル学習に基づくロバスト化訓練（ＥＲＴ）では、アンサンブル内のニューラルネットワーク（ＮＮ）の共有パラメータの位置をランダムに決定し、後述する式（７）の最適化問題を解くことにより、ニューラルネットワークのパラメータの学習を行う。
　まず、アンサンブル内のニューラルネットワークの個数をＫとすると、ニューラルネットワークのパラメータを要素にもつベクトルである共有ベクトルおよび非共有ベクトルは、式（１）のように表記することができる。
Figure JPOXMLDOC01-appb-M000001
　θは、アンサンブル内のニューラルネットワーク１つ分のパラメータを示すベクトルである。上記のように、アンサンブル内のニューラルネットワークは同じ構造を有し、したがって、同じ個数のパラメータを有するものとする。｜θ｜は、アンサンブル内のニューラルネットワーク１つ分のパラメータの個数を表す。
　Ｒ｜θ｜は、｜θ｜個の実数を要素にもつ｜θ｜次元（｜θ｜サイズ）のベクトルの集合を表す。ニューラルネットワークのパラメータベクトルは、Ｒ｜θ｜の要素である。θｓは、ニューラルネットワーク間で共有されるパラメータを保持する共有パラメータベクトルである。ｓはsharedを表す。θj ns（１≦ｊ≦Ｋ）は、ニューラルネットワーク間で共有されない、ｊ番目のニューラルネットワークのパラメータを保持する非共有パラメータベクトルである。ｎｓはnon-sharedを表す。以下、アンサンブル内のｊ番目のニューラルネットワークを、単にｊ番目のニューラルネットワークとも称する。この場合、１≦ｊ≦Ｋである。
　式（１）に示すように、共有パラメータベクトルおよび非共有パラメータベクトルの何れも、アンサンブル内のニューラルネットワーク１つ分のパラメータの個数の実数を要素に持つベクトルとすることができる。
　学習結果を用いた運用時には、共有パラメータベクトルおよび非共有パラメータベクトルの何れでも、マスクで示される一部の要素のみがアクセス（書込および読み出し）される。アクセスされない要素には、メモリ等の記憶容量を割り当てる必要がない。したがって、学習済みのニューラルネットワークを用いて構成され、運用時に用いられる判定装置では、パラメータの共有化によって、パラメータ値の記憶に必要な記憶容量を削減することができる。
　共有パラメータベクトルの共有位置を表すための共有マスクベクトルＭは、式（２）のように表すことができる。
Figure JPOXMLDOC01-appb-M000002
　共有マスクベクトルＭは、｜θ｜次元の二値ベクトルであり、各要素の値は、０又は１である。要素の値１が共有位置を表す。共有位置は、共有パラメータベクトルにおける、共有パラメータに対応付けられる要素の位置である。共有パラメータベクトルの要素と、アンサンブル内のニューラルネットワーク１つ分のパラメータとは一対一に対応付けられる。したがって、共有マスクベクトルＭは、ニューラルネットワークの構造における共有パラメータの位置を示す、ともいえる。
　共有マスクベクトルＭは、マスク情報の例に該当する。
　非共有パラメータベクトルの非共有位置を表すための非共有マスクベクトル＾Ｍは、式（３）のように表すことができる。
Figure JPOXMLDOC01-appb-M000003
　非共有マスクベクトル＾Ｍも、｜θ｜次元の二値ベクトルであり、各要素の値は、０又は１である。要素の値１が非共有位置を表す。非共有位置は、非共有パラメータベクトルにおける、非共有パラメータに対応付けられる要素の位置である。非共有パラメータベクトルの要素と、アンサンブル内のニューラルネットワーク１つ分のパラメータとは一対一に対応付けられる。したがって、非共有マスクベクトル＾Ｍは、ニューラルネットワークの構造における非共有パラメータの位置を示す、ともいえる。
　非共有マスクベクトル＾Ｍは、共有マスクベクトルＭの０と１を反転させたものである。
　共有パラメータベクトルからの共有パラメータの取り出しは、式（４）のように表すことができる。
Figure JPOXMLDOC01-appb-M000004
　式においては、白丸（○）はアダマール積を表し、ベクトルの要素ごとの積を計算する。すなわち、ｚ＝ｘ○ｙとすると、ｚｉ＝ｘｉ×ｙｉ（１≦ｉ≦｜θ｜）である。
　式（４）の演算結果のベクトル「θｓ○Ｍ」では、共有位置の要素は共有パラメータの値を示し、非共有位置の要素の値は０である。
　ｊ番目のニューラルネットワークの非共有パラメータベクトルからの非共有ベクトルの取り出しは、式（５）のように表すことができる。
Figure JPOXMLDOC01-appb-M000005
　上記のように、○はアダマール積を表す。
　式（５）の演算結果のベクトル「θｓ○Ｍ」では、非共有位置の要素は非共有パラメータの値を示し、共有位置の要素の値は０である。
　ｊ番目のニューラルネットワークのパラメータベクトルθｊは、式（６）のように表すことができる。
Figure JPOXMLDOC01-appb-M000006
　パラメータベクトルθｊは、ｊ番目のニューラルネットワークのパラメータの値を示すベクトルである。パラメータベクトルθｊは、共有マスクベクトルＭで表される共有位置には、共有ベクトルθｓの要素をもち、非共有マスクベクトル＾Mで表される非共有位置には、ｊ番目のニューラルネットワークの非共有パラメータベクトルθj nsの要素をもつ。
　次に、式（７）の最適化問題について説明する。
Figure JPOXMLDOC01-appb-M000007
　式（７）において、「ｘｓ」は、画像データなどのニューラルネットワークへの入力データであり、「ｙｓ」は、ｘｓの正しいクラスラベル（クラス値）である。同様に、「ｘｔ」は、ニューラルネットワークへの入力データであり、「ｙｔ」は、ｘｔの正しいクラスラベルである。ここで、「ｘｓ」と「ｘｔ」は、異なるクラスに属する入力データとする。つまりｙｓ≠ｙｔである。「Δｆθｊ（ｘｓ，ｘｔ，ｌ）」は、敵対的摂動（ノイズ）を表し、次の式（８）で計算される。
Figure JPOXMLDOC01-appb-M000008
　式（８）において、「ｌ」は、ニューラルネットワークの選択された１つの層を表す。
　「δ」は、敵対的摂動（ノイズ）を表す。「｜δ｜∞≦ε」は、δの∞ノルムでの大きさが、与えられたε以下であることを表す。「ｘｓ＋δ」は、ｘｓに敵対的摂動δを付与した入力データを表す。
　「ｆｌ θｊ（ｘｓ＋δ）」は、パラメータベクトルθｊを用いた際のｊ番目のニューラルネットワークにおいて、ｘｓ＋δを入力したときの、第ｌ層の出力（ベクトル）を表す。
　「ｆｌ θｊ（ｘｔ）」は、パラメータベクトルθｊを用いた際のｊ番目のニューラルネットワークにおいて、ｘｔを入力したときの、第ｌ層の出力（ベクトル）を表す。
　「｜・｜」２ ２」は、２ノルムを表し、「｜ｆｌ θｊ（ｘｓ＋δ）－ｆｌ θｊ（ｘｔ）｜２ ２」は、これらの出力の間の距離を表す。
　「ａｒｇｍｉｎδ ｄ（δ）」は、ｄ（δ）を最小とするようなδを求めることを表す。
　したがって、式（８）の「Δｆθｊ（ｘｓ，ｘｔ，ｌ）」は、ｊ番目のニューラルネットワークの第ｌ層の出力に関して、大きさε以下のノイズδのうち、ｘｓに当該ノイズδを付与すると、ｘｔと出力が最も近くなるようなノイズδを表す。つまり、このノイズδは、ｊ番目のニューラルネットワークの第ｌ層の出力に関して、ｘｓをｘｔに誤判断させる最小のノイズである。
　式（７）に戻って、「ｘｓ＋Δｆθｊ（ｘｓ，ｘｔ，ｌ）」は、式（８）で求めた敵対的摂動Δｆθｊ（ｘｓ，ｘｔ，ｌ）をｘｓに付与した入力データを表す。
　「ＣＥｆθｉ（ｘ，ｙ）」は、クロスエントロピー（Cross Entropy）損失関数であり、入力データｘとクラスラベルｙが与えられたとき、パラメータベクトルθｉを用いた際のｉ番目のニューラルネットワークが、ｘをｙと正しく分類できているほど小さい値を出力する関数である。したがって、「ＣＥｆθｉ（ｘｓ＋Δｆθｊ（ｘｓ，ｘｔ，ｌ），ｙｓ）」は、ｘｓに、パラメータベクトルθｊを用いた際のｊ番目のニューラルネットワークの第ｌ層が誤判断するような敵対的摂動を付与しても、パラメータベクトルθｉを用いた際のｉ番目のニューラルネットワークが、ｙｓと正しく判断する場合に、比較的小さい値を出力する関数である。
　「Σｊ≠ｉＣＥｆθｉ（・，・）」は、ｊ番目のニューラルネットワークと異なる全てのニューラルネットワークでクロスエントロピーを求め総和を取ることを表す。
　「Ｅ（ｘｓ，ｙｓ），（ｘｔ，ｙｔ），ｌΣｊ≠ｉＣＥｆθｉ（・，・）」は、（ｘｓ，ｙｓ），（ｘｔ，ｙｔ），ｌに対して、クロスエントロピーの総和の期待値をとることを表す。
　「ａｒｇｍｉｎ_{θｓ，θ1 ns，…，θK ns}Ｅ（ｘｓ，ｙｓ），（ｘｔ，ｙｔ），ｌΣｊ≠ｉＣＥｆθｉ（・，・）」は、前述のクロスエントロピーの総和の期待値を最小にするような、各ニューラルネットワークのパラメータベクトルθｓ，θ1 ns，…，θK nsを求めることを表す。
　図３は、第１実施形態に係る学習装置１００の機能構成の例を示す概略ブロック図である。学習装置１００は、制御部１１０、記憶部１３０を備える。制御部１１０は、マスク初期化部１１１、パラメータ初期化部１１２、訓練データ取得部１１３、学習部１１４を備える。学習部１１４は、ミニバッチサンプリング部１１５、層選択部１１６、パラメータ決定部１１７、損失関数計算部１１８、パラメータ更新部１１９を備える。記憶部１３０は、訓練データ記憶部１３１を備える。なお、学習装置１００はこれら以外のものを備えてもよく、また、記憶部１３０は学習装置１００の外部に備えられてもよい。
　第１実施形態のアンサンブル学習に基づくロバスト化訓練（ＥＲＴ）では、アンサンブル内のニューラルネットワーク（ＮＮ）の共有パラメータの位置をランダムに決定し、ニューラルネットワークのパラメータの学習を行う。アンサンブル内のニューラルネットワークの個数をＫとする。
　マスク初期化部１１１は、共有マスクベクトルＭと非共有マスクベクトル＾Ｍとを初期化する。マスク初期化部１１１は、マスク初期化手段の例に該当する。マスク初期化部１１１が行う共有マスクベクトルＭと非共有マスクベクトル＾Ｍとの初期化は、ニューラルネットワークの一つ分のパラメータのうち共有パラメータをランダムに選択する処理と捉えることができる。
　上述したように、共有マスクベクトルＭおよび非共有マスクベクトル＾Ｍは、式（９）のように表すことができる。
Figure JPOXMLDOC01-appb-M000009
　具体的には、マスク初期化部１１１は、割合をｐとして、ｐ×｜θ｜の要素が１となるように、共有マスクベクトルＭをランダムに初期化する。また、マスク初期化部１１１は、マスクベクトルＭの各要素の０と１を反転したものを、非共有マスクベクトル＾Ｍとして初期化する。ｐは、アンサンブル内のニューラルネットワークの共有パラメータの割合を示す。ｐの値は、使用可能な記憶容量に応じて予め定められていてもよい。
　あるいは、共有マスクベクトルＭの初期値が予め定められ、マスク初期化部１１１が、共有マスクベクトルＭの初期値を予め記憶しておいてもよい。
　パラメータ初期化部１１２は、共有パラメータベクトルθｓと、非共有パラメータベクトルθ1 ns，…，θK nsの各々とを初期化する。上述したように、共有パラメータおよび非共有パラメータは、式（１０）のように表すことができる。
Figure JPOXMLDOC01-appb-M000010
　例えば、パラメータ初期化部１１２は、これらのパラメータベクトルの各要素に乱数を割り振って、パラメータ値をランダムに初期化する。あるいは、各パラメータの初期値が予め定められ、パラメータ初期化部１１２が、パラメータの初期値をパラメータベクトルの各要素の初期値として予め記憶しておいてもよい。
　訓練データ記憶部１３１は、ニューラルネットワークの学習に用いる訓練データ（の集合）Ｘｔｒを記憶している。
　訓練データＸｔｒは、式（１１）のように表すことができる。
Figure JPOXMLDOC01-appb-M000011
　「ｘｓ」は、画像データなどのニューラルネットワークへの入力データであり、「ｙｓ」は、ｘｓの正しいクラスラベル（クラス値）である。同様に、「ｘｔ」は、ニューラルネットワークへの入力データであり、「ｙｔ」は、ｘｔの正しいクラスラベルである。ここで、「ｘｓ」と「ｘｔ」は、異なるクラスに属する入力データとする。つまりｙｓ≠ｙｔである。
　訓練データ取得部１１３は、訓練データ記憶部１３１に記憶されている訓練データＸｔｒを取得する。
　学習部１１４は、訓練データＸｔｒを用いて、アンサンブル内のニューラルネットワークのパラメータベクトルを、繰り返し誤差逆伝播法により更新して学習を行う。
　ミニバッチサンプリング部１１５は、訓練データＸｔｒから、１回の学習に用いるミニバッチＢをサンプリングする。具体的には、ミニバッチサンプリング部１１５は、訓練データＸｔｒから、部分集合をランダムにサンプリングしてミニバッチＢとする。
　層選択部１１６は、敵対的摂動Δｆθｊ（ｘｓ，ｘｔ，ｌ）の生成に使用するニューラルネットワークの１つの層ｌを選択する。
　パラメータ決定部１１７は、各ニューラルネットワークに対して、パラメータベクトルを決定する。パラメータ決定部１１７は、パラメータ決定手段の例に該当する。
　上述したように、ｊ番目のニューラルネットワークのパラメータベクトルθｊは、式（１２）のように表すことができる。
Figure JPOXMLDOC01-appb-M000012
　具体的には、パラメータ決定部１１７は、共有マスクベクトルＭと、非共有マスクベクトル＾Ｍと、共有パラメータベクトルθｓと、非共有パラメータベクトルθj ns（１≦ｊ≦Ｋ）とを用いて、各ニューラルネットワークのパラメータベクトルθｊ（１≦ｊ≦Ｋ）を決定（計算）する。θｓ及びθj ns（１≦ｊ≦Ｋ）は、初期化又は更新されたものである。
　パラメータ決定部１１７がパラメータベクトルθｊを決定する処理は、ｊ番目のニューラルネットワークを構成する処理と捉えることができる。
　具体的には、同じ構造を有するＫ個のニューラルネットワークに共用としてモデルテンプレートを設けておく。モデルテンプレートは、ニューラルネットワークのパラメータがパラメータベクトルで示されるテンプレートであり、パラメータベクトルに値を入力することでニューラルネットワークが構成される。パラメータ決定部１１７が決定するパラメータベクトルθｊをモデルテンプレートに適用することで、ｊ番目のニューラルネットワークが構成される。
　損失関数計算部１１８は、ミニバッチＢ＝｛（ｘｓ，ｙｓ，ｘｔ，ｙｔ）｝の訓練データを、各ｊ番目のニューラルネットワーク（１≦ｊ≦Ｋ）に入力して情報を伝播させ、式（１３）の損失関数Ｌｏｓｓを計算する。
Figure JPOXMLDOC01-appb-M000013
　式（１３）において、「Δｆθｊ（ｘｓ，ｘｔ，ｌ）」は、式（８）で示す敵対的摂動である。「ｌ」は、層選択部１１６が選択した層ｌである。この敵対的摂動は、は、ｊ番目のニューラルネットワークの第ｌ層の出力に関して、ｘｓをｘｔに誤判断させる最小のノイズである。
　「ｘｓ＋Δｆθｊ（ｘｓ，ｘｔ，ｌ）」は、敵対的摂動Δｆθｊ（ｘｓ，ｘｔ，ｌ）をｘｓに付与した入力データを表す。
　「ＣＥｆθｉ（ｘ，ｙ）」は、クロスエントロピー損失関数であり、入力データｘとクラスラベルｙが与えられたとき、パラメータベクトルθｉを用いた際のｉ番目のニューラルネットワークが、ｘをｙと正しく分類できているほど小さい値を出力する関数である。したがって、「ＣＥｆθｉ（ｘｓ＋Δｆθｊ（ｘｓ，ｘｔ，ｌ），ｙｓ）」は、ｘｓに、パラメータベクトルθｊを用いた際のｊ番目のニューラルネットワークの第ｌ層が誤判断するような敵対的摂動を付与しても、パラメータベクトルθｉを用いた際のｉ番目のニューラルネットワークが、ｙｓと正しく判断するほど小さい値を出力する関数である。
　「Σｊ≠ｉＣＥｆθｉ（ｘｓ＋Δｆθｊ（ｘｓ，ｘｔ，ｌ），ｙｓ）」は、ｊ番目のニューラルネットワークと異なる全てのニューラルネットワークでクロスエントロピーを求め総和を取ることを表す。
　「１／｜Ｂ｜×Σ（ｘｓ，ｙｓ，ｘｔ，ｙｔ）∈ＢΣｊ≠ｉＣＥｆθｉ（ｘｓ＋Δｆθｊ（ｘｓ，ｘｔ，ｌ），ｙｓ）」は、ミニバッチＢ内の全ての要素（ｘｓ，ｙｓ，ｘｔ，ｙｔ）に対して、クロスエントロピーの総和の期待値（平均値）をとることを表す。
　損失関数計算部１１８は、損失関数計算手段の例に該当する。
　パラメータ更新部１１９は、誤差逆伝播法により誤差情報を逆伝播させてパラメータの更新を行う。パラメータ更新部１１９は、パラメータ更新手段の例に該当する。
　具体的には、パラメータ更新部１１９は、式（１４）に示される損失関数Ｌｏｓｓの偏微分を計算し、θｓを更新する。
Figure JPOXMLDOC01-appb-M000014
　式（１４）は、θｓの要素(θｓ)i（１≦ｉ≦｜θ｜）に対して、∂Ｌｏｓｓ／∂(θｓ)iを計算するという意味である。パラメータ更新部１１９は、例えば、所定の学習係数α（＞０）に対して、(θｓ)iを、(θｓ)i－α×∂Ｌｏｓｓ／∂(θｓ)iに更新する。
　また、パラメータ更新部１１９は、式（１５）に示される損失関数Ｌｏｓｓの偏微分を計算し、θj nsを更新する（ｊ＝１，…，Ｋ）。
Figure JPOXMLDOC01-appb-M000015
　式（１５）は、θj nsの要素(θj ns)i（１≦ｉ≦｜θ｜）に対して、∂Ｌｏｓｓ／∂(θj ns)iを計算するという意味である。パラメータ更新部１１９は、例えば、所定の学習係数α（＞０）に対して、(θj ns)iを、(θj ns)i－α×∂Ｌｏｓｓ／∂(θj ns)iに更新する。
　学習部１１４は、例えば、所定回の学習を終えたら、パラメータベクトルθｓ，θ1 ns，…，θK nsを学習結果として出力する。
　次に、図４及び図５を参照して、学習装置１００の動作について説明する。図４は、第１実施形態に係る学習装置１００の処理手順の例を示すフローチャートである。図５は、学習装置１００の損失関数計算の処理手順の例を示すフローチャートである。
　まず、マスク初期化部１１１は、共有マスクベクトルＭと非共有マスクベクトル＾Ｍとを初期化する（ステップＳ１０１）。マスク初期化部１１１は、例えば、共有マスクベクトルＭをランダムに初期化し、マスクベクトルＭの各要素の０と１を反転したものを、非共有マスクベクトル＾Ｍとして初期化する。
　次に、パラメータ初期化部１１２は、共有パラメータベクトルθｓと、非共有パラメータベクトルθ1 ns，…，θK nsを初期化する（ステップＳ１０２）。パラメータ初期化部１１２は、例えば、これらのパラメータベクトルの各要素に乱数を割り振る。
　次に、訓練データ取得部１１３は、訓練データ記憶部１３１に記憶されている訓練データＸｔｒ＝｛（ｘｓ，ｙｓ，ｘｔ，ｙｔ）ｉ｝（１≦ｉ≦Ｋ）を取得する（ステップＳ１０３）。
　次に、ミニバッチサンプリング部１１５は、訓練データＸｔｒから、１回の学習に用いるミニバッチＢ＝｛（ｘｓ，ｙｓ，ｘｔ，ｙｔ）をサンプリングする（ステップＳ１０４）。
　次に、層選択部１１６は、敵対的摂動Δｆθｊ（ｘｓ，ｘｔ，ｌ）の生成に使用するニューラルネットワークの１つの層ｌを選択する（ステップＳ１０５）。
　次に、パラメータ決定部１１７は、共有マスクベクトルＭと、非共有マスクベクトル＾Ｍと、共有パラメータベクトルθｓと、非共有パラメータベクトルθj ns（１≦ｊ≦Ｋ）とを用いて、各ニューラルネットワークのパラメータベクトルθｊ＝θｓ○Ｍ＋θj ns○＾Ｍ（１≦ｊ≦Ｋ）を決定（計算）する（ステップＳ１０６）。ここで、○はアダマール積を表す。θｓ及びθj ns（１≦ｊ≦Ｋ）は、初期化又は更新されたものである。
　損失関数計算部１１８は、ミニバッチＢ＝｛（ｘｓ，ｙｓ，ｘｔ，ｙｔ）｝を、各ｊ番目のニューラルネットワーク（１≦ｊ≦Ｋ）で情報を伝播させ、式（１３）の損失関数Ｌｏｓｓを計算する（ステップＳ１０７）。
　図５に移る。次に、損失関数計算部１１８は、ミニバッチＢから要素（ｘｓ，ｙｓ，ｘｔ，ｙｔ）を１つ選択する（ステップＳ２０１）。
　次に、損失関数計算部１１８は、ｊ番目のニューラルネットワークにおいて、敵対的摂動Δｆθｊ（ｘｓ，ｘｔ，ｌ）を計算する（ステップＳ２０２）。
　次に、損失関数計算部１１８は、ｊ番目のニューラルネットワークと異なるｉ番目のニューラルネットワークにおいて、ｘｓに敵対的摂動Δｆθｊ（ｘｓ，ｘｔ，ｌ）を付与した際のクロスエントロピーの和Σｊ≠ｉＣＥｆθｉ（ｘｓ＋Δｆθｊ（ｘｓ，ｘｔ，ｌ），ｙｓ）を計算する（ステップＳ２０３）。
　次に、損失関数計算部１１８は、ミニバッチＢの全ての要素に対して、クロスエントロピーの和を計算したか否か判定する（ステップＳ２０４）。全ての要素に対して計算していない場合は、損失関数計算部１１８は、処理をステップＳ２０１に戻す。一方、全ての要素に対して計算をした場合は、損失関数計算部１１８は、処理をステップＳ２０５へ移す。
　次に、損失関数計算部１１８は、損失関数Ｌｏｓｓ＝（１／｜Ｂ｜）×Σ（ｘｓ，ｙｓ，ｘｔ，ｙｔ）∈ＢΣｊ≠ｉＣＥｆθｉ（ｘｓ＋Δｆθｊ（ｘｓ，ｘｔ，ｌ），ｙｓ）を計算する（ステップＳ２０５）。
　図４に戻る。次に、パラメータ更新部１１９は、誤差情報を逆伝播させて、勾配法により、∂Ｌｏｓｓ／∂θｓを計算し、θｓを更新する（ステップＳ１０８）。
　また、パラメータ更新部１１９は、誤差情報を逆伝播させて、勾配法により、∂Ｌｏｓｓ／∂θj nsを計算し、θj nsを更新する（ｊ＝１，…，Ｋ）（ステップＳ１０９）。
　次に、学習部１１４は、学習を所定回行ったか否かを判定する（ステップＳ１１０）。学習を所定回行っていない場合は、学習部１１４は、処理をステップＳ１０４へ戻す。一方、学習を所定回行った場合は、学習部１１４は、処理をステップＳ１１１へ移す。
　次に、学習部１１４（制御部１１０）は、ニューラルネットワークのパラメータベクトルθｓ，θ1 ns，…，θK nsを出力する（ステップＳ１１１）。
　以上で、図４及び図５の第１実施形態に係る学習装置１００の処理手順は終了である。
　なお、ステップＳ１１０において、学習の終了条件は、学習を所定回数行ったこととしたが、これに限られない。例えば、損失関数の減少幅が所定の閾値より小さいことを学習の終了条件としてもよい。
　以上説明したように、マスク初期化部１１１が、共有及び非共有マスクベクトルを初期化し、パラメータ初期化部１１２が、パラメータベクトルを初期化し、訓練データ取得部１１３が、訓練データを取得する。ミニバッチサンプリング部１１５が、ミニバッチをサンプリングし、層選択部１１６が、層を選択し、パラメータ決定部１１７が、共有及び非共有マスクベクトルを用いてパラメータベクトルを決定し、損失関数計算部１１８が、損失関数を計算する。パラメータ更新部１１９が、パラメータの更新を行い、学習部１１４は、所定回の学習を終えたらパラメータベクトルを出力する。
　これにより、学習装置１００は、アンサンブル学習に基づくロバスト化訓練（ＥＲＴ）において、アンサンブル内のニューラルネットワークのパラメータの個数を抑制することができる。したがって、学習装置１００は、メモリ等の記憶容量の抑制することができるため、アンサンブル内のニューラルネットワークの個数を増加させることができる。したがって、学習装置１００は、アンサンブル学習に基づくロバスト化訓練において、ロバスト性を向上させることができる。
　また、マスク初期化部１１１は、ニューラルネットワークのパラメータについて、複数のニューラルネットワークに共用として設けられる共有パラメータと、ニューラルネットワークごとに設けられる非共有パラメータとの区別を示す共有マスクベクトルを決定する。損失関数計算部１１８は、共有パラメータ、非共有パラメータ、および、共有マスクベクトルにて示されるパラメータ値を適用した複数のニューラルネットワークに基づく損失関数の、訓練データに対する値を計算する。パラメータ更新部１１９は、損失関数の値を用いて共有パラメータの値と非共有パラメータの値とを更新する。
　学習装置１００によれば、複数のニューラルネットワークの一部を共用化することができる。したがって、学習装置１００によれば、学習済みの複数のニューラルネットワークを用いる判定装置が記憶すべきパラメータ値の個数を比較的少なくすることができる。
　また、パラメータ決定部１１７は、ニューラルネットワークの一つ分のパラメータがベクトルに構成されたパラメータベクトルを含み、複数のニューラルネットワークに共用として設けられるモデルテンプレートの、パラメータベクトルの要素のうち、共有マスクベクトルによって共有パラメータとされる要素には、共有パラメータベクトルから共有パラメータの値を設定し、パラメータベクトルの要素のうち、共有マスクベクトルによって非共有パラメータとされる要素には、非共有パラメータベクトルから非共有パラメータの値を設定することで、複数のニューラルネットワークのうち１つのニューラルネットワークを構成する。
　学習装置１００によれば、共有パラメータの値および非共有パラメータの値が何れもベクトルで示される点で、パラメータ値の計算を行列計算で行うことができ、比較的高速に計算を行うことができる。
　また、マスク初期化部１１１は、ニューラルネットワークの一つ分のパラメータのうち共有パラメータをランダムに選択するように、共有マスクベクトルを決定する。
　これにより、学習装置１００では、ニューラルネットワークの一つ分のパラメータのうち共有パラメータを、ランダムに選択するという簡単な処理で選択することができる。所望の学習結果を得られない場合、マスク初期化部１１１による共有パラメータの選択を含め、学習をやり直すようにしてもよい。
　また、損失関数は、１つのニューラルネットワークを誤判断させる敵対的摂動を付与された入力データに対して、その他のニューラルネットワークが誤判断しない場合に、比較的小さい値を出力する関数である。
　学習装置１００が、この損失関数を用いてニューラルネットワークのアンサンブル学習を行うことで、敵対的摂動にロバストな判定装置を得られることが期待される。具体的には、アンサンブル学習で得られるニューラルネットワークのうち１つが、敵対的摂動を付与された入力データに対して御判断（誤ったクラス識別）を行う場合でも、他のニューラルネットワークが、その入力データに対して正しい判断（正しいクラス識別）を行うことが期待される。
＜第２実施形態＞
　第２実施形態のアンサンブル学習に基づくロバスト化訓練（ＥＲＴ）では、アンサンブル内のニューラルネットワーク（ＮＮ）の共有パラメータの位置も学習により決定する。すなわち、第２実施形態のＥＲＴでは、下記の式（２３）の最適化問題を解くことにより、ニューラルネットワークのパラメータ及び共有パラメータの位置の学習を行う。第２実施形態では、共有パラメータの位置も学習により決定するため、共有パラメータの位置が学習中に変更される。例えば図２で、◎で示した共有パラメータの位置が学習中に変更される。それ以外の点では、第２実施形態は第１実施形態の場合と同様である。
　第２実施形態における共有パラメータ及び非共有パラメータは、第１実施形態の場合と同様である。第１実施形態の場合と同様、アンサンブル内のニューラルネットワークの個数をＫとすると、共有ベクトルおよび非共有ベクトルは、式（１６）のように表記することができる。
Figure JPOXMLDOC01-appb-M000016
　第２実施形態における共有マスクベクトルＭも、第１実施形態の場合と同様である。
　一方、第２実施形態では、共有マスクベクトルＭに対応する実数ベクトルを設ける。この実数ベクトルを、共有マスクベクトルＭの代替ベクトル、または、単に代替ベクトルとも称し、Ｓで表記する。Ｓは変数（変数ベクトル）であり、代替変数とも称する。
　共有マスクベクトルＭ、及び、代替ベクトルＳは、式（１７）のように表すことができる。
Figure JPOXMLDOC01-appb-M000017
　Ｍは、｜θ｜次元のベクトルで要素が０又は１であり、１が共有位置を表す。
　共有マスクベクトルＭは、要素が離散値であるため、誤差逆伝播法など微分を用いる学習方法で直接最適化することが難しい。このため、要素が連続値をとるＭの代替変数（代替ベクトル）Ｓを用いて最適化を行う。Ｓは、｜θ｜次元のベクトルで要素が０以上１以下の実数値である。Ｓを最適化した後、要素の値の大きい上位ｍ個（０≦ｍ≦｜θ｜）の位置の要素の値を１としそれ以外を０として、共有マスクベクトルＭを決定する。ここでｐは、共有パラメータの割合である。ｐは、式（１８）のように表すことができる。
Figure JPOXMLDOC01-appb-M000018
　ｍは、予め定められた正の整数とすることができる。
　第２実施形態における非共有マスクベクトル＾Ｍも、第１実施形態の場合と同様である。
　非共有マスクベクトル＾Ｍに対応する実数ベクトルは、１－Ｓで算出することができる。この実数ベクトルを、非共有マスクベクトル＾Ｍの代替ベクトル、または、単に代替ベクトルとも称し、１－Ｓまたは＾Ｓで表記する。また、Ｓを代替変数と称することに対応して、１－Ｓまたは＾Ｓも代替変数とも称する。＾Ｓに相当する変数を設け、１－Ｓを代入するようにしてもよい。
　非共有マスクベクトル＾Ｍ、及び、代替ベクトル＾Ｓは、式（１９）のように表すことができる。
Figure JPOXMLDOC01-appb-M000019
　＾Ｍも、｜θ｜次元のベクトルで要素の値が０又は１であり、１が非共有位置を表す。＾Ｍは、Ｍの０と１を反転させたものである。
　非共有マスクベクトル＾Ｍに対応する代替変数＾Ｓも、｜θ｜次元のベクトルで要素が０以上１以下の実数値である。＾Ｓの各要素の値は、１からＳの対応する位置の要素の値を引いた値である。
　学習時に、代替ベクトルＳから共有パラメータベクトルＭを算出するようにしてもよい。この場合、共有パラメータベクトルθｓからの共有パラメータの取り出しは、第１実施形態の場合と同様、共有マスクベクトルＭを用いて行うことができ、上記の式（４）のように表すことができる。このように、共有マスクベクトルＭを用いて共有パラメータベクトルθｓからの共有パラメータを取り出す場合については、第３実施形態で説明する。
　一方、第２実施形態では、代替ベクトルＳの要素を、共有パラメータに乗算する係数として用いる。代替ベクトルＳの要素の、共有パラメータへの乗算は、式（２０）のように表すことができる。
Figure JPOXMLDOC01-appb-M000020
　上述したように、○はアダマール積を表し、ベクトルの要素ごとの積を計算する。
　学習時に、代替ベクトルＳから共有パラメータベクトルＭを算出する場合、ｊ番目のニューラルネットワークの非共有パラメータベクトルθj nsから非共有パラメータの取り出しは、第１実施形態の場合と同様、非共有マスクベクトル＾Ｍを用いて行うことができ、上記の式（５）のように表すことができる。ｊ番目のニューラルネットワークのパラメータベクトルθｊの算出も、第１実施形態の場合と同様に行うことができ、式（６）のように表すことができる。後述する第３実施形態では、これらの処理方法を用いることができる。
　一方、第２実施形態では、非代替ベクトル１－Ｓの要素を、非共有パラメータに乗算する係数として用いる。非代替ベクトル１－Ｓの要素の、ｊ番目のニューラルネットワークの非共有パラメータへの乗算は、式（２１）のように表すことができる。
Figure JPOXMLDOC01-appb-M000021
　上述したように、○はアダマール積を表す。
　第２実施形態では、代替ベクトルＳの要素を共有パラメータに乗算した値と、非代替ベクトル１－Ｓの要素を非共有に乗算した値の足し合わせにて、パラメータベクトルを算出する。ｊ番目のニューラルネットワークのパラメータベクトルθｊは、式（２２）のように表すことができる。
Figure JPOXMLDOC01-appb-M000022
　次に、式（２３）の最適化問題について説明する。
Figure JPOXMLDOC01-appb-M000023
　式（２３）において、「ｘｓ」は、画像データなどのニューラルネットワークへの入力データであり、「ｙｓ」は、ｘｓの正しいクラスラベル（クラス値）である。同様に、「ｘｔ」は、ニューラルネットワークへの入力データであり、「ｙｔ」は、ｘｔの正しいクラスラベルである。ここで、「ｘｓ」と「ｘｔ」は、異なるクラスに属する入力データとする。つまりｙｓ≠ｙｔである。
　「Δｆθｊ（ｘｓ，ｘｔ，ｌ）」は、敵対的摂動（ノイズ）を表し、第１実施形態の式（８）で計算されるものと同様である。つまり、「Δｆθｊ（ｘｓ，ｘｔ，ｌ）」は、ｊ番目のニューラルネットワークの第ｌ層の出力に関して、ｘｓをｘｔに誤判断させる最小のノイズである。
　「ｘｓ＋Δｆθｊ（ｘｓ，ｘｔ，ｌ）」は、式（８）で求めた敵対的摂動Δｆθｊ（ｘｓ，ｘｔ，ｌ）をｘｓに付与した入力データを表す。
　「ＣＥｆθｉ（ｘ，ｙ）」は、クロスエントロピー（Cross Entropy）損失関数であり、入力データｘとクラスラベルｙが与えられたとき、パラメータベクトルθｉを用いた際のｉ番目のニューラルネットワークが、ｘをｙと正しく分類てきているほど小さい値を出力する関数である。したがって、「ＣＥｆθｉ（ｘｓ＋Δｆθｊ（ｘｓ，ｘｔ，ｌ），ｙｓ）」は、ｘｓに、パラメータベクトルθｊを用いた際のｊ番目のニューラルネットワークの第ｌ層が誤判断するような敵対的摂動を付与しても、パラメータベクトルθｉを用いた際のｉ番目のニューラルネットワークが、ｙｓと正しく判断するほど小さい値を出力する関数である。
　「Σｊ≠ｉＣＥｆθｉ（・，・）」は、ｊ番目のニューラルネットワークと異なる全てのニューラルネットワークでクロスエントロピーを求め総和を取ることを表す。
　「Ｅ（ｘｓ，ｙｓ），（ｘｔ，ｙｔ），ｌΣｊ≠ｉＣＥｆθｉ（・，・）」は、（ｘｓ，ｙｓ），（ｘｔ，ｙｔ），ｌに対して、クロスエントロピーの総和の期待値をとることを表す。
　「ａｒｇｍｉｎ_{Ｍ（ｏｒ Ｓ），θｓ，θ1 ns，…，θK ns}Ｅ（ｘｓ，ｙｓ），（ｘｔ，ｙｔ），ｌΣｊ≠ｉＣＥｆθｉ（・，・）」は、前述のクロスエントロピーの総和の期待値を最小にするような、各ニューラルネットワークのパラメータベクトルθｓ，θ1 ns，…，θK nsと共有マスクベクトルＭを求めることを表す。
　なお、第２実施形態、及び、第３実施形態で、最適化で値を求める対象の１つとして、共有マスクベクトルＭではなく代替ベクトルＳを用いる。上記のように、共有マスクベクトルＭは離散値をとるため、最適化問題の解法として誤差逆伝播法など微分を用いる方法を適用することができない。そこで、共有マスクベクトルＭに代えて代替ベクトルＳを用いて最適化問題を構成し、得られる代替ベクトルＳから共有マスクベクトルＭを求める。
　第２実施形態では、学習終了時に得られた代替ベクトルＳから、上述したように式（１８）に示される割合ｐに従って、共有マスクベクトルＭを求める。
　一方、後述する第３実施形態では、誤差逆伝播法を用いてｊ番目（１≦ｊ≦Ｋ）のニューラルネットワークのパラメータベクトルθｊの値を更新する際に、代替ベクトルＳの値を更新する。そして、更新された代替ベクトルＳから、上述したように式（１８）に示される割合ｐに従って、共有マスクベクトルＭを求める。そして、得られた共有マスクベクトル（更新された共有マスクベクトル）を用いて、第１実施形態の場合と同様、共有パラメータベクトルθｓおよび非共有パラメータベクトルθj nsを更新する。
　図６は、第２実施形態に係る学習装置２００の機能構成の例を示す概略ブロック図である。学習装置２００は、制御部２１０、記憶部２３０を備える。制御部２１０は、マスク初期化部２１１、パラメータ初期化部２１２、訓練データ取得部２１３、学習部２１４、マスク決定部２２１を備える。学習部２１４は、ミニバッチサンプリング部２１５、層選択部２１６、パラメータ決定部２１７、損失関数計算部２１８、マスク更新部２１９、パラメータ更新部２２０を備える。記憶部２３０は、訓練データ記憶部２３１を備える。なお、学習装置２００はこれら以外のものを備えてもよく、また、記憶部２３０は学習装置２００の外部に備えられてもよい。
　第２実施形態のアンサンブル学習に基づくロバスト化訓練（ＥＲＴ）では、アンサンブル内のニューラルネットワーク（ＮＮ）の共有パラメータの位置を学習により決定し、ニューラルネットワークのパラメータの学習を行う。上記のように、アンサンブル内のニューラルネットワークの個数をＫとする。
　マスク初期化部２１１は、共有マスクベクトルＭに対応する代替変数（代替ベクトル）Ｓを初期化する。マスク初期化部２１１は、マスク初期化手段の例に該当する。
　上述したように、代替変数Ｓおよび＾Ｓは、式（２４）のように表すことができる。
Figure JPOXMLDOC01-appb-M000024
　具体的には、マスク初期化部２１１は、代替変数Ｓをランダムに初期化する。Ｓの要素は０以上１以下の実数値である。あるいは、代替変数Ｓの初期値が予め定められ、マスク初期化部２１１が、代替変数Ｓの初期値を予め記憶しておいてもよい。
　パラメータ初期化部２１２は、パラメータ初期化部１１２と同様である。パラメータ初期化部２１２は、共有パラメータベクトルθｓと、非共有パラメータベクトルθ1 ns，…，θK nsの各々とを初期化する。上述したように、共有パラメータおよび非共有パラメータは、式（２５）のように表すことができる。
Figure JPOXMLDOC01-appb-M000025
　例えば、パラメータ初期化部２１２は、これらのパラメータベクトルの各要素に乱数を割り振って、パラメータ値をランダムに初期化する。あるいは、各パラメータの初期値が予め定められ、パラメータ初期化部１１２が、パラメータの初期値をパラメータベクトルの各要素の初期値として予め記憶しておいてもよい。
　訓練データ記憶部２３１は、訓練データ記憶部１３１と同様である。訓練データ記憶部２３１は、ニューラルネットワークの学習に用いる訓練データ（の集合）Ｘｔｒを記憶している。
　上述したように、訓練データＸｔｒは、式（２６）のように表すことができる。
Figure JPOXMLDOC01-appb-M000026
　学習部２１４は、訓練データＸｔｒを用いて、アンサンブル内のニューラルネットワークのパラメータベクトル及び共有マスクベクトルの代替変数Ｓを、繰り返し誤差逆伝播法により更新して学習を行う。
　ミニバッチサンプリング部２１５は、ミニバッチサンプリング部１１５と同様である。ミニバッチサンプリング部２１５は、訓練データＸｔｒから、１回の学習に用いるミニバッチＢをサンプリングする。具体的には、ミニバッチサンプリング部２１５は、訓練データＸｔｒから、部分集合をランダムにサンプリングしてミニバッチＢとする。
　層選択部２１６は、層選択部１１６と同様である。層選択部２１６は、敵対的摂動Δｆθｊ（ｘｓ，ｘｔ，ｌ）の生成に使用するニューラルネットワークの１つの層ｌを選択する。
　パラメータ決定部２１７は、各ニューラルネットワークに対して、パラメータベクトルを決定する。パラメータ決定部２１７は、パラメータ決定手段の例に該当する。
　上述したように、ｊ番目のニューラルネットワークのパラメータベクトルθｊは、式（２７）のように表すことができる。
Figure JPOXMLDOC01-appb-M000027
　具体的には、パラメータ決定部１１７は、共有マスクベクトルに対応する代替変数Ｓと、非共有マスクベクトルに対応する代替変数＾Ｓ＝１－Ｓと、共有パラメータベクトルθｓと、非共有パラメータベクトルθj ns（１≦ｊ≦Ｋ）とを用いて、各ニューラルネットワークのパラメータベクトルθｊ（１≦ｊ≦Ｋ）を決定（計算）する。Ｓ，θｓ及びθj ns（１≦ｊ≦Ｋ）は、初期化又は更新されたものである。
　損失関数計算部２１８は、損失関数計算部１１８と同様である。損失関数計算部２１８は、損失関数計算手段の例に該当する。
　損失関数計算部２１８は、ミニバッチＢ＝｛（ｘｓ，ｙｓ，ｘｔ，ｙｔ）｝を、各ｊ番目のニューラルネットワーク（１≦ｊ≦Ｋ）で情報を伝播させ、式（２８）の損失関数Ｌｏｓｓを計算する。
Figure JPOXMLDOC01-appb-M000028
　式（２８）の損失関数Ｌｏｓｓは、式（１３）の損失関数Ｌｏｓｓと同様である。
　マスク更新部２１９は、誤差逆伝播法により誤差情報を逆伝播させて代替変数Ｓの更新を行う。マスク更新部２１９は、マスク更新手段の例に該当する。
　具体的には、マスク更新部２１９は、式（２９）に示される損失関数Ｌｏｓｓの偏微分を計算し、Ｓを更新する。
Figure JPOXMLDOC01-appb-M000029
　式（２９）は、Ｓの要素Ｓi（１≦ｉ≦｜θ｜）に対して、∂Ｌｏｓｓ／∂Ｓiを計算するという意味である。マスク更新部２１９は、例えば、所定のα（＞０）に対して、Ｓiを、Ｓi－α×∂Ｌｏｓｓ／∂Ｓiに更新する。
　また、マスク更新部２１９は、Ｓiが［０，１］の範囲内の値となるように調整を行う。例えば、算出されたＳｉの値がＳｉ＜０である場合、マスク更新部２１９は、更新後のＳｉの値を０とする。また、算出されたＳｉの値がＳｉ＞１である場合、マスク更新部２１９は、更新後のＳｉの値を１とする。
　パラメータ更新部２２０は、パラメータ更新部１１９と同様である。パラメータ更新部２２０は、パラメータ更新手段の例に該当する。
　パラメータ更新部２２０は、誤差逆伝播法により誤差情報を逆伝播させてパラメータの更新を行う。具体的には、パラメータ更新部２２０は、式（３０）に示される損失関数Ｌｏｓｓの偏微分を計算し、θｓを更新する。
Figure JPOXMLDOC01-appb-M000030
　式（３０）は、式（１４）と同様である。パラメータ更新部２２０は、例えば、所定の学習係数α（＞０）に対して、(θｓ)iを、(θｓ)i－α×∂Ｌｏｓｓ／∂(θｓ)iに更新する。
　また、パラメータ更新部２２０は、式（３１）に示される損失関数Ｌｏｓｓの偏微分を計算し、θj nsを更新する（ｊ＝１，…，Ｋ）。
Figure JPOXMLDOC01-appb-M000031
　式（３１）は、式（１５）と同様である。パラメータ更新部２２０は、例えば、所定の学習係数α（＞０）に対して、(θj ns)iを、(θj ns)i－α×∂Ｌｏｓｓ／∂(θj ns)iに更新する。
　学習部２１４は、所定回の学習を終えたら、パラメータベクトルθｓ，θ1 ns，…，θK nsと代替変数Ｓを学習結果として出力する。
　マスク決定部２２１は、マスクベクトルＭを決定する。具体的には、マスク決定部２２１は、学習部２１４から出力された代替変数Ｓに対して、値の大きい上位ｐ×｜θ｜＝ｍ個の位置を１とし、それ以外の位置を０となるように、マスクベクトルＭを決定する。ここでｐは、式（１８）に示される、共有パラメータの割合である。
　次に、図７を参照して、第２実施形態に係る学習装置２００の動作について説明する。図７は、第２実施形態に係る学習装置２００の処理手順の例を示すフローチャートである。第２実施形態の処理手順では、パラメータベクトルθｓ，θ1 ns，…，θK nsと代替変数Ｓの更新を、１回の学習ごとに同時に行う。
　まず、マスク初期化部２１１は、共有マスクベクトルＭに対応する代替変数（代替ベクトル）Ｓを初期化する。（ステップＳ３０１）。マスク初期化部２１１は、例えば、代替変数Ｓをランダムに初期化する。
　次に、パラメータ初期化部２１２は、共有パラメータベクトルθｓと、非共有パラメータベクトルθ1 ns，…，θK nsを初期化する（ステップＳ３０２）。パラメータ初期化部２１２は、例えば、これらのパラメータベクトルの各要素に乱数を割り振ってランダムに初期化する。
　次に、訓練データ取得部２１３は、訓練データ記憶部２３１に記憶されている訓練データＸｔｒ＝｛（ｘｓ，ｙｓ，ｘｔ，ｙｔ）ｉ｝（１≦ｉ≦Ｋ）を取得する（ステップＳ３０３）。
　次に、ミニバッチサンプリング部２１５は、訓練データＸｔｒから、１回の学習に用いるミニバッチＢ＝｛（ｘｓ，ｙｓ，ｘｔ，ｙｔ）をサンプリングする（ステップＳ３０４）。
　次に、層選択部２１６は、敵対的摂動Δｆθｊ（ｘｓ，ｘｔ，ｌ）の生成に使用するニューラルネットワークの１つの層ｌを選択する（ステップＳ３０５）。
　次に、パラメータ決定部２１７は、共有マスクベクトルの代替変数Ｓと、非共有マスクベクトルの代替変数＾Ｓ＝１－Ｓと、共有パラメータベクトルθｓと、非共有パラメータベクトルθj ns（１≦ｊ≦Ｋ）とを用いて、各ニューラルネットワークのパラメータベクトルθｊ＝θｓ○Ｍ＋θj ns○＾Ｍ（１≦ｊ≦Ｋ）を決定（計算）する（ステップＳ３０６）。上述したように、○はアダマール積を表す。Ｓ，θｓ及びθj ns（１≦ｊ≦Ｋ）は、初期化又は更新されたものである。
　損失関数計算部２１８は、ミニバッチＢ＝｛（ｘｓ，ｙｓ，ｘｔ，ｙｔ）｝を、各ｊ番目のニューラルネットワーク（１≦ｊ≦Ｋ）で情報を伝播させ、式（２８）の損失関数Ｌｏｓｓ＝（１／｜Ｂ｜）×Σ（ｘｓ，ｙｓ，ｘｔ，ｙｔ）∈ＢΣｊ≠ｉＣＥｆθｉ（ｘｓ＋Δｆθｊ（ｘｓ，ｘｔ，ｌ），ｙｓ）を計算する（ステップＳ３０７）。損失関数Ｌｏｓｓの計算は、パラメータベクトルθｊ（１≦ｊ≦Ｋ）の意味合いが異なる点を除いて、第１実施形態において図５で示した損失関数計算の処理手順と同様である。
　次に、マスク更新部２１９は、誤差情報を逆伝播させて、∂Ｌｏｓｓ／∂Ｓを計算し、Ｓを更新する（ステップＳ３０８）。
　次に、パラメータ更新部２２０は、誤差情報を逆伝播させて、∂Ｌｏｓｓ／∂θｓを計算し、θｓを更新する（ステップＳ３０９）。
　また、パラメータ更新部２２０は、誤差情報を逆伝播させて、∂Ｌｏｓｓ／∂θj nsを計算し、θj nsを更新する（ｊ＝１，…，Ｋ）（ステップＳ３１０）。
　次に、学習部２１４は、学習を所定回行ったか否かを判定する（ステップＳ３１１）。学習を所定回行っていない場合は、学習部２１４は、処理をステップＳ３０４へ戻す。一方、学習を所定回行った場合は、学習部２１４は、処理をステップＳ３１２へ移す。
　次に、マスク決定部２２１は、代替変数Ｓに対して、値の大きい上位ｐ×｜θ｜＝ｍ個の位置を１とし、それ以外の位置を０となるように、マスクベクトルＭを決定する（ステップＳ３１２）。
　次に、学習部２１４（制御部２１０）は、ニューラルネットワークのパラメータベクトルθｓ，θ1 ns，…，θK nsとマスクベクトルＭを出力する（ステップＳ３１３）。
　以上で、図７の第２実施形態に係る学習装置２００の処理手順は終了である。
　なお、ステップＳ３１０において、学習の終了条件は、学習を所定回数行ったこととしたが、これに限られない。例えば、損失関数の減少幅が所定の閾値より小さいことを学習の終了条件としてもよい。
　以上説明したように、マスク初期化部２１１が、代替変数Ｓを初期化し、パラメータ初期化部２１２が、パラメータベクトルを初期化し、訓練データ取得部２１３が、訓練データを取得する。ミニバッチサンプリング部２１５が、ミニバッチをサンプリングし、層選択部２１６が、層を選択し、パラメータ決定部２１７が、代替変数Ｓ，＾Ｓ＝１－Ｓを用いてパラメータベクトルを決定し、損失関数計算部２１８が、損失関数を計算する。マスク更新部２１９が、代替変数Ｓの更新を行い、パラメータ更新部２２０が、パラメータの更新を行い、学習部２１４は、所定回の学習を終えた後パラメータベクトル及び代替変数Ｓを出力する。マスク決定部２２１は、代替変数Ｓからマスクベクトルを決定する。
　これにより、学習装置２００は、アンサンブル学習に基づくロバスト化訓練（ＥＲＴ）において、アンサンブル内のニューラルネットワークのパラメータの個数を抑制することができる。したがって、学習装置２００は、メモリ等の記憶容量の抑制することができるため、アンサンブル内のニューラルネットワークの個数を増加させることができる。したがって、学習装置２００は、アンサンブル学習に基づくロバスト化訓練において、ロバスト性を向上させることができる。
　また、学習装置２００は、共有パラメータの位置（マスクベクトル）を学習により決定するため、より共有パラメータの位置や個数を適切に決定できる。また、第２実施形態の学習装置２００は、後に述べる第３実施形態の処理方法より、高速に処理を行うことができる。
　また、共有マスクベクトルは、ニューラルネットワークの一つ分におけるパラメータごとに連続量の値を有する。マスク更新部２１９は、損失関数の値を用いて共有マスクベクトルにおけるパラメータごとの値（共有マスクベクトルの要素の値）を更新する。
　学習装置２００によれば、ニューラルネットワークのパラメータの値に加えて共有パラメータとするパラメータ、ニューラルネットワークの構造における位置も学習することができる。学習装置２００によれば、この点で、より高精度に学習を行えると期待される。
＜第３実施形態＞
　第３実施形態のアンサンブル学習に基づくロバスト化訓練（ＥＲＴ）では、第２実施形態と同様に、アンサンブル内のニューラルネットワーク（ＮＮ）の共有パラメータの位置も学習により決定する。すなわち、第３実施形態のＥＲＴでは、前述の式（２３）の最適化問題を解くことにより、ニューラルネットワークのパラメータ及び共有パラメータの位置の学習を行う。第３実施形態でも、共有パラメータの位置も学習により決定するため、共有パラメータの位置が学習中に変更される。例えば図２で、◎で示した共有パラメータの位置が学習中に変更される。
　上述したように、第３実施形態では、誤差逆伝播法で、共有パラメータベクトル及び非共有パラメータベクトルを更新する際に、更新された代替ベクトルＳから共有マスクベクトルＭを算出（更新）し、算出した共有マスクベクトルを用いてニューラルネットワークのパラメータ値を算出して誤差を算出する。それ以外の点では、第３実施形態は、第２実施形態の場合と同様である。
　第３実施形態の学習装置２００の機能構成の例を示す概略ブロック図は、図６で示した第２実施形態の学習装置２００の機能構成の例を示す概略ブロック図と同様である。
　次に、図８及び図９を参照して、第３実施形態に係る学習装置２００の動作について説明する。図８及び図９は、第３実施形態に係る学習装置２００の処理手順の例を示すフローチャートである。第３実施形態の処理手順では、代替変数Ｓの学習を先に行い、代替変数ＳからマスクベクトルＭ，＾Ｍを決定し、これらを用いてパラメータベクトルθｓ，θ1 ns，…，θK nsの学習を行う。
　まず、マスク初期化部２１１は、共有マスクベクトルＭに対応する代替変数（代替ベクトル）Ｓを初期化する。（ステップＳ４０１）。マスク初期化部２１１は、例えば、代替変数Ｓをランダムに初期化する。
　次に、パラメータ初期化部２１２は、共有パラメータベクトルθｓと、非共有パラメータベクトルθ1 ns，…，θK nsを初期化する（ステップＳ４０２）。パラメータ初期化部２１２は、例えば、これらのパラメータベクトルの各要素に乱数を割り振ってランダムに初期化する。
　次に、訓練データ取得部２１３は、訓練データ記憶部２３１に記憶されている訓練データＸｔｒ＝｛（ｘｓ，ｙｓ，ｘｔ，ｙｔ）ｉ｝（１≦ｉ≦Ｋ）を取得する（ステップＳ４０３）。
　次に、ミニバッチサンプリング部２１５は、訓練データＸｔｒから、１回の学習（ステップＳ４０４～ステップＳ４０８の学習であり、以下、学習Ａと称する。）に用いるミニバッチＢ＝｛（ｘｓ，ｙｓ，ｘｔ，ｙｔ）をサンプリングする（ステップＳ４０４）。
　次に、層選択部２１６は、敵対的摂動Δｆθｊ（ｘｓ，ｘｔ，ｌ）の生成に使用するニューラルネットワークの１つの層ｌを選択する（ステップＳ４０５）。
　次に、パラメータ決定部２１７は、共有マスクベクトルの代替変数Ｓと、非共有マスクベクトルの代替変数＾Ｓ＝１－Ｓと、共有パラメータベクトルθｓと、非共有パラメータベクトルθj ns（１≦ｊ≦Ｋ）とを用いて、各ニューラルネットワークのパラメータベクトルθｊ＝θｓ○Ｓ＋θj ns○＾Ｓ（１≦ｊ≦Ｋ）を決定（計算）する（ステップＳ４０６）。ここで、○はアダマール積を表す。Ｓは、初期化又は更新されたものである。
　損失関数計算部２１８は、ミニバッチＢ＝｛（ｘｓ，ｙｓ，ｘｔ，ｙｔ）｝を、各ｊ番目のニューラルネットワーク（１≦ｊ≦Ｋ）で情報を伝播させ、式（２８）の損失関数Ｌｏｓｓ＝（１／｜Ｂ｜）×Σ（ｘｓ，ｙｓ，ｘｔ，ｙｔ）∈ＢΣｊ≠ｉＣＥｆθｉ（ｘｓ＋Δｆθｊ（ｘｓ，ｘｔ，ｌ），ｙｓ）を計算する（ステップＳ４０７）。損失関数計算部２１８が行う損失関数Ｌｏｓｓの計算は、パラメータベクトルθｊ（１≦ｊ≦Ｋ）の意味合いが異なる点を除いて、第１実施形態において図５で示した損失関数計算の処理手順と同様である。
　次に、マスク更新部２１９は、誤差情報を逆伝播させて、∂Ｌｏｓｓ／∂Ｓを計算し、Ｓを更新する（ステップＳ４０８）。
　次に、学習部２１４は、学習Ａを所定回行ったか否かを判定する（ステップＳ４０９）。学習Ａを所定回行っていない場合は、学習部２１４は、処理をステップＳ４０４へ戻す。一方、学習Ａを所定回行った場合は、学習部２１４は、処理をステップＳ４１０へ移す。
　次に、マスク決定部２２１は、代替変数Ｓに対して、値の大きい上位ｐ×｜θ｜＝ｍ個の位置を１とし、それ以外の位置を０となるように、マスクベクトルＭを決定する（ステップＳ４１０）。また、マスク決定部２２１は、マスクベクトルＭの各要素の０と１を反転したものを、非共有マスクベクトル＾Ｍとして決定する（ステップＳ４１０）。
　次に、ミニバッチサンプリング部２１５は、訓練データＸｔｒから、１回の学習（ステップＳ４１１～ステップＳ４１６の学習であり、以下、学習Ｂと称する。）に用いるミニバッチＢ＝｛（ｘｓ，ｙｓ，ｘｔ，ｙｔ）をサンプリングする（ステップＳ４１１）。
　次に、層選択部２１６は、敵対的摂動Δｆθｊ（ｘｓ，ｘｔ，ｌ）の生成に使用するニューラルネットワークの１つの層ｌを選択する（ステップＳ４１２）。
　次に、パラメータ決定部２１７は、共有マスクベクトルＭと、非共有マスクベクトル＾Ｍと、共有パラメータベクトルθｓと、非共有パラメータベクトルθj ns（１≦ｊ≦Ｋ）とを用いて、各ニューラルネットワークのパラメータベクトルθｊ＝θｓ○Ｍ＋θj ns○＾Ｍ（１≦ｊ≦Ｋ）を決定（計算）する（ステップＳ４１３）。ここで、○はアダマール積を表す。θｓ，θj ns（１≦ｊ≦Ｋ）は、初期化又は更新されたものである。
　損失関数計算部２１８は、ミニバッチＢ＝｛（ｘｓ，ｙｓ，ｘｔ，ｙｔ）｝を、各ｊ番目のニューラルネットワーク（１≦ｊ≦Ｋ）で情報を伝播させ、式（２８）の損失関数Ｌｏｓｓ＝（１／｜Ｂ｜）×Σ（ｘｓ，ｙｓ，ｘｔ，ｙｔ）∈ＢΣｊ≠ｉＣＥｆθｉ（ｘｓ＋Δｆθｊ（ｘｓ，ｘｔ，ｌ），ｙｓ）を計算する（ステップＳ４１４）。損失関数計算部２１８が行う損失関数Ｌｏｓｓの計算は、パラメータベクトルθｊ（１≦ｊ≦Ｋ）の意味合いが異なる点を除いて、第１実施形態において図５で示した損失関数計算の処理手順と同様である。
　次に、パラメータ更新部２２０は、誤差情報を逆伝播させて、∂Ｌｏｓｓ／∂θｓを計算し、θｓを更新する（ステップＳ４１５）。
　また、パラメータ更新部２２０は、誤差情報を逆伝播させて、∂Ｌｏｓｓ／∂θj nsを計算し、θj nsを更新する（ｊ＝１，…，Ｋ）（ステップＳ４１６）。
　次に、学習部２１４は、学習Ｂを所定回行ったか否かを判定する（ステップＳ４１７）。学習Ｂを所定回行っていない場合は、学習部２１４は、処理をステップＳ４１１へ戻す。一方、学習Ｂを所定回行った場合は、学習部２１４は、処理をステップＳ４１７へ移す。
　次に、学習部２１４は、さらに学習Ａ及び学習Ｂを所定回行ったか否かを判定する（ステップＳ４１８）。学習Ａ及び学習Ｂを所定回行っていない場合は、学習部２１４は、処理をステップＳ４０４へ戻す。一方、学習Ａ及び学習Ｂを所定回行った場合は、学習部２１４は、処理をステップＳ４１９へ移す。
　次に、学習部２１４（制御部２１０）は、ニューラルネットワークのパラメータベクトルθｓ，θ1 ns，…，θK nsとマスクベクトルＭを出力する（ステップＳ４１９）。
　以上で、図８及び図９の第３実施形態に係る学習装置２００の処理手順は終了である。
　なお、ステップＳ４１８において、学習Ａ及び学習Ｂの終了条件は、１回の学習でもよい。また、ステップＳ４０９、Ｓ４１７、Ｓ４１８の各学習の終了条件は、学習を所定回数行ったこととしたが、例えば、損失関数の減少幅が所定の閾値より小さいことを学習の終了条件としてもよい。
　以上説明したように、マスク初期化部２１１が、代替変数Ｓを初期化し、パラメータ初期化部２１２が、パラメータベクトルを初期化し、訓練データ取得部２１３が、訓練データを取得する。学習Ａにおいて、ミニバッチサンプリング部２１５が、ミニバッチをサンプリングし、層選択部２１６が、層を選択し、パラメータ決定部２１７が、代替変数Ｓ，＾Ｓ＝１－Ｓを用いてパラメータベクトルを決定し、損失関数計算部２１８が、損失関数を計算し、マスク更新部２１９が、代替変数Ｓの更新を行う。学習部２１４が学習Ａを所定回行ったら、マスク決定部２２１は、代替変数Ｓからマスクベクトルを決定する。さらに、学習Ｂにおいて、ミニバッチサンプリング部２１５が、ミニバッチをサンプリングし、層選択部２１６が、層を選択し、パラメータ決定部２１７が、マスクベクトルＭ，＾Ｍを用いてパラメータベクトルを決定し、損失関数計算部２１８が、損失関数を計算し、パラメータ更新部２２０が、パラメータの更新を行う。学習部２１４が学習Ｂを所定回行ったら、さらに学習部２１４は、学習Ａ及び学習Ｂを所定回行い、その後、パラメータベクトル及びマスクベクトルＭを出力する。
　これにより、学習装置２００は、アンサンブル学習に基づくロバスト化訓練（ＥＲＴ）において、アンサンブル内のニューラルネットワークのパラメータの個数を抑制することができる。したがって、学習装置２００は、メモリ等の記憶容量の抑制することができるため、アンサンブル内のニューラルネットワークの個数を増加させることができる。したがって、学習装置２００は、アンサンブル学習に基づくロバスト化訓練において、ロバスト性を向上させることができる。
　また、学習装置２００は、共有パラメータの位置（マスクベクトル）を学習により決定するため、より共有パラメータの位置や個数を適切に決定できる。また、第３実施形態の学習装置２００は、前述した第２実施形態の処理方法より、精度のよい学習を行うことができる。
＜第４実施形態＞
　第４実施形態は、第１実施形態乃至第３実施形態の学習装置１００、２００で学習されたニューラルネットワークを用いた判定装置の例を示す。
　図１０は、第４実施形態に係る判定装置３００の機能構成の例を示す概略ブロック図である。判定装置３００は、複数のニューラルネットワーク３０１（ニューラルネットワーク１、・・・、ニューラルネットワークＫ）と、多数決部３０２とを備える。
　ニューラルネットワーク３０１は、第１実施形態乃至第３実施形態の学習装置１００、２００で学習されたニューラルネットワーク１、・・・、ニューラルネットワークＫである。これらのニューラルネットワークｉ（１≦ｉ≦Ｋ）は、パラメータ（パラメータベクトル）が共有されている。各ニューラルネットワークｉは、画像データ等の入力データを入力として入力されると、クラスラベル（クラス値）を出力する。
　多数決部３０２は、複数のニューラルネットワーク３０１からクラスラベル（クラス値）を入力されると、多数決（最多のクラスラベルとする）をとって、その結果のクラスラベルを出力する。なお、多数決部３０２は、複数のニューラルネットワーク３０１の入力に対して重みづけをしてもよい。また、多数決部３０２は、複数のニューラルネットワーク３０１からの入力に対して多数決ではなく、その他の関数により値を計算して結果を出力してもよい。
　第４実施形態によれば、第１実施形態乃至第３実施形態の学習装置１００、２００で学習されたニューラルネットワーク１、・・・、ニューラルネットワークＫが、入力データからクラスラベルを計算し、多数決部３０２が、クラスラベルの多数決をとって結果を出力する。
　これによって、ニューラルネットワークのパラメータ数が抑制された判定（クラス識別）を行うことができる。また、アンサンブル内のニューラルネットワークの個数を増加させることができるため、ロバスト性を向上させることができる。
＜第５実施形態＞
　図１１は、第５実施形態に係る学習装置５００の機能構成の例を示す概略ブロック図である。図１１に示す構成で、学習装置５００は、マスク初期化部５０１と、損失関数計算部５０２と、パラメータ更新部５０３とを備える。
　かかる構成で、マスク初期化部５０１は、複数のパラメータをもつ機械学習モデルのパラメータについて、複数の機械学習モデルに共用として設けられる共有パラメータと、機械学習モデルごとに設けられる非共有パラメータとの区別を示すマスク情報を決定する。損失関数計算部５０２は、前記共有パラメータ、前記非共有パラメータ、および、前記マスク情報にて示されるパラメータ値を適用した複数の前記機械学習モデルに基づく損失関数の、訓練データに対する値を計算する。パラメータ更新部５０３は、損失関数の値を用いて共有パラメータの値と非共有パラメータの値とを更新する。
　マスク初期化部５０１は、マスク初期化手段の例に該当する。損失関数計算部５０２は、損失関数計算手段の例に該当する。パラメータ更新部５０３は、パラメータ更新手段の例に該当する。
　学習装置５００によれば、複数の機械学習モデルを用いる判定装置が記憶すべきパラメータ値の個数を比較的少なくすることができる。
　例えば、学習装置５００は、アンサンブル学習に基づくロバスト化訓練（ＥＲＴ）において、アンサンブル内のニューラルネットワークのパラメータの個数を抑制することができる。したがって、学習装置５００は、メモリ等の記憶容量の抑制することができるため、アンサンブル内のニューラルネットワークの個数を増加させることができる。したがって、学習装置５００は、アンサンブル学習に基づくロバスト化訓練において、ロバスト性を向上させることができる。
＜第６実施形態＞
　図１２は、第６実施形態に係る学習方法の処理手順の例を示すフローチャートである。図１２に示す学習方法は、マスク情報を決定することと（ステップＳ５０１）、損失関数を計算することと（ステップＳ５０２）、共有パラメータと非共有パラメータとを更新することと（ステップＳ５０３）とを含む。
　マスク情報を決定すること（ステップＳ５０１）では、コンピュータが、複数のパラメータをもつ機械学習モデルのパラメータについて、複数の機械学習モデルに共用として設けられる共有パラメータと、機械学習モデルごとに設けられる非共有パラメータとの区別を示すマスク情報を決定する。損失関数を計算すること（ステップＳ５０２）では、コンピュータが、訓練データを用いて、複数の機械学習モデルに基づく損失関数を計算する。共有パラメータと非共有パラメータとを更新すること（ステップＳ５０３）では、コンピュータが、損失関数の値を用いて、誤差逆伝播法により、共有パラメータと非共有パラメータとを更新する。
　図１２に示す学習方法によれば、複数の機械学習モデルを用いる判定装置が記憶すべきパラメータ値の個数を比較的少なくすることができる。
　例えば、図１２に示す学習方法によれば、アンサンブル学習に基づくロバスト化訓練（ＥＲＴ）において、アンサンブル内のニューラルネットワークのパラメータの個数を抑制することができる。したがって、学習方法は、メモリ等の記憶容量の抑制することができるため、アンサンブル内のニューラルネットワークの個数を増加させることができる。したがって、学習方法、アンサンブル学習に基づくロバスト化訓練において、ロバスト性を向上させることができる。
　図１３は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
　図１３に示す構成で、コンピュータ４００は、ＣＰＵ（Central Processing Unit）４１０と、主記憶装置４２０と、補助記憶装置４３０と、インタフェース４４０とを備える。
　上記の学習装置１００及び２００のうち何れか１つ以上が、コンピュータ４００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置４３０に記憶されている。ＣＰＵ４１０は、プログラムを補助記憶装置４３０から読み出して主記憶装置４２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ４１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置４２０に確保する。各装置と他の装置との通信は、インタフェース４４０が通信機能を有し、ＣＰＵ４１０の制御に従って通信を行うことで実行される。
　学習装置１００がコンピュータ４００に実装される場合、マスク初期化部１１１と、パラメータ初期化部１１２と、訓練データ取得部１１３と、学習部１１４の動作、及び、学習部１１４が備えるミニバッチサンプリング部１１５と、層選択部１１６と、パラメータ決定部１１７と、損失関数計算部１１８と、パラメータ更新部１１９の動作は、プログラムの形式で補助記憶装置４３０に記憶されている。ＣＰＵ４１０は、プログラムを補助記憶装置４３０から読み出して主記憶装置４２０に展開し、当該プログラムに従って上記処理を実行する。
　学習装置１００の出力は、インタフェース４４０が通信機能又は表示機能等の出力機能を有し、ＣＰＵ４１０の制御に従って出力処理を行うことで実行される。
　学習装置２００がコンピュータ４００に実装される場合、マスク初期化部２１１と、パラメータ初期化部２１２と、訓練データ取得部２１３と、学習部２１４と、マスク決定部２２１の動作、及び、学習部１１４が備えるミニバッチサンプリング部２１５と、層選択部２１６と、パラメータ決定部２１７と、損失関数計算部２１８と、マスク更新部２１９と、パラメータ更新部１１９の動作は、プログラムの形式で補助記憶装置４３０に記憶されている。ＣＰＵ４１０は、プログラムを補助記憶装置４３０から読み出して主記憶装置４２０に展開し、当該プログラムに従って上記処理を実行する。
　学習装置１００の出力は、インタフェース４４０が通信機能又は表示機能等の出力機能を有し、ＣＰＵ４１０の制御に従って出力処理を行うことで実行される。
　以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　複数のパラメータをもつ機械学習モデルの前記パラメータについて、複数の前記機械学習モデルに共用として設けられる共有パラメータと、機械学習モデルごとに設けられる非共有パラメータとの区別を示すマスク情報を決定するマスク初期化手段と、
　前記共有パラメータ、前記非共有パラメータ、および、前記マスク情報にて示されるパラメータ値を適用した複数の前記機械学習モデルに基づく損失関数の、訓練データに対する値を計算する損失関数計算手段と、
　前記損失関数の値を用いて前記共有パラメータの値と前記非共有パラメータの値とを更新するパラメータ更新手段と、
　を備える学習装置。
（付記２）
　前記機械学習モデルの一つ分のパラメータがベクトルに構成されたパラメータベクトルを含み、複数の前記機械学習モデルに共用として設けられるモデルテンプレートの、前記パラメータベクトルの要素のうち、前記マスク情報によって共有パラメータとされる要素には、前記共有パラメータがベクトルに構成され複数の前記機械学習モデルに共用として設けられる共有パラメータベクトルから共有パラメータの値を設定し、前記パラメータベクトルの要素のうち、前記マスク情報によって非共有パラメータとされる要素には、前記非共有パラメータがベクトルに構成され前記機械学習モデルごとに設けられる非共有パラメータベクトルから非共有パラメータの値を設定することで、複数の前記機械学習モデルのうち１つの機械学習モデルを構成するパラメータ決定手段
　を更に備える、付記１に記載の学習装置。
（付記３）
　前記マスク初期化手段は、前記機械学習モデルの一つ分のパラメータのうち共有パラメータをランダムに選択するように、前記マスク情報を決定する
　付記１または付記２に記載の学習装置。
（付記４）
　前記マスク情報は、前記機械学習モデルの一つ分におけるパラメータごとに連続量の値を有し、
　前記損失関数の値を用いて前記マスク情報におけるパラメータごとの値を更新するマスク更新手段をさらに備える
　付記１から３の何れか一つに記載の学習装置。
（付記５）
　所定の条件を満たすまで、前記損失関数計算手段による前記損失関数の計算と、前記パラメータ更新手段による前記共有パラメータ及び非共有パラメータの更新とを繰り返す
　付記１から４の何れか一つに記載の学習装置。
（付記６）
　前記損失関数は、１つの前記機械学習モデルを誤判断させる敵対的摂動を付与された入力データに対して、その他の前記機械学習モデルが誤判断しない場合に、比較的小さい値を出力する関数である
　付記１から５の何れか一つに記載の学習装置。
（付記７）
　前記機械学習モデルは、ニューラルネットワークである
　付記１から６の何れか一つに記載の学習装置。
（付記８）
　付記１から７の何れか一つにおける学習装置で学習済みの複数の前記機械学習モデルと、
　複数の前記機械学習モデルの出力の多数決をとる多数決手段と、
　を備える判定装置。
（付記９）
　コンピュータが、
　複数のパラメータをもつ機械学習モデルの前記パラメータについて、複数の前記機械学習モデルに共用として設けられる共有パラメータと、機械学習モデルごとに設けられる非共有パラメータとの区別を示すマスク情報を決定する工程と、
　前記共有パラメータ、前記非共有パラメータ、および、前記マスク情報にて示されるパラメータ値を適用した複数の前記機械学習モデルに基づく損失関数の、訓練データに対する値を計算する工程と、
　前記損失関数の値を用いて前記共有パラメータの値と前記非共有パラメータの値とを更新する工程と、
　を含む学習方法。
（付記１０）
　コンピュータに、
　複数のパラメータをもつ機械学習モデルの前記パラメータについて、複数の前記機械学習モデルに共用として設けられる共有パラメータと、機械学習モデルごとに設けられる非共有パラメータとの区別を示すマスク情報を決定する工程と、
　前記共有パラメータ、前記非共有パラメータ、および、前記マスク情報にて示されるパラメータ値を適用した複数の前記機械学習モデルに基づく損失関数の、訓練データに対する値を計算する工程と、
　前記損失関数の値を用いて前記共有パラメータの値と前記非共有パラメータの値とを更新する工程と、
　を実行させるためのプログラムを記録した記録媒体。
　本発明の実施形態は、学習装置、判定装置、学習方法および記録媒体に適用してもよい。
　１００、２００　学習装置
　１１０、２１０　制御部
　１１１、２１１　マスク初期化部
　１１２、２１２　パラメータ初期化部
　１１３、２１３　訓練データ取得部
　１１４、２１４　学習部
　１１５、２１５　ミニバッチサンプリング部
　１１６、２１６　層選択部
　１１７、２１７　パラメータ決定部
　１１８、２１８　損失関数計算部
　　　　　２１９　マスク更新部
　１１９、２２０　パラメータ更新部
　　　　　２２１　マスク決定部
　１３０、２３０　記憶部
　１３１、２３１　訓練データ記憶部
　３００　　　　　判定装置
　３０１　　　　　ニューラルネットワーク
　３０２　　　　　多数決部

Claims (10)

  1. 　複数のパラメータをもつ機械学習モデルの前記パラメータについて、複数の前記機械学習モデルに共用として設けられる共有パラメータと、機械学習モデルごとに設けられる非共有パラメータとの区別を示すマスク情報を決定するマスク初期化手段と、
    　前記共有パラメータ、前記非共有パラメータ、および、前記マスク情報にて示されるパラメータ値を適用した複数の前記機械学習モデルに基づく損失関数の、訓練データに対する値を計算する損失関数計算手段と、
    　前記損失関数の値を用いて前記共有パラメータの値と前記非共有パラメータの値とを更新するパラメータ更新手段と、
    　を備える学習装置。
  2. 　前記機械学習モデルの一つ分のパラメータがベクトルに構成されたパラメータベクトルを含み、複数の前記機械学習モデルに共用として設けられるモデルテンプレートの、前記パラメータベクトルの要素のうち、前記マスク情報によって共有パラメータとされる要素には、前記共有パラメータがベクトルに構成され複数の前記機械学習モデルに共用として設けられる共有パラメータベクトルから共有パラメータの値を設定し、前記パラメータベクトルの要素のうち、前記マスク情報によって非共有パラメータとされる要素には、前記非共有パラメータがベクトルに構成され前記機械学習モデルごとに設けられる非共有パラメータベクトルから非共有パラメータの値を設定することで、複数の前記機械学習モデルのうち１つの機械学習モデルを構成するパラメータ決定手段
    　を更に備える、請求項１に記載の学習装置。
  3. 　前記マスク初期化手段は、前記機械学習モデルの一つ分のパラメータのうち共有パラメータをランダムに選択するように、前記マスク情報を決定する
    　請求項１または請求項２に記載の学習装置。
  4. 　前記マスク情報は、前記機械学習モデルの一つ分におけるパラメータごとに連続量の値を有し、
    　前記損失関数の値を用いて前記マスク情報におけるパラメータごとの値を更新するマスク更新手段をさらに備える
    　請求項１から３の何れか一項に記載の学習装置。
  5. 　所定の条件を満たすまで、前記損失関数計算手段による前記損失関数の計算と、前記パラメータ更新手段による前記共有パラメータ及び非共有パラメータの更新とを繰り返す
    　請求項１から４の何れか一項に記載の学習装置。
  6. 　前記損失関数は、１つの前記機械学習モデルを誤判断させる敵対的摂動を付与された入力データに対して、その他の前記機械学習モデルが誤判断しない場合に、比較的小さい値を出力する関数である
    　請求項１から５の何れか一項に記載の学習装置。
  7. 　前記機械学習モデルは、ニューラルネットワークである
    　請求項１から６の何れか一項に記載の学習装置。
  8. 　請求項１から７の何れか一項における学習装置で学習済みの複数の前記機械学習モデルと、
    　複数の前記機械学習モデルの出力の多数決をとる多数決手段と、
    　を備える判定装置。
  9. 　コンピュータが、
    　複数のパラメータをもつ機械学習モデルの前記パラメータについて、複数の前記機械学習モデルに共用として設けられる共有パラメータと、機械学習モデルごとに設けられる非共有パラメータとの区別を示すマスク情報を決定する工程と、
    　前記共有パラメータ、前記非共有パラメータ、および、前記マスク情報にて示されるパラメータ値を適用した複数の前記機械学習モデルに基づく損失関数の、訓練データに対する値を計算する工程と、
    　前記損失関数の値を用いて前記共有パラメータの値と前記非共有パラメータの値とを更新する工程と、
    　を含む学習方法。
  10. 　コンピュータに、
    　複数のパラメータをもつ機械学習モデルの前記パラメータについて、複数の前記機械学習モデルに共用として設けられる共有パラメータと、機械学習モデルごとに設けられる非共有パラメータとの区別を示すマスク情報を決定する工程と、
    　前記共有パラメータ、前記非共有パラメータ、および、前記マスク情報にて示されるパラメータ値を適用した複数の前記機械学習モデルに基づく損失関数の、訓練データに対する値を計算する工程と、
    　前記損失関数の値を用いて前記共有パラメータの値と前記非共有パラメータの値とを更新する工程と、
    　を実行させるためのプログラムを記録した記録媒体。
PCT/JP2022/022235 2022-05-31 2022-05-31 学習装置、判定装置、学習方法および記録媒体 WO2023233559A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/022235 WO2023233559A1 (ja) 2022-05-31 2022-05-31 学習装置、判定装置、学習方法および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/022235 WO2023233559A1 (ja) 2022-05-31 2022-05-31 学習装置、判定装置、学習方法および記録媒体

Publications (1)

Publication Number Publication Date
WO2023233559A1 true WO2023233559A1 (ja) 2023-12-07

Family

ID=89025974

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/022235 WO2023233559A1 (ja) 2022-05-31 2022-05-31 学習装置、判定装置、学習方法および記録媒体

Country Status (1)

Country Link
WO (1) WO2023233559A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170024642A1 (en) * 2015-03-13 2017-01-26 Deep Genomics Incorporated System and method for training neural networks
JP2021101318A (ja) * 2019-12-24 2021-07-08 オムロン株式会社 解析装置、解析方法、及び解析プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170024642A1 (en) * 2015-03-13 2017-01-26 Deep Genomics Incorporated System and method for training neural networks
JP2021101318A (ja) * 2019-12-24 2021-07-08 オムロン株式会社 解析装置、解析方法、及び解析プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AMADA TAKUMA, KAKIZAKI KAZUYA, ARAKI TOSHINORI, LIEW SENG PEI, KESHET JOSEPH, FURUKAWA JUN: "Adversarial Robustness for Face Recognition: How to Introduce Ensemble Diversity among Feature Extractors?", 1 January 2021 (2021-01-01), XP093116055, Retrieved from the Internet <URL:https://ceur-ws.org/Vol-2808/Paper_34.pdf> *
MADA, TAKUMA; KAKIZAKI, KAZUYA; LIEW, SENG PEI; FURUKAWA, JUN; ARAKI, TOSHINORI; KESHET, JOSPEH: "Improving Adversarial Robustness on Face Recognition Systems", COMPUTER SECURITY SYMPOSIUM 2020; OCTOBER 26-29, 2020, INFORMATION PROCESSING SOCIETY OF JAPAN (IPSJ), 19 October 2020 (2020-10-19) - 29 October 2020 (2020-10-29), pages 129 - 136, XP009551514 *

Similar Documents

Publication Publication Date Title
Chaudhry et al. Using hindsight to anchor past knowledge in continual learning
Hall et al. A systematic study of bias amplification
Lambrou et al. Reliable probability estimates based on support vector machines for large multiclass datasets
US20220067588A1 (en) Transforming a trained artificial intelligence model into a trustworthy artificial intelligence model
Laha Building contextual classifiers by integrating fuzzy rule based classification technique and k-nn method for credit scoring
US11562250B2 (en) Information processing apparatus and method
CN110969200B (zh) 基于一致性负样本的图像目标检测模型训练方法及装置
JP7095599B2 (ja) 辞書学習装置、辞書学習方法、データ認識方法およびコンピュータプログラム
CN114419878B (zh) 城市路网全域交通状态预测的方法、电子装置和存储介质
US20220129712A1 (en) Deep neural network hardener
US20220129758A1 (en) Clustering autoencoder
Dalatu et al. A comparative study of linear and nonlinear regression models for outlier detection
Shu et al. Perf-al: Performance prediction for configurable software through adversarial learning
WO2023233559A1 (ja) 学習装置、判定装置、学習方法および記録媒体
de Croon et al. Comparing active vision models
Alasbahi et al. An online transfer learning framework with extreme learning machine for automated credit scoring
Jamil et al. Model selection in online learning for times series forecasting
Bodyanskiy et al. Evolving cascaded neural network based on multidimensional Epanechnikov’s kernels and its learning algorithm
EP3937086A1 (en) Training a student neural network to mimic a mentor neural network with inputs that maximize student-to-mentor disagreement
WO2022162839A1 (ja) 学習装置、学習方法、及び、記録媒体
KR102339619B1 (ko) 이미지 품질향상장치, 이미지 품질향상방법
JP7242595B2 (ja) 学習装置、推論装置、学習方法及び推論方法
Hall et al. Bias amplification in image classification
KR101880547B1 (ko) 유사도 측정을 기반으로 한 동영상 특징 벡터 추출 방법
Fuchs et al. Scrutinizing and de-biasing intuitive physics with neural stethoscopes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22944846

Country of ref document: EP

Kind code of ref document: A1