WO2024100851A1 - モデル学習装置、モデル学習方法、およびモデル学習プログラム - Google Patents

モデル学習装置、モデル学習方法、およびモデル学習プログラム Download PDF

Info

Publication number
WO2024100851A1
WO2024100851A1 PCT/JP2022/041952 JP2022041952W WO2024100851A1 WO 2024100851 A1 WO2024100851 A1 WO 2024100851A1 JP 2022041952 W JP2022041952 W JP 2022041952W WO 2024100851 A1 WO2024100851 A1 WO 2024100851A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
learning
meta
zero
data
Prior art date
Application number
PCT/JP2022/041952
Other languages
English (en)
French (fr)
Inventor
優太 南部
匡宏 幸島
隆二 山本
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/041952 priority Critical patent/WO2024100851A1/ja
Publication of WO2024100851A1 publication Critical patent/WO2024100851A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • This invention relates to a model learning device, a model learning method, and a model learning program.
  • Models trained using traditional supervised learning methods perform poorly when little data is available or when they must adapt to changing tasks. For example, this issue becomes even more pronounced when some classes of data are completely unavailable. This is because the model assumes that no data is available, even though performance degrades even when little data is available. However, there are cases where a learning method is needed that can adapt to changing tasks even in environments where some classes of data are unavailable.
  • Zero-shot learning is a conventional technique specialized for settings where only some classes of data are available.
  • Zero-shot learning is a technique for training a model that can infer data from classes that do not appear in training, using labeled data and existing knowledge called auxiliary information.
  • the auxiliary information contains information about the characteristics of the classes, and is often expressed as a set of representative vectors that represent each class. As this auxiliary information contains information about classes for which data is unavailable, the classification of instances of classes for which data is unavailable can be indirectly inferred from the learning of classes for which data is available.
  • the zero-shot learning approach disclosed in the prior art is a solution for settings where no data is available, but it does not address the challenge of having to adapt to changing tasks.
  • This invention was made in light of the above-mentioned circumstances, and its purpose is to provide a technology that improves the learning performance when applying zero-shot learning to unknown tasks by learning how to learn from the process of zero-shot learning models for multiple tasks.
  • the goal is to provide a new learning method that introduces meta-learning, a method that can adapt to changing tasks, to zero-shot learning.
  • one aspect of the present invention is a model learning device that realizes zero-shot learning for unknown tasks, comprising: an acquisition unit that acquires input data including a set of observable tasks used in meta-training, first auxiliary information indicating a set of prototypes of known classes in the zero-shot learning, and second auxiliary information indicating a set of prototypes of unknown classes, as well as model data including a composite model consisting of multiple models, and acquires a learning rate parameter for the model data; a model parameter learning unit that uses the input data, the model data, and the learning rate parameter to learn model parameters of the composite model using an optimization method such that a loss function used in the meta-training minimizes an objective function evaluated by a loss function used in the zero-shot learning; and an output control unit that controls the model parameters to be displayed on an output device.
  • FIG. 1 is a diagram expressing the problem setting of the prior art and the present invention.
  • Figure 2 shows an overview of the Meta zero-shot learning method.
  • FIG. 3 is a block diagram illustrating an example of a hardware configuration of the model learning device according to the embodiment.
  • FIG. 4 is a block diagram showing the software configuration of the model learning device in the embodiment in relation to the hardware configuration shown in FIG.
  • FIG. 5 is a flowchart showing an example of the general operation of the model learning device for obtaining the model parameter ⁇ .
  • FIG. 6 is a flow chart showing an example of the general operation for explaining the operation of step ST103 in more detail.
  • Meta-learning is a method for finding meta-knowledge that improves learning performance for tasks generated from a task distribution by expanding the scope of learning to include not only a specific task but also a distribution of related tasks.
  • meta-learning is a method for learning how to learn.
  • meta-learning is a method for learning knowledge that generalizes to related unknown tasks by training a model not on a single task but on a distribution of tasks similar to that task. The introduction of this meta-learning makes it possible to learn the distribution of models, and when applying zero-shot learning to future unknown tasks, the model distribution can be used as a reference for learning the model.
  • Meta-learning consists of meta-training, which is the training process for acquiring meta-knowledge, and meta-testing, which evaluates the performance of the acquired meta-knowledge by actually using it. Meta-training is the phase in which you learn how to learn. As mentioned above, meta-learning is performed on the distribution of tasks, so for the sake of explanation, we will create a set of tasks for meta-training.
  • ⁇ i src is a task sampled from a certain task distribution p( ⁇ ), and N src is the number of elements of ⁇ src .
  • L task is a loss function
  • D spt is a data set called a support set
  • D qry is a data set called a query set.
  • each data set consists of a set of input instances x belonging to a D-dimensional real space X and labels y belonging to a class set Y.
  • meta-training is to obtain meta-knowledge ⁇ useful for training a task sampled from the task distribution p( ⁇ ).
  • the meta-knowledge ⁇ is expressed as a vector belonging to the meta-knowledge space W ⁇ R K.
  • the meta-knowledge ⁇ is estimated from the process of training an arbitrary model f( ⁇ ; ⁇ ) for each task using the support set D i spt .
  • the obtained meta-knowledge ⁇ is used for the query set D i qry , and the loss is calculated using the loss function L meta to search for better meta-knowledge that minimizes the loss.
  • the loss function L meta used here is a loss function that is uniquely defined for each technology depending on the target meta-knowledge.
  • Meta-testing is the phase where the meta-knowledge gained in meta-training is evaluated. Meta-knowledge is equivalent to tips for learning, so in order to evaluate the performance of meta-knowledge, it is necessary to train a model using that meta-knowledge for a different task. Therefore, although meta-testing is called “testing,” it actually carries out both "training ⁇ testing.” In other words, meta-testing alone performs the same operations as regular supervised learning.
  • T i tgt is a task sampled from a certain task distribution p( ⁇ ), and N tgt is the number of elements of ⁇ tgt .
  • D tr and D te are the training data set and test data set used in meta-test, respectively.
  • a model is trained using the training data set D i tr and meta-knowledge as input. Then, the trained model is evaluated for the test data set D i te .
  • the symbols defined for explaining meta-learning are summarized in the following table.
  • Pattern 1 Bi-Level Optimization: In this approach, meta-training is performed in two stages: model training and meta-knowledge training. In the first stage, optimal parameters ⁇ i * ( ⁇ ) of the model f are obtained by minimizing L task for D i spt given meta-knowledge ⁇ using the following formula (1).
  • the optimal parameters ⁇ i * ( ⁇ ) and ⁇ obtained for each task are applied to the unknown data D i qry , and the loss is minimized to search for a suitable ⁇ to obtain a parameter ⁇ i * ( ⁇ ) with good performance.
  • Non-Patent Document 3 is a specific prior art of Bi-Level Optimization.
  • Non-Patent Document 3 defines meta-knowledge ⁇ as the initial value of ⁇ in formula (1). That is, before training in formula (1), a substitution process " ⁇ " is performed, and a search for optimal parameters ⁇ i * ( ⁇ ) is started from the initial value. Then, a model f ( ⁇ ; ⁇ i * ( ⁇ )) utilizing the obtained optimal parameters is used to calculate the loss from formula (2), thereby searching for an initial value ⁇ * that can obtain better performance for related tasks in general. This allows the search to start from a better initial value ⁇ * when training a model for an unknown task in meta-testing, making it possible to efficiently train the model.
  • Pattern 2 Feed-Forward Model: This approach is characterized by acquiring a model distribution by learning a feed-forward model that encodes the task. In this approach, the model distribution of a task set is estimated by encoding the support set into a vector. When applying to an unknown task, a model is sampled from the model distribution by providing the decoder with a vector that encodes the support set for that task. This makes it possible to obtain a model adapted to the task, even if it is an unknown task.
  • h be the feed-forward model that encodes the task from the dataset
  • g be the decoding model that outputs the inference result from the input instance and the output of h
  • g be the composite model that combines h and g.
  • the optimal parameter ⁇ * of f is obtained by solving the following equation (3).
  • D i spt is given to the encoder to embed the task in a vector space, and the vector and an instance x of D i qry are input to g, and f is learned from the loss with y.
  • This allows an unknown task to be given, and a vector representation of the task can be acquired simply by providing the training data for that task to h, and a classification specialized for that task can be realized by inputting the vector and the instance to be classified to g.
  • meta-knowledge is not explicitly defined, and the obtained optimal parameter ⁇ * of the encoder-decoder can be considered as meta-knowledge.
  • the Feed-Forward Model is disclosed in, for example, Non-Patent Document 4.
  • the encoder is a multi-layer perceptron that takes a support set D i spt as input and outputs a vector r.
  • the decoder is a multi-layer perceptron that takes a vector r and an instance x j qry of a query set D i qry as input and outputs a categorical distribution.
  • the loss function for optimizing the composite model f is defined by making L meta in formula (3) a negative log-likelihood. Then, L meta and the composite model f can be expressed as the following formulas (4) and (5), respectively.
  • the label y is a one-hot encoded vector
  • ⁇ f(x; ⁇ ) is the inner product of f(x; ⁇ ) and y.
  • Zero-Shot Learning is a method of learning a model that can infer classes for which no data is available, by only learning classes for which data is available.
  • inference for classes for which no data is available without auxiliary information is difficult. For this reason, we attempt to adapt to classes for which no data is available by using "auxiliary information," data that indicates the relationships between classes.
  • Ns and Nu are the numbers of elements in the known class set and the unknown class set, respectively.
  • the input space is X ⁇ RD , and the Ntr instances in the input space used for training are expressed as
  • R is the real space.
  • the label corresponding to X is
  • N tr is the number of instances in the training data set.
  • the training data set is
  • the auxiliary information is expressed as a set of representative vectors set for each class. These vectors are generally called prototypes, and each represents the characteristics of the class.
  • the prototypes are defined as vectors in the auxiliary information space A ⁇ R M , and the set of prototypes for the known class set S is expressed as
  • the set of prototypes for the unknown class set U is
  • g is a decoding model g:A ⁇ S that estimates the class corresponding to x using ⁇ (x) and A s as inputs, and in many cases, the kNN method or the one-vs-rest method is used. If such an optimal parameter ⁇ * is obtained, it is possible to estimate which unknown class an instance x u corresponding to an unknown class set corresponds to by obtaining g( ⁇ (x u ; ⁇ * ), A u ).
  • Table 2 The symbols defined for explaining zero-shot learning can be summarized as shown in Table 2.
  • Non-Patent Document 5 we will explain an example of zero-shot learning as disclosed in Non-Patent Document 5.
  • the input instance, label, and auxiliary information are expressed as matrices, and a linear model is zero-shot learned.
  • the input instance is
  • the label is,
  • the prototype of the auxiliary information is expressed as an M-dimensional binary vector, and by expressing it as a matrix,
  • ⁇ is a transformation matrix including parameters to be optimized
  • ⁇ ( XT ⁇ As ) i , Yi )> is the inner product of the i-th matrix of the matrix product XT ⁇ As and the i-th matrix of the matrix Y.
  • the operation of multiplying XT by the transformation matrix ⁇ corresponds to ⁇ (., ⁇ ) in equation (6)
  • the operation of multiplying by matrix As corresponds to g(., As ).
  • prototypes of N u unknown classes are generated.
  • Inference results c j u are obtained by solving the above equation.
  • each task is learned independently, and extraction of common meta-knowledge from related tasks is not considered.
  • FIG. 1 is a diagram expressing the problem setting of the prior art and the present invention.
  • the inference target is data of a class that can be used for training.
  • the class to be inferred is an unknown class that does not appear at all during training.
  • the learning target is expanded to the task distribution in order to respond to changing tasks, and a learning method that is effective for multiple tasks is considered.
  • the problem setting targeted by this embodiment is a combination of the conventional zero-shot learning and meta-learning problem settings. In other words, this embodiment simultaneously solves two problems: learning about the task distribution is necessary to deal with changing tasks, and the inference target for that task is an unknown class that does not appear during training.
  • the support set D i spt is X ⁇ S consisting only of instances of the input space X ⁇ R D and the known class set S
  • the query set D i qry is X ⁇ U consisting only of instances of X and labels of the unknown class set U.
  • the task set ⁇ tgt for meta-testing is
  • the training data set D i tr consists of X ⁇ S and the test data set D i te consists of X ⁇ U
  • N src and N tgt are the numbers of elements in ⁇ src and ⁇ tgt , respectively
  • T i src and T i tgt are sampled from some task distribution p( ⁇ ).
  • FIG. 2 is a diagram showing an overview of the Meta zero-shot learning method.
  • a combination of three models is given as an input model.
  • the three models are the encoder h( ⁇ ): A ⁇ A ⁇ W, the decoder model g( ⁇ ): A ⁇ A ⁇ W ⁇ S ⁇ U used in the Conditional Neural Process, and the projection model ⁇ ( ⁇ ): X ⁇ A to the auxiliary information space used in zero-shot learning.
  • the encoder and the decoder are different from those in the meta-learning method described above.
  • the input of the encoder model h is not the instance x j of the input space and its label y j , but the output ⁇ (x j ) of the projection model and the label prototype ⁇ (y j ) ⁇ A s are input, and the following vector r j is output.
  • rj h( ⁇ ( xj ), ⁇ (yj ) ).
  • ⁇ is a function ⁇ ( ⁇ ): S ⁇ U ⁇ A that represents the correspondence between classes and prototypes.
  • the input of the decoder model g is not the unknown instance xu and vector rj , but ⁇ ( xu ) and the first auxiliary information Au and the average r of rj , and outputs the following estimation result ⁇ , such as a categorical distribution.
  • the first auxiliary information Au is the auxiliary information defined in the explanation of the zero-shot learning.
  • the model of the proposed method differs from the feed-forward model-based meta-learning described above in that it uses a zero-shot learning projection model ⁇ and auxiliary information.
  • the purpose of the proposed method is to estimate the parameters of the above-mentioned three models h, g, and ⁇ .
  • the input data is (i) a task set used for meta-training.
  • the input model is a composite model f(.; ⁇ ) that combines three models: (i) a model ⁇ (.) that projects an instance of X ⁇ R D to an auxiliary information space A ⁇ R M as input; (ii) a model h(.) that encodes a task from a dataset; and (iii) a decode model g(.) that estimates a categorical distribution from the output of h, the output of ⁇ , and the first auxiliary information A u .
  • ⁇ is a parameter of the composite model f.
  • Any model that can be projected onto R D ⁇ R M can be used for ⁇ , and may be, for example, a linear model as disclosed in Non-Patent Document 5, or a non-linear model such as a Neural Network.
  • ⁇ may be a model that has been pre-trained for each task.
  • h may be, for example, any model such as a multilayer perceptron as in Non-Patent Document 4, or a CNN.
  • g is said to output a categorical distribution, but it may also be a non-parametric model such as a kNN method or one-vs-rest method of zero-shot learning (see, for example, Non-Patent Documents 6 and 7).
  • Output The output of this method is the optimal parameter estimation result ⁇ * of the parameter ⁇ of the composite model f.
  • L zsl is an arbitrary loss function (e.g., Equation (7)) whose value becomes small when g( ⁇ ) and y are close, as used in zero-shot learning.
  • Equation (10) the loss of meta-learning is calculated with the loss of zero-shot learning for multiple tasks. That is, when comparing the loss function of a general feed-forward model type meta-learning (e.g., Equation (3)) with Equation (9) in this embodiment, the difference is that auxiliary information is used for input and L meta is evaluated with the loss function of L zsl in this embodiment.
  • ⁇ in Equation (10) may be set to the pre-trained model ⁇ i .
  • Any optimization method can be applied to optimize the objective function, such as the gradient method, the stochastic gradient method, Adam, etc.
  • the gradient method it is sufficient to repeatedly update the parameters according to the following formula in the k-th optimization step.
  • ⁇ k may be a learning rate parameter, which may be a function derived by calculating the gradient ⁇ L( ⁇ ) of the objective function, or may be calculated numerically.
  • FIG. 3 is a block diagram showing an example of a hardware configuration of the model learning device 1 according to the embodiment.
  • the model learning device 1 is a computer that analyzes input data, generates output data, and outputs the output data.
  • the model learning device 1 may be installed in any location.
  • the model learning device 1 includes a control unit 10, a program storage unit 20, a data storage unit 30, a communication interface 40, and an input/output interface 50.
  • the control unit 10, the program storage unit 20, the data storage unit 30, the communication interface 40, and the input/output interface 50 are communicatively connected to one another via a bus.
  • the communication interface 40 may be communicatively connected to an external device via a network.
  • the input/output interface 50 is communicatively connected to the input device 2 and the output device 3.
  • the control unit 10 controls the model learning device 1.
  • the control unit 10 includes a hardware processor such as a central processing unit (CPU).
  • the control unit 10 may be an integrated circuit capable of executing various programs.
  • the program memory unit 20 can use, as a storage medium, a combination of non-volatile memory that can be written to and read from at any time, such as an EPROM (Erasable Programmable Read Only Memory), HDD (Hard Disk Drive), or SSD (Solid State Drive), and non-volatile memory such as a ROM (Read Only Memory).
  • the program memory unit 20 stores programs necessary to execute various processes. In other words, the control unit 10 can realize various controls and operations by reading and executing the programs stored in the program memory unit 20.
  • the data storage unit 30 is a storage that uses a combination of non-volatile memory, such as a HDD or memory card, which can be written to and read from at any time, and volatile memory, such as a RAM (Random Access Memory), as a storage medium.
  • the data storage unit 30 is used to store data acquired and generated in the process of the control unit 10 executing programs and performing various processes.
  • the communication interface 40 includes one or more wired or wireless communication modules.
  • the communication interface 40 includes a communication module that establishes a wired or wireless connection to an external device via a network.
  • the communication interface 40 may include a wireless communication module that establishes a wireless connection to an external device such as a Wi-Fi access point or base station.
  • the communication interface 40 may include a wireless communication module for establishing a wireless connection to an external device using short-range wireless technology.
  • the communication interface 40 may be a general communication interface as long as it can communicate with an external device under the control of the control unit 10 and send and receive various information.
  • the input/output interface 50 is connected to the input device 2, the output device 3, etc.
  • the input/output interface 50 is an interface that enables the transmission and reception of information between the input device 2 and the output device 3.
  • the input/output interface 50 may be integrated with the communication interface 40.
  • the model learning device 1 and the input device 2 or the output device 3 are wirelessly connected using short-range wireless technology, etc., and information may be transmitted and received using the short-range wireless technology.
  • the input device 2 includes, for example, a keyboard or a pointing device that allows the user to input various information to the model learning device 1.
  • the input device 2 may also include a reader for reading data to be stored in the program storage unit 20 or the data storage unit 30 from a memory medium such as a USB memory, or a disk device for reading such data from a disk medium.
  • the output device 3 includes a display that displays the model parameters estimated by the model learning device 1.
  • FIG. 4 is a block diagram showing the software configuration of the model learning device 1 according to the embodiment in relation to the hardware configuration shown in FIG.
  • the control unit 10 includes an acquisition unit 101, a model parameter learning unit 102, and an output control unit 103.
  • the data storage unit 30 includes an acquired data storage unit 301 and a model parameter storage unit 302.
  • the acquisition unit 101 includes a data acquisition unit 1011 and a parameter acquisition unit 1012.
  • the data acquisition unit 1011 acquires input data and model data.
  • the input data includes a set of observable tasks used in meta-training, first auxiliary information (A u ) indicating a set of prototypes of known classes in zero-shot learning, and second auxiliary information (A s ) indicating a set of prototypes of unknown classes.
  • the model data includes model parameters of a composite model that combines a first model ( ⁇ ( ⁇ )) that projects an instance of X ⁇ R D as an input into an auxiliary information space A ⁇ R M , a second model (h( ⁇ )) that encodes a task from a dataset, and a third model (g( ⁇ )) that is a decoding model that estimates a categorical distribution from the output of the first model, the output of the second model, and the second auxiliary information.
  • the parameter acquisition unit 1012 also acquires a setting parameter.
  • the setting parameter is a learning rate parameter used when estimating the optimal parameter of the model parameter.
  • the model parameter learning unit 102 learns the model parameters.
  • the model parameter learning unit 102 includes an initialization unit 1021, a count setting unit 1022, an update unit 1023, and a determination unit 1024.
  • the initialization unit 1021 initializes the number of calculation iterations. Before learning the model parameters, the initialization unit 1021 initializes the number of calculation iterations stored in the model parameter storage unit 302, which will be described later.
  • the number of repetitions setting unit 1022 sets the maximum number of repetitions.
  • the number of repetitions setting unit 1022 sets the value of the maximum number of repetitions indicating the maximum number of times to repeat the model parameter update process.
  • the maximum number of repetitions may be set, for example, according to input by an administrator.
  • the update unit 1023 uses the input data, input model, and setting parameters (learning rate parameters) to update the model parameters using the optimization method described above so that the loss function used in meta-training minimizes the objective function evaluated by the loss function used in zero-shot learning. Details of the method for updating the model parameters will be described later.
  • the update unit 1023 updates the number of calculation iterations. For example, the update unit 1023 updates the number of calculation iterations by incrementing the value of the number of calculation iterations by 1.
  • the determination unit 1024 determines whether the number of calculation iterations is greater than the maximum number of iterations.
  • the output control unit 103 outputs the model parameters.
  • the output control unit 103 may display the model parameters on a display of the output device 3 through the input/output interface 50.
  • the output control unit 103 may also display the learned model parameters stored in the model parameter storage unit 302 on the display of the output device 3 at any timing in accordance with instructions from the administrator.
  • FIG. 5 is a flowchart showing an example of the general operation of the model learning device 1 for obtaining the model parameter ⁇ .
  • the control unit 10 of the model learning device 1 reads out and executes the program stored in the program storage unit 20, thereby realizing the operation of this flowchart.
  • This operation may be started by the administrator of the model learning device 1 inputting data, setting parameters, etc. into the input device 2. Alternatively, it may be started in response to an instruction from the administrator.
  • the data acquisition unit 1011 acquires input data and model data.
  • the input data includes a set ⁇ src of observable tasks and auxiliary information A s and A u
  • the model data includes a composite model f that is a composite of the above-mentioned multiple models.
  • the data acquisition unit 1011 stores the acquired input data and model data in the data storage unit 3011.
  • the input data and model data may be information input by the administrator to the input device 2, or may be information stored in the data storage unit 30.
  • the data acquisition unit 1011 acquires setting parameters.
  • the setting parameters include a learning parameter ⁇ k used in optimization.
  • the setting parameters may be information input by the administrator to the input device 2 or may be information stored in the data storage unit 30.
  • the data acquisition unit 1011 stores the acquired setting parameters in the parameter storage unit 3012 .
  • step ST103 the model parameter learning unit 102 learns the model parameter ⁇ .
  • FIG. 6 is a flow chart showing an example of the general operation for explaining the operation of step ST103 in more detail.
  • the initialization unit 1021 initializes the number of calculation iterations. Before learning the model parameter ⁇ , the initialization unit 1021 initializes the number of calculation iterations stored in the model parameter storage unit 302.
  • the number of repetitions setting unit 1022 sets the maximum number of repetitions.
  • the number of repetitions setting unit 1022 sets the value of the maximum number of repetitions indicating the maximum number of times to repeat the model parameter update process.
  • the maximum number of repetitions may be set, for example, according to input by an administrator.
  • step ST203 the update unit 1023 updates the model parameter ⁇ according to the above-described formula (9) and formula (12). That is, the update unit 1023 updates the model parameter ⁇ according to the optimization step shown in formula (12) for the objective function shown in formula (9).
  • step ST204 the update unit 1023 updates the number of calculation iterations. For example, the update unit 1023 updates the number of calculation iterations by incrementing the value of the number of calculation iterations by 1.
  • step ST205 the judgment unit 1024 judges whether the number of calculation iterations is greater than the maximum number of iterations. If it is judged that the number of calculation iterations is less than or equal to the maximum number of iterations, the process returns to step ST203. On the other hand, if the number of calculation iterations is greater than the maximum number of iterations, the model parameter learning unit 102 outputs the learned model parameter ⁇ to the output control unit 103. In addition, the model parameter learning unit 102 stores the learned model parameter ⁇ in the model parameter storage unit 302. Then, the process proceeds to step ST104.
  • the output control unit 103 outputs the model parameter ⁇ .
  • the output control unit 103 may display the model parameter ⁇ on the display of the output device 3 through the input/output interface 50. Furthermore, the output control unit 103 may display the learned model parameter ⁇ stored in the model parameter storage unit 302 on the display of the output device 3 at any timing in accordance with instructions from the administrator.
  • meta-learning is performed in two stages, meta-training and meta-testing, similar to conventional meta-learning.
  • meta-training the task set ⁇ src , auxiliary information A s , A u , and the model are input to the above-described method, and the objective function is minimized.
  • the method described in the above embodiment can be stored as a program (software means) that can be executed by a calculator (computer) on a storage medium such as a magnetic disk (floppy disk, hard disk, etc.), optical disk (CD-ROM, DVD, MO, etc.), semiconductor memory (ROM, RAM, flash memory, etc.), and can also be distributed by transmitting it via a communication medium.
  • the program stored on the medium also includes a setting program that configures the software means (including not only execution programs but also tables and data structures) that the computer executes.
  • the computer that realizes this device reads the program stored in the storage medium, and in some cases, configures the software means using the setting program, and executes the above-mentioned processing by controlling the operation of this software means.
  • the storage medium referred to in this specification is not limited to one for distribution, but also includes storage media such as magnetic disks and semiconductor memories installed inside the computer or in devices connected via a network.
  • this invention is not limited to the above-described embodiment, and various modifications can be made in the implementation stage without departing from the gist of the invention.
  • the various embodiments may be implemented in combination as appropriate as possible, in which case the combined effects can be obtained.
  • the above-described embodiment includes inventions at various stages, and various inventions can be extracted by appropriate combinations of the multiple constituent elements disclosed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

一実施形態に係る、未知のタスクに対してゼロショット学習を実現するモデル学習装置は、メタ訓練で用いられる観測可能なタスクの集合と、ゼロショット学習における既知クラスのプロトタイプの集合を示す第１の補助情報と、未知クラスのプロトタイプの集合を示す第２の補助情報と、を含む入力データ、および複数のモデルから成る合成モデルを含むモデルデータを取得し、モデルデータの学習率パラメータを取得する取得部と、入力データ、モデルデータ、および学習率パラメータを用いて、メタ訓練で用いられる損失関数がゼロショット学習に用いる損失関数で評価される目的関数を最小化するように最適化手法を用いて合成モデルのモデルパラメータを学習するモデルパラメータ学習部と、モデルパラメータを出力装置に表示するように制御する出力制御部と、を備える。

Description

モデル学習装置、モデル学習方法、およびモデル学習プログラム
　この発明は、モデル学習装置、モデル学習方法、およびモデル学習プログラムに関する。
　従来の教師あり学習手法によって学習させたモデルは、利用できるデータが少ない場合、または変化するタスクに適応しなければいけない場合に性能が低下してしまう。例えば、一部のクラスのデータがまったく利用できない場合にこの課題はさらに顕著になる。何故なら、利用できるデータが少ない場合ですら性能が低下するにも関わらず、データが全く得られない場合を想定しているからである。しかしながら、一部クラスのデータが得られない環境でも変化するタスクに適応可能な学習手法が必要な場合がある。
　例えば、人間の脳波からその人間が想起している単語を推定するモデルの学習方法を考える。一般に脳波を含め人間の生体信号には個人差があるため、個人をタスクとみなすときタスクも同様にそれぞれ異なる。そのため、推定したい個人（タスク）ごとにデータを取得し、脳波から単語を推定するモデルをそれぞれ個別に学習させる必要がある。さらに、この設定には「対象とする単語すべての脳波が得られるとは限らない」という課題も存在する。これは、今後、推定対象としたい個人が現れる度に対象とするすべての単語を想起してもらい、その想起した際のそれぞれの脳波を計測するという操作が必要となる。しかしながら、このような操作が現実的でないことは明らかである。このような場合を想定すると、「個人ごとにデータに差があっても適応可能」且つ「一部のデータを用いて訓練するだけで他のデータに対する推論も可能」な学習手法が必要である。
　一部のクラスのデータしか利用できない設定に特化した従来技術として、ゼロショット学習（例えば、非特許文献１および非特許文献２を参照）がある。ゼロショット学習とは、ラベル付データと補助情報（Auxiliary information）と呼ばれる既存知識から、訓練には出現していないクラスのデータも推論可能なモデルを学習させる手法である。補助情報は、クラスの特徴に関する情報を含んでおり、各クラスを表現する代表的なベクトルの集合として表現されることが多い。この補助情報にデータの利用できないクラスの情報が含まれていることで、データの利用できるクラスの学習から間接的にデータの利用できないクラスのインスタンスの分類を推論している。
Hugo Larochelle, Dumitru Erhan, and Yoshua Bengio. Zero-data learning of new tasks. In Proceedings of the 23rd National Conference on Artificial Intelligence - Volume 2, AAAI’08, p. 646-651. AAAI Press, 2008. Mark Palatucci, Dean Pomerleau, Geoffrey Hinton, and Tom M. Mitchell. Zero-shot learning with semantic output codes. In Proceedings of the 22nd International Conference on Neural Information Processing Systems, NIPS’09, p. 1410-1418, Red Hook, NY, USA, 2009. Curran Associates Inc. Chelsea Finn, Pieter Abbeel, and Sergey Levine. Model-agnostic metalearning for fast adaptation of deep networks. In Doina Precup and YeeWhye Teh, editors, Proceedings of the 34th International Conference on Machine 16 Learning, Vol.70 of Proceedings of Machine Learning Research, pp. 1126-1135. PMLR, 06-11 Aug 2017. Marta Garnelo, Dan Rosenbaum, Christopher Maddison, Tiago Ramalho, David Saxton, Murray Shanahan, Yee Whye Teh, Danilo Rezende, and S. M. Ali Eslami. Conditional neural processes. In Jennifer Dy and Andreas Krause, editors, Proceedings of the 35th International Conference on Machine Learning, Vol. 80 of Proceedings of Machine Learning Research, pp. 1704-1713. PMLR, 10-15 Jul 2018. Bernardino Romera-Paredes and Philip H. S. Torr. An embarrassingly simple approach to zero-shot learning. In Proceedings of the 32nd International Conference on International Conference on Machine Learning - Volume 37, ICML’15, p. 2152-2161. JMLR.org, 2015. Zhenyong Fu, TaoA Xiang, Elyor Kodirov, and Shaogang Gong. Zero-shot object recognition by semantic manifold distance. In 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2635-2644, 2015. Zhenyong Fu, Tao Xiang, Elyor Kodirov, and Shaogang Gong. Zero-shot learning on semantic class prototype graph. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 40, No. 8, pp. 2009-2022, 2018.
　従来技術で開示されるゼロショット学習を用いる手法は、データがまったく利用できない設定に関する解決策の１つであり、変化するタスクに適応しなければいけないという課題へは対応していないという問題がある。
　この発明は、上記事情に着目してなされたもので、その目的とするところは、複数のタスクのモデルをゼロショット学習させる過程から学習の仕方を学習することで、ゼロショット学習を未知のタスクに適応する際の学習性能を向上させる技術を提供することにある。
　具体的には、ゼロショット学習に対して、変化するタスクにも適応可能な手法であるメタ学習を導入した新たな学習手法を提供することにある。
　上記課題を解決するためにこの発明の一態様は、未知のタスクに対してゼロショット学習を実現するモデル学習装置であって、メタ訓練で用いられる観測可能なタスクの集合と、前記ゼロショット学習における既知クラスのプロトタイプの集合を示す第１の補助情報と、未知クラスのプロトタイプの集合を示す第２の補助情報と、を含む入力データ、および複数のモデルから成る合成モデルを含むモデルデータを取得し、前記モデルデータの学習率パラメータを取得する取得部と、前記入力データ、前記モデルデータ、および前記学習率パラメータを用いて、前記メタ訓練で用いられる損失関数が前記ゼロショット学習に用いる損失関数で評価される目的関数を最小化するように最適化手法を用いて前記合成モデルのモデルパラメータを学習するモデルパラメータ学習部と、前記モデルパラメータを出力装置に表示するように制御する出力制御部と、を備えるようにしたものである。
　この発明の一態様によれば、ゼロショット学習に有用な知識を獲得するモデルをメタ学習によって学習させることにより、将来の未知のタスクに対するゼロショット学習の性能を向上させる手法を提供することが可能となる。
図１は、従来技術と本発明の問題設定を表現した図である。 図２は、Meta zero-shot learning手法の概要を示した図である。 図３は、実施形態に係るモデル学習装置のハードウェア構成の一例を示すブロック図である。 図４は、実施形態におけるモデル学習装置のソフトウェア構成を、図１に示したハードウェア構成に関連付けて示すブロック図である。 図５は、モデル学習装置がモデルパラメータθを得るための概要動作の一例を示すフローチャートである。 図６は、ステップＳＴ１０３の動作をより詳細に説明した概要動作の一例を示すフローチャートである。
　以下、図面を参照してこの発明に係る実施形態を説明する。なお、以降、説明済みの要素と同一または類似の要素には同一または類似の符号を付し、重複する説明については基本的に省略する。例えば、複数の同一または類似の要素が存在する場合に、各要素を区別せずに説明するために共通の符号を用いることがあるし、各要素を区別して説明するために当該共通の符号に加えて枝番号を用いることもある。
　［実施形態］　
　（メタ学習）　
　初めに、メタ学習について説明する。メタ学習は、学習する範囲を特定のタスクだけでなく関連するタスクの分布に広げることで、そのタスク分布から生成されるタスクへの学習性能を向上させるメタ知識を見つける手法である。簡単に記載すると、メタ学習は、学習の仕方を学習する手法である。ここで、メタ学習とは、モデルを単一のタスクで訓練するのではなく、そのタスクに類似するタスクの分布で訓練することで、関連する未知のタスクに汎化する知識を学習する手法である。このメタ学習の導入により、モデルの分布を学習することが可能になり、将来の未知のタスクにゼロショット学習を適応する際にそのモデル分布を参考にモデルを学習させることができる。
　メタ学習は、メタ知識を獲得するための訓練プロセスであるメタ訓練、獲得したメタ知識を実際に活用してその性能を評価するメタテストにより構成される。メタ訓練は、学習の仕方を学習するフェーズである。前述の通りメタ学習は、タスクの分布に対して行われるため、説明のためにメタ訓練用のタスク集合を
Figure JPOXMLDOC01-appb-M000001
と定義する。ここで、τｉ ｓｒｃはあるタスク分布ｐ（τ）からサンプルされたタスクであり、Ｎｓｒｃは、τｓｒｃの要素数である。一般にタスクは、データセットと損失関数から構成されているため、Ｔｉ ｓｒｃはＴｉ ｓｒｃ＝（Ｄｉ ｓｐｔ，Ｄｉ ｑｒｙ，Ｌｔａｓｋ）と表現する。ここで、Ｌｔａｓｋは、損失関数であり、Ｄｓｐｔは、サポートセットと呼ばれるデータセット、Ｄｑｒｙは、クエリセットと呼ばれるデータセットである。また、それぞれのデータセットはＤ次元の実数空間Ｘに属する入力インスタンスｘとクラス集合Ｙに属するラベルｙの組の集合からなる。
　このとき、メタ訓練の目的は、タスク分布ｐ（τ）からサンプルされるタスクの訓練に有用なメタ知識ωを得ることである。メタ知識ωは、メタ知識空間Ｗ⊂ＲＫに属するベクトルとして表現される。メタ訓練ではまず、サポートセットＤｉ ｓｐｔを用いてタスクごとに任意のモデルｆ（・；θ）を訓練する過程からメタ知識ωを推定する。そして、得られたメタ知識ωをクエリセットＤｉ ｑｒｙに活用し、その損失を、損失関数Ｌｍｅｔａを用いて計算することにより、損失を最小化するより良いメタ知識を探索する。ここで用いられる損失関数Ｌｍｅｔａは、目的とするメタ知識によって技術ごとに独自に定義される損失関数である。
　メタテストは、メタ訓練で得たメタ知識を評価するフェーズである。メタ知識は、学習のコツに相当するため、メタ知識の性能を評価するためには別のタスクに対してそのメタ知識を活用してモデルを訓練させてみる必要がある。よって、メタテストは「テスト」という名称がついているが「訓練→テスト」の両方を実施する。つまり、メタテストだけで通常の教師あり学習と同等の操作をする。
　説明のため、メタテストの対象となるタスクの集合を
Figure JPOXMLDOC01-appb-M000002
と定義する。ここで、Ｔｉ ｔｇｔは、あるタスク分布ｐ（τ）からサンプルされたタスクであり、Ｎｔｇｔは、τｔｇｔの要素数である。また、Ｔｉ ｓｒｃと同様にＴｉ ｔｇｔはＴｉ ｔｇｔ＝（Ｄｉ ｔｒ，Ｄｉ ｔｅ，Ｌｔａｓｋ）と表現できる。ＤｔｒおよびＤｔｅはそれぞれ、メタテストで用いる訓練データセット・テストデータセットである。この時、メタテストでは、訓練データセットＤｉ ｔｒとメタ知識を入力として、モデルを訓練する。そして、テストデータセットＤｉ ｔｅに対して訓練したモデルの評価を行う。メタ学習の説明のために定義した記号は、以下の表のようにまとめられる。
Figure JPOXMLDOC01-appb-T000003
　次に、メタ学習の一般的なアプローチを２つのパターンを用いて説明する。　
　・パターン１：Bi-Level Optimization：このアプローチでは、モデルの学習とメタ知識の学習という２段階でメタ訓練を行う。１段階目では、以下に示す式（１）により、メタ知識ωを与えた状態でのＤｉ ｓｐｔに対するＬｔａｓｋを最小化することで、モデルｆの最適パラメータθｉ ＊（ω）を得る。
Figure JPOXMLDOC01-appb-M000004
　２段階目では、以下に示す式（２）を用いて、タスクごとに得られた最適パラメータθｉ ＊（ω）とωを未知のデータＤｉ ｑｒｙに活用し、その損失を最小化することで、どのようなωを与えると性能の良いパラメータθｉ ＊（ω）が得られるかを探索する。
Figure JPOXMLDOC01-appb-M000005
　Bi-Level Optimizationの具体的な先行技術として非特許文献３が挙げられる。例えば、非特許文献３では、メタ知識ωを式（１）におけるθの初期値として定義している。つまり、式（１）において訓練する前に代入処理「θ←ω」を実行し、その初期値から最適パラメータθｉ ＊（ω）の探索を始める。そして、得られた最適パラメータを活用したモデルｆ（・；θｉ ＊（ω））を用いて、損失を式（２）から計算することで、関連タスク全般に対してより良い性能を得られる初期値ω＊を探索する。これにより、メタテストにおいて未知のタスクのモデルを訓練する際に、より良い初期値ω＊から探索を始めることができるため、効率よくモデルの訓練が可能になる。
　・パターン２：Feed-Forward Model：このアプローチの特徴は、タスクをエンコードするfeed-forwardモデルの学習によりモデルの分布を獲得することにある。このアプローチでは、サポートセットをベクトルにエンコードすることでタスク集合のモデル分布を推定する。そして、未知のタスクに適用する際には、そのタスクのサポートセットをエンコードしたベクトルをデコーダに与えることで、モデル分布からモデルをサンプリングする。これにより、未知のタスクであってもそのタスクに適応したモデルを得る。
　説明のため、データセットからタスクをエンコードするfeed-forwardモデルをｈとし、入力インスタンスとｈの出力から推論結果を出力するデコードモデルをｇとし、ｈとｇを組み合わせた合成モデルを
Figure JPOXMLDOC01-appb-M000006
と定義する。このとき、以下に示す式（３）を解くことでｆの最適パラメータθ＊を得る。
Figure JPOXMLDOC01-appb-M000007
　これは、Ｄｉ ｓｐｔをエンコーダに与えてタスクをあるベクトル空間に埋め込み、そのベクトルとＤｉ ｑｒｙのインスタンスｘをｇに入力することで，ｙとの損失からｆを学習している。これにより、未知のタスクが与えられたときそのタスクの訓練データをｈに与えるだけでタスクのベクトル表現を獲得でき、そのベクトルと分類したいインスタンスをｇに入力することでそのタスクに特化した分類が実現できる。このアプローチにおいては、メタ知識が明示的に定義されているわけではなく、得られたエンコーダ・デコーダの最適パラメータθ＊がメタ知識だと考えることができる。
　Feed-Forward Modelは、例えば、非特許文献４に開示される。例えば、エンコーダは、サポートセットＤｉ ｓｐｔを入力としてベクトルｒを出力する多層パーセプトロンである。そして、デコーダは、ベクトルｒとクエリセットＤｉ ｑｒｙのインスタンスｘｊ ｑｒｙを入力としてカテゴリカル分布を出力する多層パーセプトロンである。このとき、合成モデルｆを最適化する損失関数は、式（３）のＬｍｅｔａを負の対数尤度にすることで定義している。そして、Ｌｍｅｔａおよび合成モデルｆはそれぞれ、以下の式（４）および式（５）のように表せる。
Figure JPOXMLDOC01-appb-M000008
　ここで、ラベルｙはone-hot encodingされたベクトルであり、＜ｆ（ｘ；θ），ｙ＞はｆ（ｘ；θ）とｙの内積である。このようにして得た合成モデルｆの最適パラメータθ＊を活用して、メタテストでは未知のタスクＴｉ ｔｇｔに対して、
Figure JPOXMLDOC01-appb-M000009
により合成モデルｆ（・，Ｄｉ ｔｒ；θ＊）を用いてＤｉ ｔｅに対する性能を評価する。ただし、この手法では、サポートセットおよびクエリセットが同一分布からサンプルされていることを仮定しており、ゼロショット学習のように訓練時にはまったく出現しなかったクラスをテストで推論する必要がある場合を想定していない。
　ゼロショット学習　
　次に、一般的な設定のゼロショット学習について説明する。ゼロショット学習は、データが得られているクラスに対する学習のみで、まったくデータの得られないクラスの推論が可能なモデルを学習する手法である。ただし、補助的な情報なしにまったくデータの得られないクラスの推論は、困難である。そのため、クラスの関係性を示すデータ「補助情報（Auxiliary information）」を用いてデータの得られないクラスへの適応を図る。
　最初に、データが得られるクラスを既知クラス（Seen class）と定義して、その集合を
Figure JPOXMLDOC01-appb-M000010
と表現する。そして、訓練時にはデータは得られないがテストの対象となるクラスを未知クラス（Unseen Class）と定義して、その集合を
Figure JPOXMLDOC01-appb-M000011
と表現する。ここで、ＮｓおよびＮｕはそれぞれ、既知クラス集合と未知クラス集合の要素数である。次に、入力空間をＸ⊂ＲＤとして、訓練に用いるＮｔｒ個の入力空間上のインスタンスを
Figure JPOXMLDOC01-appb-M000012
とする。ここで、Ｒは、実空間である。ここで、Ｘに対応するラベルは
Figure JPOXMLDOC01-appb-M000013
とする。ここで、Ｎｔｒは、訓練データセットのインスタンスの数である。訓練データセットは、これらを組み合わせて
Figure JPOXMLDOC01-appb-M000014
と表現する。
　補助情報は、クラスごとに設定された代表的なベクトルの集合として表現される。これらのベクトルは、一般にプロトタイプと呼ばれ、それぞれクラスの特徴を表している。このプロトタイプを補助情報空間Ａ⊂ＲＭ上のベクトルと定義して、既知クラス集合Ｓのプロトタイプの集合を
Figure JPOXMLDOC01-appb-M000015
未知クラス集合Ｕのプロトタイプの集合を
Figure JPOXMLDOC01-appb-M000016
と表現する。このとき、入力空間のインスタンスｘを補助情報空間に適切に射影するようなモデルΦ（・；σ）：Ｘ→Ａがあれば、補助空間上でΦ（ｘ）に近しいプロトタイプを持つクラスがｘに対応するクラスであると推定できる。そのため、ゼロショット学習は、以下の式（６）を解くことを目的としている。
Figure JPOXMLDOC01-appb-M000017
　ここで、ｇは、Φ（ｘ）とＡｓを入力としてｘに対応するクラスを推定するデコードモデルｇ：Ａ→Ｓであり、多くの場合ｋＮＮ法やone-vs-rest法などが用いられる。このような最適パラメータσ＊が得られれば、未知クラス集合に対応するインスタンスｘｕに対しても、ｇ（Φ（ｘｕ；σ＊），Ａｕ）を求めることで、どの未知クラスに対応するかを推定することができる。ゼロショット学習の説明のために定義した記号は、表２のようにまとめることができる。
Figure JPOXMLDOC01-appb-T000018
　次に、ゼロショット学習の非特許文献５に開示されるような例を説明する。この例では、入力インスタンス、ラベル、補助情報を行列で表現し、線形のモデルをゼロショット学習している。入力インスタンスは、
Figure JPOXMLDOC01-appb-M000019
を行列とみた
Figure JPOXMLDOC01-appb-M000020
となる。ラベルは、
Figure JPOXMLDOC01-appb-M000021
と定義されており、これはクラスｃｉ ｓが入力インスタンスに対応するクラスであるときｉ番目の値が１、それ以外の値を－１とした、いわゆるone-hotベクトルを並べたものである。補助情報のプロトタイプは、Ｍ次元の２値ベクトルで表現し、行列表現にすることで
Figure JPOXMLDOC01-appb-M000022
となる。このとき、次に示すｈｉｎｇｅ損失を用いた最適化問題を解くことでパラメータを推定する。
Figure JPOXMLDOC01-appb-M000023
ここで、Φは、最適化したいパラメータを含む変換行列であり、＜（ＸＴΦＡｓ）ｉ，Ｙｉ）＞は、行列の積ＸＴΦＡｓのｉ行列目と行列Ｙのｉ行列目の内積である。ＸＴに変換行列Φをかける操作は、式（６）のΦ（・，σ）に対応しており、行列Ａｓをかける操作がｇ（・，Ａｓ）に対応している。推論時、Ｎｕ個の未知のクラスのプロトタイプ
Figure JPOXMLDOC01-appb-M000024
があるとき、未知のインスタンスｘｕに対して
Figure JPOXMLDOC01-appb-M000025
を解くことで推論結果ｃｊ ｕが得られる。このような一般的なゼロショット学習では、タスクそれぞれに対して独立に学習するだけであり、関連するタスクから共通的なメタ知識を抽出することは検討されていない。
　（問題設定）　
　本実施形態では、ゼロショット学習に特化したfeed-forwardモデル型メタ学習手法により、未知のタスクに対しても高性能なゼロショット学習を実現する。そこで、従来技術と本発明の問題設定の違いを明らかにする。
　図１は、従来技術と本発明の問題設定を表現した図である。
　図１（ａ）に示すように、一般的な教師あり学習では、訓練に利用できるクラスのデータが推論対象となっている。これに対して、図１（ｂ）に示すように、本発明のゼロショット学習の問題設定では、推論対象となるクラスが訓練時にはまったく現れない未知のクラスであることを想定している。
　また、図１（ｃ）に示すように、一般的なメタ学習の問題設定では変化するタスクに対応するために学習対象をタスク分布に広げて複数のタスクに有効な学習手法を検討している。図１（ｄ）に示すように、図１（ｃ）の設定と比較して本実施形態が対象とする問題設定は、従来のゼロショット学習とメタ学習の問題設定が複合したものになっている。つまり、本実施形態は、変化するタスクへの対策としてタスク分布に対する学習が必要かつそのタスクの推論対象は訓練時には現れない未知クラスを対象にしているという２つの課題を同時に解決するものである。
　これらの問題設定の違いを以下の表３にまとめた。
Figure JPOXMLDOC01-appb-T000026
　以上の問題設定を踏まえて、上で説明した記号を再定義する。メタ訓練用のタスク集合τｓｒｃを
Figure JPOXMLDOC01-appb-M000027
とすると、サポートセットＤｉ ｓｐｔは、入力空間Ｘ⊂ＲＤのインスタンスと既知クラス集合Ｓのみから構成されるＸ×Ｓであり、クエリセットＤｉ ｑｒｙは、Ｘのインスタンスと未知クラス集合Ｕのラベルのみから構成されるＸ×Ｕとなる。同様にメタテスト用のタスク集合τｔｇｔは、
Figure JPOXMLDOC01-appb-M000028
と定義され、訓練データセットＤｉ ｔｒは、Ｘ×Ｓで構成されており、テストデータセットＤｉ ｔｅは、Ｘ×Ｕから構成される。ここで、ＮｓｒｃおよびＮｔｇｔはそれぞれ、τｓｒｃおよびτｔｇｔの要素数であり、Ｔｉ ｓｒｃおよびＴｉ ｔｇｔは、あるタスク分布ｐ（τ）からサンプルされる。
　このような問題設定の場合、上で説明したfeed-forwardモデル型メタ学習のように、サポートセットＤｉ ｓｐｔのデータからエンコーダを学習させたとしても、それがクエリセットＤｉ ｑｒｙのデータの分類に有効だとは限らない。何故なら、サポートセットのデータは既知クラス集合Ｓからサンプルされており、クエリセットのデータは、未知クラス集合Ｕからサンプルされているため、データの分布が異なるからである。そこで、この問題設定に特化した機械学習技術としてfeed-forwardモデル型のMeta zero-shot learning手法を用いる。
　図２は、Meta zero-shot learning手法の概要を示した図である。
　図２に示すMeta zero-shot learning手法では、３つのモデルを合成したものを入力モデルとして与える。３つのモデルとは、Conditional Neural Processにおいて用いられているエンコーダｈ（・）：Ａ×Ａ→Ｗ、デコーダモデルｇ（・）：Ａ×Ａ×Ｗ→Ｓ∪Ｕ、およびゼロショット学習にて用いる補助情報空間への射影モデルΦ（・）：Ｘ→Ａである。ここで、エンコーダとデコーダは、上で説明したメタ学習手法と異なる。エンコーダモデルｈの入力は、入力空間のインスタンスｘｊとそのラベルｙｊではなく、射影モデルの出力Φ（ｘｊ）とラベルのプロトタイプπ（ｙｊ）∈Ａｓを入力として以下のベクトルｒｊを出力する。
　　　　　　ｒｊ＝ｈ（Φ（ｘｊ），π（ｙｊ））。
　ここで、πは、クラスとプロトタイプの対応を表す関数π（・）：Ｓ∪Ｕ→Ａである。また、デコーダモデルｇの入力は、未知のインスタンスｘｕとベクトルｒｊではな
く、Φ（ｘｕ）と第１の補助情報Ａｕとｒｊの平均ｒを入力としてカテゴリカル分布などの以下の推定結果ｙ＾を出力する。
Figure JPOXMLDOC01-appb-M000029
　ここで，第１の補助情報Ａｕは、ゼロショット学習の説明において定義した補助情報
Figure JPOXMLDOC01-appb-M000030
であり、Ｊは、エンコーダモデルｈに入力するデータセットの要素数である。このように、提案手法のモデルは、ゼロショット学習の射影モデルΦと補助情報を用いるという点から上で説明したfeed-forwardモデル型メタ学習とは異なる。
　提案手法の目的は、上述した３つのモデルｈ，ｇ，Φのパラメータを推定することである。ただし、ここでは、説明を簡易にするため、ｇ，ｈ，Φを合成したモデル全体をｆ（・；θ）＝ｇ（Φ（・），Ａｕ，ｈ（・））と表現し、合成モデルのパラメータθを推定するものとする。
　（入力データ、入力モデル、および出力）
　次に、入力データ、入力モデル、および出力について説明する。
　入力データ：入力となるデータは、（ｉ）メタ訓練に用いるタスク集合
Figure JPOXMLDOC01-appb-M000031
（ｉｉ）ゼロショット学習において補助情報として用いる
Figure JPOXMLDOC01-appb-M000032
である。
　入力モデル：入力となるモデルは、（ｉ）Ｘ⊂ＲＤのインスタンスを入力として補助情報空間Ａ⊂ＲＭに射影するモデルΦ（・）、（ｉｉ）データセットからタスクをエンコードするモデルｈ（・）、（ｉｉｉ）ｈの出力とΦの出力と第１の補助情報Ａｕからカテゴリカル分布を推定するデコードモデルｇ（・）、の３つを組み合わせた合成モデルｆ（・；θ）とする。ここで、θは、合成モデルｆのパラメータである。ΦはＲＤ→ＲＭへ射影可能な任意のモデルが利用可能であり、例えば、非特許文献５に開示されるような線形のモデルでもよいし、Neural Networkのような非線形のモデルでもよい。さらに、Φは、タスクごとに事前学習されたものを用いても良い。ｈは、例えば、非特許文献４のような多層パーセプトロン、またはＣＮＮなど任意のモデルでよい。また、ｇは、カテゴリカル分布を出力するとしたが、例えば、ゼロショット学習のｋＮＮ法またはやone-vs-rest法などのノンパラメトリックモデルでもよい（例えば、非特許文献６および７を参照）。
　出力：本手法における出力は、合成モデルｆのパラメータθの最適パラメータ推定結果θ＊である。
　（目的関数）　
　提案手法におけるパラメータ推定は、目的関数を最適化することで行う。本手法の目的は、複数の未知のタスクに対するゼロショット学習の性能が向上するようなモデルパラメータを推定することである。そのため、目的関数は、未知のタスクに対するゼロショット学習の損失によって構成される。これを踏まえ、目的関数は、次の式（９）～式（１１）のように定義される。
Figure JPOXMLDOC01-appb-M000033
ここで、Ｌｚｓｌは、ゼロショット学習に用いられるような、ｇ（・）とｙが近しいとき値が小さくなる任意の損失関数（例えば、式（７）など）である。上で説明した目的関数との違いは、式（１０）に示すように、複数のタスクに対するゼロショット学習の損失でメタ学習の損失を計算することにある。つまり、一般的なfeed-forwardモデル型メタ学習の損失関数（例えば、式（３））と本実施形態における式（９）を比較すると、本実施形態では、入力に補助情報が用いられておりＬｍｅｔａがＬｚｓｌの損失関数で評価されている点が異なる。また、タスクごとに事前学習されたモデルΦｉを用いる場合、式（１０）のΦを事前学習済みモデルΦｉとすればよい。
　（最適化法）　
　目的関数の最適化には、勾配法や確率的勾配法、Adamなど任意の最適化手法が適用できる。勾配法を利用する場合は、ｋ回目の最適化ステップで下記の式に従ってパラメータを更新することを繰り返せばよい。
Figure JPOXMLDOC01-appb-M000034
ここで、γｋは、学習率パラメータである、目的関数の勾配∇Ｌ（・）を計算して導出した関数を用いても、数値的に計算してもよい。
　（構成）　
　図３は、実施形態に係るモデル学習装置１のハードウェア構成の一例を示すブロック図である。
　モデル学習装置１は、入力されたデータを解析して、出力データを生成し出力する、コンピュータである。モデル学習装置１は、任意の場所に設置されて良い。
　図３に示すように、モデル学習装置１は、制御部１０、プログラム記憶部２０、データ記憶部３０、通信インタフェース４０、および入出力インタフェース５０を備える。制御部１０、プログラム記憶部２０、データ記憶部３０、通信インタフェース４０、および入出力インタフェース５０は、バスを介して互いに通信可能に接続されている。さらに通信インタフェース４０は、ネットワークを介して外部装置と通信可能に接続されてよい。また、入出力インタフェース５０は、入力装置２および出力装置３と通信可能に接続される。
　制御部１０は、モデル学習装置１を制御する。制御部１０は、中央処理ユニット（ＣＰＵ：Central Processing Unit）等のハードウェアプロセッサを備える。例えば、制御部１０は、様々なプログラムを実行することが可能な集積回路であっても良い。
　プログラム記憶部２０は、記憶媒体として、例えば、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせて使用することができる。プログラム記憶部２０は、各種処理を実行するために必要なプログラムを格納している。すなわち、制御部１０は、プログラム記憶部２０に格納されたプログラムを読み出して実行することにより各種制御および動作を実現し得る。
　データ記憶部３０は、記憶媒体として、例えば、ＨＤＤ、メモリカード等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリとを組み合わせて使用したストレージである。データ記憶部３０は、制御部１０がプログラムを実行して各種処理を行う過程で取得および生成されたデータを記憶するために用いられる。
　通信インタフェース４０は、１つ以上の有線または無線の通信モジュールを含む。例えば、通信インタフェース４０は、ネットワークを介して外部装置と有線または無線接続する通信モジュールを含む。通信インタフェース４０は、Ｗｉ－Ｆｉアクセスポイントおよび基地局等の外部装置と無線接続する無線通信モジュールを含んでも良い。さらに、通信インタフェース４０は、近距離無線技術を利用して外部装置と無線接続するための無線通信モジュールを含んでも良い。すなわち、通信インタフェース４０は、制御部１０の制御の下、外部装置との間で通信を行い、各種情報を送受信することができるものであれば一般的な通信インタフェースで良い。
　入出力インタフェース５０は、入力装置２および出力装置３等と接続される。入出力インタフェース５０は、入力装置２および出力装置３の間で情報の送受信を可能にするインタフェースである。入出力インタフェース５０は、通信インタフェース４０と一体であってもよい。例えば、モデル学習装置１と、入力装置２または出力装置３とは、近距離無線技術等を使用して無線接続されており、当該近距離無線技術を用いて情報の送受信を行ってもよい。
　入力装置２は、例えば、ユーザがモデル学習装置１に対して各種情報を入力するためのキーボードやポインティングデバイス等を含む。また、入力装置２は、プログラム記憶部２０またはデータ記憶部３０に格納するべきデータを、ＵＳＢメモリ等のメモリ媒体から読み出すためのリーダや、そのようなデータをディスク媒体から読み出すためのディスク装置を含んでも良い。
　出力装置３は、モデル学習装置１が推定したモデルパラメータ等を表示するディスプレイを含む。
　図４は、実施形態におけるモデル学習装置１のソフトウェア構成を、図１に示したハードウェア構成に関連付けて示すブロック図である。
　制御部１０は、取得部１０１と、モデルパラメータ学習部１０２と、出力制御部１０３と、を備える。また、データ記憶部３０は、取得データ記憶部３０１と、モデルパラメータ記憶部３０２とを備える。
　取得部１０１は、データ取得部１０１１およびパラメータ取得部１０１２を備える。
　データ取得部１０１１は、入力データおよびモデルデータを取得する。入力データは、メタ訓練で用いられる観測可能なタスクの集合、ゼロショット学習における既知クラスのプロトタイプの集合を示す第１の補助情報（Ａｕ）、未知クラスのプロトタイプの集合を示す第２の補助情報（Ａｓ）を含む。モデルデータは、Ｘ⊂ＲＤのインスタンスを入力として補助情報空間Ａ⊂ＲＭに射影する第１のモデル（Φ（・））、データセットからタスクをエンコードする第２のモデル（ｈ（・））、前記第１のモデルの出力と第２のモデルの出力と前記第２の補助情報からカテゴリカル分布を推定するデコードモデルである第３のモデル（ｇ（・））を組み合わせた合成モデルのモデルパラメータを含む。
　また、パラメータ取得部１０１２は、設定パラメータを取得する。ここで、設定パラメータは、モデルパラメータの最適パラメータ推定の際に使用する学習率パラメータである。
　モデルパラメータ学習部１０２は、モデルパラメータを学習する。モデルパラメータ学習部１０２は初期化部１０２１と、回数設定部１０２２と、更新部１０２３と、判定部１０２４と、を備える。
　初期化部１０２１は、計算繰り返し回数を初期化する。モデルパラメータを学習する前に、初期化部１０２１は、後述するモデルパラメータ記憶部３０２に記憶された計算繰り返し回数を初期化する。
　回数設定部１０２２は、最大繰り返し回数を設定する。回数設定部１０２２は、モデルパラメータの更新処理を繰り返すための最大回数を示す最大繰り返し回数の値を設定する。最大繰り返し回数は、例えば、管理者の入力に従って設定して良い。
　更新部１０２３は、入力データ、入力モデル、設定パラメータ（学習率パラメータ）を用いて、メタ訓練で用いられる損失関数がゼロショット学習に用いる損失関数で評価される目的関数を最小化するように上述した最適化手法を用いてモデルパラメータを更新する。なお、モデルパラメータの更新方法の詳細は、後述する。
　さらに、更新部１０２３は、計算繰り返し回数を更新する。例えば、更新部１０２３は、計算繰り返し回数の値を１だけ増やすことにより、計算繰り返し回数を更新する。
　判定部１０２４は、計算繰り返し回数＞最大繰り返し回数であるかどうかを判定する。
　出力制御部１０３は、モデルパラメータを出力する。出力制御部１０３は、入出力インタフェース５０を通じて、出力装置３のディスプレイ等にモデルパラメータを表示させて良い。また、出力制御部１０３は、管理者の指示に従って、任意のタイミングでモデルパラメータ記憶部３０２に記憶された学習したモデルパラメータを出力装置３のディスプレイに表示させて良い。
　（動作）　
　図５は、モデル学習装置１がモデルパラメータθを得るための概要動作の一例を示すフローチャートである。
　モデル学習装置１の制御部１０がプログラム記憶部２０に記憶されたプログラムを読み出して実行することにより、このフローチャートの動作が実現される。
　この動作は、モデル学習装置１の管理者がデータ、設定パラメータ等を入力装置２に入力することにより開始しても良い。或いは、管理者の指示に応じて開始しても良い。
　ステップＳＴ１０１で、データ取得部１０１１は、入力データおよびモデルデータを取得する。ここで、入力データは、観測可能なタスクの集合τｓｒｃ、補助情報Ａｓ，Ａｕを含み、モデルデータは、上述した複数のモデルを合成した合成モデルｆを含む。データ取得部１０１１は、取得した入力データおよびモデルデータをデータ記憶部３０１１に記憶させる。また、入力データおよびモデルデータは、管理者が入力装置２に入力した情報であっても良いし、データ記憶部３０に記憶された情報であっても良い。
　ステップＳＴ１０２で、データ取得部１０１１は、設定パラメータを取得する。ここで、設定パラメータは、最適化の際に用いる学習パラメータγｋを含む。また、設定パラメータは、管理者が入力装置２に入力した情報であっても良いし、データ記憶部３０に記憶された情報であっても良い。
データ取得部１０１１は、取得した設定パラメータをパラメータ記憶部３０１２に記憶させる。
　ステップＳＴ１０３で、モデルパラメータ学習部１０２は、モデルパラメータθを学習する。
　図６は、ステップＳＴ１０３の動作をより詳細に説明した概要動作の一例を示すフローチャートである。
　ステップＳＴ２０１で、初期化部１０２１は、計算繰り返し回数を初期化する。モデルパラメータθを学習する前に、初期化部１０２１は、モデルパラメータ記憶部３０２に記憶された計算繰り返し回数を初期化する。
　ステップＳＴ２０２で、回数設定部１０２２は、最大繰り返し回数を設定する。回数設定部１０２２は、モデルパラメータの更新処理を繰り返すための最大回数を示す最大繰り返し回数の値を設定する。最大繰り返し回数は、例えば、管理者の入力に従って設定して良い。
　ステップＳＴ２０３で、更新部１０２３は、モデルパラメータθを上で示した式（９）および式（１２）に従って更新する。すなわち、更新部１０２３は、式（９）で示す目的関数を式（１２）で示す最適化ステップに従ってモデルパラメータθを更新する。
　ステップＳＴ２０４で、更新部１０２３は、計算繰り返し回数を更新する。例えば、更新部１０２３は、計算繰り返し回数の値を１だけ増やすことにより、計算繰り返し回数を更新する。
　ステップＳＴ２０５で、判定部１０２４は、計算繰り返し回数＞最大繰り返し回数であるかどうかを判定する。計算繰り返し回数が最大繰り返し回数以下であると判定した場合、処理は、ステップＳＴ２０３に戻る。一方、計算繰り返し回数が最大繰り返し回数よりも大きい場合、モデルパラメータ学習部１０２は、学習したモデルパラメータθを出力制御部１０３に出力する。また、モデルパラメータ学習部１０２は、学習したモデルパラメータθをモデルパラメータ記憶部３０２に記憶させる。そして、処理は、ステップＳＴ１０４に進むことになる。
　図５に戻り、ステップＳＴ１０４で、出力制御部１０３は、モデルパラメータθを出力する。出力制御部１０３は、入出力インタフェース５０を通じて、出力装置３のディスプレイ等にモデルパラメータθを表示させて良い。また、出力制御部１０３は、管理者の指示に従って、任意のタイミングでモデルパラメータ記憶部３０２に記憶された学習したモデルパラメータθを出力装置３のディスプレイに表示させて良い。
　（適用例）　
　最後に、最適化されたモデルパラメータを使用した適用例について説明する。　
　例えば、本実施形態において、従来のメタ学習と同様にメタ訓練とメタテストの２段階からなる。メタ訓練では、タスク集合τｓｒｃと補助情報Ａｓ、Ａｕ、そして、モデルを上記説明した手法に入力し、目的関数を最小化するように
Figure JPOXMLDOC01-appb-M000035
に最適化法を用いることで推定パラメータθ＊を得る。そして、メタテストの時には未知のタスクＴｉ ｔｇｔの訓練データセットＤｉ ｔｒと未知の入力空間のインスタンスｘｕ∈Ｄｉ ｔｅが得られるため、ｙ＾ｕ＝ｆ（ｘｕ，Ｄｉ ｔｒ，Ａｕ；θ＊）を計算することで、推定値ｙ＾ｕが得られる。
　（作用効果）　
　実施形態によれば、データの全く得られないクラスのインスタンスを分類可能なモデルを学習するゼロショット学習において、その学習自体を学習するメタ学習のアプローチを取り入れることにより、将来の未知のタスクに対するゼロショット学習の性能を向上することができる。これにより、例えば、人間の脳波から想起している事柄を推定する等のデータが得られないクラスがあり、且つ個人差もあることにより、個別のモデルをゼロから学習しなくてはいけない場合であっても、未知の個人に対する個別モデルを効率的に学習することができる。
　［他の実施形態］
　上記の実施形態は、例えば、個人差に限らず、地域差、データ取得環境の違い等の個別にゼロショット学習を行う必要がある場合のようなより一般的なものに適用することも可能である。
　また、前記実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウェア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記憶媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段（実行プログラムのみならずテーブル、データ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記憶媒体に記憶されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書で言う記憶媒体は、頒布用に限らず、計算機内部或いはネットワークを介して接続される機器に設けられた磁気ディスク、半導体メモリ等の記憶媒体を含むものである。
　要するに、この発明は上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。さらに、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。
　１…モデル学習装置
　２…入力装置
　３…出力装置
　１０…制御部
　１０１…取得部
　１０１１…データ取得部
　１０１２…パラメータ取得部
　１０２…モデルパラメータ学習部
　１０２１…初期化部
　１０２２…回数設定部
　１０２３…更新部
　１０２４…判定部
　１０３…出力制御部
　２０…プログラム記憶部
　３０…データ記憶部
　３０１…取得データ記憶部
　３０１１…データ記憶部
　３０１２…パラメータ記憶部
　３０２…モデルパラメータ記憶部
　４０…通信インタフェース
　５０…入出力インタフェース
 
 
 

Claims (8)

  1. 　未知のタスクに対してゼロショット学習を実現するモデル学習装置であって、
    　メタ訓練で用いられる観測可能なタスクの集合と、前記ゼロショット学習における既知クラスのプロトタイプの集合を示す第１の補助情報と、未知クラスのプロトタイプの集合を示す第２の補助情報と、を含む入力データ、および複数のモデルから成る合成モデルを含むモデルデータを取得し、前記モデルデータの学習率パラメータを取得する取得部と、
    　前記入力データ、前記モデルデータ、および前記学習率パラメータを用いて、前記メタ訓練で用いられる損失関数が前記ゼロショット学習に用いる損失関数で評価される目的関数を最小化するように最適化手法を用いて前記合成モデルのモデルパラメータを学習するモデルパラメータ学習部と、
    　前記モデルパラメータを出力装置に表示するように制御する出力制御部と、
    　を備える、モデル学習装置。
  2. 　モデルパラメータ学習部は、前記学習率パラメータおよび前記目的関数の勾配を用いて、所定の回数、前記モデルパラメータを更新する更新部をさらに備える、請求項１に記載のモデル学習装置。
  3. 　前記合成モデルは、Ｘ⊂ＲＤのインスタンスを入力として補助情報空間Ａ⊂ＲＭに射影する第１のモデル、データセットからタスクをエンコードする第２のモデル、前記第１のモデルの出力と第２のモデルの出力と前記第２の補助情報からカテゴリカル分布を推定する第３のモデルを組み合わせた合成モデルであり、前記Ｘは、Ｄ次元の実数で表現される入力空間であり、Ｒは、実数空間である、請求項１に記載のモデル学習装置。
  4. 　前記第２のモデルは、前記第１のモデルの出力と、前記第１の補助情報とを入力としてベクトルを出力し、前記プロトタイプは、クラスと前記プロトタイプの対応を表す関数である、請求項３に記載のモデル学習装置。
  5. 　前記第３のモデルは、前記第１のモデルの出力と、前記ベクトルの平均を入力として前記カテゴリカル分布を推定する、請求項４に記載のモデル学習装置。
  6. 　前記モデルパラメータを学習することは、第１のモデル、第２のモデル、および第３のモデルのパラメータを推定することである、請求項３に記載のモデル学習装置。
  7. 　未知のタスクに対してゼロショット学習を実現するモデル学習装置のプロセッサが実行するモデル学習方法であって、
    　メタ訓練で用いられる観測可能なタスクの集合と、前記ゼロショット学習における既知クラスのプロトタイプの集合を示す第１の補助情報と、未知クラスのプロトタイプの集合を示す第２の補助情報と、を含む入力データ、および複数のモデルから成る合成モデルを含むモデルデータを取得することと、
    　前記モデルデータの学習率パラメータを取得することと、
    　前記入力データ、前記モデルデータ、および前記学習率パラメータを用いて、前記メタ訓練で用いられる損失関数が前記ゼロショット学習に用いる損失関数で評価される目的関数を最小化するように最適化手法を用いて前記合成モデルのモデルパラメータを学習することと、
    　前記モデルパラメータを出力装置に表示するように制御することと、
    　を備える、モデル学習方法。
  8. 　未知のタスクに対してゼロショット学習を実現するモデル学習装置のプロセッサが実行するモデル学習プログラムであって、
    　メタ訓練で用いられる観測可能なタスクの集合と、前記ゼロショット学習における既知クラスのプロトタイプの集合を示す第１の補助情報と、未知クラスのプロトタイプの集合を示す第２の補助情報と、を含む入力データ、および複数のモデルから成る合成モデルを含むモデルデータを取得することと、
    　前記モデルデータの学習率パラメータを取得することと、
    　前記入力データ、前記モデルデータ、および前記学習率パラメータを用いて、前記メタ訓練で用いられる損失関数が前記ゼロショット学習に用いる損失関数で評価される目的関数を最小化するように最適化手法を用いて前記合成モデルのモデルパラメータを学習することと、
    　前記モデルパラメータを出力装置に表示するように制御することと、
    　を前記プロセッサによって実行させるための命令を備えるモデル学習プログラム。
PCT/JP2022/041952 2022-11-10 2022-11-10 モデル学習装置、モデル学習方法、およびモデル学習プログラム WO2024100851A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/041952 WO2024100851A1 (ja) 2022-11-10 2022-11-10 モデル学習装置、モデル学習方法、およびモデル学習プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/041952 WO2024100851A1 (ja) 2022-11-10 2022-11-10 モデル学習装置、モデル学習方法、およびモデル学習プログラム

Publications (1)

Publication Number Publication Date
WO2024100851A1 true WO2024100851A1 (ja) 2024-05-16

Family

ID=91032092

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/041952 WO2024100851A1 (ja) 2022-11-10 2022-11-10 モデル学習装置、モデル学習方法、およびモデル学習プログラム

Country Status (1)

Country Link
WO (1) WO2024100851A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020121378A1 (ja) * 2018-12-10 2020-06-18 日本電気株式会社 学習装置および学習方法
WO2021118697A1 (en) * 2019-12-10 2021-06-17 Hrl Laboratories, Llc Process to learn new image classes without labels

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020121378A1 (ja) * 2018-12-10 2020-06-18 日本電気株式会社 学習装置および学習方法
WO2021118697A1 (en) * 2019-12-10 2021-06-17 Hrl Laboratories, Llc Process to learn new image classes without labels

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VINAY KUMAR VERMA; DHANAJIT BRAHMA; PIYUSH RAI: "A Meta-Learning Framework for Generalized Zero-Shot Learning", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 10 September 2019 (2019-09-10), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081475989 *

Similar Documents

Publication Publication Date Title
US11893781B2 (en) Dual deep learning architecture for machine-learning systems
CN111523621B (zh) 图像识别方法、装置、计算机设备和存储介质
US9990558B2 (en) Generating image features based on robust feature-learning
US20200302340A1 (en) Systems and methods for learning user representations for open vocabulary data sets
JP2019527440A (ja) マルチ関連ラベルを生成する方法及びシステム
WO2022206498A1 (zh) 一种基于联邦迁移学习的模型训练方法及计算节点
CN111091175A (zh) 神经网络模型训练方法、分类方法、装置和电子设备
EP4107668A1 (en) Adversarial autoencoder architecture for methods of graph to sequence models
CN112528029A (zh) 文本分类模型处理方法、装置、计算机设备及存储介质
WO2021038886A1 (ja) 学習方法、学習プログラムおよび学習装置
CN114419363A (zh) 基于无标注样本数据的目标分类模型训练方法及装置
KR20220094967A (ko) 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
CN114118207B (zh) 基于网络扩张与记忆召回机制的增量学习的图像识别方法
WO2024100851A1 (ja) モデル学習装置、モデル学習方法、およびモデル学習プログラム
Gangardiwala et al. Dynamically weighted majority voting for incremental learning and comparison of three boosting based approaches
CN112861962B (zh) 样本处理方法、装置、电子设备和存储介质
Tan et al. Learning sparse confidence-weighted classifier on very high dimensional data
WO2020075462A1 (ja) 学習器推定装置、学習器推定方法、リスク評価装置、リスク評価方法、プログラム
JP7047665B2 (ja) 学習装置、学習方法及び学習プログラム
Bouneffouf et al. Dialogue system with missing observation
US20240028722A1 (en) Methods, Devices, and Systems for Sanitizing a Neural Network to Remove Potential Malicious Data
Zhang et al. Scalable Batch-Mode Deep Bayesian Active Learning via Equivalence Class Annealing
US20240028726A1 (en) Methods, Devices, and Systems for Sanitizing a Neural Network to Remove Potential Malicious Data
CN116151635B (zh) 一种基于多维关系图的抗风险企业决策的优化方法和装置
JP7388574B2 (ja) モデル推定装置、モデル推定方法及びモデル推定プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22965176

Country of ref document: EP

Kind code of ref document: A1