WO2022123619A1 - 学習システム、学習方法、及びプログラム - Google Patents

学習システム、学習方法、及びプログラム Download PDF

Info

Publication number
WO2022123619A1
WO2022123619A1 PCT/JP2020/045416 JP2020045416W WO2022123619A1 WO 2022123619 A1 WO2022123619 A1 WO 2022123619A1 JP 2020045416 W JP2020045416 W JP 2020045416W WO 2022123619 A1 WO2022123619 A1 WO 2022123619A1
Authority
WO
WIPO (PCT)
Prior art keywords
loss
feature amount
image
learning model
learning
Prior art date
Application number
PCT/JP2020/045416
Other languages
English (en)
French (fr)
Inventor
永男 蔡
美廷 金
プリーサム プラキャッシャー
Original Assignee
楽天グループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 楽天グループ株式会社 filed Critical 楽天グループ株式会社
Priority to EP20938500.4A priority Critical patent/EP4040346A1/en
Priority to JP2021563294A priority patent/JP6995262B1/ja
Priority to CN202080041868.XA priority patent/CN114916238A/zh
Priority to PCT/JP2020/045416 priority patent/WO2022123619A1/ja
Priority to US17/616,674 priority patent/US20220398504A1/en
Priority to TW110145679A priority patent/TWI804090B/zh
Publication of WO2022123619A1 publication Critical patent/WO2022123619A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • This disclosure relates to learning systems, learning methods, and programs.
  • Non-Patent Document 1 describes a method called Few-Shot Object Detection that creates a learning model that can recognize data with an unknown label based on very little training data.
  • Non-Patent Document 1 targets single-label data, it cannot be applied to multi-label data. Therefore, in the conventional method, the accuracy of the learning model that can recognize the multi-label data cannot be improved unless more training data is prepared.
  • One of the purposes of this disclosure is to improve the accuracy of the learning model that can recognize multi-label data with a small amount of training data.
  • the learning system calculates the first loss based on the output of the training model and the target output when the multi-label query data is input to the training model.
  • Calculation means a feature amount acquisition means for acquiring the feature amount of the query data calculated based on the parameters of the learning model, and the feature amount of the support data corresponding to the query data, and the query data.
  • the parameter is adjusted based on the second calculation means for calculating the second loss, the first loss, and the second loss based on the feature amount of the above and the feature amount of the support data.
  • FIG. 1 is a diagram showing an example of the overall configuration of the learning system.
  • the learning system S includes a server 10, a creator terminal 20, and a learning terminal 30, which are connected to a network N such as the Internet or a LAN.
  • a network N such as the Internet or a LAN.
  • FIG. 1 shows one server 10, one creator terminal 20, and one learning terminal 30, there may be a plurality of these.
  • the server 10 is a server computer.
  • the server 10 includes a control unit 11, a storage unit 12, and a communication unit 13.
  • the control unit 11 includes at least one processor.
  • the storage unit 12 includes a volatile memory such as RAM and a non-volatile memory such as a hard disk.
  • the communication unit 13 includes at least one of a communication interface for wired communication and a communication interface for wireless communication.
  • the creator terminal 20 is a computer operated by the creator.
  • the creator is the person who creates the data to be input to the learning model.
  • an image will be described as an example of this data. Therefore, the portion described as an image in this embodiment can be read as data.
  • the data input to the learning model is not limited to images. Examples of other data will be described in the modified examples described later.
  • the creator terminal 20 is a personal computer, a smartphone, or a tablet terminal.
  • the creator terminal 20 includes a control unit 21, a storage unit 22, a communication unit 23, an operation unit 24, and a display unit 25.
  • the physical configurations of the control unit 21, the storage unit 22, and the communication unit 23 may be the same as those of the control unit 11, the storage unit 12, and the communication unit 13, respectively.
  • the operation unit 24 is an input device such as a mouse or a touch panel.
  • the display unit 25 is a liquid crystal display or an organic EL display.
  • the learning terminal 30 is a computer that executes learning of a learning model.
  • the learning terminal 30 is a personal computer, a smartphone, or a tablet terminal.
  • the learning terminal 30 includes a control unit 31, a storage unit 32, a communication unit 33, an operation unit 34, and a display unit 35.
  • the physical configurations of the control unit 31, the storage unit 32, the communication unit 33, the operation unit 34, and the display unit 35 are the same as those of the control unit 11, the storage unit 12, the communication unit 13, the operation unit 24, and the display unit 25, respectively. It may be there.
  • the programs and data described as being stored in the storage units 12, 22, and 32 may be supplied via the network N.
  • the hardware configurations of the server 10, the creator terminal 20, and the learning terminal 30 are not limited to the above examples, and various hardware can be applied.
  • a reading unit for example, an optical disk drive or a memory card slot
  • an input / output unit for example, a USB port
  • at least one of the programs and data stored in the information storage medium may be supplied via at least one of the reading unit and the input / output unit.
  • the processing of the learning system S will be described by taking as an example a case where an image of a product sold via a website is input to a learning model.
  • the creator is a clerk at a store that sells products.
  • the creator edits the photo of the product with the image editing software installed on the creator terminal 20 and creates an image to be posted on the website.
  • Image editing software synthesizes artificial objects with product photos. Objects are components of an image. The product that is the subject is also one of the objects. The object synthesized by the image editing software is an electronic image. For example, the creator synthesizes at least one of a digital text, a digital frame, and a color bar with a photograph of a product for the purpose of promoting the product.
  • Digital text is text synthesized by image editing software. Digital text is different from natural text. Natural text is the text contained in the product itself. In other words, natural text is the text contained in the unedited photo. For example, the natural text is a product name or brand name printed on the product.
  • the digital frame is a frame synthesized by image editing software.
  • a digital frame having 1 pixel and a digital frame having 2 pixels or more exists will be described, but the digital frame may have an arbitrary thickness.
  • Digital frames are different from natural frames.
  • the natural frame is a frame included in the product itself.
  • a natural frame is a frame contained in an unedited photo.
  • a natural frame is the edge of a box of goods.
  • the color bar is an image showing the color variation of the product.
  • the color bar includes each bar of a plurality of colors. For example, in the case of clothes having 10 color variations, the color bar includes 10 color bars.
  • FIG. 2 is a diagram showing an example of an image posted on a website.
  • a square thumbnail will be described as an example of an image.
  • Image I1 shows the natural frame NF20, which is the edge of the coffee box, and the natural text NT21 of the product name printed on the package.
  • Image I2 is not synthesized with digital text or the like.
  • a 1-pixel digital frame DF30 and a digital text DT31 are combined with the bag image.
  • the digital text DT40 is synthesized with respect to the image of the glove.
  • the digital text DT50 and the color bar CB51 composed of nine color bars are combined with the image of the clothes.
  • the image may be uploaded because the design is bad and the customer's purchasing motivation cannot be improved.
  • images that have a good design and enhance customers' purchasing motivation may be uploaded. For this reason, it is important to identify the edited content (artificially decorated part) applied to the image.
  • the learning terminal 30 creates a learning model that executes labeling of the edited content applied to the image.
  • the learning model is a model using machine learning.
  • Various methods can be used for machine learning itself, for example, a convolutional neural network or a recurrent neural network can be used.
  • the learning model of this embodiment is a supervised model or a semi-supervised model, but an unsupervised model may be used.
  • the learning model for labeling as in this embodiment is sometimes called a classification learner. Labeling is to label the input image. Labels are a classification of images. In this embodiment, the label means the edited content applied to the image. The following labels 0 to 6 will be described as an example of the label, but the label is not limited to the example of the present embodiment, and any label can be set.
  • Label 0 Image contains no edits, (Label 1) Image contains digital text, (Label 2) Image contains natural text, (Label 3) Image contains digital frames of 2 pixels or more. , (Label 4) image contains 1 pixel digital frame, (label 5) image contains natural frame, (label 6) image contains color bar. Note that label 0 does not correspond to any of labels 1 to 6.
  • the output of the training model contains seven binary values indicating whether the image belongs to each of labels 0-6.
  • the case where the output of the training model is expressed in a vector format is taken as an example, but the output of the training model may be in any format.
  • the output of the training model may be in array format, matrix format, or a single number.
  • the output of the learning model may be a numerical value of 0 to 6 indicating the label to which the image belongs, instead of the above seven values. In this case, if the image belongs to the label 2 and the label 5, the output of the learning model is a combination of the numerical values of 2 and 5.
  • the value of a certain label is 0, it means that it does not belong to that label.
  • a label with a value of 1 means that it belongs to that label.
  • the output of the training model is [0,1,0,0,1,0,0], it means that the image belongs to label 1 and label 4.
  • the output of the learning model does not have to be a binary of 0 or 1, and an intermediate value may exist.
  • the median value indicates the probability (probability) of belonging to the label. For example, if the value of a label is 0.9, it means that the probability of belonging to that label is 90%.
  • the image database DB contains a mixture of single-label images and multi-label images.
  • a single label means that the image belongs to only one label.
  • the image I4 is a single label image.
  • Multi-label means that an image belongs to a plurality of labels.
  • the images I1, I2, I4, and I5 are multi-label images.
  • the image does not belong to both labels 0 and labels 1-6, but the image may belong to any combination of labels 1-6. Therefore, depending on the image, it may belong to three or more of labels 1 to 6.
  • the first reason is that the majority of the images stored in the image database DB are not only popular products but also less popular products. Such a distribution is called the long tail distribution.
  • a population with a long tail distribution has a wide variety of images. Therefore, even if a large number of training data are prepared, it is difficult for the learning model to recognize the features of the image because the training data has a wide variety of patterns as the shape of the product.
  • the second reason is that the image stored in the image database DB occupies most of the appearance of the product, and the part such as digital text is not conspicuous like fine particles. Therefore, it is difficult for the learning model to recognize features such as digital text. Multi-label images are even more difficult because they need to recognize a number of inconspicuous features such as fine particles. Such a problem can also be called a fine-grained multi-label classification problem. Further, in an image such as the present embodiment, it is difficult to distinguish between a digital text and a natural text, and it is also difficult to distinguish between a digital frame and a natural frame.
  • the learning system S of the present embodiment creates a learning model that can support multi-label by applying Few-Shot learning based on the approach of contrastive learning.
  • Few-Shot learning based on the approach of contrastive learning.
  • FIG. 3 is a functional block diagram showing an example of the function of the learning system S.
  • the functions of the server 10 and the learning terminal 30 will be described, and the functions of the creator terminal 20 will be omitted.
  • the creator terminal 20 may include a function of editing an image based on the operation of the creator and a function of uploading the edited image.
  • the data storage unit 100 is realized.
  • the data storage unit 100 is mainly realized by the storage unit 12.
  • the data storage unit 100 stores data necessary for learning the learning model.
  • the data storage unit 100 stores an image database DB.
  • the image database DB stores images uploaded by each of the plurality of creators.
  • the image database DB also stores an image (an image belonging to label 0) that is only trimmed to a predetermined size and is not artificially decorated.
  • the format for example, size, resolution, number of color bits, extension
  • the image database DB has an arbitrary format.
  • the image of may be stored.
  • the image stored in the image database DB is labeled by the user of the learning terminal 30 after being downloaded to the learning terminal 30, but the image with the label is stored in the image database DB. You may.
  • FIG. 4 is a diagram showing an example of an overall image of the functions of the learning terminal 30.
  • a data storage unit 300 a data acquisition unit 301, a first calculation unit 302, a feature amount acquisition unit 303, a second calculation unit 304, and an adjustment unit 305 are realized.
  • the data storage unit 300 is mainly realized as a storage unit 32, and each of the data acquisition unit 301, the first calculation unit 302, the feature amount acquisition unit 303, the second calculation unit 304, and the adjustment unit 305 mainly includes the control unit 31. It will be realized.
  • the data storage unit 300 stores data necessary for learning the learning models M1 and M2. When the learning model M1 and the learning model M2 are not distinguished in the following description, they are simply described as the learning model M.
  • the data storage unit 300 stores a data set DS for learning. Each of the plurality of images with the correct label is stored in the data set DS.
  • FIG. 5 is a diagram showing an example of the data set DS.
  • the data set DS stores a large number of pairs of images and labels that are correct answers. This pair is used to adjust the parameters of the learning model M. This pair is sometimes referred to as training data, teacher data, or correct answer data.
  • the label that is the correct answer includes a value indicating whether or not the label belongs to each of the labels 0 to 6. That is, the label that is the correct answer is the target output (content that the learning model M should output).
  • the case where a part of the images in the image database DB is stored in the data set DS will be described, but all the images in the image database DB may be stored in the data set DS.
  • the user of the learning terminal 30 accesses the server 10 and downloads a part of the images in the image database DB.
  • the user displays the downloaded image on the display unit 35, assigns a label to be the correct answer, and creates a data set DS.
  • FIG. 6 is a diagram showing an example of the distribution of individual labels.
  • the vertical axis of FIG. 6 indicates each of labels 0 to 6, and the horizontal axis indicates the total number of images (number of samples) for each label.
  • the total number of images of label 1 and label 4 is incremented by 1 due to this one image.
  • the image of the label 1 is extremely large, and the image of the label 5 is extremely small.
  • the distribution in FIG. 6 is a long tail distribution because the total number of images is not even and unbalanced.
  • FIG. 7 is a diagram showing an example of the distribution of individual classes.
  • a class is a concept similar to a label in the sense of some sort of classification, but the classification problem and the label classification problem are different.
  • the classification problem is such that there is no overlap between the subsets and the population always belongs to any one subset.
  • the label classification problem assumes that there are overlaps between subsets and that they do not belong to any subset.
  • At least one label corresponds to the class. Images belong to one of the classes, not the other.
  • a multi-label image belongs to one label and another, but not to one class and another. Assuming that there are 41 combinations of labels in a population of randomly sampled images, there are 41 classes in this population.
  • the distribution in FIG. 7 is a long tail distribution because the total number of images is not even and unbalanced, similar to the distribution in FIG.
  • FIGS. 6 and 7 for the convenience of explaining the long tail distribution, a case where a label is attached to about 40,000 to 50,000 images is taken as an example, but the user assigns the label.
  • the number of images may be less than this.
  • the user may randomly sample several to several thousand images and label them with the correct answer.
  • the method of attaching the correct label to the image is not limited to the above example, and any method can be used.
  • the user may label the image with the correct answer by using a known clustering technique.
  • the user may give a correct label to the image by using the learning model M in which the single-label image is trained.
  • the data storage unit 300 stores not only the data set DS but also the learning model M (actual data of the learning model M).
  • the learning model M includes a program, parameters, and so on.
  • the format itself of the program and the parameter of the learning model M various formats used in machine learning can be used.
  • the program of the learning model M includes code that defines the processing (convolution, calculation of embedded vector, pooling, etc.) in each of the plurality of layers.
  • the parameters of the learning model M include a weighting factor and a bias.
  • the parameters of the learning model M are referenced by the program of the learning model M.
  • the data storage unit 300 stores the learning model M1 for the query image x Q and the learning model M2 for the support image x S.
  • the learning model M1 is an example of the first learning model.
  • the learning model M2 is an example of the second learning model.
  • the query image x Q is input to the learning model M1.
  • the support image x S is input to the second learning model M2. Details of the query image x Q and the support image x S will be described later.
  • the parameters of the learning model M1 and the parameters of the learning model M2 are shared. That is, the parameters of the learning model M1 and the parameters of the learning model M2 are the same.
  • the program of the learning model M1 and the program of the learning model M2 are the same, and the internal structure such as layers is also the same. That is, either one of the learning model M1 and the learning model M2 is a copy of the other.
  • the data stored in the data storage unit 300 is not limited to the above example.
  • the data storage unit 300 may store data necessary for learning the learning model M.
  • the data storage unit 300 may divide the data set DS into three, a training data set, a verification data set, and a test data set, and store the data set DS.
  • the data storage unit 300 may store the same database as the image database DB.
  • the data acquisition unit 301 acquires an image used in the learning of the learning model M.
  • the data acquisition unit 301 acquires the query image x Q and the support image x S from the image group having the long tail distribution in the multi-label.
  • the data acquisition unit 301 may acquire the query image x Q and the support image x S from the image group that does not have the long tail distribution.
  • An image group is a collection of multiple images.
  • this image group is stored in an image database DB having a long tail distribution. If the number of samples of the data set DS exists to a certain extent, the data set DS may also have a long tail distribution, so that even if a collection of a plurality of images stored in the data set DS corresponds to the above image group. good.
  • the long tail distribution is a distribution as referred to FIGS. 6 and 7.
  • the definition of the long tail distribution itself may follow the general definition. For example, if the difference between the total number of images with the most labels or classes and the total number of images with the least labels or classes is greater than or equal to the threshold value, it is a long tail distribution. Further, for example, the total value of the total number of images of the upper a (a is an integer of 2 or more) labels or classes and the total value of the total number of images of the lower b labels or classes (b is an integer of 2 or more). If the difference between, is greater than or equal to the threshold value, it is a long tail distribution.
  • the learning model M of the present embodiment is a model that recognizes an object included in an image
  • a multi-label query image x Q will be described as an example of query data.
  • the support data there is a support image x S corresponding to the query image x Q.
  • Each of the query image x Q and the support image x S is an image used in Few-shot learning.
  • the query image x Q is an image of a new class that is not trained by the training model M.
  • the query image x Q is sometimes called a test image.
  • the support image x S is an image of the same class as the query image x Q or a different class from the query image x Q. For example, if a general class is trained by the training model M using a training data set for general object recognition, a class to be trained using the query image x Q and the support image x S. Is not learned by the learning model M in principle.
  • the data acquisition unit 301 randomly samples and acquires an image group stored in the image database DB, and stores a pair including each image and a label that is a correct answer in the data set DS. As shown in FIG. 4, the data acquisition unit 301 randomly samples the image group stored in the data set DS to acquire the query image x Q and the support image x S.
  • the data acquisition unit 301 randomly acquires the query image x Q and the support image x S from the data set DS for each episode.
  • An episode is a series of processes in Few-shot learning. In Few-shot learning, many episodes are repeated. For example, for each episode, there is an image set of at least one query image x Q and at least one support image x S.
  • N means the number of classes per episode.
  • K means the number of images per episode.
  • N and K are natural numbers.
  • N the smaller N is, the higher the accuracy of the learning model M is, and the higher K is, the higher the accuracy of the learning model M is.
  • N 1 and K is 5 (that is, in the case of 1-Way 5-shot) will be described, but N and K may be arbitrary values.
  • the case where there are episodes corresponding to some combinations among the combinations of labels that can be considered in the multi-label will be described, but all the episodes may exist.
  • a case where there are 15 episodes corresponding to each of the 15 classes shown in FIG. 7 will be described as an example.
  • the number of episodes is not limited to 15, and may be any number.
  • the case where the classes do not overlap between episodes will be described, but the classes may overlap between episodes.
  • FIG. 8 is a diagram showing an example of a query image x Q and a support image x S included in each episode. As shown in FIG. 8, for each of episodes 1 to 15, there is an image set of one query image x Q and five support images x S.
  • the number of query images x Q may be two or more. Further, the number of query images x Q and the number of support images x S may be the same. That is, there may be five query images x Q for each episode.
  • episode 1 is an episode for learning an image of a class having the largest total number of images in the distribution of FIG. 7 (a class having only label 1).
  • the data acquisition unit 301 randomly samples six images of this class (images with labels [0,1,0,0,0,0,0]) from the data set DS.
  • the data acquisition unit 301 uses one of the six images as the query image x Q and the remaining five images as the support image x S.
  • episode 2 is an episode for learning an image of a class (class of label 1 and label 2) having the second largest total number of images.
  • the data acquisition unit 301 randomly samples six images of this class (images with labels [0,1,1,0,0,0]) from the data set DS.
  • the data acquisition unit 301 uses one of the six images as the query image x Q and the remaining five images as the support image x S.
  • the data acquisition unit 301 randomly samples 6 images of the class corresponding to the episode for each episode and acquires them as query images x Q and sample images. That is, the data acquisition unit 301 acquires six images of the class corresponding to the episode as an image set of the query image x Q and the support image x S of a certain episode.
  • one episode includes each support image x S of a plurality of classes.
  • one episode may contain only the query images x Q of any one of the plurality of classes, or may include a plurality of query images x Q corresponding to each of the plurality of classes. May be good. Even when the value of N is 2 or more, the query image x Q is not limited to one.
  • the number of episodes may be specified by the user or may be automatically determined from the statistical values in the image database DB or the data set DS.
  • a user may specify a class to be trained by the learning model M, and episodes may be set according to the number of classes.
  • a class in which the total number of images is equal to or greater than a threshold value may be automatically specified, and episodes may be set according to the number.
  • the data acquisition unit 301 may acquire the number of images according to the episode.
  • the first calculation unit 302 calculates the first loss LBCE based on the output of the learning model M1 and the target output when the multi-label query image x Q is input to the learning model M1. .. That is, the first calculation unit 302 calculates the first loss LBCE based on the parameters of the learning model M1.
  • the output of the learning model M1 is the actual output obtained from the learning model M1.
  • the target output is the content that the learning model M1 should output.
  • the correct label stored in the dataset DS corresponds to the target output.
  • the first loss LBCE indicates an error (difference) between the output of the learning model M1 and the target output.
  • the first loss LBCE is an index capable of measuring the accuracy of the learning model M1.
  • a high first loss LBCE means that the error is large and the accuracy is low.
  • a low first loss LBCE means that the error is small and the accuracy is high.
  • the first loss LBCE can be calculated by using an arbitrary method.
  • the first loss LBCE may be any one that can be calculated based on a predetermined loss function.
  • the set of individual query images x Q included in a certain episode will be referred to as uppercase X Q.
  • the set X Q of the query image x Q of a certain episode is composed of one query image x Q.
  • N 1 in the N-Way K-shot
  • the query image is described as x Qi .
  • i is a natural number less than or equal to N. i ⁇ ⁇ 1, ..., N ⁇ , and x Q i ⁇ X Q.
  • the first calculation unit 302 inputs the query image x Q of a certain episode into the learning model M1.
  • This learning model M1 is a model before parameter adjustment is performed by the adjustment unit 305 described later, and may be, for example, a trained model called ResNet50. That is, the learning model M1 may not be an object such as a digital text to be recognized in the present embodiment, but may be a model in which the characteristics of a general object are learned.
  • the embedding function f (x) calculates the embedding vector f (x Q ) of the query image x Q.
  • x of f (x) means an arbitrary image.
  • the embedded function f (x) may be a part of the program of the learning model M1 or may be an external program called by the learning model M1.
  • the embedded vector is acquired by the feature amount acquisition unit 303, which will be described later.
  • the following equations 1 and 2 are examples of the loss function, and any function can be used as the loss function itself. If a loss other than the multi-label cross-entropy loss is to be used, a loss function corresponding to the loss may be used.
  • Y Q n in Equation 2 is each binary label of the query image x Q , and y Q n ⁇ y Q.
  • yQ is a combination of labels corresponding to each input. The smaller the error between the actual output corresponding to the query image x Q and the target output of the query image x Q , the smaller the first loss LBCE , and the larger this error, the larger the first loss LBCE. Become.
  • the learning model M of the present embodiment can recognize three or more labels, and there is an image set including a query image x Q and a support image x S for each combination of labels (that is, for each episode). Since there are three or more labels, there are two or more combinations of labels.
  • the first calculation unit 302 calculates the first loss LBCE for each combination of labels (that is, for each episode) based on the query image x Q corresponding to the combination.
  • the calculation method of the first loss LBCE of each episode is as described above. Since there are 15 episodes in this embodiment, the first calculation unit 302 calculates the first loss LBCE corresponding to each of the 15 episodes.
  • the last layer of the model in which labels other than the plurality of labels to be recognized are learned is replaced with the layer corresponding to the plurality of labels.
  • the last layer is the output layer.
  • the last layer of the learning model M in which the shape of a general object is learned using ResNet 50 is a layer corresponding to multi-label (in this embodiment, seven values of labels 0 to 6). Is replaced by the layer that outputs).
  • the first calculation unit 302 calculates the first loss LBCE based on the output of the learning model M replaced by the layer corresponding to the plurality of labels and the target output.
  • the feature amount acquisition unit 303 acquires the feature amount of the query image x Q calculated based on the parameters of the learning model M and the feature amount of the support image x S corresponding to the query image x Q.
  • This parameter is the current parameter of the learning model M. That is, this parameter is a parameter before adjustment by the adjustment unit 305 described later. If the pre-learning is performed using ResNet50 or the like, the feature amount is acquired based on the parameters after the pre-learning.
  • the feature amount is information indicating the feature of the image.
  • the case where the embedded vector corresponds to the feature amount will be described. Therefore, the portion described as the embedded vector in this embodiment can be read as a feature amount.
  • the feature quantity can be expressed in any format and is not limited to the vector format. Features may be expressed in other formats such as array format, matrix format, or a single number.
  • learning models M1 and M2 are prepared.
  • the feature amount acquisition unit 303 acquires the embedded vector of the query image x Q calculated based on the parameters of the learning model M1 and the embedded vector of the support image x S calculated based on the parameters of the learning model M2. ..
  • the feature amount acquisition unit 303 acquires the embedded vector of the query image x Q calculated by the learning model M1 when the query image x Q is input to the learning model M1.
  • the feature amount acquisition unit 303 acquires the embedding vector of the support image x S calculated by the learning model M2.
  • the feature amount acquisition unit 303 acquires each embedded vector of the plurality of support images x S. Since the value of K is 5 and there are 5 support images x S per episode, the feature amount acquisition unit 303 inputs each of the 5 support images x S into the learning model M2 and has 5 images. Get the embedded vector. If the value of N is 2 or more, the feature amount acquisition unit 303 may acquire the embedding vector of the support image x S according to the number of N.
  • the feature amount acquisition unit 303 acquires the embedded vector of the query image x Q corresponding to the combination and the embedded vector of the support image x S corresponding to the combination for each combination of labels (that is, for each episode). do. In the present embodiment, since there are 15 episodes, the feature amount acquisition unit 303 has one query image x Q embedded vector and five support images x S corresponding to each of the 15 episodes. Get each embedded vector and.
  • the second calculation unit 304 calculates the second loss L CL based on the embedded vector of the query image x Q and the embedded vector of the support image x S.
  • the second loss L CL indicates an error (difference) between the embedded vector of the query image x Q and the embedded vector of the support image x S.
  • the second loss L CL is an index capable of measuring the accuracy of the learning models M1 and M2.
  • a high second loss L CL means that the error is large and the accuracy is low.
  • a low second loss L CL means that the error is small and the accuracy is high.
  • the second loss L CL can be calculated by using an arbitrary method.
  • the second loss L CL may be any one that can be calculated based on a predetermined loss function.
  • Contrastive loss is the loss used in contrastive learning. contrastive learning is used to learn whether image pairs are similar or dissimilar. For example, the Euclidean distance of a pair of embedded vectors of a pair of images ⁇ X 1 , X 2 ⁇ is used as the distance metric D W.
  • the contrast loss is calculated based on the following formula 3.
  • Y 0, it means that the image X 1 and the image X 2 are similar (same label).
  • Y 1, it means that the image X 1 and the image X 2 are not similar (different labels).
  • the following formula 3 is an example of a loss function, and any function can be used as the loss function itself.
  • M in the following formula 3 is a constant for adjusting the loss when Y is 1.
  • the second calculation unit 304 calculates the second loss L CL based on the following mathematical formula 4.
  • the line drawn on the upper side of f (x S ) in Equation 4 is the average value of the embedded vector of the support image x S.
  • the following formula 4 is an example of a loss function, and any function can be used as the loss function itself.
  • the query image x Q and the support image x S have at least one label of the same label. Although the case where all these labels are the same will be described, these labels may be a partial match rather than an exact match.
  • the second calculation unit 304 calculates the second loss L CL so that the larger the difference between the embedded vector of the query image x Q and the embedded vector of the support image x S , the larger the second loss L CL .
  • the difference in the embedded vector may be expressed by an index other than the distance. The relationship between this difference and the second loss LCL is defined in the loss function.
  • N is 2 or more, and there are a plurality of support images x S per episode. Therefore, the second calculation unit 304 averages the support images x S based on the embedded vectors of the plurality of support images x S.
  • the feature quantity (in the case of Equation 4, the line drawn on the upper side of f (x S )) is calculated, and the second loss L is based on the embedded vector of the query image x Q and the average embedded vector.
  • Get CL The average embedded vector is not a simple average of the five supported images x S , but may be weighted in some way. If the value of N is 2 or more, the average feature amount may be calculated across the classes.
  • the second calculation unit 304 is based on the embedded vector of the query image x Q corresponding to the combination and the embedded vector of the support image x S corresponding to the combination for each combination of labels (that is, for each episode). Then, the second loss L CL is calculated. In the present embodiment, since there are 15 episodes, the second calculation unit 304 has one query image x Q embedded vector and five support images x S corresponding to each of the 15 episodes. The second loss L CL is calculated based on each embedded vector.
  • the adjusting unit 305 adjusts the parameters of the learning model M based on the first loss LBCE and the second loss LCL . Adjusting the parameters has the same meaning as executing the training of the learning model M.
  • various methods can be used, and for example, an inverse error propagation method or a gradient descent method may be used.
  • the adjusting unit 305 adjusts the parameters of the learning model M so that each of the first loss LBCE and the second loss LCL becomes smaller.
  • the parameters of the learning model M are adjusted so that the first loss LBCE becomes small, the error between the output of the learning model M and the label that is the correct answer becomes small. That is, the probability that the learning model M outputs a correct answer increases. In other words, the output of the learning model M approaches the label that is the correct answer.
  • the learning model M will calculate the embedded vector so that it becomes smaller.
  • the query image is adjusted so that the parameters of the training model M are adjusted so that the second loss L CL becomes small.
  • the training model M calculates the embedding vector so that the difference between the embedding vector of xQ and the embedding vector of the support image xS that is not similar to the query image xQ becomes large.
  • the adjusting unit 305 calculates the total loss L total based on the first loss L BCE and the second loss L CL , and sets the parameters of the learning model M based on the total loss L total . adjust.
  • the total loss L total is calculated based on the following formula 5.
  • the following formula 5 is an example of a loss function, and any function can be used as the loss function itself.
  • the total loss L total may be calculated by a weighted average using a weighting coefficient instead of a simple average as in Equation 5 below.
  • the learning model M1 and the learning model M2 exist, and the parameters are shared between them. Therefore, the adjusting unit 305 adjusts each of the parameters of the learning model M1 and the parameters of the learning model M2. In the present embodiment, the adjustment unit 305 adjusts the parameters of the learning model M1 by using the total loss L total , and copies the parameters of the adjusted learning model M1 to the learning model M2.
  • the adjusting unit 305 may adjust the parameters of the learning model M2 by using the total loss L total , and copy the parameters of the adjusted learning model M2 to the learning model M1. Further, the adjusting unit 305 does not copy the parameters, but adjusts the parameters of the learning model M1 by using the total loss L total , and adjusts the parameters of the learning model M2 by using the same total loss L total . You may. Even in this way, the parameters are shared as a result.
  • the adjustment unit 305 adjusts the parameters of the learning model M based on the first loss LBCE and the second loss LCL calculated for each combination of labels (that is, for each episode). Since there are 15 episodes in this embodiment, the adjusting unit 305 is based on 15 loss pairs (1st loss LBCE and 2nd loss LCL pair) corresponding to each of the 15 episodes. Then, the parameters of the learning model M are adjusted.
  • the coordinator 305 calculates 15 total losses L total corresponding to each of the 15 episodes.
  • the adjusting unit 305 adjusts the parameters of the learning model M for each of the 15 total losses L total by using the inverse error propagation method or the like.
  • the adjusting unit 305 may adjust the parameters of the learning model M after collecting all or a part of the 15 total losses L total into one loss.
  • the adjusting unit 305 may adjust the parameters of the learning model M without calculating the total loss L total . For example, the adjusting unit 305 may adjust the parameters of the learning model M so that the first loss L BCE becomes small, and then adjust the parameters so that the second loss L CL becomes small. Further, for example, the adjusting unit 305 may adjust the parameters of the learning model M so that the second loss L CL becomes small, and then adjust the parameters so that the first loss L BCE becomes small.
  • the adjusting unit 305 may adjust the parameters of the learning model M after combining the first loss LBCE in one episode and the first loss LBCE in another episode into one loss.
  • the adjusting unit 305 may adjust the parameters of the learning model M after combining the second loss L CL in one episode and the second loss L CL in another episode into one loss.
  • FIG. 9 is a flow chart showing an example of processing executed by the learning system S.
  • the learning terminal 30 executes the learning of the learning model M
  • FIG. 9 shows an example of the processing executed by the learning terminal 30.
  • This process is executed by the control unit 31 operating according to the program stored in the storage unit 32.
  • This process is an example of the process executed by the functional block shown in FIG.
  • the data set DS is stored in the storage unit 32 in advance. Further, it is assumed that the order of the episodes to be processed and the class corresponding to each episode are specified in advance. For example, the episodes corresponding to each of the 15 classes in the long tail distribution shown in FIG. 7 are in descending order of the total number of images (in the example of FIG. 7, from the class with only label 1 to the classes with label 2 and label 3). It shall be specified as the episode to be processed (in order).
  • the learning terminal 30 randomly samples one query image x Q and five support images x S of the episode to be processed from the data set DS (S1).
  • the learning terminal 30 inputs the query image x Q of the episode to be processed into the learning model M1 (S2).
  • the learning terminal 30 calculates the first loss LBCE of the query image x Q based on the actual output of the learning model M1 and the label that is the correct answer of the query image x Q based on the data set DS ( S3).
  • the learning terminal 30 inputs each of the five support images x S of the episode to be processed into the learning model M2 (S4).
  • the learning terminal 30 acquires an embedded vector of the query image x Q calculated by the learning model M1 and an embedded vector of each of the five support images x S calculated by the learning model M2 (S5).
  • the learning terminal 30 calculates the average value of the embedded vectors of the five supported images x S (S6).
  • the learning terminal 30 calculates the second loss L CL based on the embedded vector of the query image x Q and the average value calculated in S6 (S7).
  • the learning terminal 30 calculates the total loss L total based on the first loss L BCE and the second loss L CL (S8).
  • the learning terminal 30 adjusts the respective parameters of the learning model M1 and the learning model M2 based on the total loss L total (S9).
  • the learning terminal 30 determines whether or not the processing of all episodes has been executed (S10). If there is an episode for which processing has not been executed yet (S10; N), the process returns to the processing of S1 and the next episode becomes the processing target. When it is determined that the process has been executed for all the episodes (S10; Y), the learning terminal 30 determines whether or not the learning has been repeated a predetermined number of times (S11). This number is called an epoch.
  • the learning terminal 30 repeats the adjustment of each parameter of the learning model M1 and the learning model M2 (S12).
  • S12 the processes from S1 to S9 are repeated for each of the 15 episodes.
  • this process ends.
  • the multi-label data is recognized with a small amount of training data by adjusting the parameters of the learning model M based on the first loss LBCE and the second loss LCL .
  • the accuracy of the possible learning model M can be improved. For example, if it is attempted to adjust the parameters of the learning model M using only the first loss LBCE , which is a multi-label cross-entropy loss, it is necessary to prepare a huge amount of training data. Further, for example, if an attempt is made to adjust the parameters of the learning model M by using only the second loss LCL , which is a contrastive loss based on few-shot learning, the number of training data can be reduced, but the first described above.
  • the accuracy of the learning model M that can handle multi-labels may not be sufficiently improved due to the above-mentioned problem and the second problem.
  • the first loss L BCE and the second loss L CL together, it is possible to achieve both a reduction in training data and an improvement in the accuracy of the learning model M.
  • the labeling accuracy of the label (labels 0, 4, 5, 6 in FIG. 6) in which the total number of images in the long tail distribution is relatively small is particularly improved. Further, by realizing the reduction of training data, it is possible to save the user's trouble when creating the learning model M.
  • the learning model M can learn the features of similar images. For example, the accuracy of the learning model M can be improved by adjusting the parameters of the learning model M so that the embedded vector of the query image x Q and the embedded vector of the support image x S come close to each other.
  • the learning system S acquires the second loss L CL based on the embedded vector of the query image x Q and the average value of each embedded vector of the plurality of supported images x S , thereby acquiring the supported image x.
  • the number of S can be increased and the accuracy of the learning model M can be effectively improved. That is, the second loss L CL can be calculated accurately even when the number of support images x S is increased. Further, by combining the embedded vectors of a plurality of support images x S into one average value, one second loss L CL may be calculated, and it is not necessary to calculate a large number of second loss L CLs .
  • the processing load of the terminal 30 can be reduced and learning can be speeded up.
  • the learning system S calculates the total loss L total based on the first loss L BCE and the second loss L CL and adjusts the parameters to adjust the first loss L BCE and the second loss L.
  • the accuracy of the learning model M can be effectively improved by using one index that comprehensively considers CL .
  • the processing required at the time of learning can be simplified. That is, by combining the two losses into one, the learning process can also be combined into one. As a result, the processing load of the learning terminal 30 can be reduced and learning can be speeded up.
  • an image set including the query image x Q and the support image x S exists for each label combination (that is, for each episode), and the first loss L calculated for each label combination exists.
  • the learning model M can learn the characteristics of the combination of various labels, and the accuracy of the learning model M can be improved. Further, even when there are many combinations of labels in the multi-label, it is possible to create a learning model M that can recognize the combinations.
  • the learning system S can execute the calculation of the embedded vector in parallel by inputting the query image x Q into the learning model M1 and inputting the support image x S into the learning model M2, and can perform the learning process. It can be speeded up.
  • the learning system S is a processing target of the learning model M by acquiring the query image x Q and the support image x S from the data group having the long tail distribution in the multi-label. Even if the resulting population has a long tail distribution, the training data can be reduced and the accuracy of the learning model M can be maximized. For example, by making the number of images used for learning (the number of images included in one episode) the same in a class with a large total number of images and a class with a small total number of images, the characteristics of all classes are learned. The model M can be trained evenly.
  • the learning model M starts learning by substituting the last layer of the model in which labels other than the plurality of recognition target labels are learned with the layers corresponding to the plurality of labels.
  • a learning model M having a certain degree of accuracy can be prepared, and the accuracy of the finally obtained learning model M can be improved.
  • the learning model M obtained by the pre-learning can recognize the characteristics of the general object to some extent. That is, this learning model M can recognize to some extent where in the image the object can be classified.
  • a more accurate learning model M can be obtained.
  • the number of times of learning required to obtain the learning model M having a certain degree of accuracy can be reduced, the processing load of the learning terminal 30 can be reduced, and the learning can be speeded up.
  • the learning system S can improve the accuracy of the learning model M that can recognize the multi-label image with a small amount of training data by using the data to be processed by the learning model M as an image.
  • the adjusting unit 305 may calculate the total loss L total based on the first loss L BCE , the second loss L CL , and the weighting coefficient specified by the user.
  • the user can specify at least one weighting coefficient of the first loss LBCE and the second loss LCL .
  • the user may specify both of these weighting factors, or may specify only one of these weighting factors.
  • the weighting coefficient specified by the user is stored in the data storage unit 300.
  • the adjusting unit 305 acquires a value obtained by multiplying each of the first loss L BCE second loss L CL by a weighting coefficient and adding them as the total loss L total .
  • the processing of the adjusting unit 305 after the total loss L total is acquired is the same as that of the embodiment.
  • the accuracy of the learning model M is determined by calculating the total loss L total based on the first loss L BCE , the second loss L CL , and the weighting factor specified by the creator. Can be effectively enhanced. For example, if you want to give priority to the major class in the long tail distribution, you want to increase the weighting coefficient of the first loss LBCE , and if you want to give priority to the minor class in the long tail distribution, you want to learn. , The weighting coefficient of the second loss L CL is increased, and the weighting coefficient can be used properly according to the purpose of the user.
  • the second calculation unit 304 corresponds to the embedding vector of the query image x Q , the embedding vector of the support image x S , and the similarity of the labels between the query image x Q and the support image x S.
  • the second loss L CL may be obtained based on the coefficient.
  • Label similarity is the number or proportion of the same label. The higher or higher the number or proportion of the same label, the higher the similarity of the labels.
  • the query image x Q is a multi-label image belonging to the three labels of label 1, label 2, and label 4.
  • the support image x S is a multi-label image belonging to the three labels of label 1, label 3, and label 4.
  • the coefficient according to the similarity is set to 0.67.
  • the second calculation unit 304 calculates the second loss L CL by multiplying this coefficient by the equation 4.
  • the relationship between the number or ratio of labels and the coefficient may be determined in advance in data such as a mathematical formula or a table.
  • the second calculation unit 304 identifies the number or ratio of the same label between the query image x Q and the support image x S in that episode, and the number or the ratio is specified. Get the coefficient according to the ratio.
  • the second calculation unit 304 calculates the second loss L CL based on the coefficient.
  • parameter adjustment may be performed without taking the average value of each embedded vector of the plurality of supported images x S.
  • the adjustment unit 305 calculates the total loss L total for each support image x S based on the first loss LBCE of the query image x Q and the second loss L CL of the support image x S. And you may perform parameter adjustments.
  • each of the query image x Q and the support image x S is input to one learning model M.
  • the learning model M may be three or more.
  • a learning model M may be prepared for each of N support images x S. It is assumed that the parameters are shared even when the learning model M is three or more.
  • the learning system S does not calculate the first loss LBCE .
  • the parameters of the learning model M may be adjusted based only on the second loss LCL .
  • the learning system S may adjust the parameters of the learning model M based only on the first loss LBCE without calculating the second loss LCL . This is because the learning model M with a certain degree of accuracy may be created even in this way.
  • the recognition target of the learning model M may be any object included in the image, and is not limited to digital text or the like.
  • the learning model M may recognize a multi-label image in which a plurality of objects such as dogs and cats are copied. That is, the label labeled by the learning model M is not limited to digital text and the like, and may be a subject in an image. The label may be any classification of objects in the image.
  • the data input to the learning model M is not limited to images. That is, the learning system S can also be applied to a learning model M that performs recognition other than image recognition.
  • the learning system S may be a learning model M that performs speech recognition.
  • the data input to the learning model M is voice data.
  • the learning system S can also be applied to a learning model M in natural language processing.
  • the data input to the learning model M is document data.
  • the learning system S can be applied to a learning model M that performs various recognitions such as human behavior or a phenomenon in the natural world.
  • the data input to the learning model M may be any data according to the purpose of the learning model M.
  • all or part of the functions included in the learning terminal 30 may be realized by another computer.
  • each of the data acquisition unit 301, the first calculation unit 302, the feature amount acquisition unit 303, the second calculation unit 304, and the adjustment unit 305 may be included in the server 10.
  • each of these functions is mainly realized by the control unit 11.
  • each of these functions may be shared by a plurality of computers.
  • the learning system S may include only one computer.
  • the data described as being stored in the data storage units 100 and 300 may be stored in another computer or information storage medium different from the server 10 or the learning terminal 30.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

学習システム（Ｓ）の第１計算手段（３０２）は、マルチラベルのクエリデータが学習モデルに入力された場合に、学習モデルの出力と、目標となる出力と、に基づいて、第１損失を計算する。特徴量取得手段（３０３）は、学習モデルのパラメータに基づいて計算された、クエリデータの特徴量と、前記クエリデータに対応するサポートデータの特徴量と、を取得する。第２計算手段（３０４）は、クエリデータの特徴量と、サポートデータの特徴量と、に基づいて、第２損失を計算する。調整手段（３０５）は、第１損失と、第２損失と、に基づいて、パラメータを調整する。

Description

学習システム、学習方法、及びプログラム
　本開示は、学習システム、学習方法、及びプログラムに関する。
　従来、画像解析や自然言語処理などの種々の分野において、機械学習が利用されている。教師有り機械学習では、訓練データを用意するのに手間がかかるので、より少ない訓練データで学習モデルの精度を高めることが求められている。例えば、非特許文献１には、非常に少ない訓練データに基づいて、未知のラベルのデータを認識可能な学習モデルを作成するFew-Shot Object Detectionと呼ばれる手法が記載されている。
Leonid Karlinsky, Joseph Shtok, Sivan Harary, Eli Schwartz, Amit Aides, Rogerio Feris, Raja Giryes, and Alex M Bronstein. RepMet: Representative-based metric learning for classification and few-shot object detection. In CVPR, 2019.
　マルチラベルのデータは、ラベルの組み合わせが多数存在するので、訓練データを用意するのに特に手間がかかる。しかしながら、非特許文献１の手法は、シングルラベルのデータを対象としているので、マルチラベルのデータに適用することはできない。このため、従来の手法では、より多くの訓練データを用意しなければ、マルチラベルのデータを認識可能な学習モデルの精度を高めることができなかった。
　本開示の目的の１つは、少ない訓練データで、マルチラベルのデータを認識可能な学習モデルの精度を高めることである。
　本開示の一態様に係る学習システムは、マルチラベルのクエリデータが学習モデルに入力された場合に、前記学習モデルの出力と、目標となる出力と、に基づいて、第１損失を計算する第１計算手段と、前記学習モデルのパラメータに基づいて計算された、前記クエリデータの特徴量と、前記クエリデータに対応するサポートデータの特徴量と、を取得する特徴量取得手段と、前記クエリデータの特徴量と、前記サポートデータの特徴量と、に基づいて、第２損失を計算する第２計算手段と、前記第１損失と、前記第２損失と、に基づいて、前記パラメータを調整する調整手段と、を含む。
　本開示によれば、少ない訓練データで、マルチラベルのデータを認識可能な学習モデルの精度を高めることができる。
学習システムの全体構成の一例を示す図である。 ウェブサイトに掲載される画像の一例を示す図である。 学習システムの機能の一例を示す機能ブロック図である。 学習端末の機能の全体像の一例を示す図である。 データセットの一例を示す図である。 個々のラベルの分布の一例を示す図である。 個々のクラスの分布の一例を示す図である。 個々のエピソードに含まれるクエリ画像とサポート画像の一例を示す図である。 学習システムで実行される処理の一例を示すフロー図である。
［１．学習システムの全体構成］
　以下、本開示に係る学習システムの実施形態の一例を説明する。図１は、学習システムの全体構成の一例を示す図である。図１に示すように、学習システムＳは、サーバ１０、作成者端末２０、及び学習端末３０を含み、これらは、インターネット又はＬＡＮなどのネットワークＮに接続される。なお、図１では、サーバ１０、作成者端末２０、及び学習端末３０の各々を１台ずつ示しているが、これらは複数台あってもよい。
　サーバ１０は、サーバコンピュータである。サーバ１０は、制御部１１、記憶部１２、及び通信部１３を含む。制御部１１は、少なくとも１つのプロセッサを含む。記憶部１２は、ＲＡＭなどの揮発性メモリと、ハードディスクなどの不揮発性メモリと、を含む。通信部１３は、有線通信用の通信インタフェースと、無線通信用の通信インタフェースと、の少なくとも一方を含む。
　作成者端末２０は、作成者が操作するコンピュータである。作成者は、学習モデルに入力されるデータを作成する者である。本実施形態では、このデータの一例として画像を説明する。このため、本実施形態で画像と記載した箇所は、データと読み替えることができる。学習モデルに入力されるデータは、画像に限られない。他のデータの例は、後述の変形例で説明する。
　例えば、作成者端末２０は、パーソナルコンピュータ、スマートフォン、又はタブレット端末である。作成者端末２０は、制御部２１、記憶部２２、通信部２３、操作部２４、及び表示部２５を含む。制御部２１、記憶部２２、及び通信部２３の物理的構成は、それぞれ制御部１１、記憶部１２、及び通信部１３と同様であってよい。操作部２４は、マウス又はタッチパネルなどの入力デバイスである。表示部２５は、液晶ディスプレイ又は有機ＥＬディスプレイである。
　学習端末３０は、学習モデルの学習を実行するコンピュータである。例えば、学習端末３０は、パーソナルコンピュータ、スマートフォン、又はタブレット端末である。学習端末３０は、制御部３１、記憶部３２、通信部３３、操作部３４、及び表示部３５を含む。制御部３１、記憶部３２、通信部３３、操作部３４、及び表示部３５の物理的構成は、それぞれ制御部１１、記憶部１２、通信部１３、操作部２４、及び表示部２５と同様であってよい。
　なお、記憶部１２，２２，３２に記憶されるものとして説明するプログラム及びデータは、ネットワークＮを介して供給されるようにしてもよい。また、サーバ１０、作成者端末２０、及び学習端末３０の各々のハードウェア構成は、上記の例に限られず、種々のハードウェアを適用可能である。例えば、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、光ディスクドライブ又はメモリカードスロット）と、外部機器とデータの入出力をするための入出力部（例えば、ＵＳＢポート）と、の少なくとも一方が含まれてもよい。例えば、情報記憶媒体に記憶されたプログラム及びデータの少なくとも一方が読取部及び入出力部の少なくとも一方を介して供給されてもよい。
［２．学習システムの概要］
　本実施形態では、ウェブサイトを介して販売される商品の画像が学習モデルに入力される場合を例に挙げて、学習システムＳの処理を説明する。例えば、作成者は、商品を販売する店舗の店員である。作成者は、作成者端末２０にインストールされた画像編集ソフトで商品の写真を編集し、ウェブサイトに掲載する画像を作成する。
　画像編集ソフトでは、商品の写真に対し、人工的なオブジェクトが合成される。オブジェクトは、画像の構成要素である。被写体である商品もオブジェクトの１つである。画像編集ソフトで合成されるオブジェクトは、電子的な画像である。例えば、作成者は、商品の販促を目的として、商品の写真に対し、デジタルテキスト、デジタルフレーム、及びカラーバーの少なくとも１つを合成する。
　デジタルテキストは、画像編集ソフトで合成されたテキストである。デジタルテキストは、ナチュラルテキストとは異なる。ナチュラルテキストは、商品自体に含まれるテキストである。別の言い方をすれば、ナチュラルテキストは、編集前の写真に含まれるテキストである。例えば、ナチュラルテキストは、商品に印刷された商品名又はブランド名である。
　デジタルフレームは、画像編集ソフトで合成されたフレームである。本実施形態では、１ピクセルのデジタルフレームと、２ピクセル以上のデジタルフレームと、が存在する場合を説明するが、デジタルフレームは、任意の太さであってよい。デジタルフレームは、ナチュラルフレームとは異なる。ナチュラルフレームは、商品自体に含まれるフレームである。別の言い方をすれば、ナチュラルフレームは、編集前の写真に含まれるフレームである。例えば、ナチュラルフレームは、商品の箱の縁である。
　カラーバーは、商品のカラーバリエーションを示す画像である。カラーバーは、複数の色の各々のバーを含む。例えば、１０色のカラーバリエーションがある洋服の場合、カラーバーは、１０色のバーを含む。作成者は、商品の写真を編集した画像を作成すると、サーバ１０に対し、編集済みの画像をアップロードする。アップロードされた画像は、サーバ１０の画像データベースに格納され、ウェブサイトに掲載される。
　図２は、ウェブサイトに掲載される画像の一例を示す図である。図２では、画像の一例として、正方形のサムネイルを説明する。図２に示すように、画像Ｉ１は、靴の写真に対し、デジタルテキストＤＴ１０と、２ピクセル以上のデジタルフレームＤＦ１１と、が合成されている。画像Ｉ２は、コーヒーの箱の縁であるナチュラルフレームＮＦ２０と、パッケージに印刷された商品名のナチュラルテキストＮＴ２１と、が写っている。画像Ｉ２は、デジタルテキストなどは合成されていない。
　画像Ｉ３は、鞄の画像に対し、1ピクセルのデジタルフレームＤＦ３０と、デジタルテキストＤＴ３１と、が合成されている。画像Ｉ４は、手袋の画像に対し、デジタルテキストＤＴ４０が合成されている。画像Ｉ５は、洋服の画像に対し、デジタルテキストＤＴ５０と、９色のバーからなるカラーバーＣＢ５１と、が合成されている。
　本実施形態のように、作成者が自由に画像を編集できる場合、デザインが悪く、顧客の購買意欲を向上させることができない画像がアップロードされることがある。逆に、デザインが良く、顧客の購買意欲を向上させる画像がアップロードされることもある。このため、画像に施された編集内容（人工的にデコレーションされた部分）を特定することは重要である。
　そこで、学習端末３０は、画像に施された編集内容のラベリングを実行する学習モデルを作成する。学習モデルは、機械学習を利用したモデルである。機械学習自体は、種々の手法を利用可能であり、例えば、畳み込みニューラルネットワーク、又は、再帰型ニューラルネットワークを利用可能である。本実施形態の学習モデルは、教師有りモデル又は半教師有りモデルとするが、教師無しモデルが利用されてもよい。
　本実施形態のように、ラベリングをする学習モデルは、分類学習器と呼ばれることもある。ラベリングは、入力された画像にラベルを付与することである。ラベルは、画像の分類である。本実施形態では、ラベルは、画像に施された編集内容を意味する。ラベルの一例として、下記のラベル０～ラベル６を説明するが、ラベルは、本実施形態の例に限られず、任意のラベルを設定可能である。
　（ラベル０）画像が何の編集内容も含まない、（ラベル１）画像がデジタルテキストを含む、（ラベル２）画像がナチュラルテキストを含む、（ラベル３）画像が２ピクセル以上のデジタルフレームを含む、（ラベル４）画像が１ピクセルのデジタルフレームを含む、（ラベル５）画像がナチュラルフレームを含む、（ラベル６）画像がカラーバーを含む。なお、ラベル０は、ラベル１～ラベル６の何れにも該当しないことを意味する。
　本実施形態では、学習モデルの出力は、画像がラベル０～６の各々に属するか否かを示す７つのバイナリの値を含む。学習モデルの出力がベクトル形式で表現される場合を例に挙げるが、学習モデルの出力は、任意の形式であってよい。例えば、学習モデルの出力は、配列形式、行列形式、又は単一の数値であってもよい。他にも例えば、学習モデルの出力は、上記７つの値ではなく、画像が属するラベルを示す０～６の数値であってもよい。この場合、ラベル２とラベル５に属する画像であれば、学習モデルの出力は、２と５の数値の組み合わせになる。
　例えば、あるラベルの値が０であることは、そのラベルに属さないことを意味する。あるラベルの値が１であることは、そのラベルに属することを意味する。例えば、学習モデルの出力が［０，１，０，０，１，０，０］であれば、画像がラベル１とラベル４に属することを意味する。なお、学習モデルの出力は、０又は１のバイナリでなくてもよく、中間値が存在してもよい。中間値は、ラベルに属する確率（蓋然性）を示す。例えば、あるラベルの値が０．９であれば、そのラベルに属する確率が９０％であることを意味する。
　画像データベースＤＢには、シングルラベルの画像と、マルチラベルの画像と、が混在する。シングルラベルとは、画像が１つのラベルだけに属することである。図２の例であれば、画像Ｉ４は、シングルラベルの画像である。マルチラベルとは、画像が複数のラベルに属することである。図２の例であれば、画像Ｉ１，Ｉ２，Ｉ４，Ｉ５は、マルチラベルの画像である。本実施形態では、画像がラベル０とラベル１～６との両方に属することはないが、画像がラベル１～６の任意の組み合わせに属することがある。このため、画像によっては、ラベル１～６のうちの３つ以上に属することがある。
　従来技術で説明したように、マルチラベルに対応可能な学習モデルを作成しようとすると、ラベルの組み合わせが多数存在するので、訓練データを用意するのに非常に手間がかかる。このため、マルチラベルに対応可能な学習モデルを作成するのは困難である。更に、本実施形態のような画像は、次の２つの理由により、ラベリングが困難である。
　第１の理由として、画像データベースＤＢに格納された画像は、人気のある商品ばかりではなく、あまり人気のない商品が大多数を占めていることが挙げられる。このような分布は、ロングテール分布と呼ばれる。ロングテール分布を有する母集団は、多種多様な画像が存在する。このため、多数の訓練データを用意したとしても、その訓練データには商品の形状として多種多様なパターンが存在するので、学習モデルが画像の特徴を認識しにくい。
　第２の理由として、画像データベースＤＢに格納された画像は、商品の外観が大部分を占めており、デジタルテキストなどの部分は、微粒子のように目立たない。このため、学習モデルは、デジタルテキストなどの特徴を認識しにくい。マルチラベルの画像は、微粒子のように目立たない特徴をいくつも認識する必要があるので、なおさら困難である。このような問題は、fine-grained multi-label classification問題ということもできる。更に、本実施形態のような画像は、デジタルテキストとナチュラルテキストの区別がつきにくいこと、及び、デジタルフレームとナチュラルフレームの区別がつきにくいことも問題として挙げられる。
　そこで、本実施形態の学習システムＳは、contrastive learningのアプローチをベースにしたFew-Shot learningを適用することによって、マルチラベルに対応可能な学習モデルを作成する。これにより、ロングテール分布の画像を対象とし、かつ、微粒子のように目立たない特徴を対象にしたとしても（上記第１の理由と第２の理由があったとしても）、より少ない訓練データで、学習モデルの精度を高めるようにしている。以降、学習システムＳの詳細を説明する。
［３．学習システムの機能］
　図３は、学習システムＳの機能の一例を示す機能ブロック図である。図３では、サーバ１０及び学習端末３０の機能を説明し、作成者端末２０の機能は省略する。作成者端末２０は、作成者の操作に基づいて画像を編集する機能と、編集済みの画像をアップロードする機能と、を含めばよい。
［３－１．サーバの機能］
　サーバ１０では、データ記憶部１００が実現される。データ記憶部１００は、記憶部１２を主として実現される。データ記憶部１００は、学習モデルの学習に必要なデータを記憶する。例えば、データ記憶部１００は、画像データベースＤＢを記憶する。図２を参照して説明したように、画像データベースＤＢには、複数の作成者の各々によりアップロードされた画像が格納される。画像データベースＤＢには、所定のサイズにトリミングだけされて、人工的なデコレーションがなされない画像（ラベル０に属する画像）も格納される。
　本実施形態では、画像データベースＤＢに格納される画像は、形式（例えば、サイズ、解像度、色のビット数、拡張子）が定められているものとするが、画像データベースＤＢには、任意の形式の画像が格納されていてよい。また、画像データベースＤＢに格納された画像は、学習端末３０にダウンロードされた後に、学習端末３０のユーザによってラベルが付与されるものとするが、ラベルが付与された画像が画像データベースＤＢに格納されてもよい。
［３－２．学習端末の機能］
　図４は、学習端末３０の機能の全体像の一例を示す図である。以降、図４を参照しつつ、図３に示す学習端末３０の機能を説明する。学習端末３０では、データ記憶部３００、データ取得部３０１、第１計算部３０２、特徴量取得部３０３、第２計算部３０４、及び調整部３０５が実現される。データ記憶部３００は、記憶部３２を主として実現され、データ取得部３０１、第１計算部３０２、特徴量取得部３０３、第２計算部３０４、及び調整部３０５の各々は、制御部３１を主として実現される。
［データ記憶部］
　データ記憶部３００は、学習モデルＭ１，Ｍ２の学習に必要なデータを記憶する。以降の説明で学習モデルＭ１と学習モデルＭ２を区別しないときは、単に学習モデルＭと記載する。例えば、データ記憶部３００は、学習用のデータセットＤＳを記憶する。データセットＤＳには、正解となるラベルが付与された複数の画像の各々が格納される。
　図５は、データセットＤＳの一例を示す図である。図５に示すように、データセットＤＳには、画像と、正解となるラベルと、のペアが多数格納される。このペアは、学習モデルＭのパラメータの調整に利用される。このペアは、訓練データ、教師データ、又は正解データと呼ばれることがある。正解となるラベルは、ラベル０～ラベル６の各々に属するか否かを示す値を含む。即ち、正解となるラベルは、目標となる出力（学習モデルＭが出力すべき内容）である。
　本実施形態では、画像データベースＤＢの一部の画像がデータセットＤＳに格納される場合を説明するが、画像データベースＤＢの全ての画像がデータセットＤＳに格納されてもよい。例えば、学習端末３０のユーザは、サーバ１０にアクセスし、画像データベースＤＢの一部の画像をダウンロードする。ユーザは、ダウンロードした画像を表示部３５に表示させて正解となるラベルを付与し、データセットＤＳを作成する。
　例えば、画像データベースＤＢに、２億枚程度の画像が格納されており、ユーザが、この中から４～５万枚程度の画像をランダムサンプリングしてラベルを付与したとする。本実施形態の画像は、原則として自由に編集可能なので、作成者がやりがちな編集もあれば、あまりやらない編集もある。このため、ランダムサンプリングされた画像のラベルは、ロングテール分布を有することがある。
　図６は、個々のラベルの分布の一例を示す図である。図６の縦軸は、ラベル０～ラベル６の各々を示し、横軸は、ラベルごとの画像の総数（サンプル数）を示す。例えば、ラベル１とラベル４のマルチラベルの画像がランダムサンプリングされると、この１枚の画像により、ラベル１とラベル４の各々の画像の総数が１ずつ増加する。図６の例では、ラベル１の画像が極端に多く、ラベル５の画像が極端に少ない。図６の分布は、画像の総数が均等ではなくアンバランスなので、ロングテール分布である。
　図７は、個々のクラスの分布の一例を示す図である。クラスは、何らかの分類という意味ではラベルと似た概念であるが、クラス分類問題と、ラベル分類問題と、は異なる。本実施形態では、クラス分類問題は、部分集合の間に重複がなく、母集団が何れか１つの部分集合に必ず属するものとする。ラベル分類問題は、部分集合の間に重複があったり、何れの部分集合にも属さないことが存在したりするものとする。
　本実施形態のように、シングルラベルの画像と、マルチラベルの画像と、が混在する場合には、少なくとも１つのラベルがクラスに相当する。画像は、何れかのクラスに属し、他のクラスには属さない。例えば、マルチラベルの画像は、あるラベルと他のラベルに属するが、あるクラスと他のクラスには属さない。ランダムサンプリングされた画像の母集団におけるラベルの組み合わせが４１通り存在したとすると、この母集団には、４１個のクラスが存在する。
　図７の例では、画像の総数が閾値（例えば、１００個）以上のクラスの分布のみを示している。このため、実際には、画像の総数が閾値未満のクラスも存在する。図７の縦軸は、画像の総数が閾値以上である１５個のクラスの各々を示し、横軸は、クラスごとの画像の総数を示す。図７の例では、ラベル１のみを示すクラスの画像が極端に多く、ラベル２とラベル３の組み合わせを示すクラスの画像が極端に少ない。このため、図７の分布は、図６の分布と同様、画像の総数が均等ではなくアンバランスなので、ロングテール分布である。
　なお、図６及び図７では、ロングテール分布を説明する都合上、４万～５万枚程度の画像に対し、ラベルが付与されている場合を例に挙げたが、ユーザがラベルを付与する画像の数は、これよりも少なくてよい。例えば、ユーザは、数枚～数千枚程度の画像をランダムサンプリングして、正解のラベルを付与してもよい。
　また、正解となるラベルを画像に付与する方法は、上記の例に限られず、任意の方法を利用可能である。例えば、ユーザは、公知のクラスタリング手法を利用して、画像に対し、正解のラベルを付与してもよい。また例えば、ユーザは、シングルラベルの画像を学習させた学習モデルＭを利用して、画像に対し、正解のラベルを付与してもよい。
　データ記憶部３００は、データセットＤＳだけでなく、学習モデルＭ（学習モデルＭの実データ）を記憶する。学習モデルＭは、プログラムと、パラメータと、を含む。学習モデルＭのプログラムとパラメータとの形式自体は、機械学習で利用される種々の形式を利用可能である。例えば、学習モデルＭのプログラムは、複数のレイヤの各々における処理（畳み込み、埋め込みベクトルの計算、プーリングなど）を定義したコードを含む。また例えば、学習モデルＭのパラメータは、重み係数とバイアスとを含む。学習モデルＭのパラメータは、学習モデルＭのプログラムによって参照される。
　図３及び図４に示すように、本実施形態では、データ記憶部３００は、クエリ画像ｘＱ用の学習モデルＭ１と、サポート画像ｘＳ用の学習モデルＭ２と、を記憶する。学習モデルＭ１は、第１の学習モデルの一例である。学習モデルＭ２は、第２の学習モデルの一例である。クエリ画像ｘＱは、学習モデルＭ１に入力される。サポート画像ｘＳは、第２の学習モデルＭ２に入力される。クエリ画像ｘＱとサポート画像ｘＳの詳細は後述する。
　学習モデルＭ１のパラメータと、学習モデルＭ２のパラメータと、は共有されている。即ち、学習モデルＭ１のパラメータと、学習モデルＭ２のパラメータと、は同じである。学習モデルＭ１のプログラムと、学習モデルＭ２のプログラムと、も同じであり、レイヤなどの内部構造も同じである。即ち、学習モデルＭ１と学習モデルＭ２の何れか一方は、他方のコピーである。
　なお、データ記憶部３００が記憶するデータは、上記の例に限られない。データ記憶部３００は、学習モデルＭの学習に必要なデータを記憶すればよい。例えば、データ記憶部３００は、データセットＤＳを、訓練用データセット、検証用データセット、及びテスト用データセットの３つに分割して記憶してもよい。また例えば、データ記憶部３００は、画像データベースＤＢと同じデータベースを記憶してもよい。
［データ取得部］
　データ取得部３０１は、学習モデルＭの学習で利用される画像を取得する。本実施形態では、データ取得部３０１は、マルチラベルにおけるロングテール分布を有する画像群の中から、クエリ画像ｘＱと、サポート画像ｘＳと、を取得する。なお、データ取得部３０１は、ロングテール分布を有していない画像群の中から、クエリ画像ｘＱと、サポート画像ｘＳと、を取得してもよい。
　画像群は、複数の画像の集まりである。本実施形態では、この画像群は、ロングテール分布を有する画像データベースＤＢに格納されている。データセットＤＳのサンプル数が一定程度存在するのであれば、データセットＤＳもロングテール分布を有することがあるので、データセットＤＳに格納された複数の画像の集まりが上記画像群に相当してもよい。
　ロングテール分布は、図６及び図７を参照したような分布である。ロングテール分布の定義自体は、一般的な定義に従えばよい。例えば、最も多いラベル又はクラスの画像の総数と、最も少ないラベル又はクラスの画像の総数と、の差が閾値以上の場合には、ロングテール分布である。また例えば、上位ａ（ａは２以上の整数）個のラベル又はクラスの画像の総数の合計値と、下位ｂ個（ｂは２以上の整数）のラベル又はクラスの画像の総数の合計値と、の差が閾値以上の場合には、ロングテール分布である。
　本実施形態の学習モデルＭは、画像に含まれるオブジェクトを認識するモデルなので、クエリデータの一例として、マルチラベルのクエリ画像ｘＱを説明する。また、サポートデータの一例として、クエリ画像ｘＱに対応するサポート画像ｘＳである。クエリ画像ｘＱとサポート画像ｘＳとの各々は、Few-shot learningにおいて利用される画像である。
　クエリ画像ｘＱは、学習モデルＭに学習させていない新しいクラスの画像である。クエリ画像ｘＱは、テスト画像と呼ばれることもある。サポート画像ｘＳは、クエリ画像ｘＱと同じクラス、又は、クエリ画像ｘＱとは異なるクラスの画像である。例えば、一般的な物体認識の訓練データセットを利用して一般的なクラスが学習モデルＭに学習されていたとすると、クエリ画像ｘＱとサポート画像ｘＳとを利用して学習させようとしているクラスは、原則として、学習モデルＭには学習されていない。
　本実施形態では、データ取得部３０１は、画像データベースＤＢに格納された画像群をランダムサンプリングして取得し、個々の画像と、正解となるラベルと、を含むペアをデータセットＤＳに格納する。図４に示すように、データ取得部３０１は、データセットＤＳに格納された画像群をランダムサンプリングして、クエリ画像ｘＱと、サポート画像ｘＳと、を取得する。
　データ取得部３０１は、エピソードごとに、データセットＤＳの中からクエリ画像ｘＱとサポート画像ｘＳをランダムに取得する。エピソードは、Few-shot learningにおける一連の処理の過程である。Few-shot learningでは、いくつものエピソードが繰り返される。例えば、エピソードごとに、少なくとも１枚のクエリ画像ｘＱと、少なくとも１枚のサポート画像ｘＳと、の画像セットが存在する。
　本実施形態のFew-shot learningは、N-Way K-shotと呼ばれる設定に従う。Ｎは、１つのエピソードあたりのクラスの数を意味する。Ｋは、１つのエピソードあたりの画像数を意味する。ＮとＫは、自然数である。一般的には、Ｎが小さいほど学習モデルＭの精度が高くなり、Ｋが高いほど学習モデルＭの精度が高くなる。本実施形態では、Ｎが１であり、Ｋが５である場合（即ち、1-Way 5-shotの場合）を説明するが、ＮとＫは、任意の値であってよい。
　本実施形態では、マルチラベルにおいて考え得るラベルの組み合わせのうち、一部の組み合わせに対応するエピソードが存在する場合を説明するが、全通りのエピソードが存在してもよい。以降、図７に示す１５個のクラスにそれぞれ対応する１５個のエピソードが存在する場合を例に挙げて説明する。エピソードの数は、１５個に限られず、任意の数であってよい。本実施形態では、エピソード間でクラスが重複しない場合を説明するが、エピソード間でクラスの重複があってもよい。
　図８は、個々のエピソードに含まれるクエリ画像ｘＱとサポート画像ｘＳの一例を示す図である。図８に示すように、エピソード１～１５の各々に対し、１枚のクエリ画像ｘＱと、５枚のサポート画像ｘＳと、の画像セットが存在する。なお、クエリ画像ｘＱは、２枚以上であってもよい。また、クエリ画像ｘＱの数と、サポート画像ｘＳの数と、同じであってもよい。即ち、１つのエピソードにつき、クエリ画像ｘＱも５枚存在してもよい。
　例えば、エピソード１は、図７の分布において画像の総数が最も多いクラス（ラベル１だけのクラス）の画像を学習させるためのエピソードである。データ取得部３０１は、データセットＤＳの中から、このクラスの画像（ラベルが［０，１，０，０，０，０，０］の画像）を６枚ランダムサンプリングする。データ取得部３０１は、６枚のうちの１枚をクエリ画像ｘＱとし、残りの５枚をサポート画像ｘＳとする。
　また例えば、エピソード２は、画像の総数が２番目に多いクラス（ラベル１とラベル２のクラス）の画像を学習させるためのエピソードである。データ取得部３０１は、データセットＤＳの中から、このクラスの画像（ラベルが［０，１，１，０，０，０，０］の画像）を６枚ランダムサンプリングする。データ取得部３０１は、６枚のうちの１枚をクエリ画像ｘＱとし、残りの５枚をサポート画像ｘＳとする。
　他のエピソード３～１５についても同様に、データ取得部３０１は、エピソードごとに、そのエピソードに対応するクラスの画像を６枚ランダムサンプリングして、クエリ画像ｘＱ及びサンプル画像として取得する。即ち、データ取得部３０１は、あるエピソードのクエリ画像ｘＱとサポート画像ｘＳとの画像セットとして、そのエピソードに対応するクラスの画像を６枚取得する。
　なお、Ｎの値が２以上の場合には、１つのエピソードに、複数のクラスの各々のサポート画像ｘＳが含まれる。この場合、１つのエピソードには、複数のクラスのうちの何れかのクラスのクエリ画像ｘＱだけが含まれてもよいし、複数のクラスにそれぞれ対応する複数のクエリ画像ｘＱが含まれてもよい。Ｎの値が２以上であった場合も、クエリ画像ｘＱは、１枚に限られない。
　また、エピソードの数は、ユーザにより指定されてもよいし、画像データベースＤＢ又はデータセットＤＳにおける統計値から自動的に決定されてもよい。例えば、ユーザが学習モデルＭに学習させるクラスを指定し、その数に応じたエピソードが設定されてもよい。また例えば、画像データベースＤＢ又はデータセットＤＳにおいて画像の総数が閾値以上のクラスが自動的に特定され、その数に応じたエピソードが設定されてもよい。データ取得部３０１は、エピソードに応じた数の画像を取得すればよい。
［第１計算部］
　第１計算部３０２は、マルチラベルのクエリ画像ｘＱが学習モデルＭ１に入力された場合に、学習モデルＭ１の出力と、目標となる出力と、に基づいて、第１損失ＬＢＣＥを計算する。即ち、第１計算部３０２は、学習モデルＭ１のパラメータに基づいて、第１損失ＬＢＣＥを計算する。
　学習モデルＭ１の出力とは、学習モデルＭ１から得られた実際の出力である。目標となる出力は、学習モデルＭ１が出力すべき内容である。本実施形態では、データセットＤＳに格納された正解となるラベルが目標となる出力に相当する。
　第１損失ＬＢＣＥは、学習モデルＭ１の出力と、目標となる出力と、の誤差（違い）を示す。第１損失ＬＢＣＥは、学習モデルＭ１の精度を計測可能な指標である。第１損失ＬＢＣＥが高いことは、誤差が大きく精度が低いことを意味する。第１損失ＬＢＣＥが低いことは、誤差が小さく精度が高いことを意味する。本実施形態では、第１損失ＬＢＣＥがマルチラベルクロスエントロピー損失である場合を説明するが、第１損失ＬＢＣＥは、任意の手法を利用して計算可能である。第１損失ＬＢＣＥは、所定の損失関数に基づいて計算可能なものであればよい。
　以降、あるエピソードに含まれる個々のクエリ画像ｘＱのセットを大文字のＸＱと記載する。本実施形態では、あるエピソードのクエリ画像ｘＱのセットＸＱは、１枚のクエリ画像ｘＱから構成される。本実施形態では、N-Way K-shotにおけるＮが１である場合を説明するが、Ｎが２以上の場合も想定されるので、この場合には、クエリ画像をｘＱ ｉと記載することがある。ｉはＮ以下の自然数である。ｉ∈｛１，・・・，Ｎ｝であり、ｘＱ ｉ∈ＸＱである。
　図４に示すように、例えば、第１計算部３０２は、あるエピソードのクエリ画像ｘＱを学習モデルＭ１に入力する。この学習モデルＭ１は、後述する調整部３０５によるパラメータ調整が行われる前のモデルであり、例えば、ＲｅｓＮｅｔ５０と呼ばれる学習済みのモデルであってもよい。即ち、この学習モデルＭ１は、本実施形態で認識しようとしているデジタルテキストなどのオブジェクトではなく、一般的なオブジェクトの特徴が学習されたモデルであってもよい。
　例えば、学習モデルＭ１にクエリ画像ｘＱが入力されると、埋め込み関数ｆ（ｘ）により、そのクエリ画像ｘＱの埋め込みベクトルであるｆ（ｘＱ）が計算される。なお、ｆ（ｘ）のｘは、任意の画像を意味する。埋め込み関数ｆ（ｘ）は、学習モデルＭ１のプログラムの一部であってもよいし、学習モデルＭ１により呼び出される外部のプログラムであってもよい。埋め込みベクトルは、後述する特徴量取得部３０３により取得される。
　第１計算部３０２は、埋め込みベクトルであるｆ（ｘＱ）に基づいて、各クラスのバイナリの出力を取得するために、シグモイド関数σ（ｚ）＝１／（１＋ｅ－ｚ）を利用する。例えば、第１計算部３０２は、下記の数式１及び数式２に基づいて、第１損失ＬＢＣＥを計算する。なお、下記の数式１及び数式２は、損失関数の一例であり、損失関数自体は、任意の関数を利用可能である。マルチラベルクロスエントロピー損失以外の損失を利用するのであれば、その損失に応じた損失関数を利用すればよい。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　数式２のｙＱ ｎは、クエリ画像ｘＱの各バイナリラベルであり、ｙＱ ｎ∈ｙＱである。ｙＱは、各入力に対応するラベルの組み合わせである。クエリ画像ｘＱに対応する実際の出力と、当該クエリ画像ｘＱの目標となる出力と、の誤差が小さいほど第１損失ＬＢＣＥは小さくなり、この誤差が大きいほど第１損失ＬＢＣＥは大きくなる。
　本実施形態の学習モデルＭは、３以上のラベルを認識可能であり、ラベルの組み合わせごとに（即ち、エピソードごとに）、クエリ画像ｘＱとサポート画像ｘＳとを含む画像セットが存在する。３以上のラベルが存在するので、ラベルの組み合わせとしては、２通り以上存在する。
　第１計算部３０２は、ラベルの組み合わせごとに（即ち、エピソードごとに）、当該組み合わせに対応するクエリ画像ｘＱに基づいて、第１損失ＬＢＣＥを計算する。個々のエピソードの第１損失ＬＢＣＥの計算方法は、上記説明した通りである。本実施形態では、１５個のエピソードが存在するので、第１計算部３０２は、１５個のエピソードにそれぞれ対応する第１損失ＬＢＣＥを計算する。
　本実施形態の学習モデルＭは、認識対象の複数のラベル以外の他のラベルが学習されたモデルの最後のレイヤが、前記複数のラベルに応じたレイヤに代えられている。最後のレイヤは、出力層である。例えば、ＲｅｓＮｅｔ５０を利用して一般的な物体の形状が学習された学習モデルＭの最後のレイヤが、マルチラベルに対応したレイヤ（本実施形態であれば、ラベル０～ラベル６の７個の値を出力するレイヤ）に置き換えられる。これにより、学習モデルＭの認識対象となるラベルの組み合わせが出力されるようになる。第１計算部３０２は、複数のラベルに応じたレイヤに代えられた学習モデルＭの出力と、目標となる出力と、に基づいて、第１損失ＬＢＣＥを計算する。
［特徴量取得部］
　特徴量取得部３０３は、学習モデルＭのパラメータに基づいて計算された、クエリ画像ｘＱの特徴量と、クエリ画像ｘＱに対応するサポート画像ｘＳの特徴量と、を取得する。このパラメータは、学習モデルＭの現状のパラメータである。即ち、このパラメータは、後述する調整部３０５による調整前のパラメータである。ＲｅｓＮｅｔ５０等を利用して事前学習を行うのであれば、事前学習後のパラメータに基づいて、特徴量が取得される。
　特徴量とは、画像の特徴を示す情報である。本実施形態では、埋め込みベクトルが特徴量に相当する場合を説明する。このため、本実施形態で埋め込みベクトルと記載した箇所は、特徴量と読み替えることができる。特徴量は、任意の形式で表現可能であり、ベクトル形式に限られない。特徴量は、配列形式、行列形式、又は単一の数値等の他の形式で表現されてもよい。
　図４に示すように、本実施形態では、学習モデルＭ１，Ｍ２が用意されている。特徴量取得部３０３は、学習モデルＭ１のパラメータに基づいて計算されたクエリ画像ｘＱの埋め込みベクトルと、学習モデルＭ２のパラメータに基づいて計算されたサポート画像ｘＳの埋め込みベクトルと、を取得する。特徴量取得部３０３は、クエリ画像ｘＱが学習モデルＭ１に入力された場合に、学習モデルＭ１により計算されたクエリ画像ｘＱの埋め込みベクトルを取得する。特徴量取得部３０３は、サポート画像ｘＳが学習モデルＭ２に入力された場合に、学習モデルＭ２により計算されたサポート画像ｘＳの埋め込みベクトルを取得する。
　本実施形態では、１つのエピソードにつき複数のサポート画像ｘＳが存在するので、特徴量取得部３０３は、複数のサポート画像ｘＳの各々の埋め込みベクトルを取得する。Ｋの値が５であり、１つのエピソードにつき５枚のサポート画像ｘＳが存在するので、特徴量取得部３０３は、５枚のサポート画像ｘＳの各々を学習モデルＭ２に入力し、５つの埋め込みベクトルを取得する。Ｎの値が２以上であれば、特徴量取得部３０３は、Ｎの数に応じたサポート画像ｘＳの埋め込みベクトルを取得すればよい。
　特徴量取得部３０３は、ラベルの組み合わせごとに（即ち、エピソードごとに）、当該組み合わせに対応するクエリ画像ｘＱの埋め込みベクトルと、当該組み合わせに対応するサポート画像ｘＳの埋め込みベクトルと、を取得する。本実施形態では、１５個のエピソードが存在するので、特徴量取得部３０３は、１５個のエピソードにそれぞれ対応する、１枚のクエリ画像ｘＱの埋め込みベクトルと、５枚のサポート画像ｘＳの各々の埋め込みベクトルと、を取得する。
［第２計算部］
　第２計算部３０４は、クエリ画像ｘＱの埋め込みベクトルと、サポート画像ｘＳの埋め込みベクトルと、に基づいて、第２損失ＬＣＬを計算する。
　第２損失ＬＣＬは、クエリ画像ｘＱの埋め込みベクトルと、サポート画像ｘＳの埋め込みベクトルと、の誤差（違い）を示す。第２損失ＬＣＬは、学習モデルＭ１，Ｍ２の精度を計測可能な指標である。第２損失ＬＣＬが高いことは、誤差が大きく精度が低いことを意味する。第２損失ＬＣＬが低いことは、誤差が小さく精度が高いことを意味する。本実施形態では、第２損失ＬＣＬがコントラスティブ損失である場合を説明するが、第２損失ＬＣＬは、任意の手法を利用して計算可能である。第２損失ＬＣＬは、所定の損失関数に基づいて計算可能なものであればよい。
　コントラスティブ損失は、contrastive learningで利用される損失である。contrastive learningは、画像のペアが似ているか似ていないかを学習するために利用される。例えば、ある画像のペア｛Ｘ１，Ｘ２｝の埋め込みベクトルのペアのユークリッド距離が、距離メトリックＤＷとして利用される。
　例えば、画像のペアの類似性を示す類似性ラベルをＹ∈｛０，１｝とすると、コントラスティブ損失は、下記の数式３に基づいて計算される。Ｙが０であることは、画像Ｘ１と画像Ｘ２とが似ている（同じラベルである）ことを意味する。Ｙが１であることは、画像Ｘ１と画像Ｘ２とが似ていない（違うラベルである）ことを意味する。なお、下記の数式３は、損失関数の一例であり、損失関数自体は、任意の関数を利用可能である。下記数式３におけるＭは、Ｙが１の場合の損失を調整するため定数である。
Figure JPOXMLDOC01-appb-M000003
　上記のようなコントラスティブ学習を、本実施形態の手法に適用するためには、２つの画像の類似性を比較することに代えて、サポート画像ｘＳとクエリ画像ｘＱとの各々から計算された２つの埋め込みベクトルが入力される。本実施形態では、これらが同じラベルを有するので、類似性ラベルＹは０になる。例えば、第２計算部３０４は、下記の数式４に基づいて、第２損失ＬＣＬを計算する。数式４におけるｆ（ｘＳ）の上側にラインが引かれたものは、サポート画像ｘＳの埋め込みベクトルの平均値である。なお、下記の数式４は、損失関数の一例であり、損失関数自体は、任意の関数を利用可能である。
Figure JPOXMLDOC01-appb-M000004
　本実施形態では、クエリ画像ｘＱと、サポート画像ｘＳと、は少なくとも１つのラベルが同じである。これらの全てのラベルが同じ場合を説明するが、これらのラベルは、完全一致ではなく、部分一致であってもよい。第２計算部３０４は、クエリ画像ｘＱの埋め込みベクトルとサポート画像ｘＳの埋め込みベクトルとの違いが大きいほど、第２損失ＬＣＬが大きくなるように、第２損失ＬＣＬを計算する。埋め込みベクトルの違いは、距離以外の指標で表現されてもよい。この違いと第２損失ＬＣＬとの関係は、損失関数に定義されている。
　本実施形態では、Ｎが２以上であり、１つのエピソードにつき複数のサポート画像ｘＳが存在するので、第２計算部３０４は、複数のサポート画像ｘＳの各々の埋め込みベクトルに基づいて、平均特徴量（数式４であれば、ｆ（ｘＳ）の上側にラインが引かれたもの）を計算し、クエリ画像ｘＱの埋め込みベクトルと、平均埋め込みベクトルと、に基づいて、第２損失ＬＣＬを取得する。平均埋め込みベクトルは、５枚のサポート画像ｘＳの単純平均ではなく、何らかの重み付けがなされてもよい。Ｎの値が２以上であれば、クラス間にまたがって平均特徴量が計算されてもよい。
　第２計算部３０４は、ラベルの組み合わせごとに（即ち、エピソードごとに）、当該組み合わせに対応するクエリ画像ｘＱの埋め込みベクトルと、当該組み合わせに対応するサポート画像ｘＳの埋め込みベクトルと、に基づいて、第２損失ＬＣＬを計算する。本実施形態では、１５個のエピソードが存在するので、第２計算部３０４は、１５個のエピソードにそれぞれ対応する、１枚のクエリ画像ｘＱの埋め込みベクトルと、５枚のサポート画像ｘＳの各々の埋め込みベクトルと、に基づいて、第２損失ＬＣＬを計算する。
［調整部］
　調整部３０５は、第１損失ＬＢＣＥと、第２損失ＬＣＬと、に基づいて、学習モデルＭのパラメータを調整する。パラメータを調整するとは、学習モデルＭの学習を実行することと同じ意味である。損失に基づいてパラメータを調整する方法自体は、種々の手法を利用可能であり、例えば、逆誤差伝播法又は勾配降下法を利用してもよい。調整部３０５は、第１損失ＬＢＣＥと第２損失ＬＣＬの各々が小さくなるように、学習モデルＭのパラメータを調整する。
　第１損失ＬＢＣＥが小さくなるように、学習モデルＭのパラメータが調整されると、学習モデルＭの出力と、正解となるラベルと、の誤差が小さくなる。即ち、学習モデルＭが正解を出力する確率が高くなる。別の言い方をすれば、学習モデルＭの出力が、正解となるラベルに近づくようになる。
　第２損失ＬＣＬが小さくなるように、学習モデルＭのパラメータが調整されると、クエリ画像ｘＱの埋め込みベクトルと、クエリ画像ｘＱと類似するサポート画像ｘＳの埋め込みベクトルと、の違いが小さくなるように、学習モデルＭが埋め込みベクトルを計算するようになる。
　本実施形態とは逆に、クエリ画像ｘＱとは類似しないサポート画像ｘＳを利用するのであれば、第２損失ＬＣＬが小さくなるように学習モデルＭのパラメータが調整されると、クエリ画像ｘＱの埋め込みベクトルと、クエリ画像ｘＱと類似しないサポート画像ｘＳの埋め込みベクトルと、の違いが大きくなるように、学習モデルＭが埋め込みベクトルを計算するようになる。
　本実施形態では、調整部３０５は、第１損失ＬＢＣＥと、第２損失ＬＣＬと、に基づいて、全体損失Ｌｔｏｔａｌを計算し、全体損失Ｌｔｏｔａｌに基づいて、学習モデルＭのパラメータを調整する。全体損失Ｌｔｏｔａｌは、下記の数式５に基づいて計算される。なお、下記の数式５は、損失関数の一例であり、損失関数自体は、任意の関数を利用可能である。例えば、下記の数式５のような単純平均ではなく、重み係数を利用した加重平均により、全体損失Ｌｔｏｔａｌが計算されてもよい。
Figure JPOXMLDOC01-appb-M000005
　本実施形態では、学習モデルＭ１と学習モデルＭ２とが存在し、これらの間でパラメータが共有されている。このため、調整部３０５は、学習モデルＭ１のパラメータと、学習モデルＭ２のパラメータと、の各々を調整する。本実施形態では、調整部３０５は、全体損失Ｌｔｏｔａｌを利用して学習モデルＭ１のパラメータを調整し、調整済みの学習モデルＭ１のパラメータを、学習モデルＭ２にコピーする。
　なお、上記とは逆に、調整部３０５は、全体損失Ｌｔｏｔａｌを利用して学習モデルＭ２のパラメータを調整し、調整済みの学習モデルＭ２のパラメータを、学習モデルＭ１にコピーしてもよい。また、調整部３０５は、パラメータのコピーをするのではなく、全体損失Ｌｔｏｔａｌを利用して学習モデルＭ１のパラメータを調整し、同じ全体損失Ｌｔｏｔａｌを利用して学習モデルＭ２のパラメータを調整してもよい。このようにしても、結果的にパラメータが共有される。
　本実施形態では、調整部３０５は、ラベルの組み合わせごとに（即ち、エピソードごとに）計算された第１損失ＬＢＣＥと第２損失ＬＣＬとに基づいて、学習モデルＭのパラメータを調整する。本実施形態では、１５個のエピソードが存在するので、調整部３０５は、１５個のエピソードにそれぞれ対応する１５個の損失のペア（第１損失ＬＢＣＥと第２損失ＬＣＬのペア）に基づいて、学習モデルＭのパラメータを調整する。
　例えば、調整部３０５は、１５個のエピソードにそれぞれ対応する１５個の全体損失Ｌｔｏｔａｌを計算する。調整部３０５は、１５個の全体損失Ｌｔｏｔａｌの各々について、逆誤差伝播法などを利用して、学習モデルＭのパラメータを調整する。調整部３０５は、１５個の全体損失Ｌｔｏｔａｌのうちの全部又は一部を１つの損失にまとめたうえで、学習モデルＭのパラメータを調整してもよい。
　なお、調整部３０５は、全体損失Ｌｔｏｔａｌを計算せずに、学習モデルＭのパラメータを調整してもよい。例えば、調整部３０５は、第１損失ＬＢＣＥが小さくなるように、学習モデルＭのパラメータを調整した後に、第２損失ＬＣＬが小さくなるように、そのパラメータを調整してもよい。また例えば、調整部３０５は、第２損失ＬＣＬが小さくなるように、学習モデルＭのパラメータを調整した後に、第１損失ＬＢＣＥが小さくなるように、そのパラメータを調整してもよい。
　また、調整部３０５は、あるエピソードにおける第１損失ＬＢＣＥと、他のエピソードにおける第１損失ＬＢＣＥと、を１つの損失にまとめたうえで、学習モデルＭのパラメータを調整してもよい。調整部３０５は、あるエピソードにおける第２損失ＬＣＬと、他のエピソードにおける第２損失ＬＣＬと、を１つの損失にまとめたうえで、学習モデルＭのパラメータを調整してもよい。
［４．学習システムで実行される処理］
　図９は、学習システムＳで実行される処理の一例を示すフロー図である。本実施形態では、学習端末３０が学習モデルＭの学習を実行するので、図９は、学習端末３０で実行される処理の一例を示す。この処理は、制御部３１が記憶部３２に記憶されたプログラムに従って動作することによって実行される。この処理は、図３に示す機能ブロックにより実行される処理の一例である。
　なお、データセットＤＳは、予め記憶部３２に記憶されているものとする。また、処理対象のエピソードの順番と、個々のエピソードに対応するクラスと、は予め指定されているものとする。例えば、図７に示すロングテール分布における１５個のクラスの各々に対応するエピソードが、画像の総数が多い順に（図７の例であれば、ラベル１だけのクラスからラベル２とラベル３のクラスまで順番に）処理対象のエピソードとして指定されているものとする。
　図９に示すように、学習端末３０は、データセットＤＳから、処理対象のエピソードの１枚のクエリ画像ｘＱと５枚のサポート画像ｘＳとを、ランダムサンプリングする（Ｓ１）。学習端末３０は、学習モデルＭ１に対し、処理対象のエピソードのクエリ画像ｘＱを入力する（Ｓ２）。学習端末３０は、データセットＤＳに基づいて、学習モデルＭ１の実際の出力と、クエリ画像ｘＱの正解となるラベルと、に基づいて、クエリ画像ｘＱの第１損失ＬＢＣＥを計算する（Ｓ３）。
　学習端末３０は、学習モデルＭ２に対し、処理対象のエピソードの５枚のサポート画像ｘＳの各々を入力する（Ｓ４）。学習端末３０は、学習モデルＭ１により計算されたクエリ画像ｘＱの埋め込みベクトルと、学習モデルＭ２により計算された５枚のサポート画像ｘＳの各々の埋め込みベクトルと、を取得する（Ｓ５）。学習端末３０は、５枚のサポート画像ｘＳの埋め込みベクトルの平均値を計算する（Ｓ６）。
　学習端末３０は、クエリ画像ｘＱの埋め込みベクトルと、Ｓ６で計算した平均値と、に基づいて、第２損失ＬＣＬを計算する（Ｓ７）。学習端末３０は、第１損失ＬＢＣＥと、第２損失ＬＣＬと、に基づいて、全体損失Ｌｔｏｔａｌを計算する（Ｓ８）。学習端末３０は、全体損失Ｌｔｏｔａｌに基づいて、学習モデルＭ１と学習モデルＭ２の各々のパラメータを調整する（Ｓ９）。
　学習端末３０は、全てのエピソードの処理を実行したか否かを判定する（Ｓ１０）。まだ処理を実行していないエピソードが存在する場合（Ｓ１０；Ｎ）、Ｓ１の処理に戻り、次のエピソードが処理対象になる。全てのエピソードについて処理を実行したと判定された場合（Ｓ１０；Ｙ）、学習端末３０は、所定の回数だけ学習を繰り返したか否かを判定する（Ｓ１１）。この回数は、エポックと呼ばれる回数である。
　所定の回数だけ学習を繰り返したと判定されない場合（Ｓ１１；Ｎ）、学習端末３０は、学習モデルＭ１と学習モデルＭ２の各々のパラメータの調整を繰り返す（Ｓ１２）。Ｓ１２においては、１５個のエピソードの各々について、Ｓ１～Ｓ９までの処理を繰り返す。一方、所定の回数だけ学習を繰り返したと判定された場合（Ｓ１１；Ｙ）、本処理は終了する。
　実施形態の学習システムＳによれば、第１損失ＬＢＣＥと、第２損失ＬＣＬと、に基づいて、学習モデルＭのパラメータを調整することによって、少ない訓練データで、マルチラベルのデータを認識可能な学習モデルＭの精度を高めることができる。例えば、マルチラベルクロスエントロピー損失である第１損失ＬＢＣＥだけを利用して学習モデルＭのパラメータを調整しようとすると、膨大な訓練データを用意する必要がある。また例えば、few-shot learningベースのコントラスティブ損失である第２損失ＬＣＬだけを利用して学習モデルＭのパラメータを調整しようとすると、訓練データの数を減らすことはできるが、先述した第１の問題及び第２の問題等により、マルチラベルに対応可能な学習モデルＭの精度を十分に高めることができないことがある。第１損失ＬＢＣＥと第２損失ＬＣＬとを併用することによって、訓練データの減少と、学習モデルＭの精度向上と、を両立できる。発明者達の独自の研究によれば、ロングテール分布における画像の総数が比較的少ないラベル（図６におけるラベル０，４，５，６）のラベリング精度が特に向上することが確認された。また、訓練データの減少を実現することで、学習モデルＭの作成時のユーザの手間を省くことができる。
　また、学習システムＳは、クエリ画像ｘＱの埋め込みベクトルと、少なくとも１つのラベルが同じであるサポート画像ｘＳの埋め込みベクトルと、の違いが大きいほど、第２損失ＬＣＬが大きくなるように、第２損失ＬＣＬを計算することによって、似た画像同士の特徴を学習モデルＭに学習させることができる。例えば、クエリ画像ｘＱの埋め込みベクトルと、サポート画像ｘＳの埋め込みベクトルと、が近づくように、学習モデルＭのパラメータを調整することによって、学習モデルＭの精度を高めることができる。
　また、学習システムＳは、クエリ画像ｘＱの埋め込みベクトルと、複数のサポート画像ｘＳの各々の埋め込みベクトルの平均値と、に基づいて、第２損失ＬＣＬを取得することによって、サポート画像ｘＳの数を増やし、学習モデルＭの精度を効果的に高めることができる。即ち、サポート画像ｘＳの枚数を増やした場合にも第２損失ＬＣＬを正確に計算できる。また、複数のサポート画像ｘＳの埋め込みベクトルを１つの平均値にまとめることにより、１つの第２損失ＬＣＬを計算すればよく、多数の第２損失ＬＣＬを計算する必要がなくなるので、学習端末３０の処理負荷を軽減し、学習を高速化できる。
　また、学習システムＳは、第１損失ＬＢＣＥと、第２損失ＬＣＬと、に基づいて、全体損失Ｌｔｏｔａｌを計算してパラメータを調整することによって、第１損失ＬＢＣＥと第２損失ＬＣＬとを総合的に考慮した１つの指標を利用して、学習モデルＭの精度を効果的に高めることができる。また、第１損失ＬＢＣＥと第２損失ＬＣＬとを１つの全体損失Ｌｔｏｔａｌにまとめることによって、学習時に必要な処理を簡易化できる。即ち、２つの損失を１つにまとめることで、学習の処理も１つにまとめることができる。その結果、学習端末３０の処理負荷を軽減し、学習を高速化できる。
　また、学習システムＳは、ラベルの組み合わせごとに（即ち、エピソードごとに）、クエリ画像ｘＱとサポート画像ｘＳとを含む画像セットが存在し、ラベルの組み合わせごとに計算された第１損失ＬＢＣＥと第２損失ＬＣＬとに基づいて、学習モデルＭのパラメータを調整することによって、種々のラベルの組み合わせの特徴を学習モデルＭに学習させ、学習モデルＭの精度を高めることができる。また、マルチラベルにおけるラベルの組み合わせが多い場合にも、その組み合わせを認識可能な学習モデルＭを作成できる。
　また、学習システムＳは、学習モデルＭ１にクエリ画像ｘＱを入力し、学習モデルＭ２にサポート画像ｘＳを入力することによって、埋め込みベクトルの計算を並行して実行することができ、学習処理を高速化できる。
　また、学習システムＳは、学習システムＳは、マルチラベルにおけるロングテール分布を有するデータ群の中から、クエリ画像ｘＱと、サポート画像ｘＳと、を取得することによって、学習モデルＭの処理対象となる母集団がロングテール分布を有していたとしても、訓練データを減らし、学習モデルＭの精度を最大限に高めることができる。例えば、画像の総数が多いクラスと、画像の総数が少ないクラスと、で学習に利用する画像の数（１エピソードに含まれる画像の数）を同じにすることで、全てのクラスの特徴を学習モデルＭに万遍なく学習させることができる。
　また、学習システムＳは、学習モデルＭは、認識対象の複数のラベル以外の他のラベルが学習されたモデルの最後のレイヤが、複数のラベルに応じたレイヤに代えられることによって、学習の開始時にある程度の精度を有する学習モデルＭを用意し、最終的に得られる学習モデルＭの精度も高めることができる。例えば、一般的なＲｅｓＮｅｔ５０を利用して事前学習を実行した場合、事前学習で得られた学習モデルＭは、一般的なオブジェクトの特徴をある程度認識できる。即ち、この学習モデルＭは、画像内のどこに着目すれば、オブジェクトを分類可能であるかをある程度認識できる。そのような学習モデルＭを利用して、本実施形態のような学習を行うことにより、より高精度の学習モデルＭを得ることができる。また、ある程度の精度を有する学習モデルＭを得るまでに必要な学習の実行回数を減らし、学習端末３０の処理負荷を軽減し、学習を高速化できる。
　また、学習システムＳは、学習モデルＭの処理対象のデータを画像とすることで、少ない訓練データで、マルチラベルの画像を認識可能な学習モデルＭの精度を高めることができる。
［５．変形例］
　なお、本開示は、以上に説明した実施の形態に限定されるものではない。本開示の趣旨を逸脱しない範囲で、適宜変更可能である。
　（１）例えば、調整部３０５は、第１損失ＬＢＣＥ、第２損失ＬＣＬ、及びユーザにより指定された重み係数に基づいて、全体損失Ｌｔｏｔａｌを計算してもよい。ユーザは、第１損失ＬＢＣＥと第２損失ＬＣＬとの少なくとも一方の重み係数を指定可能である。ユーザは、これらの両方の重み係数を指定してもよいし、何れか一方のみの重み係数を指定してもよい。ユーザにより指定された重み係数は、データ記憶部３００に記憶される。調整部３０５は、第１損失ＬＢＣＥ第２損失ＬＣＬの各々に重み係数を乗じたうえで加算した値を、全体損失Ｌｔｏｔａｌとして取得する。全体損失Ｌｔｏｔａｌが取得された後の調整部３０５の処理は、実施形態と同様である。
　変形例（１）によれば、第１損失ＬＢＣＥ、第２損失ＬＣＬ、及び作成者により指定された重み係数に基づいて、全体損失Ｌｔｏｔａｌを計算することによって、学習モデルＭの精度を効果的に高めることができる。例えば、ロングテール分布におけるメジャーなクラスを優先して学習させたい場合には、第１損失ＬＢＣＥの重み係数を高くして、ロングテール分布におけるマイナーなクラスを優先して学習させたい場合には、第２損失ＬＣＬの重み係数を高くする、といったように、ユーザの目的に応じて重み係数を使い分けることができる。
　（２）また例えば、第２計算部３０４は、クエリ画像ｘＱの埋め込みベクトル、サポート画像ｘＳの埋め込みベクトル、及びクエリ画像ｘＱとサポート画像ｘＳとの間のラベルの類似性に応じた係数に基づいて、第２損失ＬＣＬを取得してもよい。ラベルの類似性とは、同じラベルの数又は割合である。同じラベルの数又は割合が多い又は高いほど、ラベルの類似性が高いことを意味する。
　実施形態では、クエリ画像ｘＱのラベルと、サポート画像ｘＳのラベルと、が完全一致する場合（クエリ画像ｘＱのクラスとサポート画像ｘＳのクラスとが同じ場合）を説明したが、本変形例では、クエリ画像ｘＱのラベルと、サポート画像ｘＳのラベルと、が完全一致せずに部分一致する場合（クエリ画像ｘＱのクラスとサポート画像ｘＳのクラスとが類似する場合）を説明する。
　例えば、クエリ画像ｘＱがラベル１、ラベル２、及びラベル４の３つのラベルに属するマルチラベルの画像だったとする。サポート画像ｘＳがラベル１、ラベル３、及びラベル４の３つのラベルに属するマルチラベルの画像だったとする。この場合、クエリ画像ｘＱとサポート画像ｘＳとの間で、３つのラベルのうちの２つが一致しているので、類似性に応じた係数は、０．６７とする。第２計算部３０４は、この係数を数式４に乗じることによって、第２損失ＬＣＬを計算する。
　クエリ画像ｘＱとサポート画像ｘＳとの間で同じラベルの数又は割合が多い又は高いほど、係数は大きくなる。ラベルの数又は割合と係数との関係は、予め数式又はテーブル等のデータに定めておけばよい。第２計算部３０４は、あるエピソードにおける第２損失ＬＣＬを計算する場合に、そのエピソードのクエリ画像ｘＱとサポート画像ｘＳとの間で同じラベルの数又は割合を特定し、その数又は割合に応じた係数を取得する。第２計算部３０４は、その係数に基づいて、第２損失ＬＣＬを計算する。
　変形例（２）によれば、クエリ画像ｘＱとサポート画像ｘＳとの間のラベルの類似性に応じた係数に基づいて、第２損失ＬＣＬを取得することによって、より少ない訓練データで、学習モデルＭの精度を効果的に高めることができる。例えば、ある画像と全く同じラベルの他の画像を探すのは難しいことがあり、類似するラベルの画像であれば容易に入手できることがある。この場合、ラベルの類似性に応じた係数に基づいて、第２損失ＬＣＬを取得することによって、全く同じラベルの他の画像を入手できなくても済むようになり、ユーザの手間を省くことができる。
　（３）また例えば、上記変形例を組み合わせてもよい。
　また例えば、複数のサポート画像ｘＳの各々の埋め込みベクトルの平均値を取ることなく、パラメータの調整が実行されてもよい。この場合、調整部３０５は、サポート画像ｘＳごとに、クエリ画像ｘＱの第１損失ＬＢＣＥと、そのサポート画像ｘＳの第２損失ＬＣＬと、に基づいて、全体損失Ｌｔｏｔａｌを計算し、パラメータの調整を実行してもよい。
　また例えば、図４では、２つの学習モデルＭ１，Ｍ２について説明したが、学習モデルＭは、１つだけであってもよい。この場合、１つの学習モデルＭに対し、クエリ画像ｘＱとサポート画像ｘＳとの各々が入力される。他にも例えば、学習モデルＭは、３つ以上であってもよい。この場合、Ｎ枚のサポート画像ｘＳごとに学習モデルＭが用意されていてもよい。なお、学習モデルＭが３つ以上の場合にも、パラメータが共有されるものとする。
　また例えば、第１損失ＬＢＣＥと、第２損失ＬＣＬと、に基づいて、学習モデルＭのパラメータが調整される場合を説明したが、学習システムＳは、第１損失ＬＢＣＥを計算せずに、第２損失ＬＣＬだけに基づいて、学習モデルＭのパラメータを調整してもよい。これとは逆に、学習システムＳは、第２損失ＬＣＬを計算せずに、第１損失ＬＢＣＥだけに基づいて、学習モデルＭのパラメータを調整してもよい。このようにすることでも、ある程度の精度の学習モデルＭを作成できることがあるからである。
　また例えば、学習モデルＭの認識対象は、画像に含まれる任意のオブジェクトであってよく、デジタルテキスト等に限られない。例えば、学習モデルＭは、犬や猫などの複数のオブジェクトが写されたマルチラベルの画像を認識してもよい。即ち、学習モデルＭによりラベリングされるラベルは、デジタルテキスト等に限られず、画像内の被写体であってもよい。ラベルは、画像内のオブジェクトの何らかの分類であればよい。
　また例えば、学習モデルＭに入力されるデータは、画像に限られない。即ち、学習システムＳは、画像認識以外の認識を行う学習モデルＭにも適用可能である。例えば、学習システムＳは、音声認識を行う学習モデルＭであってもよい。この場合、学習モデルＭに入力されるデータは、音声データである。また例えば、学習システムＳは、自然言語処理における学習モデルＭにも適用可能である。この場合、学習モデルＭに入力されるデータは、文書データである。他にも例えば、人間の行動又は自然界の現象といった種々の認識を行う学習モデルＭにも学習システムＳを適用可能である。学習モデルＭに入力されるデータは、学習モデルＭの用途に応じたデータであればよい。
　また例えば、学習端末３０に含まれる機能の全部又は一部は、他のコンピュータで実現されてもよい。例えば、データ取得部３０１、第１計算部３０２、特徴量取得部３０３、第２計算部３０４、及び調整部３０５の各々がサーバ１０に含まれてもよい。この場合、これらの各機能は、制御部１１を主として実現される。他にも例えば、これらの各機能が複数のコンピュータで分担されてもよい。学習システムＳには、１台のコンピュータだけが含まれてもよい。また例えば、データ記憶部１００，３００に記憶されるものとして説明したデータは、サーバ１０又は学習端末３０とは異なる他のコンピュータ又は情報記憶媒体に記憶されていてもよい。

Claims (13)

  1. 　マルチラベルのクエリデータが学習モデルに入力された場合に、前記学習モデルの出力と、目標となる出力と、に基づいて、第１損失を計算する第１計算手段と、
    　前記学習モデルのパラメータに基づいて計算された、前記クエリデータの特徴量と、前記クエリデータに対応するサポートデータの特徴量と、を取得する特徴量取得手段と、
    　前記クエリデータの特徴量と、前記サポートデータの特徴量と、に基づいて、第２損失を計算する第２計算手段と、
    　前記第１損失と、前記第２損失と、に基づいて、前記パラメータを調整する調整手段と、
    　を含む学習システム。
  2. 　前記クエリデータと、前記サポートデータと、は少なくとも１つのラベルが同じであり、
    　前記第２計算手段は、前記クエリデータの特徴量と前記サポートデータの特徴量との違いが大きいほど、前記第２損失が大きくなるように、前記第２損失を計算する、
    　請求項１に記載の学習システム。
  3. 　前記特徴量取得手段は、複数の前記サポートデータの各々の特徴量を取得し、
    　前記第２計算手段は、前記複数の前記サポートデータの各々の特徴量に基づいて、平均特徴量を計算し、前記クエリデータの特徴量と、前記平均特徴量と、に基づいて、前記第２損失を取得する、
    　請求項１又は２に記載の学習システム。
  4. 　前記調整手段は、前記第１損失と、前記第２損失と、に基づいて、全体損失を計算し、前記全体損失に基づいて、前記パラメータを調整する、
    　請求項１～３の何れかに記載の学習システム。
  5. 　前記調整手段は、前記第１損失、前記第２損失、及び作成者により指定された重み係数に基づいて、前記全体損失を計算する、
    　請求項４に記載の学習システム。
  6. 　前記学習モデルは、３以上のラベルを認識可能であり、
    　前記ラベルの組み合わせごとに、前記クエリデータと前記サポートデータとを含むデータセットが存在し、
    　前記第１計算手段は、前記ラベルの組み合わせごとに、当該組み合わせに対応する前記クエリデータに基づいて、前記第１損失を計算し、
    　前記特徴量取得手段は、前記ラベルの組み合わせごとに、当該組み合わせに対応する前記クエリデータの特徴量と、当該組み合わせに対応する前記サポートデータの特徴量と、を取得し、
    　前記第２計算手段は、前記ラベルの組み合わせごとに、当該組み合わせに対応する前記クエリデータの特徴量と、当該組み合わせに対応する前記サポートデータの特徴量と、に基づいて、前記第２損失を計算し、
    　前記調整手段は、前記ラベルの組み合わせごとに計算された前記第１損失と前記第２損失とに基づいて、前記パラメータを調整する、
    　請求項１～５の何れかに記載の学習システム。
  7. 　前記クエリデータは、第１の学習モデルに入力され、
    　前記サポートデータは、第２の学習モデルに入力され、
    　前記第１の学習モデルの前記パラメータと、前記第２の学習モデルの前記パラメータと、は共有されており、
    　前記第１計算手段は、前記第１の学習モデルの前記パラメータに基づいて、前記第１損失を計算し、
    　前記特徴量取得手段は、前記第１の学習モデルの前記パラメータに基づいて計算された前記クエリデータの特徴量と、前記第２の学習モデルの前記パラメータに基づいて計算された前記サポートデータの特徴量と、を取得し、
    　前記調整手段は、前記第１の学習モデルの前記パラメータと、前記第２の学習モデルの前記パラメータと、の各々を調整する、
    　請求項１～６の何れかに記載の学習システム。
  8. 　前記クエリデータと、前記サポートデータと、は少なくとも１つのラベルが同じであり、
    　前記第２計算手段は、前記クエリデータの特徴量、前記サポートデータの特徴量、及び前記クエリデータと前記サポートデータとの間のラベルの類似性に応じた係数に基づいて、前記第２損失を取得する、
    　請求項１～７の何れかに記載の学習システム。
  9. 　前記学習システムは、マルチラベルにおけるロングテール分布を有するデータ群の中から、前記クエリデータと、前記サポートデータと、を取得するデータ取得手段を更に含む、
    　請求項１～８の何れかに記載の学習システム。
  10. 　前記学習モデルは、認識対象の複数のラベル以外の他のラベルが学習されたモデルの最後のレイヤが、前記複数のラベルに応じたレイヤに代えられており、
    　前記第１計算手段は、前記複数のラベルに応じたレイヤに代えられた前記学習モデルの出力と、前記目標となる出力と、に基づいて、前記第１損失を計算する、
    　請求項１～９の何れかに記載の学習システム。
  11. 　前記学習モデルは、画像に含まれるオブジェクトを認識するモデルであり、
    　前記クエリデータは、マルチラベルのクエリ画像であり、
    　前記サポートデータは、前記クエリ画像に対応するサポート画像である、
    　請求項１～１０の何れかに記載の学習システム。
  12. 　マルチラベルのクエリデータが学習モデルに入力された場合に、前記学習モデルの出力と、目標となる出力と、に基づいて、第１損失を計算する第１計算ステップと、
    　前記学習モデルのパラメータに基づいて計算された、前記クエリデータの特徴量と、前記クエリデータに対応するサポートデータの特徴量と、を取得する特徴量取得ステップと、
    　前記クエリデータの特徴量と、前記サポートデータの特徴量と、に基づいて、第２損失を計算する第２計算ステップと、
    　前記第１損失と、前記第２損失と、に基づいて、前記パラメータを調整する調整ステップと、
    　を含む学習方法。
  13. 　マルチラベルのクエリデータが学習モデルに入力された場合に、前記学習モデルの出力と、目標となる出力と、に基づいて、第１損失を計算する第１計算手段、
    　前記学習モデルのパラメータに基づいて計算された、前記クエリデータの特徴量と、前記クエリデータに対応するサポートデータの特徴量と、を取得する特徴量取得手段、
    　前記クエリデータの特徴量と、前記サポートデータの特徴量と、に基づいて、第２損失を計算する第２計算手段、
    　前記第１損失と、前記第２損失と、に基づいて、前記パラメータを調整する調整手段、
    　としてコンピュータを機能させるためのプログラム。
PCT/JP2020/045416 2020-12-07 2020-12-07 学習システム、学習方法、及びプログラム WO2022123619A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP20938500.4A EP4040346A1 (en) 2020-12-07 2020-12-07 Learning system, learning method, and program
JP2021563294A JP6995262B1 (ja) 2020-12-07 2020-12-07 学習システム、学習方法、及びプログラム
CN202080041868.XA CN114916238A (zh) 2020-12-07 2020-12-07 学习系统、学习方法和程序
PCT/JP2020/045416 WO2022123619A1 (ja) 2020-12-07 2020-12-07 学習システム、学習方法、及びプログラム
US17/616,674 US20220398504A1 (en) 2020-12-07 2020-12-07 Learning system, learning method and program
TW110145679A TWI804090B (zh) 2020-12-07 2021-12-07 學習系統、學習方法及程式產品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/045416 WO2022123619A1 (ja) 2020-12-07 2020-12-07 学習システム、学習方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2022123619A1 true WO2022123619A1 (ja) 2022-06-16

Family

ID=80448007

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/045416 WO2022123619A1 (ja) 2020-12-07 2020-12-07 学習システム、学習方法、及びプログラム

Country Status (6)

Country Link
US (1) US20220398504A1 (ja)
EP (1) EP4040346A1 (ja)
JP (1) JP6995262B1 (ja)
CN (1) CN114916238A (ja)
TW (1) TWI804090B (ja)
WO (1) WO2022123619A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114691886A (zh) * 2022-03-16 2022-07-01 华中科技大学 一种关系增强的知识图谱嵌入方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102459381B1 (ko) * 2018-02-23 2022-10-26 에이에스엠엘 네델란즈 비.브이. 컴퓨테이션 리소그래피를 위한 머신 러닝 모델을 트레이닝시키기 위한 방법
CN111985581B (zh) * 2020-09-09 2022-07-05 福州大学 一种基于样本级注意力网络的少样本学习方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KARLINSKY, LEONID ET AL.: "RepMet: Representative- based metric learning for classification and few- shot object detection", ARXIV, 18 November 2018 (2018-11-18), Retrieved from the Internet <URL:https://arxiv.org/pdf/1806.04728v3.pdf> [retrieved on 20210219] *
RIOS, ANTHONY ET AL.: "Few-Shot and Zero-Shot Multi- Label Learning for Structured Label Spaces, 2018 Conference on Empirical Methods in Natural Language Processing", ACL ANTHOLOGY, 2018, pages 3132 - 3142, Retrieved from the Internet <URL:https://www.aclweb.org/anthology/D18-1352.pdf> [retrieved on 20210219] *
WANG, YAQING ET AL.: "Generalizing from a Few Examples: A Survey on Few-Shot Learning", ARXIV, 29 March 2020 (2020-03-29), Retrieved from the Internet <URL:https://arxiv.org/pdf/1904.05046v3.pdf> [retrieved on 20210219] *

Also Published As

Publication number Publication date
CN114916238A (zh) 2022-08-16
TWI804090B (zh) 2023-06-01
EP4040346A4 (en) 2022-08-10
US20220398504A1 (en) 2022-12-15
TW202232388A (zh) 2022-08-16
JPWO2022123619A1 (ja) 2022-06-16
JP6995262B1 (ja) 2022-01-14
EP4040346A1 (en) 2022-08-10

Similar Documents

Publication Publication Date Title
US11657602B2 (en) Font identification from imagery
US11508169B2 (en) System and method for synthetic image generation with localized editing
Kodirov et al. Semantic autoencoder for zero-shot learning
US20200193552A1 (en) Sparse learning for computer vision
Avila et al. Pooling in image representation: The visual codeword point of view
US20190258925A1 (en) Performing attribute-aware based tasks via an attention-controlled neural network
Olivas et al. Handbook of research on machine learning applications and trends: Algorithms, methods, and techniques: Algorithms, methods, and techniques
Xie et al. Learning sparse frame models for natural image patterns
CN105354248A (zh) 基于灰度的分布式图像底层特征识别方法及系统
Bargshady et al. The modeling of human facial pain intensity based on Temporal Convolutional Networks trained with video frames in HSV color space
Georgopoulos et al. Modeling of facial aging and kinship: A survey
CN113657087B (zh) 信息的匹配方法及装置
Jiang et al. Consensus style centralizing auto-encoder for weak style classification
CN110889718B (zh) 方案筛选方法、方案筛选装置、介质以及电子设备
Meena et al. Facial expression recognition using graph signal processing on HOG
JP6995262B1 (ja) 学習システム、学習方法、及びプログラム
Bouguila On multivariate binary data clustering and feature weighting
Puthenputhussery et al. Sparse representation based complete kernel marginal fisher analysis framework for computational art painting categorization
CN116383419A (zh) 一种本地相册儿童照片智能筛选和时间线整理方法及系统
Tian et al. A multitask convolutional neural network for artwork appreciation
Pflüger et al. Sifting through visual arts collections
Barcic et al. Convolutional Neural Networks for Face Recognition: A Systematic Literature Review
Li Special character recognition using deep learning
Wu et al. A unified framework for age invariant face recognition and age estimation
Mao et al. A Transfer Learning Method with Multi-feature Calibration for Building Identification

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021563294

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020938500

Country of ref document: EP

Effective date: 20211206

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20938500

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE