WO2023105610A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2023105610A1
WO2023105610A1 PCT/JP2021/044858 JP2021044858W WO2023105610A1 WO 2023105610 A1 WO2023105610 A1 WO 2023105610A1 JP 2021044858 W JP2021044858 W JP 2021044858W WO 2023105610 A1 WO2023105610 A1 WO 2023105610A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
learning data
classification
information processing
data elements
Prior art date
Application number
PCT/JP2021/044858
Other languages
English (en)
French (fr)
Inventor
ディネシュ ドルタニ
満 中澤
Original Assignee
楽天グループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 楽天グループ株式会社 filed Critical 楽天グループ株式会社
Priority to PCT/JP2021/044858 priority Critical patent/WO2023105610A1/ja
Priority to JP2022561532A priority patent/JP7445782B2/ja
Priority to EP21943318.2A priority patent/EP4216114A4/en
Priority to US18/009,831 priority patent/US20240135693A1/en
Publication of WO2023105610A1 publication Critical patent/WO2023105610A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • the present invention relates to an information processing device, an information processing method, and a program, and particularly to a technique for learning a learning model.
  • E-commerce/e-commerce which sells products using the Internet
  • EC Electronic Commerce
  • Non-Patent Document 1 discloses a technique for hierarchically classifying images using a convolutional neural network model.
  • Non-Patent Document 1 discloses a learning model for hierarchically classifying objects contained in images. There is a problem that the efficiency of
  • the present invention has been made in view of the above problems, and aims to provide a learning model learning method that effectively prevents a decrease in accuracy even in learning a learning model for increasingly complex tasks.
  • one aspect of an information processing apparatus selects one or more learning data elements from a data group including a plurality of learning data elements to which different correct labels are assigned, and generating means for generating a plurality of learning data sets so that the number of learning data elements changes in order; and applying the plurality of learning data sets to a learning model for machine learning in the order in which they were generated, and learning means for repeatedly learning the learning model.
  • the generating means may generate the plurality of learning data sets from the plurality of learning data elements so that the learning data elements change randomly.
  • the generating means may generate the plurality of learning data sets from the plurality of learning data elements such that the number of the learning data elements increases or decreases in order.
  • the generating means randomly selects one or more learning data elements from the data group to generate an initial learning data set, and uses the initial learning data set as a starting point to generate the data
  • the plurality of training data sets may be generated by adding and deleting one or more training data elements randomly selected from the group.
  • the learning model can be configured including a convolutional neural network.
  • the learning model includes a main network that receives an object image including an object as input, extracts a plurality of feature amounts for hierarchical classification of the object based on the object image, and a main network that extracts a plurality of feature amounts for hierarchical classification of the object based on the object image;
  • the main network is composed of a plurality of extractors that extract each of the plurality of features, and the sub-network is configured from each of the plurality of features It may comprise a plurality of classifiers outputting classifications for said object, and a higher level classifier may be configured to have connections to one or more lower level classifiers.
  • Each of the plurality of extractors in the main network may be configured including a plurality of convolution layers.
  • Each of the plurality of classifiers in the sub-network may be composed of a fully-connected neural network.
  • the label can indicate a classification with a hierarchical structure for the object.
  • the information processing apparatus may further include output means for outputting the two or more hierarchical classifications determined by the classification means.
  • one aspect of an information processing method selects one or more learning data elements from a data group including a plurality of learning data elements assigned with different correct labels, A generation step of generating a plurality of learning data sets so that the number of learning data elements changes in order, and applying the plurality of learning data sets to a learning model for machine learning in the order in which they were generated, and a learning step of repeatedly learning the learning model.
  • one aspect of an information processing program is an information processing program for causing a computer to execute information processing, wherein the computer is provided with different correct labels.
  • FIG. 1 is a block diagram showing an example of the functional configuration of an information processing apparatus according to an embodiment of the invention.
  • FIG. 2 shows an example of the architecture of a classification prediction model.
  • FIG. 3 shows another example of the architecture of a classification prediction model.
  • FIG. 4 shows a conceptual diagram of hierarchical classification for commodities.
  • FIG. 5 shows examples of multiple training datasets for a classification prediction model.
  • FIG. 6 is a block diagram showing an example of the hardware configuration of the information processing device according to the embodiment of the present invention.
  • FIG. 7 shows a flow chart of the classification prediction phase.
  • FIG. 8 shows a flow chart of the learning phase.
  • FIG. 9 shows an example of classification results.
  • the information processing apparatus 100 acquires an image (product image) including a product and applies the product image to a learning model to classify the product image (product included in the product image). is predicted and output.
  • an example of predicting a hierarchical classification (a classification having a hierarchical structure) for products will be described.
  • the classification prediction target is not limited to products, and may be any object. Therefore, the present embodiment can also be applied to the case of predicting a hierarchical classification of an object from an image (object image) containing an arbitrary object.
  • FIG. 1 shows an example of the functional configuration of an information processing apparatus 100 according to this embodiment.
  • Information processing apparatus 100 shown in FIG. 1 shows an example of the functional configuration of an information processing apparatus 100 according to this embodiment.
  • Information processing apparatus 100 shown in FIG. 1 shows an example of the functional configuration of an information processing apparatus 100 according to this embodiment.
  • the acquisition unit 101 acquires product images.
  • the acquisition unit 101 may acquire the product image by an input operation by the user (operator) via the input unit 605 (FIG. 6), or by the user's operation from the storage unit (ROM 602 or RAM 603 in FIG. 6). You may The acquisition unit 101 may also acquire product images received from an external device via the communication interface (I/F) 607 (FIG. 6).
  • the product image may be an image expressing colors with three colors, red (R), green (G), and blue (B).
  • the acquisition unit 101 outputs the acquired product image to the classification prediction unit 102 .
  • the classification prediction unit 102 applies the product image acquired by the acquisition unit 101 to the classification prediction model 107, and predicts the classification of the product included in the product image.
  • the classification prediction model 107 will be described later.
  • the data set generation unit 103 generates a learning data set used for learning the classification prediction model 107 from a plurality of learning data elements (learning data) included in the learning data group 106 .
  • the data set generation unit 103 generates a plurality of learning data sets, and the learning unit 104 uses the plurality of learning data sets sequentially (in chronological order) to generate the classification prediction model 107. let them learn
  • the classification prediction model 107 is a learning model that receives as input a product image including a product and predicts the classification of the product.
  • the taxonomy may be a hierarchical taxonomy.
  • the classification prediction model 107 shown in FIG. 2 includes a main network 201 including multiple subparts (first subpart 211 to fifth subpart 215) and multiple classification blocks (first classification block 221 to third classification block 223). It consists of a neural network including a sub-network 202 . A subpart is also called an extractor. Note that the classification block is also called a classifier.
  • the output of first classification block 221 is input to second classification block 222 and third classification block 223, and the output of second classification block 222 is input to third classification block 223. It is configured.
  • a skip connection (shortcut connection), which is a configuration in which the output of one block in a neural network model is input to another block that is not adjacent, is known in neural network models such as ResNet. In ResNet, skip connections are used in feature quantity extraction.
  • the upper classifier in a plurality of classifiers such as the first classification block 211 to the third classification block 223, the upper classifier has a connection to one or more lower classifiers. different from That is, in the model shown in FIG. 2, the output of the classifier on the upper side is input to one or more classifiers on the lower side.
  • the main network 201 shown in FIG. 2 is a neural network based on a 16-layer version of the well-known VGG network (VGGNet), which is one of the convolutional neural network (CNN) models.
  • VGGNet VGG network
  • the first subpart 211 and the second subpart 212 consist of two convolution layers (Conv) and one pooling layer (Pooling)
  • the third subpart 213 and the fourth subpart 214 consist of three convolution layers and Consisting of one pooling layer
  • the fifth subpart 215 has three convolutional layers.
  • convolution with a kernel size of 3 ⁇ 3 is performed, while the number of filters (number of channels) differs in each subpart.
  • the number of filters is 64 in the first subpart 211 , 128 in the second subpart 212 , 256 in the third subpart 213 , and 512 in the fourth subpart 214 and the fifth subpart 215 .
  • 2 ⁇ 2 size maximum pooling MaxPooling
  • stride 2 2 ⁇ 2 size maximum pooling
  • a product image is input to the main network 201 as an input image, and the first subpart 211 to the fifth subpart 215 extract the feature amount of the product image and output it as an output of the main network 201 .
  • the feature amount may be a feature amount for hierarchical classification.
  • product classification is learned in order from top to bottom. Therefore, the plurality of feature quantities output from the first subpart 211 to the fifth subpart 215 show the features of the lower (subdivided) classification in order from the feature quantity showing the features of the higher (coarse) classification of the product. It becomes a feature quantity (a plurality of feature quantities for hierarchical classification of products).
  • the output of main network 201 is input to sub-network 202 .
  • the sub-network 202 predicts hierarchical classification from each of the plurality of features from the main network 201 .
  • Each of the first classification block 221 to the third classification block 223 shown in FIG. 2 is composed of a fully-connected neural network.
  • a classification label (class) for the product is output, and the classification (classification name) is determined from the label.
  • the classifications (first classification to third classification) output from the first classification block 221 to the third classification block 223 are the higher (coarse) classification of the product and the lower (subdivided) classification in order. An example of such hierarchical classification will be described later with reference to FIG.
  • the operations of the first classification block 221 to the third classification block 223 will be described more specifically.
  • the first classification block 221 outputs the label of the first classification from the feature quantity output from the third subpart 213 of the main network 201 and determines the first classification.
  • the second classification block 222 outputs a second classification label from the feature quantity output from the fourth subpart 214 of the main network 201 and the first classification label output from the first classification block 221. , determines the second classification.
  • the third classification block 223 combines the feature quantity output from the fifth subpart 215 of the main network 201 with the first classification label output from the first classification block 221 and the first classification block 222 output from the second classification block 222 . From the labels of the second classification, the label of the third classification is output to determine the third classification.
  • the configuration is not limited to that shown in FIG. 2, and may be configured such that the classification result of a higher classifier is input to one or more lower classifiers.
  • the classification label output from the first classification block 221 may be configured to be input to the third classification block 223 without being input to the second classification block 223 .
  • sub-network 202 may be configured to output the second and/or third classification without the first classification.
  • the classification prediction model 107 shown in FIG. 3 includes a main network 301 including multiple subparts (first subpart 311 to fifth subpart 315) and multiple classification blocks (first classification block 321 to third classification block 323). It consists of a neural network including a sub-network 302 . In sub-network 302 , the output of first classification block 321 is input to second classification block 322 and third classification block 323 , and the output of second classification block 322 is configured to input to third classification block 323 . .
  • the main network 301 is a neural network based on the 19-layer version of the VGG network.
  • first subpart 311 and second subpart 312 are common to first subpart 211 and second subpart 212
  • third subpart 313 to fifth subpart 315 are common to third subpart 213.
  • ⁇ 5 subpart 215 includes one more convolutional layer. This may result in a more accurate prediction of the resulting output classification as compared to the model shown in FIG. Since other configurations are the same as those of the model shown in FIG. 2, description thereof is omitted.
  • the learning unit 103 sequentially applies a plurality of learning data sets generated by the data set generation unit 103 to the classification prediction model 107 configured as shown in FIGS. 2 and 3 to learn the model. That is, the learning unit 103 repeats learning of the classification prediction model 107 using the plurality of learning data sets. Then, the learning unit 103 stores the learned classification prediction model 107 in a storage unit such as the RAM 603 (FIG. 6).
  • the classification prediction unit 102 applies the product image acquired by the acquisition unit 101 to the learned classification prediction model 107 stored in a storage unit such as the RAM 603 (FIG. 6), and predicts the classification of the product image for the product. .
  • FIG. 4 shows a conceptual diagram of hierarchical classification as an example of product classification predicted by the classification prediction unit 102 .
  • FIG. 4 shows an example of hierarchical classification of products 42 included in product images 41 .
  • the product image 41 By applying the product image 41 to the classification prediction model 107, the first Classification to third classification are estimated hierarchically.
  • the classification indicated in bold is predicted. That is, it is predicted that the first category is "men's fashion", the second category is “tops”, and the third category is "T-shirts".
  • the main network 201 or the main network 301 in the classification prediction model 107, as a classification result, from the upper (coarse) first classification to the lower (subdivided) Three classification predictions are possible.
  • the data set generation unit 103 generates a plurality of learning data sets used for learning the classification prediction model 107 from a plurality of learning data elements included in the learning data group 106. do.
  • the learning unit 104 learns the classification prediction model 107 by sequentially using the plurality of learning data sets (in chronological order).
  • the learning data group 106 is composed of learning data elements to which 10 different correct labels (classes) from "0" to "9" are assigned.
  • Each data element for learning is composed of a plurality of sets each including a product image including the product and the same label (correct data) indicating the classification of the product. Therefore, one learning data element is given the same label.
  • the labels are configured to indicate a classification having a hierarchical structure, and correspond to, for example, the labels attached to the third classification associated with the first and second classifications described above. do. Therefore, referring to FIG.
  • label “0” corresponds to "T-shirt” associated with “men's fashion” and “tops”, and the learning data element with label “0”
  • a set of an image and a label "0" is defined as one set, and a plurality of such sets are included.
  • the data set generation unit 103 generates a plurality of learning data sets by applying predetermined generation rules (selection rules).
  • selection rules generation rules according to this embodiment will be described. Note that this rule is only an example, and a plurality of learning data sets may be generated by another rule or method so that the number of learning data elements changes in order. Also, a plurality of learning data sets may be generated such that the learning data elements change randomly.
  • the learning data elements to be added/deleted in rule (2) are randomly selected. That is, the learning data elements to be added are randomly selected from the learning data elements not included in the learning data set to be added, and the learning data elements to be deleted are selected from the learning data elements to be deleted. Randomly select from the set.
  • FIG. 5 shows an example of a plurality of learning data sets generated by the data set generation unit 103 according to the generation rule.
  • ten learning data sets 1-10 are shown.
  • numbers surrounded by squares correspond to learning data elements labeled with the numbers.
  • Learning data set 1 is an initial learning data set that follows rule (1), and in the example of FIG. 8, labels "1", “2”, “4", “6 , “8”, and “9” are randomly selected and generated.
  • the learning data set 2 is a learning data set randomly selected from learning data elements not selected (not included in the learning data set 1) for the learning data set 1. It is a learning data set to which two learning data elements "3" and "7" are added.
  • the learning data set 3 is a learning data set obtained by deleting one learning data element labeled "8" from the learning data elements included in the learning data set 2 with respect to the learning data set 2. be.
  • Learning data set 4 and subsequent ones are also generated with additions and deletions according to the above generation rules.
  • the number of learning data elements to be added is greater than the number of learning data to be deleted. 10 is generated.
  • the learning data sets 1 to 10 are data sets in which the number of learning data elements increases or decreases in order.
  • the data set generation unit 103 may generate the learning data set by alternately adding and deleting learning data elements. Further, the data set generation unit 103 may generate a learning data set by deleting or adding learning data elements after successive additions or deletions of learning data elements.
  • the learning data sets 1 to 10 generated in this way are used (applied) to the classification prediction model 107 in chronological order to learn the classification prediction model 107. That is, training data set 1 is used at time t to learn the classification prediction model 107, and then training data set 2 is used at time t+1 to learn the classification prediction model 107. FIG. Such a learning process continues until the training data set 10 is used at time t+9 to learn the classification prediction model 107 . In this embodiment, the classification prediction model 107 is learned with different learning data sets in chronological order by such learning processing.
  • the data set generation unit 103 generates the learning data set 1
  • the learning unit 104 uses the data set to learn the classification prediction model 107
  • the data set generation unit 103 generates the learning data set 2.
  • the data may be generated, and the learning unit 104 may learn the classification prediction model 107 using the data, and such processing may be continued up to the training data set 10 .
  • FIG. 6 is a block diagram showing an example of the hardware configuration of the information processing apparatus 100 according to this embodiment.
  • the information processing apparatus 100 according to this embodiment can be implemented on any single or multiple computers, mobile devices, or any other processing platform. Referring to FIG. 6, an example in which information processing apparatus 100 is implemented in a single computer is shown, but information processing apparatus 100 according to the present embodiment is implemented in a computer system including a plurality of computers. good. A plurality of computers may be interconnectably connected by a wired or wireless network.
  • information processing apparatus 100 may include CPU 601 , ROM 602 , RAM 603 , HDD 604 , input section 605 , display section 606 , communication I/F 607 , and system bus 608 .
  • Information processing apparatus 100 may also include an external memory.
  • a CPU (Central Processing Unit) 601 comprehensively controls operations in the information processing apparatus 100, and controls each component (602 to 607) via a system bus 608, which is a data transmission path.
  • a ROM (Read Only Memory) 602 is a non-volatile memory that stores control programs and the like necessary for the CPU 601 to execute processing.
  • the program may be stored in a non-volatile memory such as a HDD (Hard Disk Drive) 604 or an SSD (Solid State Drive) or an external memory such as a removable storage medium (not shown).
  • a RAM (Random Access Memory) 603 is a volatile memory and functions as a main memory, a work area, and the like for the CPU 601 . That is, the CPU 601 loads necessary programs and the like from the ROM 602 to the RAM 603 when executing processing, and executes the programs and the like to realize various functional operations.
  • the HDD 604 stores, for example, various data and information necessary for the CPU 601 to perform processing using programs.
  • the HDD 604 also stores various data, information, and the like obtained by the CPU 601 performing processing using programs and the like, for example.
  • An input unit 605 is configured by a pointing device such as a keyboard and a mouse.
  • a display unit 606 is configured by a monitor such as a liquid crystal display (LCD).
  • the display unit 606 may function as a GUI (Graphical User Interface) by being configured in combination with the input unit 605 .
  • GUI Graphic User Interface
  • a communication I/F 607 is an interface that controls communication between the information processing apparatus 100 and an external device.
  • a communication I/F 607 provides an interface with a network and executes communication with an external device via the network.
  • Various data, various parameters, and the like are transmitted/received to/from an external device via the communication I/F 607 .
  • the communication I/F 607 may perform communication via a wired LAN (Local Area Network) conforming to a communication standard such as Ethernet (registered trademark) or a dedicated line.
  • the network that can be used in this embodiment is not limited to this, and may be configured as a wireless network.
  • This wireless network includes a wireless PAN (Personal Area Network) such as Bluetooth (registered trademark), ZigBee (registered trademark), and UWB (Ultra Wide Band). It also includes a wireless LAN (Local Area Network) such as Wi-Fi (Wireless Fidelity) (registered trademark) and a wireless MAN (Metropolitan Area Network) such as WiMAX (registered trademark). Furthermore, wireless WANs (Wide Area Networks) such as LTE/3G, 4G, and 5G are included. It should be noted that the network may connect each device so as to be able to communicate with each other as long as communication is possible, and the communication standard, scale, and configuration are not limited to the above.
  • At least some of the functions of the elements of the information processing apparatus 100 shown in FIG. 6 can be realized by the CPU 601 executing a program. However, at least some of the functions of the elements of the information processing apparatus 100 shown in FIG. 6 may operate as dedicated hardware. In this case, the dedicated hardware operates under the control of the CPU 601 .
  • FIG. 7 shows a flowchart of the processing (learning phase) for learning the classification prediction model 107
  • FIG. 8 shows classification prediction for product images (products included in product images) using the trained classification prediction model 107
  • 4 shows a flowchart of processing (classification prediction phase).
  • the processing shown in FIGS. 7 and 8 can be realized by the CPU 601 of the information processing apparatus 100 loading a program stored in the ROM 602 or the like into the RAM 603 and executing the program.
  • FIG. 5 will be referred to.
  • the dataset generation unit 103 generates the learning dataset 1 as the initial learning dataset. Subsequently, in S72, the data set generation unit 103 repeats addition and deletion of learning data elements starting from the learning data set 1, and generates learning data sets 2 to 10 in order.
  • the learning unit 104 learns the classification prediction model 107 by sequentially using the learning data sets 1 to 10 generated in S71 and S72 in chronological order. That is, the learning unit 104 learns the classification prediction model 107 by sequentially using a plurality of learning data sets 1 to 10 generated such that the number of learning data elements dynamically changes in order. As a result, the learning data set that has been used for learning once is used again after changing the time, and a new learning data set is also used for learning.
  • learning unit 104 stores classification prediction model 107 learned in S ⁇ b>73 as learned classification prediction model 107 in a storage unit such as RAM 603 .
  • the acquisition unit 101 acquires a product image including a product to be classified and predicted. For example, when the operator of the information processing device 100 operates the information processing device 100 to access an arbitrary EC site and select a product image including an arbitrary product, the acquisition unit 101 acquires the product image. to get Further, the acquisition unit 101 can acquire a product image by acquiring a product image or a URL indicating the product image transmitted from an external device such as a user device.
  • the number of products targeted for classification prediction included in one product image is not limited to one, and the product image may include a plurality of products targeted for classification prediction.
  • the classification prediction unit 102 inputs the product image acquired by the acquisition unit 101 to the classification prediction model 107, predicts and determines the hierarchical classification of the product.
  • An example of the classification prediction model 107 is as shown in FIG. 2 or FIG. is used to output a hierarchical classification for the product.
  • the main network is composed of a plurality of subparts (extractors) that extract each of the plurality of feature values, and the subnetwork includes a plurality of classification blocks that output a classification of the product from each of the plurality of feature values. (classifiers), and a higher classifying block is configured to have connections to one or more lower classifying blocks.
  • the classification prediction unit 102 classifies the products in the product image acquired in S81 as a hierarchical classification as shown in FIG.
  • the 2nd classification and the 3rd classification are predicted and determined.
  • the output unit 105 outputs the classification result (classification result) predicted and determined by the classification prediction unit 102 in S82.
  • the output unit 105 may display the classification result on the display unit 606 of the information processing apparatus 100 or transmit it to an external device such as a user device via the communication I/F 607 .
  • the acquisition unit 101 acquires a plurality of product regions (Region of Interest) including each of the plurality of products by, for example, a known image processing technique, and the classification prediction unit 102 can be output to Then, the classification prediction unit 102 can perform the processing of S82 on each product area (partial image) to predict and determine the classification for each product.
  • the output unit 105 may output the (hierarchical) classification for each product separately as classification results, or may output them as one classification result.
  • FIG. 9 shows an example of the classification result output by the output unit 105 as a classification result 90.
  • the classification result 90 may be displayed on the display unit 606 of the information processing apparatus 100, or may be transmitted to an external device such as a user device via the communication I/F 607 and displayed on the external device.
  • a product image 91 is a product image including a product to be classified and predicted. This is the image selected after Also, the product image 91 may be an image transmitted from an external device such as a user device.
  • the classification prediction unit 102 of the information processing apparatus 100 applies the product image 91 to the learned classification prediction model 107 shown in FIGS. 2 and 3 to predict a hierarchical classification 93 for the product 92 .
  • the hierarchical classification 93 is similar to the classification shown in FIG.
  • the output unit 105 can combine the hierarchical classification 93 and the product image 91 to form a classification result 90 and output it.
  • Table 1 shows simulation results of performance evaluation of classification prediction processing. Specifically, Table 1 shows the correct answer rate (accuracy) for the correct data when the classification prediction process is performed using each of the plurality of learning models. In this simulation, the Fashion-MNIST data set that can be obtained on the Internet or the like was used as the learning data group 106 .
  • the classification prediction model 107 described with reference to FIG. 3 in the first embodiment is learned by sequentially applying the learning data sets 1 to 10 described with reference to FIG. A model was used (present invention model).
  • a learning model composed only of the main network 301, the third classification block 223, and the third output block 243 of the classification prediction model 107 shown in FIG. 3 is shown in FIG. A model trained by once applying the training data set with labels “0” to “9” described above was used as the first comparison model. The learning model can output only the third classification.
  • the classification prediction model 107 described in the first embodiment with reference to FIG. A model trained by sequentially applying the six training data sets generated by the method was used as the second comparison model.
  • the model of the present invention has a high accuracy rate in all of the first to third classifications. Also, it can be seen that the present invention model has a higher accuracy rate in the third classification than the first comparison model. This is due to the synergy of using the classification prediction model 107 described in the first embodiment and learning the classification prediction model 107 using a plurality of time-series learning data sets described in the present embodiment. It is an effect.
  • a plurality of learning data sets are applied to the classification prediction model 107 in chronological order to make the classification prediction model 107 learn.
  • a learning model is constructed, making it possible to accurately predict increasingly complex classifications.
  • the classification prediction model 107 has skip connections for the outputs of the first classification block 211 to the third classification block 223 and the outputs of the first classification block 311 to the third classification block 323. With applied configuration. With such a configuration, high-level classification results are combined with low-level classification results to predict low-level classifications, making it possible to accurately predict hierarchical classification of products.
  • the learning process is performed by applying a plurality of learning data sets described with reference to FIG. 5 to a learning model configured by/including a convolutional neural network (CNN).
  • CNN convolutional neural network
  • the present embodiment it is possible to construct a learning model that targets increasingly complex classification tasks. can be predicted with high accuracy. As a result, for example, the predictability of the trend of products purchased on the EC site and the ease of product selection by the user are improved.
  • 100 Information processing device
  • 101 Acquisition unit
  • 102 Classification prediction unit
  • 103 Data set generation unit
  • 104 Learning unit
  • 105 Output unit
  • 106 Learning data group
  • 107 Classification prediction model

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

情報処理装置は、異なる正解ラベルが付与された複数の学習用データエレメントを含むデータ群から１以上の前記学習用データエレメントを選択し、前記学習用データエレメントの数が順に変化するように、複数の学習用データセットを生成する生成手段と、前記複数の学習用データセットを機械学習のための学習モデルに適用して、当該学習モデルを繰り返し学習させる学習手段と、を有する。

Description

情報処理装置、情報処理方法、およびプログラム
　本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、学習モデルを学習させるための技術に関する。
　近年、インターネットを使って商品の販売を行う電子商取引（Ｅ－ｃｏｍｍｅｒｃｅ／ｅコマース）が盛んに実施されており、そのような電子商取引の実施のためのＥＣ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｍｍｅｒｃｅ）サイトがウェブ上に多く構築されている。ＥＣサイトは、世界中の各国の言語を用いて構築されることも多く、多くの国に在住するユーザ（消費者）が商品を購入することを可能にしている。ユーザは、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）や、スマートフォンといった携帯端末からＥＣサイトにアクセスすることで、実際の店舗に赴くことなく、また時間に関係なく、所望の商品の選択や購入を行うことが可能となっている。
　ＥＣサイトで扱う商品の種類および数は膨大であるため、一般的に、各商品は、粗い（上位の）分類から細かい（下位の）分類へと階層的に分類して管理されている。このような商品に対する分類は、ＥＣサイトの利用においても活用されている。例えば、ＥＣサイトでは、ユーザによる購買意欲を増進させることを目的に、過去にユーザが購入した商品の分類と同様の分類の商品を、レコメンデーションする商品として、ユーザが閲覧している画面において合わせて表示することがある。また、ユーザも、商品画像（商品を含む画像）における商品の分類を知ることで、所望の商品の発見が容易になりうる。このようなことから、商品画像に対する分類を精度よく行うことは、ＥＣサイトに関して重要な課題の１つである。
　非特許文献１では、畳み込み型ニューラルネットワークモデルを用いて、画像に対する階層的な分類を行うための技術が開示されている。
Seo Yian, and Shin Kyung-shik, "Hierarchical convolutional neural networks for fashion image classification", Exp. Sys. Appl., Vol.116, 2019, 328-329.
　非特許文献１では、画像に含まれるオブジェクトに対する階層的な分類を行うための学習モデルについて開示されているが、各階層の分類数が増加し分類が複雑化するにともない当該学習モデルの学習処理の効率が低下しうるという課題があった。
　本発明は上記課題に鑑みてなされたものであり、複雑化するタスクのための学習モデルの学習においても精度低下を有効に防止する学習モデルの学習手法を提供することを目的とする。
　上記課題を解決するために、本発明による情報処理装置の一態様は、異なる正解ラベルが付与された複数の学習用データエレメントを含むデータ群から１以上の前記学習用データエレメントを選択し、前記学習用データエレメントの数が順に変化するように、複数の学習用データセットを生成する生成手段と、前記複数の学習用データセットを機械学習のための学習モデルに生成された順に適用して、当該学習モデルを繰り返し学習させる学習手段と、を有する。
　前記情報処理装置において、前記生成手段は、前記学習用データエレメントがランダムに変化するように 、前記複数の学習用データエレメントから前記複数の学習用データセットを生成しうる。
　前記情報処理装置において、前記生成手段は、前記学習用データエレメントの数が順に増減するように、前記複数の学習用データエレメントから前記複数の学習用データセットを生成しうる。
　前記情報処理装置において、前記生成手段は、前記データ群から１つ以上の学習用データエレメントをランダムに選択して初期学習用データセットを生成し、前記初期学習用データセットを起点として、前記データ群からランダムに選択した１つ以上の学習用データエレメントの追加および削除を行うことにより、前記複数の学習用データセットを生成しうる。
　前記学習モデルは、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を含んで構成されうる。
　前記学習モデルは、オブジェクトを含むオブジェクト画像を入力として、前記オブジェクト画像に基づき前記オブジェクトに対する階層的な分類のための複数の特徴量を抽出するメインネットワークと、前記複数の特徴量を用いて前記オブジェクトに対する階層的な分類を出力するサブネットワークから構成され、前記メインネットワークは、前記複数の特徴量のそれぞれを抽出する複数の抽出器で構成され、前記サブネットワークは、前記複数の特徴量のそれぞれから前記オブジェクトに対する分類を出力する複数の分類器で構成され、上位側の分類器は１つ以上の下位側の分類器へのコネクションを有するように構成されうる。
　前記メインネットワークにおける前記複数の抽出器のそれぞれは、複数の畳み込み層を含んで構成されうる。
　前記サブネットワークにおける前記複数の分類器のそれぞれは、全結合型ニューラルネットワークで構成されうる。
　前記ラベルは、前記オブジェクトに対する、階層構造を有する分類を示しうる。
　前記情報処理装置は、前記分類手段により決定された前記２つ以上の階層的な分類を出力する出力手段をさらに有しうる。
　上記課題を解決するために、本発明による情報処理方法の一態様は、異なる正解ラベルが付与された複数の学習用データエレメントを含むデータ群から１以上の前記学習用データエレメントを選択し、前記学習用データエレメントの数が順に変化するように、複数の学習用データセットを生成する生成工程と、前記複数の学習用データセットを機械学習のための学習モデルに生成された順に適用して、当該学習モデルを繰り返し学習させる学習工程と、を有する。
　上記課題を解決するために、本発明による情報処理プログラムの一態様は、情報処理をコンピュータに実行させるための情報処理プログラムであって、該プログラムは、前記コンピュータに、異なる正解ラベルが付与された複数の学習用データエレメントを含むデータ群から１以上の前記学習用データエレメントを選択し、前記学習用データエレメントの数が順に変化するように、複数の学習用データセットを生成する生成処理と、前記複数の学習用データセットを機械学習のための学習モデルに生成された順に適用して、当該学習モデルを繰り返し学習させる学習処理と、を含む処理を実行させる。
　本発明によれば、中長期的な学習においても精度低下を有効に防止する学習モデルの学習手法が提供される。
　上記した本発明の目的、態様及び効果並びに上記されなかった本発明の目的、態様及び効果は、当業者であれば添付図面及び請求の範囲の記載を参照することにより下記の発明を実施するための形態から理解できるであろう。
図１は、本発明の実施形態による情報処理装置の機能構成の一例を示すブロック図である。 図２は、分類予測モデルのアーキテクチャの一例を示す。 図３は、分類予測モデルのアーキテクチャの別の例を示す。 図４は、商品に対する階層的分類の概念図を示す。 図５は、分類予測モデルのための複数の学習用データセットの例を示す。 図６は、本発明の実施形態による情報処理装置のハードウェア構成の一例を示すブロック図である。 図７は、分類予測フェーズのフローチャートを示す。 図８は、学習フェーズのフローチャートを示す。 図９は、分類結果の例を示す。
　以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。以下に開示される構成要素のうち、同一機能を有するものには同一の符号を付し、その説明を省略する。なお、以下に開示される実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
　＜第１実施形態＞
　第１実施形態による情報処理装置１００は、商品が含まれる画像（商品画像）を取得し、当該商品画像を学習モデルに適用することにより、当該商品画像（当該商品画像に含まれる商品）に対する分類を予測して出力する。なお、本実施形態では、商品に対する階層的な分類（階層構造を有する分類）を予測する例を説明する。また、分類予測対象は、商品に限らず、任意のオブジェクトであってよい。よって、任意のオブジェクトが含まれる画像（オブジェクト画像）から当該オブジェクトに対する階層的な分類を予測する場合も、本実施形態を適用可能である。
　［情報処理装置１００の機能構成］
　図１に、本実施形態による情報処理装置１００の機能構成の一例を示す。
　図１に示す情報処理装置１００は、取得部１０１、分類予測部１０２、データセット生成部１０３、学習部１０４、出力部１０５を備える。
　取得部１０１は、商品画像を取得する。取得部１０１は、商品画像を、ユーザ（オペレータ）による入力部６０５（図６）を介した入力操作によって取得してもよいし、ユーザの操作により記憶部（図６のＲＯＭ６０２やＲＡＭ６０３）から取得してもよい。また、取得部１０１は、通信インタフェース（Ｉ／Ｆ）６０７（図６）を介して外部装置から受信した商品画像を取得してもよい。商品画像は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色で色を表現した画像でありうる。取得部１０１は、取得した商品画像を、分類予測部１０２に出力する。
　分類予測部１０２は、取得部１０１により取得された商品画像を分類予測モデル１０７に適用し、当該商品画像に含まれる商品に対する分類を予測する。分類予測モデル１０７については、後述する。
　データセット生成部１０３は、学習用データ群１０６に含まれる複数の学習用データエレメント（学習用データ）から、分類予測モデル１０７の学習に使用する学習用データセットを生成する。本実施形態では、データセット生成部１０３は、複数の学習用データセットを生成し、学習部１０４は、当該複数の学習用データセットを順次（時系列に変えて）用いて分類予測モデル１０７を学習させる。分類予測モデル１０７は、商品を含む商品画像を入力として、当該商品に対する分類を予測する学習モデルである。当該分類は階層的な分類でありうる。
　図２に、分類予測モデル１０７のアーキテクチャの一例を示す。図２に示す分類予測モデル１０７は、複数のサブパート（第１サブパート２１１～第５サブパート２１５）を含むメインネットワーク２０１と、複数の分類ブロック（第１分類ブロック２２１～第３分類ブロック２２３）を含むサブネットワーク２０２を含むニューラルネットワークで構成される。なお、サブパートを抽出器とも称する。なお、分類ブロックを分類器とも称する。
　図２に示すサブネットワーク２０２において、第１分類ブロック２２１の出力は第２分類ブロック２２２と第３分類ブロック２２３に入力され、第２分類ブロック２２２の出力は第３分類ブロック２２３に入力するように構成されている。ニューラルネットワークモデルにおける１つのブロックの出力が隣接しない他のブロックへ入力される構成であるスキップコネクション（ショートカットコネクション）は、ＲｅｓＮｅｔといったニューラルネットワークモデルにおいて知られている。ＲｅｓＮｅｔでは、特徴量抽出において、スキップコネクションが使われている。一方、本実施形態では、第１分類ブロック２１１～第３分類ブロック２２３といった複数の分類器において、上位側の分類器は１つ以上の下位の分類器へのコネクションを有する点で公知のスキップコネクションと異なる。すなわち、図２に示すモデルでは、上位側の分類器の出力が１つ以上の下位側の分類器に入力される構成となっている。
　図２に示すメインネットワーク２０１は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ（ＣＮＮ））モデルの１つである公知のＶＧＧネットワーク（ＶＧＧＮｅｔ）の１６層バージョンに基づくニューラルネットワークである。メインネットワーク２０１において、第１サブパート２１１と第２サブパート２１２は、２つの畳み込み層（Ｃｏｎｖ）と１つのプーリング層（Ｐｏｏｌｉｎｇ）から成り、第３サブパート２１３と第４サブパート２１４は、３つの畳み込み層と１つのプーリング層から成り、第５サブパート２１５は、３つの畳み込み層を有する。
　第１サブパート２１１～第５サブパート２１５における畳み込み層では、３×３のカーネルサイズの畳み込みが行われる一方、各サブパートではフィルタ数（チャネル数）が異なる。フィルタ数は、第１サブパート２１１では６４、第２サブパート２１２では１２８、第３サブパート２１３では２５６、第４サブパート２１４と第５サブパート２１５では５１２である。
　第１サブパート２１１～第４サブパート２１４におけるプーリング層では、２×２サイズの最大プーリング（ＭａｘＰｏｏｌｉｎｇ）がストライド２で行われる。また、第１サブパート２１１～第４サブパート２１４において、畳み込み層とプーリング層の間に、活性化関数としてＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ　Ｌｉｎｅｒ　Ｕｎｉｔ）が適用される。
　メインネットワーク２０１には入力画像として商品画像が入力され、第１サブパート２１１～第５サブパート２１５は、当該商品画像の特徴量を抽出して、メインネットワーク２０１の出力として出力する。当該特徴量は、階層的な分類のための特徴量でありうる。
　第１サブパート２１１～第５サブパート２１５では順に商品の分類を上位から下位へ学習する。よって、第１サブパート２１１～第５サブパート２１５から出力される複数の特徴量は、商品に対する上位の（粗い）分類の特徴を示す特徴量から順に下位の（細分化された）分類の特徴を示す特徴量（商品に対する階層的な分類のための複数の特徴量）となる。
　メインネットワーク２０１の出力は、サブネットワーク２０２に入力される。サブネットワーク２０２は、メインネットワーク２０１からの複数の特徴量のそれぞれの特徴量から、階層的分類を予測する。
　図２に示す第１分類ブロック２２１～第３分類ブロック２２３はそれぞれ、全結合型ニューラルネットワーク（Ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）で構成され、特徴量を入力として、メインネットワーク２０１に入力された商品画像の商品に対する分類のラベル（クラス）を出力し、当該ラベルから分類（分類名）を決定する。第１分類ブロック２２１～第３分類ブロック２２３から出力される分類（第１分類～第３分類）は、商品に対する上位の（粗い）分類から順に下位の（細分化された）分類となる。このような階層的分類の例は、図４を用いて後述する。
　第１分類ブロック２２１～第３分類ブロック２２３の動作をより具体的に説明する。
　第１分類ブロック２２１は、メインネットワーク２０１の第３サブパート２１３から出力された特徴量から、第１分類のラベルを出力し、第１分類を決定する。
　また、第２分類ブロック２２２は、メインネットワーク２０１の第４サブパート２１４から出力された特徴量と、第１分類ブロック２２１から出力された第１分類のラベルとから、第２分類のラベルを出力し、第２分類を決定する。
　また、第３分類ブロック２２３は、メインネットワーク２０１の第５サブパート２１５から出力された特徴量と、第１分類ブロック２２１から出力された第１分類のラベルおよび第２分類ブロック２２２から出力された第２分類のラベルとから、第３分類のラベルを出力し、第３分類を決定する。
　このように、複数の分類器間で相補的に分類結果を用い、複数の下位の分類器は、上位の分類器で出力された分類結果を考慮して分類を行うことにより、階層的分類の精度が向上する。なお、図２のような構成に限定されず、上位の分類器の分類結果を１つ以上の下位の分類器に入力するように構成されてもよい。例えば、第１分類ブロック２２１から出力された分類のラベルが、第２分類ブロック２２３に入力されずに、第３分類ブロック２２３に入力されるように構成されてもよい。
　なお、本実施形態では、第１分類～第３分類が出力される例を示すが、第２分類ブロック２２１と第３分類ブロック２２２では上位の分類特徴量を反映することにより分類の精度が上がるため、サブネットワーク２０２は、第１分類無しで、第２分類および／または第３分類を出力するように構成されてもよい。
　また、図３に、分類予測モデル１０７のアーキテクチャの別の例を示す。図３に示す分類予測モデル１０７は、複数のサブパート（第１サブパート３１１～第５サブパート３１５）を含むメインネットワーク３０１と、複数の分類ブロック（第１分類ブロック３２１～第３分類ブロック３２３）を含むサブネットワーク３０２を含むニューラルネットワークで構成される。サブネットワーク３０２において、第１分類ブロック３２１の出力は第２分類ブロック３２２と第３分類ブロック３２３に入力され、第２分類ブロック３２２の出力は第３分類ブロック３２３に入力するように構成されている。
　メインネットワーク３０１は、ＶＧＧネットワークの１９層バージョンに基づくニューラルネットワークである。図２に示すモデルと比較して、第１サブパート３１１と第２サブパート３１２は、第１サブパート２１１と第２サブパート２１２と共通であり、第３サブパート３１３～第５サブパート３１５は、第３サブパート２１３～第５サブパート２１５と比較して畳み込み層を１つ多く含んで構成されている。これにより、図２に示すモデルと比較して、計算量が増えるがより深く学習するため、結果として出力される分類の予測の精度が高くなりうる。他の構成については、図２に示すモデルと同様のため、説明を省略する。
　学習部１０３は、データセット生成部１０３により生成された複数の学習用データセットを、図２や図３のように構成された分類予測モデル１０７に順に適用して当該モデルを学習させる。すなわち、学習部１０３は、当該複数の学習用データセットを用いて、分類予測モデル１０７の学習を繰り返す。そして、学習部１０３は、学習済みの分類予測モデル１０７を、ＲＡＭ６０３（図６）といった記憶部に記憶する。
　分類予測部１０２は、取得部１０１により取得された商品画像を、ＲＡＭ６０３（図６）といった記憶部に記憶された学習済みの分類予測モデル１０７に適用し、当該商品画像の商品に対する分類を予測する。
　図４に、分類予測部１０２により予測される商品に対する分類の例として階層的分類の概念図を示す。図４では、商品画像４１に含まれる商品４２に対する階層的分類の例を示している。商品画像４１を分類予測モデル１０７に適用することにより、第１分類ブロック２２１～第３分類ブロック２２３（または図３に示す第１分類ブロック３２１～第３分類ブロック３２３）からの出力として、第１分類～第３分類が階層的に推定される。
　図４の例では、商品４２に対して、太字で示した分類が予測されている。すなわち、第１分類が「メンズファッション」、第２分類が「トップス」、第３分類が「Ｔシャツ」と予測されている。
　このように、分類予測モデル１０７におけるメインネットワーク２０１（またはメインネットワーク３０１）で階層的に学習されることにより、分類結果として、上位の（粗い）第１分類から下位の（細分化された）第３の分類の予測が可能となる。
　［複数の学習用データセットおよび学習処理］
　前述のように、本実施形態によるデータセット生成部１０３は、分類予測モデル１０７を学習させるために用いる複数の学習用データセットを、学習用データ群１０６に含まれる複数の学習用データエレメントから生成する。学習部１０４は、当該複数の学習用データセットを順次（時系列に変えて）用いて分類予測モデル１０７を学習させる。
　本実施形態では、一例として、学習用データ群１０６は、「０」～「９」の１０種類の異なる正解ラベル（クラス）が付与された学習用データエレメントで構成されるものとする。各学習用データエレメントは、商品を含む商品画像と、当該商品に対する分類を示す同じラベル(正解データ)を１セットとして複数のセットで構成される。よって、１つの学習用データエレメントは、同じラベルが付与されている。本実施形態では、ラベルは、階層構造を有する分類を示すように構成され、例えば上記に説明した、第１分類と第２分類に関連付けられた第３分類に付されるラベルに対応するものとする。よって、図４を参照すると、例えば、ラベル「０」は、「メンズファッション」、「トップス」に関連付けられた「Ｔシャツ」に対応し、ラベル「０」の学習用データエレメントは、Ｔシャツの画像とラベル「０」のセットを１セットとして、該セットを複数セット含んで構成される。
　本実施形態では、データセット生成部１０３は、複数の学習用データセットを、所定の生成ルール（選択ルール）を適用して生成する。
　ここで、本実施形態による生成ルールについて説明する。なお、本ルールは一例であり、他のルールや方法により、学習用データエレメントの数が順に変化するように複数の学習用データセットが生成されればよい。また、学習用データエレメントがランダムに変化するように複数の学習用データセットが生成されればよい。
　本実施形態による生成ルールを以下に示す。
　（１）学習用データ群１０６に含まれる複数の学習用データエレメントのうち６割（６０％）をランダムに選択して初期学習用データセットを生成する。すなわち、初期学習用データセットは、ラベル「０」～「９」の１０個の学習用データエレメントのうち、ランダムに選択された６個のデータエレメントを含む。
　（２）ルール（１）で生成した当該初期学習データを起点として、学習用データエレメントの追加および削除を行う（例として、追加は１回ごと、削除は１回ごと）。追加するデータエレメントの数は２個、削除するデータエレメントの数は１個とする。ただし、追加するデータ数が２個ない場合は１個とする。
　（３）ルール（２）における追加／削除する学習用データエレメントは、ランダムに選択する。すなわち、追加する学習用データエレメントを、追加の対象となる学習用データセットに含まれていない学習用データエレメントからランダムに選択し、削除する学習用データエレメントを、削除の対象となる学習用データセットからランダムに選択する。
　図５に、当該生成ルールに従ってデータセット生成部１０３により生成された複数の学習用データセットの例を示す。図５の例では、１０個の学習用データセット１～１０を示す。図５において、四角で囲まれた数字は、当該数字のラベルの学習用データエレメントに対応する。
　学習用データセット１は、ルール（１）に従う初期学習用データセットであり、図８の例では、１０個の学習用データエレメントから、ラベル「１」、「２」、「４」、「６」、「８」、および「９」の６個の学習用データエレメントがランダムに選択されて生成される。
　学習用データセット２は、学習用データセット１に対して、選択されていない（学習用データセット１に含まれていない）学習用データエレメントからランダムに選択された学習用データセットである、ラベル「３」と「７」の２つの学習用データエレメントを追加した学習用データセットである。
　学習用データセット３は、学習用データセット２に対して、該学習用データセット２に含まれる学習用データエレメントから、ラベル「８」の１つの学習用データエレメントを削除した学習用データセットである。　
　学習用データセット４以降も、上記生成ルールに従って、追加と削除が行われて生成される。本生成ルールでは、追加する学習用データエレメントの数が削除する学習用データより多いため、最大数１０を上限として、学習用データエレメントの数が増える傾向になるように、学習用データセット１～１０が生成される。このように、学習用データセット１～１０は、学習用データエレメントの数が順に増減するようなデータセットとなる。なお、データセット生成部１０３は、学習用データエレメントの追加と削除を交互に行うことで、学習用データセットを生成してよい。また、データセット生成部１０３は、連続して行われた学習用データエレメントの追加または削除の後に学習用データエレメントの削除または追加を行うことで、学習用データセットを生成してもよい。
　このように生成された学習用データセット１～１０を、時系列的に順に分類予測モデル１０７に使用して（適用して）分類予測モデル１０７が学習される。すなわち、学習用データセット１がある時間ｔで使用されて分類予測モデル１０７が学習され、続いて、学習用データセット２が時間ｔ＋１で使用されて分類予測モデル１０７が学習される。そして、このような学習処理が、学習用データセット１０が時間ｔ＋９で使用されて分類予測モデル１０７が学習されるまで続く。本実施形態では、このような学習処理により、分類予測モデル１０７は時系列的に異なる学習用データセットで学習される。
　なお、本実施形態では、データセット生成部１０３により生成された複数の学習用データセット１～１０を順に分類予測モデル１０７に適用する例を説明したが、データセット生成部１０３と学習部１０４の処理が繰り返されてもよい。すなわち、データセット生成部１０３が学習用データセット１を生成して学習部１０４が当該データセットを用いて分類予測モデル１０７を学習させ、続いて、データセット生成部１０３が学習用データセット２を生成して学習部１０４が当該データを用いて分類予測モデル１０７を学習させ、このような処理を学習用データセット１０まで続けてもよい。
［情報処理装置１００のハードウェア構成］
　図６は、本実施形態による情報処理装置１００のハードウェア構成の一例を示すブロック図である。
　本実施形態による情報処理装置１００は、単一または複数の、あらゆるコンピュータ、モバイルデバイス、または他のいかなる処理プラットフォーム上にも実装することができる。
　図６を参照して、情報処理装置１００は、単一のコンピュータに実装される例が示されているが、本実施形態による情報処理装置１００は、複数のコンピュータを含むコンピュータシステムに実装されてよい。複数のコンピュータは、有線または無線のネットワークにより相互通信可能に接続されてよい。
　図６に示すように、情報処理装置１００は、ＣＰＵ６０１と、ＲＯＭ６０２と、ＲＡＭ６０３と、ＨＤＤ６０４と、入力部６０５と、表示部６０６と、通信Ｉ／Ｆ６０７と、システムバス６０８とを備えてよい。情報処理装置１００はまた、外部メモリを備えてよい。
　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）６０１は、情報処理装置１００における動作を統括的に制御するものであり、データ伝送路であるシステムバス６０８を介して、各構成部（６０２～６０７）を制御する。
　ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）６０２は、ＣＰＵ６０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）６０４、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の不揮発性メモリや着脱可能な記憶媒体（不図示）等の外部メモリに記憶されていてもよい。
　ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）６０３は、揮発性メモリであり、ＣＰＵ６０１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ６０１は、処理の実行に際してＲＯＭ６０２から必要なプログラム等をＲＡＭ６０３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
　ＨＤＤ６０４は、例えば、ＣＰＵ６０１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、ＨＤＤ６０４には、例えば、ＣＰＵ６０１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。
　入力部６０５は、キーボードやマウス等のポインティングデバイスにより構成される。
　表示部６０６は、液晶ディスプレイ（ＬＣＤ）等のモニターにより構成される。表示部６０６は、入力部６０５と組み合わせて構成されることにより、ＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）として機能してもよい。
　通信Ｉ／Ｆ６０７は、情報処理装置１００と外部装置との通信を制御するインタフェースである。
　通信Ｉ／Ｆ６０７は、ネットワークとのインタフェースを提供し、ネットワークを介して、外部装置との通信を実行する。通信Ｉ／Ｆ６０７を介して、外部装置との間で各種データや各種パラメータ等が送受信される。本実施形態では、通信Ｉ／Ｆ６０７は、イーサネット（登録商標）等の通信規格に準拠する有線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）や専用線を介した通信を実行してよい。ただし、本実施形態で利用可能なネットワークはこれに限定されず、無線ネットワークで構成されてもよい。この無線ネットワークは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（Ｕｌｔｒａ　Ｗｉｄｅ　Ｂａｎｄ）等の無線ＰＡＮ（Ｐｅｒｓｏｎａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）を含む。また、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）（登録商標）等の無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）や、ＷｉＭＡＸ（登録商標）等の無線ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）を含む。さらに、ＬＴＥ／３Ｇ、４Ｇ、５Ｇ等の無線ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）を含む。なお、ネットワークは、各機器を相互に通信可能に接続し、通信が可能であればよく、通信の規格、規模、構成は上記に限定されない。
　図６に示す情報処理装置１００の各要素のうち少なくとも一部の機能は、ＣＰＵ６０１がプログラムを実行することで実現することができる。ただし、図６に示す情報処理装置１００の各要素のうち少なくとも一部の機能が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ６０１の制御に基づいて動作する。
　［処理の流れ］
　図７と図８を参照して、本実施形態による情報処理装置１００により実行される処理の流れを説明する。図７は、分類予測モデル１０７を学習させる処理（学習フェーズ）のフローチャートを示し、図８は、学習済みの分類予測モデル１０７を用いた、商品画像（商品画像に含まれる商品）に対する分類の予測処理（分類予測フェーズ）のフローチャートを示す。図７と図８に示す処理は、情報処理装置１００のＣＰＵ６０１がＲＯＭ６０２等に格納されたプログラムをＲＡＭ６０３にロードして実行することによって実現されうる。図７の説明にあたり、図５を参照する。
　Ｓ７１では、データセット生成部１０３は、学習用データセット１を初期学習用データセットとして生成する。続いて、Ｓ７２では、データセット生成部１０３は、学習用データセット１を起点として学習データエレメントの追加と削除を繰り返し、学習用データセット２～１０を順に生成する。
　Ｓ７３では、学習部１０４は、Ｓ７１とＳ７２で生成された学習用データセット１～１０を時系列的に順に用いて分類予測モデル１０７を学習させる。すなわち、学習部１０４は、学習用データエレメントの数が順に動的に変化するように生成された複数の学習用データセット１～１０を順に用いて分類予測モデル１０７を学習させる。これにより、１度学習に使用された学習用データセットが時間を変えて再度使用される一方で、新たな学習用データセットも使用されて学習される。
　Ｓ７４では、学習部１０４は、Ｓ７３で学習された分類予測モデル１０７を、学習済みの分類予測モデル１０７として、ＲＡＭ６０３といった記憶部に格納する。
　続いて、図８を参照して分類予測フェーズの処理について説明する。
　Ｓ８１では、取得部１０１は、分類予測対象の商品を含む商品画像を取得する。例えば、取得部１０１は、情報処理装置１００の操作者が、情報処理装置１００を操作して、任意のＥＣサイトにアクセスした上で任意の商品を含む商品画像を選択することにより、当該商品画像を取得する。また、取得部１０１は、ユーザ装置といった外部装置から送信された商品画像または商品画像を示すＵＲＬを取得することで、商品画像を取得することができる。１つの商品画像において含まれる分類予測対象の商品は１つに限らず、当該商品画像に複数の分類予測対象の商品が含まれてもよい。
　Ｓ８２では、分類予測部１０２は、取得部１０１により取得された商品画像を分類予測モデル１０７に入力し、商品に対する階層的分類を予測して決定する。分類予測モデル１０７の例は図２または図３に示した通りであり、当該商品画像に基づき当該商品に対する階層的な分類のための複数の特徴量を抽出するメインネットワークと、当該複数の特徴量を用いて当該商品に対する階層的な分類を出力するサブネットワークから構成される。当該メインネットワークは、当該複数の特徴量のそれぞれを抽出する複数のサブパート（抽出器）で構成され、当該サブネットワークは、当該複数の特徴量のそれぞれから当該商品に対する分類を出力する複数の分類ブロック（分類器）で構成され、上位側の分類ブロックは１つ以上の下位側の分類ブロックへのコネクションを有するように構成される。
　図２または図３に示す分類予測モデル１０７の場合、分類予測部１０２は、Ｓ８１で取得された商品画像の商品に対する階層的分類として、図４に示すように、上位から、第１分類、第２分類、第３分類を予測して決定する。
　Ｓ８３では、出力部１０５は、Ｓ８２で分類予測部１０２により予測して決定された分類の結果（分類結果）を出力する。例えば、出力部１０５は、分類結果を、情報処理装置１００の表示部６０６に表示してもよいし、通信Ｉ／Ｆ６０７を介してユーザ装置といった外部装置に送信してもよい。
　なお、商品画像が複数の商品を含む場合は、取得部１０１は、例えば公知の画像処理技術により、当該複数の商品それぞれを含む複数の商品領域（Ｒｅｇｉｏｎ　ｏｆ　Ｉｎｔｅｒｅｓｔ）を取得し、分類予測部１０２に出力することができる。そして、分類予測部１０２は、各商品領域（部分画像）に対して、Ｓ８２の処理を行い、各商品に対する分類を予測して決定することができる。出力部１０５は、各商品に対する（階層的）分類を別個に分類結果として出力してもよいし、１つの分類結果として出力してもよい。
　［分類結果の例］
　図９に、出力部１０５により出力された分類結果の例を分類結果９０として示す。分類結果９０は、情報処理装置１００の表示部６０６に表示されてもよいし、通信Ｉ／Ｆ６０７を介してユーザ装置といった外部装置に送信され、当該外部装置において表示されてもよい。
　分類結果９０において、商品画像９１は、分類予測対象の商品を含む商品画像であり、例えば、情報処理装置１００の操作者が、情報処理装置１００を操作して、任意の電子商取引のサイトにアクセスした上で選択された画像である。また、商品画像９１は、ユーザ装置といった外部装置から送信された画像であってもよい。
　情報処理装置１００の分類予測部１０２は、商品画像９１を、図２や図３に示す学習済みの分類予測モデル１０７に適用して、商品９２に対する階層的分類９３を予測する。当該階層的分類９３は、図４に示した分類と同様である。出力部１０５は、階層的分類９３と商品画像９１とを併せて分類結果９０を構成し、出力することができる。
　［性能評価の結果］
　表１に、分類予測処理の性能評価のシミュレーション結果を示す。具体的には、表１は、複数の学習モデルのそれぞれを用いて分類予測処理を行った場合の、正解データに対する正解率（Ａｃｃｕｒａｃｙ）を示す。本シミュレーションでは、学習用データ群１０６として、インターネット等で取得可能なＦａｓｈｉｏｎ－ＭＮＩＳＴデータセットを用いた。
Figure JPOXMLDOC01-appb-T000001
　本実施形態による学習モデルとして、第１実施形態において図３を参照して説明した分類予測モデル１０７を、図８を参照して説明した学習用データセット１～１０を順に適用することにより学習させたモデルを用いた（本発明モデル）。
　また、比較対象の第１の学習モデルとして、図３に示した分類予測モデル１０７のメインネットワーク３０１、第３分類ブロック２２３、第３出力ブロック２４３のみで構成された学習モデルを、図８を参照して説明した、ラベル「０」～「９」の学習用データセットを一度適用することにより学習させたモデルを、第１比較モデルとして用いた。当該学習モデルは、第３分類のみを出力することが可能である。
　さらに、比較対象の第２の学習モデルとして、第１実施形態において図３を参照して説明した分類予測モデル１０７を、学習用データ群１０６からランダムに複数個（≦１０）のデータを選択して生成した６つの学習用データセットを順に適用することにより学習させたモデルを、第２比較モデルとして用いた。
　表１からわかるように、まず、本発明モデルは、第２比較モデルと比較し、第１分類～第３分類の全てにおいて、正解率が高いことがわかる。また、本発明モデルは、第１比較モデルと比較して、第３分類の正解率が高いことがわかる。これは、第１実施形態において説明した分類予測モデル１０７を用いることと、本実施形態において説明した時系列的に複数の学習用データセット使用して分類予測モデル１０７を学習させたことの、相乗効果である。
　このように、本実施形態によれば、複数の学習用データセットを、分類予測モデル１０７に対して時系列的に変えて適用して、分類予測モデル１０７を学習させる。このような継続的な学習処理により、学習モデルが構築され、複雑化する分類を、精度よく予測することが可能となる。
　また、分類予測モデル１０７は、図２や図３に示したように、第１分類ブロック２１１～第３分類ブロック２２３や第１分類ブロック３１１～第３分類ブロック３２３の出力に対してスキップコネクションが適用された構成を有する。このような構成により、上位の分類結果が下位の分類結果と結合されて下位の分類が予測され、商品に対する階層的分類を精度よく予測することが可能となる。
　また、本実施形態では、学習モデルとして分類予測モデル１０７を用い、入力された商品画像の商品に対する分類を予測する例を説明したが、本実施形態による学習処理は、機械学習のための任意の学習モデルに適用可能である。すなわち、図５を参照して説明した複数の学習用データセットを、畳み込み層ニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ（ＣＮＮ））による／を含んで構成される学習モデルに適用して、学習処理が行われてもよい。
　以上述べたように、本実施形態によれば、複雑化する分類タスクを対象とする学習モデルの構築が可能となり、また、学習モデルとして分類予測モデル１０７を用いることにより、商品画像から商品に対する分類を精度よく予測することが可能となる。これにより、例えば、ＥＣサイトで購入される商品の動向の予測性やユーザによる商品選択の容易性が向上する。
　なお、上記において特定の実施形態が説明されているが、当該実施形態は単なる例示であり、本発明の範囲を限定する意図はない。本明細書に記載された装置及び方法は上記した以外の形態において具現化することができる。また、本発明の範囲から離れることなく、上記した実施形態に対して適宜、省略、置換及び変更をなすこともできる。かかる省略、置換及び変更をなした形態は、請求の範囲に記載されたもの及びこれらの均等物の範疇に含まれ、本発明の技術的範囲に属する。
１００：情報処理装置、１０１：取得部、１０２：分類予測部、１０３：データセット生成部、１０４：学習部、１０５：出力部、１０６：学習用データ群、１０７：分類予測モデル

 

Claims (12)

  1. 　異なる正解ラベルが付与された複数の学習用データエレメントを含むデータ群から１以上の前記学習用データエレメントを選択し、前記学習用データエレメントの数が順に変化するように、複数の学習用データセットを生成する生成手段と、
    　前記複数の学習用データセットを機械学習のための学習モデルに生成された順に適用して、当該学習モデルを繰り返し学習させる学習手段と、を有することを特徴とする情報処理装置。
  2. 　前記生成手段は、前記学習用データエレメントがランダムに変化するように、前記複数の学習用データエレメントから前記複数の学習用データセットを生成することを特徴とする請求項１に記載の情報処理装置。
  3. 　前記生成手段は、前記学習用データエレメントの数が順に増減するように、前記複数の学習用データエレメントから前記複数の学習用データセットを生成することを特徴とする請求項１または２に記載の情報処理装置。
  4. 　前記生成手段は、前記データ群から１つ以上の学習用データエレメントをランダムに選択して初期学習用データセットを生成し、前記初期学習用データセットを起点として、前記データ群からランダムに選択した１つ以上の学習用データエレメントの追加および削除を行うことにより、前記複数の学習用データセットを生成することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
  5. 　前記学習モデルは、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を含んで構成されていることを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
  6. 　前記学習モデルは、オブジェクトを含むオブジェクト画像を入力として、前記オブジェクト画像に基づき前記オブジェクトに対する階層的な分類のための複数の特徴量を抽出するメインネットワークと、前記複数の特徴量を用いて前記オブジェクトに対する階層的な分類を出力するサブネットワークから構成され、
    　前記メインネットワークは、前記複数の特徴量のそれぞれを抽出する複数の抽出器で構成され、
    　前記サブネットワークは、前記複数の特徴量のそれぞれから前記オブジェクトに対する分類を出力する複数の分類器で構成され、上位側の分類器は１つ以上の下位側の分類器へのコネクションを有するように構成される、ことを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
  7. 　前記メインネットワークにおける前記複数の抽出器のそれぞれは、複数の畳み込み層を含んで構成されることを特徴とする請求項６に記載の情報処理装置。
  8. 　前記サブネットワークにおける前記複数の分類器のそれぞれは、全結合型ニューラルネットワークで構成されることを特徴とする請求項６または７に記載の情報処理装置。
  9. 　前記ラベルは、前記オブジェクトに対する、階層構造を有する分類を示すことを特徴とする請求項６から８のいずれか１項に記載の情報処理装置。
  10. 　前記分類手段により決定された前記２つ以上の階層的な分類を出力する出力手段をさらに有することを特徴とする請求項６から９のいずれか１項に記載の情報処理装置。
  11. 　異なる正解ラベルが付与された複数の学習用データエレメントを含むデータ群から１以上の前記学習用データエレメントを選択し、前記学習用データエレメントの数が順に変化するように、複数の学習用データセットを生成する生成工程と、
    　前記複数の学習用データセットを機械学習のための学習モデルに生成された順に適用して、当該学習モデルを繰り返し学習させる学習工程と、を有することを特徴とする情報処理方法。
  12. 　情報処理をコンピュータに実行させるための情報処理プログラムであって、該プログラムは、前記コンピュータに、
    　異なる正解ラベルが付与された複数の学習用データエレメントを含むデータ群から１以上の前記学習用データエレメントを選択し、前記学習用データエレメントの数が順に変化するように、複数の学習用データセットを生成する生成処理と、
    　前記複数の学習用データセットを機械学習のための学習モデルに生成された順に適用して、当該学習モデルを繰り返し学習させる学習処理と、を含む処理を実行させることを特徴とする情報処理プログラム。

     
     
PCT/JP2021/044858 2021-12-07 2021-12-07 情報処理装置、情報処理方法、およびプログラム WO2023105610A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2021/044858 WO2023105610A1 (ja) 2021-12-07 2021-12-07 情報処理装置、情報処理方法、およびプログラム
JP2022561532A JP7445782B2 (ja) 2021-12-07 2021-12-07 情報処理装置、情報処理方法、およびプログラム
EP21943318.2A EP4216114A4 (en) 2021-12-07 2021-12-07 INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD AND PROGRAM
US18/009,831 US20240135693A1 (en) 2021-12-07 2021-12-07 Information processing apparatus, information processing method, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/044858 WO2023105610A1 (ja) 2021-12-07 2021-12-07 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2023105610A1 true WO2023105610A1 (ja) 2023-06-15

Family

ID=86729837

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/044858 WO2023105610A1 (ja) 2021-12-07 2021-12-07 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US20240135693A1 (ja)
EP (1) EP4216114A4 (ja)
JP (1) JP7445782B2 (ja)
WO (1) WO2023105610A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010231768A (ja) * 2009-03-27 2010-10-14 Mitsubishi Electric Research Laboratories Inc マルチクラス分類器をトレーニングする方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6418211B2 (ja) * 2016-09-15 2018-11-07 オムロン株式会社 識別情報付与システム、識別情報付与装置、識別情報付与方法及びプログラム
JP7357551B2 (ja) * 2020-01-17 2023-10-06 株式会社日立ソリューションズ・クリエイト 画像判定システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010231768A (ja) * 2009-03-27 2010-10-14 Mitsubishi Electric Research Laboratories Inc マルチクラス分類器をトレーニングする方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KUZBORSKIJ ILJA, ORABONA FRANCESCO, CAPUTO BARBARA: "Transfer Learning Through Greedy Subset Selection ", ARXIV.ORG, 6 August 2010 (2010-08-06), XP093069973 *
LIU YUANJUN; LUO GAOFENG; DONG FENG: "Convolutional Network Model using Hierarchical Prediction and its Application in Clothing Image Classification", 2019 3RD INTERNATIONAL CONFERENCE ON DATA SCIENCE AND BUSINESS ANALYTICS (ICDSBA), IEEE, 11 October 2019 (2019-10-11), pages 157 - 160, XP033867912, DOI: 10.1109/ICDSBA48748.2019.00041 *
See also references of EP4216114A4
SEO YIANSHIN KYUNG-SHIK: "Hierarchical convolutional neural networks for fashion image classification", EXP. SYS. APPL., vol. 116, 2019, pages 328 - 329

Also Published As

Publication number Publication date
JP7445782B2 (ja) 2024-03-07
US20240135693A1 (en) 2024-04-25
EP4216114A1 (en) 2023-07-26
EP4216114A4 (en) 2024-02-14
JPWO2023105610A1 (ja) 2023-06-15

Similar Documents

Publication Publication Date Title
Zhang et al. A deep reinforcement learning based hyper-heuristic for combinatorial optimisation with uncertainties
JP6516025B2 (ja) 情報処理方法および情報処理装置
Santos et al. Visus: An interactive system for automatic machine learning model building and curation
US20210117718A1 (en) Entropy Based Synthetic Data Generation For Augmenting Classification System Training Data
US11481553B1 (en) Intelligent knowledge management-driven decision making model
US10540257B2 (en) Information processing apparatus and computer-implemented method for evaluating source code
AU2018319215A1 (en) Electronic apparatus and control method thereof
US20220335293A1 (en) Method of optimizing neural network model that is pre-trained, method of providing a graphical user interface related to optimizing neural network model, and neural network model processing system performing the same
US10846889B2 (en) Color handle generation for digital image color gradients using machine learning
Singla et al. Modelling and analysis of multi-objective service selection scheme in IoT-cloud environment
US11449662B2 (en) Automatic generation of layout variations based on visual flow
WO2023105610A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2023105609A1 (ja) 情報処理装置、情報処理方法、プログラム、および学習モデル
Halnaut et al. Compact visualization of DNN classification performances for interpretation and improvement
JPWO2020085114A1 (ja) 情報処理装置、情報処理方法、および、プログラム
US11687591B2 (en) Systems, methods, computing platforms, and storage media for comparing non-adjacent data subsets
DE102022002707A1 (de) Maschinell lernende Konzepte zur Schnittstellenmerkmalseinführung über Zeitzonen oder grafische Bereiche hinweg
Zeng Decision making with the uncertain IMOWAD operator
WO2024201983A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
CN109585023B (zh) 数据处理方法和系统
Ignatius et al. Data Analytics and Reporting API–A Reliable Tool for Data Visualization and Predictive Analysis
Mittas et al. Benchmarking effort estimation models using archetypal analysis
Wang Packaging style design based on visual semantic segmentation technology and intelligent cyber physical system
WO2023007544A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2023062668A1 (ja) 情報処理装置、情報処理方法、情報処理システム、およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2022561532

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18009831

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2021943318

Country of ref document: EP

Effective date: 20221206

NENP Non-entry into the national phase

Ref country code: DE