WO2024201983A1 - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

情報処理装置、情報処理方法、および情報処理プログラム Download PDF

Info

Publication number
WO2024201983A1
WO2024201983A1 PCT/JP2023/013494 JP2023013494W WO2024201983A1 WO 2024201983 A1 WO2024201983 A1 WO 2024201983A1 JP 2023013494 W JP2023013494 W JP 2023013494W WO 2024201983 A1 WO2024201983 A1 WO 2024201983A1
Authority
WO
WIPO (PCT)
Prior art keywords
attribute
learning
model
product
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/013494
Other languages
English (en)
French (fr)
Inventor
ギス ジェイコブ
プーラミ ラハ
ダーナンジェイ ナハタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Group Inc filed Critical Rakuten Group Inc
Priority to PCT/JP2023/013494 priority Critical patent/WO2024201983A1/ja
Priority to JP2024519664A priority patent/JP7676662B2/ja
Publication of WO2024201983A1 publication Critical patent/WO2024201983A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to an information processing device, an information processing method, and an information processing program, and in particular to a technique for predicting attributes of a product from an image that includes the product.
  • EC electronic commerce
  • PC Personal Computer
  • EC sites may display recommended products that have similar attributes to products that the user has previously purchased (information specific to the product) on the screen the user is viewing. Furthermore, when a user wishes to purchase a desired product, they may search based on the attributes of the product they wish to purchase. For this reason, identifying product attributes is a common challenge for site operators and product providers in e-commerce.
  • Patent Document 1 discloses a technology that predicts multiple attributes of a product by applying an image that includes the product to a learning model constructed using a neural network.
  • Patent Document 1 makes it possible to automatically predict multiple attributes of a product by applying an image containing the product to a learning model. Meanwhile, the variety and number of products handled in electronic commerce is increasing, and the number of types of attributes is also increasing accordingly. Therefore, it is desirable to build a learning model that can predict new attributes as well as existing attributes of a product from an image containing the product.
  • incremental learning In order to train a learning model for a new task, a method called incremental learning is known in which the learning model is trained using additional learning data continuously. With incremental learning, by training the learning model using additional learning data for new attributes, it is possible to build a learning model that can predict not only attributes that have already been learned, but also newly learned attributes.
  • the present invention was made in consideration of the above problems, and aims to provide a technology for learning new attributes of a product from an image that contains the product, while suppressing catastrophic forgetting.
  • An information processing device has a learning unit that trains an attribute prediction model for predicting N attributes (N is an integer equal to or greater than 2) of a product from an image including the product, and the learning unit has a first learning unit that trains an i-th learning model for predicting an i-th attribute (i is an integer from 1 to N-1) of the product using i-th learning data for the i-th attribute, and a second learning unit that trains the attribute prediction model using the i-th learning model trained by the first learning unit, a portion of the i-th learning data, and N-th learning data for the N-th attribute of the product.
  • An information processing method is an information processing method for training an attribute prediction model for predicting N attributes (N is an integer equal to or greater than 2) of a product from an image including the product, and includes training an i-th learning model for predicting an i-th attribute (i is an integer from 1 to N-1) of the product using i-th learning data for the i-th attribute, and training the attribute prediction model using the i-th learning model trained by the first learning unit, a portion of the i-th learning data, and N-th learning data for the N-th attribute of the product.
  • An information processing program is an information processing program for training an attribute prediction model for predicting N attributes (N is an integer equal to or greater than 2) of a product from an image including the product, and causes a computer to train an i-th learning model for predicting an i-th attribute (i is an integer from 1 to N-1) of the product using i-th learning data for the i-th attribute, and train the attribute prediction model using the i-th learning model trained by the first learning unit, a portion of the i-th learning data, and N-th learning data for the N-th attribute of the product.
  • FIG. 1 shows an example of the configuration of a natural language processing system according to an embodiment.
  • FIG. 2 shows an example of a hardware configuration of an information processing device according to an embodiment.
  • FIG. 3A is a diagram for explaining product attributes.
  • FIG. 3B shows the relationship between product images and attributes.
  • FIG. 4 shows a conceptual diagram of attribute learning data.
  • FIG. 5A shows the learning procedure of the learning model for the first attribute at the first time step.
  • FIG. 5B shows a learning procedure of the learning model from the first attribute to the second attribute in the second time step.
  • FIG. 5C shows the learning procedure of the learning model for the first attribute to the third attribute in the third time step.
  • FIG. 5D is a diagram for explaining the learning procedure of the learning model for the first attribute to the Nth attribute in the Nth time step.
  • FIG. 6A shows a flowchart of a learning process of an attribute prediction model executed by an information processing device according to an embodiment.
  • FIG. 6B shows a flowchart of a modified example of the learning process of an attribute prediction model executed by the information processing device according to the embodiment.
  • FIG. 7 shows a flowchart of an attribute prediction process executed by the information processing device according to the embodiment.
  • the information processing device 100 acquires an image (hereinafter also referred to as a product image) that includes a product (i.e., displays the product) and predicts multiple attributes of the product.
  • Product attributes are information specific to the product, such as the visual characteristics of the product.
  • Product attributes can be indicators for a user when purchasing the product. Note that, although an example of predicting product attributes is described in this embodiment, this embodiment can also be applied to the case where attributes of any item, including a product, are predicted from an image that includes the item (i.e., displays the item).
  • FIG. 1 shows an example of the functional configuration of an information processing device 100 according to the present embodiment.
  • the information processing device 100 includes a learning data acquisition unit 101, a learning data management unit 102, a learning unit 103, an image acquisition unit 104, an attribute prediction unit 105, an output unit 106, a learning model storage unit 110, and an attribute data storage unit 120.
  • the learning unit 103 includes a first learning unit 1031 and a second learning unit 1032.
  • the learning model storage unit 110 is configured to store a first attribute specialized model 111-1 to an N-th attribute specialized model 111-N and an attribute prediction model 112.
  • the attribute data storage unit 120 is configured to store a first attribute learning data 121-1 to an N-th attribute learning data 121-N.
  • "N" is an integer of 2 or more.
  • the learning data acquisition unit 101 acquires learning data (teacher data) for training the learning model.
  • the learning data includes product images and correct answer data for product attributes.
  • FIG. 3A is a diagram for explaining product attributes.
  • the products are assumed to be products that can be handled on an EC (Electronic Commerce) site. Since the variety and number of products that can be handled on an EC site is enormous, product attributes are set for classified products (product groups). Products can be classified hierarchically. In this embodiment, attributes are assumed for a product category that indicates a higher classification among product classifications, where "clothing" is the product category.
  • subcategories 31 which indicate subcategories of category 30, and sub-subcategories 32, which indicate further subcategories of subcategories 31.
  • Subcategory 31 indicates the subjects on which "clothing” is worn, and in the example of FIG. 3A includes “men” and “women.”
  • Subcategory 31 may also include “children,” “seniors,” and “unisex,” which is not gender-specific.
  • Sub-subcategory 32 indicates the type and shape of "clothing.” When subcategory 31 is “men,” sub-subcategory 32 includes “T-shirts” and “jeans.” When subcategory 31 is “men,” sub-subcategory 32 may also include “jackets,” “coats,” etc.
  • attributes are set for products in sub-subcategory 32. If sub-subcategory 32 is "T-shirts", the attributes include “pattern”, “sleeve”, “neckline”, and “color”. If sub-subcategory 32 is “jeans”, the attributes include “pattern”, "fit”, and "length”. Note that the types of attributes for each product shown in FIG. 3A are merely examples and are not limited to those shown. Furthermore, the types of attributes may be increased in the future. Also, although attributes are set for products in sub-subcategory 32 in FIG. 3A, attributes may also be set for subcategories 31 and category 30.
  • Figure 3B shows the relationship between product images and attributes.
  • Figure 3B shows data 35 including attributes 37 of product 38 included in product image 36.
  • attributes 37 include "pattern”, “sleeves”, “neckline”, and "color”.
  • each attribute has a correct feature (feature value) (hereinafter also referred to as a correct feature).
  • the correct features for each attribute of product 38 in product image 36 are as shown in Figure 3B, where "pattern” is “border”, “sleeves” is “three-quarter sleeves”, “neckline” is “round”, and "color” is "white and black”.
  • the learning data includes product images and correct answer data for product attributes.
  • the learning data acquisition unit 101 generates and acquires learning data from data 35 shown in FIG. 3B, for example. If the attribute of product 38 shown in FIG. 3B is "pattern,” the possible features of the "pattern” are, for example, "border,” “solid,” “check,” “dot,” and “print.” In the case of a classification problem, all correct answer data for learning are 1 or 0. In other words, there are two options: 100% (correct answer feature) or 0% (incorrect answer feature). Since the "pattern" of product 38 included in product image 36 is "border,” in the order of "border,” “solid,” “check,” “dot,” and “print,” the first feature is the correct answer feature. Therefore, the correct answer data is given in the form of a probability distribution, for example, ⁇ 1, 0, 0, 0, 0 ⁇ .
  • the learning data management unit 102 stores the learning data acquired by the learning data acquisition unit 101 in the attribute data storage unit 120 as attribute learning data for each attribute.
  • the learning data management unit 102 stores combinations of product images 36 and correct answer data for attributes 37 (i.e., "pattern,” “sleeve,” “neckline,” and “color") in the attribute data storage unit 120 as attribute learning data for each attribute.
  • FIG. 4 shows a conceptual diagram of the attribute learning data stored in the attribute data storage unit 120.
  • the attribute data storage unit 120 is configured to store the first attribute learning data 121-1 to the Nth attribute learning data 121-N.
  • the first attribute is "pattern” and the second attribute is "sleeve".
  • the learning data management unit 102 classifies the combination data of the product image 36 and the correct answer data in which "border” 41 is “1" into the first attribute learning data 121-1.
  • the learning data management unit 102 classifies the combination of the product image 36 and the correct answer data in which "three-quarter sleeve" 42 is "1" into the second attribute learning data 121-1.
  • the learning data management unit 102 extracts the product image and one or more attributes from the learning data acquired by the learning data acquisition unit 101, and classifies the combination of the product image and the correct answer data into any one of the first attribute learning data 121-1 to the Nth attribute learning data 121-N for each attribute.
  • each of the first attribute learning data 121-1 to the Nth attribute learning data 121-N stores a set of combination data of a product image and correct answer data for the first attribute to the Nth attribute of the product contained in the image.
  • the learning data management unit 102 is configured to store the learning data acquired by the learning data acquisition unit 101 in the attribute data storage unit 120 for each attribute, but the procedure for storing data in the attribute data storage unit 120 is not limited to this.
  • the learning data management unit 102 may store combination data of the product image and correct answer data corresponding to the correct answer feature in accordance with the attribute in any one of the first attribute learning data 121-1 to the Nth attribute learning data 121-N.
  • the learning data acquisition unit 101 may directly store the combination data in any one of the first attribute learning data 121-1 to the Nth attribute learning data 121-N.
  • the learning data management unit 102 manages data to be supplied to the learning unit 103 from the first attribute learning data 121-1 to the N-th attribute learning data 121-N stored in the attribute data storage unit 120. Taking the first attribute learning data 121-1 as an example, the learning data management unit 102 may supply the full set of the first attribute learning data 121-1 to the learning unit 103. Alternatively, the learning data management unit 102 may select (sample) a portion of the first attribute learning data 121-1 and supply it to the learning unit 103. The portion of data may be selected randomly or according to a predetermined rule.
  • full set of data means a larger amount of data (e.g., including a larger set of learning data) than "a portion of data.”
  • the learning data management unit 102 may supply the attribute learning data to the learning unit 103 in response to a request from the learning unit 103.
  • the learning unit 103 learns the first attribute learning data 121-1 to the Nth attribute learning data 121-N and the attribute prediction model 112.
  • These learning models can be configured using a CNN (Convolutional Neural Network).
  • the learning unit 103 includes a first learning unit 1301 and a second learning unit 1302, and is responsible for controlling the overall learning process, including controlling the first learning unit 1301 and the second learning unit 1302.
  • the first learning unit 1301 is configured to learn the first attribute dedicated model 111-1 to the Nth attribute dedicated model 111-N.
  • the second learning unit 1302 is configured to learn the attribute prediction model 112 using at least one of the learned first attribute dedicated model 111-1 to the Nth attribute dedicated model 111-N.
  • the learning procedure of the learning unit 103 for the first attribute-specific model 111-1 to the Nth attribute-specific model 111-N and the attribute prediction model 112 will be described later.
  • the image acquisition unit 104 acquires product images including the target product (i.e., the product whose attributes are to be predicted).
  • the image acquisition unit 104 may acquire the product images by an input operation by a user (operator) via the input unit 25 (Fig. 2), or may acquire the product images from a storage unit (ROM 22 or RAM 23 in Fig. 2) by a user operation.
  • the image acquisition unit 104 may also acquire product images received from an external device via the communication I/F 27 (Fig. 2).
  • the attribute prediction unit 105 applies the product image acquired by the image acquisition unit 104 to the trained attribute prediction model 112, and predicts multiple attributes of the target product contained in the product image.
  • the output unit 106 outputs information on the attributes predicted by the attribute prediction unit 105 (attribute prediction result).
  • the output unit 106 may output the attribute prediction result, for example, in association with the product image acquired by the image acquisition unit 104.
  • the output unit 106 may display the attribute prediction result on the display unit 26 ( Figure 2).
  • the output unit 106 may transmit the attribute prediction result to the external device via the communication I/F 27 ( Figure 2) so as to be displayed on the display unit of the external device.
  • FIG. 1 is a block diagram showing an example of a hardware configuration of the information processing device 100 according to the present embodiment.
  • the information processing device 100 can be implemented on a single or multiple computers, mobile devices, or any other processing platform. 2, the information processing device 100 is illustrated as being implemented in a single computer, but the information processing device 100 according to the present embodiment may be implemented in a computer system including multiple computers. The multiple computers may be connected to each other via a wired or wireless network so as to be able to communicate with each other.
  • the information processing device 100 may include a CPU (Central Processing Unit) 21, a ROM (Read Only Memory) 22, a RAM (Random Access Memory) 23, a HDD (Hard Disk Drive) 24, an input unit 25, a display unit 26, a communication I/F 27, and a system bus 28.
  • the information processing device 100 may also include an external memory.
  • the CPU 21 comprehensively controls the operation of the information processing device 100, and controls each component (22 to 27) via a system bus 28, which is a data transmission path.
  • the CPU 21 is composed of one or more processors.
  • At least one of the one or more processors may be replaced by one or more processors such as an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), a DSP (Digital Signal Processor), or a GPU (Graphics Processing Unit).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • DSP Digital Signal Processor
  • GPU Graphics Processing Unit
  • the ROM 22 is a non-volatile memory that stores control programs and the like necessary for the CPU 21 to execute processes. Note that the programs may be stored in a non-volatile memory such as the HDD 24 or an SSD (Solid State Drive) or an external memory such as a removable storage medium (not shown).
  • the RAM 23 is a volatile memory and functions as a main memory, a work area, etc. of the CPU 21. That is, when executing a process, the CPU 21 loads necessary programs, etc. from the ROM 22 into the RAM 23 and executes the programs, etc. to realize various functional operations.
  • the learning model storage unit 110 and the attribute data storage unit 120 shown in FIG. 1 can be configured by the RAM 23.
  • the HDD 24 stores, for example, various data and various information required when the CPU 21 performs processing using a program.
  • the HDD 24 also stores, for example, various data and various information obtained when the CPU 21 performs processing using a program.
  • the input unit 25 is composed of a keyboard and a pointing device such as a mouse.
  • the display unit 26 is configured with a monitor such as a liquid crystal display (LCD) etc.
  • the display unit 26 may be configured in combination with the input unit 25 to function as a GUI (Graphical User Interface).
  • the communication I/F 27 is an interface that controls communication between the information processing device 100 and external devices.
  • the communication I/F 27 provides an interface with a network and executes communication with an external device via the network.
  • Various data, various parameters, etc. are transmitted and received between the external device and the communication I/F 27.
  • the communication I/F 27 may execute communication via a wired LAN (Local Area Network) or a dedicated line that complies with a communication standard such as Ethernet (registered trademark).
  • the network that can be used in this embodiment is not limited to this, and may be configured as a wireless network.
  • This wireless network includes wireless PANs (Personal Area Networks) such as Bluetooth (registered trademark), ZigBee (registered trademark), and UWB (Ultra Wide Band). It also includes wireless LANs (Local Area Networks) such as Wi-Fi (Wireless Fidelity) (registered trademark) and wireless MANs (Metropolitan Area Networks) such as WiMAX (registered trademark). It also includes wireless WANs (Wide Area Networks) such as 4G and 5G defined by 3GPP (Third Generation Partnership Project) (registered trademark). Note that the network only needs to be able to connect the devices to each other so that they can communicate with each other, and the communication standard, scale, and configuration are not limited to those described above.
  • At least some of the functions of the information processing device 100 shown in FIG. 1 can be realized by the CPU 21 executing a program. However, at least some of the functions of the information processing device 100 shown in FIG. 1 may be operated as dedicated hardware. In this case, the dedicated hardware may operate under the control of the CPU 21.
  • Fig. 5A shows the learning procedure of the learning model for the first attribute in the first time step.
  • Fig. 5B shows the learning procedure of the learning model for the first attribute to the second attribute in the second time step.
  • Fig. 5C shows the learning procedure of the learning model for the first attribute to the third attribute in the third time step.
  • Fig. 5D is a diagram for explaining the learning procedure of the learning model for the first attribute to the Nth attribute in the Nth time step.
  • time step is understood to be a term representing a relative time, and not a term representing a specific time (or time span).
  • the first learning unit 1031 applies the first attribute learning data 121-1 stored in the attribute data storage unit 120 to the first attribute dedicated model 111-1 to train the first attribute dedicated model 111-1.
  • a full set of first attribute learning data 121-1 is used. Therefore, for example, the first learning unit 1031 may request the full set of first attribute learning data 121-1 from the learning data management unit 102. In response, the learning data management unit 102 may supply the full set of first attribute learning data 121-1 to the first learning unit 1031.
  • the first learning unit 1031 inputs product images included in the first attribute learning data 121-1 to the first attribute dedicated model 111-1, and obtains a probability distribution of possible characteristics of the first attribute (hereinafter also referred to as an estimated probability distribution) as output 501 (estimation result).
  • the first attribute is "pattern”, as described above, the possible characteristics of "pattern” are, for example, "border”, “plain”, “check”, “dot", and "print”.
  • the output 501 is an estimated probability distribution in this order, for example, ⁇ 0.6, 0.1, 0.1, 0.1, 0.1 ⁇ .
  • the correct probability distribution which is the correct answer data, is ⁇ 1, 0, 0, 0, 0 ⁇ .
  • the first learning unit 1031 acquires the output 501 (estimated probability distribution) and the correct probability distribution for all of the first attribute learning data 121-1, and calculates an evaluation value (evaluation function) 502 based on the output 501 and the correct probability distribution.
  • cross-entropy CE
  • CE cross-entropy loss
  • the first learning unit 1031 trains the first attribute-specific model 111-1 based on the evaluation value 502 (for example, so as to minimize the evaluation value 502).
  • the first learning unit 1031 stores the trained first attribute-specific model 111-1 in the learning model storage unit 110.
  • the trained first attribute-specific model 111-1 is used for the learning process in the second time step.
  • the first learning unit 1031 applies the second attribute learning data 121-2 stored in the attribute data storage unit 120 to the second attribute dedicated model 111-2 to train the second attribute dedicated model 111-2.
  • a full set of second attribute learning data 121-2 is used to train the second attribute dedicated model 111-2. Therefore, for example, the first learning unit 1031 may request the full set of second attribute learning data 121-2 from the learning data management unit 102. In response, the learning data management unit 102 may supply the full set of second attribute learning data 121-2 to the first learning unit 1031.
  • the first learning unit 1031 inputs product images included in the second attribute learning data 121-2 to the second attribute dedicated model 111-2 and obtains an estimated probability distribution for the second attribute as the output 503. As in the process in the first time step, the first learning unit 1031 obtains the output 503 (estimated probability distribution) and the correct answer probability distribution for all of the second attribute learning data 121-2, and calculates an evaluation value 504 (e.g., cross entropy) based on the output 503 and the correct answer probability distribution. The first learning unit 1031 trains the second attribute dedicated model 111-2 based on the evaluation value 504 (e.g., so as to minimize the evaluation value 504). The first learning unit 1031 stores the trained second attribute dedicated model 111-2 in the learning model storage unit 110. The trained second attribute dedicated model 111-2 is used for the learning process in the third time step.
  • an evaluation value 504 e.g., cross entropy
  • the second learning unit 1032 trains the attribute prediction model 112.
  • the attribute prediction model 112 in the second time step is a learning model for predicting the first attribute and the second attribute.
  • the second learning unit 1032 applies the first attribute learning data 121-1 and the second attribute learning data 121-2 stored in the attribute data storage unit 120 to the attribute prediction model 112 to train the attribute prediction model 112.
  • a portion of the first attribute learning data 121-1 and the full set of the second attribute learning data 121-2 are used. Therefore, for example, the second learning unit 1032 may request a portion of the first attribute learning data 121-1 and the full set of the second attribute learning data 121-2 from the learning data management unit 102.
  • the learning data management unit 102 may supply a portion of the first attribute learning data 121-1 and the full set of the second attribute learning data 121-2 to the second learning unit 1032. Note that in the figures of the present disclosure, a portion of an area of attribute learning data is shaded to indicate that it is a portion of the attribute learning data.
  • the second learning unit 1032 inputs product images included in a portion of the first attribute learning data 121-1 to the attribute prediction model 112, and obtains an estimated probability distribution for the first attribute as output 505.
  • the second learning unit 1302 also inputs product images included in a portion of the first attribute learning data 121-1 to the first attribute dedicated model 111-1, and obtains an estimated probability distribution for the first attribute as output 506.
  • the second learning unit 1032 obtains output 505 (estimated probability distribution) and output 506 (estimated probability distribution) for all of the portion of the first attribute learning data 121-1, and calculates an evaluation value 507 representing the similarity based on output 505 and output 506.
  • KL divergence Kullback-Leibler divergence
  • KL divergence loss KL divergence loss
  • the second learning unit 1302 trains the attribute prediction model 112 so that the output 505 from the first attribute-dedicated model 111-1 matches the output 506 from the attribute prediction model 112.
  • the second learning unit 1302 trains the learning model so that the output from the dedicated model trained for a specific attribute (in the example of FIG. 5B, the first attribute-dedicated model 111-1) matches the output from the learning model to be trained (in the example of FIG. 5B, the attribute prediction model 112), thereby performing so-called knowledge distillation.
  • the second learning unit 1032 inputs the product images included in the full set of second attribute learning data 121-2 into the attribute prediction model 112 and obtains an estimated probability distribution for the second attribute as output 508.
  • the second learning unit 1032 obtains output 508 (estimated probability distribution) and correct answer probability distribution for all of the second attribute learning data 121-2, and calculates an evaluation value 509 (e.g., cross entropy) based on the output 508 and the correct answer probability distribution.
  • the second learning unit 1032 trains the attribute prediction model 112 based on the evaluation value 509 (e.g., so as to minimize the evaluation value 509).
  • the second learning unit 1032 can suppress forgetting of tasks for the first attribute that have already been learned by using knowledge distillation to train the attribute prediction model 112.
  • the second learning unit 1032 stores the learned attribute prediction model 112 in the learning model storage unit 110.
  • the first learning unit 1031 applies the third attribute learning data 121-3 stored in the attribute data storage unit 120 to the third attribute dedicated model 111-3 to train the third attribute dedicated model 111-3.
  • a full set of third attribute learning data 121-3 is used to train the third attribute dedicated model 111-3. Therefore, for example, the first learning unit 1031 may request the full set of third attribute learning data 121-3 from the learning data management unit 102. In response to this, the learning data management unit 102 may supply the full set of third attribute learning data 121-3 to the first learning unit 1031.
  • the first learning unit 1031 inputs product images included in the third attribute learning data 121-3 to the third attribute dedicated model 111-3 and obtains an estimated probability distribution for the third attribute as the output 510. As in the process in the first time step, the first learning unit 1031 obtains the output 510 (estimated probability distribution) and the correct answer probability distribution for all of the third attribute learning data 121-3, and calculates an evaluation value 511 (e.g., cross entropy) based on the output 510 and the correct answer probability distribution. The first learning unit 1031 trains the third attribute dedicated model 111-3 based on the evaluation value 511 (e.g., so as to minimize the evaluation value 511). The first learning unit 1031 stores the trained third attribute dedicated model 111-3 in the learning model storage unit 110. The trained third attribute dedicated model 111-3 is used for the learning process in the fourth time step.
  • an evaluation value 511 e.g., cross entropy
  • the second learning unit 1032 trains the attribute prediction model 112.
  • the attribute prediction model 112 in the third time step is a learning model for predicting the third attribute from the first attribute.
  • the second learning unit 1032 applies the first attribute learning data 121-1, the second attribute learning data 121-2, and the third attribute learning data 121-3 stored in the attribute data storage unit 120 to the attribute prediction model 112 to train the attribute prediction model 112.
  • a portion of the first attribute learning data 121-1, a portion of the second attribute learning data 121-2, and the full set of the third attribute learning data 121-3 are used.
  • the second learning unit 1032 may request a portion of the first attribute learning data 121-1, a portion of the second attribute learning data 121-2, and the full set of the third attribute learning data 121-3 from the learning data management unit 102.
  • the learning data management unit 102 may supply a portion of the first attribute learning data 121-1, a portion of the second attribute learning data 121-2, and the full set of the third attribute learning data 121-3 to the second learning unit 1032.
  • the second learning unit 1032 inputs product images included in a portion of the first attribute learning data 121-1 to the attribute prediction model 112 and obtains an estimated probability distribution for the first attribute as output 512.
  • the second learning unit 1302 also inputs product images included in a portion of the first attribute learning data 121-1 to the first attribute dedicated model 111-1 and obtains an estimated probability distribution for the first attribute as output 513.
  • the second learning unit 1032 obtains output 512 (estimated probability distribution) and output 513 (estimated probability distribution) for all of the portion of the first attribute learning data 121-1, and calculates an evaluation value 514 (e.g., KL divergence) based on output 512 and output 513.
  • an evaluation value 514 e.g., KL divergence
  • the second learning unit 1032 trains the attribute prediction model 112 based on evaluation value 514 (e.g., so as to minimize evaluation value 514).
  • the second learning unit 1032 also inputs product images included in a portion of the second attribute learning data 121-2 to the attribute prediction model 112 and obtains an estimated probability distribution for the second attribute as the output 515.
  • the second learning unit 1302 also inputs product images included in a portion of the second attribute learning data 121-2 to the second attribute dedicated model 111-2 and obtains an estimated probability distribution for the second attribute as the output 516.
  • the second learning unit 1032 obtains the output 515 (estimated probability distribution) and the output 516 (estimated probability distribution) for all of the portion of the second attribute learning data 121-2, and calculates an evaluation value 517 (for example, KL divergence) based on the output 515 and the output 516.
  • the second learning unit 1032 trains the attribute prediction model 112 based on the evaluation value 517 (for example, to minimize the evaluation value 517).
  • the second learning unit 1032 inputs product images included in the full set of third attribute learning data 121-3 to the attribute prediction model 112, and obtains an estimated probability distribution for the third attribute as output 518.
  • the second learning unit 1032 obtains the output 518 (estimated probability distribution) and a correct answer probability distribution for all of the third attribute learning data 121-2, and calculates an evaluation value 519 (e.g., cross entropy) based on the output 518 and the correct answer probability distribution.
  • the second learning unit 1032 trains the attribute prediction model 112 based on the evaluation value 519 (e.g., so as to minimize the evaluation value 519).
  • the second learning unit 10312 stores the learned attribute prediction model 112 in the learning model storage unit 110.
  • FIG. 5D shows a diagram for explaining the learning procedure at the N-th time step by the first learning unit 1031 and the second learning unit 1302.
  • the learning procedure shown in FIG. 5D corresponds to a generalized version of the learning procedures at the second time step to the N-th time step.
  • the first learning unit 1301 inputs the full set of N-th attribute learning data 121-N to the N-th attribute-specific model 111-N, and trains the N-th attribute-specific model 111-N based on the output 520 and the evaluation value 521.
  • the second learning unit 1032 trains the attribute prediction model 112.
  • the attribute prediction model 112 in the N-th time step is a learning model for predicting the N-th attribute from the first attribute.
  • the second learning unit 1032 trains the attribute prediction model 112 based on an evaluation value 524 based on an output 522 and an output 523 for a portion of the first attribute learning data 121-1, an evaluation value 527 based on an output 525 and an output 526 for a portion of the second attribute learning data 121-1, and an evaluation value 530 based on an output 528 and an output 529 for a portion of the (N-1)-th attribute learning data 121-1.
  • the second learning unit 1302 inputs the full set of the Nth attribute learning data 121-N to the attribute prediction model 112, and trains the attribute prediction model 112 based on the output 531 and the evaluation value 532.
  • the loss function L used by the second learning unit 1032 to train the attribute prediction model 112 in the Nth time step can be expressed as in equation (1).
  • CE represents cross entropy
  • KL represents KL divergence
  • ⁇ represents temperature
  • ⁇ represents softmax function
  • ⁇ represents log-softmax function
  • ⁇ represents weight (balancing weight).
  • Y o i represents output from the i-th attribute specialized model (i is an integer equal to or greater than 1).
  • Y ⁇ o i represents output for the i-th attribute from the attribute prediction model 112.
  • Y ⁇ N represents output for the N-th attribute from the attribute prediction model 112.
  • Y N represents correct answer data for the N-th attribute.
  • the loss function is based on the value obtained by multiplying the evaluation value (KL divergence) for the first attribute to the (N-1)-th attribute by the weight ⁇ and adding them together, and the value obtained by multiplying the evaluation value (cross entropy) for the N-th attribute by the weight (1- ⁇ ).
  • the second learning unit 1032 trains the attribute prediction model 112 so as to optimize the value derived by the loss function (e.g., minimize the value).
  • the learning unit 103 trains the attribute prediction model 112 for predicting the first attribute to the Nth attribute for the first attribute to the (N-1)th attribute according to knowledge distillation. Specifically, for the first attribute to the (N-1)th attribute, the learning unit 103 trains the attribute prediction model 112 using the trained first attribute dedicated model 111-1 to (N-1)th attribute dedicated model 111-(N-1), which have been trained using a full set of training data for the attribute. This makes it possible to train the attribute prediction model 112 so as to suppress catastrophic forgetting for the first attribute to the (N-1)th attribute.
  • the attribute prediction model 112 trained in each of the second time step to the (N-1)th time step may be stored in the learning model storage unit 110 separately from the attribute prediction model 112 trained in the Nth time step.
  • the attribute prediction model 112 trained in the Nth time step is a learning model for predicting the Nth attribute from the first attribute
  • the attribute prediction model 112 trained in the nth time step (n is an integer greater than or equal to 2 and less than or equal to N-1) is a learning model for predicting the nth attribute from the first attribute.
  • the first learning unit 1301 trains the first attribute dedicated model 111-1 to the (N-1)th attribute dedicated model 111-(N-1), respectively, using the first attribute learning data 121-1 to the (N-1)th attribute learning data 121-(N-1), respectively.
  • This learning procedure corresponds to the learning procedure of the first learning unit 1301 described with reference to Figs. 5A to 5D, for example.
  • the second learning unit 1302 trains the attribute dedicated model 112 according to the procedure described with reference to Fig. 5D.
  • the learning procedure according to this modified example also makes it possible to train the attribute prediction model 112 so as to suppress catastrophic forgetting for the first attribute to the (N-1)th attribute.
  • FIG. 6A shows a flowchart of a learning process of the attribute prediction model 112 for predicting an N-th attribute from a first attribute, which is executed by the information processing device 100.
  • the learning unit 103 sets a parameter i to 1. i corresponds to the time step in the learning procedure described with reference to Figures 5A to 5D.
  • the learning unit 103 determines whether i is 1. If i is 1 (Yes in S602), the process proceeds to S603, and if not (No in S602), the process proceeds to S605.
  • S603 is a learning process in the first time step.
  • the first learning unit 1031 uses the first attribute learning data 121-1 to train the first attribute specialized model 111-1.
  • the learning procedure in S603 is as described with reference to FIG. 5A.
  • the first learning unit 1031 stores the trained first attribute specialized model 111-1 in the training model storage unit 110.
  • the learning unit 103 increments the parameter i. After that, the process proceeds to S602.
  • S605 to S606 are learning processes in the i-th time step (i is 2 or more).
  • the first learning unit 1031 uses the i-th attribute learning data 121-i to train the i-th attribute specialized model 111-i.
  • the first learning unit 1031 stores the trained i-th attribute specialized model 111-i in the training model storage unit 110.
  • the second learning unit 1032 trains the attribute prediction model 112 using the trained first attribute dedicated model 111-1 to the (i-1)th attribute dedicated model 111-(i-1), a portion of each of the first attribute learning data 121-1 to the (i-1)th attribute learning data 121-(i-1), and the i-th attribute learning data 121-i.
  • the learning procedure in S606 is as described with reference to FIG. 5B to FIG. 5D.
  • the second learning unit 1032 may store the attribute prediction model 112 in the learning model storage unit 110.
  • the second learning unit 1302 may store the attribute prediction model 112 trained in the i-th time step in the learning model storage unit 110 so that it can be identified as a learning model for predicting the i-th attribute from the first attribute. Then, in S607, the learning unit 103 determines whether the parameter i is N or not. If i is N (Yes in S607), the process proceeds to S608. If not (No in S607), the process proceeds to S604.
  • the second learning unit 1032 stores the learned attribute prediction model 112 in the learning model storage unit 110 as a learning model for predicting the Nth attribute from the first attribute.
  • FIG. 6B shows a flowchart of a modified example of the learning process of the attribute prediction model 112 executed by the information processing device 100.
  • this modified example is a process in which only the attribute prediction model 112 for predicting the Nth attribute from the first attribute is trained.
  • the first learning unit 1031 uses the first attribute learning data 121-1 to the (N-1)th attribute learning data 121-(N-1) to train the first attribute dedicated model 111-1 to the (N-1)th attribute dedicated model 111-(N-1), respectively.
  • the training procedure in S611 is as described with reference to FIG. 5A.
  • the first learning unit 1031 After training the first attribute dedicated model 111-1 to the (N-1)th attribute dedicated model 111-(N-1), the first learning unit 1031 stores the trained first attribute dedicated model 111-1 to the (N-1)th attribute dedicated model 111-(N-1) in the training model storage unit 110.
  • the second learning unit 1032 trains the attribute prediction model 112 using the trained first attribute dedicated model 111-1 to the (N-1)th attribute dedicated model 111-(N-1), a portion of each of the first attribute learning data 121-1 to the (N-1)th attribute learning data 121-(N-1), and the Nth attribute learning data 121-N.
  • the learning procedure in S612 is as described with reference to FIG. 5D.
  • the second learning unit 1032 stores the learned attribute prediction model 112 in the learning model storage unit 110 as a learning model for predicting the Nth attribute from the first attribute.
  • Fig. 7 shows a flowchart of the attribute prediction processing executed by the information processing device 100.
  • a trained attribute prediction model 112 for predicting an Nth attribute (N is an integer equal to or greater than 2) from a first attribute is used.
  • the image acquisition unit 104 acquires a product image including a target product (a product for which attributes are to be predicted). For example, the image acquisition unit 104 acquires the product image by an operator of the information processing device 100 operating the information processing device 100 to access any electronic commerce site and then selecting a product image including the target product.
  • the image acquisition unit 104 can also acquire a product image by acquiring a product image sent from an external device such as a user device or a URL (Uniform Resource Locator) indicating a product image.
  • an external device such as a user device or a URL (Uniform Resource Locator) indicating a product image.
  • the attribute prediction unit 105 inputs the product image acquired by the image acquisition unit 104 into the trained attribute prediction model 112, and predicts N attributes of the first attribute from the first attribute of the target product included in the product image. Specifically, the attribute prediction unit 105 extracts the types of N attributes of the target product, and predicts the characteristics of each of the N types of attributes.
  • the output unit 106 outputs information on the attributes predicted by the attribute prediction unit 105 (attribute prediction results). Specifically, the output unit 106 outputs the N attribute types predicted by the attribute prediction unit 105 and the features (feature values) of each of the N attribute types. The output unit 106 may display the attribute prediction results on the display unit 26 ( Figure 2). Furthermore, when a product image is acquired from an external device such as a user device, the output unit 106 may transmit the product image to the external device via the communication I/F 27 ( Figure 2) so as to be displayed on the display unit of the external device.
  • the information processing device 100 trains the attribute prediction model 112 for predicting multiple attributes of a product from a product image that includes the product, it trains one or more attributes that have already been trained using a dedicated learning model trained specifically for the one or more attributes. This makes it possible to train the attribute prediction model 112 to learn new attributes while suppressing catastrophic forgetting.
  • the learning procedure of the learning model and the attribute prediction procedure for predicting multiple attributes of a product when the product image contains one product have been described.
  • the information processing device 100 may be configured to divide the product image into partial images containing each of the multiple products using a known image recognition process, and to predict multiple attributes for each partial image using the procedure described in this embodiment.
  • An information processing device having a learning unit that trains an attribute prediction model for predicting N attributes (N is an integer equal to or greater than 2) of a product from an image including the product, the learning unit having a first learning unit that trains an i-th learning model for predicting an i-th attribute (i is an integer from 1 to N-1) of the product using i-th learning data for the i-th attribute, and a second learning unit that trains the attribute prediction model using the i-th learning model trained by the first learning unit, a portion of the i-th learning data, and N-th learning data for the N-th attribute of the product.
  • [5] The information processing device according to any one of [1] to [4], wherein the second learning unit trains the attribute prediction model using a first estimation result for each of the first attribute to the (N-1)th attribute obtained by applying a portion of the i-th learning data to the i-th learning model, and a second prediction result for each of the first attribute to the N-th attribute obtained by applying a portion of the i-th learning data and the N-th learning data to the attribute prediction model.
  • each of the (N-1) first evaluation values is a KL divergence
  • the second evaluation value is a cross entropy
  • An information processing device according to any one of [1] to [8], further comprising: an acquisition unit that acquires an image including a target product; and a prediction unit that inputs the image acquired by the acquisition unit into the attribute prediction model trained by the second learning unit, and predicts the first attribute to the Nth attribute of the target product.
  • An information processing method for training an attribute prediction model for predicting N attributes (N is an integer equal to or greater than 2) of a product from an image including the product including: training an i-th learning model for predicting an i-th attribute (i is an integer from 1 to N-1) of the product using i-th learning data for the i-th attribute; and training the attribute prediction model using the i-th learning model trained by the first learning unit, a portion of the i-th learning data, and N-th learning data for the N-th attribute of the product.
  • An information processing program for training an attribute prediction model for predicting N attributes (N is an integer equal to or greater than 2) of a product from an image including the product the information processing program causing a computer to execute the following: training an i-th learning model for predicting an i-th attribute (i is an integer from 1 to N-1) of the product using i-th learning data for the i-th attribute; and training the attribute prediction model using the i-th learning model trained by the first learning unit, a portion of the i-th learning data, and N-th learning data for the N-th attribute of the product.
  • 100 Information processing device
  • 101 Learning data acquisition unit
  • 102 Learning data management unit
  • 103 Learning unit
  • 1301 First learning unit
  • 1302 Second learning unit
  • 104 Image acquisition unit
  • 105 Attribute prediction unit
  • 106 Output unit
  • 110 Learning model storage unit
  • 111-1 First attribute specialized model
  • 111-N Nth attribute dedicated model
  • 112 Attribute prediction model
  • 120 Attribute data storage unit
  • 121-1 First attribute learning data
  • 121-N Nth attribute learning data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

情報処理装置は、商品を含む画像から、該商品のＮ個の属性（Ｎは、２以上の整数）を予測するための属性予測モデルを学習させる学習部を有する。該学習部は、該商品の第ｉ属性（ｉは、１からＮ－１の整数）を予測するための第ｉ学習モデルを、該第ｉ属性に対する第ｉ学習データを用いて学習させる第１学習部と、該第１学習部により学習済みの該第ｉ学習モデルと、該第ｉ学習データの一部と、該商品の第Ｎ属性に対する第Ｎ学習データとを用いて、該属性予測モデルを学習させる第２学習部と、を有する。

Description

情報処理装置、情報処理方法、および情報処理プログラム
　本発明は、情報処理装置、情報処理方法、および情報処理プログラムに関し、特に、商品を含む画像から、当該商品の属性を予測するための技術に関する。
　近年、インターネットを使って商品の販売を行う電子商取引（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｍｍｅｒｃｅ（ＥＣ））が盛んに実施されており、そのような電子商取引の実施のためのＥＣサイトがウェブ上に多く構築されている。ＥＣサイトは、世界中の各国の言語を用いて構築されることも多く、多くの国に在住するユーザ（消費者）が商品を購入することを可能にしている。ユーザは、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）や、スマートフォンといった携帯端末からＥＣサイトにアクセスすることで、実際の店舗に赴くことなく、また時間に関係なく、所望の商品の選択や購入を行うことが可能となっている。
　ＥＣサイトでは、ユーザによる購買意欲を増進させることを目的に、過去にユーザが購入した商品の属性（商品に特有な情報）と同様の属性を有する商品を、レコメンデーションする商品として、ユーザが閲覧している画面において合わせて表示することがある。また、ユーザも、所望の商品を購入する場合に、購入しようとする商品の属性から検索する場合がある。このようなことから、電子商取引では、商品の属性を識別することが、サイト運営側や商品提供側にとって共通の課題となっている。
　近年では、機械学習のための学習モデルを用いて、商品を含む画像から、当該商品の属性を予測する技術が開発されている。例えば、特許文献１には、商品を含む画像を、ニューラルネットワークを用いて構成された学習モデルに適用することで、当該商品の複数の属性を予測する技術が開示されている。
特開２０２０－７１８５９号公報
　特許文献１に開示される技術によれば、商品を含む画像を学習モデルに適用することにより、自動的に、当該商品の複数の属性を予測することが可能となる。一方、電子商取引で扱う商品の種類や数は増加しており、それに伴い、属性の種類も増加する。よって、商品を含む画像から、当該商品の既存の属性だけでなく新たな属性を予測する学習モデルの構築が望まれる。
　新たなタスクを学習モデルに学習させるために、追加的な学習データを連続的に用いて学習モデルを学習させる、インクリメンタル学習という方法が知られている。インクリメンタル学習によれば、追加的に新たな属性の学習データを用いて学習モデル学習させることにより、既に学習させた属性だけでなく新たに学習させた属性も予測可能な学習モデルを構築することが可能となる。
　しかしながら、追加的な学習データを連続的に用いて学習モデルを学習させる場合、過去に学習させたデータを「忘れて」しまうという、破滅的忘却（Ｃａｔａｓｔｒｏｐｈｉｃ　ｆｏｒｇｅｔｔｉｎｇ）という課題が生じる。例えば、過去に学習させたデータについて、正解データとの誤差が大きくなることや、誤差が大きくなることや、完全に忘れてしまうことが生じうる。
　本発明は上記課題に鑑みてなされたものであり、破滅的忘却を抑制しつつ、商品を含む画像から当該商品の新たな属性を学習させるための技術を提供することを目的とする。
　本発明の一態様による情報処理装置は、商品を含む画像から、前記商品のＮ個の属性（Ｎは、２以上の整数）を予測するための属性予測モデルを学習させる学習部を有し、前記学習部は、前記商品の第ｉ属性（ｉは、１からＮ－１の整数）を予測するための第ｉ学習モデルを、前記第ｉ属性に対する第ｉ学習データを用いて学習させる第１学習部と、前記第１学習部により学習済みの前記第ｉ学習モデルと、前記第ｉ学習データの一部と、前記商品の第Ｎ属性に対する第Ｎ学習データとを用いて、前記属性予測モデルを学習させる第２学習部と、を有する。
　本発明の一態様による情報処理方法は、商品を含む画像から、前記商品のＮ個の属性（Ｎは、２以上の整数）を予測するための属性予測モデルを学習させるための情報処理方法であって、前記商品の第ｉ属性（ｉは、１からＮ－１の整数）を予測するための第ｉ学習モデルを、前記第ｉ属性に対する第ｉ学習データを用いて学習させることと、前記第１学習部により学習済みの前記第ｉ学習モデルと、前記第ｉ学習データの一部と、前記商品の第Ｎ属性に対する第Ｎ学習データとを用いて、前記属性予測モデルを学習させること、を含む。
　本発明の一態様による情報処理プログラムは、商品を含む画像から、前記商品のＮ個の属性（Ｎは、２以上の整数）を予測するための属性予測モデルを学習させる情報処理プログラムであって、前記商品の第ｉ属性（ｉは、１からＮ－１の整数）を予測するための第ｉ学習モデルを、前記第ｉ属性に対する第ｉ学習データを用いて学習させることと、前記第１学習部により学習済みの前記第ｉ学習モデルと、前記第ｉ学習データの一部と、前記商品の第Ｎ属性に対する第Ｎ学習データとを用いて、前記属性予測モデルを学習させること、をコンピュータに実行させるものである。
　本発明によれば、破滅的忘却を抑制しつつ、商品を含む画像から当該商品の新たな属性を学習させることが可能となる。
　上記した本発明の目的、態様及び効果並びに上記されなかった本発明の目的、態様及び効果は、当業者であれば添付図面及び請求の範囲の記載を参照することにより下記の発明を実施するための形態から理解できるであろう。
図１は、実施形態による自然言語処理システムの構成例を示す。 図２は、実施形態による情報処理装置のハードウェア構成例を示す。 図３Ａは、商品の属性を説明するための図である。 図３Ｂは、商品画像と属性との関係を示す。 図４は、属性学習データの概念図を示す。 図５Ａは、第１タイムステップにおける、第１属性に対する学習モデルの学習手順を示す。 図５Ｂは、第２タイムステップにおける、第１属性から第２属性に対する学習モデルの学習手順を示す。 図５Ｃは、第３タイムステップにおける、第１属性から第３属性に対する学習モデルの学習手順を示す。 図５Ｄは、第Ｎタイムステップにおける、第１属性から第Ｎ属性に対する学習モデルの学習手順を説明するための図である。 図６Ａは、実施形態による情報処理装置より実行される属性予測モデルの学習処理のフローチャートを示す。 図６Ｂは、実施形態による情報処理装置より実行される属性予測モデルの学習処理の変形例のフローチャートを示す。 図７は、実施形態による情報処理装置により実行される属性予測処理のフローチャートを示す。
　以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。以下に開示される構成要素のうち、同一機能を有するものには同一の符号を付し、その説明を省略する。なお、以下に開示される実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
　［情報処理装置の機能構成］
　本実施形態による情報処理装置１００は、商品を含む（すなわち、商品を表示する）画像（以下、商品画像とも称する）を取得し、当該商品の複数の属性を予測する。商品の属性とは、商品に特有な情報であり、例えば、商品の視覚的な特徴である。商品の属性は、ユーザが当該商品を購入する際の指標になりうる。なお、本実施形態では、商品の属性を予測する例を説明するが、商品を含む、任意のアイテムを含む（すなわち、アイテムを表示する）画像から当該アイテムの属性を予測する場合も、本実施形態を適用可能である。
　図１は、本実施形態による情報処理装置１００の機能構成の一例を示す。
　情報処理装置１００は、学習データ取得部１０１、学習データ管理部１０２、学習部１０３、画像取得部１０４、属性予測部１０５、出力部１０６、学習モデル記憶部１１０、属性データ記憶部１２０を備える。学習部１０３は、第１学習部１０３１と第２学習部１０３２を備える。学習モデル記憶部１１０は、第１属性専門モデル１１１－１から第Ｎ属性専門モデル１１１－Ｎと、属性予測モデル１１２を記憶するように構成される。属性データ記憶部１２０は、第１属性学習データ１２１－１から第Ｎ属性学習データ１２１－Ｎを記憶するように構成される。本開示において、「Ｎ」は、２以上の整数である。
　学習データ取得部１０１は、学習モデルを学習させるための学習データ（教師データ）を取得する。本実施形態では、学習データは、商品画像と、商品の属性の正解データとを含んで構成される。ここで、図３Ａを参照して、本実施形態における商品の属性の例について説明する。図３Ａは、商品の属性を説明するための図である。
　本実施形態では、商品は、ＥＣ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｍｍｅｒｃｅ）サイトで扱いうる商品を想定する。ＥＣサイトで扱いうる商品の数の種類や数は膨大であるため、商品の属性は、分類した商品（商品群）に対して設定される。商品に対する分類は、階層的に行われうる。本実施形態では、商品に対する分類のうち、上位分類を示す商品カテゴリが「衣類」である場合の属性を想定する。
　図３Ａにおいて、商品カテゴリ３０が「衣類」の商品は、カテゴリ３０の下位分類を示すサブカテゴリ３１、サブカテゴリ３１のさらに下位分類を示すサブサブカテゴリ３２に分類される。サブカテゴリ３１は、「衣類」を装着する対象を示し、図３Ａの例では、「男性」と「女性」を含む。このほか、サブカテゴリ３１は、「子ども」や、「シニア」や、性別を意識しない「ユニセックス」等を含んでもよい。サブサブカテゴリ３２は、「衣類」の種類や形状を示す。サブカテゴリ３１が「男性」である場合、サブサブカテゴリ３２は、「Ｔシャツ」と「ジーンズ」を含む。このほか、サブカテゴリ３１が「男性」である場合、サブサブカテゴリ３２は、「ジャケット」や、「コート」等を含んでもよい。
　図３Ａの例では、属性は、サブサブカテゴリ３２の商品に対して設定される。サブサブカテゴリ３２が「Ｔシャツ」の場合、属性は、「パターン」、「袖」、「首回り」、および「色」を含む。また、サブサブカテゴリ３２が「ジーンズ」の場合、属性は、「パターン」、「フィット」、および「長さ」を含む。なお、図３Ａに示す各商品に対する属性の種類は、一例であり、図示されるものに限定されない。また、属性の種類は将来的にさらに増加しうる。また、図３Ａでは、サブサブカテゴリ３２の商品に対して属性が設定されているが、サブカテゴリ３１やカテゴリ３０に対して属性が設定されてもよい。
　図３Ｂに、商品画像と属性との関係を示す。図３Ｂでは、商品画像３６に含まれる商品３８の属性３７を含むデータ３５が示されている。商品３８は、図３Ａにおける、カテゴリ３０＝「衣類」、サブカテゴリ３１＝「男性」、サブサブカテゴリ３２＝「Ｔシャツ」に分類される商品であり、図３Ａを参照して、属性３７は、「パターン」、「袖」、「首回り」、および「色」を含む。さらに、属性３７において、各属性は正解となる特徴（特徴値）（以下、正解特徴とも称する）を有する。商品画像３６の商品３８の各属性に対する正解特徴は図３Ｂに示す通りであり、「パターン」は「ボーダー」、「袖」は「七分袖」、「首回り」は「ラウンド」、「色」は「白と黒」である。
　前述したように、学習データは、商品画像と、商品の属性の正解データを含んで構成される。学習データ取得部１０１は、例えば、図３Ｂに示すデータ３５から、学習データを生成して取得する。図３Ｂに示す商品３８の属性が「パターン」である場合、「パターン」が取りうる特徴を、例えば、「ボーダー」、「無地」、「チェック」、「ドット」、「プリント」とする。分類問題の場合、学習のための正解データは、全て１または０となる。つまり、１００％（正解特徴）か０％（非正解特徴）かという二択になる。商品画像３６に含まれる商品３８の「パターン」は「ボーダー」であるから、「ボーダー」、「無地」、「チェック」、「ドット」、「プリント」の順では、１番目の特徴が正解特徴である。よって、正解データは、例えば、｛１，０，０，０，０｝のような確率分布の形式で与えられる。　
　学習データ管理部１０２は、学習データ取得部１０１により取得された学習データを、属性ごとに、属性学習データとして属性データ記憶部１２０に保存する。図３Ｂを参照すると、学習データ管理部１０２は、商品画像３６と、属性３７（すなわち、「パターン」、「袖」、「首回り」、および「色」）の正解データとの組み合わせを、属性ごとに、属性学習データとして属性データ記憶部１２０に保存する。図４に、属性データ記憶部１２０に保存される、属性学習データの概念図を示す。
　図１に示したように、属性データ記憶部１２０には、第１属性学習データ１２１－１から第Ｎ属性学習データ１２１－Ｎを記憶するように構成される。説明のために、第１属性＝「パターン」、第２属性＝「袖」であるとする。学習データ管理部１０２は、例えば、図３Ｂに示すデータ３５に基づいて、商品画像３６と、「ボーダー」４１が「１」となる正解データとの組み合わせデータを、第１属性学習データ１２１－１に分類する。また、学習データ管理部１０２は、商品画像３６と、「七分袖」４２が「１」となる正解データの組み合わせを、第２属性学習データ１２１－１に分類する。このように、学習データ管理部１０２は、学習データ取得部１０１により取得された学習データから、商品画像と１つ以上の属性を抽出し、当該商品画像と、正解データとの組み合わせを、属性ごとに、第１属性学習データ１２１－１から第Ｎ属性学習データ１２１－Ｎのいずれかに分類する。これにより、第１属性学習データ１２１－１から第Ｎ属性学習データ１２１－Ｎのそれぞれには、商品画像と、当該画像に含まれる商品の第１属性から第Ｎ属性に対する正解データとの組み合わせデータのセットが保存される。
　なお、本実施形態では、学習データ管理部１０２は、学習データ取得部１０１により取得された学習データを、属性ごとに、属性データ記憶部１２０に保存するように構成されるが、属性データ記憶部１２０へのデータ保存手順はこれに限定されない。例えば、学習データ取得部１０１が、商品画像と、１つの属性の正解特徴とを取得した場合、学習データ管理部１０２は、当該属性に従って、当該商品画像と、当該正解特徴に応じた正解データとの組み合わせデータを、第１属性学習データ１２１－１から第Ｎ属性学習データ１２１－Ｎのいずれかに保存してもよい。あるいは、この場合は、学習データ取得部１０１が、直接的に、当該組み合わせデータを、第１属性学習データ１２１－１から第Ｎ属性学習データ１２１－Ｎのいずれかに保存してもよい。
　さらに、学習データ管理部１０２は、属性データ記憶部１２０に保存された第１属性学習データ１２１－１から第Ｎ属性学習データ１２１－Ｎのうち、学習部１０３へ供給するデータを管理する。第１属性学習データ１２１－１を例にすると、学習データ管理部１０２は、フルセットの第１属性学習データ１２１－１を、学習部１０３へ供給しうる。あるいは、学習データ管理部１０２は、第１属性学習データ１２１－１の一部を選択（サンプリング）して、学習部１０３へ供給しうる。当該一部のデータは、ランダムに選択されてもよいし、所定のルールに従って選択されてもよい。本開示において、「フルセットのデータ」という語は、「一部のデータ」よりデータ量が多い（例えば、より多くの学習データのセットを含む）ことを意味する。学習データ管理部１０２は、属性学習データを、学習部１０３からの要求に応じて、学習部１０３へ供給しうる。
　図１の説明に戻り、学習部１０３は、第１属性学習データ１２１－１から第Ｎ属性学習データ１２１－Ｎと、属性予測モデル１１２を学習させる。これらの学習モデルは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を利用して構成されうる。学習部１０３は、第１学習部１３０１と第２学習部１３０２を含んで構成され、第１学習部１３０１と第２学習部１３０２に対する制御を含む、学習処理全般の制御を担う。第１学習部１３０１は、第１属性専用モデル１１１－１から第Ｎ属性専用モデル１１１－Ｎを学習させるように構成される。第２学習部１３０２は、学習済みの第１属性専用モデル１１１－１から第Ｎ属性専用モデル１１１－Ｎの少なくともいずれかを用いて、属性予測モデル１１２を学習させるように構成される。学習部１０３による、第１属性専用モデル１１１－１から第Ｎ属性専用モデル１１１－Ｎと、属性予測モデル１１２の学習手順については後述する。
　画像取得部１０４は、対象商品（すなわち、属性予測対象の商品）を含む商品画像を取得する。画像取得部１０４は、当該商品画像を、ユーザ（オペレータ）による入力部２５（図２）を介した入力操作によって取得してもよいし、ユーザの操作により記憶部（図２のＲＯＭ２２やＲＡＭ２３）から取得してもよい。また、画像取得部１０４は、通信Ｉ／Ｆ２７（図２）を介して外部装置から受信した商品画像を取得してもよい。
　属性予測部１０５は、画像取得部１０４により取得された商品画像を、学習済みの属性予測モデル１１２に適用し、当該商品画像に含まれる対象商品の複数の属性を予測する。
　出力部１０６は、属性予測部１０５により予測された属性の情報（属性予測結果）を出力する。出力部１０６は、例えば、画像取得部１０４により取得された商品画像と対応付けて、属性予測結果を出力してもよい。出力部１０６は、属性予測結果を、表示部２６（図２）に表示してもよい。また、商品画像がユーザ装置といった外部装置から取得された場合は、出力部１０６は、通信Ｉ／Ｆ２７（図２）を介して当該外部装置の表示部に表示されるように、当該外部装置へ送信してもよい。
　［情報処理装置のハードウェア構成］
　図２は、本実施形態による情報処理装置１００のハードウェア構成の一例を示すブロック図である。情報処理装置１００は、単一または複数の、あらゆるコンピュータ、モバイルデバイス、または他のいかなる処理プラットフォーム上にも実装することができる。
　図２を参照して、情報処理装置１００は、単一のコンピュータに実装される例が示されているが、本実施形態による情報処理装置１００は、複数のコンピュータを含むコンピュータシステムに実装されてよい。複数のコンピュータは、有線または無線のネットワークにより相互通信可能に接続されてよい。
　図２に示すように、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２３と、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）２４と、入力部２５と、表示部２６と、通信Ｉ／Ｆ２７と、システムバス２８とを備えてよい。情報処理装置１００はまた、外部メモリを備えてよい。
　ＣＰＵ２１は、情報処理装置１００における動作を統括的に制御するものであり、データ伝送路であるシステムバス２８を介して、各構成部（２２～２７）を制御する。ＣＰＵ２１は、１つ以上のプロセッサにより構成される。当該１つ以上のプロセッサの少なくともいずれかは、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　ｓｐｅｃｉｆｉｃ　ｉｎｔｅｇｒａｔｅｄ　ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等の１つ以上のプロセッサによって置き換えられてもよい。
　ＲＯＭ２２は、ＣＰＵ２１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、ＨＤＤ２４、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の不揮発性メモリや着脱可能な記憶媒体（不図示）等の外部メモリに記憶されていてもよい。
　ＲＡＭ２３は、揮発性メモリであり、ＣＰＵ２１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ２１は、処理の実行に際してＲＯＭ２２から必要なプログラム等をＲＡＭ２３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。図１に示す学習モデル記憶部１１０および属性データ記憶部１２０は、ＲＡＭ２３で構成されうる。
　ＨＤＤ２４は、例えば、ＣＰＵ２１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、ＨＤＤ２４には、例えば、ＣＰＵ２１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。
　入力部２５は、キーボードやマウス等のポインティングデバイスにより構成される。
　表示部２６は、液晶ディスプレイ（ＬＣＤ）等のモニターにより構成される。表示部２６は、入力部２５と組み合わせて構成されることにより、ＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）として機能してもよい。
　通信Ｉ／Ｆ２７は、情報処理装置１００と外部装置との通信を制御するインタフェースである。
　通信Ｉ／Ｆ２７は、ネットワークとのインタフェースを提供し、ネットワークを介して、外部装置との通信を実行する。通信Ｉ／Ｆ２７を介して、外部装置との間で各種データや各種パラメータ等が送受信される。本実施形態では、通信Ｉ／Ｆ２７は、イーサネット（登録商標）等の通信規格に準拠する有線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）や専用線を介した通信を実行してよい。ただし、本実施形態で利用可能なネットワークはこれに限定されず、無線ネットワークで構成されてもよい。この無線ネットワークは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（Ｕｌｔｒａ　Ｗｉｄｅ　Ｂａｎｄ）等の無線ＰＡＮ（Ｐｅｒｓｏｎａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）を含む。また、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）（登録商標）等の無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）や、ＷｉＭＡＸ（登録商標）等の無線ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）を含む。さらに、３ＧＰＰ（Ｔｈｉｒｄ　Ｇｅｎｅｒａｔｉｏｎ　Ｐａｒｔｎｅｒｓｈｉｐ　Ｐｒｏｊｅｃｔ）（登録商標）で規定される４Ｇ、５Ｇ等の無線ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）を含む。なお、ネットワークは、各機器を相互に通信可能に接続し、通信が可能であればよく、通信の規格、規模、構成は上記に限定されない。
　図１に示す情報処理装置１００の少なくとも一部の機能は、ＣＰＵ２１がプログラムを実行することで実現することができる。ただし、図１に示す情報処理装置１００の少なくとも一部の機能が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ２１の制御に基づいて動作しうる。
　［学習モデルの学習手順］
　次に、学習部１０３による学習モデルの学習手順について、図５Ａから図５Ｄを参照して説明する。本実施形態では、学習部１０３は、追加的な学習データを連続的に用いて学習モデルを学習させる、インクリメンタル学習を実施する。図５Ａは、第１タイムステップにおける、第１属性に対する学習モデルの学習手順を示す。図５Ｂは、第２タイムステップにおける、第１属性から第２属性に対する学習モデルの学習手順を示す。図５Ｃは、第３タイムステップにおける、第１属性から第３属性に対する学習モデルの学習手順を示す。図５Ｄは、第Ｎタイムステップにおける、第１属性から第Ｎ属性に対する学習モデルの学習手順を説明するための図である。ここで、タイムステップという語は、相対的な時間を表す語であり、特定の時間（または時間幅）を表す語ではないものとして理解される。
　まず、第１タイムステップにおける学習手順について、図５Ａを参照して説明する。第１タイムステップにおいて、第１学習部１０３１は、属性データ記憶部１２０に格納されている第１属性学習データ１２１－１を第１属性専用モデル１１１－１に適用して、第１属性専用モデル１１１－１を学習させる。第１属性専用モデル１１１－１を学習させるために、フルセットの第１属性学習データ１２１－１が用いられる。そのため、例えば、第１学習部１０３１は、フルセットの第１属性学習データ１２１－１を、学習データ管理部１０２に要求しうる。これに応じて、学習データ管理部１０２は、フルセットの第１属性学習データ１２１－１を第１学習部１０３１へ供給しうる。
　第１学習部１０３１は、第１属性学習データ１２１－１に含まれる商品画像を第１属性専用モデル１１１－１に入力し、出力５０１（推定結果）として、第１属性が取りうる特徴の確率分布（以下、推定確率分布とも称する）を取得する。例えば、第１属性が「パターン」である場合、前述したように、「パターン」が取りうる特徴を、例えば、「ボーダー」、「無地」、「チェック」、「ドット」、「プリント」とする。出力５０１は、この順での推定確率分布であり、例えば、｛０．６，０．１，０．１，０．１，０．１｝となる。また、前述したように、図３Ｂに示すデータ３５の場合、正解データである正解確率分布は｛１，０，０，０，０｝である。
　第１学習部１０３１は、第１属性学習データ１２１－１の全てについて、出力５０１（推定確率分布）と正解確率分布を取得し、出力５０１と当該正解確率分布に基づいて、評価値（評価関数）５０２を算出する。本実施形態では、第１属性専用モデル１１１－１といった属性専用モデルを学習させるための評価値として、交差エントロピー（Ｃｌｏｓｓ－ｅｎｔｒｏｐｙ（ＣＥ））（交差エントロピー損失とも称する）を用いる。第１学習部１０３１は、評価値５０２に基づいて（例えば、評価値５０２を最小にするように）、第１属性専用モデル１１１－１を学習させる。第１学習部１０３１は、学習済みの第１属性専用モデル１１１－１を、学習モデル記憶部１１０に格納する。学習済みの第１属性専用モデル１１１－１は、第２タイムステップにおける学習処理に使用される。
　次に、第２タイムステップにおける学習手順について、図５Ｂを参照して説明する。第２タイムステップにおいて、第１学習部１０３１は、属性データ記憶部１２０に格納されている第２属性学習データ１２１－２を第２属性専用モデル１１１－２に適用して、第２属性専用モデル１１１－２を学習させる。図５Ａを参照して説明した手順と同様に、第２属性専用モデル１１１－２を学習させるために、フルセットの第２属性学習データ１２１－２が用いられる。そのため、例えば、第１学習部１０３１は、フルセットの第２属性学習データ１２１－２を、学習データ管理部１０２に要求しうる。これに応じて、学習データ管理部１０２は、フルセットの第２属性学習データ１２１－２を第１学習部１０３１へ供給しうる。
　第１学習部１０３１は、第２属性学習データ１２１－２に含まれる商品画像を第２属性専用モデル１１１－２に入力し、出力５０３として、第２属性に対する推定確率分布を取得する。第１タイムステップにおける処理と同様に、第１学習部１０３１は、第２属性学習データ１２１－２の全てについて、出力５０３（推定確率分布）と正解確率分布を取得し、出力５０３と当該正解確率分布に基づいて、評価値５０４（例えば、交差エントロピー）を算出する。第１学習部１０３１は、評価値５０４に基づいて（例えば、評価値５０４を最小にするように）、第２属性専用モデル１１１－２を学習させる。第１学習部１０３１は、学習済みの第２属性専用モデル１１１－２を、学習モデル記憶部１１０に格納する。学習済みの第２属性専用モデル１１１－２は、第３タイムステップにおける学習処理に使用される。
　さらに、第２タイムステップにおいて、第２学習部１０３２は、属性予測モデル１１２を学習させる。第２タイムステップにおける属性予測モデル１１２は、第１属性と第２属性を予測するための学習モデルである。第２学習部１０３２は、属性データ記憶部１２０に格納されている、第１属性学習データ１２１－１と、第２属性学習データ１２１－２とを属性予測モデル１１２に適用して、属性予測モデル１１２を学習させる。属性予測モデル１１２を学習させるために、第１属性学習データ１２１－１の一部と、フルセットの第２属性学習データ１２１－２が用いられる。そのため、例えば、第２学習部１０３２は、第１属性学習データ１２１－１の一部と、フルセットの第２属性学習データ１２１－２とを、学習データ管理部１０２に要求しうる。これに応じて、学習データ管理部１０２は、第１属性学習データ１２１－１の一部と、フルセットの第２属性学習データ１２１－２とを、第２学習部１０３２へ供給しうる。なお、本開示の図において、属性学習データの領域の一部が網掛けされていることは、当該属性学習データの一部であることを意味する。
　第２学習部１０３２は、第１属性学習データ１２１－１の一部に含まれる商品画像を、属性予測モデル１１２に入力し、出力５０５として、第１属性に対する推定確率分布を取得する。また、第２学習部１３０２は、第１属性学習データ１２１－１の一部に含まれる商品画像を、第１属性専用モデル１１１－１に入力し、出力５０６として、第１属性に対する推定確率分布を取得する。第２学習部１０３２は、第１属性学習データ１２１－１の一部の全てについて、出力５０５（推定確率分布）と出力５０６（推定確率分布）を取得し、出力５０５と出力５０６に基づいて、類似度を表す評価値５０７を算出する。本実施形態では、類似度を表す評価値として、ＫＬダイバージェンス（Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ　ｄｉｖｅｒｇｅｎｃｅ）（ＫＬダイバージェンス損失とも称する）を用いる。第２学習部１０３２は、出力５０５と出力５０６が一致するように（すなわち、類似度が高くなるように）、属性予測モデル１１２を学習させる。評価値５０７としてＫＬダイバージェンスを用いる場合、第２学習部１０３２は、評価値５０７を最小にするように、属性予測モデル１１２を学習させる。
　このように、第２学習部１３０２は、第１属性専用モデル１１１－１からの出力５０５と、属性予測モデル１１２からの出力５０６とが一致するように、属性予測モデル１１２を学習させる。言い換えると、第２学習部１３０２は、特定の属性専用に学習された専用モデル（図５Ｂの例では、第１属性専用モデル１１１－１）からの出力と、学習させる対象の学習モデル（図５Ｂの例では、属性予測モデル１１２）からの出力とが一致させるように、当該学習モデルを学習させる、いわゆる、知識の蒸留（Ｋｎｏｗｌｅｄｇｅ－Ｄｉｓｔｉｌｌａｔｉｏｎ）を行う。
　さらに、第２学習部１０３２は、フルセットの第２属性学習データ１２１－２に含まれる商品画像を、属性予測モデル１１２に入力し、出力５０８として、第２属性に対する推定確率分布を取得する。第２学習部１０３２は、第２属性学習データ１２１－２の全てについて、出力５０８（推定確率分布）と正解確率分布を取得し、出力５０８と当該正解確率分布に基づいて、評価値５０９（例えば、交差エントロピー）を算出する。第２学習部１０３２は、評価値５０９に基づいて（例えば、評価値５０９を最小にするように）、属性予測モデル１１２を学習させる。
　このように、第２学習部１０３２は、知識の蒸留を用いて、属性予測モデル１１２を学習させることにより、既に学習した第１属性に対するタスクを忘却することを抑制することができる。第２学習部１０３２は、学習済みの属性予測モデル１１２を、学習モデル記憶部１１０に格納する。
　次に、第３タイムステップにおける学習手順について、図５Ｃを参照して説明する。第３タイムステップにおいて、第１学習部１０３１は、属性データ記憶部１２０に格納されている第３属性学習データ１２１－３を第３属性専用モデル１１１－３に適用して、第３属性専用モデル１１１－３を学習させる。図５Ａを参照して説明した手順と同様に、第３属性専用モデル１１１－３を学習させるために、フルセットの第３属性学習データ１２１－３が用いられる。そのため、例えば、第１学習部１０３１は、フルセットの第３属性学習データ１２１－３を、学習データ管理部１０２に要求しうる。これに応じて、学習データ管理部１０２は、フルセットの第３属性学習データ１２１－３を第１学習部１０３１へ供給しうる。
　第１学習部１０３１は、第３属性学習データ１２１－３に含まれる商品画像を第３属性専用モデル１１１－３に入力し、出力５１０として、第３属性に対する推定確率分布を取得する。第１タイムステップにおける処理と同様に、第１学習部１０３１は、第３属性学習データ１２１－３の全てについて、出力５１０（推定確率分布）と正解確率分布を取得し、出力５１０と当該正解確率分布に基づいて、評価値５１１（例えば、交差エントロピー）を算出する。第１学習部１０３１は、評価値５１１に基づいて（例えば、評価値５１１を最小にするように）、第３属性専用モデル１１１－３を学習させる。第１学習部１０３１は、学習済みの第３属性専用モデル１１１－３を、学習モデル記憶部１１０に格納する。学習済みの第３属性専用モデル１１１－３は、第４タイムステップにおける学習処理に使用される。
　さらに、第３タイムステップにおいて、第２学習部１０３２は、属性予測モデル１１２を学習させる。第３タイムステップにおける属性予測モデル１１２は、第１属性から第３属性を予測するための学習モデルである。第２学習部１０３２は、属性データ記憶部１２０に格納されている、第１属性学習データ１２１－１、第２属性学習データ１２１－２、および第３属性学習データ１２１－３を属性予測モデル１１２に適用して、属性予測モデル１１２を学習させる。属性予測モデル１１２を学習させるために、第１属性学習データ１２１－１の一部と、第２属性学習データ１２１－２の一部と、フルセットの第３属性学習データ１２１－３が用いられる。そのため、例えば、第２学習部１０３２は、第１属性学習データ１２１－１の一部と、第２属性学習データ１２１－２の一部と、フルセットの第３属性学習データ１２１－３とを、学習データ管理部１０２に要求しうる。これに応じて、学習データ管理部１０２は、第１属性学習データ１２１－１の一部と、第２属性学習データ１２１－２の一部と、フルセットの第３属性学習データ１２１－３とを、第２学習部１０３２へ供給しうる。
　第２学習部１０３２は、第１属性学習データ１２１－１の一部に含まれる商品画像を、属性予測モデル１１２に入力し、出力５１２として、第１属性に対する推定確率分布を取得する。また、第２学習部１３０２は、第１属性学習データ１２１－１の一部に含まれる商品画像を、第１属性専用モデル１１１－１に入力し、出力５１３として、第１属性に対する推定確率分布を取得する。第２学習部１０３２は、第１属性学習データ１２１－１の一部の全てについて、出力５１２（推定確率分布）と出力５１３（推定確率分布）を取得し、出力５１２と出力５１３に基づいて、評価値５１４（例えば、ＫＬダイバージェンス）を算出する。第２学習部１０３２は、評価値５１４に基づいて（例えば、評価値５１４を最小にするように）、属性予測モデル１１２を学習させる。また、第２学習部１０３２は、第２属性学習データ１２１－２の一部に含まれる商品画像を、属性予測モデル１１２に入力し、出力５１５として、第２属性に対する推定確率分布を取得する。また、第２学習部１３０２は、第２属性学習データ１２１－２の一部に含まれる商品画像を、第２属性専用モデル１１１－２に入力し、出力５１６として、第２属性に対する推定確率分布を取得する。第２学習部１０３２は、第２属性学習データ１２１－２の一部の全てについて、出力５１５（推定確率分布）と出力５１６（推定確率分布）を取得し、出力５１５と出力５１６に基づいて、評価値５１７（例えば、ＫＬダイバージェンス）を算出する。第２学習部１０３２は、評価値５１７に基づいて（例えば、評価値５１７を最小にするように）、属性予測モデル１１２を学習させる。
　さらに、第２学習部１０３２は、フルセットの第３属性学習データ１２１－３に含まれる商品画像を、属性予測モデル１１２に入力し、出力５１８として、第３属性に対する推定確率分布を取得する。第２学習部１０３２は、第３属性学習データ１２１－２の全てについて、出力５１８（推定確率分布）と正解確率分布を取得し、出力５１８と当該正解確率分布に基づいて、評価値５１９（例えば、交差エントロピー）を算出する。第２学習部１０３２は、評価値５１９に基づいて（例えば、評価値５１９を最小にするように）、属性予測モデル１１２を学習させる。
　第２学習部１０３１２、学習済みの属性予測モデル１１２を、学習モデル記憶部１１０に格納する。
　図５Ｄに、第Ｎタイムステップにおける第１学習部１０３１と第２学習部１３０２による学習手順を説明するための図を示す。図５Ｄに示す学習手順は、第２タイムステップから第Ｎタイムステップそれぞれにおける学習手順を一般化したものに対応する。
　図５Ｂと図５Ｃを参照して説明した手順と同様に、第１学習部１３０１は、フルセットの第Ｎ属性学習データ１２１－Ｎを第Ｎ属性専用モデル１１１－Ｎに入力し、出力５２０と評価値５２１に基づいて、第Ｎ属性専用モデル１１１－Ｎを学習させる。
　また、図５Ｂと図５Ｃを参照して説明した手順と同様に、第２学習部１０３２は、属性予測モデル１１２を学習させる。第Ｎタイムステップにおける属性予測モデル１１２は、第１属性から第Ｎ属性を予測するための学習モデルである。第１属性、第２属性、第（Ｎ－１）属性を例にすると、第２学習部１０３２は、第１属性学習データ１２１－１の一部に対する出力５２２と出力５２３に基づく評価値５２４、第２属性学習データ１２１－１の一部に対する出力５２５と出力５２６に基づく評価値５２７、第（Ｎ－１）属性学習データ１２１－１の一部に対する出力５２８と出力５２９に基づく評価値５３０に基づいて、属性予測モデル１１２を学習させる。さらに、第２学習部１３０２は、フルセットの第Ｎ属性学習データ１２１－Ｎを属性予測モデル１１２に入力し、出力５３１と評価値５３２に基づいて、属性予測モデル１１２を学習させる。
　評価値として、交差エントロピーとＫＬダイバージェンスを用いる場合、第Ｎタイムステップにおいて、第２学習部１０３２が属性予測モデル１１２を学習させるための損失関数Ｌは、（１）式のように表すことができる。
Figure JPOXMLDOC01-appb-I000001
　ここで、ＣＥは交差エントロピー、ＫＬはＫＬダイバージェンス、τは温度、σはｓｏｆｔｍａｘ関数、λはｌｏｇ－ｓｏｆｔｍａｘ関数、αは重み（ｂａｌａｎｃｉｎｇ　ｗｅｉｇｈｔ）を表す。また、Ｙｏ ｉは、第ｉ属性専門モデルからの出力を表す（ｉは１以上の整数）。Ｙ＾ ｏ ｉは、属性予測モデル１１２からの第ｉ属性に対する出力を表す。Ｙ＾ Ｎは、属性予測モデル１１２からの第Ｎ属性に対する出力を表す。ＹＮは、第Ｎ属性に対する正解データを表す。（１）式からわかるように、損失関数は、第１属性から第（Ｎ－１）に対する評価値（ＫＬダイバージェンス）に、重みαを乗算して足し合わせた値と、第Ｎ属性に対する評価値（交差エントロピー）に重み（１－α）を乗算した値に基づく。第２学習部１０３２は、当該損失関数により導出される値を最適化する（例えば、当該値を最小にする）ように、属性予測モデル１１２を学習させる。
　このように、学習部１０３は、第１属性から第Ｎ属性を予測するための属性予測モデル１１２を、第１属性から第（Ｎ－１）属性については、知識の蒸留に従って学習させる。具体的には、学習部１０３は、第１属性から第（Ｎ－１）属性については、当該属性についてフルセットの学習データを用いて学習された、学習済みの第１属性専用モデル１１１－１から第（Ｎ－１）属性専用モデル１１１－（Ｎ－１）を用いて、属性予測モデル１１２を学習させる。これにより、第１属性から第（Ｎ－１）属性について破滅的忘却を抑制するように、属性予測モデル１１２を学習させることが可能となる。
　なお、第２タイムステップから第（Ｎ－１）タイムステップそれぞれにおいて学習された属性予測モデル１１２は、第Ｎタイムステップにおいて学習された属性予測モデル１１２と区別して、学習モデル記憶部１１０に保存されてもよい。第Ｎタイムステップにおいて学習された属性予測モデル１１２は、第１属性から第Ｎ属性を予測するための学習モデルであり、第ｎ（ｎは２以上、Ｎ－１以下の整数）タイムステップにおいて学習された属性予測モデル１１２は、第１属性から第ｎ属性を予測するための学習モデルである。
　［学習モデルの学習手順の変形例］
　図５Ａから図５Ｄを参照して、タイムステップごとの手順について説明したが、第２学習部１０３２は、上記とは別の手順で、第１属性から第Ｎ属性を予測するための属性予測モデル１１２を学習させてもよい。本変形例は、第１属性から第Ｎ属性を予測するための属性予測モデル１１２のみを学習させる処理に対応する。
　本変形例では、まず、第１学習部１３０１は、第１属性学習データ１２１－１から第（Ｎ－１）属性学習データ１２１－（Ｎ－１）それぞれを用いて、第１属性専用モデル１１１－１から第（Ｎ－１）属性専用モデル１１１－（Ｎ－１）それぞれを学習させる。当該学習手順は、例えば、図５Ａから図５Ｄを参照して説明した第１学習部１３０１の学習手順に対応する。続いて、第２学習部１３０２は、図５Ｄを参照して説明した手順に従って、属性専用モデル１１２を学習させる。当該変形例による学習手順によっても、第１属性から第（Ｎ－１）属性について破滅的忘却を抑制するように、属性予測モデル１１２を学習させることが可能となる。
　［処理の流れ］
　次に、図６Ａ、図６Ｂ、および図７を参照して、本実施形態による情報処理装置１００により実行される処理の流れについて説明する。図６Ａ、図６Ｂ、および図７に示す処理は、情報処理装置１００のＣＰＵ２１がＲＯＭ２２等に格納されたプログラムをＲＡＭ２３にロードして実行することによって実現されうる。
　（１－１）属性予測モデル１１２の学習処理
　図６Ａは、情報処理装置１００により実行される、第１属性から第Ｎ属性を予測するための属性予測モデル１１２の学習処理のフローチャートを示す。
　Ｓ６０１において、学習部１０３は、パラメータｉを１にセットする。ｉは、図５Ａから図５Ｄを参照して説明した学習手順におけるタイムステップに相当する。Ｓ６０２において、学習部１０３は、ｉが１であるか否かを判定する。ｉが１の場合（Ｓ６０２でＹｅｓ）、処理はＳ６０３へ進み、そうでない場合（Ｓ６０２でＮｏ）、処理はＳ６０５へ進む。
　Ｓ６０３は、第１タイムステップにおける学習処理である。Ｓ６０３において、第１学習部１０３１は、第１属性学習データ１２１－１を用いて、第１属性専門モデル１１１－１を学習させる。Ｓ６０３における学習手順は、図５Ａを参照して説明した通りである。第１学習部１０３１は、第１属性専門モデル１１１－１を学習後、学習済みの第１属性専門モデル１１１－１を学習モデル記憶部１１０に保存する。そして、Ｓ６０４において、学習部１０３は、パラメータｉをインクリメントする。その後、処理はＳ６０２へ進む。
　Ｓ６０５からＳ６０６は、第ｉタイムステップ（ｉは２以上）における学習処理である。Ｓ６０５において、第１学習部１０３１は、第ｉ属性学習データ１２１－ｉを用いて、第ｉ属性専門モデル１１１－ｉを学習させる。第１学習部１０３１は、第ｉ属性専門モデル１１１－ｉを学習後、学習済みの第ｉ属性専門モデル１１１－ｉを学習モデル記憶部１１０に保存する。次に、Ｓ６０６において、第２学習部１０３２は、学習済みの第１属性専用モデル１１１－１から第（ｉ－１）属性専用モデル１１１－（ｉ－１）と、第１属性学習データ１２１－１から第（ｉ－１）属性学習データ１２１－（ｉ－１）それぞれの一部と、第ｉ属性学習データ１２１－ｉとを用いて、属性予測モデル１１２を学習させる。Ｓ６０６における学習手順は、図５Ｂから図５Ｄを参照して説明した通りである。第２学習部１０３２は、属性予測モデル１１２を学習後、当該属性予測モデル１１２を、学習モデル記憶部１１０に保存しうる。第２学習部１３０２は、第ｉタイムステップにおいて学習させた属性予測モデル１１２を、第１属性から第ｉ属性を予測するための学習モデルであることを識別可能なように、学習モデル記憶部１１０に保存してもよい。そして、Ｓ６０７において、学習部１０３は、パラメータｉがＮか否かを判定し、ｉがＮの場合（Ｓ６０７でＹｅｓ）、処理はＳ６０８へ進み、そうでない場合（Ｓ６０７でＮｏ）、処理はＳ６０４へ進む。
　Ｓ６０８において、第２学習部１０３２は、第１属性から第Ｎ属性を予測するための学習モデルとして、学習済みの属性予測モデル１１２を、学習モデル記憶部１１０に保存する。
　（１－２）属性予測モデル１１２の学習処理（変形例）
　次に、前述の（１－１）の処理の変形例を説明する。図６Ｂは、情報処理装置１００により実行される属性予測モデル１１２の学習処理の変形例のフローチャートを示す。当該変形例は、前述のように、本変形例は、第１属性から第Ｎ属性を予測するための属性予測モデル１１２のみを学習させる処理である。
　Ｓ６１１において、第１学習部１０３１は、第１属性学習データ１２１－１から第（Ｎ－１）属性学習データ１２１－（Ｎ－１）それぞれを用いて、第１属性専用モデル１１１－１から第（Ｎ－１）属性専用モデル１１１－（Ｎ－１）それぞれを学習させる。Ｓ６１１における学習手順は、図５Ａを参照して説明した通りである。第１学習部１０３１は、第１属性専用モデル１１１－１から第（Ｎ－１）属性専用モデル１１１－（Ｎ－１）を学習後、学習済みの第１属性専用モデル１１１－１から第（Ｎ－１）属性専用モデル１１１－（Ｎ－１）を学習モデル記憶部１１０に保存する。
　Ｓ６１２において、第２学習部１０３２は、学習済みの第１属性専用モデル１１１－１から第（Ｎ－１）属性専用モデル１１１－（Ｎ－１）と、第１属性学習データ１２１－１から第（Ｎ－１）属性学習データ１２１－（Ｎ－１）それぞれの一部と、第Ｎ属性学習データ１２１－Ｎとを用いて、属性予測モデル１１２を学習させる。Ｓ６１２における学習手順は、図５Ｄを参照して説明した通りである
　Ｓ６１３において、第２学習部１０３２は、第１属性から第Ｎ属性を予測するための学習モデルとして、学習済みの属性予測モデル１１２を、学習モデル記憶部１１０に保存する。
　（２）商品画像に含まれる商品の属性予測処理
　前述の（１－１）または（１－２）の処理後、情報処理装置１００は、商品画像に含まれる商品の属性を予測する。図７は、情報処理装置１００により実行される属性予測処理のフローチャートを示す。本処理では、学習済みの、第１属性から第Ｎ属性（Ｎは２以上の整数）を予測するための属性予測モデル１１２が使用される。
　Ｓ７１において、画像取得部１０４は、対象商品（属性予測対象の商品）を含む商品画像を取得する。例えば、画像取得部１０４は、情報処理装置１００の操作者が、情報処理装置１００を操作して、任意の電子商取引のサイトにアクセスした上で対象商品を含む商品画像を選択することにより、当該商品画像を取得する。また、画像取得部１０４は、ユーザ装置といった外部装置から送信された商品画像または商品画像を示すＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）を取得することで、商品画像を取得することができる。
　Ｓ７２では、属性予測部１０５は、画像取得部１０４により取得された商品画像を、学習済みの属性予測モデル１１２に入力し、当該商品画像に含まれる対象商品の第１属性から第１属性のＮ個の属性を予測する。具体的には、属性予測部１０５は、当該対象商品のＮ個の属性の種類を抽出するとともに、当該Ｎ個の属性の種類それぞれの特徴を予測する。
　Ｓ７３において、出力部１０６は、属性予測部１０５により予測された属性の情報（属性予測結果）を出力する。具体的には、出力部１０６は、属性予測部１０５により予測された、Ｎ個の属性の種類と、当該Ｎ個の属性の種類それぞれの特徴（特徴値）を出力する。出力部１０６は、属性予測結果を、表示部２６（図２）に表示してもよい。また、商品画像がユーザ装置といった外部装置から取得された場合は、出力部１０６は、通信Ｉ／Ｆ２７（図２）を介して当該外部装置の表示部に表示されるように、当該外部装置へ送信してもよい。
　このように、本実施形態による情報処理装置１００は、商品を含む商品画像から、当該商品の複数の属性を予測するための属性予測モデル１１２を学習させる際に、既に学習させた１つ以上の属性については、当該１つ以上の属性専用に学習させた専用学習モデルを用いて、学習させる。これにより、破滅的忘却を抑制しながら、属性予測モデル１１２に対して新たな属性を学習させることが可能となる。
　なお、本実施形態では、商品画像が１つの商品を含む場合に、当該商品の複数の属性を予測するための、学習モデルの学習手順と、属性の予測手順について説明した。商品画像が複数の商品を含む場合は、情報処理装置１００は、既知の画像認識処理により、当該複数の商品それぞれを含む部分画像に分割し、当該部分画像に対し、本実施形態で述べた手順により、複数の属性を予測するように構成されてもよい。
　なお、上記において特定の実施形態が説明されているが、当該実施形態は単なる例示であり、本発明の範囲を限定する意図はない。本明細書に記載された装置及び方法は上記した以外の形態において具現化することができる。また、本発明の範囲から離れることなく、上記した実施形態に対して適宜、省略、置換及び変更をなすこともできる。かかる省略、置換及び変更をなした形態は、請求の範囲に記載されたもの及びこれらの均等物の範疇に含まれ、本発明の技術的範囲に属する。
　本実施形態の開示は以下の構成を含む。
［１］商品を含む画像から、前記商品のＮ個の属性（Ｎは、２以上の整数）を予測するための属性予測モデルを学習させる学習部を有し、前記学習部は、前記商品の第ｉ属性（ｉは、１からＮ－１の整数）を予測するための第ｉ学習モデルを、前記第ｉ属性に対する第ｉ学習データを用いて学習させる第１学習部と、前記第１学習部により学習済みの前記第ｉ学習モデルと、前記第ｉ学習データの一部と、前記商品の第Ｎ属性に対する第Ｎ学習データとを用いて、前記属性予測モデルを学習させる第２学習部と、を有する、情報処理装置。
［２］前記第１学習部は、前記第ｉ学習データを、前記第ｉ学習モデルに適用することにより得られた、第ｉ属性の推定結果を用いて、前記第ｉ学習モデルを学習させる、［１］に記載の情報処理装置。
［３］前記第１学習部は、前記第ｉ属性の推定結果により得られる評価値を用いて、前記第ｉ学習モデルを学習させる、［２］に記載の情報処理装置。
［４］前記評価値は、交差エントロピーである、［３］に記載の情報処理装置。
［５］前記第２学習部は、前記第ｉ学習データの一部を前記第ｉ学習モデルに適用することにより得られた、第１属性から第（Ｎ－１）属性それぞれの第１の推定結果と、前記第ｉ学習データの一部と前記第Ｎ学習データを前記属性予測モデルに適用することにより得られた、第１属性から第Ｎ属性それぞれの第２予測結果と、を用いて、前記属性予測モデルを学習させる、［１］から［４］のいずれかに記載の情報処理装置。
［６］前記第２学習部は、前記第１属性から前記第（Ｎ－１）属性それぞれの第１推定結果と、前記第１属性から前記第（Ｎ－１）属性それぞれの第２予測結果により得られる、（Ｎ－１）個の第１評価値と、前記第Ｎ属性の第２予測結果により得られる第２評価値と、を用いて、前記属性予測モデルを学習させる、［５］に記載の情報処理装置。
［７］前記（Ｎ－１）個の第１評価値のそれぞれは、ＫＬダイバージェンスであり、前記第２評価値は、交差エントロピーである、［６］に記載の情報処理装置。
［８］前記第２学習部は、前記（Ｎ－１）個の第１評価値それぞれに、重みαを乗算して足し合わせた値と、前記第２評価値に重み（１－α）を乗算した値とに基づく損失関数を用いて、前記属性予測モデルを学習させる、［７］に記載の情報処理装置。
［９］対象商品を含む画像を取得する取得部と、前記取得部により取得された画像を、前記第２学習部により学習済みの前記属性予測モデルに入力して、当該対象商品の第１属性から第Ｎ属性を予測する予測部と、を更に有する、［１］から［８］のいずれかに記載の情報処理装置。
［１０］商品を含む画像から、前記商品のＮ個の属性（Ｎは、２以上の整数）を予測するための属性予測モデルを学習させるための情報処理方法であって、前記商品の第ｉ属性（ｉは、１からＮ－１の整数）を予測するための第ｉ学習モデルを、前記第ｉ属性に対する第ｉ学習データを用いて学習させることと、前記第１学習部により学習済みの前記第ｉ学習モデルと、前記第ｉ学習データの一部と、前記商品の第Ｎ属性に対する第Ｎ学習データとを用いて、前記属性予測モデルを学習させること、を含む、情報処理方法。
［１１］商品を含む画像から、前記商品のＮ個の属性（Ｎは、２以上の整数）を予測するための属性予測モデルを学習させる情報処理プログラムであって、前記商品の第ｉ属性（ｉは、１からＮ－１の整数）を予測するための第ｉ学習モデルを、前記第ｉ属性に対する第ｉ学習データを用いて学習させることと、前記第１学習部により学習済みの前記第ｉ学習モデルと、前記第ｉ学習データの一部と、前記商品の第Ｎ属性に対する第Ｎ学習データとを用いて、前記属性予測モデルを学習させること、をコンピュータに実行させる、情報処理プログラム。
１００：情報処理装置、１０１：学習データ取得部、１０２：学習データ管理部、１０３：学習部、１３０１：第１学習部、１３０２：第２学習部、１０４：画像取得部、１０５：属性予測部、１０６：出力部、１１０：学習モデル記憶部、１１１－１：第１属性専門モデル、１１１－Ｎ：第Ｎ属性専用モデル、１１２：属性予測モデル、１２０：属性データ記憶部、１２１－１：第１属性学習データ、１２１－Ｎ：第Ｎ属性学習データ

Claims (11)

  1. 　商品を含む画像から、前記商品のＮ個の属性（Ｎは、２以上の整数）を予測するための属性予測モデルを学習させる学習部を有し、
    　前記学習部は、
    　　前記商品の第ｉ属性（ｉは、１からＮ－１の整数）を予測するための第ｉ学習モデルを、前記第ｉ属性に対する第ｉ学習データを用いて学習させる第１学習部と、
    　　前記第１学習部により学習済みの前記第ｉ学習モデルと、前記第ｉ学習データの一部と、前記商品の第Ｎ属性に対する第Ｎ学習データとを用いて、前記属性予測モデルを学習させる第２学習部と、
    　を有する、情報処理装置。
  2. 　前記第１学習部は、前記第ｉ学習データを、前記第ｉ学習モデルに適用することにより得られた、第ｉ属性の推定結果を用いて、前記第ｉ学習モデルを学習させる、
    　請求項１に記載の情報処理装置。
  3. 　前記第１学習部は、前記第ｉ属性の推定結果により得られる評価値を用いて、前記第ｉ学習モデルを学習させる、
    　請求項２に記載の情報処理装置。
  4. 　前記評価値は、交差エントロピーである、請求項３に記載の情報処理装置。
  5. 　前記第２学習部は、
    　　前記第ｉ学習データの一部を前記第ｉ学習モデルに適用することにより得られた、第１属性から第（Ｎ－１）属性それぞれの第１の推定結果と、
    　　前記第ｉ学習データの一部と前記第Ｎ学習データを前記属性予測モデルに適用することにより得られた、第１属性から第Ｎ属性それぞれの第２予測結果と、
    　を用いて、前記属性予測モデルを学習させる、
    　請求項１に記載の情報処理装置。
  6. 　前記第２学習部は、前記第１属性から前記第（Ｎ－１）属性それぞれの第１推定結果と、前記第１属性から前記第（Ｎ－１）属性それぞれの第２予測結果により得られる、（Ｎ－１）個の第１評価値と、前記第Ｎ属性の第２予測結果により得られる第２評価値と、を用いて、前記属性予測モデルを学習させる、
    　請求項５に記載の情報処理装置。
  7. 　前記（Ｎ－１）個の第１評価値のそれぞれは、ＫＬダイバージェンスであり、前記第２評価値は、交差エントロピーである、
    　請求項６に記載の情報処理装置。
  8. 　前記第２学習部は、前記（Ｎ－１）個の第１評価値それぞれに、重みαを乗算して足し合わせた値と、前記第２評価値に重み（１－α）を乗算した値とに基づく損失関数を用いて、前記属性予測モデルを学習させる、請求項７に記載の情報処理装置。
  9. 　対象商品を含む画像を取得する取得部と、
    　前記取得部により取得された画像を、前記第２学習部により学習済みの前記属性予測モデルに入力して、当該対象商品の第１属性から第Ｎ属性を予測する予測部と、
    　を更に有する、
    　請求項１から８のいずれか１項に記載の情報処理装置。
  10. 　商品を含む画像から、前記商品のＮ個の属性（Ｎは、２以上の整数）を予測するための属性予測モデルを学習させるための情報処理方法であって、
    　前記商品の第ｉ属性（ｉは、１からＮ－１の整数）を予測するための第ｉ学習モデルを、前記第ｉ属性に対する第ｉ学習データを用いて学習させることと、
    　前記第１学習部により学習済みの前記第ｉ学習モデルと、前記第ｉ学習データの一部と、前記商品の第Ｎ属性に対する第Ｎ学習データとを用いて、前記属性予測モデルを学習させること、
    　を含む、情報処理方法。
  11. 　商品を含む画像から、前記商品のＮ個の属性（Ｎは、２以上の整数）を予測するための属性予測モデルを学習させる情報処理プログラムであって、
    前記商品の第ｉ属性（ｉは、１からＮ－１の整数）を予測するための第ｉ学習モデルを、前記第ｉ属性に対する第ｉ学習データを用いて学習させることと、
    　前記第１学習部により学習済みの前記第ｉ学習モデルと、前記第ｉ学習データの一部と、前記商品の第Ｎ属性に対する第Ｎ学習データとを用いて、前記属性予測モデルを学習させること、
    　をコンピュータに実行させる、情報処理プログラム。
     

     
     
PCT/JP2023/013494 2023-03-31 2023-03-31 情報処理装置、情報処理方法、および情報処理プログラム Ceased WO2024201983A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2023/013494 WO2024201983A1 (ja) 2023-03-31 2023-03-31 情報処理装置、情報処理方法、および情報処理プログラム
JP2024519664A JP7676662B2 (ja) 2023-03-31 2023-03-31 情報処理装置、情報処理方法、および情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/013494 WO2024201983A1 (ja) 2023-03-31 2023-03-31 情報処理装置、情報処理方法、および情報処理プログラム

Publications (1)

Publication Number Publication Date
WO2024201983A1 true WO2024201983A1 (ja) 2024-10-03

Family

ID=92904487

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/013494 Ceased WO2024201983A1 (ja) 2023-03-31 2023-03-31 情報処理装置、情報処理方法、および情報処理プログラム

Country Status (2)

Country Link
JP (1) JP7676662B2 (ja)
WO (1) WO2024201983A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018106284A (ja) * 2016-12-22 2018-07-05 楽天株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8837820B2 (en) * 2012-05-25 2014-09-16 Xerox Corporation Image selection based on photographic style
EP4036931B1 (en) * 2019-09-26 2025-07-23 Lunit Inc. Training method for specializing artificial intelligence model in institution for deployment, and apparatus for training artificial intelligence model
US11989871B2 (en) * 2021-06-02 2024-05-21 Canon Medical Systems Corporation Model training apparatus and method
CN115082963B (zh) * 2022-06-27 2025-02-07 重庆紫光华山智安科技有限公司 人体属性识别模型训练及人体属性识别方法、相关装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018106284A (ja) * 2016-12-22 2018-07-05 楽天株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LI ZHIZHONG; HOIEM DEREK: "Learning without Forgetting", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE COMPUTER SOCIETY., USA, vol. 40, no. 12, 1 December 2018 (2018-12-01), USA , pages 2935 - 2947, XP011698759, ISSN: 0162-8828, DOI: 10.1109/TPAMI.2017.2773081 *

Also Published As

Publication number Publication date
JP7676662B2 (ja) 2025-05-14
JPWO2024201983A1 (ja) 2024-10-03

Similar Documents

Publication Publication Date Title
US11803872B2 (en) Creating meta-descriptors of marketing messages to facilitate in delivery performance analysis, delivery performance prediction and offer selection
WO2019191810A1 (en) Methods and systems for resolving user interface features, and related applications
US12061650B2 (en) Systems, methods, computing platforms, and storage media for comparing non-adjacent data subsets
US12217459B2 (en) Multimodal color variations using learned color distributions
US12417244B2 (en) Determining user affinities for content generation applications
Samreen et al. Transferable knowledge for low-cost decision making in cloud environments
US20240119275A1 (en) Contrastive learning by dynamically selecting dropout ratios and locations based on reinforcement learning
JP7676662B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
WO2023062668A1 (ja) 情報処理装置、情報処理方法、情報処理システム、およびプログラム
Bi et al. Effects of symmetry and number of compositional elements on chinese users' aesthetic ratings of interfaces: Experimental and modeling investigations
JP7445782B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US12462546B2 (en) Information processing apparatus, information processing method, non-transitory computer readable medium, and learning model
CN115774814B (zh) 信息推荐方法、装置、存储介质及计算机设备
Singh Using CloudWatch with SageMaker
KR20240025158A (ko) 고객 맞춤형 의류를 추천하는 전자 장치의 제어 방법
KR102568001B1 (ko) O2o 기반 사용자 맞춤형 온라인 수선 플랫폼 서비스 제공 방법, 장치 및 시스템
WO2024201980A1 (ja) 検索システム、検索方法、および情報処理装置
JP7557496B2 (ja) 情報処理装置、情報処理方法、およびプログラム
Majid et al. Innovation in Marketing: The Emergence of New Technologies Shaping Future Marketing Concepts and Perspectives
US12395558B2 (en) Virtualizing internet-of-things devices in virtual environments
US11461629B1 (en) Neural network model visualization
Scheidthauer et al. Visualizing Customer Journeys: How to Illustrate the Entire Customer Interaction Universe of a Commercial Website in Real Time
US20230334830A1 (en) Emotional resonance scoring of a visual stimulus
Filho et al. Hybrid Multilevel Explanation: A New Approach for Explaining Regression Models
Xu et al. PCSR: Privacy Computing Strategy Recommendation Model Based on Deep Learning

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2024519664

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23930618

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23930618

Country of ref document: EP

Kind code of ref document: A1