WO2020261531A1 - 情報処理装置、メーキャップシミュレーションの学習済モデルの生成方法、メーキャップシミュレーションの実行方法、及び、プログラム - Google Patents

情報処理装置、メーキャップシミュレーションの学習済モデルの生成方法、メーキャップシミュレーションの実行方法、及び、プログラム Download PDF

Info

Publication number
WO2020261531A1
WO2020261531A1 PCT/JP2019/025808 JP2019025808W WO2020261531A1 WO 2020261531 A1 WO2020261531 A1 WO 2020261531A1 JP 2019025808 W JP2019025808 W JP 2019025808W WO 2020261531 A1 WO2020261531 A1 WO 2020261531A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
simulation
makeup
feature amount
face feature
Prior art date
Application number
PCT/JP2019/025808
Other languages
English (en)
French (fr)
Inventor
誠也 越野
啓司 柳井
京祐 五味
Original Assignee
株式会社 資生堂
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 資生堂 filed Critical 株式会社 資生堂
Priority to PCT/JP2019/025808 priority Critical patent/WO2020261531A1/ja
Priority to JP2021528823A priority patent/JPWO2020261531A1/ja
Publication of WO2020261531A1 publication Critical patent/WO2020261531A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing

Definitions

  • the present invention relates to an information processing device, a method of generating a trained model of a makeup simulation, a method of executing a makeup simulation, and a program.
  • Japanese Patent Application Laid-Open No. 2016-055203 discloses a technique for generating a make-up simulation image of a simulation target person by referring to a real face image of the simulation target person and a makeup face image of another person.
  • An object of the present invention is to improve the quality of a makeup simulation image regardless of the morphology of the face of the person to be simulated.
  • One aspect of the present invention is An information processing device that generates a trained model of makeup simulation.
  • a means for extracting a reference real face feature amount relating to the real face feature of the subject from the reference real face image of the subject is provided.
  • a means for extracting a reference cosmetic face feature amount relating to the cosmetic face feature of the subject from the reference cosmetic face image of the subject is provided.
  • a means for generating a trained model of the makeup simulation by using a combination of a reference real face feature amount and a reference makeup face feature amount of a plurality of subjects is provided. It is an information processing device.
  • the quality of the makeup simulation image can be improved regardless of the morphology of the face of the person to be simulated.
  • FIG. 7 It is a block diagram which shows the structure of the information processing system of this embodiment. It is a functional block diagram of the information processing system of FIG. It is explanatory drawing of the outline of this embodiment. It is a figure which shows the data structure of the learning data set of this embodiment. It is a flowchart of the process of generating the trained model of this embodiment. It is explanatory drawing of the network used in the process of FIG. It is a sequence diagram of the process of the make-up simulation of this embodiment. It is a detailed flowchart of the generation of the image of FIG. It is a figure which shows the screen example displayed in the information processing of FIG. 7. It is a figure which shows the screen example which is displayed in the process of the make-up simulation of the modification 1.
  • FIG. 1 is a block diagram showing a configuration of an information processing system of the present embodiment.
  • FIG. 2 is a functional block diagram of the information processing system of FIG.
  • the information processing system 1 includes a client device 10 and a server 30.
  • the client device 10 and the server 30 are connected via a network (for example, the Internet or an intranet) NW.
  • NW a network
  • the client device 10 is an example of an information processing device that transmits a request to the server 30.
  • the client device 10 is, for example, a smartphone, a tablet terminal, or a personal computer.
  • the server 30 is an example of an information processing device that provides the client device 10 with a response in response to a request transmitted from the client device 10.
  • the server 30 is, for example, a web server.
  • the client device 10 includes a storage device 11, a processor 12, an input / output interface 13, and a communication interface 14.
  • the storage device 11 is configured to store programs and data.
  • the storage device 11 is, for example, a combination of a ROM (Read Only Memory), a RAM (Random Access Memory), and a storage (for example, a flash memory or a hard disk).
  • the program includes, for example, the following program. ⁇ OS (Operating System) program ⁇ Application (for example, web browser) program that executes information processing
  • the data includes, for example, the following data.
  • -Database referenced in information processing-Data obtained by executing information processing that is, the execution result of information processing
  • the processor 12 is configured to realize the function of the client device 10 by activating the program stored in the storage device 11.
  • the processor 12 is an example of a computer.
  • the input / output interface 13 is configured to acquire a user's instruction from an input device connected to the client device 10 and output information to an output device connected to the client device 10.
  • the input device is, for example, a keyboard, a pointing device, a touch panel, or a combination thereof.
  • the output device is, for example, a display.
  • the communication interface 14 is configured to control communication between the client device 10 and the server 30.
  • the server 30 includes a storage device 31, a processor 32, an input / output interface 33, and a communication interface 34.
  • the storage device 31 is configured to store programs and data.
  • the storage device 31 is, for example, a combination of a ROM, a RAM, and a storage (for example, a flash memory or a hard disk).
  • the program includes, for example, the following program. ⁇ OS program ⁇ Application program that executes information processing
  • the data includes, for example, the following data. ⁇ Database referenced in information processing ⁇ Execution result of information processing
  • the processor 32 is configured to realize the function of the server 30 by activating the program stored in the storage device 31.
  • the processor 32 is an example of a computer.
  • the input / output interface 33 is configured to acquire a user's instruction from an input device connected to the server 30 and output information to an output device connected to the server 30.
  • the input device is, for example, a keyboard, a pointing device, a touch panel, or a combination thereof.
  • the output device is, for example, a display.
  • the communication interface 34 is configured to control communication between the server 30 and the client device 10.
  • FIG. 3 is an explanatory diagram of an outline of the present embodiment.
  • an information processing device that generates a trained model of the makeup simulation of the present embodiment, and a reference image of the subject's real face (hereinafter referred to as “reference real face image”). From, the reference real face feature amount related to the real face feature of the subject is extracted.
  • the trained model generator extracts a reference cosmetic face feature amount relating to the feature of the subject's makeup face from the reference image of the subject's makeup face (hereinafter referred to as “reference makeup face image”).
  • the trained model generator generates a trained model of makeup simulation by using a combination of a reference real face feature amount and a reference makeup face feature amount of a plurality of subjects.
  • the feature amount of the real face and the feature amount of the makeup face are separated.
  • a trained model capable of realizing high-quality makeup simulation can be obtained regardless of the face morphology of the simulation target person.
  • the information processing device (hereinafter referred to as "makeup simulation image generator") that executes the make-up simulation of the present embodiment acquires an image of the real face of the person to be simulated in the make-up simulation (hereinafter referred to as "target real face image”).
  • the makeup simulation image generator extracts the target real face feature amount related to the real face feature of the simulation target person from the target real face image.
  • the make-up simulation image generation device generates a make-up simulation image by inputting the target real face feature amount into the trained model defined by the correlation function of the cosmetic component among the real face feature amount and the makeup face feature amount.
  • the make-up simulation image generator presents the generated make-up simulation image.
  • FIG. 4 is a diagram showing a data structure of the learning data set of the present embodiment.
  • the learning data set of FIG. 4 stores the learning data set.
  • the training data set includes a "subject ID” field, a “reference image” field, and a “feature amount” field. Each field is associated with each other.
  • Subject identification information that identifies the subject is stored.
  • the reference image referenced in the makeup simulation is stored in the "reference image” field.
  • the "reference image” field includes a plurality of subfields ("real face image” field and "makeup face image” field).
  • the real face image of the subject (hereinafter referred to as “reference real face image”) is stored in the "real face image” field.
  • the “feature amount” field the feature amount of the image of the subject's face is stored.
  • the “feature amount” field includes a plurality of subfields ("real face feature amount” field, "cosmetic facial feature amount” field, and "cosmetic ingredient” field).
  • the feature amount of the reference real face image (hereinafter referred to as “reference real face feature amount”) is stored.
  • the feature amount of the reference real face image represents the feature regarding the morphology of each part of the face of the subject.
  • the morphology of each part is size, positional relationship, and color.
  • the form includes, for example, at least one of the following. ⁇ Eye size and spacing ⁇ Eyebrow size, angle, thickness, width, and spacing ⁇ Lip thickness and color ⁇ Skin color
  • the feature amount of the reference makeup face image (hereinafter referred to as “reference makeup face feature amount”) is stored for each part of the face of the subject.
  • the reference cosmetic facial feature amount includes a morphological component depending on the morphology and a cosmetic component depending on the makeup for each part of the cosmetic face.
  • Cosmetic ingredients include, for example: ⁇ Makeup color ⁇ Makeup area ⁇ Makeup position
  • the cosmetic ingredient of the reference cosmetic facial feature amount is stored for each part of the subject's face.
  • FIG. 5 is a flowchart of the process of generating the trained model of the present embodiment.
  • FIG. 6 is an explanatory diagram of the network used in the process of FIG.
  • the server 30 executes the extraction of the reference real face feature amount (S130).
  • the storage device 31 stores the real face images and makeup face images of each of the plurality of subjects.
  • the processor 32 extracts the reference real face feature amount relating to the morphology of each part of the real face image of the subject by executing the feature amount analysis on the real face image of each subject stored in the storage device 31.
  • the server 30 executes the extraction of the reference makeup facial feature amount (S131). Specifically, the processor 32 performs feature quantity analysis on the makeup face image of the subject corresponding to the real face image referred to in step S130 among the makeup face images stored in the storage device 31.
  • the reference cosmetic face feature amount for each part of the makeup face image of the subject is extracted.
  • the absolute value of the reference makeup facial feature amount represents the strength of makeup. That is, the smaller the absolute value of the reference cosmetic facial feature amount, the lighter the makeup is applied, and the larger the absolute value, the thicker the makeup is applied.
  • the server 30 executes the update of the learning data set (S132). Specifically, the processor 32 adds a new record to the training data set (FIG. 4). The following information is stored in each record. -New subject identification information is stored in the "subject ID” field. -The real face image referenced in step S130 is stored in the "real face image” field. -The makeup face image referenced in step S131 is stored in the "makeup face image” field. -The "real face feature amount” field stores the real face feature amount for each part extracted in step S130. -The "makeup facial feature amount” field stores the cosmetic facial feature amount for each part extracted in step S131.
  • the server 30 executes the extraction of cosmetic ingredients (S133).
  • the processor 32 has information (reference real face) in the "makeup face image" field (reference makeup face feature amount) and the "real face feature amount” field of each record of the learning data set (FIG. 4) for each part.
  • the feature difference ⁇ F from the feature amount) is calculated (Equation 1 to 2).
  • the morphological component is removed from the reference cosmetic facial feature amount of each part. That is, the feature difference ⁇ F of each part is substantially equal to the cosmetic component of the reference cosmetic facial feature amount of each part.
  • ⁇ F FM-FO ... (Equation 1)
  • FM FMa + FMb ...
  • Equation 2 Reference cosmetic facial feature amount of each part
  • ⁇ FMa Morphological component of reference cosmetic facial feature amount of each part
  • ⁇ FMb Cosmetic component of reference cosmetic facial feature amount of each part
  • ⁇ FO Reference real facial feature amount of each part
  • the processor 32 calculates the feature difference ⁇ F1 between the information in the “part 1” field of the “cosmetic face image” field and the information in the “part 1” field of the “real face feature amount” field. As a result, the cosmetic component of the reference cosmetic face of the site 1 (for example, the mouth) is obtained.
  • the processor 32 calculates the feature difference ⁇ F2 between the information in the “part 2” field of the “cosmetic face image” field and the information in the “part 2” field of the “real face feature amount” field. As a result, the cosmetic component of the reference cosmetic face of the part 2 (for example, the eye area) can be obtained.
  • the server 30 executes the generation of the trained model (S134).
  • the processor 32 uses the Paired Cycle GAN to display information in the "reference real face feature amount” field (reference real face feature amount) and the “reference makeup face feature amount” field of the learning data set (FIG. 4).
  • the information (reference cosmetic facial feature amount) and the information in the "cosmetic component” field (cosmetic component of the reference cosmetic facial feature amount) are stored in the storage device 31 as a learned model.
  • This trained model is configured to output cosmetic components according to a combination of facial features and cosmetic facial features.
  • the server 30 applies machine learning to the trained model stored in the storage device 31 by executing steps S130 to S134 on the real face image and the makeup face image associated with the plurality of subject identification information.
  • the network of FIG. 6 is used.
  • the reference real face feature amount of the entire face is input to the extraction unit E1.
  • the extraction unit E1 generates a mask image (hereinafter referred to as “real face mask image”) from the reference real face feature amount of the entire face.
  • the reference cosmetic facial feature amount of each part is input to any of the extraction units E2 to E5.
  • the reference makeup facial feature amount of the eyebrows is input to the extraction unit E2.
  • the reference makeup facial feature amount of the eye is input to the extraction unit E3.
  • the reference cosmetic feature amount of the mouth is input to the extraction unit E4.
  • the reference cosmetic facial feature amount of the skin is input to the extraction unit E5.
  • Each extraction unit E2 to E5 generates a mask image (hereinafter referred to as "reference cosmetic face mask image”) from the reference cosmetic face feature amount of each part.
  • the generator G generates a makeup simulation image (hereinafter referred to as “model image”) by synthesizing the reference real face mask image of the entire face and the reference makeup face mask image of each part.
  • model image a makeup simulation image
  • FIG. 7 is a sequence diagram of the makeup simulation process of the present embodiment.
  • FIG. 8 is a detailed flowchart of the image generation of FIG. 7.
  • FIG. 9 is a diagram showing an example of a screen displayed in the information processing of FIG. 7.
  • the client device 10 executes the generation request (S210). Specifically, the processor 12 displays the screen P20 (FIG. 9) on the display.
  • the screen P20 includes an operation object B20 and a field object F20.
  • the field object F20 is an object that accepts input of a user's real face image (hereinafter referred to as "target real face image").
  • the operation object B20 is an object that receives a user instruction for transmitting the generation request data to the server 30.
  • the processor 12 transmits the generation request data to the server 30.
  • the generation request data includes the following information. -Target real face image input to the field object F20
  • step S210 the server 30 executes image generation (S230). Specifically, the processor 32 generates an image according to the flow of FIG.
  • the server 30 executes the extraction of the target real face feature amount (S2300). Specifically, the processor 32 performs a feature amount analysis on the target real face image included in the generation request data to obtain a feature amount for each part of the target real face image (hereinafter referred to as "target real face feature amount"). Extract.
  • the server 30 executes make-up simulation image generation (S2301). Specifically, the processor 32 inputs the target real face feature amount extracted in step S2300 into the trained model stored in the storage device 31 for each part, so as to correspond to the target real face feature amount of each part. Calculate cosmetic ingredients. The processor 32 generates a make-up image according to the calculated cosmetic component of each part. The processor 32 generates a make-up simulation image by synthesizing the target real face image included in the generation request data and the generated make-up image.
  • the server 30 executes the generation response (S231). Specifically, the processor 32 transmits the generated response data to the client device 10.
  • the generated response data includes the makeup simulation image generated in step S230.
  • step S231 the client device 10 executes screen display (S212). Specifically, the processor 12 displays the screen P21 (FIG. 9) on the display.
  • the screen P21 includes the image object IMG21.
  • the image object IMG21 is an object of the makeup simulation image included in the generated response data.
  • a trained model is generated by removing morphological components from the reference makeup face image of the subject.
  • a trained model that reflects the cosmetic components of the reference cosmetic facial image of the subject can be obtained.
  • the user's makeup simulation image is generated using the trained model generated in this way.
  • the quality of the makeup simulation image can be improved regardless of the morphology of the face of the simulation target person.
  • the feature difference ⁇ F is calculated for each facial part. Therefore, the accuracy of the obtained feature amount can be improved.
  • Modification 1 is an example of generating a make-up simulation image of a part of the face.
  • FIG. 10 is a diagram showing an example of a screen displayed in the process of the make-up simulation of the first modification.
  • step S210 the processor 12 displays the screen P30 (FIG. 10) on the display.
  • the screen P30 includes the operation object B20 and the field objects F20 and F30.
  • the field object F30 is an object that receives a user instruction for designating a part to be simulated (hereinafter referred to as “target part”).
  • the processor 12 transmits the generation request data to the server 30.
  • the generation request data includes the following information. -Target real face image input to the field object F20-Target part input to the field object F30
  • step S2301 the processor 32 inputs the target real face feature amount of the target part among the target real face features extracted in step S2300 into the trained model stored in the storage device 31, so that the target part Calculate the cosmetic ingredients according to the target real facial features.
  • a makeup simulation image is generated for each part. Thereby, it is possible to provide an image in which only the desired portion is replaced with the makeup simulation image.
  • Modification 2 is an example in which a tag is included in the training data set.
  • FIG. 11 is an explanatory diagram of an outline of the modified example 2.
  • the trained model generator of the second modification extracts the reference real face feature amount related to the real face feature of the subject from the reference real face image.
  • the trained model generator extracts the reference cosmetic face feature amount relating to the cosmetic face feature of the subject from the reference makeup face image.
  • the reference makeup face image is associated with a tag indicating an index for the reference makeup image.
  • the trained model generation device generates a trained model of makeup simulation by using a reference real face feature amount and a reference cosmetic face feature amount of a plurality of subjects, and a combination of tags.
  • the make-up simulation image generation device of the change example 2 acquires the target real face image of the simulation target person.
  • the makeup simulation image generator extracts the target real face feature amount from the target real face image.
  • the make-up simulation image generator accepts the user's specification regarding the tag as a simulation condition of the make-up simulation.
  • the makeup simulation image generator performs makeup simulation by inputting user instructions regarding the target real face feature amount and the tag into the trained model defined by the correlation function of the cosmetic component among the real face feature amount and the makeup face feature amount. Generate an image.
  • the make-up simulation image generator presents the generated make-up simulation image.
  • FIG. 12 is a diagram showing a data structure of the learning data set of the second modification.
  • the learning data set of FIG. 12 stores the learning data set.
  • the training data set includes a "subject ID” field, a “reference image” field, a “feature amount” field, and a “tag” field. Each field is associated with each other.
  • the "subject ID” field, the "reference image” field, and the “feature amount” field are the same as in FIG.
  • Indicators include, for example: -Impression index for impression of reference cosmetic face image (eg, cuteness and transparency) -Preference index for preference for reference cosmetic face image (eg, likes and dislikes) -Physical characteristics for reference cosmetic face image (eg, water content and sebum) Physical property index for quantity) ⁇ Texture index for texture (eg, matte and wet) for reference cosmetic face image ⁇ Racial index for race for reference cosmetic face image
  • FIG. 13 is a flowchart of the process of generating the trained model of the modified example 2.
  • the server 30 executes the tag setting (S330). Specifically, when the observer observing the reference makeup face image specifies an impression index, a preference index, a texture index, a physical characteristic index, and a race index for the reference makeup face image, the processor 32 is determined by the observer. The specified impression index, preference index, texture index, physical characteristic index, and racial index are stored in the "tag" field of the new record.
  • the server 30 executes the generation of the trained model (S331). Specifically, the processor 32 calculates the feature vector Vf (TAG) of the feature difference ⁇ F of each part for each information (tag) in the “tag” field. The processor 32 stores this feature vector Vf (TAG) in the storage device 31 as a trained model for each tag.
  • FIG. 14 is a sequence diagram of the makeup simulation process of the second modification.
  • FIG. 15 is a diagram showing an example of a screen displayed in the information processing of FIG.
  • FIG. 16 is a diagram showing an example of a screen displayed in the information processing of FIG.
  • the client device 10 executes the generation request (S410). Specifically, the processor 12 displays the screen P40 (FIG. 15) on the display.
  • the screen P40 includes the operation object B20 and the field objects F20 and F40.
  • the field object F40 is an object that accepts the input of the user's desired tag.
  • the processor 12 transmits the generation request data to the server 30. Send to.
  • the generation request data includes the following information. -Target real face image input to the field object F20-Tag input to the field object F40
  • step S410 the server 30 executes image generation (S230). Specifically, the processor 32 generates an image according to the flow of FIG.
  • step S2301 the processor 32 inputs the target real face feature amount extracted in step S2300 and the tag included in the generation request data into the trained model stored in the storage device 31 for each part. Calculate the cosmetic ingredients according to the target real facial features. The processor 32 generates a make-up image according to the calculated cosmetic ingredient.
  • step S230 the server 30 executes the generation response (S231) in the same manner as in FIG. 7.
  • step S231 the client device 10 executes screen display (S411). Specifically, the processor 12 displays the screen P41 (FIG. 15) on the display.
  • the screen P41 includes an image object IMG21, an operation object B41, and a field object F41.
  • the field object F41 is an object that accepts input of a user instruction (hereinafter referred to as “correction instruction”) regarding an adjustment amount for each index.
  • the correction instruction includes a combination of an index and a correction amount.
  • the operation object B41 is an object that receives a user instruction for transmitting correction request data to the server 30.
  • the client device 10 executes a correction request (S412). Specifically, when the user inputs a correction instruction to the field object F41 and operates the operation object B41, the processor 12 transmits the correction request data to the server 30.
  • the correction request data includes the following information. -Correction instruction input to the field object F41 (that is, correction amount for each index)
  • the server 30 executes image correction (S430). Specifically, the processor 32 generates a correction simulation image by inputting the target real face image included in the generation request data and the correction instruction included in the correction request data into the trained model.
  • the server 30 executes the correction response (S431). Specifically, the processor 32 transmits the correction response data to the client device 10.
  • the correction response data includes the correction simulation image generated in step S232.
  • step S431 the client device 10 executes screen display (S413). Specifically, the processor 12 displays the screen P42 (FIG. 15) on the display.
  • the screen P42 includes the image object IMG42.
  • the image object IMG42 is an object of the correction simulation image included in the correction response data.
  • a make-up simulation image is generated with reference to a user's desired index. Therefore, it is possible to provide a make-up simulation image according to a user's desired index.
  • the makeup simulation image is corrected with reference to the correction amount for each index desired by the user. This makes it possible to provide a make-up simulation image according to the correction amount for each index desired by the user.
  • the first aspect of this embodiment is An information processing device that generates a trained model of makeup simulation.
  • a means for example, a processor 32 for executing step S130) for extracting a reference real face feature amount relating to the real face feature of the subject from the reference real face image of the subject is provided.
  • a means for example, a processor 32 for executing step S131) for extracting a reference cosmetic face feature amount relating to a subject's cosmetic face feature from the reference cosmetic face image of the subject is provided.
  • a means (for example, a processor 32 for executing step S134) for generating a trained model of a makeup simulation by using a combination of a reference real face feature amount and a reference makeup face feature amount of a plurality of subjects is provided. It is an information processing device.
  • a trained model of makeup simulation is generated using a combination of a reference real face feature amount and a reference makeup face feature amount.
  • the second aspect of this embodiment is The means for extracting the reference real facial features is to extract the features related to the morphology of each part of the subject's face. It is an information processing device.
  • the reference real face feature amount is extracted for each part. As a result, the accuracy of the extracted reference real face features can be improved.
  • the third aspect of this embodiment is The means for extracting the reference cosmetic facial features and the means for extracting the target cosmetic facial features are such that the features for each part of the subject's face are extracted. It is an information processing device.
  • the reference cosmetic facial feature amount is extracted for each part. Thereby, the accuracy of the extracted reference makeup facial feature amount can be improved.
  • the fourth aspect of this embodiment is
  • the reference makeup image is associated with a tag indicating an index for the reference makeup image.
  • the means for generating the trained model is to generate the trained model by using the reference real facial features and the reference cosmetic facial features of a plurality of subjects, and the combination of tags. It is an information processing device.
  • the trained model is generated by referring to the tag. Therefore, it is possible to provide a make-up simulation image according to a user's desired index.
  • a fifth aspect of this embodiment is The tag contains an impression index regarding the impression of the reference makeup image, It is an information processing device.
  • the trained model is generated by referring to the tag including the impression index. This makes it possible to provide a make-up simulation image according to the user's desired impression index.
  • the sixth aspect of this embodiment is Tags include preference indicators for preference of reference makeup images, It is an information processing device.
  • the trained model is generated by referring to the tag including the preference index. This makes it possible to provide a make-up simulation image according to the user's desired preference index.
  • the seventh aspect of this embodiment is The tag contains a physical characteristic index relating to the physical characteristics of the subject's skin corresponding to the reference makeup image, It is an information processing device.
  • the trained model is generated by referring to the tag including the physical characteristic index. This makes it possible to provide a make-up simulation image according to the user's desired physical characteristic index.
  • the eighth aspect of this embodiment is The tag contains a texture index for the subject's skin texture corresponding to the reference makeup image, It is an information processing device.
  • the trained model is generated by referring to the tag including the texture index. This makes it possible to provide a make-up simulation image according to the desired texture index of the user.
  • a ninth aspect of this embodiment is Tags include racial indicators of the subject's race, It is an information processing device.
  • the trained model is generated by referring to the tag including the race index. This makes it possible to provide a make-up simulation image according to the user's desired race index.
  • the tenth aspect of this embodiment is An information processing device that executes makeup simulation
  • a means for acquiring a target real face image of a person to be simulated in a makeup simulation (for example, a processor 32 that executes step S230) is provided.
  • a means for extracting the target real face feature amount related to the real face feature of the simulation target person from the target real face image (for example, the processor 32 that executes step S2300) is provided.
  • a means for generating a makeup simulation image (for example, step S2301) is executed by inputting the target real face feature amount into the trained model defined by the correlation function of the makeup component among the real face feature amount and the makeup face feature amount. Equipped with a processor 32)
  • a means for presenting the generated make-up simulation image (eg, a processor 32 performing step S231). It is an information processing device.
  • a makeup simulation image is generated by inputting the feature amount of the target real face image into the trained model. As a result, it is possible to provide a high-quality makeup simulation image regardless of the facial shape of the person to be simulated.
  • the eleventh aspect of this embodiment is as a simulation condition of the makeup simulation, a means for accepting a user's designation regarding the tag (for example, a processor 32 that executes step S230) is provided.
  • the means for generating the make-up simulation image is a means for generating the make-up simulation image by inputting the tag specified by the user and the target real face feature amount into the trained model (for example, the processor 32 that executes step S2301). ) It is an information processing device.
  • a makeup simulation image can be generated by inputting a tag specified by the user into the trained model.
  • the twelfth aspect of this embodiment is As a simulation condition, a means for receiving a user instruction regarding a correction amount of an index corresponding to a tag (for example, a processor 32 that executes step S430) is provided. A means for correcting a makeup simulation image (for example, a processor 32 for executing step S430) is provided with reference to a correction amount corresponding to a user instruction. It is an information processing device.
  • the makeup simulation image is corrected with reference to the correction amount of the index corresponding to the tag. This makes it possible to provide a make-up simulation image according to the correction amount of the desired index.
  • the thirteenth aspect of this embodiment is How to generate a trained model for makeup simulation
  • the computer A step (for example, step S130) for extracting a reference real face feature amount relating to the real face feature of the subject from the reference real face image of the subject is provided.
  • a step (for example, step S131) of extracting a reference cosmetic face feature amount relating to the feature of the subject's cosmetic face from the reference cosmetic face image of the subject is provided.
  • a step (for example, step S134) of generating a trained model for reference in a makeup simulation by using a combination of a reference real face feature amount and a reference cosmetic face feature amount of a plurality of subjects is provided. The method.
  • the fourteenth aspect of this embodiment is How to execute make-up simulation
  • the computer A step (for example, step S230) of acquiring a target real face image of a simulation target person of a makeup simulation is provided.
  • a step (for example, step S2300) for extracting the target real face feature amount related to the real face feature of the simulation target person from the target real face image is provided.
  • a step (for example, step S2301) is provided in which a makeup simulation image is generated by inputting the target real face feature amount into the trained model defined by the correlation function of the makeup component among the real face feature amount and the makeup face feature amount. , With steps to present the generated makeup simulation image, The method.
  • the fifteenth aspect of this embodiment is It is a program for making a computer function as each means described in any of the above.
  • the storage device 11 may be connected to the client device 10 via the network NW.
  • the storage device 31 may be connected to the server 30 via the network NW.
  • Each step of the above information processing can be executed by either the client device 10 or the server 30.
  • the client device 10 when the client device 10 is capable of executing all the steps of the above information processing, the client device 10 functions as an information processing device that operates standalone without sending a request to the server 30.
  • Information processing system 10 Client device 11: Storage device 12: Processor 13: Input / output interface 14: Communication interface 30: Server 31: Storage device 32: Processor 33: Input / output interface 34: Communication interface

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

メーキャップシミュレーションの学習済モデルを生成する情報処理装置は、被験者の参照素顔画像から、被験者の素顔の特徴に関する参照素顔特徴量を抽出する手段を備え、被験者の参照化粧顔画像から、被験者の化粧顔の特徴に関する参照化粧顔特徴量を抽出する手段を備え、複数の被験者の参照素顔特徴量及び参照化粧顔特徴量の組合せを用いて、メーキャップシミュレーションの学習済モデルを生成する手段を備える。

Description

情報処理装置、メーキャップシミュレーションの学習済モデルの生成方法、メーキャップシミュレーションの実行方法、及び、プログラム
　本発明は、情報処理装置、メーキャップシミュレーションの学習済モデルの生成方法、メーキャップシミュレーションの実行方法、及びプログラムに関する。
　メーキャップ商品の販売促進には、メーキャップのシミュレーションによってメーキャップシミュレーション画像を消費者に提示することが有効である。メーキャップシミュレーション画像を観察した消費者は、所望のメーキャップシミュレーション画像と同一のメーキャップを実現するためにメーキャップ商品の購買意欲が促進される。
　近年、メーキャップシミュレーション技術の改良が続けられている。例えば、特開２０１６－０５５２０３号公報には、シミュレーション対象者の素顔画像及び他者の化粧顔画像を参照して、シミュレーション対象者のメーキャップシミュレーション画像を生成する技術が開示されている。
　しかし、メーキャップの印象は、顔の各部位の形態（例えば、サイズ、位置関係、及び、色）によって異なる。
　特開２０１６－０５５２０３号公報では、シミュレーション対象者の顔の形態と他者の顔の形態が異なる場合、違和感のあるメーキャップシミュレーション画像が生成される。
　全ての人の顔の形態と同一又は類似の顔の形態を有する他者の化粧顔の画像を予め用意することとは不可能である。したがって、従来のメーキャップシミュレーションにおけるメーキャップシミュレーション画像の品質は、シミュレーション対象者の顔の形態に依存している。
　本発明の目的は、シミュレーション対象者の顔の形態にかかわらず、メーキャップシミュレーション画像の品質を向上させることである。
　本発明の一態様は、
　メーキャップシミュレーションの学習済モデルを生成する情報処理装置であって、
　被験者の参照素顔画像から、前記被験者の素顔の特徴に関する参照素顔特徴量を抽出する手段を備え、
　前記被験者の参照化粧顔画像から、前記被験者の化粧顔の特徴に関する参照化粧顔特徴量を抽出する手段を備え、
　複数の被験者の参照素顔特徴量及び参照化粧顔特徴量の組合せを用いて、前記メーキャップシミュレーションの学習済モデルを生成する手段を備える、
情報処理装置である。
　本発明によれば、シミュレーション対象者の顔の形態にかかわらず、メーキャップシミュレーション画像の品質を向上させることができる。
本実施形態の情報処理システムの構成を示すブロック図である。 図１の情報処理システムの機能ブロック図である。 本実施形態の概要の説明図である。 本実施形態の学習用データセットのデータ構造を示す図である。 本実施形態の学習済モデルの生成の処理のフローチャートである。 図５の処理において用いられるネットワークの説明図である。 本実施形態のメーキャップシミュレーションの処理のシーケンス図である。 図７の画像の生成の詳細なフローチャートである。 図７の情報処理において表示される画面例を示す図である。 変形例１のメーキャップシミュレーションの処理において表示される画面例を示す図である。 変形例２の概要の説明図である。 変形例２の学習用データセットのデータ構造を示す図である。 変形例２の学習済モデル生成の処理のフローチャートである。 変形例２のメーキャップシミュレーションの処理のシーケンス図である。 図１４の情報処理において表示される画面例を示す図である。 図１４の情報処理において表示される画面例を示す図である。
　以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。
（１）情報処理システムの構成
　情報処理システムの構成を説明する。図１は、本実施形態の情報処理システムの構成を示すブロック図である。図２は、図１の情報処理システムの機能ブロック図である。
　図１に示すように、情報処理システム１は、クライアント装置１０と、サーバ３０とを備える。
　クライアント装置１０及びサーバ３０は、ネットワーク（例えば、インターネット又はイントラネット）ＮＷを介して接続される。
　クライアント装置１０は、サーバ３０にリクエストを送信する情報処理装置の一例である。クライアント装置１０は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。
　サーバ３０は、クライアント装置１０から送信されたリクエストに応じたレスポンスをクライアント装置１０に提供する情報処理装置の一例である。サーバ３０は、例えば、ウェブサーバである。
（１－１）クライアント装置の構成
　クライアント装置１０の構成を説明する。
　図２に示すように、クライアント装置１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４とを備える。
　記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。
　プログラムは、例えば、以下のプログラムを含む。
　・ＯＳ（Operating System）のプログラム
　・情報処理を実行するアプリケーション（例えば、ウェブブラウザ）のプログラム
　データは、例えば、以下のデータを含む。
　・情報処理において参照されるデータベース
　・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）
　プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、クライアント装置１０の機能を実現するように構成される。プロセッサ１２は、コンピュータの一例である。
　入出力インタフェース１３は、クライアント装置１０に接続される入力デバイスからユーザの指示を取得し、かつ、クライアント装置１０に接続される出力デバイスに情報を出力するように構成される。
　入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
　出力デバイスは、例えば、ディスプレイである。
　通信インタフェース１４は、クライアント装置１０とサーバ３０との間の通信を制御するように構成される。
（１－２）サーバの構成
　サーバ３０の構成を説明する。
　図２に示すように、サーバ３０は、記憶装置３１と、プロセッサ３２と、入出力インタフェース３３と、通信インタフェース３４とを備える。
　記憶装置３１は、プログラム及びデータを記憶するように構成される。記憶装置３１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。
　プログラムは、例えば、以下のプログラムを含む。
　・ＯＳのプログラム
　・情報処理を実行するアプリケーションのプログラム
　データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果
　プロセッサ３２は、記憶装置３１に記憶されたプログラムを起動することによって、サーバ３０の機能を実現するように構成される。プロセッサ３２は、コンピュータの一例である。
　入出力インタフェース３３は、サーバ３０に接続される入力デバイスからユーザの指示を取得し、かつ、サーバ３０に接続される出力デバイスに情報を出力するように構成される。
　入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
　出力デバイスは、例えば、ディスプレイである。
　通信インタフェース３４は、サーバ３０とクライアント装置１０との間の通信を制御するように構成される。
（２）実施形態の概要
　本実施形態の概要を説明する。図３は、本実施形態の概要の説明図である。
　図３に示すように、本実施形態のメーキャップシミュレーションの学習済モデルを生成する情報処理装置（以下「学習済モデル生成装置」という）、被験者の素顔の参照画像（以下「参照素顔画像」という）から、被験者の素顔の特徴に関する参照素顔特徴量を抽出する。
　学習済モデル生成装置は、被験者の化粧顔の参照画像（以下「参照化粧顔画像」という）から、被験者の化粧顔の特徴に関する参照化粧顔特徴量を抽出する。
　学習済モデル生成装置は、複数の被験者の参照素顔特徴量及び参照化粧顔特徴量の組合せを用いて、メーキャップシミュレーションの学習済モデルを生成する。
　本実施形態によれば、素顔の特徴量と、化粧顔の特徴量と、を分離する。これにより、シミュレーション対象者の顔の形態にかかわらず、高品質なメーキャップシミュレーションを実現可能な学習済モデルが得られる。
　本実施形態のメーキャップシミュレーションを実行する情報処理装置（以下「メーキャップシミュレーション画像生成装置」という）は、メーキャップシミュレーションのシミュレーション対象者の素顔の画像（以下「対象素顔画像」という）を取得する。
　メーキャップシミュレーション画像生成装置は、対象素顔画像から、シミュレーション対象者の素顔の特徴に関する対象素顔特徴量を抽出する。
　メーキャップシミュレーション画像生成装置は、素顔特徴量、及び、化粧顔特徴量のうち化粧成分の相関関数で定義される学習済モデルに対象素顔特徴量を入力することにより、メーキャップシミュレーション画像を生成する。
　メーキャップシミュレーション画像生成装置は、生成されたメーキャップシミュレーション画像を提示する。
　本実施形態によれば、シミュレーション対象者の顔の形態にかかわらず、高品質なメーキャップシミュレーション画像を提供することができる。
（３）データベース
　本実施形態のデータベースを説明する。以下のデータベースは、記憶装置３１に記憶される。
（３－１）学習用データセット
　本実施形態の学習用データセットを説明する。図４は、本実施形態の学習用データセットのデータ構造を示す図である。
　図４の学習用データセットには、学習用データセットが格納されている。
　学習用データセットは、「被験者ＩＤ」フィールドと、「参照画像」フィールドと、「特徴量」フィールドと、を含む。各フィールドは、互いに関連付けられている。
　「被験者ＩＤ」フィールドには。被験者を識別する被験者識別情報が格納される。
　「参照画像」フィールドには、メーキャップシミュレーションで参照される参照画像が格納される。「参照画像」フィールドは、複数のサブフィールド（「素顔画像」フィールド及び「化粧顔画像」フィールド）を含む。
　「素顔画像」フィールドには、被験者の素顔の画像（以下「参照素顔画像」という）が格納される。
　「化粧顔画像」フィールドには、被験者の化粧顔の画像（以下「参照化粧顔画像」という）が格納される。
　「特徴量」フィールドには、被験者の顔の画像の特徴量が格納される。「特徴量」フィールドは、複数のサブフィールド（「素顔特徴量」フィールド、「化粧顔特徴量」フィールド、及び、「化粧成分」フィールド）を含む。
　「素顔特徴量」フィールドには、参照素顔画像の特徴量（以下「参照素顔特徴量」という）が格納される。
　参照素顔画像の特徴量は、被験者の顔の部位毎の形態に関する特徴を表す。部位毎の形態は、サイズ、位置関係、及び、色である。形態は、例えば、以下の少なくとも１つを含む。
　・目の大きさ及び間隔
　・眉毛の大きさ、角度、太さ、幅、及び、間隔
　・唇の厚み及び色
　・肌の色
　「化粧顔特徴量」フィールドには、被験者の顔の部位毎に、参照化粧顔画像の特徴量（以下「参照化粧顔特徴量」という）が格納される。
　参照化粧顔特徴量は、化粧顔の部位毎に、形態に依存する形態成分と、化粧に依存する化粧成分と、を含む。
　化粧成分は、例えば、以下を含む。
　・化粧の色
　・化粧の面積
　・化粧の位置
　「化粧成分」フィールドには、被験者の顔の部位毎に、参照化粧顔特徴量の化粧成分が格納される。
（４）情報処理
　本実施形態の情報処理を説明する。
（４－１）学習済モデルの生成の処理
　本実施形態の学習済モデルの生成の処理を説明する。図５は、本実施形態の学習済モデルの生成の処理のフローチャートである。図６は、図５の処理において用いられるネットワークの説明図である。
　図５に示すように、サーバ３０は、参照素顔特徴量の抽出（Ｓ１３０）を実行する。
　具体的には、記憶装置３１には、複数の被験者のそれぞれの素顔画像及び化粧顔画像が記憶されている。
　プロセッサ３２は、記憶装置３１に記憶された各被験者の素顔画像に対して特徴量解析を実行することにより、被験者の素顔画像の部位毎の形態に関する参照素顔特徴量を抽出する。
　ステップＳ１３０の後、サーバ３０は、参照化粧顔特徴量の抽出（Ｓ１３１）を実行する。
　具体的には、プロセッサ３２は、記憶装置３１に記憶された化粧顔画像のうち、ステップＳ１３０で参照された素顔画像に対応する被験者の化粧顔画像に対して特徴量解析を実行することにより、被験者の化粧顔画像の部位毎の参照化粧顔特徴量を抽出する。例えば、参照化粧顔特徴量の絶対値は、化粧の濃さを表す。つまり、参照化粧顔特徴量の絶対値が小さいほど薄い化粧が施されていることを示し、当該絶対値が大きいほど厚い化粧が施されていることを示す。
　ステップＳ１３１の後、サーバ３０は、学習用データセットの更新（Ｓ１３２）を実行する。
　具体的には、プロセッサ３２は、学習用データセット（図４）に新規レコードを追加する。各レコードには、以下の情報が格納される。
　・「被験者ＩＤ」フィールドには、新たな被験者識別情報が格納される。
　・「素顔画像」フィールドには、ステップＳ１３０で参照された素顔画像が格納される。
　・「化粧顔画像」フィールドには、ステップＳ１３１で参照された化粧顔画像が格納される。
　・「素顔特徴量」フィールドには、ステップＳ１３０で抽出された部位毎の素顔特徴量が格納される。
　・「化粧顔特徴量」フィールドには、ステップＳ１３１で抽出された部位毎の化粧顔特徴量が格納される。
　ステップＳ１３２の後、サーバ３０は、化粧成分の抽出（Ｓ１３３）を実行する。
　具体的には、プロセッサ３２は、部位毎に、学習用データセット（図４）の各レコードの「化粧顔画像」フィールド（参照化粧顔特徴量）と「素顔特徴量」フィールドの情報（参照素顔特徴量）との特徴差ΔＦを計算する（式１～式２）。これにより、各部位の参照化粧顔特徴量から形態成分が除去される。つまり、各部位の特徴差ΔＦは、各部位の参照化粧顔特徴量の化粧成分に略等しい。
　ΔＦ＝ＦＭ－ＦＯ　…（式１）
　ＦＭ＝ＦＭａ＋ＦＭｂ　…（式２）
　・ＦＭ：各部位の参照化粧顔特徴量
　・ＦＭａ：各部位の参照化粧顔特徴量の形態成分
　・ＦＭｂ：各部位の参照化粧顔特徴量の化粧成分
　・ＦＯ：各部位の参照素顔特徴量
　一例として、プロセッサ３２は、「化粧顔画像」フィールドの「部位１」フィールドの情報と「素顔特徴量」フィールドの「部位１」フィールドの情報との特徴差ΔＦ１を計算する。これにより、部位１（例えば、口）の参照化粧顔の化粧成分が得られる。
　プロセッサ３２は、「化粧顔画像」フィールドの「部位２」フィールドの情報と「素顔特徴量」フィールドの「部位２」フィールドの情報との特徴差ΔＦ２を計算する。これにより、部位２（例えば、目元）の参照化粧顔の化粧成分が得られる。
　ステップＳ１３３を実行した後、サーバ３０は、学習済モデルの生成（Ｓ１３４）を実行する。
　具体的には、プロセッサ３２は、Ｐａｉｒｅｄ　Ｃｙｃｌｅ　ＧＡＮを用いて、学習用データセット（図４）の「参照素顔特徴量」フィールドの情報（参照素顔特徴量）、「参照化粧顔特徴量」フィールドの情報（参照化粧顔特徴量）、及び、「化粧成分」フィールドの情報（参照化粧顔特徴量の化粧成分）の学習済モデルとして記憶装置３１に記憶する。この学習済モデルは、顔特徴量及び化粧顔特徴量の組合せに応じた化粧成分を出力するように構成される。
　サーバ３０は、複数の被験者識別情報に関連付けられた素顔画像及び化粧顔画像に対してステップＳ１３０～Ｓ１３４を実行することにより、記憶装置３１に記憶された学習済モデルに機械学習を適用する。
　つまり、図５の処理では、図６のネットワークが用いられる。
　このネットワークでは、顔全体の参照素顔特徴量が、抽出部Ｅ１に入力される。抽出部Ｅ１は、顔全体の参照素顔特徴量からマスク画像（以下「素顔マスク画像」という）を生成する。
　各部位の参照化粧顔特徴量が、抽出部Ｅ２～Ｅ５の何れかに入力される。例えば、眉の参照化粧顔特徴量は、抽出部Ｅ２に入力される。目の参照化粧顔特徴量は、抽出部Ｅ３に入力される。口の参照化粧特徴量は、抽出部Ｅ４に入力される。肌の参照化粧顔特徴量は、抽出部Ｅ５に入力される。
　各抽出部Ｅ２～Ｅ５は、各部位の参照化粧顔特徴量からマスク画像（以下「参照化粧顔マスク画像」という）を生成する。
　生成器Ｇは、顔全体の参照素顔マスク画像と、各部位の参照化粧顔マスク画像と、を合成することにより、メーキャップシミュレーション画像（以下「モデル画像」という）を生成する。
　このように、本実施形態の学習済モデルに対応するネットワークは、顔全体の参照素顔特徴量を入力する抽出部Ｅ１と、部位毎の参照化粧顔特徴量を入力する複数の抽出部Ｅ２～Ｅ５と、を含む。
（４－２）メーキャップシミュレーションの処理
　本実施形態のメーキャップシミュレーションの処理を説明する。図７は、本実施形態のメーキャップシミュレーションの処理のシーケンス図である。図８は、図７の画像の生成の詳細なフローチャートである。図９は、図７の情報処理において表示される画面例を示す図である。
　図７に示すように、クライアント装置１０は、生成リクエスト（Ｓ２１０）を実行する。
　具体的には、プロセッサ１２は、画面Ｐ２０（図９）をディスプレイに表示する。
　画面Ｐ２０は、操作オブジェクトＢ２０と、フィールドオブジェクトＦ２０と、を含む。
　フィールドオブジェクトＦ２０は、ユーザの素顔画像（以下「対象素顔画像」という）の入力を受け付けるオブジェクトである。
　操作オブジェクトＢ２０は、生成リクエストデータをサーバ３０に送信させるためのユーザ指示を受け付けるオブジェクトである。
　ユーザが、フィールドオブジェクトＦ２０に素顔画像を入力し、且つ、操作オブジェクトＢ２０を操作すると、プロセッサ１２は、生成リクエストデータをサーバ３０に送信する。生成リクエストデータは、以下の情報を含む。
　・フィールドオブジェクトＦ２０に入力された対象素顔画像
　ステップＳ２１０の後、サーバ３０は、画像の生成（Ｓ２３０）を実行する。
　具体的には、プロセッサ３２は、図８のフローに従って画像を生成する。
　図８に示すように、サーバ３０は、対象素顔特徴量の抽出（Ｓ２３００）を実行する。
　具体的には、プロセッサ３２は、生成リクエストデータに含まれる対象素顔画像に対して特徴量解析を実行することにより、対象素顔画像の部位毎の特徴量（以下「対象素顔特徴量」という）を抽出する。
　ステップＳ２３００の後、サーバ３０は、メーキャップシミュレーション画像の生成（Ｓ２３０１）を実行する。
　具体的には、プロセッサ３２は、部位毎に、ステップＳ２３００で抽出された対象素顔特徴量を記憶装置３１に記憶された学習済モデルに入力することにより、各部位の対象素顔特徴量に応じた化粧成分を計算する。
　プロセッサ３２は、計算された各部位の化粧成分に応じたメーキャップ画像を生成する。
　プロセッサ３２は、生成リクエストデータに含まれる対象素顔画像と生成されたメーキャップ画像と、を合成することにより、メーキャップシミュレーション画像を生成する。
　ステップＳ２３０の後、サーバ３０は、生成レスポンス（Ｓ２３１）を実行する。
　具体的には、プロセッサ３２は、生成レスポンスデータをクライアント装置１０に送信する。生成レスポンスデータは、ステップＳ２３０で生成されたメーキャップシミュレーション画像を含む。
　ステップＳ２３１の後、クライアント装置１０は、画面表示（Ｓ２１２）を実行する。
　具体的には、プロセッサ１２は、画面Ｐ２１（図９）をディスプレイに表示する。
　画面Ｐ２１は、画像オブジェクトＩＭＧ２１を含む。
　画像オブジェクトＩＭＧ２１は、生成レスポンスデータに含まれるメーキャップシミュレーション画像のオブジェクトである。
　本実施形態によれば、被験者の参照化粧顔画像から形態成分を取り除くことによって学習済モデルを生成する。これにより、被験者の参照化粧顔画像の化粧成分が反映された学習済モデルが得られる。
　本実施形態によれば、このようにして生成された学習済モデルを用いて、ユーザのメーキャップシミュレーション画像を生成する。これにより、シミュレーション対象者の顔の形態にかかわらず、メーキャップシミュレーション画像の品質を向上させることができる。
　また、本実施形態によれば、顔の部位毎に特徴差ΔＦを計算する。これにより、得られる特徴量の精度を向上させることができる。
（５）変形例
　本実施形態の変形例を説明する。
（５－１）変形例１
　本実施形態の変形例１を説明する。変形例１は、顔の一部の部位のメーキャップシミュレーション画像を生成する例である。図１０は、変形例１のメーキャップシミュレーションの処理において表示される画面例を示す図である。
　ステップＳ２１０（図７）において、プロセッサ１２は、画面Ｐ３０（図１０）をディスプレイに表示する。
　画面Ｐ３０は、操作オブジェクトＢ２０と、フィールドオブジェクトＦ２０及びＦ３０と、を含む。
　フィールドオブジェクトＦ３０は、シミュレーションの対象となる部位（以下「対象部位」という）を指定するためのユーザ指示を受け付けるオブジェクトである。
　ユーザが、フィールドオブジェクトＦ２０に素顔画像を入力し、フィールドオブジェクトＦ３０に対象部位を入力し、且つ、操作オブジェクトＢ２０を操作すると、プロセッサ１２は、生成リクエストデータをサーバ３０に送信する。生成リクエストデータは、以下の情報を含む。
　・フィールドオブジェクトＦ２０に入力された対象素顔画像
　・フィールドオブジェクトＦ３０に入力された対象部位
　ステップＳ２３０１（図８）において、プロセッサ３２は、ステップＳ２３００で抽出された対象素顔特徴量のうち対象部位の対象素顔特徴量を記憶装置３１に記憶された学習済モデルに入力することにより、対象部位の対象素顔特徴量に応じた化粧成分を計算する。
　変形例１によれば、部位毎にメーキャップシミュレーション画像を生成する。これにより、所望の部位のみがメーキャップシミュレーション画像に置換された画像を提供することができる。
（５－２）変形例２
　本実施形態の変形例２を説明する。変形例２は、学習用データセットにタグを含む例である。
（５－２－１）変形例２の概要
　本実施形態の変形例２の概要を説明する。図１１は、変形例２の概要の説明図である。
　図１１に示すように、変形例２の学習済モデル生成装置は、参照素顔画像から、被験者の素顔の特徴に関する参照素顔特徴量を抽出する。
　学習済モデル生成装置は、参照化粧顔画像から、被験者の化粧顔の特徴に関する参照化粧顔特徴量を抽出する。
　参照化粧顔画像には、参照化粧画像に対する指標を示すタグが関連付けられている。
　学習済モデル生成装置は、複数の被験者の参照素顔特徴量及び参照化粧顔特徴量、並びに、タグの組合せを用いて、メーキャップシミュレーションの学習済モデルを生成する。
　変化例２のメーキャップシミュレーション画像生成装置は、シミュレーション対象者の対象素顔画像を取得する。
　メーキャップシミュレーション画像生成装置は、対象素顔画像から対象素顔特徴量を抽出する。
　メーキャップシミュレーション画像生成装置は、メーキャップシミュレーションのシミュレーション条件として、タグに関するユーザの指定を受け付ける。
　メーキャップシミュレーション画像生成装置は、素顔特徴量、及び、化粧顔特徴量のうち化粧成分の相関関数で定義される学習済モデルに、対象素顔特徴量及びタグに関するユーザ指示を入力することにより、メーキャップシミュレーション画像を生成する。
　メーキャップシミュレーション画像生成装置は、生成されたメーキャップシミュレーション画像を提示する。
（５－２－２）学習用データセット
　変形例２の学習用データセットを説明する。図１２は、変形例２の学習用データセットのデータ構造を示す図である。
　図１２の学習用データセットには、学習用データセットが格納されている。
　学習用データセットは、「被験者ＩＤ」フィールドと、「参照画像」フィールドと、「特徴量」フィールドと、「タグ」フィールドと、を含む。各フィールドは、互いに関連付けられている。
　「被験者ＩＤ」フィールド、「参照画像」フィールド、及び、「特徴量」フィールドは、図４と同様である。
　「タグ」フィールドには、指標毎のタグが格納される。
　指標は、例えば、以下を含む。
　・参照化粧顔画像に対する印象（例えば、かわいい及び透明感）に関する印象指標
　・参照化粧顔画像に対する嗜好（例えば、好き及び嫌い）に関する嗜好指標
　・参照化粧顔画像に対する物理特性（例えば、水分量及び皮脂量）に関する物理特性指標
　・参照化粧顔画像に対する質感（例えば、マット及びウェット）に関する質感指標
　・参照化粧顔画像に対する人種に関する人種指標
（５－２－３）情報処理
　変形例２の情報処理を説明する。
（５－２－３－１）学習済モデル生成の処理
　変形例２の学習済モデルの生成の処理を説明する。図１３は、変形例２の学習済モデル生成の処理のフローチャートである。
　図１３に示すように、サーバ３０は、図５のステップＳ１３０～Ｓ１３３を実行した後、サーバ３０は、タグの設定（Ｓ３３０）を実行する。
　具体的には、参照化粧顔画像を観察する観察者が、参照化粧顔画像に対する印象指標、嗜好指標、質感指標、物理特性指標、及び、人種指標を指定すると、プロセッサ３２は、観察者によって指定された印象指標、嗜好指標、質感指標、物理特性指標、及び、人種指標を新規レコードの「タグ」フィールドに格納する。
　複数の被験者識別情報に関連付けられたレコードに対してステップＳ３３０を実行した後、サーバ３０は、学習済モデルの生成（Ｓ３３１）を実行する。
　具体的には、プロセッサ３２は、「タグ」フィールドの情報（タグ）毎に、各部位の特徴差ΔＦの特徴ベクトルＶｆ（ＴＡＧ）を計算する。
　プロセッサ３２は、この特徴ベクトルＶｆ（ＴＡＧ）をタグ毎の学習済モデルとして記憶装置３１に記憶する。
（５－２－３－２）メーキャップシミュレーションの処理
　変形例２のメーキャップシミュレーションの処理を説明する。図１４は、変形例２のメーキャップシミュレーションの処理のシーケンス図である。図１５は、図１４の情報処理において表示される画面例を示す図である。図１６は、図１４の情報処理において表示される画面例を示す図である。
　図１４に示すように、クライアント装置１０は、生成リクエスト（Ｓ４１０）を実行する。
　具体的には、プロセッサ１２は、画面Ｐ４０（図１５）をディスプレイに表示する。
　画面Ｐ４０は、操作オブジェクトＢ２０と、フィールドオブジェクトＦ２０及びＦ４０と、を含む。
　フィールドオブジェクトＦ４０は、ユーザの所望のタグの入力を受け付けるオブジェクトである。
　ユーザが、フィールドオブジェクトＦ２０に素顔画像を入力し、フィールドオブジェクトＦ４０に所望のタグ（例えば、質感＝マット）を入力し、且つ、操作オブジェクトＢ２０を操作すると、プロセッサ１２は、生成リクエストデータをサーバ３０に送信する。生成リクエストデータは、以下の情報を含む。
　・フィールドオブジェクトＦ２０に入力された対象素顔画像
　・フィールドオブジェクトＦ４０に入力されたタグ
　ステップＳ４１０の後、サーバ３０は、画像の生成（Ｓ２３０）を実行する。
　具体的には、プロセッサ３２は、図７のフローに従って画像を生成する。
　プロセッサ３２は、ステップＳ２３０１において、部位毎に、ステップＳ２３００で抽出された対象素顔特徴量と、生成リクエストデータに含まれるタグと、を記憶装置３１に記憶された学習済モデルに入力することにより、対象素顔特徴量に応じた化粧成分を計算する。
　プロセッサ３２は、計算された化粧成分に応じたメーキャップ画像を生成する。
　ステップＳ２３０の後、サーバ３０は、図７と同様に生成レスポンス（Ｓ２３１）を実行する。
　ステップＳ２３１の後、クライアント装置１０は、画面表示（Ｓ４１１）を実行する。
　具体的には、プロセッサ１２は、画面Ｐ４１（図１５）をディスプレイに表示する。
　画面Ｐ４１は、画像オブジェクトＩＭＧ２１と、操作オブジェクトＢ４１と、フィールドオブジェクトＦ４１と、を含む。
　フィールドオブジェクトＦ４１は、指標毎の調整量に関するユーザ指示（以下「補正指示」という）の入力を受け付けるオブジェクトである。補正指示は、指標及び補正量の組合せを含む。
　操作オブジェクトＢ４１は、補正リクエストデータをサーバ３０に送信させるためのユーザ指示を受け付けるオブジェクトである。
　ステップＳ４１１の後、クライアント装置１０は、補正リクエスト（Ｓ４１２）を実行する。
　具体的には、ユーザがフィールドオブジェクトＦ４１に補正指示を入力し、且つ、操作オブジェクトＢ４１を操作すると、プロセッサ１２は、補正リクエストデータをサーバ３０に送信する。補正リクエストデータは、以下の情報を含む。
　・フィールドオブジェクトＦ４１に入力された補正指示（つまり、指標毎の補正量）
　ステップＳ４１２の後、サーバ３０は、画像の補正（Ｓ４３０）を実行する。
　具体的には、プロセッサ３２は、生成リクエストデータに含まれる対象素顔画像と、補正リクエストデータに含まれる補正指示と、を学習済モデルに入力することにより、補正シミュレーション画像を生成する。
　ステップＳ４３０の後、サーバ３０は、補正レスポンス（Ｓ４３１）を実行する。
　具体的には、プロセッサ３２は、補正レスポンスデータをクライアント装置１０に送信する。補正レスポンスデータは、ステップＳ２３２で生成された補正シミュレーション画像を含む。
　ステップＳ４３１の後、クライアント装置１０は、画面表示（Ｓ４１３）を実行する。
　具体的には、プロセッサ１２は、画面Ｐ４２（図１５）をディスプレイに表示する。
　画面Ｐ４２は、画像オブジェクトＩＭＧ４２を含む。
　画像オブジェクトＩＭＧ４２は、補正レスポンスデータに含まれる補正シミュレーション画像のオブジェクトである。
　変形例２によれば、ユーザの所望の指標を参照してメーキャップシミュレーション画像を生成する。これにより、ユーザの所望の指標に応じたメーキャップシミュレーション画像を提供することができる。
　また、変形例２によれば、ユーザの所望の指標毎の補正量を参照して、メーキャップシミュレーション画像を補正する。これにより、ユーザの所望の指標毎の補正量に応じたメーキャップシミュレーション画像を提供することができる。
（６）本実施形態の小括
　本実施形態を小括する。
　本実施形態の第１態様は、
　メーキャップシミュレーションの学習済モデルを生成する情報処理装置であって、
　被験者の参照素顔画像から、被験者の素顔の特徴に関する参照素顔特徴量を抽出する手段（例えば、ステップＳ１３０を実行するプロセッサ３２）を備え、
　被験者の参照化粧顔画像から、被験者の化粧顔の特徴に関する参照化粧顔特徴量を抽出する手段（例えば、ステップＳ１３１を実行するプロセッサ３２）を備え、
　複数の被験者の参照素顔特徴量及び参照化粧顔特徴量の組合せを用いて、メーキャップシミュレーションの学習済モデルを生成する手段（例えば、ステップＳ１３４を実行するプロセッサ３２）を備える、
情報処理装置である。
　第１態様によれば、参照素顔特徴量及び参照化粧顔特徴量の組合せを用いて、メーキャップシミュレーションの学習済モデルを生成する。これにより、シミュレーション対象者の顔の形態にかかわらず、高品質なメーキャップシミュレーション画像を提供することができる。
　本実施形態の第２態様は、
　参照素顔特徴量を抽出する手段は、被験者の顔の部位毎の形態に関する特徴量を抽出する、
情報処理装置である。
　第２態様によれば、部位毎に、参照素顔特徴量を抽出する。これにより、抽出される参照素顔特徴量の精度を向上させることができる。
　本実施形態の第３態様は、
　参照化粧顔特徴量を抽出する手段及び対象化粧顔特徴量を抽出する手段は、被験者の顔の部位毎の特徴量を抽出する、
情報処理装置である。
　第３態様によれば、部位毎に、参照化粧顔特徴量を抽出する。これにより、抽出される参照化粧顔特徴量の精度を向上させることができる。
　本実施形態の第４態様は、
　参照化粧画像には、参照化粧画像に対する指標を示すタグが関連付けられており、
　学習済モデルを生成する手段は、複数の被験者の参照素顔特徴量及び参照化粧顔特徴量、並びに、タグの組合せを用いて、学習済モデルを生成する、
情報処理装置である。
　第４態様によれば、タグを参照して、学習済モデルを生成する。これにより、ユーザの所望の指標に応じたメーキャップシミュレーション画像を提供することができる。
　本実施形態の第５態様は、
　タグは、参照化粧画像の印象に関する印象指標を含む、
情報処理装置である。
　第５態様によれば、印象指標を含むタグを参照して、学習済モデルを生成する。これにより、ユーザの所望の印象指標に応じたメーキャップシミュレーション画像を提供することができる。
　本実施形態の第６態様は、
　タグは、参照化粧画像の嗜好に関する嗜好指標を含む、
情報処理装置である。
　第６態様によれば、嗜好指標を含むタグを参照して、学習済モデルを生成する。これにより、ユーザの所望の嗜好指標に応じたメーキャップシミュレーション画像を提供することができる。
　本実施形態の第７態様は、
　タグは、参照化粧画像に対応する被験者の肌の物理特性に関する物理特性指標を含む、
情報処理装置である。
　第７態様によれば、物理特性指標を含むタグを参照して、学習済モデルを生成する。これにより、ユーザの所望の物理特性指標に応じたメーキャップシミュレーション画像を提供することができる。
　本実施形態の第８態様は、
　タグは、参照化粧画像に対応する被験者の肌の質感に関する質感指標を含む、
情報処理装置である。
　第８態様によれば、質感指標を含むタグを参照して、学習済モデルを生成する。これにより、ユーザの所望の質感指標に応じたメーキャップシミュレーション画像を提供することができる。
　本実施形態の第９態様は、
　タグは、被験者の人種に関する人種指標を含む、
情報処理装置である。
　第９態様によれば、人種指標を含むタグを参照して、学習済モデルを生成する。これにより、ユーザの所望の人種指標に応じたメーキャップシミュレーション画像を提供することができる。
　本実施形態の第１０態様は、
　メーキャップシミュレーションを実行する情報処理装置であって、
　メーキャップシミュレーションのシミュレーション対象者の対象素顔画像を取得する手段（例えば、ステップＳ２３０を実行するプロセッサ３２）を備え、
　対象素顔画像から、シミュレーション対象者の素顔の特徴に関する対象素顔特徴量を抽出する手段（例えば、ステップＳ２３００を実行するプロセッサ３２）を備え、
　素顔特徴量、及び、化粧顔特徴量のうち化粧成分の相関関数で定義される学習済モデルに対象素顔特徴量を入力することにより、メーキャップシミュレーション画像を生成する手段（例えば、ステップＳ２３０１を実行するプロセッサ３２）を備え、
　生成されたメーキャップシミュレーション画像を提示する手段（例えば、ステップＳ２３１を実行するプロセッサ３２）を備える、
情報処理装置である。
　第１０態様によれば、対象素顔画像の特徴量を上記学習済モデルに入力することにより、メーキャップシミュレーション画像を生成する。これにより、シミュレーション対象者の顔の形態にかかわらず、高品質なメーキャップシミュレーション画像を提供することができる。
　本実施形態の第１１態様は、
　メーキャップシミュレーションのシミュレーション条件として、タグに関するユーザの指定を受け付ける手段（例えば、ステップＳ２３０を実行するプロセッサ３２）を備え、
　メーキャップシミュレーション画像を生成する手段は、ユーザによって指定されたタグと、対象素顔特徴量と、を学習済モデルに入力することにより、メーキャップシミュレーション画像を生成する手段（例えば、ステップＳ２３０１を実行するプロセッサ３２）を備える、
情報処理装置である。
　第１１態様によれば、ユーザによって指定されたタグを上記学習済モデルに入力することにより、メーキャップシミュレーション画像を生成するができる。
　本実施形態の第１２態様は、
　シミュレーション条件として、タグに対応する指標の補正量に関するユーザ指示を受け付ける手段（例えば、ステップＳ４３０を実行するプロセッサ３２）を備え、
　ユーザ指示に対応する補正量を参照して、メーキャップシミュレーション画像を補正する手段（例えば、ステップＳ４３０を実行するプロセッサ３２）を備える、
情報処理装置である。
　第１２態様によれば、タグに対応する指標の補正量を参照して、メーキャップシミュレーション画像を補正する。これにより、所望の指標の補正量に応じたメーキャップシミュレーション画像を提供することができる。
　本実施形態の第１３態様は、
　メーキャップシミュレーションの学習済モデルの生成方法であって、
　コンピュータが、
　被験者の参照素顔画像から、被験者の素顔の特徴に関する参照素顔特徴量を抽出するステップ（例えば、ステップＳ１３０）を備え、
　被験者の参照化粧顔画像から、被験者の化粧顔の特徴に関する参照化粧顔特徴量を抽出するステップ（例えば、ステップＳ１３１）を備え、
　複数の被験者の参照素顔特徴量及び参照化粧顔特徴量の組合せを用いて、メーキャップシミュレーションにおいて参照するための学習済モデルを生成するステップ（例えば、ステップＳ１３４）を備える、
方法である。
　本実施形態の第１４態様は、
　メーキャップシミュレーションの実行方法であって、
　コンピュータが、
　メーキャップシミュレーションのシミュレーション対象者の対象素顔画像を取得するステップ（例えば、ステップＳ２３０）を備え、
　対象素顔画像から、シミュレーション対象者の素顔の特徴に関する対象素顔特徴量を抽出するステップ（例えば、ステップＳ２３００）を備え、
　素顔特徴量、及び、化粧顔特徴量のうち化粧成分の相関関数で定義される学習済モデルに対象素顔特徴量を入力することにより、メーキャップシミュレーション画像を生成するステップ（例えば、ステップＳ２３０１）を備え、
　生成されたメーキャップシミュレーション画像を提示するステップを備える、
方法である。
　本実施形態の第１５態様は、
　コンピュータを、上記の何れかに記載の各手段として機能させるためのプログラムである。
（７）その他の変形例
　その他の変形例を説明する。
　記憶装置１１は、ネットワークＮＷを介して、クライアント装置１０と接続されてもよい。記憶装置３１は、ネットワークＮＷを介して、サーバ３０と接続されてもよい。
　上記の情報処理の各ステップは、クライアント装置１０及びサーバ３０の何れでも実行可能である。
　例えば、クライアント装置１０が上記の情報処理の全てのステップを実行可能である場合、クライアント装置１０は、サーバ３０にリクエストを送信することなく、スタンドアロンで動作する情報処理装置として機能する。
　以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
１　　　　　：情報処理システム
１０　　　　：クライアント装置
１１　　　　：記憶装置
１２　　　　：プロセッサ
１３　　　　：入出力インタフェース
１４　　　　：通信インタフェース
３０　　　　：サーバ
３１　　　　：記憶装置
３２　　　　：プロセッサ
３３　　　　：入出力インタフェース
３４　　　　：通信インタフェース

Claims (15)

  1. 　メーキャップシミュレーションの学習済モデルを生成する情報処理装置であって、
    　被験者の参照素顔画像から、前記被験者の素顔の特徴に関する参照素顔特徴量を抽出する手段を備え、
    　前記被験者の参照化粧顔画像から、前記被験者の化粧顔の特徴に関する参照化粧顔特徴量を抽出する手段を備え、
    　複数の被験者の参照素顔特徴量及び参照化粧顔特徴量の組合せを用いて、前記メーキャップシミュレーションの学習済モデルを生成する手段を備える、
    情報処理装置。
  2. 　前記参照素顔特徴量を抽出する手段は、前記被験者の顔の部位毎の形態に関する特徴量を抽出する、
    請求項１に記載の情報処理装置。
  3. 　前記参照化粧顔特徴量を抽出する手段及び前記対象化粧顔特徴量を抽出する手段は、前記被験者の顔の部位毎の特徴量を抽出する、
    請求項１又は２に記載の情報処理装置。
  4. 　前記参照化粧画像には、前記参照化粧画像に対する指標を示すタグが関連付けられており、
    　前記学習済モデルを生成する手段は、複数の被験者の参照素顔特徴量及び参照化粧顔特徴量、並びに、前記タグの組合せを用いて、前記学習済モデルを生成する、
    請求項１～３の何れかに記載の情報処理装置。
  5. 　前記タグは、前記参照化粧画像の印象に関する印象指標を含む、
    請求項４に記載の情報処理装置。
  6. 　前記タグは、前記参照化粧画像の嗜好に関する嗜好指標を含む、
    請求項４又は５に記載の情報処理装置。
  7. 　前記タグは、前記参照化粧画像に対応する被験者の肌の物理特性に関する物理特性指標を含む、
    請求項４～６の何れかに記載の情報処理装置。
  8. 　前記タグは、前記参照化粧画像に対応する被験者の肌の質感に関する質感指標を含む、
    請求項４～７の何れかに記載の情報処理装置。
  9. 　前記タグは、前記被験者の人種に関する人種指標を含む、
    請求項４～８の何れかに記載の情報処理装置。
  10. 　メーキャップシミュレーションを実行する情報処理装置であって、
    　前記メーキャップシミュレーションのシミュレーション対象者の対象素顔画像を取得する手段を備え、
    　前記対象素顔画像から、前記シミュレーション対象者の素顔の特徴に関する対象素顔特徴量を抽出する手段を備え、
    　素顔特徴量、及び、化粧顔特徴量のうち化粧成分の相関関数で定義される学習済モデルに前記対象素顔特徴量を入力することにより、メーキャップシミュレーション画像を生成する手段を備え、
    　前記生成されたメーキャップシミュレーション画像を提示する手段を備える、
    情報処理装置。
  11. 　前記メーキャップシミュレーションのシミュレーション条件として、タグに関するユーザの指定を受け付ける手段を備え、
    　前記メーキャップシミュレーション画像を生成する手段は、前記ユーザによって指定されたタグと、前記対象素顔特徴量と、を前記学習済モデルに入力することにより、前記メーキャップシミュレーション画像を生成する手段を備える、
    請求項１０に記載の情報処理装置。
  12. 　前記シミュレーション条件として、前記タグに対応する指標の補正量に関するユーザ指示を受け付ける手段を備え、
    　前記ユーザ指示に対応する補正量を参照して、前記メーキャップシミュレーション画像を補正する手段を備える、
    請求項１１に記載の情報処理装置。
  13. 　メーキャップシミュレーションの学習済モデルの生成方法であって、
    　コンピュータが、
    　被験者の参照素顔画像から、前記被験者の素顔の特徴に関する参照素顔特徴量を抽出するステップを備え、
    　前記被験者の参照化粧顔画像から、前記被験者の化粧顔の特徴に関する参照化粧顔特徴量を抽出するステップを備え、
    　複数の被験者の参照素顔特徴量及び参照化粧顔特徴量の組合せを用いて、メーキャップシミュレーションにおいて参照するための学習済モデルを生成するステップを備える、
    方法。
  14. 　メーキャップシミュレーションの実行方法であって、
    　コンピュータが、
    　前記メーキャップシミュレーションのシミュレーション対象者の対象素顔画像を取得するステップを備え、
    　前記対象素顔画像から、前記シミュレーション対象者の素顔の特徴に関する対象素顔特徴量を抽出するステップを備え、
    　素顔特徴量、及び、化粧顔特徴量のうち化粧成分の相関関数で定義される学習済モデルに前記対象素顔特徴量を入力することにより、メーキャップシミュレーション画像を生成するステップを備え、
    　前記生成されたメーキャップシミュレーション画像を提示するステップを備える、
    方法。
  15. 　コンピュータを、請求項１～１２の何れかに記載の各手段として機能させるためのプログラム。
PCT/JP2019/025808 2019-06-28 2019-06-28 情報処理装置、メーキャップシミュレーションの学習済モデルの生成方法、メーキャップシミュレーションの実行方法、及び、プログラム WO2020261531A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2019/025808 WO2020261531A1 (ja) 2019-06-28 2019-06-28 情報処理装置、メーキャップシミュレーションの学習済モデルの生成方法、メーキャップシミュレーションの実行方法、及び、プログラム
JP2021528823A JPWO2020261531A1 (ja) 2019-06-28 2019-06-28

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/025808 WO2020261531A1 (ja) 2019-06-28 2019-06-28 情報処理装置、メーキャップシミュレーションの学習済モデルの生成方法、メーキャップシミュレーションの実行方法、及び、プログラム

Publications (1)

Publication Number Publication Date
WO2020261531A1 true WO2020261531A1 (ja) 2020-12-30

Family

ID=74061575

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/025808 WO2020261531A1 (ja) 2019-06-28 2019-06-28 情報処理装置、メーキャップシミュレーションの学習済モデルの生成方法、メーキャップシミュレーションの実行方法、及び、プログラム

Country Status (2)

Country Link
JP (1) JPWO2020261531A1 (ja)
WO (1) WO2020261531A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022230298A1 (ja) * 2021-04-30 2022-11-03 株式会社Ｎｔｔドコモ 顔画像生成装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008617A (ja) * 2010-06-22 2012-01-12 Kao Corp 顔画像評価方法、顔評価方法および画像処理装置
JP2013171409A (ja) * 2012-02-20 2013-09-02 Kao Corp 化粧顔画像評価装置及び化粧顔画像評価方法
JP2014149678A (ja) * 2013-02-01 2014-08-21 Panasonic Corp 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5085636B2 (ja) * 2007-02-21 2012-11-28 正 五井野 化粧顔画像生成装置、その方法、サーバ及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008617A (ja) * 2010-06-22 2012-01-12 Kao Corp 顔画像評価方法、顔評価方法および画像処理装置
JP2013171409A (ja) * 2012-02-20 2013-09-02 Kao Corp 化粧顔画像評価装置及び化粧顔画像評価方法
JP2014149678A (ja) * 2013-02-01 2014-08-21 Panasonic Corp 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022230298A1 (ja) * 2021-04-30 2022-11-03 株式会社Ｎｔｔドコモ 顔画像生成装置

Also Published As

Publication number Publication date
JPWO2020261531A1 (ja) 2020-12-30

Similar Documents

Publication Publication Date Title
US7006657B2 (en) Methods for enabling evaluation of typological characteristics of external body portion, and related devices
Claes et al. Craniofacial reconstruction using a combined statistical model of face shape and soft tissue depths: methodology and validation
US10911695B2 (en) Information processing apparatus, information processing method, and computer program product
US9135690B2 (en) Perceptual rating of digital image retouching
EP3485762A1 (en) Makeup assistance device and makeup assistance method
US11069089B2 (en) Information processing apparatus, information processing method, and computer program product
JP2001346627A (ja) 化粧アドバイスシステム
CN108920490A (zh) 辅助化妆的实现方法、装置、电子设备以及存储介质
WO2009100494A1 (en) System and method of cosmetic analysis and treatment diagnosis
KR102244129B1 (ko) 가상착의 이미지를 이용한 원단 두께별 의류 패턴 자동 보정 시스템
WO2022024200A1 (ja) ３ｄデータシステム及び３ｄデータ生成方法
Danckaers et al. Posture normalisation of 3D body scans
JP2004102359A (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2020261531A1 (ja) 情報処理装置、メーキャップシミュレーションの学習済モデルの生成方法、メーキャップシミュレーションの実行方法、及び、プログラム
KR102224596B1 (ko) 식별가능한 얼굴 편차를 처리하기 위한 얼굴 교정 디자인 및 애플리케이션 프로토콜을 자동으로 생성하는 시스템 및 방법
JP2017120595A (ja) 化粧料の塗布状態の評価方法
JP7406502B2 (ja) 情報処理装置、プログラム及び情報処理方法
JP7253325B2 (ja) 情報処理装置、プログラム、及び、情報処理方法
KR20210130420A (ko) 스마트 삼차원 의류 피팅 시스템 및 이를 이용한 의류 피팅 서비스 제공 방법
US20220142334A1 (en) Information processing apparatus and computer program
WO2024069944A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR102532561B1 (ko) 개인 스타일에 대한 컨설팅 데이터를 제공하는 방법
JP2024052519A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2024028059A (ja) 頭髪スタイルの視覚化を支援する方法、情報処理装置及びプログラム
WO2022243498A1 (en) Computer-based body part analysis methods and systems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19934677

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021528823

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19934677

Country of ref document: EP

Kind code of ref document: A1