WO2018025402A1 - 画像処理装置、画像処理システム、及びプログラム - Google Patents

画像処理装置、画像処理システム、及びプログラム Download PDF

Info

Publication number
WO2018025402A1
WO2018025402A1 PCT/JP2016/073115 JP2016073115W WO2018025402A1 WO 2018025402 A1 WO2018025402 A1 WO 2018025402A1 JP 2016073115 W JP2016073115 W JP 2016073115W WO 2018025402 A1 WO2018025402 A1 WO 2018025402A1
Authority
WO
WIPO (PCT)
Prior art keywords
makeup
face image
image
color
face
Prior art date
Application number
PCT/JP2016/073115
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to US16/096,341 priority Critical patent/US10373348B2/en
Priority to PCT/JP2016/073115 priority patent/WO2018025402A1/ja
Priority to JP2018531712A priority patent/JP6448869B2/ja
Publication of WO2018025402A1 publication Critical patent/WO2018025402A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Definitions

  • the present invention relates to an image processing apparatus, an image processing system, and a program.
  • Patent Literature 1 describes a makeup simulation system that performs makeup processing on a moving image obtained by photographing a user's face.
  • Patent Document 2 describes a game device that performs a makeup simulation using a user's face image.
  • An object of the present invention is to make it easy to recognize the effect of makeup in a simulation of makeup.
  • the present invention includes an acquisition unit that acquires a face image of a user, a generation unit that generates at least one face image with makeup using the acquired face image, and the acquired face image or the Provided is an image processing apparatus including a combining unit that combines a part of a plurality of face images including at least one generated face image to generate a combined image, and an output unit that outputs the generated combined image. .
  • the figure which shows an example of a structure of the purchase assistance system The figure which shows an example of the hardware constitutions of the user terminal 20.
  • the figure which shows an example of a function structure of the user terminal. 5 is a flowchart showing an example of the operation of the user terminal 20.
  • the figure which shows an example of the screen The figure which shows an example of the screen.
  • FIG. The figure which shows an example of the screen 253.
  • FIG. The figure which shows an example of the layer 62-1.
  • FIG. 1 is a diagram illustrating an example of a configuration of a purchase support system 1 according to the present embodiment.
  • the purchase support system 1 in order to support the purchase of cosmetics, a makeup simulation using a user's face image is performed.
  • the purchase support system 1 includes a server 10 and a user terminal 20 (an example of an image processing apparatus).
  • the server 10 and the user terminal 20 are connected via the network 2.
  • the network 2 is the Internet, for example. However, the network 2 is not limited to the Internet, and may be another communication line.
  • the server 10 stores pre-registered cosmetic product information.
  • the product information of the cosmetic includes, for example, a cosmetic name, brand name, price, and image data representing the cosmetic.
  • the server 10 provides the user terminal 20 with cosmetic product information corresponding to the makeup for which the simulation has been performed.
  • User terminal 20 is used by a user.
  • the user performs a makeup simulation using the user terminal 20.
  • the user browses the product information on the cosmetics provided from the server 10 using the user terminal 20.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the user terminal 20.
  • the user terminal 20 is a computer such as a tablet terminal, a portable terminal, or a personal computer.
  • the user terminal 20 includes a processor 21, a memory 22, a communication interface 23, an input unit 24, a display unit 25, an imaging unit 26, and a storage unit 27.
  • the processor 21 executes various processes according to the program stored in the memory 22.
  • a CPU Central Processing Unit
  • the memory 22 stores a program executed by the processor 21.
  • a RAM Random Access Memory
  • the communication interface 23 is connected to the network 2 and performs communication via the network 2.
  • the input unit 24 is used to operate the user terminal 20 and inputs information corresponding to the operation to the user terminal 20.
  • the input unit 24 for example, a touch panel or a button is used.
  • the display unit 25 displays various information.
  • a liquid crystal display is used as the display unit 25.
  • the imaging unit 26 captures an image.
  • a camera is used as the imaging unit 26.
  • the storage unit 27 stores various programs and data. As the storage unit 27, for example, a flash memory or a hard disk drive is used.
  • FIG. 3 is a diagram illustrating an example of a functional configuration of the user terminal 20.
  • the user terminal 20 functions as an acquisition unit 201, a generation unit 202, a synthesis unit 203, and an output unit 204. These functions are realized by one or more processors 21 executing a program stored in the memory 22.
  • the acquisition unit 201 acquires a user's face image.
  • the acquisition unit 201 acquires a user's face image captured by the imaging unit 26.
  • the acquisition unit 201 may acquire the user's face image from the storage unit 27.
  • the generating unit 202 generates at least one face image with makeup using the face image acquired by the acquiring unit 201.
  • the generation unit 202 may generate a plurality of face images subjected to makeup up to each process.
  • makeup up to the process includes both makeup applied in the target process and makeup applied in the process prior to the target process.
  • the synthesizing unit 203 synthesizes a part of a plurality of face images including the face image acquired by the acquiring unit 201 or at least one face image generated by the generating unit 202 to generate a synthesized image.
  • the plurality of face images are, for example, two face images of a first face image and a second face image.
  • the first face image may be a face image acquired by the acquisition unit 201, that is, a face image before applying makeup, or a face image that has been applied up to the first step among a plurality of steps. It may be.
  • the second face image may be a face image that has undergone makeup in all of the plurality of steps, or may be a face image that has undergone makeup up to the second step among the plurality of steps. . Note that the first step and the second step are different steps.
  • the output unit 204 outputs various images including the synthesized image generated by the synthesizing unit 203. For example, the output unit 204 displays the composite image on the display unit 25. As another example, the output unit 204 may transmit the composite image to the external device via the communication interface 23. As another example, when the user terminal 20 includes a printer, a composite image may be printed.
  • FIG. 4 is a flowchart showing an example of the operation of the user terminal 20 according to the present embodiment.
  • a makeup simulation is performed using the user's face image.
  • the cosmetics corresponding to the makeup with which the simulation was performed are recommended to the user.
  • step S11 a makeup simulation process is performed. Specifically, the user first captures his / her face image 261 using the imaging unit 26.
  • the acquisition unit 201 acquires the face image 261 captured by the imaging unit 26.
  • the output unit 204 displays on the display unit 25 a screen 251 that accepts selection of a part to be applied (hereinafter referred to as “target part”).
  • FIG. 5 is a diagram illustrating an example of the screen 251.
  • the screen 251 includes a face image 261 before makeup is applied. Further, the screen 251 includes buttons 511 to 514 used for selecting a target part.
  • This target part includes face parts such as the entire face, eyes, cheeks, and mouth.
  • the “eye” here refers to the eye hole, not the eyeball portion between the eyelids.
  • the user first paints the foundation color on the entire face area of the face image 261. In this case, the user presses the button 511 using the input unit 24. Thereby, the entire face is selected as the target part.
  • the target part may be selected using a cursor displayed on the screen 251.
  • the user uses the input unit 24 to move the cursor to the position of the desired target part, and performs an operation of selecting the target part.
  • the target part may be selected by such an operation.
  • FIG. 6 is a diagram illustrating an example of the screen 252.
  • the screen 252 includes a plurality of color samples 521 used for selecting a foundation color. These color swatches 521 may include not only color swatches 521 with different color types but also color swatches 521 with different color densities and textures. This texture changes depending on, for example, the amount of pearl, the amount of glitter, or the transparency. Note that the color of the color sample 521 may be the color of a product that is actually sold, or may be a color that is unrelated to the color of the product that is actually sold.
  • the user uses the input unit 24 to perform an operation of selecting the color sample 521 representing the desired foundation color from the color samples 521. Thereby, the color of the foundation is selected.
  • the generation unit 202 applies the selected foundation color to the entire face area included in the face image 261. Specifically, the generation unit 202 extracts the entire face area from the face image 261 by image recognition. For this extraction, for example, a well-known face recognition technique using the positional relationship of feature points such as eyes, nose, and mouth may be used. Subsequently, the generation unit 202 generates a new layer 61, and in this layer 61, paints the color of the selected foundation in a range corresponding to the extracted region.
  • FIG. 7 is a diagram illustrating an example of the layer 61.
  • the layer 61 includes a layer image 611 representing the color portion of the foundation painted on the entire face area.
  • the layer 61 is overlaid on the face image 261 shown in FIG. Thereby, the face image 262 painted with the color of the foundation is displayed.
  • the screen 252 accepts selection of a makeup tool used when applying the foundation.
  • the screen 252 includes a plurality of icons 522 used for selecting a makeup tool such as a sponge or a brush.
  • Each icon 522 includes an image representing a makeup tool. Note that this image may be an image representing a product that is actually sold, or an illustration representing a makeup tool.
  • the user uses the input unit 24 to perform an operation of selecting an icon 522 representing a desired makeup tool from the plurality of icons 522. Thereby, a makeup tool is selected. Note that the makeup tool need not necessarily be selected.
  • the generation unit 202 paints the foundation color at a density or uniformity of density according to the selected makeup tool.
  • the foundation color may be painted with a lower density than the reference density and with a higher degree of uniformity than the reference density.
  • the sponge when the sponge is selected, the foundation color may be applied with a higher density than the reference density and with a lower uniformity than the reference density.
  • the makeup color density or density uniformity is changed by the makeup tool selected by the user.
  • the output unit 204 displays a screen 253 that accepts selection of the color of the eye shadow on the display unit 25.
  • FIG. 8 is a diagram illustrating an example of the screen 253.
  • the screen 253 includes a plurality of color samples 531 used for selecting the color of the eye shadow.
  • the color of the color sample 531 may be the color of a product that is actually sold, or may be a color that is unrelated to the color of the product that is actually sold.
  • the user uses the input unit 24 to perform an operation of selecting a color sample 531 representing a desired eye shadow color from a plurality of color samples 531. Thereby, the color of the eye shadow is selected.
  • the generation unit 202 applies the selected eye shadow color to the eye region included in the face image 262. Specifically, the generation unit 202 extracts an eye region from the face image 261 by image recognition. Subsequently, the generation unit 202 generates a new layer 62-1 and paints the selected eye shadow color in a range corresponding to the extracted region in the layer 62-1.
  • FIG. 9 is a diagram illustrating an example of the layer 62-1.
  • the layer 62-1 includes a layer image 621 representing the color portion of the eye shadow painted on the eye area.
  • the layer 62-1 is overlaid on the face image 262 shown in FIG. As a result, the face image 263 painted with the color of the foundation and the color of the eye shadow is displayed.
  • the screen 253 accepts selection of a makeup tool used when applying the eye shadow.
  • the screen 253 includes a plurality of icons 532 used for selecting a makeup tool such as a tip or a brush.
  • Each icon 532 includes an image representing a makeup tool. Note that this image may be an image representing a product that is actually sold, or an illustration of a makeup tool.
  • the user uses the input unit 24 to perform an operation of selecting an icon 532 representing a desired makeup tool from the plurality of icons 532. Thereby, a makeup tool is selected. Note that the makeup tool need not necessarily be selected.
  • the generation unit 202 may apply an eye shadow color at a concentration according to the selected makeup tool or within a range according to the makeup tool. Further, the generation unit 202 may blur the boundary portion of the color of the eye shadow by a range corresponding to the selected makeup tool. For example, when a chip is selected, the color of the eye shadow may be applied in a range that is higher than the reference density and smaller than the reference range. On the other hand, when a brush is selected, the color of the eye shadow is painted in a range that is lower than the reference density and larger than the reference range, and the boundary portion is blurred in a range that is larger than the reference range. May be. As described above, the makeup color selected by the user changes the makeup color density, the range in which makeup is applied, or the range in which the border portion of the makeup color is blurred.
  • the user may apply the eye shadow color by overlapping it a plurality of times.
  • the user again uses the input unit 24 to again select a color sample 531 representing a desired eye shadow color from among the plurality of color samples 531 shown in FIG. Perform an operation to select. Thereby, the color of the eye shadow to be applied for the second time is selected.
  • the color of the eye shadow becomes darker by applying the color of the eye shadow repeatedly.
  • the density of the makeup color increases as the number of times of repeated application increases.
  • the color of the eye shadow is changed by applying the color of the eye shadow in an overlapping manner. Specifically, the color of the eye shadow is changed to a color obtained by combining the color of the eye shadow applied for the first time and the color of the eye shadow applied for the second time. In this way, when different makeup colors are applied in a superimposed manner, the makeup color is changed to a color obtained by combining all the makeup colors overlaid.
  • a different layer may be generated each time the color of the eye shadow is applied once. For example, when the eye shadow color is applied for the first time, the layer 62-1 shown in FIG. 9 is generated. When the eye shadow color is applied for the second time, a new layer 62-2 is generated.
  • FIG. 10 is a diagram illustrating an example of the layer 62-2. Similar to the layer image 621, the layer 62-2 includes a layer image 622 representing the color portion of the eye shadow painted on the eye area. When the layer 62-2 is generated, the layer 62-2 is overlaid on the face image 263 shown in FIG. As a result, the face image 264 in which the color of the foundation is applied and the color of the eye shadow is applied twice is displayed.
  • FIG. 11 is a diagram illustrating an example of a process for applying makeup.
  • the step of applying makeup includes steps 1, 2-1, 2-2, 3, and 4. These steps are performed in the order of steps 1, 2-1, 2-2, 3, and 4.
  • step 1 the foundation color is applied to the entire face area.
  • step 1 the layer 61 shown in FIG. 7 is generated.
  • step 2-1 the eye shadow color is applied to the eye region (first time).
  • step 2-1 the layer 62-1 shown in FIG. 9 is generated.
  • step 2-2 the eye shadow color is applied over the eye region (second time).
  • step 2-2 the layer 62-2 shown in FIG. 10 is generated.
  • step 3 a cheek color is applied to the cheek region.
  • step 3 a layer including a layer image representing a cheek color portion applied to the cheek region is generated.
  • step 4 lipstick is applied to the mouth area.
  • step 4 a layer including a layer image representing a lipstick color portion painted in the mouth region is generated.
  • steps 1, 3, and 4 are steps separated based on the area where makeup is applied.
  • steps 2-1 and 2-2 are steps separated based on the times when makeup is applied.
  • the process of applying the color of the eye shadow is divided into processes 2-1 and 2-1, but these processes may be treated as one process.
  • the generating unit 202 generates a face image on which makeup has been applied up to the process shown in FIG.
  • the face image 262 after applying makeup in step 1 is generated by overlaying the layer 61 shown in FIG. 7 on the face image 261 before applying makeup.
  • a face image 263 after applying makeup in steps 1 and 2-1 is generated by overlaying the layer 62-1 shown in FIG. 9 on the face image 262.
  • the face image 264 after applying makeup in steps 1, 2-1, and 2-2 is superimposed on the face image 263 by overlapping 62-2 shown in FIG. Generated.
  • a face image is generated by sequentially superimposing all layers generated in the steps before the step on the face image 261 before the makeup is applied.
  • the screen displayed in this simulation process includes a return button 515.
  • the user wants to change the makeup content, the user presses the return button 515 using the input unit 24.
  • the output unit 204 displays a list 254 of processes for applying makeup on the display unit 25.
  • the process list 254 may be included in a part of the screen already displayed on the display unit 25, or may be displayed in a pop-up format on this screen.
  • FIG. 12 is a diagram showing an example of a list 254 of processes for applying makeup.
  • the process list 254 includes icons 541 to 546 used for selecting each process.
  • Each of the icons 541 to 546 includes thumbnails of face images on which makeup has been applied up to the corresponding process.
  • the icon 541 is used to select a state before makeup.
  • the icon 541 includes a thumbnail of the face image 261 before makeup is applied.
  • the icon 542 is used for selection of the process 1.
  • the icon 542 includes a thumbnail of the face image 262 after the makeup is applied in step 1.
  • the icon 543 is used for selection in step 2-1.
  • the icon 543 includes a thumbnail of the face image 263 after the makeup is applied in step 2-1.
  • step 1 an example of the target step
  • step 4 the color of the foundation applied in step 1 (an example of the target step)
  • the user performs an operation of selecting the icon 542 using the input unit 24.
  • the output unit 204 displays the screen 252 shown in FIG. 6 on the display unit 25 again.
  • the user uses the input unit 24 to perform an operation of selecting a color sample 521 representing the color of another foundation from the plurality of color samples 521. This selects a different foundation color.
  • the generation unit 202 changes the foundation color applied to the entire face area in step 1 to the selected other color. This change in the color of the foundation is reflected in all the face images to which the makeup in Step 1 has been applied. Specifically, the generation unit 202 changes the color of the layer image 611 included in the layer 61 illustrated in FIG. 7 to another selected color. As a result, the color of the foundation is changed to another color in all the face images including the layer 61, that is, in all the face images generated for the processes after the process 1.
  • the generation unit 202 may generate a new layer, and in this layer, paint a different foundation color in a range corresponding to the entire face area. In this case, this new layer is used instead of the layer 61.
  • At least one process included in the plurality of processes may be deleted later.
  • the process 2-1 an example of the target process
  • the user performs an operation of selecting and deleting the icon 543 shown in FIG. Thereby, the process 2-1 is deleted.
  • the generation unit 202 deletes the layer 62-1 generated in the process 2-1.
  • the color portion of the eye shadow applied for the first time is deleted from all the face images including the layer 62-1, that is, all the face images generated for the processes after the process 2-1.
  • the screen displayed in the simulation process includes an end button 516.
  • the user presses the end button 516 using the input unit 24.
  • the end button 516 is pressed, the process proceeds to step S12 shown in FIG.
  • the synthesizing unit 203 includes the left half of the face image 261 (an example of the first face image) before applying makeup and a face image (an example of the second face image) on which all the steps of makeup have been applied. Are combined with the right half to generate a composite image 551.
  • the face image that has been subjected to makeup in all the steps is a process in which these steps are performed when makeup is performed in steps 1, 2-1, 2, 2, 3, and 4. Is a face image after makeup is applied.
  • the synthesis unit 203 first cuts out the left half from the face image 261.
  • the synthesizing unit 203 cuts out the right half from the user's face image that has been subjected to makeup in all steps. Then, the synthesizing unit 203 synthesizes these parts to generate a synthesized image 551.
  • the output unit 204 displays a screen 255 including the composite image 551 on the display unit 25.
  • FIG. 13 is a diagram illustrating an example of the screen 255.
  • This screen 255 includes a composite image 551.
  • the left half of the composite image 551 is a user's face image before applying makeup, and the right half is a user's face image after applying makeup in all steps.
  • the screen 255 includes a process list 254 shown in FIG. The user can freely change the left half or the right half of the composite image 551 by selecting a desired process.
  • the left half of the composite image 551 is changed to a face image 263 (an example of the first face image) on which makeup has been applied up to step 2-1 (an example of the first step), and the right side of the composite image 551 is displayed.
  • a case is assumed where half is changed to a face image 264 (an example of a second face image) on which makeup has been applied up to step 2-2 (an example of a second step).
  • the user performs an operation of selecting the icons 543 and 544 using the input unit 24.
  • the synthesis unit 203 cuts out the left half from the face image 263. Further, the synthesis unit 203 cuts out the right half from the face image 264.
  • the synthesizing unit 203 then synthesizes these parts to generate a synthesized image 552.
  • the composite image 552 is generated, the composite image 552 is displayed instead of the composite image 551.
  • the screen 255 includes a determination button 553. If the user likes the makeup that has been simulated, the user presses the enter button 553 using the input unit 24. When the enter button 553 is pressed, the process proceeds to step S13 shown in FIG.
  • step S13 the output unit 204 displays the purchase screen 256 on the display unit 25.
  • This purchase screen 256 includes product information on cosmetics used for the makeup for which simulation has been performed.
  • This cosmetic product information is provided from the server 10.
  • the output unit 204 transmits information indicating the makeup on which the simulation is performed to the server 10.
  • This information includes information indicating the color of makeup.
  • the server 10 determines a cosmetic corresponding to the makeup for which the simulation has been performed. For example, when the simulated makeup color is a makeup color using a cosmetic product that is actually sold, this cosmetic product may be determined.
  • a cosmetic product that is used for makeup having a color similar to the simulated makeup color is determined. May be.
  • Foundation A, Eyeshadow B, Teak C, and Lipstick D are determined.
  • the server 10 transmits the determined cosmetic product information to the user terminal 20.
  • FIG. 14 is a diagram illustrating an example of the purchase screen 256.
  • the purchase screen 256 includes product information of foundation A, product information of eye shadow B, product information of teak C, and product information of lipstick D.
  • the purchase screen 256 includes purchase buttons 561 to 564.
  • Purchase buttons 561 to 564 are used for operations for executing the purchase of foundation A, eye shadow B, teak C, and lipstick D, respectively.
  • the user presses the purchase button 562 using the input unit 24.
  • purchase button 562 is pressed, a procedure for purchasing eye shadow B by electronic commerce is performed. Thereby, the purchase of the eye shadow B is completed.
  • the face images before and after the makeup is applied or the face images before and after the makeup in a certain process can be compared in one face image. Therefore, it becomes easy to recognize the effect of makeup in the simulation of makeup.
  • the present invention is not limited to the above-described embodiment.
  • the embodiment may be modified as follows. Moreover, you may implement combining the following modifications.
  • a makeup simulation may be performed using a cosmetic or a makeup tool owned by the user.
  • the storage unit 27 of the user terminal 20 stores information indicating cosmetics or makeup tools owned by the user in advance.
  • Each screen displayed in the simulation process described above includes a call button.
  • the output unit 204 displays a list of the cosmetics or makeup tools on the display unit 25. This list of cosmetics or makeup tools may be included in a part of the screen already displayed on the display unit 25, or may be displayed in a pop-up format on this screen.
  • the user uses the input unit 24 to select a desired cosmetic or makeup tool from the list of cosmetics or makeup tools.
  • the generation unit 202 generates a face image with makeup according to the selected cosmetic or makeup tool. For example, the generation unit 202 applies a makeup color corresponding to the selected cosmetic to the target portion of the face image.
  • the user can perform a makeup simulation using a cosmetic or a makeup tool owned by the user. Therefore, for example, it is possible to purchase cosmetics used for makeup that matches the color of the cosmetics that the user owns.
  • the makeup color displayed on the display unit 25 may be different from the actual makeup color.
  • the actual makeup color can be estimated from the makeup color displayed on the display unit 25.
  • a background or light effect corresponding to the scene may be added to the composite image.
  • This scene refers to a scene according to time or place such as outdoor at daytime, office at daytime, restaurant at night.
  • the light intensity that illuminates the user such as light intensity, color, direction, and light source position, is different.
  • the light effect is an image simulating the light illuminated by the user in each scene.
  • the synthesizing unit 203 may add a typical image representing the interior of a restaurant at night to the background of the synthesized image 551 shown in FIG. 13, for example.
  • the synthesis unit 203 may add a light effect imitating lighting typically used in a restaurant at night to the synthesized image 551.
  • a shadow may be added to the composite image 551 in accordance with the unevenness of the user's face. The unevenness of the user's face may be set in advance.
  • a three-dimensional composite image may be generated, and a shadow may be added to the composite image. This three-dimensional composite image may be generated, for example, when the user images his / her head from 360 degrees in all directions with the imaging unit 26.
  • a sound that matches the scene selected by the user may be output.
  • the user terminal 20 includes a speaker that outputs sound. For example, when a night restaurant scene is selected as described above, music with a calm atmosphere that is played in a night restaurant may be output.
  • a face image after a lapse of time after makeup is applied may be displayed.
  • the state where the makeup is broken includes, for example, a state where the makeup color is removed, a state where the makeup color is dull, a state where gloss is increased by sweat and sebum, or a state where the makeup color spreads to other areas. It is.
  • the generation unit 202 generates a face image after a predetermined time has elapsed since applying makeup in order to simulate the state in which the makeup is broken. Specifically, the generation unit 202 changes the makeup color, the color of the facial image, or the region where the makeup is applied from the facial image immediately after the makeup, thereby obtaining the facial image after a predetermined time has elapsed. Generate.
  • a face image after a predetermined time has passed may have a lower density or saturation of makeup color than a face image immediately after makeup. Further, the face image after a predetermined time has passed may be partially higher in gloss than the face image immediately after makeup. Furthermore, the face image after a predetermined time has passed may be enlarged in the area where the makeup color is applied, compared to the face image immediately after the makeup.
  • the synthesizing unit 203 may generate a synthesized image by synthesizing the left half of the face image immediately after makeup and the right half of the face image after a predetermined time has elapsed.
  • the degree of makeup breaking down may vary depending on the cosmetic.
  • selection of a cosmetic used for makeup may be received, and the above-described color change amount or region change amount may be changed depending on the selected cosmetic product.
  • the composition unit 203 applies the makeup using a certain cosmetic, then applies the makeup to the left half of the face image after a predetermined time has passed and the makeup using another cosmetic.
  • the composite image may be generated by combining the right half of the face image after the elapse of time.
  • Modification 4 The method of generating the composite image is not limited to the method described in the embodiment.
  • the upper half of a certain face image and the lower half of another face image may be combined.
  • a half of a specific area of a certain face image and a portion other than half of a specific area of another face image may be combined.
  • the right half of the mouth area of a certain face image and the other area of another face image that is, the left half of the mouth area and the area other than the mouth may be combined.
  • a part of three or more face images may be synthesized.
  • the ratio of the plurality of face images constituting the composite image may be changed.
  • the screen 255 includes a dividing line 554 that indicates boundaries between a plurality of face images that form the composite image.
  • the user performs an operation of moving the dividing line 554 using the input unit 24.
  • the synthesizing unit 203 re-synthesizes the two face images constituting the synthesized image 551 according to the ratio corresponding to the position of the divided line 554 after the movement.
  • Modification 6 In the embodiment described above, some of the plurality of face images are combined and displayed. However, these face images may be alternately displayed without being synthesized.
  • the right half or the left half of a plurality of face images on which makeup has been performed up to a plurality of steps performed before the target step may be displayed in order.
  • the face image constituting the right half of the composite image 551 shown in FIG. 13 is a face image after the makeup of steps 1, 2-1, 2-2, 3, and 4 has been performed.
  • the right halves of a plurality of face images to which makeup has been applied up to these steps may be displayed in order.
  • the display time of each face image is shortened, a state in which makeup in each step is applied in order to the right half of the user's face image is displayed like a moving image.
  • the purchase screen 256 may include product information on the makeup tool used in the makeup simulation.
  • the server 10 stores pre-registered product information of the makeup tool.
  • the user terminal 20 transmits information indicating the makeup tool used in the makeup simulation to the server 10.
  • the server 10 determines a makeup tool corresponding to the makeup tool used in the makeup simulation based on the information indicating the makeup tool received from the user terminal 20, and transmits product information of the makeup tool to the user terminal 20.
  • the makeup tool determined by the server 10 may be a makeup tool that is the same as or similar to the makeup tool used in the makeup simulation, for example, or may be a makeup tool having a similar function.
  • Modification 8 The makeup simulation process described above may be performed by the user terminal 20 used by the user and a terminal different from the user terminal 20.
  • FIG. 15 is a diagram illustrating an example of the purchase support system 3 (an example of an image processing system) according to a modification.
  • the purchase support system 3 includes a terminal 30 in addition to the server 10 and the user terminal 20 shown in FIG.
  • the user terminal 20 and the terminal 30 are connected via the network 2.
  • the terminal 30 is a computer such as a tablet terminal, a portable terminal, or a personal computer.
  • the terminal 30 is used, for example, by a professional makeup artist.
  • the user terminal 20 transmits the user's face image captured by the imaging unit 26 to the terminal 30.
  • the terminal 30 applies makeup to the face image received from the user terminal 20, and generates a face image after makeup.
  • the terminal 30 has the function of the generation unit 202 described above.
  • the terminal 30 transmits the face image after makeup to the user terminal 20.
  • the user terminal 20 combines a part of the face image before makeup and a part of the face image after makeup to generate a composite image and outputs it. The user can learn makeup suitable for his / her face by viewing the composite image.
  • Modification 9 The steps of processing performed in the purchase support system 1 are not limited to the example described in the above-described embodiment. The steps of this process may be interchanged as long as there is no contradiction.
  • the present invention may be provided as a method including steps of processing performed in the purchase support system 1 or the user terminal 20.
  • the present invention may be provided as a program executed on the user terminal 20.
  • This program may be downloaded via the network 2 such as the Internet.
  • These programs are provided in a state where they are recorded on a computer-readable recording medium such as a magnetic recording medium (magnetic tape, magnetic disk, etc.), an optical recording medium (optical disk, etc.), a magneto-optical recording medium, or a semiconductor memory. May be.

Abstract

ユーザ端末は、ユーザの顔画像を取得する取得部と、取得部により取得された顔画像を用いて、化粧が施された少なくとも１の顔画像を生成する生成部と、取得部により取得された顔画像又は生成部により生成された少なくとも１の顔画像を含む複数の顔画像の一部を合成して合成画像（５５１又は５５２）を生成する合成部と、合成部により生成された合成画像を出力する出力部とを備える。

Description

画像処理装置、画像処理システム、及びプログラム
　本発明は、画像処理装置、画像処理システム、及びプログラムに関する。
　化粧のシミュレーションを行う技術が知られている。例えば特許文献１には、ユーザの顔を撮影した動画像にメイクアップ処理を施すメイクアップシミュレーションシステムが記載されている。特許文献２には、ユーザの顔画像を用いて化粧のシミュレーションを行うゲーム装置が記載されている。
特開２０１２－１１３７４７号公報 特開２０１０－１７３６０号公報
　特許文献１及び２に記載の技術ではいずれも、化粧前の顔画像と化粧後の顔画像とが単に表示されるだけであり、化粧の効果を認識し易くする工夫はない。
　本発明は、化粧のシミュレーションにおいて、化粧の効果を認識し易くすることを目的とする。
課題を解決する手段
　本発明は、ユーザの顔画像を取得する取得部と、前記取得された顔画像を用いて、化粧が施された少なくとも１の顔画像を生成する生成部と、前記取得された顔画像又は前記生成された少なくとも１の顔画像を含む複数の顔画像の一部を合成して合成画像を生成する合成部と、前記生成された合成画像を出力する出力部とを備える画像処理装置を提供する。
　本発明によれば、化粧のシミュレーションにおいて、化粧の効果を認識し易くすることができる。
購入支援システム１の構成の一例を示す図。 ユーザ端末２０のハードウェア構成の一例を示す図。 ユーザ端末２０の機能構成の一例を示す図。 ユーザ端末２０の動作の一例を示すフローチャート。 画面２５１の一例を示す図。 画面２５２の一例を示す図。 レイヤ６１の一例を示す図。 画面２５３の一例を示す図。 レイヤ６２‐１の一例を示す図。 レイヤ６２‐２の一例を示す図。 化粧を施す複数の工程の一例を示す図。 化粧を施す工程の一覧２５４の一例を示す図。 画面２５５の一例を示す図。 購入画面２５６の一例を示す図。 変形例に係る購入支援システム３の一例を示す図。
１、３…購入支援システム、１０…サーバ、２０…ユーザ端末、２０１…取得部、２０２…生成部、２０３…合成部、２０４…出力部
構成
　図１は、本実施形態に係る購入支援システム１の構成の一例を示す図である。購入支援システム１では、化粧品の購入を支援するために、ユーザの顔画像を用いた化粧のシミュレーションが行われる。購入支援システム１は、サーバ１０とユーザ端末２０（画像処理装置の一例）とを備える。サーバ１０とユーザ端末２０とは、ネットワーク２を介して接続される。ネットワーク２は、例えばインターネットである。ただし、ネットワーク２は、インターネットに限定されず、他の通信回線であってもよい。
　サーバ１０は、予め登録された化粧品の商品情報を格納する。この化粧品の商品情報には、例えば化粧品の名称、ブランド名、価格、化粧品を表す画像データが含まれる。サーバ１０は、シミュレーションが行われた化粧に対応する化粧品の商品情報をユーザ端末２０に提供する。
　ユーザ端末２０は、ユーザにより使用される。ユーザは、ユーザ端末２０を使用して化粧のシミュレーションを行う。また、ユーザは、ユーザ端末２０を使用してサーバ１０から提供された化粧品の商品情報を閲覧する。
　図２は、ユーザ端末２０のハードウェア構成の一例を示す図である。ユーザ端末２０は、タブレット端末、携帯端末、パーソナルコンピュータ等のコンピュータである。ユーザ端末２０は、プロセッサ２１と、メモリ２２と、通信インタフェース２３と、入力部２４と、表示部２５と、撮像部２６と、記憶部２７とを備える。
　プロセッサ２１は、メモリ２２に記憶されたプログラムに従って各種の処理を実行する。プロセッサ２１としては、例えばＣＰＵ（Central Processing Unit）が用いられる。メモリ２２は、プロセッサ２１により実行されるプログラムを記憶する。メモリ２２としては、例えばＲＡＭ（Random Access Memory）が用いられる。通信インタフェース２３は、ネットワーク２に接続され、ネットワーク２を介して通信を行う。
　入力部２４は、ユーザ端末２０の操作に用いられ、操作に応じた情報をユーザ端末２０に入力する。入力部２４としては、例えばタッチパネル又はボタンが用いられる。表示部２５は、各種の情報を表示する。表示部２５としては、例えば液晶ディスプレイが用いられる。撮像部２６は、画像を撮影する。撮像部２６としては、例えばカメラが用いられる。記憶部２７は、各種のプログラム及びデータを記憶する。記憶部２７としては、例えばフラッシュメモリ又はハードディスクドライブが用いられる。
　図３は、ユーザ端末２０の機能構成の一例を示す図である。ユーザ端末２０は、取得部２０１、生成部２０２、合成部２０３、及び出力部２０４として機能する。これらの機能は、１以上のプロセッサ２１がメモリ２２に記憶されたプログラムを実行することにより実現される。
　取得部２０１は、ユーザの顔画像を取得する。例えば取得部２０１は、撮像部２６により撮影されたユーザの顔画像を取得する。他の例として、ユーザの顔画像が予め記憶部２７に記憶されている場合には、取得部２０１は、記憶部２７からユーザの顔画像を取得してもよい。
　生成部２０２は、取得部２０１により取得された顔画像を用いて、化粧が施された少なくとも１の顔画像を生成する。化粧を施す工程が複数の工程を含む場合、生成部２０２は、各工程までの化粧が施された複数の顔画像を生成してもよい。なお、この「工程までの化粧」という用語には、対象の工程で施された化粧と、対象の工程より前の工程で施された化粧とが両方とも含まれる。
　合成部２０３は、取得部２０１により取得された顔画像又は生成部２０２により生成された少なくとも１の顔画像を含む複数の顔画像の一部を合成して合成画像を生成する。この複数の顔画像は、例えば第１の顔画像と第２の顔画像の２個の顔画像である。第１の顔画像は、取得部２０１により取得された顔画像、すなわち化粧を施す前の顔画像であってもよいし、複数の工程のうち第１の工程までの化粧が施された顔画像であってもよい。第２の顔画像は、複数の全ての工程の化粧が施された顔画像であってもよいし、複数の工程のうち第２の工程までの化粧が施された顔画像であってもよい。なお、第１の工程と第２の工程とは、異なる工程である。
　出力部２０４は、合成部２０３により生成された合成画像を含む各種の画像を出力する。例えば出力部２０４は、合成画像を表示部２５に表示する。他の例として、出力部２０４は、通信インタフェース２３を介して合成画像を外部装置に送信してもよい。他の例として、ユーザ端末２０がプリンタを備える場合には、合成画像をプリントしてもよい。
動作
　図４は、本実施形態に係るユーザ端末２０の動作の一例を示すフローチャートである。この動作では、ユーザの顔画像を用いて化粧のシミュレーションが行われる。そして、シミュレーションが行われた化粧に対応する化粧品がユーザにレコメンドされる。
　ステップＳ１１において、化粧のシミュレーション処理が行われる。具体的には、まずユーザは、撮像部２６を用いて自分の顔画像２６１を撮影する。取得部２０１は、撮像部２６により撮影された顔画像２６１を取得する。顔画像２６１が撮影されると、出力部２０４は、化粧を施す部位（以下、「対象部位」という。）の選択を受け付ける画面２５１を表示部２５に表示する。
　図５は、画面２５１の一例を示す図である。画面２５１には、化粧が施される前の顔画像２６１が含まれる。また、画面２５１には、対象部位の選択に用いられるボタン５１１～５１４が含まれる。この対象部位には、顔全体、目、頬、口等の顔の部位が含まれる。なお、ここでいう「目」とは、瞼の間の眼球部分ではなく、アイホールのことをいう。ここでは、ユーザが最初に顔画像２６１の顔全体の領域にファンデーションの色を塗る場合を想定する。この場合、ユーザは、入力部２４を用いてボタン５１１を押す。これにより、対象部位として顔全体が選択される。
　他の例として、画面２５１に表示されたカーソルを用いて対象部位が選択されてもよい。この場合、ユーザは、入力部２４を用いて、カーソルを所望の対象部位の位置に移動させ、この対象部位を選択する操作を行う。このような操作により、対象部位が選択されてもよい。
　対象部位として顔全体が選択されると、出力部２０４は、ファンデーションの色の選択を受け付ける画面２５２を表示部２５に表示する。
　図６は、画面２５２の一例を示す図である。画面２５２には、ファンデーションの色の選択に用いられる複数の色見本５２１が含まれる。これらの色見本５２１には、色の種類が異なる色見本５２１だけでなく、色の濃度や質感が異なる色見本５２１が含まれていてもよい。この質感は、例えばパールの量、ラメの量、又は透明度によって変化する。なお、色見本５２１の色は、実際に販売されている商品の色であってもよいし、実際に販売されている商品の色とは無関係の色であってもよい。ユーザは、入力部２４を用いて、色見本５２１の中から所望のファンデーションの色を表す色見本５２１を選択する操作を行う。これにより、ファンデーションの色が選択される。
　ファンデーションの色が選択されると、生成部２０２は、顔画像２６１に含まれる顔全体の領域に、選択されたファンデーションの色を塗る。具体的には、生成部２０２は、画像認識により顔画像２６１から顔全体の領域を抽出する。この抽出には、例えば目、鼻、口等の特徴点の位置関係を用いた周知の顔認識技術が用いられてもよい。続いて生成部２０２は、新たなレイヤ６１を生成し、このレイヤ６１において、抽出された領域に対応する範囲に、選択されたファンデーションの色を塗る。
　図７は、レイヤ６１の一例を示す図である。レイヤ６１には、顔全体の領域に塗られたファンデーションの色部分を表すレイヤ画像６１１が含まれる。レイヤ６１が生成されると、図６に示す顔画像２６１の上にレイヤ６１が重ねられる。これにより、ファンデーションの色が塗られた顔画像２６２が表示される。
　また、画面２５２は、ファンデーションを塗るときに使用される化粧道具の選択を受け付ける。画面２５２には、スポンジやブラシ等の化粧道具の選択に用いられる複数のアイコン５２２が含まれる。各アイコン５２２には、化粧道具を表す画像が含まれる。なお、この画像は、実際に販売されている商品を表す画像であってもよいし、化粧道具を表すイラストであってもよい。ユーザは、入力部２４を用いて、複数のアイコン５２２の中から、所望の化粧道具を表すアイコン５２２を選択する操作を行う。これにより、化粧道具が選択される。なお、化粧道具は、必ずしも選択されなくてもよい。
　化粧道具が選択された場合、生成部２０２は、選択された化粧道具に応じた濃度又は濃度の均一度で、ファンデーションの色を塗る。例えば、ブラシが選択された場合、ファンデーションの色は、基準の濃度よりも低い濃度であるとともに、基準の濃度の均一度より高い均一度で塗られてもよい。一方、スポンジが選択された場合、ファンデーションの色は、基準の濃度よりも高い濃度であるとともに、基準の濃度の均一度より低い均一度で塗られてもよい。このように、ユーザによって選択された化粧道具によって、化粧の色の濃度又は濃度の均一度が変更される。
　続いて、ユーザが目の領域にアイシャドウの色を塗る場合を想定する。この場合、ユーザは、入力部２４を用いて図６に示すボタン５１２を押す。これにより、対象部位として目が選択される。対象部位として目が選択されると、出力部２０４は、アイシャドウの色の選択を受け付ける画面２５３を表示部２５に表示する。
　図８は、画面２５３の一例を示す図である。画面２５３には、アイシャドウの色の選択に用いられる複数の色見本５３１が含まれる。なお、色見本５３１の色は、実際に販売されている商品の色であってもよいし、実際に販売されている商品の色とは無関係の色であってもよい。ユーザは、入力部２４を用いて、複数の色見本５３１の中から所望のアイシャドウの色を表す色見本５３１を選択する操作を行う。これにより、アイシャドウの色が選択される。
　アイシャドウの色が選択されると、生成部２０２は、顔画像２６２に含まれる目の領域に、選択されたアイシャドウの色を塗る。具体的には、生成部２０２は、画像認識により顔画像２６１から目の領域を抽出する。続いて生成部２０２は、新たなレイヤ６２‐１を生成し、このレイヤ６２‐１において、抽出した領域に対応する範囲に、選択されたアイシャドウの色を塗る。
　図９は、レイヤ６２‐１の一例を示す図である。レイヤ６２‐１には、目の領域に塗られたアイシャドウの色部分を表すレイヤ画像６２１が含まれる。レイヤ６２‐１が生成されると、図８に示す顔画像２６２にレイヤ６２‐１が重ねられる。これにより、ファンデーションの色が塗られた上に、アイシャドウの色が塗られた顔画像２６３が表示される。
　また、画面２５３は、アイシャドウを塗るときに使用される化粧道具の選択を受け付ける。画面２５３には、チップやブラシ等の化粧道具の選択に用いられる複数のアイコン５３２が含まれる。各アイコン５３２には、化粧道具を表す画像が含まれる。なお、この画像は、実際に販売されている商品を表す画像であってもよいし、化粧道具のイラストであってもよい。ユーザは、入力部２４を用いて、複数のアイコン５３２の中から、所望の化粧道具を表すアイコン５３２を選択する操作を行う。これにより、化粧道具が選択される。なお、化粧道具は、必ずしも選択されなくてもよい。
　化粧道具が選択された場合、生成部２０２は、選択された化粧道具に応じた濃度で、又はこの化粧道具に応じた範囲にアイシャドウの色を塗ってもよい。また、生成部２０２は、選択された化粧道具に応じた範囲だけ、アイシャドウの色の境界部分をぼかしてもよい。例えば、チップが選択された場合、アイシャドウの色は、基準の濃度よりも高い濃度で、基準の範囲よりも小さい範囲に塗られてもよい。一方、ブラシが選択された場合、アイシャドウの色は、基準の濃度よりも低い濃度で、基準の範囲よりも大きい範囲に塗られるとともに、その境界部分が基準の範囲よりも大きい範囲でぼかされてもよい。このように、ユーザにより選択された化粧道具によって、化粧の色の濃度、化粧が施される範囲、又は化粧の色の境界部分をぼかす範囲が変更される。
　また、ユーザは、アイシャドウの色を複数回重ねて塗ってもよい。この場合、ユーザは、アイシャドウの色が１回目に塗られた後、入力部２４を用いて、再び図８に示す複数の色見本５３１の中から所望のアイシャドウの色を表す色見本５３１を選択する操作を行う。これにより、２回目に塗るアイシャドウの色が選択される。
　１回目に塗られたアイシャドウの色と同一の色が選択された場合には、アイシャドウの色を重ねて塗ることにより、アイシャドウの色が濃くなる。このように、同一の化粧の色が重ねて塗られる場合には、重ねて塗る回数が増えるほど、化粧の色の濃度は高くなる。一方、１回目に塗られたアイシャドウの色と異なる色が選択された場合には、アイシャドウの色を重ねて塗ることにより、アイシャドウの色が変更される。具体的には、アイシャドウの色は、１回目に塗られたアイシャドウの色と２回目に塗られたアイシャドウの色とを合わせた色に変更される。このように、異なる化粧の色が重ねて塗られる場合には、化粧の色は、重ねられた全ての化粧の色を合わせた色に変更される。
　また、アイシャドウの色が複数回重ねて塗られる場合、アイシャドウの色が１回塗られる度に、異なるレイヤが生成されてもよい。例えば、１回目にアイシャドウの色が塗られた場合には、図９に示すレイヤ６２‐１が生成される。２回目にアイシャドウの色が塗られた場合には、新たなレイヤ６２－２が生成される。
　図１０は、レイヤ６２‐２の一例を示す図である。レイヤ６２‐２には、レイヤ画像６２１と同様に、目の領域に塗られたアイシャドウの色部分を表すレイヤ画像６２２が含まれる。レイヤ６２－２が生成されると、図８に示す顔画像２６３の上にレイヤ６２－２が重ねられる。これにより、ファンデーションの色が塗られた上に、アイシャドウの色が２回重ねて塗られた顔画像２６４が表示される。
　このようにして、複数の工程によりユーザの顔画像２６１に化粧が施されていく。この複数の工程は、前後の順番が決められた一連の工程である。
　図１１は、化粧を施す工程の一例を示す図である。この例では、化粧を施す工程には、工程１、２‐１、２‐２、３、及び４が含まれる。これらの工程は、工程１、２‐１、２‐２、３、及び４という順番で行われる。
　工程１においては、顔全体の領域にファンデーションの色が塗られる。工程１では、図７に示すレイヤ６１が生成される。続いて、工程２‐１においては、目の領域にアイシャドウの色が塗られる（１回目）。この工程２‐１では、図９に示すレイヤ６２‐１が生成される。続いて、工程２‐２においては、目の領域にアイシャドウの色が重ねて塗られる（２回目）。工程２‐２では、図１０に示すレイヤ６２‐２が生成される。続いて、工程３においては、頬の領域にチークの色が塗られる。工程３では、頬の領域に塗られたチークの色部分を表すレイヤ画像を含むレイヤが生成される。続いて、工程４においては、口の領域に口紅が塗られる。工程４では、口の領域に塗られた口紅の色部分を表すレイヤ画像を含むレイヤが生成される。
　これらの工程のうち、工程１、３、及び４は、化粧が施される領域に基づいて区切られた工程である。一方、工程２‐１及び２‐２は、化粧が塗られた回に基づいて区切られた工程である。なお、図１１に示す例では、アイシャドウの色を塗る工程が工程２‐１及び２‐１に分けられているが、これらの工程が１つの工程として扱われてもよい。
　生成部２０２は、図１１に示す工程毎に、その工程までの化粧が施された顔画像を生成する。例えば、工程１については、化粧が施される前の顔画像２６１の上に図７に示すレイヤ６１を重ねることにより、工程１で化粧が施された後の顔画像２６２が生成される。工程２‐１については、この顔画像２６２の上に、図９に示すレイヤ６２‐１を重ねることにより、工程１及び２‐１で化粧が施された後の顔画像２６３が生成される。工程２‐２については、この顔画像２６３の上に、図１０に示す６２‐２を重ねることにより、工程１、２‐１、及び２‐２で化粧が施された後の顔画像２６４が生成される。他の工程についても同様に、化粧が施される前の顔画像２６１の上に、その工程以前の工程で生成された全てのレイヤを順番に重ねることにより、顔画像が生成される。
　ここで、各工程で施された化粧の内容は、後から変更されてもよい。図５、６、及び８に示すように、このシミュレーション処理において表示される画面には、いずれも戻るボタン５１５が含まれる。化粧の内容を変更したい場合、ユーザは、入力部２４を用いて、戻るボタン５１５を押す。戻るボタン５１５が押されると、出力部２０４は、化粧を施す工程の一覧２５４を表示部２５に表示する。この工程の一覧２５４は、既に表示部２５に表示されている画面の一部に含まれてもよいし、この画面の上にポップアップ形式で表示されてもよい。
　図１２は、化粧を施す工程の一覧２５４の一例を示す図である。この工程の一覧２５４には、各工程の選択に用いられるアイコン５４１～５４６が含まれる。アイコン５４１～５４６にはそれぞれ、対応する工程までの化粧が施された顔画像のサムネイルが含まれる。例えば、アイコン５４１は、化粧前の状態の選択に用いられる。アイコン５４１には、化粧が施される前の顔画像２６１のサムネイルが含まれる。アイコン５４２は、工程１の選択に用いられる。アイコン５４２には、工程１で化粧が施された後の顔画像２６２のサムネイルが含まれる。アイコン５４３は、工程２‐１の選択に用いられる。アイコン５４３には、工程２‐１で化粧が施された後の顔画像２６３のサムネイルが含まれる。
　ここでは、工程４が終了した後、工程１（対象の工程の一例）で塗られたファンデーションの色を変更する場合を想定する。この場合、ユーザは、入力部２４を用いて、アイコン５４２を選択する操作を行う。アイコン５４２が選択されると、出力部２０４は、図６に示す画面２５２を再び表示部２５に表示する。ユーザは、入力部２４を用いて、複数の色見本５２１の中から別のファンデーションの色を表す色見本５２１を選択する操作を行う。これにより、別のファンデーションの色が選択される。
　別のファンデーションの色が選択されると、生成部２０２は、工程１で顔全体の領域に塗られたファンデーションの色を選択された別の色に変更する。このファンデーションの色の変更は、工程１の化粧が施された全ての顔画像に反映される。具体的には、生成部２０２は、図７に示すレイヤ６１に含まれるレイヤ画像６１１の色を選択された別の色に変更する。これにより、このレイヤ６１を含む全ての顔画像、すなわち工程１以降の工程について生成された全ての顔画像において、ファンデーションの色が別の色に変更される。
　他の例として、生成部２０２は、新たなレイヤを生成し、このレイヤにおいて、顔全体の領域に対応する範囲に、別のファンデーションの色を塗ってもよい。この場合、レイヤ６１に代えて、この新たなレイヤが用いられる。
　また、複数の工程に含まれる少なくとも１の工程が後から削除されてもよい。例えば、工程４が完了した後、１回目に塗られたアイシャドウの色が不要な場合には、工程２‐１（対象の工程の一例）が削除されてもよい。この場合、ユーザは、入力部２４を用いて、図１２に示すアイコン５４３を選択して削除する操作を行う。これにより、工程２‐１が削除される。
　工程２‐１が削除されると、生成部２０２は、工程２‐１において生成されたレイヤ６２‐１を削除する。これにより、レイヤ６２‐１を含む全ての顔画像、すなわち工程２‐１以降の工程について生成された全ての顔画像から、１回目に塗られたアイシャドウの色部分が削除される。
　図５、６、及び８に示すように、シミュレーション処理において表示される画面には、いずれも終了ボタン５１６が含まれる。化粧のシミュレーションを終了する場合、ユーザは、入力部２４を用いて終了ボタン５１６を押す。終了ボタン５１６が押されると、処理は図４に示すステップＳ１２に進む。
　ステップＳ１２において、合成部２０３は、化粧を施す前の顔画像２６１（第１の顔画像の一例）の左半分と全ての工程の化粧が施された顔画像（第２の顔画像の一例）の右半分とを合成して、合成画像５５１を生成する。この全ての工程の化粧が施された顔画像とは、例えば図１１に示すように工程１、２‐１、２‐２、３、及び４により化粧が施された場合には、これらの工程で化粧が施された後の顔画像である。具体的には、合成部２０３は、まず顔画像２６１から左半分を切り出す。続いて、合成部２０３は、全ての工程の化粧が施されたユーザの顔画像から右半分を切り出す。そして、合成部２０３は、これらの部分を合成して合成画像５５１を生成する。出力部２０４は、この合成画像５５１を含む画面２５５を表示部２５に表示する。
　図１３は、画面２５５の一例を示す図である。この画面２５５には、合成画像５５１が含まれる。合成画像５５１の左半分は、化粧を施す前のユーザの顔画像であり、右半分は、全ての工程の化粧が施された後のユーザの顔画像である。また、画面２５５には、図１２に示す工程の一覧２５４が含まれる。ユーザは、所望の工程を選択することにより、合成画像５５１の左半分又は右半分を自由に変更することができる。
　ここでは、合成画像５５１の左半分を工程２‐１（第１の工程の一例）までの化粧が施された顔画像２６３（第１の顔画像の一例）に変更し、合成画像５５１の右半分を工程２‐２（第２の工程の一例）までの化粧が施された顔画像２６４（第２の顔画像の一例）に変更する場合を想定する。この場合、ユーザは、入力部２４を用いて、アイコン５４３及び５４４を選択する操作を行う。この場合、合成部２０３は、顔画像２６３から左半分を切り出す。また、合成部２０３は、顔画像２６４から右半分を切り出す。そして、合成部２０３は、これらの部分を合成して合成画像５５２を生成する。合成画像５５２が生成されると、合成画像５５１に代えて合成画像５５２が表示される。
　画面２５５には、決定ボタン５５３が含まれる。シミュレーションが行われた化粧を気に入った場合、ユーザは、入力部２４を用いて決定ボタン５５３を押す。決定ボタン５５３が押されると、処理は図４に示すステップＳ１３に進む。
　ステップＳ１３において、出力部２０４は、購入画面２５６を表示部２５に表示する。この購入画面２５６には、シミュレーションが行われた化粧に用いられる化粧品の商品情報が含まれる。この化粧品の商品情報は、サーバ１０から提供される。具体的には、出力部２０４は、シミュレーションが行われた化粧を示す情報をサーバ１０に送信する。この情報には、化粧の色を示す情報が含まれる。サーバ１０は、ユーザ端末２０から受信した情報に基づいて、シミュレーションが行われた化粧に対応する化粧品を決定する。例えば、シミュレーションが行われた化粧の色が、実際に販売されている化粧品を用いた化粧の色である場合には、この化粧品が決定されてもよい。一方、シミュレーションが行われた化粧が、実際に販売されている化粧品を用いた化粧の色ではない場合には、シミュレーションが行われた化粧の色と類似する色の化粧に用いられる化粧品が決定されてもよい。ここでは、ファンデーションＡ、アイシャドウＢ、チークＣ、及び口紅Ｄが決定された場合を想定する。サーバ１０は、決定した化粧品の商品情報をユーザ端末２０に送信する。
　図１４は、購入画面２５６の一例を示す図である。この購入画面２５６には、ファンデーションＡの商品情報、アイシャドウＢの商品情報、チークＣの商品情報、及び口紅Ｄの商品情報が含まれる。また、購入画面２５６には、購入ボタン５６１～５６４が含まれる。購入ボタン５６１～５６４はそれぞれ、ファンデーションＡ、アイシャドウＢ、チークＣ、口紅Ｄの購入を実行する操作に用いられる。例えば、ユーザは、アイシャドウＢを購入する場合には、入力部２４を用いて購入ボタン５６２を押す。購入ボタン５６２が押されると、電子商取引によりアイシャドウＢを購入する手続きが行われる。これにより、アイシャドウＢの購入が完了する。
　本実施形態によれば、化粧が施される前後の顔画像又はある工程の化粧が施される前後の顔画像を、１つの顔画像の中で見比べることができる。これにより、化粧のシミュレーションにおいて、化粧の効果が認識し易くなる。
変形例
　本発明は上述した実施形態に限定されない。実施形態は、以下のように変形してもよい。また、以下の変形例を組み合わせて実施してもよい。
変形例１
　上述した実施形態において、ユーザが所有する化粧品又は化粧道具を用いて化粧のシミュレーションが行われてもよい。この場合、ユーザ端末２０の記憶部２７には、予めユーザが所有する化粧品又は化粧道具を示す情報が格納される。上述したシミュレーション処理で表示される各画面には、呼び出しボタンが含まれる。ユーザが入力部２４を用いてこの呼び出しボタンを押すと、記憶部２７に記憶された情報に基づいて、ユーザが所有する化粧品又は化粧道具の一覧が生成される。出力部２０４は、この化粧品又は化粧道具の一覧を表示部２５に表示する。この化粧品又は化粧道具の一覧は、既に表示部２５に表示されている画面の一部に含まれてもよいし、この画面の上にポップアップ形式で表示されてもよい。
　化粧品又は化粧道具の一覧が表示されると、ユーザは、入力部２４を用いて、化粧品又は化粧道具の一覧から所望の化粧品又は化粧道具を選択する。生成部２０２は、選択された化粧品又は化粧道具に応じた化粧が施された顔画像を生成する。例えば生成部２０２は、選択された化粧品に応じた化粧の色を顔画像の対象部位に塗る。
　この変形例によれば、ユーザは、自分が所有する化粧品又は化粧道具を用いて、化粧のシミュレーションを行うことができる。そのため、例えば自分が所有する化粧品の色に合う化粧に用いられる化粧品を購入することができる。
　また、表示部２５の特性により、表示部２５に表示された化粧の色が実際の化粧の色と異なる場合がある。しかし、自分が所有する化粧品を用いて化粧のシミュレーションを行うことにより、実際の化粧の色と表示部２５に表示された化粧の色との違いを認識することができる。さらに、この違いを考慮することにより、表示部２５に表示された化粧の色から実際の化粧の色を推測することができる。これにより、化粧のシミュレーションを行ったときに表示部２５に表示された化粧の色と実際に購入した化粧の色とが異なる場合にも、これに起因するユーザの不満を減らすことができる。
変形例２
　上述した実施形態において、シーンに応じた背景又は光のエフェクトが合成画像に追加されてもよい。このシーンとは、昼の屋外、昼のオフィス、夜のレストラン等、時間又は場所に応じた場面をいう。これらのシーンでは、光の強度、色、方向、光源の位置等、ユーザを照らす光の具合が異なる。光のエフェクトは、各シーンでユーザに照らされる光を模した画像である。
　ここでは、ユーザが入力部２４を用いて、夜のレストランのシーンを選択した場合を想定する。この場合、合成部２０３は、例えば図１３に示す合成画像５５１の背景に夜のレストランの店内を表す典型的な画像を追加してもよい。また、合成部２０３は、合成画像５５１に夜のレストランで典型的に使用される照明を模した光のエフェクトを追加してもよい。この場合、ユーザの顔の凹凸に応じて、合成画像５５１に影が付加されてもよい。このユーザの顔の凹凸は、予め設定されてもよい。他の例として、３次元の合成画像が生成され、この合成画像に影が付加されてもよい。この３次元の合成画像は、例えばユーザが撮像部２６で３６０度の全方向から自分の頭部を撮影することにより生成されてもよい。
　また、ユーザにより選択されたシーンに合わせた音が出力されてもよい。この場合、ユーザ端末２０は、音を出力するスピーカを備える。例えば、上述したように夜のレストランのシーンが選択された場合には、夜のレストランで流されるような落ち着いた雰囲気の音楽が出力されてもよい。
変形例３
　上述したシミュレーション処理において、化粧が施されてから時間が経過した後の顔画像が表示されてもよい。実際にユーザの顔に化粧を施した場合、時間が経過するにつれて化粧が崩れてくる。この化粧が崩れた状態には、例えば化粧の色が取れた状態、化粧の色がくすんだ状態、汗と皮脂により光沢が増した状態、又は化粧の色が他の領域に広がった状態が含まれる。生成部２０２は、この化粧が崩れた状態をシミュレーションするために、化粧を施してから所定の時間が経過した後の顔画像を生成する。具体的には、生成部２０２は、化粧直後の顔画像から、化粧の色、顔画像の色、又は化粧が施された領域を変化させることにより、所定の時間が経過した後の顔画像を生成する。
　例えば、所定の時間が経過した後の顔画像は、化粧直後の顔画像に比べて、化粧の色の濃度又は彩度が低くてもよい。また、所定の時間が経過した後の顔画像は、化粧直後の顔画像に比べて、光沢度が部分的に高くてもよい。さらに、所定の時間が経過した後の顔画像は、化粧直後の顔画像に比べて、化粧の色が塗られた領域が拡大されてもよい。この場合、合成部２０３は、化粧直後の顔画像の左半分と、所定の時間が経過した後の顔画像の右半分とを合成して合成画像を生成してもよい。
　他の例として、化粧品によって、化粧が崩れる度合いが異なる場合がある。この場合に、化粧に用いられる化粧品の選択を受け付け、選択された化粧品によって、上述した色の変化量又は領域の変化量を変更してもよい。この場合、合成部２０３は、或る化粧品を用いて化粧が施された後、所定の時間が経過した後の顔画像の左半分と、別の化粧品を用いて化粧が施された後、所定の時間が経過した後の顔画像の右半分とを合成して合成画像を生成してもよい。
変形例４
　合成画像の生成の仕方は、実施形態で説明した方法に限定されない。例えば、或る顔画像の上半分と他の顔画像の下半分とが合成されてもよい。他の例として、或る顔画像の特定の領域の半分と他の顔画像の特定の領域の半分以外の部分とが合成されてもよい。例えば、或る顔画像の口の領域の右半分と、他の顔画像のこれ以外の領域、すなわち口の領域の左半分と口以外の領域とが合成されてもよい。また、３個以上の顔画像の一部が合成されてもよい。
変形例５
　上述した実施形態において、合成画像が生成された後に、合成画像を構成する複数の顔画像の比率が変更されてもよい。図１３に示すように、画面２５５には、合成画像を構成する複数の顔画像の境界を示す分割線５５４が含まれる。ユーザは、入力部２４を用いて、分割線５５４を移動する操作を行う。ここでは、合成画像５５１上の分割線５５４が移動された場合を想定する。分割線５５４が移動されると、合成部２０３は、移動後の分割線５５４の位置に対応する比率に従って、合成画像５５１を構成する２個の顔画像を合成し直す。これにより、例えば合成画像５５１上の分割線５５４が画面２５５に向かって右方向に移動された場合には、合成画像５５１の右半分を構成する顔画像の部分が減り、左半分を構成する顔画像の部分が増える。反対に、この分割線５５４が画面２５５に向かって左方向に移動された場合、合成画像５５１の左半分を構成する顔画像の部分が減り、右半分を構成する顔画像の部分が増える。
変形例６
　上述した実施形態では、複数の顔画像の一部が合成されて表示されていた。しかし、これらの顔画像が合成されずに交互に表示されてもよい。他の例として、合成画像において、対象の工程以前に行われた複数の工程までの化粧が施された複数の顔画像の右半分又は左半分が順番に表示されてもよい。例えば、図１３に示す合成画像５５１の右半分を構成する顔画像は、工程１、２‐１、２‐２、３、及び４の化粧が施された後の顔画像である。この場合、合成画像５５１の右半分において、これらの各工程までの化粧が施された複数の顔画像の右半分が順番に表示されてもよい。各顔画像の表示時間を短くした場合には、ユーザの顔画像の右半分に順番に各工程の化粧が施されていく様子が動画のように表示される。
変形例７
　上述した実施形態において、購入画面２５６には、化粧のシミュレーションで用いられた化粧道具の商品情報が含まれていてもよい。この場合、サーバ１０には、予め登録された化粧道具の商品情報が格納される。ユーザ端末２０は、化粧のシミュレーションで用いられた化粧道具を示す情報をサーバ１０に送信する。サーバ１０は、ユーザ端末２０から受信した化粧道具を示す情報に基づいて、化粧のシミュレーションで用いられた化粧道具に対応する化粧道具を決定し、その化粧道具の商品情報をユーザ端末２０に送信する。このとき、サーバ１０で決定される化粧道具は、例えば化粧のシミュレーションで用いられた化粧道具と同一又は類似の化粧道具であってもよいし、同様の機能を有する化粧道具であってもよい。
変形例８
　上述した化粧のシミュレーション処理は、ユーザが使用するユーザ端末２０と、ユーザ端末２０とは異なる端末とにより行われてもよい。
　図１５は、変形例に係る購入支援システム３（画像処理システムの一例）の一例を示す図である。購入支援システム３は、図１に示すサーバ１０及びユーザ端末２０の他に、端末３０を備える。ユーザ端末２０及び端末３０は、ネットワーク２を介して接続される。端末３０は、ユーザ端末２０と同様に、タブレット端末、携帯端末、パーソナルコンピュータ等のコンピュータである。端末３０は、例えばプロフェッショナルのメイクアップアーティストにより使用される。
　この場合、ユーザ端末２０は、撮像部２６により撮影されたユーザの顔画像を端末３０に送信する。端末３０は、ユーザ端末２０から受信した顔画像に化粧を施して、化粧後の顔画像を生成する。この場合、端末３０が上述した生成部２０２の機能を有する。化粧が完了すると、端末３０は、化粧後の顔画像をユーザ端末２０に送信する。ユーザ端末２０は、化粧前の顔画像の一部と化粧後の顔画像の一部とを合成して合成画像を生成し、出力する。ユーザは、この合成画像を見ることにより、自分の顔に合った化粧を学ぶことができる。
変形例９
　購入支援システム１において行われる処理のステップは、上述した実施形態で説明した例に限定されない。この処理のステップは、矛盾のない限り、入れ替えられてもよい。また、本発明は、購入支援システム１又はユーザ端末２０において行われる処理のステップを備える方法として提供されてもよい。
変形例１０
　本発明は、ユーザ端末２０において実行されるプログラムとして提供されてもよい。このプログラムは、インターネット等のネットワーク２を介してダウンロードされてもよい。また、これらのプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどの、コンピュータが読取可能な記録媒体に記録した状態で提供されてもよい。

Claims (10)

  1. 　ユーザの顔画像を取得する取得部と、
    　前記取得された顔画像を用いて、化粧が施された少なくとも１の顔画像を生成する生成部と、
    　前記取得された顔画像又は前記生成された少なくとも１の顔画像を含む複数の顔画像の一部を合成して合成画像を生成する合成部と、
    　前記生成された合成画像を出力する出力部と
    　を備える画像処理装置。
  2. 　前記化粧を施す工程は、複数の工程を含み、
    　前記複数の顔画像は、第１の顔画像と第２の顔画像を含み、
    　前記第１の顔画像は、前記取得された顔画像又は前記複数の工程のうち第１の工程までの化粧が施された顔画像であり、
    　前記第２の顔画像は、前記複数の工程の化粧が施された顔画像又は前記複数の工程のうち前記第１の工程とは異なる第２の工程までの化粧が施された顔画像である
    　請求項１に記載の画像処理装置。
  3. 　前記化粧を施す工程は、複数の工程を含み、
    　前記生成部は、前記複数の工程のうち対象の工程で施された化粧の色が変更されると、前記少なくとも１の顔画像に前記化粧の色の変更を反映する
    　請求項１又は２に記載の画像処理装置。
  4. 　前記化粧を施す工程は、複数の工程を含み、
    　前記生成部は、前記複数の工程から対象の工程が削除されると、前記対象の工程で施された化粧の色部分を前記少なくとも１の顔画像から削除する
    　請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記化粧を施す工程は、前記化粧が前記顔画像に含まれる複数の領域に対して施される場合において、前記化粧が施される領域に基づいて区切られ、又は前記化粧の色が複数回重ねて塗られる場合において、前記化粧の色が塗られた回に基づいて区切られる
    　請求項２から４のいずれか１項に記載の画像処理装置。
  6. 　前記生成部は、前記ユーザにより選択された化粧道具によって、前記化粧の色の濃度、前記濃度の均一度、前記化粧が施される範囲、又は前記色の境界部分をぼかす範囲を変更する
    　請求項１から５のいずれか１項に記載の画像処理装置。
  7. 　前記合成部は、前記ユーザにより選択されたシーンに応じた背景又は光のエフェクトを前記合成画像に追加する
    　請求項１から６のいずれか１項に記載の画像処理装置。
  8. 　前記合成部は、前記合成画像を構成する前記複数の顔画像の比率が変更されると、前記変更された比率に従って、前記複数の顔画像の一部を合成する
    　請求項１から７のいずれか１項に記載の画像処理装置。
  9. 　ユーザの顔画像を取得する取得部と、
    　前記取得された顔画像を用いて、化粧が施された少なくとも１の顔画像を生成する生成部と、
    　前記取得された顔画像又は前記生成された少なくとも１の顔画像を含む複数の顔画像の一部を合成して合成画像を生成する合成部と、
    　前記生成された合成画像を出力する出力部と
    　を備える画像処理システム。
  10. 　コンピュータに、
    　ユーザの顔画像を取得するステップと、
    　前記取得された顔画像を用いて、化粧が施された少なくとも１の顔画像を生成するステップと、
    　前記取得された顔画像又は前記生成された少なくとも１の顔画像を含む複数の顔画像の一部を合成して合成画像を生成するステップと、
    　前記生成された合成画像を出力するステップと
    　を実行させるためのプログラム。
PCT/JP2016/073115 2016-08-05 2016-08-05 画像処理装置、画像処理システム、及びプログラム WO2018025402A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/096,341 US10373348B2 (en) 2016-08-05 2016-08-05 Image processing apparatus, image processing system, and program
PCT/JP2016/073115 WO2018025402A1 (ja) 2016-08-05 2016-08-05 画像処理装置、画像処理システム、及びプログラム
JP2018531712A JP6448869B2 (ja) 2016-08-05 2016-08-05 画像処理装置、画像処理システム、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/073115 WO2018025402A1 (ja) 2016-08-05 2016-08-05 画像処理装置、画像処理システム、及びプログラム

Publications (1)

Publication Number Publication Date
WO2018025402A1 true WO2018025402A1 (ja) 2018-02-08

Family

ID=61073550

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/073115 WO2018025402A1 (ja) 2016-08-05 2016-08-05 画像処理装置、画像処理システム、及びプログラム

Country Status (3)

Country Link
US (1) US10373348B2 (ja)
JP (1) JP6448869B2 (ja)
WO (1) WO2018025402A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021072515A (ja) * 2019-10-30 2021-05-06 大日本印刷株式会社 画像処理装置、印画物作製システム及び印画物作製方法
JP2021519992A (ja) * 2018-04-24 2021-08-12 エルジー ハウスホールド アンド ヘルスケア リミテッド 移動端末機及び化粧品自動認識システム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018008138A1 (ja) * 2016-07-08 2018-01-11 株式会社オプティム 化粧品情報提供システム、化粧品情報提供装置、化粧品情報提供方法、及びプログラム
CN106780662B (zh) 2016-11-16 2020-09-18 北京旷视科技有限公司 人脸图像生成方法、装置及设备
CN106780658B (zh) * 2016-11-16 2021-03-09 北京旷视科技有限公司 人脸特征添加方法、装置及设备
EP3700190A1 (en) * 2019-02-19 2020-08-26 Samsung Electronics Co., Ltd. Electronic device for providing shooting mode based on virtual character and operation method thereof
US20220101404A1 (en) * 2020-09-28 2022-03-31 Snap Inc. Selecting color values for augmented reality-based makeup
US20220101418A1 (en) * 2020-09-28 2022-03-31 Snap Inc. Providing augmented reality-based makeup product sets in a messaging system
US11798202B2 (en) 2020-09-28 2023-10-24 Snap Inc. Providing augmented reality-based makeup in a messaging system
KR20230147649A (ko) * 2021-02-23 2023-10-23 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 이미지 처리 방법, 장치, 전자 기기 및 기억 매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000069404A (ja) * 1998-08-25 2000-03-03 Konami Co Ltd 画像プリント作成装置
JP2004094917A (ja) * 2002-07-08 2004-03-25 Toshiba Corp 仮想化粧装置及びその方法
JP2008003724A (ja) * 2006-06-20 2008-01-10 Kao Corp 美容シミュレーションシステム
WO2008102440A1 (ja) * 2007-02-21 2008-08-28 Tadashi Goino 化粧顔画像生成装置及び方法
JP2010515489A (ja) * 2007-01-05 2010-05-13 マイスキン インコーポレイテッド 皮膚を撮像するためのシステム、装置、及び方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7634103B2 (en) * 2001-10-01 2009-12-15 L'oreal S.A. Analysis using a three-dimensional facial image
US7437344B2 (en) * 2001-10-01 2008-10-14 L'oreal S.A. Use of artificial intelligence in providing beauty advice
US7039222B2 (en) * 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
JP5261586B2 (ja) 2007-08-10 2013-08-14 株式会社 資生堂 メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
US20090231356A1 (en) * 2008-03-17 2009-09-17 Photometria, Inc. Graphical user interface for selection of options from option groups and methods relating to same
US10872322B2 (en) * 2008-03-21 2020-12-22 Dressbot, Inc. System and method for collaborative shopping, business and entertainment
JP5442966B2 (ja) 2008-07-10 2014-03-19 株式会社 資生堂 ゲーム装置、ゲーム制御方法、ゲーム制御プログラム、及び、該プログラムを記録した記録媒体
CN102077242B (zh) * 2008-07-30 2013-08-07 松下电器产业株式会社 3d纹理的超分辨率的图像生成设备和方法
EP2786343A4 (en) * 2011-12-04 2015-08-26 Digital Makeup Ltd DIGITAL MAKE-UP
US8908904B2 (en) * 2011-12-28 2014-12-09 Samsung Electrônica da Amazônia Ltda. Method and system for make-up simulation on portable devices having digital cameras
JP6198555B2 (ja) * 2012-11-13 2017-09-20 株式会社オカダ電子 画像比較機能を備えた顧客管理システム、画像比較機能を備えた顧客管理システムを利用したゴルフレッスン支援システム
US10321747B2 (en) * 2013-02-01 2019-06-18 Panasonic Intellectual Property Management Co., Ltd. Makeup assistance device, makeup assistance system, makeup assistance method, and makeup assistance program
US20170177927A1 (en) * 2014-02-17 2017-06-22 Nec Solution Innovators, Ltd. Impression analysis device, game device, health management device, advertising support device, impression analysis system, impression analysis method, and program recording medium
US10916044B2 (en) * 2015-07-21 2021-02-09 Sony Corporation Information processing apparatus, information processing method, and program
WO2017013925A1 (ja) * 2015-07-21 2017-01-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6275086B2 (ja) * 2015-07-25 2018-02-07 株式会社オプティム サーバ、データ提供方法及びサーバ用プログラム
EP3396619A4 (en) * 2015-12-25 2019-05-08 Panasonic Intellectual Property Management Co., Ltd. MAKE UP PART GENERATION, MAKE UP PART USE, MAKE UP PART GENERATION, MAKE UP PART USE, MAKE UP PART GENERATION AND MAKE UP PART USE
US11315173B2 (en) * 2016-09-15 2022-04-26 GlamST LLC Applying virtual makeup products
US10540697B2 (en) * 2017-06-23 2020-01-21 Perfect365 Technology Company Ltd. Method and system for a styling platform

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000069404A (ja) * 1998-08-25 2000-03-03 Konami Co Ltd 画像プリント作成装置
JP2004094917A (ja) * 2002-07-08 2004-03-25 Toshiba Corp 仮想化粧装置及びその方法
JP2008003724A (ja) * 2006-06-20 2008-01-10 Kao Corp 美容シミュレーションシステム
JP2010515489A (ja) * 2007-01-05 2010-05-13 マイスキン インコーポレイテッド 皮膚を撮像するためのシステム、装置、及び方法
WO2008102440A1 (ja) * 2007-02-21 2008-08-28 Tadashi Goino 化粧顔画像生成装置及び方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021519992A (ja) * 2018-04-24 2021-08-12 エルジー ハウスホールド アンド ヘルスケア リミテッド 移動端末機及び化粧品自動認識システム
JP7064022B2 (ja) 2018-04-24 2022-05-09 エルジー ハウスホールド アンド ヘルスケア リミテッド 移動端末機及び化粧品自動認識システム
JP2022090005A (ja) * 2018-04-24 2022-06-16 エルジー ハウスホールド アンド ヘルスケア リミテッド 移動端末機及び化粧品自動認識システム
JP7379582B2 (ja) 2018-04-24 2023-11-14 エルジー ハウスホールド アンド ヘルスケア リミテッド 移動端末機及び化粧品自動認識システム
JP2021072515A (ja) * 2019-10-30 2021-05-06 大日本印刷株式会社 画像処理装置、印画物作製システム及び印画物作製方法
JP7314767B2 (ja) 2019-10-30 2023-07-26 大日本印刷株式会社 画像処理装置、印画物作製システム及び印画物作製方法

Also Published As

Publication number Publication date
JP6448869B2 (ja) 2019-01-09
US20190156522A1 (en) 2019-05-23
US10373348B2 (en) 2019-08-06
JPWO2018025402A1 (ja) 2018-11-22

Similar Documents

Publication Publication Date Title
JP6448869B2 (ja) 画像処理装置、画像処理システム、及びプログラム
JP6778877B2 (ja) メイクパーツ作成装置、メイクパーツ利用装置、メイクパーツ作成方法、メイクパーツ利用方法、メイクパーツ作成プログラム、およびメイクパーツ利用プログラム
JP6055160B1 (ja) 化粧品情報提供システム、化粧品情報提供装置、化粧品情報提供方法、及びプログラム
KR101306221B1 (ko) 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법
JP5324031B2 (ja) 美容シミュレーションシステム
KR20210119438A (ko) 얼굴 재연을 위한 시스템 및 방법
CN112396679B (zh) 虚拟对象显示方法及装置、电子设备、介质
JP2011209887A (ja) アバター作成方法、アバター作成プログラム、およびネットワークサービスシステム
CN111935505B (zh) 视频封面生成方法、装置、设备及存储介质
CN101925345A (zh) 化妆方法、化妆模拟装置、以及化妆模拟程序
EP3912136A1 (en) Systems and methods for generating personalized videos with customized text messages
US11842433B2 (en) Generating personalized videos with customized text messages
CN113709549A (zh) 特效数据包生成、图像处理方法、装置、设备及存储介质
GB2549160A (en) Image processing system and method
KR20160134883A (ko) 영상컨텐츠 적용 디지털액터의 운용방법
CN116744820A (zh) 数字彩妆师
KR20180039321A (ko) 반응형영상 제작방법, 반응형영상 생성파일 제작방법, 반응형영상 기반의 광고효과 분석방법 및 이를 이용한 프로그램
JP2013178789A (ja) 美容シミュレーションシステム
CN112083863A (zh) 图像处理方法、装置、电子设备及可读存储介质
KR20200092893A (ko) 3d스캔데이터를 이용한 증강현실 동영상제작시스템 및 그 방법
JP2000306092A (ja) デジタル画像処理により実現される鏡及びその処理をコンピュータに行わせるためのプログラムを内蔵した媒体
CN114793286A (zh) 基于虚拟形象的视频编辑方法和系统
Qiu et al. Fencing Hallucination: An Interactive Installation for Fencing with AI and Synthesizing Chronophotographs
JP2024505359A (ja) デジタルメイクアップアーティスト
Antoine Understanding and improving the relation between interaction simplicity and expressivity for producing illustrations

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018531712

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16911661

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 15/05/2019)

122 Ep: pct application non-entry in european phase

Ref document number: 16911661

Country of ref document: EP

Kind code of ref document: A1