WO2017179134A1 - 化粧シミュレーションシステム、化粧シミュレーション方法、および化粧シミュレーションプログラム - Google Patents

化粧シミュレーションシステム、化粧シミュレーション方法、および化粧シミュレーションプログラム Download PDF

Info

Publication number
WO2017179134A1
WO2017179134A1 PCT/JP2016/061846 JP2016061846W WO2017179134A1 WO 2017179134 A1 WO2017179134 A1 WO 2017179134A1 JP 2016061846 W JP2016061846 W JP 2016061846W WO 2017179134 A1 WO2017179134 A1 WO 2017179134A1
Authority
WO
WIPO (PCT)
Prior art keywords
contour
makeup simulation
designation
component part
makeup
Prior art date
Application number
PCT/JP2016/061846
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to PCT/JP2016/061846 priority Critical patent/WO2017179134A1/ja
Priority to JP2018511805A priority patent/JP6427297B2/ja
Publication of WO2017179134A1 publication Critical patent/WO2017179134A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing

Definitions

  • the present invention relates to a makeup simulation system for performing makeup simulation on a face image, a makeup simulation method, and a makeup simulation program.
  • Patent Document 1 describes a technique related to a display method when applying makeup or adjusting appearance while confirming the display content of a captured image of a user.
  • Patent Document 2 describes a technique for assisting a user's makeup using three-dimensional information acquired using a three-dimensional measuring unit.
  • JP2013-223001A Japanese Patent Laying-Open No. 2015-197710
  • Patent Document 2 it is considered that the use of three-dimensional information makes it easier to recognize the face state compared to Patent Document 1, but it is necessary to project a measurement pattern by the light projecting unit. Therefore, there is a problem that the apparatus becomes expensive.
  • the present invention has an object to provide a makeup simulation system, a makeup simulation method, and a makeup simulation program that perform makeup simulation on a face image by accepting designation of a plurality of feature points by plotting.
  • the present invention provides the following solutions.
  • the invention according to the first feature is A makeup simulation system for performing makeup simulation on a face image, A component part type designation receiving means for receiving designation of the type of component part of the face image; A feature point designation accepting unit that accepts designation of a plurality of feature points by plotting on the contour of the component that has received the designation; Contour drawing means for drawing the contour of the component part based on a plurality of feature points designated by the plot; A makeup simulation system is provided.
  • a component part type designation receiving unit that receives designation of the type of component part of the face image, and the component part that has received the designation
  • a feature point designation accepting unit for accepting designation of a plurality of feature points by plotting on the contour of the contour
  • a contour drawing unit for drawing the contours of the component parts based on the plurality of feature points designated by the plot.
  • the invention according to the first feature is a category of a makeup simulation system, but the makeup simulation method and the makeup simulation program have the same functions and effects.
  • the invention according to the second feature is a makeup simulation system which is the invention according to the first feature, There is provided a makeup simulation system including four points of the top, bottom, leftmost and rightmost of the component parts as feature points to be designated by the plot.
  • the makeup simulation system according to the invention according to the first feature has the top, bottom, leftmost, and rightmost features of the component parts as the feature points designated by the plot. Includes 4 points.
  • the invention according to the third feature is a makeup simulation system which is the invention according to the first or second feature, Attribute information input receiving means for receiving input of attribute information of the face image,
  • the contour drawing means provides a makeup simulation system characterized in that the contour of the component parts is drawn in consideration of the inputted attribute information.
  • the makeup simulation system includes attribute information input reception means for receiving input of attribute information of the face image, and the contour drawing means. Draws the contour of the component part in consideration of the input attribute information.
  • the invention according to the fourth feature is a makeup simulation system which is the invention according to any one of the first to third features, When the designated component is an eye, from the outline of the eye drawn by the outline drawing means, a heel drawing means for predicting and drawing a heel outline; A makeup simulation system is provided.
  • the makeup simulation system according to the invention according to any one of the first to third features is drawn by the contour drawing means when the designated component part is an eye.
  • eyelid drawing means for predicting and drawing the eyelid contour from the eye contour.
  • the invention according to a fifth feature is a makeup simulation system that is an invention according to any one of the first to fourth features, Drawing outline fine adjustment means for performing fine adjustment of the drawn outline when there is a deviation between the drawn outline and the contour of the constituent parts of the face image;
  • a makeup simulation system is provided.
  • the makeup simulation system in the makeup simulation system according to any one of the first to fourth aspects, there is a gap between the drawn outline and the outline of the constituent parts of the face image.
  • a drawing contour fine adjustment means for performing fine adjustment of the drawn contour.
  • the invention according to a sixth feature is a makeup simulation system that is an invention according to any one of the first to fifth features, A screen sharing means for sharing a screen with a terminal connected via a network; Remote operation means capable of operating the shared screen from a terminal connected via the network; A makeup simulation system is provided.
  • a makeup simulation system includes a screen sharing means for sharing a screen with a terminal connected via a network, Remote operation means capable of operating the shared screen from a terminal connected via a network.
  • the invention according to the seventh feature is a makeup simulation method for performing makeup simulation on a face image, A component part type designation receiving step for receiving designation of the type of the component part of the face image; A feature point designation receiving step for accepting designation of a plurality of feature points by plotting on the contour of the component part that has received the designation; An outline drawing step for drawing an outline of the component part based on a plurality of feature points designated by the plot; A makeup simulation method is provided.
  • the invention according to the eighth feature is a makeup simulation system for performing makeup simulation on a face image.
  • a component part type designation receiving step for receiving designation of the type of the component part of the face image;
  • a feature point designation step for accepting designation of a plurality of feature points by plotting on the contour of the component part that has received the designation,
  • a makeup simulation program is provided.
  • a makeup simulation system for performing makeup simulation on a face image by accepting designation of a plurality of feature points by plotting.
  • FIG. 1 is a schematic diagram of a preferred embodiment of the present invention.
  • FIG. 2 is a diagram illustrating the relationship between the function blocks of the terminal 100 and each function.
  • FIG. 3 is a flowchart of the makeup simulation process of the terminal 100.
  • FIG. 4 is a diagram illustrating the relationship between the function blocks of the terminal 100 having the attribute information input reception function and the functions.
  • FIG. 5 is a flowchart of makeup simulation processing of the terminal 100 having the attribute information input reception function.
  • FIG. 6 is a diagram illustrating the relationship between the function blocks of the terminal 100 having the wrinkle drawing function and each function.
  • FIG. 7 is a flowchart of makeup simulation processing of the terminal 100 having the wrinkle drawing function.
  • FIG. 1 is a schematic diagram of a preferred embodiment of the present invention.
  • FIG. 2 is a diagram illustrating the relationship between the function blocks of the terminal 100 and each function.
  • FIG. 3 is a flowchart of the makeup simulation process of the terminal 100.
  • FIG. 4 is a diagram
  • FIG. 8 is a diagram illustrating the relationship between the function blocks of the terminal 100 having the contour fine adjustment function and each function.
  • FIG. 9 is a flowchart of makeup simulation processing of the terminal 100 having the contour fine adjustment function.
  • FIG. 10 is a diagram illustrating the functional blocks of the connection source terminal 100a and the connection destination terminal 100b having the screen sharing function and the remote operation function, and the relationship between the functions.
  • FIG. 11 is a flowchart of the connection source terminal 100a and the connection destination terminal 100b having a screen sharing function and a remote operation function.
  • FIG. 12 is a diagram illustrating the functional blocks of the terminal 100 and the server 300 and the relationship between the functions when the server includes a contour database.
  • FIG. 13 is a flowchart of the terminal 100 and the server 300 when the server includes a contour database.
  • FIG. 14 is an example of a face image acquisition screen display on the terminal 100.
  • FIG. 15 is an example of a display of a component part type designation reception screen on the terminal 100.
  • FIG. 16 is an example of a feature point designation reception screen displayed on the terminal 100.
  • FIG. 17 is an example of a display of a contour drawing screen on the terminal 100.
  • FIG. 18 is an example of a display of a makeup drawing screen on the terminal 100.
  • FIG. 19 is an example of a display of the attribute information input acceptance screen on the terminal 100.
  • FIG. 20 is an example of a display of the outline drawing screen of the eyelids on the terminal 100.
  • FIG. 21 is an example of the display of the contour fine adjustment screen on the terminal 100.
  • FIG. 22 is an example of a display when screen sharing and remote operation are performed between the connection source terminal 100a and the connection destination terminal 100b.
  • FIG. 23 shows an example of the data structure of the contour database.
  • FIG. 24 shows an example of the data structure of the contour database when classified for each attribute information.
  • the terminal 100 includes a camera unit 110, an input unit 120, an output unit 130, a storage unit 140, and a control unit 150.
  • the input unit 120 implements a component part type designation receiving module 121 and a feature point designation receiving module 122 in cooperation with the control unit 150.
  • the output unit 130 implements the contour drawing module 131 in cooperation with the control unit 150.
  • the terminal 100 acquires a face image (step S01).
  • a face image for performing a makeup simulation is determined by performing imaging by the camera unit 110 or selecting an image stored in the terminal 100.
  • the component part type designation accepting module 121 of the terminal 100 accepts designation of a component part from the user (step S02).
  • the user is allowed to select the type of the constituent parts of the face for which the makeup simulation is to be performed from options such as the right eye, the left eye, the nose, the mouth, and the entire face.
  • appropriate processing suitable for each part can be performed thereafter.
  • the feature point designation receiving module 122 accepts feature point designation from the user (step S03).
  • the feature points are, for example, the leftmost, rightmost, topmost, and bottommost points of the component parts, and are a plurality of points that help to infer the contour from the face image.
  • the specification of the feature points is performed by the user plotting the points on the face image.
  • the contour drawing module 131 performs contour analogy based on a plurality of designated feature points, and draws the contour on the face image (step S04).
  • the analogy process of the contours of the component parts is to prepare a database that stores the contour data of the component parts, and by matching the feature points of the specified contours with the database, the contour data that matches the feature points is obtained. get.
  • the user can draw a proper contour and perform a makeup simulation at an appropriate position according to the contour by simply plotting the feature points without requiring a special device.
  • FIG. 2 is a diagram illustrating the relationship between the function blocks of the terminal 100 and each function.
  • the camera unit 110, the input unit 120, the output unit 130, the storage unit 140, and the control unit 150 are configured.
  • the input unit 120 implements a component part type designation receiving module 121 and a feature point designation receiving module 122 in cooperation with the control unit 150.
  • the output unit 130 implements the contour drawing module 131 in cooperation with the control unit 150.
  • the terminal 100 may be a general information terminal that allows a user to take an image with a camera, and is an information device or an electrical appliance having a function to be described later.
  • General information appliances such as mobile phones, smart phones, camera functions, or PCs with tablet PCs, notebook PCs, wearable devices, or displays that can be connected to external cameras such as webcams It can be an electrical appliance.
  • the smartphone illustrated as the terminal 100 is just one example.
  • the terminal 100 includes a camera in the camera unit 110.
  • the camera unit 110 converts the captured image into digital data and stores it in the storage unit 140.
  • the captured image may be a still image or a moving image.
  • a part of the moving image is cut out by the operation of the control unit 150 and stored in the storage unit 140 as a still image. It is also possible to do this.
  • an image obtained by photographing is a precise image having a necessary amount of information, and the number of pixels and image quality can be designated.
  • the input unit 120 implements a component part type designation receiving module 121 and a feature point designation receiving module 122 in cooperation with the control unit 150. Further, it is assumed that a function necessary for specifying imaging by the camera unit 110 is provided. As an example, a liquid crystal display that realizes a touch panel function, a keyboard, a mouse, a pen tablet, a hardware button on the apparatus, a microphone for performing voice recognition, and the like can be provided. The function of the present invention is not particularly limited by the input method.
  • the output unit 130 implements the contour drawing module 131 in cooperation with the control unit 150. Further, it is assumed that a function necessary for displaying a captured image and a simulation image is provided. For example, forms such as a liquid crystal display, a PC display, and projection onto a projector can be considered. The function of the present invention is not particularly limited by the output method.
  • the storage unit 140 includes a data storage unit such as a hard disk or a semiconductor memory, and stores captured moving images and still images, data necessary for contour analogy processing, makeup method data, and the like. In addition, a contour database storing contour data is provided as necessary.
  • the control unit 150 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like.
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • FIG. 3 is a flowchart of the makeup simulation process of the terminal 100. The processing executed by the modules of each device described above will be described together with this processing.
  • the terminal 100 acquires a face image for which a makeup simulation is desired (step S101).
  • a face image for performing a makeup simulation is determined by performing imaging by the camera unit 110 or selecting an image stored in the terminal 100.
  • FIG. 14 is an example of a face image acquisition screen displayed on the terminal 100.
  • imaging by the camera unit 110 is started by selecting a camera icon 1401. You can shoot yourself using the in-camera on your smartphone or tablet, or you can have another person shoot using the rear camera (out camera) or take a picture of yourself in the mirror You may do it.
  • a determination button 1403 an image for performing makeup simulation is determined.
  • the cancel button 1404 is selected, the displayed image is discarded, and the image is taken again or selected from the library.
  • the component part type designation accepting module 121 of the terminal 100 accepts designation of a component part from the user (step S102).
  • the user is allowed to select the type of the constituent parts of the face for which the makeup simulation is to be performed from options such as the right eye, left eye, nose, mouth, and the entire face.
  • appropriate processing suitable for each part can be performed thereafter.
  • FIG. 15 is an example of a display of a component part type designation reception screen on the terminal 100.
  • the radio button 1501 allows the user to select a component from the eyes (both eyes), right eye, left eye, nose, mouth, cheek, and the entire face. The options listed here are merely examples, and may be set according to the system.
  • the right eye is selected with a radio button.
  • a determination button 1502 is selected, a component part for which makeup simulation is performed is determined. Until the selection with the radio button is performed, the determination button 1502 may be grayed out.
  • a cancel button 1503 is selected, the designation of the component part is discarded and the component part selection screen is terminated. In this case, the process may return to step S101 again to acquire a face image.
  • the feature point designation receiving module 122 of the terminal 100 accepts feature point designation from the user (step S103).
  • the feature points are, for example, the leftmost, rightmost, topmost, and bottommost points of the component parts, and are a plurality of points that help to infer the contour from the face image.
  • the specification of the feature points is performed by the user plotting the points on the face image.
  • FIG. 16 is an example of a display of a feature point designation reception screen on the terminal 100.
  • FIG. 16 illustrates an example in which feature points are plotted using a touch panel assuming that the terminal 100 is a smartphone.
  • the right eye that is the component part selected in step S102 is displayed, and the user is made to input the four feature points of the leftmost, rightmost, topmost, and bottommost.
  • the user plots the leftmost feature point 1601, the rightmost feature point 1602, the uppermost feature point 1603, and the lowermost feature point 1604.
  • the feature points may be plotted by the user one by one in order, or temporary feature points may be displayed on the image to allow the user to make adjustments.
  • the determination button 1605 is selected, the feature point is determined.
  • a cancel button 1606 is selected, the feature point input is discarded and the feature point input screen is terminated. In this case, the process may return to step S102 again to select a component part.
  • the contour drawing module 131 performs contour analogy based on a plurality of designated feature points, and draws the contour on the face image (step S104).
  • the analogy process of the contours of the component parts is to prepare a database that stores the contour data of the component parts, and by matching the feature points of the specified contours with the database, the contour data that matches the feature points is obtained. get.
  • FIG. 23 shows an example of the data structure of the contour database.
  • Contour data is stored for each component such as the right eye, left eye, nose, mouth, and entire face.
  • the contour data includes data necessary for drawing the contours of the component parts together with the face image.
  • the data necessary for drawing the contour may be pixel position data of the contour or vector data.
  • the contour drawing module 131 acquires appropriate contour data by collating the designated feature points with each contour data, and performs drawing on the output unit 130 of the terminal 100 based on the acquired contour data.
  • attribute information such as sex, age, race, etc. may be stored together with the contour data. Details of the attribute information will be described later.
  • FIG. 17 is an example of a contour drawing screen display on the terminal 100.
  • a contour is drawn on the image in the display field 1705 based on the estimated contour data in accordance with the input feature point.
  • contour data is determined.
  • a cancel button 1702 is selected, the contour data is discarded and the contour drawing confirmation screen is terminated. In this case, it is possible to return to step S103 again and input the feature points.
  • the change button 1703 is selected, collation with the contour database is performed again, and another contour data is acquired and displayed.
  • a plurality of first, second, and third candidate contour data may be acquired and switched to the display of the next candidate contour data by selecting the change button 1703. Good.
  • the fine adjustment button 1704 is selected, the user is caused to finely adjust the contour. Details of the fine adjustment of the contour will be described later.
  • the terminal 100 draws a makeup image along the contour on the output unit 130 (step S105).
  • the user selects a desired makeup method and performs drawing in accordance with the contour determined in step S104.
  • FIG. 18 is an example of a display of a makeup drawing screen on the terminal 100.
  • the makeup method selected by the user is drawn according to the contour.
  • the user since the right eye is selected as the component part, the user is prompted to select eye makeup.
  • the makeup method is reflected on the image in the display column 1804.
  • the selected makeup method is discarded and the makeup drawing screen is terminated. In this case, the outline may be confirmed again by returning to step S104.
  • the image displayed in the display field 1804 is only the right eye, but the makeup method may be drawn on the entire face image. Further, by repeating steps S102 to S105, a makeup simulation may be performed in order for each component part, and finally a makeup simulation of the entire face may be completed.
  • FIG. 4 is a diagram illustrating the relationship between the function blocks of the terminal 100 having the attribute information input reception function and the functions.
  • the input unit 120 and the control unit 150 cooperate to implement the attribute information input reception module 123.
  • FIG. 5 is a flowchart of the makeup simulation process of the terminal 100 having the attribute information input reception function.
  • the face image acquisition (step S201), component part type designation reception (step S203), feature point designation reception (step S204), contour drawing (step S205), and makeup drawing along the contour (step S206) in FIG. This corresponds to face image acquisition (step S101), component part type designation reception (step S102), feature point designation reception (step S103), contour drawing (step S104), and makeup drawing along the contour (step S105) in FIG. .
  • the attribute information input acceptance in step S202 will be mainly described.
  • the attribute information input acceptance module 123 accepts input of attribute information from the user after acquiring the face image in step S201 (step S202).
  • FIG. 19 is an example of the display of the attribute information input acceptance screen on the terminal 100.
  • the attribute information here is information of a person of a face image that is considered to affect the contours of the constituent parts of the face, such as gender, age, and race.
  • a radio button 1901 is used to select whether the sex is male or female.
  • a radio button 1902 allows the user to select whether his / her age is in his teens, 20s, 30s, 40s, 50s, 60s or more.
  • a radio button 1903 is used to select whether the race is Japanese or not. These options are not necessarily those described above, and may be set appropriately according to the system.
  • the process may return to step S201 again to acquire a face image, or may proceed to the next step S203.
  • step S204 feature point designation reception in step S203 is the same as the component part type designation reception in step S102 and the feature point designation reception processing in step S103 in FIG.
  • FIG. 24 shows an example of the data structure of the contour database when classified for each attribute information.
  • the contour database data shown in FIG. 23 is classified for each attribute information.
  • the contour data of the right eye of a Japanese teenager is classified according to whether it is male, female or gender unknown. If the attribute information input in step S202 is a teenage Japanese male and the designation of the component part is the right eye, the top right "male + teenage + Japanese" right eye of FIG.
  • the contour data database may be first inquired. Therefore, if an appropriate item is not found, the right eye contour data database, such as “gender unknown + teenage + Japanese” or “male + 20 + Japanese”, is considered.
  • Inquiry shall be made. It is assumed that it is possible to set for each system in what order the inquiry is made to the database for each attribute information. Further, when appropriate contour data cannot be found, the contour data considered to be closest may be used. At this time, when there are a plurality of candidate contour data, those having similar attribute information may be selected with priority.
  • FIG. 6 is a diagram illustrating the relationship between the function blocks of the terminal 100 having the wrinkle drawing function and each function.
  • the output unit 130 and the control unit 150 cooperate to implement the eyelid drawing module 132.
  • FIG. 7 is a flowchart of a makeup simulation process of the terminal 100 having a wrinkle drawing function.
  • the face image acquisition (step S301), component part type designation reception (step S302), feature point designation reception (step S303), contour drawing (step S304), and makeup drawing along the contour (step S307) in FIG. This corresponds to face image acquisition (step S101), component part type designation reception (step S102), feature point designation reception (step S103), contour drawing (step S104), and makeup drawing along the contour (step S105) in FIG. . Therefore, here, step S305 and step S306 will be mainly described.
  • the eyelid drawing module 132 checks whether or not the component part designated in step S302 is an eye (step S305). If the designated component is not an eye, the process proceeds to step S307.
  • the eyelid drawing module 132 performs the eyelid outline drawing (step S306).
  • FIG. 20 is an example of the display of the outline drawing screen of the eyelids on the terminal 100.
  • the right eye is designated as a component part is shown.
  • the eyelid drawing module 132 analogizes the contour of the eyelid of the right eye and draws the contour of the eyelid on the image in the display field 2005.
  • FIG. 20 shows an example in which the outline of the eyelid is drawn with a broken line.
  • the determination button 2001 is selected, the outline data of the eyelid is determined.
  • the cancel button 2002 is selected, the outline data of the eyelid is discarded and the confirmation screen for drawing the outline of the eyelid is ended. In this case, the process may return to step S304 again to perform the right eye contour drawing.
  • step S306 a plurality of first candidate, second candidate, and third candidate are acquired as the outline data of the eyelid, and the selection of the change button 2003 displays the outline data of the next candidate eyelid. You may switch to.
  • the fine adjustment button 2004 the user is caused to finely adjust the outline of the eyelid. Details of fine adjustment of the outline of the heel will be described later.
  • the eyelid contour analogy processing by the eyelid drawing module 132 may be performed by predicting the eyelid thickness based on the eye contour, or the eyelid contour in the contour database may include the contour of the eyelid as attached information. Data may be registered and the data may be acquired.
  • a makeup image is drawn along the contours of the drawn right eye and eyelid (step S307).
  • the user selects a desired makeup method and performs drawing in accordance with the contour determined in steps S304 and S306.
  • FIG. 8 is a diagram illustrating the relationship between the function blocks of the terminal 100 having the contour fine adjustment function and each function.
  • the input unit 120 and the control unit 150 cooperate to implement the contour fine adjustment module 124.
  • FIG. 9 is a flowchart of makeup simulation processing of the terminal 100 having the contour fine adjustment function.
  • the face image acquisition (step S401), component part type designation reception (step S402), feature point designation reception (step S403), contour drawing (step S404), and makeup drawing along the contour (step S407) in FIG. This corresponds to face image acquisition (step S101), component part type designation reception (step S102), feature point designation reception (step S103), contour drawing (step S104), and makeup drawing along the contour (step S105) in FIG. . Therefore, here, step S405 and step S406 will be mainly described.
  • the contour fine adjustment module 124 confirms whether or not the contour fine adjustment is performed after the contour drawing in step S404 (step S405).
  • whether or not to perform fine adjustment may be selected by the user, or an image analysis is performed to determine whether or not there is a deviation between the contour drawn in S404 and the contour of the component part of the actual face image. If there is a deviation, fine adjustment may be performed. If fine contour adjustment is to be performed, the process proceeds to step S406. If fine contour adjustment is not to be performed, the process proceeds to step S407.
  • the contour fine adjustment module 124 finely adjusts the contours of the component parts based on the input from the user (step S406).
  • FIG. 21 is an example of the display of the contour fine adjustment screen on the terminal 100. Here, an example in which the right eye is designated as a component part is shown.
  • the user finely adjusts the contour by designating and moving a point on the contour of the right eye drawn in the display field 2103.
  • the point to be specified and moved does not need to be the feature point input earlier, and can be moved by specifying a point on the contour.
  • the contour fine adjustment module 124 redraws the contour by smoothly connecting the moved point and a point on the original contour in the vicinity of the point. Make sure the line is not interrupted.
  • an enlargement button 2104 and a reduction button 2105 may be provided so that the user can freely enlarge and reduce the image in the display field 2103 to facilitate fine adjustment of the contour.
  • the enter button 2101 is selected, the finely adjusted contour data is saved.
  • a cancel button 2102 is selected, the finely adjusted outline data is discarded and the outline fine adjustment screen is terminated. In this case, the contour drawing may be performed again by returning to step S404.
  • FIG. 21 shows an example of normal contour fine adjustment, but the same applies to the case of performing the contour fine adjustment of the eyelids.
  • FIG. 10 is a diagram illustrating a relationship between the blocks of the connection source terminal 100a and the connection destination terminal 100b having a screen sharing function and a remote operation function, and each function.
  • Each of the connection source terminal 100a and the connection destination terminal 100b includes a communication unit 160 in addition to the functions of the terminal 100 described with reference to FIG.
  • the communication unit 160 implements the screen sharing module 161 and the remote operation module 162 in cooperation with the control unit 150. It is assumed that the terminals are connected via the communication network 200.
  • the communication network 200 may be a public communication network or a dedicated communication network.
  • the connection source terminal 100a is a terminal that issues a screen sharing request to the connection destination terminal 100b on the network via the communication network 200.
  • the communication unit 160 includes a device for enabling communication with other devices, for example, a WiFi (Wireless Fidelity) compliant device compliant with IEEE 802.11 or an IMT-2000 standard such as a third generation or fourth generation mobile communication system.
  • Wireless devices that comply with It may be a wired LAN connection.
  • FIG. 11 is a flowchart of the connection source terminal 100a and the connection destination terminal 100b having a screen sharing function and a remote operation function. The processing executed by the modules of each device described above will be described together with this processing.
  • the connection source terminal 100a and the connection destination terminal 100b are described as performing direct communication. However, a configuration may be adopted in which a server is interposed therebetween depending on the system.
  • the screen sharing module 161 of the connection source terminal 100a notifies the connection destination terminal 100b of the start of screen sharing (step S501).
  • the notification of screen sharing start from the connection source terminal 100a to the connection destination terminal 100b is illustrated, but the authentication processing for maintaining security, the screen sharing approval on the connection destination terminal 100b side, are illustrated.
  • Processing necessary for the normal screen sharing system such as processing and response processing from the connection destination terminal 100b to the connection source terminal 100a, is also performed.
  • the response processing from the connection destination terminal 100b to the connection source terminal 100a is performed by the screen sharing module 161 of the connection destination terminal 100b.
  • the screen sharing module 161 of the connection source terminal 100a creates shared data for screen sharing (step S502).
  • the appropriate flowcharts are executed while executing the flowcharts of FIGS. 3, 5, 7, and 9.
  • the screen data of the connection source terminal 100a is converted into a format suitable for display on the connection destination terminal 100b as shared data.
  • the screen sharing module 161 of the connection source terminal 100a transmits the created shared data to the connection destination terminal 100b (step S503).
  • the screen sharing module 161 of the connection destination terminal 100b receives the shared data (step S504), and displays a shared screen based on the received shared data (step S505).
  • the remote operation module 162 of the connection destination terminal 100b confirms whether or not to operate the shared screen (step S506).
  • step S508 the remote operation module 162 of the connection destination terminal 100b accepts an operation input from the user (step S507).
  • the operation on the connection destination terminal 100b is equivalent to an operation that can be performed on the input unit 120 of the connection source terminal 100a.
  • the remote operation module 162 of the connection destination terminal 100b transmits operation data to the connection source terminal 100a (step S508).
  • the operation in step S507 is not performed, only the response may be transmitted instead of transmitting the operation data.
  • the screen sharing module 161 of the connection source terminal 100a receives operation data from the connection destination terminal 100b (step S509).
  • the screen sharing module 161 of the connection source terminal 100a updates the screen display based on the received operation data (Step S510). For example, when the outline of the connection destination terminal 100b is finely adjusted, the screen after the fine adjustment is displayed on the output unit 130 of the connection source terminal 100a.
  • the screen sharing module 161 of the connection source terminal 100a confirms whether or not to end the screen sharing (step S511).
  • step S512 If the screen sharing is not terminated, the process returns to step S502 and the process is continued.
  • the connection destination terminal 100b is notified of the end of the screen sharing, and the screen sharing process is terminated (step S512).
  • connection source terminal 100a determines whether or not to end screen sharing is confirmed only at the connection source terminal 100a.
  • the screen on the connection source terminal 100a may be shared instead of the screen on the connection source terminal 100a according to the system or the user's request.
  • FIG. 22 is an example of display when screen sharing and remote operation are performed between the connection source terminal 100a and the connection destination terminal 100b.
  • the connection source terminal 100 a and the connection destination terminal 100 b are sharing a screen via the communication network 200. It is assumed that the user 2201 of the connection source terminal 100a selects the right eye as a component part and tries to execute the makeup simulation, but the contour drawing is not successful and the above-described contour fine adjustment processing cannot be performed as expected. .
  • the user 2202 of the connection destination terminal 100b can perform a makeup simulation in accordance with a desired contour by finely adjusting the contour on the screen of the connection destination terminal 100b.
  • the user 2202 may be a friend of the user 2201 or the like, a help desk or operator of a makeup simulation system, or a specialist such as a makeup artist who gives advice on makeup simulation. There may be.
  • FIG. 12 is a diagram illustrating the functional blocks of the terminal 100 and the server 300 and the relationship between the functions when the server includes a contour database.
  • the communication network 200 may be a public communication network or a dedicated communication network.
  • the server 300 includes a communication unit 310, a control unit 320, and a storage unit 330.
  • the communication unit 310 can communicate with other devices by wire or wireless.
  • the control unit 320 includes a CPU, RAM, ROM, and the like.
  • the storage unit 330 includes a data storage unit such as a hard disk or a semiconductor memory, and also includes a contour database 331.
  • FIG. 13 is a flowchart diagram of the terminal 100 and the server 300 when the server includes a contour database.
  • Face image acquisition step S601
  • attribute information input reception step S602
  • component part type specification reception step S603
  • feature point specification reception step S604
  • contour drawing step S611
  • the makeup drawing step S612 includes face image acquisition (step S101) in FIG. 3, attribute information input reception (step S202) in FIG. 5, component part type specification reception (step S102), and feature point specification reception (step S102), respectively. This corresponds to step S103), contour drawing (step S104), and makeup drawing along the contour (step S105). Therefore, here, the description will focus on steps S605 to S610.
  • the contour drawing module 131 After receiving the feature point designation in step S604, the contour drawing module 131 transmits the type of component and the data of the designated feature points to the server 300 (step S605). When attribute information is input, the attribute information is also transmitted. In addition, when a face image is also used for analogy processing of the contours of the component parts, the face image may be transmitted together.
  • the server 300 receives data necessary for contour analogy processing from the terminal 100 (step S606).
  • the server 300 refers to the contour database 331 based on the received data, and performs contour analogy processing (step S607).
  • the contour data corresponding to the feature point is acquired.
  • the contour data is preferentially acquired from the database corresponding to the attribute information as described in the process of FIG.
  • the server 300 performs outline data creation processing based on the estimated outline data (step S608).
  • the face image used in the makeup simulation and the image registered in the contour database 331 may differ in actual size. In this case, the feature point of the face image and the contour data in the contour database 331 are different.
  • the comparison needs to be performed with scaling. If the contour analogy process is performed after scaling, the contour data is scaled according to the size suitable for the actual face image size.
  • the server 300 transmits the created contour data to the terminal 100 (step S609).
  • the contour drawing module 131 of the terminal 100 receives contour data from the server 300 (step S610).
  • the contour drawing module 131 draws a contour on the face image based on the received contour data (step S611).
  • the terminal 100 draws a makeup image along the contour on the output unit 130 (step S612).
  • the outline database in the server 300 it is not necessary to provide the database in the terminal 100. Therefore, the capacity of the storage unit 140 of the terminal 100 is not compressed. Moreover, since the contour data in the database of the server 300 can be increased at any time, it is possible to provide a more accurate makeup simulation system.
  • the means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program.
  • the program is provided in a form recorded on a computer-readable recording medium such as a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD-RAM, etc.), compact memory, and the like.
  • the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.
  • 100 terminal 100a connection source terminal, 100b connection destination terminal, 200 communication network, 300 server,

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】　複数の特徴点の指定を受け付けることで、輪郭のラインを自動で描画してくれる化粧シミュレーションシステムを提供する。 【解決手段】　端末１００に、顔画像の構成パーツの種類の指定を受ける構成パーツ種類指定受付モジュール１２１と、複数の特徴点の指定をプロットにより受け付ける特徴点指定受付モジュール１２２と、指定された特徴点に基づいて輪郭を描画する輪郭描画モジュール１３１と、を備える。また、ネットワークを介して画面共有と、遠隔操作を行えるようにすることで、複数人での作業を可能とする。

Description

化粧シミュレーションシステム、化粧シミュレーション方法、および化粧シミュレーションプログラム
　本発明は、顔画像に化粧シミュレーションを行う化粧シミュレーションシステム、化粧シミュレーション方法、および化粧シミュレーションプログラムに関する。
　従来、ユーザの化粧を支援する様々な技術が提案されている。例えば、特許文献１には、ユーザの撮像画像の表示内容を確認しながら、化粧を施したり、身だしなみを整えたりする場合の表示方法に関する技術が記載されている。また、特許文献２には、三次元計測手段を使用して取得した三次元情報を用いて、ユーザの化粧を支援する技術が記載されている。
特開２０１３－２２３００１号公報 特開２０１５－１９７７１０号公報
　しかしながら、特許文献１の手法では、特定部位を認識する認識手段の性能により、撮影画像と比較対象画像をうまく重ね合わせが行えない恐れがある。特に、アイメイクのように目の形状に沿った化粧を施す必要がある場合には、個人個人の顔の構成パーツの輪郭にあわせ、化粧画像を重ねあわせることが重要である。
　また、特許文献２の手法では、三次元情報の使用により、特許文献１に比較して、顔の状態の認識がしやすくなると考えられるが、投光部により計測用パターンを投射する必要があるため、装置が高価になるという問題がある。
　化粧シミュレーションを行う場合、顔の構成パーツの輪郭が自動でうまく認識できない場合には、ユーザが手動で輪郭のラインを入力して、化粧を施す領域と、化粧を施さないマスク領域を指定することが必要となる。そのユーザによる手動入力の際に、ユーザの熟練度や器用さによって、ラインの精度がばらついてしまうという課題がある。
　さらに、特許文献１、特許文献２とも、ユーザが施した化粧は自分自身で画像を確認するという構成のみであるが、複数人で画面を共有し、画像の確認や、画像に対する操作を行えるようにすることが求められている。画面共有により、アドバイザやオペレータといった、専門家からの適切なフィードバックを得ることで、ユーザの満足度の高い化粧シミュレーションを行うことができると考えられる。
　そこで、本発明では、上記の課題に鑑みて、複数の特徴点の指定をプロットにより受け付けることで、顔画像に化粧シミュレーションを行う化粧シミュレーションシステム、化粧シミュレーション方法、化粧シミュレーションプログラムを提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　第１の特徴に係る発明は、
　顔画像に化粧シミュレーションを行う化粧シミュレーションシステムであって、
　前記顔画像の構成パーツの種類の指定を受ける構成パーツ種類指定受付手段と、
　前記指定を受けた構成パーツの輪郭上に、複数の特徴点の指定をプロットにより受け付ける特徴点指定受付手段と、
　前記プロットにより指定された複数の特徴点に基づいて、前記構成パーツの輪郭を描画する輪郭描画手段と、
を備えることを特徴とする化粧シミュレーションシステムを提供する。
　第１の特徴に係る発明によれば、顔画像に化粧シミュレーションを行う化粧シミュレーションシステムにおいて、前記顔画像の構成パーツの種類の指定を受ける構成パーツ種類指定受付手段と、前記指定を受けた構成パーツの輪郭上に、複数の特徴点の指定をプロットにより受け付ける特徴点指定受付手段と、前記プロットにより指定された複数の特徴点に基づいて、前記構成パーツの輪郭を描画する輪郭描画手段と、を備える。
　第１の特徴に係る発明は、化粧シミュレーションシステムのカテゴリであるが、化粧シミュレーション方法、および化粧シミュレーションプログラムであっても同様の作用、効果を奏する。
　第２の特徴に係る発明は、第１の特徴に係る発明である化粧シミュレーションシステムであって、
　前記プロットにより指定させる特徴点として、前記構成パーツの最も上、最も下、最も左、最も右の４点を含むことを特徴とする化粧シミュレーションシステムを提供する。
　第２の特徴に係る発明によれば、第１の特徴に係る発明である化粧シミュレーションシステムは、前記プロットにより指定させる特徴点として、前記構成パーツの最も上、最も下、最も左、最も右の４点を含む。
　第３の特徴に係る発明は、第１または第２の特徴に係る発明である化粧シミュレーションシステムであって、
　前記顔画像の属性情報の入力を受ける属性情報入力受付手段を備え、
　前記輪郭描画手段は、前記入力された属性情報を加味して、前記構成パーツの輪郭を描画することを特徴とする化粧シミュレーションシステムを提供する。
　第３の特徴に係る発明によれば、第１または第２の特徴に係る発明である化粧シミュレーションシステムは、前記顔画像の属性情報の入力を受ける属性情報入力受付手段を備え、前記輪郭描画手段は、前記入力された属性情報を加味して、前記構成パーツの輪郭を描画する。
　第４の特徴に係る発明は、第１から第３のいずれかの特徴に係る発明である化粧シミュレーションシステムであって、
　前記指定された構成パーツが目である場合、前記輪郭描画手段により描画した目の輪郭から、さらに、瞼の輪郭を予測して描画する瞼描画手段と、
を備えることを特徴とする化粧シミュレーションシステムを提供する。
　第４の特徴に係る発明によれば、第１から第３のいずれかの特徴に係る発明である化粧シミュレーションシステムは、前記指定された構成パーツが目である場合、前記輪郭描画手段により描画した目の輪郭から、さらに、瞼の輪郭を予測して描画する瞼描画手段と、を備える。
　第５の特徴に係る発明は、第１から第４のいずれかの特徴に係る発明である化粧シミュレーションシステムであって、
　前記描画した輪郭と前記顔画像の構成パーツの輪郭との間にズレがある場合に、描画した輪郭の微調整を行わせる描画輪郭微調整手段と、
を備えることを特徴とする化粧シミュレーションシステムを提供する。
　第５の特徴に係る発明によれば、第１から第４のいずれかの特徴に係る発明である化粧シミュレーションシステムは、前記描画した輪郭と前記顔画像の構成パーツの輪郭との間にズレがある場合に、描画した輪郭の微調整を行わせる描画輪郭微調整手段と、を備える。
　第６の特徴に係る発明は、第１から第５のいずれかの特徴に係る発明である化粧シミュレーションシステムであって、
　ネットワークを介して接続された端末と画面を共有する画面共有手段と、
　前記ネットワークを介して接続された端末から前記共有した画面に対して操作を行える遠隔操作手段と、
を備えることを特徴とする化粧シミュレーションシステムを提供する。
　第６の特徴に係る発明によれば、第１から第５のいずれかの特徴に係る発明である化粧シミュレーションシステムは、ネットワークを介して接続された端末と画面を共有する画面共有手段と、前記ネットワークを介して接続された端末から前記共有した画面に対して操作を行える遠隔操作手段と、を備える。
　第７の特徴に係る発明は、顔画像に化粧シミュレーションを行う化粧シミュレーション方法であって、
　前記顔画像の構成パーツの種類の指定を受ける構成パーツ種類指定受付ステップと、
　前記指定を受けた構成パーツの輪郭上に、複数の特徴点の指定をプロットにより受け付ける特徴点指定受付ステップと、
　前記プロットにより指定された複数の特徴点に基づいて、前記構成パーツの輪郭を描画する輪郭描画ステップと、
を備えることを特徴とする化粧シミュレーション方法を提供する。
　第８の特徴に係る発明は、顔画像に化粧シミュレーションを行う化粧シミュレーションシステムに、
　前記顔画像の構成パーツの種類の指定を受ける構成パーツ種類指定受付ステップ、
　前記指定を受けた構成パーツの輪郭上に、複数の特徴点の指定をプロットにより受け付ける特徴点指定ステップ、
　前記プロットにより指定された複数の特徴点に基づいて、前記構成パーツの輪郭を描画する輪郭描画ステップ、
を実行させるための化粧シミュレーションプログラムを提供する。
　本発明によれば、複数の特徴点の指定をプロットにより受け付けることで、顔画像に化粧シミュレーションを行う化粧シミュレーションシステム、化粧シミュレーション方法、化粧シミュレーションプログラムを提供することが可能となる。
図１は、本発明の好適な実施形態の概要図である。 図２は、端末１００の機能ブロックと各機能の関係を示す図である。 図３は、端末１００の化粧シミュレーション処理のフローチャート図である。 図４は、属性情報入力受付機能を備えた端末１００の機能ブロックと各機能の関係を示す図である。 図５は、属性情報入力受付機能を備えた端末１００の化粧シミュレーション処理のフローチャート図である。 図６は、瞼描画機能を備えた端末１００の機能ブロックと各機能の関係を示す図である。 図７は、瞼描画機能を備えた端末１００の化粧シミュレーション処理のフローチャート図である。 図８は、輪郭微調整機能を備えた端末１００の機能ブロックと各機能の関係を示す図である。 図９は、輪郭微調整機能を備えた端末１００の化粧シミュレーション処理のフローチャート図である。 図１０は、画面共有機能と遠隔操作機能を備えた接続元端末１００ａと接続先端末１００ｂの機能ブロックと各機能の関係を示す図である。 図１１は、画面共有機能と遠隔操作機能を備えた接続元端末１００ａと接続先端末１００ｂのフローチャート図である。 図１２は、サーバに輪郭データベースを備えた場合の端末１００とサーバ３００の機能ブロックと各機能の関係を示す図である。 図１３は、サーバに輪郭データベースを備えた場合の端末１００とサーバ３００のフローチャート図である。 図１４は、端末１００での顔画像取得画面の表示の一例である。 図１５は、端末１００での構成パーツ種類指定受付画面の表示の一例である。 図１６は、端末１００での特徴点指定受付画面の表示の一例である。 図１７は、端末１００での輪郭描画画面の表示の一例である。 図１８は、端末１００での化粧描画画面の表示の一例である。 図１９は、端末１００での属性情報入力受付画面の表示の一例である。 図２０は、端末１００での瞼の輪郭描画画面の表示の一例である。 図２１は、端末１００での輪郭微調整画面の表示の一例である。 図２２は、接続元端末１００ａと接続先端末１００ｂとの間で画面共有と遠隔操作を行う場合の表示の一例である。 図２３は、輪郭データベースのデータ構造の一例である。 図２４は、属性情報毎に分類した場合の輪郭データベースのデータ構造の一例である。
　以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
　［化粧シミュレーションシステムのシステム概要］
　本発明の概要について図１に基づいて、説明する。端末１００は、図２に示すように、カメラ部１１０、入力部１２０、出力部１３０、記憶部１４０、制御部１５０から構成される。入力部１２０は制御部１５０と協働して構成パーツ種類指定受付モジュール１２１、特徴点指定受付モジュール１２２を実現する。また、出力部１３０は制御部１５０と協働して輪郭描画モジュール１３１を実現する。
　化粧シミュレーションのための輪郭描画処理を行う場合、はじめに、端末１００は、顔画像の取得を行う（ステップＳ０１）。ここでは、カメラ部１１０による撮像を行うか、または端末１００内に保存してある画像を選択することにより、化粧シミュレーションを行うための顔画像を決定する。
　次に、端末１００の構成パーツ種類指定受付モジュール１２１は、ユーザから構成パーツの指定を受け付ける（ステップＳ０２）。ここで、化粧シミュレーションを行う顔の構成パーツの種類を、右目、左目、鼻、口、顔全体等の選択肢からユーザに選択させる。この、構成パーツの指定により、以降各パーツに合わせた適切な処理を行える。
　次に、特徴点指定受付モジュール１２２は、ユーザから特徴点の指定を受け付ける（ステップＳ０３）。特徴点とは、例えば、構成パーツの最も左、最も右、最も上、最も下、の４点等で、顔画像から輪郭を類推するための、手助けとなる複数の点のこととする。ここで、特徴点の指定は、顔画像上にユーザが点をプロットして行うものとする。
　最後に、輪郭描画モジュール１３１は、指定された複数の特徴点に基づき輪郭の類推を行い、顔画像に輪郭の描画を行う（ステップＳ０４）。ここでの構成パーツの輪郭の類推処理は、構成パーツの輪郭データを蓄えたデータベースを用意しておき、指定された輪郭の特徴点をデータベースに照合することで、特徴点にあった輪郭データを取得する。これにより、特別な装置を必要とせず、ユーザは特徴点のプロットを行うだけで、適切な輪郭が描画され、輪郭にあわせた適切な位置に化粧シミュレーションを行うことが可能となる。
　［各機能の説明］
　図２は、端末１００の機能ブロックと各機能の関係を示す図である。カメラ部１１０、入力部１２０、出力部１３０、記憶部１４０、制御部１５０から構成される。入力部１２０は制御部１５０と協働して構成パーツ種類指定受付モジュール１２１、特徴点指定受付モジュール１２２を実現する。また、出力部１３０は制御部１５０と協働して輪郭描画モジュール１３１を実現する。
　端末１００は、ユーザがカメラによる撮像を行える一般的な情報端末であって良く、後述する機能を備える情報機器や電化製品である。携帯電話やスマートフォン、カメラ機能を備えた、または、ウェブカメラ等の外付けカメラを接続可能な、タブレットＰＣ、ノートＰＣ、ウェアラブルデバイス、またはディスプレイを備えたＰＣ等の一般的な情報家電やその他の電化製品であって良い。端末１００として図示しているスマートフォンはその一例にすぎない。
　端末１００は、カメラ部１１０にカメラを備える。カメラ部１１０は、撮影した画像をデジタルデータに変換して、記憶部１４０に保存する。また、撮影画像は静止画像であっても動画像であってもよく、動画像の場合には、制御部１５０の働きにより、動画像の一部を切り出して、静止画像として記憶部１４０に保存することも可能であるとする。また、撮影して得られる画像は、ユーザが必要なだけの情報量を持った精密な画像であるものとし、画素数や画質を指定可能であるものとする。
　入力部１２０は、制御部１５０と協働して構成パーツ種類指定受付モジュール１２１、特徴点指定受付モジュール１２２を実現する。また、カメラ部１１０による撮像の指定を行うために必要な機能を備えるものとする。例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。入力方法により、本発明は特に機能を限定されるものではない。
　出力部１３０は、制御部１５０と協働して輪郭描画モジュール１３１を実現する。また、撮像画像やシミュレーション画像の表示を行うために必要な機能を備えるものとする。例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクターへの投影等の形態が考えられる。出力方法により、本発明は特に機能を限定されるものではない。
　記憶部１４０として、ハードディスクや半導体メモリによる、データのストレージ部を備え、撮像した動画や静止画、輪郭類推処理に必要なデータ、化粧方法のデータ等を記憶する。また、必要に応じて輪郭データを蓄えた輪郭データベースを備える。
　また、制御部１５０として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備える。
　［化粧シミュレーション処理］
　図３は、端末１００の化粧シミュレーション処理のフローチャート図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
　はじめに、端末１００は、化粧シミュレーションを施したい顔画像の取得を行う（ステップＳ１０１）。ここでは、カメラ部１１０による撮像を行うか、または端末１００内に保存してある画像を選択することにより、化粧シミュレーションを行うための顔画像を決定する。
　図１４は、端末１００での顔画像取得画面の表示の一例である。図１４では、例えばカメラアイコン１４０１を選択することでカメラ部１１０による撮像を開始するものとする。撮影は、スマートフォンやタブレットのインカメラを使用して自分で行ってもよいし、背面側のカメラ（アウトカメラ）を使用して他の人に撮影してもらったり、鏡に映った自分を撮影したりしてもよい。または、写真アイコン１４０２を選択することで、端末１００のライブラリに保存してある画像を選択することも可能であるとする。決定ボタン１４０３を選択すると、化粧シミュレーションを行う画像を決定する。キャンセルボタン１４０４を選択すると、表示している画像を破棄して、再度画像の撮影、またはライブラリからの選択を行うものとする。
　次に、端末１００の構成パーツ種類指定受付モジュール１２１は、ユーザから構成パーツの指定を受け付ける（ステップＳ１０２）。ここで、化粧シミュレーションを行う顔の構成パーツの種類を、右目、左目、鼻、口、顔全体等の選択肢からユーザに選択させる。この、構成パーツの指定により、以降各パーツに合わせた適切な処理を行える。
　図１５は、端末１００での構成パーツ種類指定受付画面の表示の一例である。図１５では、ラジオボタン１５０１として、構成パーツを、目（両目）、右目、左目、鼻、口、頬、顔全体、からユーザに選択させる。ここで挙げた選択肢はあくまで一例であり、システムに応じて設定してよい。図１５では、右目がラジオボタンで選択された状態である。決定ボタン１５０２を選択すると、化粧シミュレーションを行う構成パーツを決定する。ラジオボタンでの選択が行われるまでは、決定ボタン１５０２をグレーアウトしてもよい。キャンセルボタン１５０３を選択すると、構成パーツの指定を破棄して、構成パーツの選択画面を終了する。この場合、再度ステップＳ１０１に戻って、顔画像の取得を行ってもよい。
　次に、端末１００の特徴点指定受付モジュール１２２は、ユーザから特徴点の指定を受け付ける（ステップＳ１０３）。特徴点とは、例えば、構成パーツの最も左、最も右、最も上、最も下、の４点等で、顔画像から輪郭を類推するための、手助けとなる複数の点のこととする。ここで、特徴点の指定は、顔画像上にユーザが点をプロットして行うものとする。
　図１６は、端末１００での特徴点指定受付画面の表示の一例である。図１６では、端末１００がスマートフォンであるとして、タッチパネルを使用して、特徴点をプロットさせる例を図示している。ステップＳ１０２で選択された構成パーツである右目を表示して、最も左、最も右、最も上、最も下、の４点の特徴点をユーザに入力させる。最も左の特徴点１６０１、最も右の特徴点１６０２、最も上の特徴点１６０３、最も下の特徴点１６０４をユーザがプロットする。特徴点は、１点ずつ順にユーザにプロットさせてもよいし、画像上に仮の特徴点を表示して、ユーザに調整を行わせてもよいものとする。決定ボタン１６０５を選択すると、特徴点を決定する。キャンセルボタン１６０６を選択すると、特徴点の入力を破棄して、特徴点の入力画面を終了する。この場合、再度ステップＳ１０２に戻って、構成パーツの選択を行ってもよい。
　次に、輪郭描画モジュール１３１は、指定された複数の特徴点に基づき輪郭の類推を行い、顔画像に輪郭の描画を行う（ステップＳ１０４）。ここでの構成パーツの輪郭の類推処理は、構成パーツの輪郭データを蓄えたデータベースを用意しておき、指定された輪郭の特徴点をデータベースに照合することで、特徴点にあった輪郭データを取得する。
　図２３は、輪郭データベースのデータ構造の一例である。右目、左目、鼻、口、顔全体、等の構成パーツ毎に、輪郭データを保存しておく。輪郭データには、顔画像とあわせて、構成パーツの輪郭を描画するために必要なデータを含むものとする。輪郭を描画するために必要なデータは、輪郭の画素位置のデータであってもよいし、ベクターデータであってもよい。輪郭描画モジュール１３１は、指定された特徴点を、各輪郭データと照合することで、ふさわしい輪郭データを取得し、それを基に端末１００の出力部１３０への描画を行う。輪郭データベースのデータ構造として、輪郭データとあわせて、性別、年齢、人種、等の属性情報を保存してもよい。属性情報の詳細については、後述する。
　図１７は、端末１００での輪郭描画画面の表示の一例である。入力された特徴点にあわせて、類推した輪郭データをもとに、表示欄１７０５の画像上に輪郭を描画する。決定ボタン１７０１を選択すると、輪郭データを決定する。キャンセルボタン１７０２を選択すると、輪郭データを破棄して、輪郭描画の確認画面を終了する。この場合、再度ステップＳ１０３に戻って、特徴点の入力を行ってもよい。変更ボタン１７０３を選択すると、再度輪郭データベースへの照合を行い、別の輪郭データを取得して表示を行う。または、ステップＳ１０４の段階で、輪郭データを、第一候補、第二候補、第三候補、と複数取得しておき、変更ボタン１７０３の選択により、次の候補の輪郭データの表示に切り替えてもよい。微調整ボタン１７０４を選択すると、ユーザに輪郭の微調整を行わせる。輪郭の微調整の詳細については、後述する。
　最後に、端末１００は出力部１３０に輪郭に沿った化粧画像の描画を行う（ステップＳ１０５）。ユーザに所望の化粧方法を選択させて、ステップＳ１０４で決定した輪郭にあわせた描画を行う。
　図１８は、端末１００での化粧描画画面の表示の一例である。輪郭にあわせて、ユーザが選択した化粧方法を描画する。図１８では、構成パーツとして右目が選択されているので、ユーザにアイメイクを選択させる。化粧方法表示欄１８０１からユーザが所望の化粧法を選択し、決定ボタン１８０２を選択すると、表示欄１８０４の画像に化粧方法を反映させる。キャンセルボタン１８０３を選択すると、選択した化粧方法を破棄して、化粧描画画面を終了する。この場合、再度ステップＳ１０４に戻って、輪郭の確認を行ってもよい。また、図１８では、表示欄１８０４に表示している画像は右目のみであるが、顔全体の画像に対して、化粧方法を描画してもよい。また、ステップＳ１０２からステップＳ１０５を繰り返すことで、構成パーツ毎に順番に化粧シミュレーションを行い、最終的に顔全体の化粧シミュレーションが完成するようにしてもよい。
　［属性情報入力受付処理］
　図４は、属性情報入力受付機能を備えた端末１００の機能ブロックと各機能の関係を示す図である。図２で説明した機能に加えて、入力部１２０と制御部１５０とが協働して属性情報入力受付モジュール１２３を実現する。
　図５は、属性情報入力受付機能を備えた端末１００の化粧シミュレーション処理のフローチャート図である。図５の顔画像取得（ステップＳ２０１）、構成パーツ種類指定受付（ステップＳ２０３）、特徴点指定受付（ステップＳ２０４）、輪郭描画（ステップＳ２０５）、輪郭に沿った化粧描画（ステップＳ２０６）は、それぞれ図３の顔画像取得（ステップＳ１０１）、構成パーツ種類指定受付（ステップＳ１０２）、特徴点指定受付（ステップＳ１０３）、輪郭描画（ステップＳ１０４）、輪郭に沿った化粧描画（ステップＳ１０５）に相当する。そこで、ここでは主に、ステップＳ２０２の属性情報入力受付について説明する。
　属性情報入力受付処理を行う場合には、ステップＳ２０１の顔画像取得後に、属性情報入力受付モジュール１２３は、ユーザからの属性情報の入力を受け付ける（ステップＳ２０２）。
　図１９は、端末１００での属性情報入力受付画面の表示の一例である。ここでの属性情報とは、性別、年齢、人種、等の、顔の構成パーツの輪郭に影響を及ぼすと考えられる顔画像の人物の情報であるとする。図１９では、ラジオボタン１９０１により、性別が男性であるか女性であるかを選択させる。ラジオボタン１９０２により、年齢が１０代、２０代、３０代、４０代、５０代、６０代以上、のいずれであるかを選択させる。ラジオボタン１９０３により、人種が日本人であるかそれ以外であるかを選択させる。これらの選択肢については、必ずしも前述のものである必要はなく、システムに応じて適切に設定してよい。また、性別、年齢、人種、以外にも顔の構成パーツの輪郭に影響する要素があれば、属性情報として追加してよい。また、システムとして、必ずこの属性情報を入力する必要はなく、ユーザの任意入力としてもよい。ラジオボタン１９０１、ラジオボタン１９０２、ラジオボタン１９０３からユーザが属性情報を選択し、決定ボタン１９０４を選択すると、属性入力を受け付ける。キャンセルボタン１９０５を選択すると、選択した属性情報を破棄して、属性情報入力画面を終了する。この場合、再度ステップＳ２０１に戻って、顔画像を取得してもよいし、次のステップＳ２０３に進んでもよい。
　次のステップＳ２０３の構成パーツ種類指定受付とステップＳ２０４特徴点指定受付の処理については、図３のステップＳ１０２の構成パーツ種類指定受付とステップＳ１０３の特徴点指定受付の処理と同様である。
　ステップＳ２０５の輪郭描画を行う際に、輪郭描画モジュール１３１は、入力された属性情報に基づいた輪郭の描画を行う。図２４は、属性情報毎に分類した場合の輪郭データベースのデータ構造の一例である。図２３に示した輪郭データベースのデータを、属性情報毎に分類したものである。図２４では、１０代の日本人の右目の輪郭データを、それを男性か女性か性別不明かによって、分類したものである。ステップＳ２０２で入力された属性情報が、１０代の日本人男性であり、構成パーツの指定が右目であった場合には、図２４の一番上の「男性＋１０代＋日本人」の右目の輪郭データのデータベースにまず照会を行えばよい。そこで、適切なものが見つからなかった場合には、「性別不明＋１０代＋日本人」や、「男性＋２０代＋日本人」等、次に相応しいデータがあると考えられる右目の輪郭データのデータベースに照会を行うものとする。どのような順番で、属性情報別のデータベースに照会を行うかは、システム毎に設定可能であるものとする。また、適切な輪郭データを見つけることが出来なかった場合には、もっとも近いと思われる輪郭データを使用してもよい。このとき、候補となる輪郭データが複数存在する場合に、属性情報が似ているものを優先して選択するようにしてもよい。
　最後のステップＳ２０６の輪郭に沿った化粧描画の処理については、図３のステップＳ１０５の処理と同様である。
 
　このように、顔の構成パーツの輪郭に影響を及ぼすと考えられる顔画像の属性情報の入力を受け付け、輪郭の描画に使用することで、より精度の高い構成パーツの輪郭描画が可能となる。
　［瞼描画処理］
　図６は、瞼描画機能を備えた端末１００の機能ブロックと各機能の関係を示す図である。図２で説明した機能に加えて、出力部１３０と制御部１５０とが協働して瞼描画モジュール１３２を実現する。
　図７は、瞼描画機能を備えた端末１００の化粧シミュレーション処理のフローチャート図である。図７の顔画像取得（ステップＳ３０１）、構成パーツ種類指定受付（ステップＳ３０２）、特徴点指定受付（ステップＳ３０３）、輪郭描画（ステップＳ３０４）、輪郭に沿った化粧描画（ステップＳ３０７）は、それぞれ図３の顔画像取得（ステップＳ１０１）、構成パーツ種類指定受付（ステップＳ１０２）、特徴点指定受付（ステップＳ１０３）、輪郭描画（ステップＳ１０４）、輪郭に沿った化粧描画（ステップＳ１０５）に相当する。そこで、ここでは、ステップＳ３０５とステップＳ３０６を中心に説明する。
　瞼描画処理を行う場合、ステップＳ３０４の輪郭描画後に、瞼描画モジュール１３２はステップＳ３０２で指定された構成パーツが目であるかどうかの確認を行う（ステップＳ３０５）。指定された構成パーツが目でない場合、ステップＳ３０７に進む。
　指定された構成パーツが目である場合、瞼描画モジュール１３２は瞼の輪郭描画を行う（ステップＳ３０６）。
　図２０は、端末１００での瞼の輪郭描画画面の表示の一例である。ここでは、構成パーツとして右目が指定された場合の例を示している。すでに描画された右目の輪郭にあわせて、瞼描画モジュール１３２は、右目の瞼の輪郭を類推し、表示欄２００５の画像上に瞼の輪郭を描画する。図２０では、瞼の輪郭を破線で描画した例を示している。決定ボタン２００１を選択すると、瞼の輪郭データを決定する。キャンセルボタン２００２を選択すると、瞼の輪郭データを破棄して、瞼の輪郭描画の確認画面を終了する。この場合、再度ステップＳ３０４に戻って、右目の輪郭描画を行ってもよい。変更ボタン２００３を選択すると、再度輪郭データベースへの照合を行い、別の瞼の輪郭データを取得して表示を行う。または、ステップＳ３０６の段階で、瞼の輪郭データを、第一候補、第二候補、第三候補、と複数取得しておき、変更ボタン２００３の選択により、次の候補の瞼の輪郭データの表示に切り替えてもよい。微調整ボタン２００４を選択すると、ユーザに瞼の輪郭の微調整を行わせる。瞼の輪郭の微調整の詳細については、後述する。
　ここでの、瞼描画モジュール１３２による瞼の輪郭類推処理は、目の輪郭を基に、瞼の厚みを予測して行ってもよいし、輪郭データベースの目のデータに、付属情報として瞼の輪郭データを登録しておき、そのデータを取得してもよい。
　最後に、描画した右目と瞼の輪郭に沿って、化粧画像の描画を行う（ステップＳ３０７）。ユーザに所望の化粧方法を選択させて、ステップＳ３０４とステップＳ３０６で決定した輪郭にあわせた描画を行う。
　このように、アイメイクに重要なパーツである瞼の描画を行うことで、よりユーザにとって有益な化粧シミュレーションシステムを提供することが可能となる。
　［輪郭微調整処理］
　図８は、輪郭微調整機能を備えた端末１００の機能ブロックと各機能の関係を示す図である。図２で説明した機能に加えて、入力部１２０と制御部１５０とが協働して輪郭微調整モジュール１２４を実現する。
　図９は、輪郭微調整機能を備えた端末１００の化粧シミュレーション処理のフローチャート図である。図９の顔画像取得（ステップＳ４０１）、構成パーツ種類指定受付（ステップＳ４０２）、特徴点指定受付（ステップＳ４０３）、輪郭描画（ステップＳ４０４）、輪郭に沿った化粧描画（ステップＳ４０７）は、それぞれ図３の顔画像取得（ステップＳ１０１）、構成パーツ種類指定受付（ステップＳ１０２）、特徴点指定受付（ステップＳ１０３）、輪郭描画（ステップＳ１０４）、輪郭に沿った化粧描画（ステップＳ１０５）に相当する。そこで、ここでは、ステップＳ４０５とステップＳ４０６を中心に説明する。
　輪郭微調整処理を行う場合、ステップＳ４０４の輪郭描画後に、輪郭微調整モジュール１２４は輪郭の微調整を行うかどうかの確認を行う（ステップＳ４０５）。ここで、微調整を行うかどうかは、ユーザに選択させてもよいし、Ｓ４０４の描画した輪郭と実際の顔画像の構成パーツの輪郭との間にズレがあるかどうかを画像解析して、ズレがある場合に微調整を行うこととしてもよい。輪郭の微調整を行う場合には、ステップＳ４０６に進み、輪郭の微調整を行わない場合には、ステップＳ４０７に進む。
　輪郭微調整モジュール１２４は、ユーザからの入力をもとに、構成パーツの輪郭の微調整を行う（ステップＳ４０６）。図２１は、端末１００での輪郭微調整画面の表示の一例である。ここでは、構成パーツとして右目が指定された場合の例を示している。ユーザに、表示欄２１０３に描画した右目の輪郭上の点を指定して移動させることで、輪郭の微調整を行う。指定して移動させる点は、先に入力した特徴点である必要はなく、輪郭上のある点を指定して移動できるものとする。輪郭微調整モジュール１２４は、ユーザによりある点が移動された場合、移動後の点とその点の近傍にある元の輪郭上の点とを、滑らかに結んで輪郭を再描画するものとし、輪郭線が途切れないようにする。また、拡大ボタン２１０４や縮小ボタン２１０５を設けて、ユーザが自由に表示欄２１０３の画像を拡大縮小して、輪郭の微調整を行いやすくしてもよい。決定ボタン２１０１を選択すると、微調整を行った輪郭データを保存する。キャンセルボタン２１０２を選択すると、微調整した輪郭データを破棄して、輪郭の微調整画面を終了する。この場合、再度ステップＳ４０４に戻って、輪郭描画を行ってもよい。図２１には通常の輪郭微調整の例を示したが、瞼の輪郭微調整の処理を行う場合も、同様である。
　最後に、輪郭に沿って、ユーザが所望の化粧方法の化粧画像の描画を行う（ステップＳ４０７）。
　このように、輪郭の微調整処理を行ってから化粧画像の描画を行うことで、より精度の高い化粧シミュレーションシステムを提供することが可能となる。
　［画面共有による遠隔操作処理］
　図１０は、画面共有機能と遠隔操作機能を備えた接続元端末１００ａと接続先端末１００ｂのブロックと各機能の関係を示す図である。接続元端末１００ａと接続先端末１００ｂは、それぞれ図２で説明した端末１００の機能に加えて、通信部１６０を備える。通信部１６０は、制御部１５０と協働して、画面共有モジュール１６１と遠隔操作モジュール１６２を実現する。端末間は、通信網２００を介して接続されているものとする。通信網２００は、公衆通信網でも専用通信網でも良い。ここでは、接続元端末１００ａを、通信網２００を介して、ネットワーク上にある接続先端末１００ｂに対して、画面共有依頼を実行する端末であるとする。
　通信部１６０には、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイス又は第３世代、第４世代移動通信システム等のＩＭＴ－２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。
　図１１は、画面共有機能と遠隔操作機能を備えた接続元端末１００ａと接続先端末１００ｂのフローチャート図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。なお、ここでは接続元端末１００ａと接続先端末１００ｂが直接通信を行う記載としているが、システムに応じて、間にサーバを介する構成としてもよい。
　初めに、接続元端末１００ａの画面共有モジュール１６１は接続先端末１００ｂに対して、画面共有開始の通知を行う（ステップＳ５０１）。ここでは、フローの簡略化のため、接続元端末１００ａから接続先端末１００ｂに対する画面共有開始の通知のみを図示しているが、セキュリティ維持のための認証処理、接続先端末１００ｂ側の画面共有承認処理、接続先端末１００ｂから接続元端末１００ａへの応答処理等、通常の画面共有システムで必要な処理もあわせて行うものとする。接続先端末１００ｂから接続元端末１００ａへの応答処理は、接続先端末１００ｂの画面共有モジュール１６１が行う。
　次に、接続元端末１００ａの画面共有モジュール１６１は、画面共有を行うための共有データの作成を行う（ステップＳ５０２）。画面共有処理を開始してから、接続元端末１００ａで化粧シミュレーションシステムを行う場合、この共有データ作成処理では、図３、図５、図７、図９のそれぞれのフローチャートを実行しながら、適切な間隔で、接続元端末１００ａの画面データを共有データとして接続先端末１００ｂで表示するのに適切な形式に変換するものとする。
　次に、接続元端末１００ａの画面共有モジュール１６１は、作成した共有データを接続先端末１００ｂに送信する（ステップＳ５０３）。
　接続先端末１００ｂの画面共有モジュール１６１は、共有データを受信し（ステップＳ５０４）、受信した共有データをもとに、共有画面を表示する（ステップＳ５０５）。
　ここで、接続先端末１００ｂの遠隔操作モジュール１６２は、共有している画面に対して、操作を行うかどうかを確認する（ステップＳ５０６）。
　操作を行わない場合には、ステップＳ５０８へと進む。操作を行う場合には、接続先端末１００ｂの遠隔操作モジュール１６２は、ユーザからの操作入力を受け付ける（ステップＳ５０７）。ここでの接続先端末１００ｂに対する操作は、接続元端末１００ａの入力部１２０に対して可能な操作と同等であるとする。
　次に、接続先端末１００ｂの遠隔操作モジュール１６２は、操作データを接続元端末１００ａに送信する（ステップＳ５０８）。ステップＳ５０７の操作を行わなかった場合には、操作データを送信するのではなく、応答のみを送信してもよい。
　接続元端末１００ａの画面共有モジュール１６１は、接続先端末１００ｂから操作データを受信する（ステップＳ５０９）。
　そして、接続元端末１００ａの画面共有モジュール１６１は、受信した操作データをもとに、画面の表示を更新する（ステップＳ５１０）。たとえば、接続先端末１００ｂで輪郭の微調整が行われた場合には、微調整後の画面を接続元端末１００ａの出力部１３０に表示する。
　その後、接続元端末１００ａの画面共有モジュール１６１は、画面共有を終了するかどうかの確認を行う（ステップＳ５１１）。
　画面共有を終了しない場合には、ステップＳ５０２に戻り、処理を継続する。画面共有を終了する場合には、接続先端末１００ｂに対して、画面共有終了の通知を行い、画面共有処理を終了する（ステップＳ５１２）。
　ここでは、画面共有の終了を行うかどうか、接続元端末１００ａでのみ確認する例を示したが、接続先端末１００ｂでも、画面共通処理の終了を行うかどうかの確認を行ってもよい。また、システムやユーザの希望に応じて、接続元端末１００ａ側の画面を共有するのではなく、接続先端末１００ｂ側の画面を共有することとしてもよい。
　図２２は、接続元端末１００ａと接続先端末１００ｂとの間で画面共有と遠隔操作を行う場合の表示の一例である。接続元端末１００ａと接続先端末１００ｂは、通信網２００を介して画面共有中である。接続元端末１００ａのユーザ２２０１は、構成パーツとして右目を選択し、化粧シミュレーションを実行しようとしているが、輪郭描画がうまくいっておらず、前述の輪郭の微調整処理も思うようにできないものとする。このような場合には、接続先端末１００ｂのユーザ２２０２が、接続先端末１００ｂの画面上で、輪郭の微調整を行うことで、所望の輪郭にあわせた化粧シミュレーションを行うことが可能となる。ここで、ユーザ２２０２は、ユーザ２２０１の友人等であってもよいし、化粧シミュレーションシステムのヘルプデスクやオペレータであってもよいし、化粧シミュレーションに対してアドバイスを行うメイクアップアーティスト等の専門家であってもよい。
　このように、画面共有による遠隔操作処理を行うことで、よりユーザにとって利便性の高い化粧シミュレーションシステムを提供することが可能となる。
　［サーバに輪郭データベースを備えた化粧シミュレーションシステム］
　図１２は、サーバに輪郭データベースを備えた場合の端末１００とサーバ３００の機能ブロックと各機能の関係を示す図である。ここでは、端末１００に前述のモジュールすべてを備えた例を図示している。端末１００とサーバ３００との間は、通信網２００を介して接続されているものとする。通信網２００は、公衆通信網でも専用通信網でも良い。サーバ３００は、通信部３１０、制御部３２０、記憶部３３０を備えるものとする。通信部３１０は、有線または無線により、他のデバイスと通信可能とする。制御部３２０には、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。記憶部３３０には、ハードディスクや半導体メモリによる、データのストレージ部を備え、また、輪郭データベース３３１を備えるものとする。
　図１３は、サーバに輪郭データベースを備えた場合の端末１００とサーバ３００のフローチャート図である。図１３の顔画像取得（ステップＳ６０１）、属性情報入力受付（ステップＳ６０２）、構成パーツ種類指定受付（ステップＳ６０３）、特徴点指定受付（ステップＳ６０４）、輪郭描画（ステップＳ６１１）、輪郭に沿った化粧描画（ステップＳ６１２）は、それぞれ図３の顔画像取得（ステップＳ１０１）、図５の属性情報入力受付（ステップＳ２０２）、図３の構成パーツ種類指定受付（ステップＳ１０２）、特徴点指定受付（ステップＳ１０３）、輪郭描画（ステップＳ１０４）、輪郭に沿った化粧描画（ステップＳ１０５）に相当する。そのため、ここではステップＳ６０５からステップＳ６１０を中心に説明する。
　ステップＳ６０４の特徴点指定受付後、輪郭描画モジュール１３１は、構成パーツの種類と、指定された複数の特徴点のデータをサーバ３００に送信する（ステップＳ６０５）。属性情報が入力されている場合には、属性情報もあわせて送信する。また、構成パーツの輪郭の類推処理に、顔画像も使用する場合には、顔画像もあわせて送信してよい。
　サーバ３００は、輪郭の類推処理に必要なデータを端末１００から受信する（ステップＳ６０６）。
　次に、サーバ３００は、受信したデータをもとに輪郭データベース３３１を参照し、輪郭の類推処理を行う（ステップＳ６０７）。指定された輪郭の特徴点をデータベースに照合することで、特徴点にあった輪郭データを取得する。その際、属性情報が存在する場合には、図５の処理で前述した通り、属性情報に応じたデータベースから優先して輪郭データを取得する。
　サーバ３００は、類推した輪郭データをもとに、輪郭データの作成処理を行う（ステップＳ６０８）。化粧シミュレーションに使用する顔画像と、輪郭データベース３３１に登録されている画像は、実際の大きさが異なる場合もあるので、その場合には、顔画像の特徴点と輪郭データベース３３１の輪郭データとの比較は、変倍して行う必要がある。変倍して輪郭の類推処理を行った場合には、ここで、輪郭データを実際の顔画像のサイズに適した大きさにあわせて、変倍する。
　次に、サーバ３００は、作成した輪郭データを端末１００に送信する（ステップＳ６０９）。
　端末１００の輪郭描画モジュール１３１は、サーバ３００から輪郭データを受信する（ステップＳ６１０）。
　次に、輪郭描画モジュール１３１は、受信した輪郭データに基づき、顔画像に輪郭の描画を行う（ステップＳ６１１）。
　最後に、端末１００は出力部１３０に輪郭に沿った化粧画像の描画を行う（ステップＳ６１２）。
　このように、サーバ３００に輪郭データベースを備えることで、端末１００にデータベースを備える必要がなくなるため、端末１００の記憶部１４０の容量を圧迫することが無くなる。また、随時、サーバ３００のデータベースの輪郭データを増やすことができるため、より、精度の高い化粧シミュレーションシステムを提供することが可能となる。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）、コンパクトメモリ等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
　１００　端末、１００ａ　接続元端末、１００ｂ　接続先端末、２００　通信網、３００　サーバ、

Claims (8)

  1. 　顔画像に化粧シミュレーションを行う化粧シミュレーションシステムであって、
    　前記顔画像の構成パーツの種類の指定を受ける構成パーツ種類指定受付手段と、
    　前記指定を受けた構成パーツの輪郭上に、複数の特徴点の指定をプロットにより受け付ける特徴点指定受付手段と、
    　前記プロットにより指定された複数の特徴点に基づいて、前記構成パーツの輪郭を描画する輪郭描画手段と、
    を備えることを特徴とする化粧シミュレーションシステム。
  2. 　前記プロットにより指定させる特徴点として、前記構成パーツの最も上、最も下、最も左、最も右の４点を含むことを特徴とする請求項１に記載の化粧シミュレーションシステム。
  3. 　前記顔画像の属性情報の入力を受ける属性情報入力受付手段を備え、
    　前記輪郭描画手段は、前記入力された属性情報を加味して、前記構成パーツの輪郭を描画することを特徴とする請求項１または請求項２に記載の化粧シミュレーションシステム。
  4. 　前記指定された構成パーツが目である場合、前記輪郭描画手段により描画した目の輪郭から、さらに、瞼の輪郭を予測して描画する瞼描画手段と、
    を備えることを特徴とする請求項１から請求項３のいずれかに記載の化粧シミュレーションシステム。
  5. 　前記描画した輪郭と前記顔画像の構成パーツの輪郭との間にズレがある場合に、描画した輪郭の微調整を行わせる描画輪郭微調整手段と、
    を備えることを特徴とする請求項１から請求項４のいずれかに記載の化粧シミュレーションシステム。
  6. 　ネットワークを介して接続された端末と画面を共有する画面共有手段と、
    　前記ネットワークを介して接続された端末から前記共有した画面に対して操作を行える遠隔操作手段と、
    を備えることを特徴とする請求項１から請求項５のいずれかに記載の化粧シミュレーションシステム。
  7. 　顔画像に化粧シミュレーションを行う化粧シミュレーション方法であって、
    　前記顔画像の構成パーツの種類の指定を受ける構成パーツ種類指定受付ステップと、
    　前記指定を受けた構成パーツの輪郭上に、複数の特徴点の指定をプロットにより受け付ける特徴点指定受付ステップと、
    　前記プロットにより指定された複数の特徴点に基づいて、前記構成パーツの輪郭を描画する輪郭描画ステップと、
    を備えることを特徴とする化粧シミュレーション方法。
  8. 　顔画像に化粧シミュレーションを行う化粧シミュレーションシステムに、
    　前記顔画像の構成パーツの種類の指定を受ける構成パーツ種類指定受付ステップ、
    　前記指定を受けた構成パーツの輪郭上に、複数の特徴点の指定をプロットにより受け付ける特徴点指定ステップ、
    　前記プロットにより指定された複数の特徴点に基づいて、前記構成パーツの輪郭を描画する輪郭描画ステップ、
    を実行させるための化粧シミュレーションプログラム。
PCT/JP2016/061846 2016-04-12 2016-04-12 化粧シミュレーションシステム、化粧シミュレーション方法、および化粧シミュレーションプログラム WO2017179134A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2016/061846 WO2017179134A1 (ja) 2016-04-12 2016-04-12 化粧シミュレーションシステム、化粧シミュレーション方法、および化粧シミュレーションプログラム
JP2018511805A JP6427297B2 (ja) 2016-04-12 2016-04-12 化粧シミュレーションシステム、化粧シミュレーション方法、および化粧シミュレーションプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/061846 WO2017179134A1 (ja) 2016-04-12 2016-04-12 化粧シミュレーションシステム、化粧シミュレーション方法、および化粧シミュレーションプログラム

Publications (1)

Publication Number Publication Date
WO2017179134A1 true WO2017179134A1 (ja) 2017-10-19

Family

ID=60042425

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/061846 WO2017179134A1 (ja) 2016-04-12 2016-04-12 化粧シミュレーションシステム、化粧シミュレーション方法、および化粧シミュレーションプログラム

Country Status (2)

Country Link
JP (1) JP6427297B2 (ja)
WO (1) WO2017179134A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191569A (zh) * 2018-09-29 2019-01-11 深圳阜时科技有限公司 一种模拟化妆装置、模拟化妆方法及设备
US10691932B2 (en) 2018-02-06 2020-06-23 Perfect Corp. Systems and methods for generating and analyzing user behavior metrics during makeup consultation sessions
WO2023188160A1 (ja) * 2022-03-30 2023-10-05 日本電気株式会社 入力支援装置、入力支援方法、及び非一時的なコンピュータ可読媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053981A (ja) * 2007-08-28 2009-03-12 Kao Corp 化粧シミュレーション装置
JP2012119798A (ja) * 2010-11-30 2012-06-21 Casio Comput Co Ltd 画像生成方法、画像生成装置及びプログラム
JP2014056546A (ja) * 2012-09-14 2014-03-27 Konica Minolta Inc 情報共有システム及び共有端末並びに共有制御プログラム
JP2014115821A (ja) * 2012-12-10 2014-06-26 Secom Co Ltd 顔特徴抽出装置および顔認証システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3567261B2 (ja) * 2002-03-29 2004-09-22 カシオ計算機株式会社 似顔絵画像表示制御装置及び似顔絵画像表示制御方法
JP2008059108A (ja) * 2006-08-30 2008-03-13 Hitachi Ltd 画像処理装置，画像処理方法、そのプログラムおよび人流監視システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053981A (ja) * 2007-08-28 2009-03-12 Kao Corp 化粧シミュレーション装置
JP2012119798A (ja) * 2010-11-30 2012-06-21 Casio Comput Co Ltd 画像生成方法、画像生成装置及びプログラム
JP2014056546A (ja) * 2012-09-14 2014-03-27 Konica Minolta Inc 情報共有システム及び共有端末並びに共有制御プログラム
JP2014115821A (ja) * 2012-12-10 2014-06-26 Secom Co Ltd 顔特徴抽出装置および顔認証システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10691932B2 (en) 2018-02-06 2020-06-23 Perfect Corp. Systems and methods for generating and analyzing user behavior metrics during makeup consultation sessions
CN109191569A (zh) * 2018-09-29 2019-01-11 深圳阜时科技有限公司 一种模拟化妆装置、模拟化妆方法及设备
WO2023188160A1 (ja) * 2022-03-30 2023-10-05 日本電気株式会社 入力支援装置、入力支援方法、及び非一時的なコンピュータ可読媒体

Also Published As

Publication number Publication date
JP6427297B2 (ja) 2018-11-21
JPWO2017179134A1 (ja) 2018-11-01

Similar Documents

Publication Publication Date Title
JP6200483B2 (ja) 画像処理システム、画像処理方法、および画像処理プログラム
US10593088B2 (en) System and method for enabling mirror video chat using a wearable display device
KR101665229B1 (ko) 증강된 가상 현실을 사용하는, 원격 참여자들 간의 개선된 통신의 제어
EP3383022A1 (en) Method and camera device for processing image
CN108600632B (zh) 拍照提示方法、智能眼镜及计算机可读存储介质
US10237495B2 (en) Image processing apparatus, image processing method and storage medium
US9081430B2 (en) Pointing control device, integrated circuit thereof and pointing control method
JP6212533B2 (ja) 画面共有システム、画面共有方法、および画面共有プログラム
JP2013021680A (ja) 画像に関する処理支援システム、情報処理装置、及び画像に関する処理影支援方法
WO2019011091A1 (zh) 拍照提醒方法、装置、终端和计算机存储介质
WO2017179134A1 (ja) 化粧シミュレーションシステム、化粧シミュレーション方法、および化粧シミュレーションプログラム
CN109977868A (zh) 图像渲染方法及装置、电子设备和存储介质
WO2018055659A1 (ja) 画面共有システム、画面共有方法及びプログラム
JP2017188787A (ja) 撮像装置、画像合成方法、および画像合成プログラム
KR101738896B1 (ko) 패턴 복사를 이용한 가상 피팅 시스템 및 그 방법
KR20220053393A (ko) 촬영 가이드 제공 서버, 촬영 가이드 제공 방법 및 이를 구현한 전자 장치
JP6140327B2 (ja) メッセージ送信システム、メッセージ送信方法、プログラム
KR20190101802A (ko) 전자 장치 및 그의 증강 현실 객체 제공 방법
KR101520863B1 (ko) 얼굴인식을 이용한 캐릭터 제작 방법 및 이를 지원하는 단말
JP5904887B2 (ja) メッセージ送信システム、メッセージ送信方法、プログラム
CN112804451B (zh) 利用多个摄像头进行拍照的方法和系统以及移动装置
CN110428492B (zh) 三维唇部重建方法、装置、电子设备及存储介质
US11341595B2 (en) Electronic device for providing image related to inputted information, and operating method therefor
CN111295692B (zh) 一种立体水印贴纸实现方法、移动终端及存储介质
JP2010224706A (ja) 似顔絵作成システム、制御サーバ、クライアント端末、似顔絵作成方法、およびプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018511805

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16898594

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 22.01.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 16898594

Country of ref document: EP

Kind code of ref document: A1