WO2018117020A1 - 塗布制御装置、塗布制御方法、プログラムおよび記録媒体 - Google Patents

塗布制御装置、塗布制御方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
WO2018117020A1
WO2018117020A1 PCT/JP2017/045299 JP2017045299W WO2018117020A1 WO 2018117020 A1 WO2018117020 A1 WO 2018117020A1 JP 2017045299 W JP2017045299 W JP 2017045299W WO 2018117020 A1 WO2018117020 A1 WO 2018117020A1
Authority
WO
WIPO (PCT)
Prior art keywords
skin
application
segments
image data
coating
Prior art date
Application number
PCT/JP2017/045299
Other languages
English (en)
French (fr)
Inventor
智祐 勝山
Original Assignee
株式会社資生堂
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社資生堂 filed Critical 株式会社資生堂
Priority to KR1020197019415A priority Critical patent/KR102528866B1/ko
Priority to EP17884934.5A priority patent/EP3560376B1/en
Priority to JP2018557760A priority patent/JP7051712B2/ja
Priority to CN201780083270.5A priority patent/CN110177486B/zh
Priority to US16/470,327 priority patent/US11501456B2/en
Publication of WO2018117020A1 publication Critical patent/WO2018117020A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J3/00—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed
    • B41J3/407—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed for marking on special material
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J3/00—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed
    • B41J3/44—Typewriters or selective printing mechanisms having dual functions or combined with, or coupled to, apparatus performing other functions
    • B41J3/445—Printers integrated in other types of apparatus, e.g. printers integrated in cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J3/00—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed
    • B41J3/44—Typewriters or selective printing mechanisms having dual functions or combined with, or coupled to, apparatus performing other functions
    • B41J3/46—Printing mechanisms combined with apparatus providing a visual indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Definitions

  • the present invention relates to a coating control device, a coating control method, a program, and a recording medium on which the program is recorded.
  • Natural make-up is one of the make-up methods that have been supported by many women regardless of age, with an attractive finish that leaves the skin-like texture. Natural makeup is based on thinning the foundation. However, due to aging, spots, freckles, and uneven color occur, so natural makeup becomes difficult with aging. Therefore, methods such as using a high concealment concealer or applying a lot of foundation to the spot or freckles are used.
  • Patent Document 1 discloses that an adherend is formed on the skin or lips so as to approach the optical characteristics at the predetermined location as the predetermined location is approached, thereby substantially eliminating the boundary and giving a natural impression. A method is described. Patent Document 1 describes that an adherend can be formed using an ink jet.
  • the present invention has been made in view of the above-described problems, and provides a cosmetic application control device, an application control method, a program, and a recording medium that naturally hide a partial brightness difference on the skin. With the goal.
  • An application control device includes an acquisition unit that acquires skin image data, a division unit that divides the image data into a plurality of segments of 200 ⁇ m or less, and a single or a plurality of the image data.
  • a calculation unit that calculates the amount of cosmetic applied to each part of the skin from the segment value.
  • the application control method includes an acquisition step of acquiring skin image data, a division step of dividing the image data into a plurality of segments of 200 ⁇ m or less, A calculation step of calculating the amount of cosmetic applied to each part of the skin from the values of a plurality of segments.
  • the program according to an embodiment of the present invention includes an acquisition process for acquiring skin image data, a division process for dividing the image data into a plurality of segments of 200 ⁇ m or less, and a single or a plurality of the image data.
  • the computer is caused to execute a calculation process for calculating an application amount of the cosmetic to be applied to each part of the skin from the segment value.
  • a computer-readable recording medium records the above program.
  • the present invention it is possible to provide a coating control device, a coating control method, a program, and a recording medium that naturally hide the difference in local brightness of the skin.
  • FIG. 1 is an external view showing a configuration of a coating system 10 according to the present embodiment.
  • the coating system 10 includes a coating device 100, an imaging unit 200, and a coating control device 300.
  • the application apparatus 100 is an apparatus for applying cosmetics to the skin, and is held by a user.
  • the coating apparatus 100 has a prismatic casing, and a coating head 101 is provided on one end surface of the casing.
  • the shape of the coating apparatus 100 is not limited as long as it is a shape that can be easily gripped by the user, and may be cylindrical or hemispherical. Further, the coating apparatus 100 may include a gripping member such as a handle.
  • the application head 101 is composed of, for example, an inkjet head and includes a plurality of nozzles that discharge cosmetics.
  • the plurality of nozzles are two-dimensionally arranged, and a cosmetic film can be formed by discharging the cosmetic material to a predetermined region of the skin.
  • a cosmetic tank 102 is attached to the coating apparatus 100, and cosmetics are supplied from the cosmetic tank 102 to the coating head 101.
  • the cosmetic tank 102 may be provided in the coating apparatus 100.
  • Cosmetics that cause local brightness differences in human skin including the face such as liquid concealers or liquid foundations for hiding spots, freckles, pores, vitiligo, various scars, etc., are used. be able to.
  • the imaging unit 200 is provided on the side surface (upper surface) of the coating apparatus 100 in the same direction as the coating head 101.
  • the imaging unit 200 includes a lens, an imaging device, and the like, and can capture an image of a narrow range of skin (second image) on which application is performed by the application head 101.
  • the imaging unit 200 is connected to the coating head 101, and the relative position of the imaging unit 200 with respect to the coating head 101 is fixed.
  • the imaging unit 200 may be formed integrally with the application head 101.
  • the coating apparatus 100 and the imaging unit 200 are controlled by the coating control apparatus 300.
  • the application control apparatus 300 is connected to the application apparatus 100 and the imaging unit 200 via a wired connection such as a USB (Universal Serial Bus) cable or a wireless connection such as Bluetooth (registered trademark) or Wi-Fi.
  • the coating control apparatus 300 may be built in the coating apparatus 100.
  • the coating control apparatus 300 includes members included in the coating apparatus 100 shown in FIG.
  • the coating head 101 may be provided.
  • the application control apparatus 300 stores in advance an image of a wide range of skin (first image, skin image data) including spots, freckles, pores, and the like to be applied.
  • the application control apparatus 300 can grasp the position of the application head 101 on the skin by comparing the second image acquired from the imaging unit 200 with the first image.
  • the application control apparatus 300 includes a display 301, and various information such as a skin image and the state of the application head 101 are displayed on the display 301.
  • the coating control apparatus 300 recognizes the position of the coating head 101 on the skin and displays the current position of the coating head 101 on the display 301.
  • the user moves the application head 101 along the skin while checking the display 301.
  • the application head 101 arrives at a position to be applied, the application of the cosmetic is automatically performed.
  • the cosmetic is applied based on the cosmetic application amount (details will be described later) calculated by the application control device 300.
  • FIG. 2 is a block diagram showing an example of the configuration of the coating system 10 according to the present embodiment.
  • the coating apparatus 100 includes a coating head 101, a cosmetic tank 102, a moving mechanism 103, an operation unit 104, a distance sensor 105, and a motion sensor 106.
  • the application control apparatus 300 includes a display 301, an image processing circuit 302, a gap control circuit 303, a head control circuit 304, a CPU 305, a RAM 306, a ROM 307, a storage device 308, a speaker 309, and an I / F 310.
  • the CPU 305 can function as an acquisition unit, a division unit, and a calculation unit.
  • the storage device 308 can function as a storage unit.
  • the coating head 101 is, for example, a piezo ink jet head, and includes a nozzle, a pressure chamber, a piezoelectric element, a drive circuit, and the like.
  • the pressure chamber is filled with cosmetics and a voltage is applied from the drive circuit to the piezoelectric element, the volume of the pressure chamber changes due to the deformation of the piezoelectric element.
  • cosmetics are discharged from a nozzle in the shape of a droplet.
  • the application head 101 may be a thermal inkjet head that heats the cosmetic with a heating body and discharges the cosmetic with the pressure of the generated bubbles.
  • the coating head 101 operates based on a control signal from the head control circuit 304.
  • the cosmetic tank 102 stores the cosmetic and supplies the cosmetic to the application head 101.
  • the cosmetic tank 102 can be a cartridge type that can be easily replaced.
  • the cosmetic is a liquid having a predetermined viscosity that can be discharged from the application head 101.
  • Specific examples of the cosmetics include those that can conceal the local brightness difference in the skin, such as concealer, foundation, and funny.
  • a plurality of cosmetic tanks 102 may be provided so as to accommodate a plurality of cosmetics of different types or colors. For example, four cosmetic tanks 102 are provided so that three color cosmetics of yellow, magenta, and cyan and cosmetics capable of adjusting brightness can be applied, and four nozzle groups corresponding to each cosmetic are applied.
  • the head 101 can be provided.
  • the moving mechanism 103 includes an actuator, a guide member, and the like, and can drive the application head 101 forward and backward in the longitudinal direction of the application apparatus 100, that is, in a direction perpendicular to the skin when the application head 101 is opposed to the skin. it can.
  • the moving mechanism 103 controls the position of the coating head 101 in accordance with a control signal from the gap control circuit 303.
  • the operation unit 104 includes operation members such as a power switch, a menu button, and a coating button for executing coating, and is used by the user to give an instruction to the coating device 100.
  • the application control device 300 controls the operation of the application device 100 in accordance with a user instruction input from the operation unit 104.
  • the application button is preferably arranged at a position where the user can easily operate while holding the application apparatus 100.
  • the application button is arranged at a position where the user touches the finger when holding the application apparatus 100. The Thereby, even when the user moves the coating apparatus 100 to a part (such as a cheek) that cannot be directly visually recognized, the user can operate the coating button by groping.
  • the distance sensor 105 is, for example, an infrared sensor, an ultrasonic sensor, or the like, irradiates a detection wave such as an infrared ray or an ultrasonic wave toward an object, and receives the reflected wave.
  • the distance sensor 105 can detect the distance to the object based on the time from irradiating the detection wave to receiving the reflected wave.
  • a plurality of distance sensors 105 are provided around the application head 101, and the inclination of the application head 101 with respect to the skin can be detected.
  • the application control device 300 keeps the distance between the skin and the application head 101 constant based on the detection signal from the distance sensor 105, and discharges cosmetics when the application head 101 is inclined with respect to the skin, for example.
  • the coating head 101 can be controlled so that it does not occur.
  • the motion sensor 106 includes an acceleration sensor, a gyro sensor, and a geomagnetic sensor, and detects movement such as movement and rotation of the coating head 101.
  • the acceleration sensor is composed of, for example, a capacitance detection element, and can detect the acceleration applied to the coating head 101.
  • the gyro sensor is composed of, for example, a piezoelectric vibration element and has a function of detecting the direction of the coating head 101.
  • the geomagnetic sensor can grasp the orientation of the coating head 101 by detecting the geomagnetism. Based on the detection signal from the motion sensor 106, the application control device 300 can control the application head 101 so that the cosmetic is not discharged, for example, when the application head 101 moves quickly.
  • the imaging unit 200 includes an optical system, an imaging device, and an A / D (Analog / Digital) converter.
  • the optical system includes an optical filter, a fixed lens, and a focus lens, and images light from a subject (skin) on an imaging surface of an imaging element to form a subject image.
  • a polarizing filter can be attached to the optical system, and specular reflection can be reduced.
  • the image pickup device is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor, and includes a plurality of pixels arranged two-dimensionally, a color filter, and a microlens.
  • the plurality of pixels may include imaging pixels and focus detection pixels.
  • the image sensor has an electronic shutter function for controlling the charge accumulation time.
  • Each of the plurality of pixels outputs a pixel signal based on incident light from the optical system.
  • the A / D converter includes a comparison circuit, a latch circuit, and the like, and converts an analog pixel signal from the image sensor into digital RAW data.
  • the imaging unit 200 can output a moving image having a predetermined frame rate in addition to a still image. Note that the imaging unit 200 according to the present embodiment has a function of capturing an image of a narrow range of skin (second image) applied by the application head 101, but has a wide range of skin that can be applied. You may have the function to image the image (1st image) of the range.
  • the display 301 includes, for example, a liquid crystal display and an organic EL (Electro Luminescence) display.
  • the display 301 performs various displays such as an image from the imaging unit 200, an image stored in the storage device 308, status information of the coating head 101, and a menu screen based on data from the CPU 305.
  • the display 301 may be a touch panel and may function as the operation unit 104.
  • the image processing circuit 302 includes a numerical operation circuit, performs a demosaic process on the RAW data from the imaging unit 200, and has an image having each color value of R (red), G (green), and B (blue) for each pixel. Data (RGB image) is generated.
  • the image processing circuit 302 also has a function of performing digital image processing such as white balance adjustment, gamma correction, contour enhancement, tone conversion, noise reduction, and compression on image data.
  • the gap control circuit 303 controls the gap (gap) between the skin and the coating head 101 by outputting a control signal to the moving mechanism 103. Based on the detection signal from the distance sensor 105, the gap control circuit 303 can control the position of the coating head 101 so as to maintain a certain distance from the skin. Based on an instruction from the CPU 305, the head control circuit 304 outputs, to the application head 101, a control signal indicating information on a nozzle that discharges cosmetics, an application amount, and the like.
  • a CPU (Central Processing Unit) 305 includes a CPU core, a cache memory, and the like, and comprehensively controls each unit of the coating control apparatus 300. As will be described in detail later, the CPU 305 acquires skin image data from the storage device 308 (acquisition unit), divides the image data into a plurality of segments (division unit), and applies cosmetics applied to the skin. The amount is calculated (calculation unit).
  • a RAM (Random Access Memory) 306 is, for example, a DRAM (Dynamic RAM), and is used as a work area of the CPU 305, a program load area, and the like. The RAM 306 temporarily stores data necessary for processing by the CPU 305, image data generated by the image processing circuit 302, image data read from the storage device 308, and the like.
  • a ROM (Read Only Memory) 307 is, for example, EEPROM (Electrically Erasable Programmable ROM), and stores various setting files, basic programs such as an OS (Operating System), and a control program for controlling the operation of the coating apparatus 100.
  • EEPROM Electrically Erasable Programmable ROM
  • OS Operating System
  • the storage device (storage unit) 308 is, for example, a flash memory or a hard disk, and includes a wide range of skin image data (first image) and a narrow range of skin image (second image) on which cosmetics are applied. Image), as well as other images and the like.
  • the storage device 308 can store RAW data from the imaging unit 200, image data generated by the image processing circuit 302, and the like. Further, the storage device 308 can store image data captured by an external imaging device via the I / F 310, and can also store image data on the Internet via the I / F 310. Is possible.
  • the storage device 308 may be a portable storage medium, and may be configured to be detachable from the application control device 300 via a memory card slot, a USB connector, or the like.
  • the speaker 309 includes a piezoelectric vibration unit, a drive circuit, and the like, and outputs a sound wave signal based on data from the CPU 305.
  • the speaker 309 can reproduce voice messages, sound effects, and the like, and is used, for example, to notify the user of the operating state of the coating apparatus 100.
  • An I / F (Interface) 310 transmits / receives data to / from the outside such as the Internet or various peripheral devices.
  • the application control device 300 calculates the amount of cosmetics to be applied to the skin from the skin image data stored in the storage device 308 (details will be described later). Then, the coating apparatus 100 applies cosmetics to the skin from the application head 101 based on the cosmetic application amount calculated by the application control apparatus 300.
  • the application control apparatus 300 determines the position of the second image (the narrow range of skin image on which the application is performed) in the first image (the wide range of image data of the skin). Then, the application control device 300 can control the application head 101 so that the application amount at the determined position in the cosmetic application amount distribution calculated by the application control device 300 is obtained.
  • the method for determining the position of the second image in the first image is not particularly limited, and any method can be used.
  • the position of the second image captured by the imaging unit 200 in the first image stored in advance in the storage device 308 is determined, and the cosmetic is applied from the application head 101 based on the determination result.
  • the present invention is not limited to such an embodiment.
  • an application amount may be calculated in real time from an image captured by the imaging unit 200, and cosmetics may be applied with the application amount.
  • FIG. 3 is a schematic diagram showing an example of a human skin layer configuration assumed in the calculation model, and specifically shows a schematic configuration of the facial skin. Note that even if the skin is other than the face, although the thickness of each layer is different (for example, the stratum corneum is thicker than the face on the sole of the foot), the layer configuration is the same as the example shown in FIG.
  • Human skin is roughly divided into an epidermis layer 411 including a horny layer 411a, a dermis layer 412, and a subcutaneous tissue 413 from the outermost layer side to the inside, and has a layered structure.
  • the stratum corneum 411a is located on the most surface of the skin layers 411.
  • a melanin pigment is generated at the bottom of the skin layer 411.
  • Melanin pigments play a role in protecting the skin from ultraviolet rays.
  • the generated melanin pigment is deposited in the epidermis layer 411 due to various effects such as aging and becomes a melanin pigment deposition portion 411b. As a result, the skin looks dark and is recognized as a spot.
  • the dermis layer 412 located inside the epidermis layer 411 has blood vessels stretched inside.
  • a blood vessel consists of a series of arteries 414 and veins 415.
  • the arterial blood sent from the heart travels through the artery 414 in the dermis layer 412 and moves through various substances such as exchange of oxygen and carbon dioxide, and then becomes venous blood in the vein 415 in the dermal layer 412. It flows and reaches the heart again.
  • the subcutaneous tissue 413 is the innermost in the skin, and most of it is made of subcutaneous fat. In addition, nerves, sweat glands, lymph vessels, etc., not shown, are stretched inside the skin.
  • the tissues of the epidermis layer 411 and the dermis layer 412 including the stratum corneum 411a are translucent and visible light easily penetrates.
  • Light that has penetrated into the skin is reflected by tissues inside the skin, and part of the light diffuses while being repeatedly absorbed by blood and melanin, and part of the diffused light is emitted from the skin surface again.
  • the light emitted from the skin again spreads concentrically around the incident point.
  • the fact that the light applied to the skin diffuses within the skin and is emitted from a wide range including the incident point is considered to have the same effect as illuminating the skin surface with light from the back side.
  • the illuminance changes depending on the relationship between the direction of the uneven surface and the lighting direction, so that a bright part and a dark part are generated.
  • This contrast between light and dark can be said to be a signal indicating that there are fine irregularities on the surface, but the larger the contrast ratio, the easier it is to recognize the surface.
  • This can be said to be the same mechanism as the eye moving to maximize the contrast ratio when focusing on the surface.
  • the illumination is performed from the back side of the uneven surface, the contrast of the uneven surface is reduced, and conversely, the surface becomes difficult to recognize.
  • the former makes the presence of the surface clear and the latter makes it unclear. If the ease of recognizing these surfaces is replaced with a texture, the former is thought to give a feeling of opacity, and the latter gives a feeling of depth or transparency.
  • the effect that occurs when light is incident on one point of the skin is mentioned, but here the light emitted from one point of the skin is considered here.
  • the formation of light emitted from one point of the skin can be considered as the addition of light that has entered from the periphery of the point and diffused around the skin. For this reason, if there is something that prevents light from entering the skin at a position slightly away from the point, the light that would normally come from there will not come, and it will become darker by that amount.
  • Highly concealed coatings just prevent incidence, and the effect is greater the closer to the boundary of the coating. As a result, a phenomenon occurs in which the vicinity of the boundary of the coating becomes darker than the surroundings.
  • the present inventor calculates the cosmetic application amount using a predetermined calculation model, and applies the application amount using the application device so that the calculated cosmetic application amount is obtained. I found that the difference can be concealed naturally.
  • unnaturalness at the application boundary of cosmetics is due to (1) the unique optical properties of the skin, that is, the property that light penetrates and diffuses, and ( 2) It has been found that it is caused by calculation accuracy of coating amount and coating accuracy, respectively. Therefore, according to a calculation model in which at least one of these is considered in advance, a coating amount suitable for each point is theoretically obtained.
  • an appropriate application amount distribution for concealing the stain, including the boundary is known to the stain, the user applies the cosmetic by himself / herself, not only when applying using a device. In some cases, it can be useful reference information.
  • FIG. 4 is a schematic diagram showing an example of N segments on the skin surface.
  • Each of the N segments is a square having the same area.
  • the 1st and Nth segments N are arranged in order.
  • the reflectivity R of the k-th segment k is, R (k), or represented by the subscript as R k.
  • the coating amount of the kth segment k is represented as xk.
  • the diffusion of light from the kth segment k to the k′th segment k ′ is treated as a skin spatial impulse response function and expressed as I k (k, k ′).
  • the spatial impulse response function is a distribution of reflected light luminance values when light is applied to an infinitesimal region, and is called a point spread function (PSF).
  • PSF point spread function
  • the spatial impulse response function is a function that expresses how much light is emitted from surrounding segments including a certain segment when the light is evenly irradiated to one segment. is there.
  • r out represents the reflectance emitted from the coating directly, without passing through the skin, of the reflectance of the segment when the segment is irradiated with light. Since it is assumed that there is no reflection from the skin surface as will be described later, it can be said that r out considers only the light reflected from the coating.
  • r in represents the reflectance emitted from the segment when the segment is irradiated with light from the back side of the skin. Similar to r out , it can be said that only light reflected from the coating (toward the skin) is considered.
  • t out represents the transmittance from the inside of the segment to the outside.
  • t in represents the transmittance from the outside to the inside of the segment. Since these are determined by the coating amount of the coated material, when the coating amount is x, they are expressed as r out (x), r in (x), t out (x), and t in (x).
  • the reflectance R n of the segment n is expressed by Expression (1).
  • the first term on the right side of the first row is that the light irradiated to the segment n is reflected by the coating material
  • the second term on the right side of the first row is from the outside of the segment n or another segment to the inside. It is transmitted and directly reaches segment n.
  • the second row indicates that the segment n or other segment is transmitted from the outside to the inside, is reflected once by the inner surface of any segment, and reaches the segment n.
  • the third line represents the same reflection twice, and the fourth and subsequent lines are repeated.
  • Equation (1) may be solved for N coating amounts x.
  • the cosmetic application amount may be calculated using a calculation model other than the calculation model represented by the formula (1), and various calculation models including the calculation model represented by the formula (1) may be used.
  • the amount of cosmetics applied may be calculated by adding a simplification method. The assumptions for simplifying the calculation are also made for the specific examples shown below, but the present invention is not limited to this.
  • I k (k, n) Simplification of calculation model
  • I k (k, n) m (n) m (k ) I (k, n).
  • I (k, n) is an impulse response function representing the ratio of light incident from the segment k and emitted from the segment n
  • I (k, k ′) is normalized as shown in the following equation. It shall be.
  • k ′ is the number of m segments surrounding k.
  • m (n) m (k) represents energy lost when propagating through the skin when entering from the point k and exiting from the point n. In this assumption, the energy lost in the skin is determined by the incident point and the outgoing point.
  • Equation (2) N simultaneous nonlinear equations shown in equation (2) are obtained. It is done. Note that the reflectance R p after application of the cosmetic may be set uniformly in all parts of the skin, or an arbitrary R p may be set according to the location of the skin.
  • Partial differential coefficient for the coating amount x k of segment n is represented by the formula (3).
  • [delta] i, j in equation (3) is a delta symbol Kronecker.
  • Nonlinear simultaneous equations can be obtained by Newton's method using partial differential coefficients if the initial values can be set appropriately. A method for setting the initial value will be described later.
  • Equation (4) R (k) and m (k) are the respective reflectance and energy loss in the segment k. Since this is a simultaneous nonlinear equation with unknown number N, N functions are placed as shown in Equation (5) and a partial differential coefficient is set as shown in Equation (6) according to a conventional method.
  • m (k) was displayed as follows.
  • the coating amount distribution is a physical quantity that defines the amount of coating material such as the volume, weight, and thickness of the coating material for each segment on the skin.
  • obtaining the application amount distribution means obtaining the application amount for each segment.
  • the segment has a predetermined area, the application area ratio to each segment can also be handled as the application amount. Therefore, it is assumed that the coated material is applied at a predetermined area ratio in each segment. It is assumed that the thickness of the coating is such that the transmittance is almost zero. In order to simplify the discussion, it is assumed that the coating itself does not absorb light and that the light hitting the coating is reflected without energy loss.
  • a white coating material having extremely high concealability is applied to each segment at a predetermined area ratio. For example, when an area ratio of 0.4 is applied to a certain segment, 0.4 of the light uniformly irradiated in the segment is reflected and the remaining 0.6 reaches the skin.
  • Equation (8) represents the reflection and transmission of the light irradiated from the outside of the skin surface on the skin surface.
  • the reflection and transmission of the light reaching from the inside of the skin surface is expressed by the equation (9). It can be expressed as follows.
  • 1 to N ′ indicate a range that affects the attention point. If it is outside the range of 1 to N (region of interest), the coating amount is assumed to be zero, but (1-x k ) representing the wraparound of light is 1, which affects the result, so the range of 1 to N ′ Was used for calculation.
  • Equation (12) The initial value for solving equation (12) is assumed to be equation (14). This initial value corresponds to the coating amount when light is not diffused in the skin at all and is emitted only at the irradiated position.
  • the above method is called a method with reflection in the skin because the light coming from the inside of the skin is calculated including the term that is reflected in the skin by the applied material.
  • Equation (16) Rewriting equation (15) into the form of simultaneous equations yields a simplified equation like equation (16).
  • the curly braces in the equation (16) can be read as being reduced from the reflectance R (n) by the amount of impulses (the second term in the curly braces) generated by the dots of the coating.
  • the partial differential value is expressed as follows, and a simplified formula (17) is obtained.
  • the above method is called a method without reflection in the skin because light from the inside of the skin is lost without being reflected in the skin by the applied material.
  • FIG. 5 is a flowchart showing the operation of the coating control apparatus according to the first embodiment of the present invention. Hereinafter, each step of the operation of the application control apparatus will be described in order.
  • the CPU 305 acquires from the storage device 308 the skin image data to be applied with the cosmetic imaged by an external imaging device (not shown), and reads it into the RAM 306.
  • Skin image data is stored in the storage device 308 in advance.
  • the skin image data may be stored in the storage device 308 from an external device such as an imaging device or a personal computer via the I / F 310, or may be stored in the storage device 308 from the Internet via the I / F 310. It may be stored.
  • a memory card serving as a storage device 308 that stores skin image data in advance may be used by being attached to a memory card slot (not shown) provided in the application control device 300.
  • the CPU 305 constitutes an acquisition unit.
  • the skin image data includes at least optical information and position information corresponding to each of the plurality of pixels.
  • the optical information preferably includes a luminance value, for example, information in YUV format.
  • the position information may be anything as long as it includes two-dimensional position information.
  • the coating amount is calculated based on the luminance value, but a signal in a specific wavelength region (color component) may be used, or a value of each color may be used. Therefore, a wavelength in an arbitrary visible region, preferably a wavelength of 600 nm or more may be selected using a bandpass filter or the like, an arbitrary signal from an RGB signal, preferably an R signal may be selected, and a YUV signal may be selected. Any signal, preferably a Y signal, may be selected.
  • the size of the image data to be acquired is not particularly limited as long as it can be divided into a plurality of segments and can be accurately calculated in the application amount calculation process (step S3) described later.
  • the resolution is desirably a high resolution up to a limit that can be visually recognized by the human eye, and may be higher than that, but is preferably high enough not to cause an excessively high load in image processing. .
  • the CPU 305 divides the acquired image data into a plurality of segments.
  • the CPU 305 constitutes a dividing unit.
  • the image data is divided so that one side of the segment is 200 ⁇ m or less, preferably 20 ⁇ m or more and 150 ⁇ m or less.
  • it is possible to calculate a precise coating amount distribution to a level that is difficult to distinguish with the naked eye, and to naturally conceal partial brightness differences. it can.
  • the thickness is 150 ⁇ m or less, a partial brightness difference can be concealed more naturally, and when the thickness is 20 ⁇ m or more, the processing load of an application amount calculation process described later can be reduced.
  • the CPU 305 can divide the image data into N segments. Each segment has a side of 200 ⁇ m or less and is a square having the same area. Note that the shape of the segment is not necessarily a square, but may be a rectangle or an arbitrary polygon. In this case, the distance between the centers of adjacent segments is preferably 200 ⁇ m or less, for example, 20 ⁇ m or more and 150 ⁇ m or less.
  • the division of the image data can be performed by averaging the luminance values of a plurality of pixels with higher definition than the pixel pitch described above. For example, the CPU 305 can average the luminance values of a plurality of pixels with a 10 ⁇ m pitch and calculate a segment with a desired pixel pitch.
  • the CPU 305 may perform not only image processing for dividing image data into a plurality of segments but also other image processing. In the present embodiment, it is desirable to perform noise removal of the image data before the division process to remove noise derived from minute foreign matters or pores existing on the skin.
  • step S3 Application amount calculation process
  • the CPU 305 calculates the application amount of the cosmetic to be applied to each part of the skin corresponding to each segment from the value in each of the divided N segments.
  • the CPU 305 constitutes a calculation unit.
  • the segment value used for calculating the coating amount is optical information of the segment, and is preferably a luminance value.
  • the value of the single segment of the N segments may be used to calculate the amount of cosmetic applied to the skin portion corresponding to the single segment. Good. Then, the application amount for each part of the skin may be calculated by repeating such calculation of the application amount for all N segments. Moreover, you may calculate the application quantity of the cosmetics apply
  • the CPU 305 after calculating the amount of cosmetic applied to the skin, performs smoothing on the amount of cosmetic applied obtained for each segment.
  • smoothing processing There is no restriction
  • the reflectance is low when the coating amount of the cosmetic is calculated on the basis of the reflectance that is included and handled without distinguishing each wavelength for wavelengths in an unspecified wide range (for example, the entire visible region).
  • the coating amount becomes slightly excessive at the wavelength.
  • the coating amount of the cosmetic is calculated based on the reflectance for a specific wavelength (color)
  • the coating amount may be slightly excessive or insufficient at wavelengths other than the specific wavelength. For this reason, it is preferable to appropriately color with a cosmetic so as to make up for the excess and deficiency generated and not become unnatural.
  • the coating amount is excessive, it is preferable to compensate for insufficient absorption at the excessive portion, that is, to perform coloring.
  • This time can be calculated, for example, r out in formula (2), r in, t out, the t in a function of absorptivity, absorption giving absorption rate at each wavelength by partially differentiating. Therefore, for example, by applying an application corresponding to each wavelength (color) for each segment based on the absorption given to each calculated wavelength, it is possible to apply makeup with good color. For example, it is possible to apply three types of coating materials each of which mixes three colors of yellow, magenta, and cyan so as to exhibit a desired color by mixing on the segments.
  • FIG. 7 is a flowchart showing a flow of application amount calculation according to the first embodiment of the present invention.
  • the CPU 305 calculates the application amount of the cosmetic using the calculation model of the method with intradermal reflection, that is, the equations (12) and (13) described in the calculation model described above. ing.
  • the CPU 305 sets an impulse response function for each of the N segments divided in step S2 of FIG.
  • the impulse response function represents the diffusion of light between each part of the skin corresponding to each of the N segments.
  • One of the N segments is a target segment, and a segment other than the target segment is a non-target segment.
  • the impulse response function is the ratio of the light incident on the target part of the skin corresponding to the target segment being emitted from the surface of the target part of the skin, or the non-target part of the skin corresponding to the non-target segment. This is a function representing the ratio of the emitted light from the surface of the target portion of the skin.
  • the same impulse response function may be set for all the 1st to Nth segments. Also, different (N) impulse response functions may be set for each segment by measuring the impulse response in each of the 1st to Nth segments.
  • step S312 the CPU 305 acquires a luminance value from each of the 1st to Nth segments.
  • step S314 the CPU 305 calculates the amount of the cosmetic to be applied to each part of the skin corresponding to each of the 1st to Nth segments by the calculation model with internal reflection represented by the expressions (12) and (13).
  • the application amount calculation process (step S3 in FIG. 5) is completed.
  • the calculation of the cosmetic application amount in step S314 can be said to be based on the following light reflection / diffusion model. That is, the light reflection / diffusion model used in step S314 is, when one of the N segments is a target segment, the light obtained in the target portion of the skin corresponding to the target segment is at least The following components (A) to (C) are included. (A) Of the light emitted toward the surface of the target portion of the skin corresponding to the target segment, the component reflected without passing through the surface of the target portion of the skin.
  • the application amount can be calculated more accurately, so that the local skin brightness Differences can be concealed more naturally.
  • FIG. 8 is a flowchart showing a flow of application amount calculation according to the second embodiment of the present invention.
  • the CPU 305 calculates the application amount of the cosmetic using the calculation model of the method without intra-reflection, that is, the equations (16) and (17) described in the calculation model described above. ing.
  • the second embodiment differs from the first embodiment described above (method with intradermal reflection) only in the application amount calculation (step S314 in FIG. 7). That is, skin image data acquisition (step S1 in FIG. 5) and division into a plurality of segments (step S2 in FIG. 5) are the same. Also for the application amount calculation process (step S3 in FIG. 5), the impulse response function setting (step S311 in FIG. 7, step S321 in FIG. 8) to the absorption coefficient m (k) setting (step S313 in FIG. 7, FIG. 8). Step S323) is the same. Therefore, only the coating amount calculation (step S324 in FIG. 8) will be described here, and the other description will be omitted.
  • step S324 In the 1st to Nth segments, an impulse response function, a luminance value, and an absorption coefficient m (k) are set, respectively.
  • the CPU 305 calculates the application amount of the cosmetic for each of the 1st to Nth segments using the calculation model without internal reflection expressed by the equations (16) and (17), and performs the application amount calculation process (step of FIG. 5). Finish S3).
  • the calculation of the coating amount in this step S324 is the reflection / diffusion model of light excluding the components described in (C) in step S314 (FIG. 7) of the first embodiment (that is, (A) and (B It can be said that the coating amount was calculated based on the component (
  • the second embodiment described above by dividing into segments of 200 ⁇ m or less, it is possible to calculate a precise coating amount distribution to a level that is not easily discernable with the naked eye, and a difference in partial brightness. Can be concealed naturally. Also, by using a calculation model that takes into account the diffusion of light inside the skin by the impulse response function, the application amount can be calculated more accurately, so the difference in local skin brightness can be concealed more naturally. Can do. Although the reflection inside the skin is not taken into consideration, the processing load in the application amount calculation process can be reduced accordingly.
  • FIG. 9 is a flowchart showing a flow of application amount calculation according to the third embodiment of the present invention.
  • the CPU 305 calculates the cosmetic application amount using the method of applying the initial solution to the calculation model, that is, the equation (14) described in the above-described calculation model.
  • the third embodiment differs from the first and second embodiments described above only in the application amount calculation process (step S3 in FIG. 5). That is, skin image data acquisition (step S1 in FIG. 5) and division into a plurality of segments (step S2 in FIG. 5) are the same. Accordingly, only the coating amount calculation process (step S3 in FIG. 5) will be described here, and the other description will be omitted.
  • step S332 the CPU 305 acquires a luminance value from the k-th segment among the N segments divided in step S2 of FIG.
  • step S333 Further, the CPU 305 calculates the cosmetic application amount for the k-th segment from the above-described calculation model using the initial solution represented by the equation (14).
  • step S335) After that, the CPU 305 determines whether k and N are equal. If the result of determination is NO, there is a segment for which the application amount has not been calculated, and the process returns to step S332. If the result of determination is YES, since the application amount for all N segments has been calculated, the application amount calculation process (step S3 in FIG. 5) is terminated.
  • the third embodiment described above by dividing into segments of 200 ⁇ m or less, it is possible to calculate a precise coating amount distribution to a level that is not easily discernable with the naked eye, and a difference in partial brightness. Can be concealed naturally. Although light diffusion inside the skin and reflection inside the skin are not taken into consideration, the processing load in the application amount calculation processing can be remarkably reduced accordingly.
  • the acquisition unit, the division unit, and the calculation unit are all the CPU 305 provided in the application control apparatus 300, but some or all of these may be substituted by cloud computing. .
  • the application destination of the above-described method for calculating the coating amount of cosmetics is not limited to controlling the coating of cosmetics in a coating apparatus that employs an inkjet method or the like. According to the method for calculating the amount of cosmetic application described above, it is possible to provide a makeup simulation image in which makeup is applied with the calculated amount of application, and a makeup advice system that advises makeup.
  • a program according to an embodiment of the present invention causes a computer to execute each control process described in the first to third embodiments. There are no particular restrictions on the language of the program, and any well-known and commonly used language can be used.
  • a recording medium according to an embodiment of the present invention is a computer-readable recording medium that records the program. There are no particular restrictions on the type of recording medium, and any of the commonly used recording media can be used.
  • Example 1 to 3 Blemish skin model
  • the skin was a multilayer film model, and general skin values were set as optical characteristic parameters for each layer.
  • the central 6.4 mm square part was used as a spot.
  • the reflectance was calculated for each 100 ⁇ m square segment in the central cross section.
  • an average value of 16 brightness points measured within the segment was used. This is used for the following calculation as R (k).
  • FIG. 10 shows the result of simulation of the spot skin model by Monte Carlo simulation.
  • FIG. 10 is a graph showing a simulation result of the reflectance distribution of the spot skin model, and is a graph showing the reflectance with respect to the position in the central section of the spot skin model.
  • the reflectance is lowered in the central portion where the light is absorbed by setting the spot. It is considered that the effect of internal diffusion appears in the skin because the boundary portion is not a right-angled shape but changes gently.
  • FIG. 11 is a graph showing an impulse response function obtained by simulating when a skin model without a spot is irradiated with light.
  • FIG. 12 is a graph showing the distribution of m (k) in a spot skin model obtained by simulation. The calculation converged when the error was set to 1.0e- 6 . Since the square root of m (k) is the initial solution (dashed line), the boundary of the initial solution is a gradual change, but the distribution of m (k) obtained from equations (5) and (6) ( The solid line) is steep and closer to the absorption distribution set in a right-angle shape in the skin model.
  • FIG. 13 is a graph showing the distribution of the amount of cosmetic applied in a stain skin model obtained by simulation.
  • the amount of application increased both in the presence of reflection within the skin (thick line) and without reflection within the skin (thin line).
  • the increase was large. This is thought to be due to the assumption that light is lost.
  • a thick line is the reflectance distribution of Example 1 calculated
  • a thin line is the reflectance distribution of Example 2 calculated
  • a broken line is the reflectance distribution of Example 3 obtained by applying the initial solution (formula (14)) to the calculation model.
  • a dashed-dotted line is the reflectance distribution before cosmetics application. According to FIG. 14, the following was found.
  • Example 3 it was found that the drop in reflectance, that is, the stain was greatly improved. In Example 3, the loss due to the spread of light is not taken into consideration at all. Therefore, it was found that a good concealing effect can be obtained although the correction is slightly insufficient as compared with Examples 1 and 2. Moreover, since the initial solution is used and it is not necessary to solve a complicated simultaneous equation, the processing load of Example 3 was extremely low.
  • Example 2 it was found that the reflectance drop, that is, the stain was greatly improved.
  • Example 2 since the loss due to light diffusion inside the skin was estimated to the maximum, it was estimated that the spot site was corrected to be slightly higher, but a good concealing effect was obtained.
  • Example 1 the drop in reflectance, that is, the stain was greatly improved and became almost uniform.
  • Example 1 since the internal reflection was performed up to two times, the loss was seen to be slightly excessive, so that it was found that a very good concealing effect was obtained although the spot portion was slightly slightly corrected. .
  • Example 3 the coating amount distribution obtained in Example 3 was changed to a coating amount distribution shifted by 200 ⁇ m from the center to the outside, and the cosmetic was applied in the same manner as in Example 3 except that this was introduced on the surface of the skin model. After that, the reflectance distribution was obtained.
  • FIG. 15 is a graph showing the reflectance distribution of Comparative Example 1. As is clear from FIG. 15, two large peaks (convex parts) appeared, and it was found that the boundary became unnatural.
  • Example 2 the coating amount distribution obtained in Example 3 was changed to a coating amount distribution shifted by 200 ⁇ m inward toward the center, and this was introduced on the surface of the skin model in the same manner as in Example 3 except that it was applied to the cosmetic.
  • the reflectance distribution after coating was obtained.
  • FIG. 16 is a graph showing the reflectance distribution of Comparative Example 2. As is clear from FIG. 16, it was found that two large peaks (concave portions) appeared, resulting in an unnatural boundary.
  • the difference in local brightness of the skin is calculated by calculating the amount of cosmetic applied by dividing a precise segment of 200 ⁇ m or less. Was found to hide naturally.
  • 10 coating system 100 coating device, 101 coating head, 102 cosmetic tank, 103 moving mechanism, 104 operation unit, 105 distance sensor, 106 motion sensor, 200 imaging unit, 300 coating control device, 301 display, 302 image processing circuit, 303 Gap control circuit, 304 Head control circuit, 305 CPU (acquisition unit, division unit, calculation unit), 306 RAM, 307 ROM, 308 storage device (storage unit), 309 speaker, 310 I / F, 411 skin layer, 411a Stratum corneum, 411b melanin pigmentation part, 412 dermis layer, 413 subcutaneous tissue, 414 artery, 415 vein

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Cosmetics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本発明の一実施形態に係る塗布制御装置は、肌の画像データを取得する取得部と、画像データを２００μｍ以下の複数のセグメントに分割する分割部と、画像データの単一または複数のセグメントの値から、肌の各部分に塗布する化粧料の塗布量を算出する算出部と、を備える。

Description

塗布制御装置、塗布制御方法、プログラムおよび記録媒体
　本発明は、塗布制御装置、塗布制御方法、プログラムおよび該プログラムを記録した記録媒体に関する。
　ナチュラルメークとは、素肌らしい質感を残した仕上がりが魅力で、年代を問わず多くの女性から支持されているメーク法の一つである。ナチュラルメークは、ファンデーションを薄付きにすることが基本となる。ところが、加齢によりシミ・ソバカス、色むらが発生するため、加齢とともにナチュラルメークは難しくなってくる。そこで、シミやソバカスがある部分に対して高隠蔽性のコンシーラーを使う、あるいはファンデーションを多めに塗る、などの方法が用いられている。
　しかしながら、シミがある部分など肌の特定の部分だけにコンシーラーやファンデーションのような化粧料を塗布することは、一般使用者にとっては技術的な難易度が極めて高く、非常に困難な手法である。なぜならば、コンシーラーやファンデーションのような化粧料は、直接またはブラシやスポンジのような化粧用具もしくは指を用いて肌上に塗布されるため、塗布されている領域と塗布されていない領域との境界が不自然に目立ってしまう。そこで、この境界の不自然さを解消するために、シミと明部（シミがない領域）との境界をまたいで化粧料の塗布量を徐々に少なくしていくという方法が広く利用されている。ところが、塗布された化粧料を伸ばしていくと隠したい位置の隠蔽力が不足してしまい、逆にシミに化粧料を重ねづけしていくと、周囲の本来塗布する必要のない素肌の明るい部分に対しても過剰な量の化粧料が付着してしまう。
　したがって、ナチュラルメークに対する需要は高いものの、化粧料が塗布された領域と塗布されていない領域との境界の不自然さを解消して綺麗に仕上げるためには、非常に高い塗布精度と精細な塗工処置を施す時間とが必要となり、一般使用者が日常的に行うことは非常に難しいという問題があった。
　また、シミやソバカス以外にも、例えば肌の一部が周囲と比較して白くなる白斑など、肌におけるあらゆる局所的な明るさの違いに対して化粧料を塗布して隠蔽する場合、シミやソバカスと同様の問題が存在していた。
　かかる問題に対して特許文献１には、所定の場所に近づくにつれて当該所定の場所における光学特性に近づくように皮膚または唇に被着物を形成して、境界を実質的になくし自然な印象を与える方法が記載されている。また、特許文献１にはインクジェットを使用して被着物を形成することができると記載されている。
特許第５６０３３３１号公報
　しかしながら、特許文献１にかかる方法をもってしても、依然として必要以上の化粧料が塗布されることは避けられないため、肌における局所的な明るさの違いを違和感なく充分に隠蔽することができず、さらなる改善が求められていた。
　本発明は上記した諸問題に鑑みてなされたものであって、肌における部分的な明るさの違いを自然に隠蔽する化粧料の塗布制御装置、塗布制御方法、プログラムおよび記録媒体を提供することを目的とする。
　本発明の一実施形態に係る塗布制御装置は、肌の画像データを取得する取得部と、前記画像データを２００μｍ以下の複数のセグメントに分割する分割部と、前記画像データの単一または複数のセグメントの値から、前記肌の各部分に塗布する化粧料の塗布量を算出する算出部と、を備える。
　また、本発明の一実施形態に係る塗布制御方法は、肌の画像データを取得する取得工程と、前記画像データを２００μｍ以下の複数のセグメントに分割する分割工程と、前記画像データの単一または複数のセグメントの値から、前記肌の各部分に塗布する化粧料の塗布量を算出する算出工程と、を備える。
　また、本発明の一実施形態に係るプログラムは、肌の画像データを取得する取得処理と、前記画像データを２００μｍ以下の複数のセグメントに分割する分割処理と、前記画像データの単一または複数のセグメントの値から、前記肌の各部分に塗布する化粧料の塗布量を算出する算出処理と、をコンピュータに実行させる。
　また、本発明の一実施形態に係るコンピュータ読み取り可能な記録媒体は、上記プログラムを記録してなる。
　本発明によれば、肌の局所的な明るさの違いを自然に隠蔽する塗布制御装置、塗布制御方法、プログラムおよび記録媒体を提供することができる。
第１の実施形態に係る塗布システムにおける構成の一例を示す外観図である。 第１の実施形態に係る塗布システムにおける構成の一例を示すブロック図である。 人間の肌の構成の一例を示す概略図である。 肌表面上におけるＮ個のセグメントの一例を示す模式図である。 第１の実施形態に係る塗布制御方法の動作を示すフローチャートである。 ガウシアンフィルタの一例を示す図である。 第１の実施形態に係る塗布量算出のフローを示すフローチャートである。 第２の実施形態に係る塗布量算出のフローを示すフローチャートである。 第３の実施形態に係る塗布量算出のフローを示すフローチャートである。 シミ肌モデルの反射率分布を示すグラフである。 シミがない肌モデルに光が照射されたときのインパルス応答関数を示すグラフである。 シミ肌モデルにおけるｍ（ｋ）の分布を示すグラフである。 シミ肌モデルにおける化粧料の塗布量分布を示すグラフである。 化粧料塗布前の反射率分布と、実施例１～３の反射率分布を示すグラフである。 比較例１の反射率分布を示すグラフである。 比較例２の反射率分布を示すグラフである。
　次に、本発明に係る塗布制御装置、塗布制御方法、プログラムおよび記録媒体について、その実施形態を示す図面を参照しながらさらに詳細に説明する。以下に述べる実施形態は、本発明の好適な実施形態であるから技術的に好ましい種々の限定が付されているが、本発明の範囲は以下の説明において本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。
（第１の実施形態）
［塗布システム］
　図１は、本実施形態に係る塗布システム１０における構成を示す外観図である。塗布システム１０は、塗布装置１００、撮像部２００、塗布制御装置３００を備えている。塗布装置１００は、肌に化粧料を塗布するための装置であり、ユーザに把持される。塗布装置１００は角柱状の筐体を有し、筐体の一端面に塗布ヘッド１０１が設けられている。塗布装置１００の形状はユーザが把持し易い形状であれば限定されず、円柱状、半球状をなしていても良い。また、塗布装置１００はハンドル等の把持部材を備えていても良い。
　塗布ヘッド１０１は、例えばインクジェットヘッドから構成され、化粧料を吐出する複数のノズルを備えている。複数のノズルは２次元に配列されており、肌の所定の領域に対して化粧料を吐出して化粧料の塗膜を形成できる。塗布装置１００には化粧料タンク１０２が装着され、化粧料タンク１０２から化粧料が塗布ヘッド１０１に供給される。化粧料タンク１０２は、塗布装置１００内に設けられていても良い。化粧料としては、顔を含めた人の肌における局所的な明るさの違いをもたらすもの、例えば、シミ、ソバカス、毛穴、白斑や各種瘢痕等を隠蔽するための液状コンシーラーや液状ファンデーション等を用いることができる。
　塗布装置１００の筐体側面（上面）には、塗布ヘッド１０１と同一の向きに撮像部２００が設けられている。撮像部２００は、レンズ、撮像素子等を備え、塗布ヘッド１０１により塗布が行われる狭い範囲の肌の画像（第２の画像）を撮像することができる。撮像部２００は塗布ヘッド１０１に連結されており、塗布ヘッド１０１に対する撮像部２００の相対的な位置は固定されている。撮像部２００は塗布ヘッド１０１と一体的に形成されていても良い。
　塗布装置１００および撮像部２００は、塗布制御装置３００により制御される。塗布制御装置３００は、ＵＳＢ（Universal Serial Bus）ケーブル等の有線接続またはＢｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ等の無線接続を介して、塗布装置１００および撮像部２００に接続されている。塗布制御装置３００は、塗布装置１００に内蔵されていても良く、塗布制御装置３００が塗布装置１００に内蔵されている場合は、塗布制御装置３００が図１に示す塗布装置１００に含まれる部材、例えば、塗布ヘッド１０１等を備えていても良い。塗布制御装置３００は、塗布対象となるシミ、ソバカス、毛穴等を含む肌の広い範囲の画像（第１の画像、肌の画像データ）を予め記憶している。塗布制御装置３００は、撮像部２００から取得した第２の画像を第１の画像と比較することにより、肌における塗布ヘッド１０１の位置を把握することができる。塗布制御装置３００はディスプレイ３０１を備え、ディスプレイ３０１には、肌の画像、塗布ヘッド１０１の状態等の各種情報が表示される。
　ユーザは塗布装置１００を把持し、塗布ヘッド１０１を肌に近接させると、塗布制御装置３００は肌における塗布ヘッド１０１の位置を認識し、塗布ヘッド１０１の現在位置をディスプレイ３０１に表示する。ユーザはディスプレイ３０１を確認しながら塗布ヘッド１０１を肌に沿って移動させ、塗布ヘッド１０１は塗布対象がある位置に到着すると、自動的に化粧料の塗布を行う。このとき、塗布制御装置３００が算出した化粧料の塗布量（詳細は後述する）に基づいて化粧料が塗布される。
　図２は、本実施形態に係る塗布システム１０における構成の一例を示すブロック図である。塗布装置１００は、塗布ヘッド１０１、化粧料タンク１０２、移動機構１０３、操作部１０４、距離センサ１０５、モーションセンサ１０６を備えている。塗布制御装置３００は、ディスプレイ３０１、画像処理回路３０２、ギャップ制御回路３０３、ヘッド制御回路３０４、ＣＰＵ３０５、ＲＡＭ３０６、ＲＯＭ３０７、記憶装置３０８、スピーカ３０９、Ｉ／Ｆ３１０を備えている。ＣＰＵ３０５は、取得部、分割部、算出部として機能し得る。また、記憶装置３０８は、記憶部として機能し得る。
　塗布ヘッド１０１は、例えばピエゾ方式のインクジェットヘッドであり、ノズル、圧力室、圧電素子、駆動回路等から構成される。圧力室には化粧料が充填され、駆動回路から圧電素子に電圧が印加されると、圧電素子の変形によって圧力室の体積が変化する。これにより、ノズルから化粧料が液滴状に吐出される。なお、塗布ヘッド１０１は、加熱体によって化粧料を加熱し、発生した気泡の圧力により化粧料を吐出するサーマル方式のインクジェットヘッドであっても良い。塗布ヘッド１０１は、ヘッド制御回路３０４からの制御信号に基づいて動作する。
　化粧料タンク１０２は、化粧料を収容し、塗布ヘッド１０１に化粧料を供給する。化粧料タンク１０２は、交換が容易なカートリッジタイプとすることができる。化粧料は、塗布ヘッド１０１から吐出可能な所定の粘性を有する液体である。化粧料としては、具体的にはコンシーラー、ファンデーション、おしろい等の肌における局所的な明るさの違いを隠蔽し得るものが挙げられる。化粧料タンク１０２は、種類または色調が異なる複数の化粧料を収容するように複数設けられていても良い。例えば、イエロー、マゼンタ、シアンの３色の化粧料と、輝度を調節し得る化粧料と、を塗布できるように４つの化粧料タンク１０２を設け、各化粧料に対応する４つのノズル群を塗布ヘッド１０１に設けることができる。
　移動機構１０３は、アクチュエータ、ガイド部材等から構成され、塗布装置１００の長手方向、すなわち塗布ヘッド１０１を肌に対向させたときに肌に対して垂直な方向に塗布ヘッド１０１を進退駆動させることができる。移動機構１０３は、ギャップ制御回路３０３からの制御信号に従って、塗布ヘッド１０１の位置制御を行う。
　操作部１０４は、電源スイッチ、メニューボタン、塗布を実行するための塗布ボタン等の操作部材を備え、ユーザが塗布装置１００に対して指示を与えるために用いられる。塗布制御装置３００は、操作部１０４から入力されるユーザの指示に応じて、塗布装置１００の動作を制御する。塗布ボタンは、ユーザが塗布装置１００を把持したままで容易に操作可能な位置に配置されることが好ましく、例えば、ユーザが塗布装置１００を把持したときに、指に触れるような位置に配置される。これにより、ユーザは直接視認できない部位（頬等）に塗布装置１００を移動したときでも、手探りで塗布ボタンを操作することができる。
　距離センサ１０５は、例えば赤外線センサ、超音波センサ等であり、赤外線、超音波等の検出波を物体に向けて照射し、その反射波を受信する。距離センサ１０５は検出波を照射してから、反射波を受信するまでの時間に基づき、物体までの距離を検出することができる。また、距離センサ１０５は塗布ヘッド１０１の周囲に複数設けられており、肌に対する塗布ヘッド１０１の傾きを検出することも可能である。塗布制御装置３００は、距離センサ１０５からの検出信号に基づいて、肌と塗布ヘッド１０１間の距離を一定に保つとともに、例えば肌に対して塗布ヘッド１０１が傾いている場合には化粧料を吐出させないように塗布ヘッド１０１を制御することができる。
　モーションセンサ１０６は、加速度センサ、ジャイロセンサ、地磁気センサを含み、塗布ヘッド１０１の移動、回転等の動きを検出する。加速度センサは、例えば静電容量検出素子から構成され、塗布ヘッド１０１に印加された加速度を検出することができる。ジャイロセンサは、例えば圧電振動素子から構成され、塗布ヘッド１０１の向きを検出する機能を備える。地磁気センサは地磁気を検出することにより、塗布ヘッド１０１の方位を把握することができる。塗布制御装置３００は、モーションセンサ１０６からの検出信号に基づいて、例えば塗布ヘッド１０１の動きが速い場合には化粧料を吐出させないように塗布ヘッド１０１を制御することができる。
　撮像部２００は、光学系、撮像素子、Ａ／Ｄ（Analog/Digital）変換器を備える。光学系は、光学フィルタ、固定レンズ、フォーカスレンズを含み、被写体（肌）からの光を撮像素子の撮像面に結像させ、被写体像を形成する。光学系には偏光フィルタを取り付けることが可能であり、鏡面反射を低減することができる。撮像素子は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、ＣＣＤ（Charge Coupled Device）イメージセンサであり、２次元配列された複数の画素、色フィルタ、マイクロレンズを備える。複数の画素は撮像用の画素、焦点検出用の画素を含み得る。また、撮像素子は、電荷蓄積時間を制御する電子シャッタ機能を有している。複数の画素のそれぞれは、光学系からの入射光に基づく画素信号を出力する。Ａ／Ｄ変換器は、比較回路、ラッチ回路等から構成され、撮像素子からのアナログの画素信号をデジタルのＲＡＷデータに変換する。撮像部２００は、静止画像の他、所定のフレームレートの動画像を出力することが可能である。なお、本実施形態に係る撮像部２００は、塗布ヘッド１０１により塗布が行われる狭い範囲の肌の画像（第２の画像）を撮像する機能を有するものであるが、塗布対象となり得る肌の広い範囲の画像（第１の画像）を撮像する機能を兼ね備えていてもよい。
　ディスプレイ３０１は、例えば液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイから構成される。ディスプレイ３０１は、ＣＰＵ３０５からのデータに基づき、撮像部２００からの画像、記憶装置３０８に記憶した画像、塗布ヘッド１０１の状態情報、メニュー画面等の各種表示を行う。ディスプレイ３０１は、タッチパネルであっても良く、操作部１０４としても機能し得る。
　画像処理回路３０２は、数値演算回路を含み、撮像部２００からのＲＡＷデータに対してデモザイク処理を行い、画素ごとにＲ（赤）、Ｇ（緑）、Ｂ（青）の各色値を有する画像データ（ＲＧＢ画像）を生成する。画像処理回路３０２は、画像データに対して、ホワイトバランス調整、ガンマ補正、輪郭強調、階調変換、ノイズリダクション、圧縮などのデジタル画像処理を行う機能も有している。
　ギャップ制御回路３０３は、移動機構１０３に制御信号を出力することにより、肌と塗布ヘッド１０１の間隔（ギャップ）を制御する。ギャップ制御回路３０３は、距離センサ１０５からの検出信号に基づき、肌に対して一定の距離を保つように塗布ヘッド１０１の位置を制御することができる。ヘッド制御回路３０４は、ＣＰＵ３０５からの指示に基づき、化粧料を吐出させるノズルの情報、塗布量等を示す制御信号を塗布ヘッド１０１に出力する。
　ＣＰＵ（Central Processing Unit）３０５は、ＣＰＵコア、キャッシュメモリなどを備え、塗布制御装置３００の各部を統括的に制御する。また、ＣＰＵ３０５は、詳細は後述するが、記憶装置３０８から肌の画像データを取得し（取得部）、この画像データを複数のセグメントに分割し（分割部）、肌に塗布する化粧料の塗布量を算出する（算出部）。ＲＡＭ（Random Access Memory）３０６は、例えばＤＲＡＭ（Dynamic RAM）であり、ＣＰＵ３０５のワーク領域、プログラムのロード領域などに使用される。ＲＡＭ３０６は、ＣＰＵ３０５の処理に必要なデータ、画像処理回路３０２で生成された画像データ、記憶装置３０８から読み出した画像データ等を一時的に記憶する。ＲＯＭ（Read Only Memory）３０７は、例えばＥＥＰＲＯM（Electrically Erasable Programmable ROM）であり、各種設定ファイル、ＯＳ（Operating System）等の基本プログラム、塗布装置１００の動作を制御するための制御プログラムを格納する。
　記憶装置（記憶部）３０８は、例えばフラッシュメモリ、ハードディスクであり、広い範囲の肌の画像データ（第１の画像）、および、化粧料の塗布が行われる狭い範囲の肌の画像（第２の画像）、ならびに、さらにその他の画像等を記憶し得る。記憶装置３０８は、撮像部２００からのＲＡＷデータ、画像処理回路３０２で生成した画像データ等を格納し得る。また、記憶装置３０８は、外部の撮像装置によって撮像された画像データをＩ／Ｆ３１０を介して格納することも可能であり、さらに、インターネット上の画像データをＩ／Ｆ３１０を介して格納することも可能である。また、記憶装置３０８は、可搬型の記憶媒体であっても良く、メモリカードスロット、ＵＳＢコネクタ等を介して、塗布制御装置３００と着脱可能に構成され得る。
　スピーカ３０９は、圧電式の振動ユニット、駆動回路等を備え、ＣＰＵ３０５からのデータに基づく音波信号を出力する。スピーカ３０９は、音声メッセージ、効果音等を再生可能であり、例えば塗布装置１００の動作状態をユーザに報知するために使用される。
　Ｉ／Ｆ（Interface）３１０は、インターネットや各種周辺機器等の外部とデータの送受信を行う。
<塗布システムの動作>
　ついで、塗布システム１０の動作について説明する。
　まず、塗布制御装置３００は、記憶装置３０８に格納された肌の画像データから肌に塗布する化粧料の塗布量を算出する（詳細は後述する）。そして、塗布装置１００は、塗布制御装置３００が算出した化粧料の塗布量に基づき、塗布ヘッド１０１から肌に化粧料を塗布する。
　このとき、塗布制御装置３００は、第１の画像（肌の広い範囲の画像データ）における第２の画像（塗布が行われる狭い範囲の肌の画像）の位置を判定する。そして、塗布制御装置３００は、塗布制御装置３００が算出した化粧料の塗布量分布における当該判定された位置での塗布量となるように、塗布ヘッド１０１を制御することができる。第１の画像における第２の画像の位置の判定の方法については特に制限はなく、任意の方法とすることができる。
　本実施形態では、予め記憶装置３０８に格納された第１の画像における、撮像部２００が撮像した第２の画像の位置を判定し、その判定結果に基づいて塗布ヘッド１０１から化粧料を塗布しているが、本発明はかかる態様に限られるものではない。例えば、撮像部２００で撮像した画像からリアルタイムで塗布量を算出し、その塗布量で化粧料を塗布する態様であってもよい。
［塗布制御装置、塗布制御方法］
　次に、本発明に係る塗布制御装置および塗布制御方法のより詳細な実施形態を説明するに先立ち、本実施形態および後述する他の実施形態で用いられる計算モデルについて説明する。
<肌の構成>
　図３は計算モデルで想定している人間の肌の層構成の一例を示す概略図であり、具体的には顔の肌の概略構成が図示されている。なお、顔以外の肌であっても、各層の厚さが異なるものの（例えば、足の裏では角層が顔と比べると厚い）、層構成は図３に示す例と同じである。
　人間の肌は、最表層側から内部に向かって、角層４１１ａを含む表皮層４１１と、真皮層４１２と、皮下組織４１３とに大別され、層状の構造をしている。角層４１１ａが表皮層４１１の中でも最も表面に位置する。
　表皮層４１１の最下部ではメラニン色素が生成される。メラニン色素は、紫外線から肌を守る役割を果たす。ところが、この生成したメラニン色素は、加齢など種々の影響により表皮層４１１内で沈着してメラニン色素沈着部４１１ｂとなり、この結果、肌が黒ずんで見えてシミとして認識されるようになる。
　表皮層４１１の内側に位置する真皮層４１２は、その内部に血管が張り巡らされている。血管はひと連なりの動脈４１４と静脈４１５とからなる。心臓から送られてきた動脈血は、真皮層４１２中の動脈４１４内を巡って酸素・二酸化炭素の授受など種々の物質移動がなされた後に、静脈血となって真皮層４１２中の静脈４１５内を流れて、再び心臓に至る。
　皮下組織４１３は肌の中で最も内側にあり、その大部分が皮下脂肪からなる。この他、肌には図示を省略する神経や汗腺、リンパ管などが内部に張り巡らされている。
<塗布物によって生じる肌の質感の変化>
　ついで、図３に示すような肌に高隠蔽性の塗布物が存在することで、肌に不透明な質感が生じることについて、肌に照射された光と肌の形状・特性とに基づき説明する。
　肌を構成する組織のうち、角層４１１ａを含む表皮層４１１および真皮層４１２の組織は半透明で可視光線が浸透しやすい。肌に浸透した光は、肌内部の組織で反射、また一部は血液やメラニンによって吸収を繰り返し受けながら内部を拡散し、拡散した一部の光は再び肌表面から出射される。ここで、肌のある一点に光を照射することを考えると、再び肌から出射される光は入射点を中心に同心円状に広がっている様子が観察できる。このように、肌に照射された光が肌内部で拡散して入射点を含む広い範囲から出射するということは、いわば、肌表面を裏側から光で照らすことと同じ効果があると考えられる。
　次に、肌を裏側から照らす効果があることによって、肌の見え方がどのように変化するのかを説明する。肌表面には、シワや肌理と称される微細な凹凸が存在するが、ここでは肌表面の微細な凹凸の見え方を考える。
　一般的な室内における照明下では、凹凸面の向きと照明方向との関係によって照度が変化するため、明部と暗部とが発生する。この明暗のコントラストこそ、表面に微細な凹凸があることを示すシグナルといえるが、コントラスト比が大きければ大きいほど、表面を認識しやすくなる。これは目がピントを表面に合わせるときに、コントラスト比が最大になるように動くことと同じ機構ともいえる。しかし、もしも凹凸面の裏側から照明されているならば、凹凸のコントラストは減少し、逆に表面が認識しにくくなる。前者は表面の存在を明確に認識させ、後者は、不明確にさせる。これらの表面の認識のしやすさというものを質感で置き換えると、前者は不透明感、後者は、奥行き感あるいは透明感のようなものを感じさせると考えられる。
　すなわち、肌の場合は光が浸透しやすく、浸透する光は肌を裏側から照らすため、表面凹凸のコントラストを減少させる結果、奥行き感、透明感を感じさせる。一方、高隠蔽性の塗布物が肌表面にある場合は、光は肌内部に浸透しないため、ほとんどの光が入射点近傍で反射されてしまう。このため、裏側からの照明効果は小さくなり、肌表面にある凹凸でできる影は、外部からの照明環境のみに依存し、高隠蔽性の塗布物が肌表面にない場合よりも明暗が強調されて見える。すなわち、高隠蔽性の塗布物が塗布された肌は、凹凸がはっきりとわかるように見える。このように、肌上に塗布物があると不透明な質感に変わってしまうので、塗布物が少ないナチュラルメークは素肌らしい質感を残すことから、多くの女性に支持されている。
<境界に不自然さが現れる理由>
　そして、塗布物が形成された領域と形成されていない領域との境界における不自然さが生じる理由について説明する。ここでは局所的に隠蔽力のある塗布物を肌上に付着させた場合を考える。
　肌の質感の変化の説明の際には、肌の一点に光を入射した際に生じる効果について言及したが、ここでは逆に肌の一点から出射される光を考える。肌の一点から出射される光の成り立ちは、その点の周囲から入射し肌内部を拡散し廻り込んできた光を加えたものと考えることができる。そのため、その点から僅かに離れた位置に、肌への光の入射を妨げるものがあると、本来、そこから廻り込んでくるはずの光が来なくなり、その分だけ暗くなってしまう。高隠蔽性の塗布物はまさに入射を妨げているものであり、その影響は塗布物の境界に近いほど大きい。その結果、塗布物の境界近傍が周囲よりも暗くなるという現象が起こる。したがって、塗布物の周囲は暗い影で囲まれ、塗布した部分が強調されたような状態となり、これが不自然さにつながる。この理由から、シミの部分だけに不自然なくファンデーションを塗る場合には、特に境界部分の塗布量分布を慎重に調整する必要がある。
　ところが、前述したように、肌においてシミがある領域（暗部）とない領域（明部）との境界を跨ぐように化粧料の塗布量を滑らかに減少させるように塗布することは、一般的な使用者にとっては非常に困難であった。
　そこで本発明者は、所定の計算モデルを用いて化粧料の塗布量を算出し、算出した化粧料の塗布量となるように塗布装置を用いて塗布することで、肌における部分的な明るさの違いを自然に隠蔽することができることを見出した。特に本発明者が鋭意検討を重ねた結果、化粧料の塗布境界における不自然さは、（１）肌のもつ独特の光学特性、すなわち光が浸透し拡散する性質に起因すること、および、（２）塗布量の算出精度および塗布精度に起因すること、をそれぞれ見出した。したがって、これらの少なくとも一方を予め考慮した計算モデルによれば、各点に好適な塗布量が理論的に求められる。また、もしもシミに対して、境界を含めて全く不自然なく隠ぺいするための適切な塗布量分布がわかれば、機器を用いて塗布する場合だけに限らず、使用者が自ら化粧料を塗布する場合においても有用な参考情報になり得る。
　しかして、本発明者らは以下に示す計算モデルについて知見した。以下に、計算モデルについて詳述する。
<計算モデル>
　図３に示すような層構成の肌に対して塗布する化粧料の塗布量を、計算モデルを用いて算出する。
　この計算モデルでは、肌表面上にセグメントがＮ個あるものとして考える。図４は肌表面上におけるＮ個のセグメントの一例を示す模式図である。Ｎ個のセグメントは、いずれも同じ面積の正方形からなる。１番目のセグメント１、２番目のセグメント２、３番目のセグメント３、・・・、ｋ番目のセグメントｋ、・・・、Ｎ－２番目のセグメントＮ－２、Ｎ－１番目のセグメントＮ－１、およびＮ番目のセグメントＮが、順に配置されている。
　ここで、ｋ番目のセグメントｋの反射率Ｒは、Ｒ（ｋ）、あるいはＲｋのように添え字で表す。ｋ番目のセグメントｋの塗布量であればｘｋと表す。また、ｋ番目のセグメントｋからｋ’番目のセグメントｋ’への光の拡散を肌の空間インパルス応答関数として扱い、Ｉｋ（ｋ，ｋ’）のように表す。空間インパルス応答関数とは、無限小領域に光を与えたときの反射光輝度値の分布のことであり、点広がり関数（Point Spread Function：PSF）と称される。すなわち、空間インパルス応答関数は、セグメントで考えた場合、ある一つのセグメントに光が均一に照射されたときに、そのセグメントを含む周囲のセグメントから、どれくらいの光が出射されるかを表す関数である。
　また、ｒｏｕｔ、ｒｉｎ、ｔｏｕｔ及びｔｉｎを以下のとおり定義する。なお、添え字のｏｕｔは肌表面に対して外側へ向かうこと、添え字のｉｎは肌表面に対して内側に向かうことを意味する。
　ｒｏｕｔは、セグメントに光が照射されたときに、セグメントの反射率のうち、肌を介さずに直接、塗布物から発せられる反射率を表す。後述するように肌表面からの反射はないと仮定しているため、ｒｏｕｔは塗布物から反射される光のみを考慮しているといえる。
　ｒｉｎは、セグメントに肌の裏側から光が照射されたときに、セグメントから発せられる反射率を表す。ｒｏｕｔと同様に、塗布物から反射される（肌内部に向かう）光のみを考慮しているといえる。
　ｔｏｕｔは、セグメントの内部から外部に向かう透過率を表す。
　ｔｉｎは、セグメントの外部から内部に向かう透過率を表す。
　これらは塗布物の塗布量で定まるため、塗布量をｘとすると、ｒｏｕｔ（ｘ）、ｒｉｎ（ｘ）、ｔｏｕｔ（ｘ）及びｔｉｎ（ｘ）と表される。
　以上をすべてまとめると、セグメントｎの反射率Ｒｎは式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
 　ここで、１行目の右辺第１項は、セグメントｎに照射された光が塗布物で反射されたもの、１行目の右辺第２項は、セグメントｎまたは他のセグメントの外部から内部に透過し、直接セグメントｎに到達したものを表す。２行目は、セグメントｎまたは他のセグメントの外部から内部に透過し、いずれかのセグメントの内面で１回反射した後に、セグメントｎに到達したものを表す。３行目は、同様に２回反射したものを表し、以下、４行目以降はその繰り返しである。
　そして、塗布量ｘによってｒｏｕｔ、ｒｉｎ、ｔｏｕｔ、ｔｉｎが一意的に定まるため、その関係性を予め把握しておけば、実質の未知数はＮ個となる。したがって、式（１）をＮ個の塗布量ｘについて解けばよい。
　なお、本発明は式（１）に示される計算モデル以外の計算モデルを用いて化粧料の塗布量を算出してもよく、また、式（１）に示される計算モデルを含む各種の計算モデルに簡略化手法を加えて化粧料の塗布量を算出してもよい。以下に示す具体例についても、計算を簡略化するための仮定が行われるが、本発明はこれに限られるものでない。
・計算モデルの簡略化
　式（１）では、Ｉｋ（ｋ，ｎ）は各セグメントにおいて異なるものとして記述したが、簡略化のため、Ｉｋ（ｋ，ｎ）＝ｍ（ｎ）ｍ（ｋ）Ｉ（ｋ，ｎ）と仮定する。ただし、Ｉ（ｋ，ｎ）は、セグメントｋから入射した光がセグメントｎで出射される比率を表したインパルス応答関数で、Ｉ（ｋ，ｋ’）は、下記式のように規格化されているものとする。
Figure JPOXMLDOC01-appb-M000002
 　ここで、ｋ’はｋを囲むｍ個のセグメントの番号とする。ｍ（ｎ）ｍ（ｋ）は、ｋ点から入射してｎ点から出射する際、肌内部を伝搬するにあたって失われるエネルギーを表す。この仮定においては、肌内で失われるエネルギーが、入射点と出射点とで決まるものとする。
　式（１）の２行目までを採用して、各セグメントの目標となる化粧料の塗布後の反射率をＲｐとすれば、式（２）で示されるＮ個の連立非線形方程式が得られる。なお、化粧料の塗布後の反射率Ｒｐは、肌のすべての部分において一様に設定してもよく、肌の場所に応じて任意のＲｐを設定してもよい。
Figure JPOXMLDOC01-appb-M000003
　セグメントｎの塗布量ｘｋに関する偏微分係数は、式（３）で示される。
Figure JPOXMLDOC01-appb-M000004
 　ただし、式（３）中においてδｉ，ｊは、クロネッカーのデルタ記号である。
Figure JPOXMLDOC01-appb-M000005
　非線形連立方程式は初期値を適切に設定できれば、偏微分係数を用いてニュートン法によって求めることができる。なお、初期値の設定の方法については後述する。
・ｍ（ｋ）の推定
　前述した計算モデルに従うと、Ｒ（ｎ）は式（４）で表される。
Figure JPOXMLDOC01-appb-M000006
 　ただし、Ｒ（ｋ）,ｍ（ｋ）は、セグメントｋにおけるそれぞれの反射率とエネルギー損失とする。これは、未知数Ｎの連立非線形方程式であるから、常法に従い、式（５）のようにＮ個の関数を置き、偏微分係数を式（６）のように設定する。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
　ここで、次のようにｍ（ｋ）を表示した。
Figure JPOXMLDOC01-appb-M000009
　また、初期値は式（７）のように設定する。
Figure JPOXMLDOC01-appb-M000010
 　そして、式（５）、（６）及び（７）を用いてｍ（ｋ）を求める。
・塗布量算出の第１の具体例（肌内反射ありの方法）
　ここで、具体的な塗布量の算出方法を示すにあたり、塗布物、塗布様式、塗布量分布を以下の式（８）のように設定する。
Figure JPOXMLDOC01-appb-M000011
　塗布量分布とは、肌上の各セグメントに対する、塗布物の体積、重さ、厚みなど塗布物の量を規定する物理量で示すものである。ここでは、塗布が肌上に設定した微小なセグメント毎に行われるとし、塗布量分布を求めるとは、各セグメントに対する塗布量を求めることである。なお、セグメントは所定の面積を有しているため、各セグメントへの塗布面積率も塗布量として扱うことができる。そこで、塗布物は各セグメント内において所定の面積比率で塗布されるものとする。塗布物の厚みは透過率がほぼゼロであるように塗布されるとする。議論を簡単にするために、塗布物自体に光を吸収する作用はなく、塗布物にあたった光はエネルギーロスなく反射されるものとする。これはすなわち、極めて隠蔽性の高い白色塗布物を所定の面積率で各セグメントに塗布することを想定している。例えば、あるセグメントに面積比率０．４で塗布されている場合、セグメント内に均質に照射された光の内、０．４は反射され、残りの０．６は肌に到達する。
　式（８）は肌表面の外側から照射された光の当該肌表面における反射および透過を表しているが、一方の、肌表面の内側から到達する光の反射および透過は、式（９）のように表せる。
Figure JPOXMLDOC01-appb-M000012
　塗布物が形成されていない無塗布の肌では、内面反射ゼロ、透過１とする。なお、ｘ＝０のとき、ｒｉｎ＝０となるが、これはつまり、無塗布の肌では内側から到達した光がすべて外側に透過し、内面反射が生じないということが仮定されている。この簡易モデルにおける、ｒｏｕｔ、ｒｉｎ、ｔｏｕｔ、ｔｉｎのｘに対する変化率は、次の式（１０）および（１１）のようになる。
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
　そして、式（８）～（１１）を式（２）、（３）に代入すると、式（１２）、（１３）が得られる。
Figure JPOXMLDOC01-appb-M000015
Figure JPOXMLDOC01-appb-M000016
　１～Ｎ’は、注目点に影響する範囲を示す。１～Ｎの範囲（関心領域）外の場合は塗布量ゼロを仮定するが、光の廻り込みを表す（１－ｘｋ）は１となり、結果に影響することから、１～Ｎ’の範囲を算出に用いることとした。
　式（１２）を解くための初期値は、式（１４）とする。
Figure JPOXMLDOC01-appb-M000017
 　この初期値は、光が全く肌内部で拡散せず、照射した位置でのみ出射されるとしたときの塗布量に相当する。
　以上の方法を、肌の内側から来た光が、塗布物によって肌内に反射されている項を含んで計算していることから、肌内反射ありの方法と称する。
・塗布量算出の第２の具体例（肌内反射なしの方法）
　ところで、式（１２）の右辺第４項は、肌内部から表面に到達した光が、塗布物のドットに衝突して肌内部に反射された後、再び表面に到達し、表面から出射される量を表している。この第４項を省略して、第３項を書き換えると、式（１５）のように表される。
Figure JPOXMLDOC01-appb-M000018
　式（１５）を連立方程式の形に書き直すと、式（１６）のような単純化された式が得られる。
Figure JPOXMLDOC01-appb-M000019
 　式（１６）の中カッコは、塗布物のドットが生じさせるインパルスの分（中カッコ内の第２項の分）だけ、反射率Ｒ（ｎ）から減少していると読める。
　偏微分値は以下のように示され、簡略型の式（１７）が得られる。
Figure JPOXMLDOC01-appb-M000020
 　以上の方法を、肌の内側からの光が、塗布物によって肌内に反射せずにそのまま喪失していることから、肌内反射なしの方法と称する。
　そして、以上示した計算モデルを用いた本発明の各実施形態に係る塗布制御装置および塗布制御方法について以下に説明する。
<塗布制御装置の動作>
　図５は、本発明の第１の実施形態に係る塗布制御装置における動作を示すフローチャートである。以下、塗布制御装置の動作の各ステップについて順に説明する。
・肌画像データ取得（ステップＳ１；取得工程）
　まず、外部の撮像装置（不図示）が撮像した化粧料を塗布する対象である肌の画像データを、ＣＰＵ３０５が記憶装置３０８から取得し、ＲＡＭ３０６に読み出す。肌の画像データは、記憶装置３０８に予め格納されている。肌の画像データは、例えば、Ｉ／Ｆ３１０を介して撮像装置やパーソナルコンピュータ等の外部機器から記憶装置３０８に格納されていてもよく、または、Ｉ／Ｆ３１０を介してインターネット上から記憶装置３０８に格納されていてもよい。また、肌の画像データを予め格納した記憶装置３０８としてのメモリカードを、塗布制御装置３００が備えるメモリカードスロット（不図示）に装着して利用してもよい。ＣＰＵ３０５が取得部を構成している。
　肌の画像データは、複数の画素それぞれに対応した、光学情報と位置情報とを少なくとも含む。光学情報としては輝度値を含むものが好ましく、例えば、ＹＵＶ形式の情報が挙げられる。位置情報は２次元の位置情報を含むものであればいかなるものであってもよい。
　以下の説明においては、輝度値に基づき塗布量を算出しているが、特定の波長領域（色成分）の信号を用いても良く、各色の値を用いても良い。したがって、バンドパスフィルタ等を用いて任意の可視領域の波長、好ましくは６００ｎｍ以上の波長を選択してもよく、ＲＧＢ信号から任意の信号、好ましくはＲ信号を選択してもよく、ＹＵＶ信号から任意の信号、好ましくはＹ信号を選択してもよい。
　取得する画像データのサイズは、複数のセグメントに分割することができ、後述する塗布量算出処理（ステップＳ３）において精度よく塗布量を算出できるサイズであれば特に制限はない。解像度は、人間の肉眼で視認し得る限度まで高い解像度であることが望ましく、それよりも高解像度であってもよいが、画像処理において過度の高負荷とならない程度の高解像度であることが好ましい。
・複数のセグメントに分割（ステップＳ２；分割工程）
　次に、ＣＰＵ３０５は取得した画像データを複数のセグメントに分割する。ＣＰＵ３０５が分割部を構成している。
　画像データは、セグメントの一辺が２００μｍ以下、好ましくは２０μｍ以上１５０μｍ以下となるように分割される。セグメントの一辺が２００μｍ以下となるように分割することで、肉眼では判別が容易ではないレベルまで精密な塗布量分布を算出することができ、部分的な明るさの違いを自然に隠蔽することができる。また、１５０μｍ以下とすることで部分的な明るさの違いをより自然に隠蔽することができ、２０μｍ以上とすることで後述する塗布量算出処理の処理負荷を低減することができる。
　具体的には、図４に示すようにＣＰＵ３０５は画像データをＮ個のセグメントに分割することができる。各セグメントは一辺が２００μｍ以下であって、同面積の正方形である。なお、セグメントの形状は必ずしも正方形でなくてもよく、長方形、あるいは任意の多角形であっても良い。この場合、隣接するセグメントの中心間の距離が２００μｍ以下、例えば２０μｍ以上１５０μｍ以下であることが好ましい。画像データの分割は、上述した画素ピッチよりも高精細の複数の画素の輝度値を平均化することによって行なわれ得る。例えば、ＣＰＵ３０５は１０μｍピッチの複数の画素の輝度値を平均化し、所望の画素ピッチのセグメントを算出することができる。
　また、ＣＰＵ３０５は画像データを複数のセグメントに分割する画像処理を行うだけではなく、他の画像処理を行ってもよい。本実施形態では画像データのノイズ除去を分割処理の前に行って、肌上に存在する微小な異物や毛穴などに由来するノイズを除去しておくことが望ましい。
・塗布量算出処理（ステップＳ３；算出工程）
　そして、ＣＰＵ３０５が、分割されたＮ個のセグメントのそれぞれにおける値から、各々のセグメントに対応する肌の各部分に塗布する化粧料の塗布量を算出する。ＣＰＵ３０５が算出部を構成している。また、塗布量の算出に用いるセグメントの値とは、セグメントが有する光学情報であって、輝度値であることが好ましい。
　塗布量の算出の際には、Ｎ個のセグメントのうちの単一のセグメントの値を用いて、当該単一のセグメントに対応する肌の部分に塗布する化粧料の塗布量を算出してもよい。そして、このような塗布量の算出をＮ個のセグメント全てについて繰り返すことで、肌の各部分についての塗布量を算出してもよい。また、Ｎ個のセグメントのうちの複数のセグメントの値を用いて、当該複数のセグメントに対応する肌の各部分に塗布する化粧料の塗布量を算出してもよい。なお、本実施形態においては、Ｎ個のセグメント全ての輝度値を用いて、Ｎ個のセグメントに対応する肌の各部分（Ｎ個の領域）に塗布する化粧料の塗布量を算出するが、具体的な化粧料の塗布量の算出については後述する。
　本実施形態では、肌に塗布する化粧料の塗布量を算出した後に、セグメント毎に得られた化粧料の塗布量について、ＣＰＵ３０５が平滑化処理を行って平滑化する。平滑化処理については特に制限はなく、各種の空間フィルタを用いて行うことができ、例えば、図６に示すガウシアンフィルタによって処理する方法が挙げられる。平滑化処理を行うことで、局所的な肌の明るさの違いを滑らかでより自然に隠蔽することができる。
　なお、不特定の広範囲（例えば、可視領域全域）の波長について、各波長を区別せずにいずれも含有して扱った反射率に基づいて化粧料の塗布量を算出した場合、反射率が低い波長において塗布量はわずかながら過剰となる。また、特定の波長（色）についての反射率に基づいて化粧料の塗布量を算出した場合、その特定の波長以外の波長において塗布量にわずかながら過不足が生じ得る。このため、生じた過不足を補い不自然にならないように、適宜、化粧料によって着色を行うことが好ましい。例えば、塗布量が過剰となるような場合、過剰となった箇所において不足する吸収を補う、すなわち、着色を行うことが好ましい。このとき、例えば式（２）においてｒｏｕｔ、ｒｉｎ、ｔｏｕｔ、ｔｉｎを吸収率の関数とし、吸収率を偏微分することで各波長に与える吸収を算出することができる。したがって、例えば、算出された各波長に与える吸収に基づいて、セグメントごとに各波長（色）に応じた塗布物を塗布することで、色味も良好な化粧を施すことが可能となる。例えば、セグメント上で混ざり合うことで所望の色を呈するように、イエロー、マゼンタ、シアンの３色それぞれを配合した３種類の塗布物を塗布しても良い。
<肌内反射ありの方法による塗布量算出>
　次に、第１の実施形態における具体的な化粧料の塗布量の算出について説明する。図７は本発明の第１の実施形態に係る塗布量算出のフローを示すフローチャートである。本実施形態における塗布量算出処理では、肌内反射ありの方法の計算モデル、すなわち前述した計算モデルに記載の式（１２）および（１３）を用いてＣＰＵ３０５が化粧料の塗布量の算出を行っている。
・インパルス応答関数設定（ステップＳ３１１）
　まず、図５のステップＳ２において分割されたＮ個のセグメントそれぞれに、ＣＰＵ３０５がインパルス応答関数を設定する。インパルス応答関数は、Ｎ個のセグメントそれぞれに対応する肌の各部分間における光の拡散を表す。Ｎ個のセグメントの中の１つを対象セグメントとし、対象セグメント以外のセグメントを非対象セグメントとする。この場合、インパルス応答関数は、対象セグメントに対応する肌の対象部分に入射した光が、当該肌の対象部分の表面から出射する割合、または、非対象セグメントに対応する肌の非対象部分に入射した光が、肌の対象部分の表面から出射する割合を表す関数である。
　このとき、１～Ｎ番目のセグメント全てに同じインパルス応答関数を設定してもよい。また、１～Ｎ番目の各セグメントにおけるインパルス応答を測定することで、セグメント毎に異なる（Ｎ通りの）インパルス応答関数を設定してもよい。
・輝度値取得（ステップＳ３１２）
　次に、１～Ｎ番目のセグメントそれぞれからＣＰＵ３０５が輝度値を取得する。
・吸収係数ｍ（ｋ）設定（ステップＳ３１３）
　さらに、式（５）および（６）を用いて１～Ｎ番目のセグメントそれぞれにＣＰＵ３０５が吸収係数ｍ（ｋ）を設定する。
・塗布量算出（ステップＳ３１４）
　そして、式（１２）および（１３）で表される内部反射ありの計算モデルにより、１～Ｎ番目のセグメントそれぞれに対応した肌の各部分に塗布する化粧料の塗布量をＣＰＵ３０５が算出し、塗布量算出処理（図５のステップＳ３）を終える。
　このステップＳ３１４における化粧料の塗布量の算出について換言すると、つぎのような光の反射拡散モデルに基づいているといえる。すなわち、ステップＳ３１４で用いられた光の反射拡散モデルとは、Ｎ個のセグメントの中の１つを対象セグメントとしたときに、対象セグメントに対応する肌の対象部分で得られる光が、少なくとも、下記（Ａ）～（Ｃ）に記載の成分を含むものである。
（Ａ）対象セグメントに対応する肌の対象部分の表面に向けて出射された光のうち、該肌の対象部分の表面から内部に透過せずに反射された成分。
（Ｂ）対象セグメントに対応する肌の対象部分の表面に向けて出射された光のうち、該肌の対象部分の表面から内部に透過した後に反射されて、当該肌の対象部分の表面から出射する成分。
（Ｃ）対象セグメント以外の非対象セグメントに対応する肌の非対象部分の表面に向けて出射された光のうち、該肌の非対象部分の表面から内部に透過した後に反射されて、肌の対象部分の表面から出射する成分。
　以上説明した第１の実施形態によれば、２００μｍ以下のセグメントに分割することによって、肉眼では判別が容易ではないレベルまで精密な塗布量分布を算出することができ、部分的な明るさの違いを自然に隠蔽することができる。また、肌内部の反射と、インパルス応答関数による肌内部における光の拡散と、を考慮した計算モデルを用いていることによって、より正確に塗布量を算出できるため、局所的な肌の明るさの違いをより自然に隠蔽することができる。
（第２の実施形態：肌内反射なしの方法）
　ついで、第２の実施形態における具体的な化粧料の塗布量の算出について説明する。図８は本発明の第２の実施形態に係る塗布量算出のフローを示すフローチャートである。本実施形態における塗布量算出処理では、肌内反射なしの方法の計算モデル、すなわち前述した計算モデルに記載の式（１６）および（１７）を用いてＣＰＵ３０５が化粧料の塗布量の算出を行っている。
　第２の実施形態は、上述した第１の実施形態（肌内反射ありの方法）と比べると、塗布量算出（図７のステップＳ３１４）のみが異なっている。すなわち、肌画像データ取得（図５のステップＳ１）および複数のセグメントに分割（図５のステップＳ２）については同一である。また、塗布量算出処理（図５のステップＳ３）についても、インパルス応答関数設定（図７のステップＳ３１１、図８のステップＳ３２１）から吸収係数ｍ（ｋ）設定（図７のステップＳ３１３、図８のステップＳ３２３）までは同一である。したがって、ここでは塗布量算出（図８のステップＳ３２４）についてのみ説明して、他の説明は省略する。
・塗布量算出（ステップＳ３２４）
　１～Ｎ番目のセグメントには、インパルス応答関数、輝度値、吸収係数ｍ（ｋ）がそれぞれ設定されている。ＣＰＵ３０５は、式（１６）および（１７）で表される内部反射なしの計算モデルにより、１～Ｎ番目のセグメントそれぞれについての化粧料の塗布量を算出し、塗布量算出処理（図５のステップＳ３）を終える。
　このステップＳ３２４における塗布量の算出について換言すると、第１の実施形態のステップＳ３１４（図７）における（Ｃ）に記載の成分を除いた光の反射拡散モデル（すなわち、上記（Ａ）および（Ｂ）に記載の成分）に基づいて塗布量を算出したといえる。
　以上説明した第２の実施形態によれば、２００μｍ以下のセグメントに分割することによって、肉眼では判別が容易ではないレベルまで精密な塗布量分布を算出することができ、部分的な明るさの違いを自然に隠蔽することができる。また、インパルス応答関数による肌内部における光の拡散を考慮した計算モデルを用いていることによって、より正確に塗布量を算出できるため、局所的な肌の明るさの違いをより自然に隠蔽することができる。なお、肌内部の反射は考慮していないものの、その分、塗布量算出処理における処理負荷が低減できる。
（第３の実施形態：初期解を用いる方法）
　さらに、第３の実施形態における具体的な化粧料の塗布量の算出について説明する。図９は本発明の第３の実施形態に係る塗布量算出のフローを示すフローチャートである。本実施形態における塗布量算出処理では、計算モデルに初期解を適用する方法、すなわち、前述した計算モデルに記載の式（１４）を用いてＣＰＵ３０５が化粧料の塗布量の算出を行っている。
　第３の実施形態は、上述した第１，第２の実施形態と比べると、塗布量算出処理（図５のステップＳ３）のみが異なっている。すなわち、肌画像データ取得（図５のステップＳ１）および複数のセグメントに分割（図５のステップＳ２）については同一である。したがって、ここでは塗布量算出処理（図５のステップＳ３）についてのみ説明して、他の説明は省略する。
・ｋ＝１の設定（ステップＳ３３１）
　まず、ＣＰＵ３０５がｋ＝１を設定する。
・ｋ番目のセグメントの輝度値取得（ステップＳ３３２）
　次に、ＣＰＵ３０５が、図５のステップＳ２において分割されたＮ個のセグメントのうちのｋ番目のセグメントから輝度値を取得する。
・塗布量算出（ステップＳ３３３）
　さらに、ＣＰＵ３０５が式（１４）で表される初期解を用いて、上述した計算モデルからｋ番目のセグメントについての化粧料の塗布量を算出する。
・ｋ＝ｋ＋１の設定（ステップＳ３３４）
　そして、ＣＰＵ３０５がｋの値に１を加算して、ｋ＝ｋ＋１とする。
・ｋ＝Ｎの判定（ステップＳ３３５）
　しかる後に、ＣＰＵ３０５がｋとＮとが等しいか否かを判定する。判定の結果、ＮＯの場合は塗布量を算出していないセグメントが存在しているため、ステップＳ３３２に戻る。判定の結果、ＹＥＳの場合はＮ個のセグメント全ての塗布量を算出したので、塗布量算出処理（図５のステップＳ３）を終える。
　以上説明した第３の実施形態によれば、２００μｍ以下のセグメントに分割することによって、肉眼では判別が容易ではないレベルまで精密な塗布量分布を算出することができ、部分的な明るさの違いを自然に隠蔽することができる。なお、肌内部における光の拡散や、肌内部の反射は考慮していないものの、その分、塗布量算出処理における処理負荷が著しく低減できる。
　上述した第１～第３の実施形態では、取得部、分割部および算出部はいずれも塗布制御装置３００が備えるＣＰＵ３０５であるが、これらの一部または全てをクラウドコンピューティングで代用してもよい。
　また、上述した化粧料の塗布量算出の方法の適用先は、インクジェット法などを採用した塗布装置において化粧料の塗布を制御することだけに限られない。上述した化粧料の塗布量算出の方法によれば、算出した塗布量で化粧を施した化粧シミュレーション画像を提供することや、化粧をアドバイスする化粧アドバイスシステムを提供することもできる。
［プログラム、記録媒体］
　本発明の一実施形態に係るプログラムは、上記第１～第３の実施形態に記載の制御の各工程を、コンピュータに実行させるものである。プログラムの言語等に特に制限はなく、周知慣用されているものをいずれも用いることができる。
　また、本発明の一実施形態に係る記録媒体は、上記プログラムを記録したコンピュータ読み取り可能な記録媒体である。記録媒体の種類等に特に制限はなく、周知慣用されているものをいずれも用いることができる。
　以下に、実施例および比較例により本発明をさらに詳細に説明するが、本発明はこれらの例に何ら限定されるものではない。
　実施例および比較例では、肌のシミに対して、計算モデルに初期解を適用した場合（実施例１、式（１４））と、肌内反射ありの計算モデル（実施例２、式（１２）、（１３））と、肌内反射なしの計算モデル（実施例３、式（１６）、（１７））とを比較する。また、比較例１および２として２００μｍ内側と外側とにそれぞれずらして化粧料を塗布した場合の結果もあわせて示す。また、実施例および比較例では、実験としての信頼性が高いモンテカルロシミュレーションによって確認を行った。
［実施例１～３］
（１）シミ肌モデル
　肌は多層膜モデルとし、各層についての光学特性のパラメータに一般的な肌の値を設定した。シミは、１２．８ｍｍ角の肌の中で、中央の６．４ｍｍ角部分をシミとした。反射率は、中央断面において１００μｍ角のセグメント毎に算出した。セグメント毎の平均値として出すため、セグメント内（面積１０，０００μｍ2）内で計測された輝度１６点の平均値を用いた。これをＲ（ｋ）として以下の計算に用いる。
　シミ肌モデルについて、モンテカルロシミュレーションでシミュレーションした結果を図１０に示す。図１０はシミ肌モデルの反射率分布のシミュレーション結果を示すグラフであって、シミ肌モデルの中央断面における位置に対する反射率を示すグラフである。
　図１０から明らかなように、シミが設定されて光の吸収が生じる中央部分では反射率が低下していることが確認できる。境界部分が直角形状にならずに緩やかな変化となっているのは、肌においても内部拡散の効果が表れていると考えられる。
（２）インパルス応答関数
　次に、シミがない肌モデルを設定し、中央１００μｍ角に入射角度ゼロ度で均一に光を照射し、周囲からゼロ度方向に出射される輝度を計測した。計測は、５．１ｍｍ×５．１ｍｍの範囲で行い、１００μｍ角のセグメント毎に平均化した。この範囲で、得られた輝度は合算で１になるように規格化した。図１１は、シミがない肌モデルに光が照射されたときをシミュレーションして得られたインパルス応答関数を示すグラフである。
（３）ｍ（ｋ）の導出
　上記（１）で求めたシミ肌の反射率分布に基づき、式（５）および（６）を用いて非線形連立方程式として、ｍ（ｋ）の分布を求めた。また、初期解（式（７））を用いてｍ（ｋ）の分布を求めた。１２．８ｍｍ角においてセグメントを１００μｍ角とした。連立方程式の数は、１６３８４（＝１２８2）個となる。
　図１２は、シミュレーションで得られたシミ肌モデルにおけるｍ（ｋ）の分布を示すグラフである。計算は誤差を１．０ｅ-6と設定したとき、解は収束した。ｍ（ｋ）の二乗根を初期解（破線）としているため、初期解は境界が緩やかな変化となっているが、式（５）および（６）から得られたｍ（ｋ）の分布（実線）は、急峻になっており、肌モデルにおいて直角形状に設定した吸収分布により近いものであった。
（４）塗布量導出
　上記（３）で求めたｍ（ｋ）に基づき、肌内反射ありの式（１２）および（１３）、肌内反射なしの式（１６）および（１７）から、化粧料の塗布量分布を求めた。また、計算モデルに初期解を適用した場合（式（１４））についても、化粧料の塗布量分布を求めた。このとき、本実施形態では、化粧料の塗布後の反射率Ｒｐ（目標とする反射率）は、肌のすべての部分において一様に０．４２と設定した。また、実施例１ではＲｐとの誤差が０．００００１以下、実施例２ではＲｐとの誤差が０．０００１以下になるまで計算したが（実施例３は初期解であるため誤差は生じない）、本発明はこれらに限られるものではない。例えば誤差を０．００１以下に設定すれば過剰な処理負荷を要することなく良好な結果が得られる。
　図１３は、シミュレーションで得られたシミ肌モデルにおける化粧料の塗布量分布を示すグラフである。図１３によれば、初期解（破線）に対して、肌内反射あり（太線）も、肌内反射なし（細線）も、どちらも塗布量が増加した。特に肌内反射なし（太線）の場合、その増加が大きかった。これは光がロスしていると仮定していることに起因していると考えられる。
（５）モンテカルロシミュレーションによる塗布量分布評価
　次に、上記（４）で設定した肌モデルの表面に、塗布物による効果を導入した。塗布物は厚みがないものとして扱った。塗布エリアに入射した光のうち、表面反射は、双方向反射関数（Bidirectional Reflectance Distribution Function）に基づいた計算を行い、塗布物内に進入した光は、すべて完全散乱光として入射した位置から出射されるものとして扱った。
　セグメント内の塗布物の面積比率を、式（１４）の初期解で得られた塗布量分布、肌内反射ありの式（１２）および（１３）で得られた塗布量分布、肌内反射なしの式（１６）および（１７）で得られた塗布量分布でそれぞれ計算を行い、塗布後の反射率分布を示す。
　各計算結果を図１４に示す。太線は、肌内反射ありの式（１２）および（１３）から求めた実施例１の反射率分布である。細線は、肌内反射なしの式（１６）および（１７）から求めた実施例２の反射率分布である。破線は、計算モデルに初期解（式（１４））を適用して求めた実施例３の反射率分布である。また、一点鎖線は、化粧料塗布前の反射率分布である。この図１４によれば、以下のことがわかった。
　実施例３では反射率の落ち込み、すなわちシミが大きく改善されていることがわかった。実施例３では光の広がりに伴うロスが全く考慮されていないため、実施例１～２と比較するとわずかに補正が不足しているものの、良好な隠蔽効果が得られることがわかった。また、初期解を用いており、複雑な連立方程式を解く必要がないことから、実施例３の処理負荷は極めて低いものであった。
　実施例２では反射率の落ち込み、すなわちシミが大きく改善されていることがわかった。実施例２では肌内部の光拡散に伴うロスを最大限に見積もっているため、シミ部位が若干高めに補正されていると推測されるものの、良好な隠蔽効果が得られることがわかった。
　実施例１では、反射率の落ち込み、すなわちシミが大きく改善され、ほぼ均一になった。実施例１では内面反射を二回までとしたことで、ロスをやや過剰に見たため、僅かにシミ部位がやや高めに補正されているものの、非常に良好な隠蔽効果が得られることがわかった。
　ところで、図１４の塗布量の分布をみると、実施例１～３では塗布量の絶対値こそ違うが、境界における塗布量の変化の様子は、初期解を含めてほぼ同じと見なすことができる。実施例３はロスが全くないとした場合、実施例２はロスを過剰に見た場合、と考えるならば、望ましい塗布量は、その間に現れるのであって、初期解で得られた分布に適当な補正倍率を掛けても好ましい塗布量分布が得られると考えられる。したがって、初期解を用いて得られた塗布量分布のパターンを複数回、重ね塗りすることも、本発明の範囲に含めることができる。
［比較例１］
　次に、実施例３で得られた塗布量分布を、中央から外側に２００μｍずらした塗布量分布とし、これを肌モデルの表面に導入した以外は実施例３と同様にして、化粧料を塗布した後の反射率分布を得た。図１５は、比較例１の反射率分布を示すグラフである。
　図１５から明らかなように、２箇所の大きなピーク（凸部）があらわれ、不自然な境界となることがわかった。
［比較例２］
　次に、実施例３で得られた塗布量分布を、中央に向かって内側に２００μｍずらした塗布量分布とし、これを肌モデルの表面に導入した以外は実施例３と同様にして、化粧料を塗布した後の反射率分布を得た。図１６は、比較例２の反射率分布を示すグラフである。
　図１６から明らかなように、２箇所の大きなピーク（凹部）があらわれ、不自然な境界となることがわかった。
　比較例１～２では、肌に化粧料を塗布した場合、２００μｍのずれが生じることによって部分的な明るさの違いを自然に隠蔽することができなかった。
　以上の実施例１～３および比較例１～２から明らかなように、２００μｍ以下の精密なセグメントの分割を行って化粧料の塗布量を算出することで、肌の局所的な明るさの違いを自然に隠蔽することがわかった。
１０　塗布システム、１００　塗布装置、１０１　塗布ヘッド、１０２　化粧料タンク、１０３　移動機構、１０４　操作部、１０５　距離センサ、１０６　モーションセンサ、２００　撮像部、３００　塗布制御装置、３０１　ディスプレイ、３０２　画像処理回路、３０３　ギャップ制御回路、３０４　ヘッド制御回路、３０５　ＣＰＵ（取得部、分割部、算出部）、３０６　ＲＡＭ、３０７　ＲＯＭ、３０８　記憶装置（記憶部）、３０９　スピーカ、３１０　Ｉ／Ｆ、　４１１　表皮層、４１１ａ　角層、４１１ｂ　メラニン色素沈着部、４１２　真皮層、４１３　皮下組織、４１４　動脈、４１５　静脈

Claims (10)

  1. 　肌の画像データを取得する取得部と、
    　前記画像データを２００μｍ以下の複数のセグメントに分割する分割部と、
    　前記画像データの単一または複数のセグメントの値から、前記肌の各部分に塗布する化粧料の塗布量を算出する算出部と、
    を備える、塗布制御装置。
  2. 　前記複数のセグメントの中で隣り合うセグメントの中心間の距離が２０μｍ以上１５０μｍ以下である、請求項１に記載の塗布制御装置。
  3. 　前記算出部は、前記複数のセグメントそれぞれに対応する前記肌の各部分間における光の拡散を表すインパルス応答関数を用いて、前記画像データの複数のセグメントの値から、前記肌の各部分に塗布する化粧料の塗布量を算出する、請求項１または２に記載の塗布制御装置。
  4. 　前記インパルス応答関数は、前記複数のセグメントの中の１つを対象セグメントとしたときに、
    　　該対象セグメントに対応する前記肌の対象部分に入射した光が、当該肌の対象部分の表面から出射する割合、または、
    　　前記対象セグメント以外の非対象セグメントに対応する前記肌の非対象部分に入射した光が、前記肌の対象部分の表面から出射する割合を表す、請求項３に記載の塗布制御装置。
  5. 　前記算出部は、光の反射拡散モデルに基づいて前記化粧料の塗布量を算出し、
    　該反射拡散モデルにおいて、前記複数のセグメントの中の１つを対象セグメントとしたときに、該対象セグメントに対応する前記肌の対象部分で得られる光が、少なくとも、
    　前記対象セグメントに対応する前記肌の対象部分の表面に向けて出射された光のうち、該肌の対象部分の表面から内部に透過せずに反射された成分と、
    　前記対象セグメントに対応する前記肌の対象部分の表面に向けて出射された光のうち、該肌の対象部分の表面から内部に透過した後に反射されて、当該肌の対象部分の表面から出射する成分と、
    　前記対象セグメント以外の非対象セグメントに対応する前記肌の非対象部分の表面に向けて出射された光のうち、該肌の非対象部分の表面から内部に透過した後に反射されて、前記肌の対象部分の表面から出射する成分と、
    を含む、請求項３または４に記載の塗布制御装置。
  6. 　前記画像データが輝度値を含む、請求項１乃至５のいずれか１項に記載の塗布制御装置。
  7. 　前記画像データを記憶する記憶部と、
    　前記算出部が算出した前記化粧料の塗布量に基づいて、前記肌に該化粧料を吐出して該化粧料の塗膜を形成する塗布ヘッドと、をさらに備え、
    　前記取得部は、前記記憶部から前記画像データを取得する、請求項１乃至６のいずれか１項に記載の塗布制御装置。
  8. 　肌の画像データを取得する取得工程と、
    　前記画像データを２００μｍ以下の複数のセグメントに分割する分割工程と、
    　前記画像データの単一または複数のセグメントの値から、前記肌の各部分に塗布する化粧料の塗布量を算出する算出工程と、
    を備える、塗布制御方法。
  9. 　肌の画像データを取得する取得処理と、
    　前記画像データを２００μｍ以下の複数のセグメントに分割する分割処理と、
    　前記画像データの単一または複数のセグメントの値から前記肌の各部分に塗布する化粧料の塗布量を算出する算出処理と、
    をコンピュータに実行させるためのプログラム。
  10. 　請求項９に記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。
PCT/JP2017/045299 2016-12-20 2017-12-18 塗布制御装置、塗布制御方法、プログラムおよび記録媒体 WO2018117020A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020197019415A KR102528866B1 (ko) 2016-12-20 2017-12-18 도포 제어 장치, 도포 제어 방법, 프로그램 및 기록매체
EP17884934.5A EP3560376B1 (en) 2016-12-20 2017-12-18 Application control device, application control method, program, and recording medium
JP2018557760A JP7051712B2 (ja) 2016-12-20 2017-12-18 塗布制御装置、塗布制御方法、プログラムおよび記録媒体
CN201780083270.5A CN110177486B (zh) 2016-12-20 2017-12-18 涂布控制装置、涂布控制方法、程序以及记录介质
US16/470,327 US11501456B2 (en) 2016-12-20 2017-12-18 Application control device, application control method, program and storage medium that naturally conceal a local difference in brightness on skin

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-246652 2016-12-20
JP2016246652 2016-12-20

Publications (1)

Publication Number Publication Date
WO2018117020A1 true WO2018117020A1 (ja) 2018-06-28

Family

ID=62627698

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/045299 WO2018117020A1 (ja) 2016-12-20 2017-12-18 塗布制御装置、塗布制御方法、プログラムおよび記録媒体

Country Status (7)

Country Link
US (1) US11501456B2 (ja)
EP (1) EP3560376B1 (ja)
JP (1) JP7051712B2 (ja)
KR (1) KR102528866B1 (ja)
CN (1) CN110177486B (ja)
TW (1) TW201828861A (ja)
WO (1) WO2018117020A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021034618A1 (en) * 2019-08-16 2021-02-25 Johnson & Johnson Consumer Inc. Device and method for application of cosmetic compositions through a grated end effector
WO2021131852A1 (ja) * 2019-12-26 2021-07-01 株式会社資生堂 化粧支援装置、化粧支援方法、化粧支援プログラム、及び化粧支援システム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210100907A (ko) * 2020-02-07 2021-08-18 (주)우리아이들플러스 피부 도포량 산출 방법
WO2022263622A2 (en) * 2021-06-18 2022-12-22 Merz Pharma (Schweiz) Ag Application compliance device
WO2024094589A1 (en) * 2022-10-31 2024-05-10 L'oreal Visual assistance for precise beauty tool positioning and self application at home

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS563331B2 (ja) 1978-06-19 1981-01-24
JP2008206752A (ja) * 2007-02-27 2008-09-11 Toppan Printing Co Ltd メイクアップ方法
JP2009504678A (ja) * 2005-08-12 2009-02-05 リック ビー． イェーガー， ヒトの皮膚の視覚的魅力を改善するために、反射変性剤を塗布するためのシステムおよび方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5363696B2 (ja) * 2005-03-23 2013-12-11 株式会社 資生堂 肌化粧料用色材組成物、それを用いたファンデーション、化粧方法
JP2006290745A (ja) 2005-04-06 2006-10-26 Kao Corp 化粧料の評価方法
US8184901B2 (en) * 2007-02-12 2012-05-22 Tcms Transparent Beauty Llc System and method for applying a reflectance modifying agent to change a person's appearance based on a digital image
US8597667B2 (en) 2008-05-09 2013-12-03 Elc Management Llc Targeted and individualized cosmetic delivery
FR2933581B1 (fr) 2008-07-10 2011-12-02 Oreal Procede de maquillage et dispositif pour la mise en oeuvre d'un tel procede
FR2944898B1 (fr) 2009-04-23 2018-03-16 Lvmh Recherche Procede et appareil de caracterisation des imperfections de la peau et procede d'appreciation de l'effet anti-vieillissement d'un produit cosmetique
WO2014027522A1 (ja) * 2012-08-17 2014-02-20 ソニー株式会社 画像処理装置、画像処理方法、プログラムおよび画像処理システム
US10188328B2 (en) * 2012-12-06 2019-01-29 National University Corporation Hokkaido University Non-invasive biolipid concentration meter, non-invasive biolipid metabolism measuring device, non-invasive method for measuring biolipid concentration, and non-invasive method for examining biolipid metabolism
JP6008323B2 (ja) 2013-02-01 2016-10-19 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
US10553006B2 (en) * 2014-09-30 2020-02-04 Tcms Transparent Beauty, Llc Precise application of cosmetic looks from over a network environment
US20160357578A1 (en) * 2015-06-03 2016-12-08 Samsung Electronics Co., Ltd. Method and device for providing makeup mirror
KR20160142742A (ko) 2015-06-03 2016-12-13 삼성전자주식회사 메이크업 거울을 제공하는 디바이스 및 방법
JP6655789B2 (ja) * 2016-03-08 2020-02-26 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
CN106175780A (zh) * 2016-07-13 2016-12-07 天远三维（天津）科技有限公司 面肌运动捕捉分析系统及其分析方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS563331B2 (ja) 1978-06-19 1981-01-24
JP2009504678A (ja) * 2005-08-12 2009-02-05 リック ビー． イェーガー， ヒトの皮膚の視覚的魅力を改善するために、反射変性剤を塗布するためのシステムおよび方法
JP2008206752A (ja) * 2007-02-27 2008-09-11 Toppan Printing Co Ltd メイクアップ方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3560376A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021034618A1 (en) * 2019-08-16 2021-02-25 Johnson & Johnson Consumer Inc. Device and method for application of cosmetic compositions through a grated end effector
CN114206426A (zh) * 2019-08-16 2022-03-18 强生消费者公司 用于通过带格栅端部执行器涂敷化妆品组合物的装置和方法
WO2021131852A1 (ja) * 2019-12-26 2021-07-01 株式会社資生堂 化粧支援装置、化粧支援方法、化粧支援プログラム、及び化粧支援システム
CN114867383A (zh) * 2019-12-26 2022-08-05 株式会社资生堂 化妆辅助装置、化妆辅助方法、化妆辅助程序以及化妆辅助系统

Also Published As

Publication number Publication date
EP3560376A1 (en) 2019-10-30
JPWO2018117020A1 (ja) 2019-10-24
US11501456B2 (en) 2022-11-15
CN110177486A (zh) 2019-08-27
JP7051712B2 (ja) 2022-04-11
EP3560376A4 (en) 2020-07-15
CN110177486B (zh) 2022-04-08
EP3560376B1 (en) 2021-08-18
TW201828861A (zh) 2018-08-16
KR20190099227A (ko) 2019-08-26
KR102528866B1 (ko) 2023-05-04
US20190318489A1 (en) 2019-10-17

Similar Documents

Publication Publication Date Title
WO2018117020A1 (ja) 塗布制御装置、塗布制御方法、プログラムおよび記録媒体
RU2367577C1 (ru) Система и способ для нанесения изменяющего отражательную способность вещества в целях улучшения визуальной привлекательности человеческой кожи
EP3201834B1 (en) Precise application of cosmetic looks from over a network environment
JP5603331B2 (ja) メーキャップする方法及びこの方法を実施するための装置
KR101799174B1 (ko) 피부 진단 및 화상 처리 시스템, 장치 및 물품
US6810130B1 (en) Apparatus for assisting makeup and an assembly constituted by such apparatus and apparatus for delivering makeup having a predetermined BRDF as selected by the apparatus for assisting makeup
KR101800102B1 (ko) 피부 진단 및 화상 처리 방법
FR2933585A1 (fr) Procede de maquillage de la peau a partir d&#39;une mesure de la couleur de celle-ci
FR2933611A1 (fr) Procede de maquillage et dispositif pour la mise en oeuvre d&#39;un tel procede.
FR2933582A1 (fr) Dispositif de traitement des matieres keratiniques humaines
WO2014196532A1 (ja) 透明感評価装置、透明感評価方法および透明感評価プログラム
AU2013200395B2 (en) System and method for applying a reflectance modifying agent to improve the visual attractiveness of human skin
EP2347169A2 (en) Method and apparatus for precise deposition of hair care agents
EP3518710A1 (en) Apparatus and method for supporting at least one user in performing a personal care activity
CN111031847A (zh) 化妆用片及其制造方法、图像处理装置以及图像处理方法
JP7117541B2 (ja) シート
JP5399874B2 (ja) 画像処理装置および画像処理方法
JP7398750B2 (ja) 画像処理装置、画像処理方法およびシート
JP6947551B2 (ja) 面の状態評価方法
FR2900256A1 (fr) Procede d&#39;assistance en temps reel a la modification de l&#39;apparence physique d&#39;une entite et son dispositif de mise en oeuvre.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17884934

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018557760

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20197019415

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2017884934

Country of ref document: EP

Effective date: 20190722