WO2018117022A1 - 塗布制御装置、塗布装置、塗布制御方法および記録媒体 - Google Patents

塗布制御装置、塗布装置、塗布制御方法および記録媒体 Download PDF

Info

Publication number
WO2018117022A1
WO2018117022A1 PCT/JP2017/045303 JP2017045303W WO2018117022A1 WO 2018117022 A1 WO2018117022 A1 WO 2018117022A1 JP 2017045303 W JP2017045303 W JP 2017045303W WO 2018117022 A1 WO2018117022 A1 WO 2018117022A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
coating
skin
application
head
Prior art date
Application number
PCT/JP2017/045303
Other languages
English (en)
French (fr)
Inventor
智祐 勝山
Original Assignee
株式会社資生堂
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社資生堂 filed Critical 株式会社資生堂
Priority to US16/470,406 priority Critical patent/US10799009B2/en
Priority to JP2018557762A priority patent/JPWO2018117022A1/ja
Priority to KR1020197019418A priority patent/KR102555594B1/ko
Priority to CN201780083304.0A priority patent/CN110191661B/zh
Priority to EP17882888.5A priority patent/EP3560375B1/en
Publication of WO2018117022A1 publication Critical patent/WO2018117022A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D34/00—Containers or accessories specially adapted for handling liquid toiletry or cosmetic substances, e.g. perfumes
    • A45D34/04—Appliances specially adapted for applying liquid, e.g. using roller or ball
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J2/00—Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed
    • B41J2/005—Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed characterised by bringing liquid or particles selectively into contact with a printing material
    • B41J2/01—Ink jet
    • B41J2/015—Ink jet characterised by the jet generation process
    • B41J2/04—Ink jet characterised by the jet generation process generating single droplets or particles on demand
    • B41J2/045—Ink jet characterised by the jet generation process generating single droplets or particles on demand by pressure, e.g. electromechanical transducers
    • B41J2/04501—Control methods or devices therefor, e.g. driver circuits, control circuits
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J3/00—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed
    • B41J3/407—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed for marking on special material
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J3/00—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed
    • B41J3/44—Typewriters or selective printing mechanisms having dual functions or combined with, or coupled to, apparatus performing other functions
    • B41J3/445—Printers integrated in other types of apparatus, e.g. printers integrated in cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J3/00—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed
    • B41J3/44—Typewriters or selective printing mechanisms having dual functions or combined with, or coupled to, apparatus performing other functions
    • B41J3/46—Printing mechanisms combined with apparatus providing a visual indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/22—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using plotters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present invention relates to a coating control device, a coating device, a coating control method, and a recording medium.
  • Patent Document 1 discloses a cosmetic device that includes a head that ejects cosmetic ink and a moving device that can move the head.
  • the cosmetic device of Patent Document 1 measures data such as unevenness of the face to be dressed (skin), brightness distribution, and the like, and determines the position of spots, wrinkles, etc. on the face to be dressed based on the data.
  • Patent Document 1 does not specifically disclose a method of positioning the head with respect to spots, wrinkles and the like to be applied.
  • the moving device of Patent Document 1 can move the head along the skin, but in order to perform positioning, it is necessary to know where the head is located on the skin.
  • the present invention has been made in view of such problems, and an object thereof is to provide a coating control device, a coating device, a coating control method, and a recording medium capable of recognizing the position of the coating head on the skin.
  • An application control device includes: a storage unit that stores a first image of a predetermined range of skin; and an imaging unit that is connected to an application head that can apply cosmetics to the skin.
  • the acquisition part which acquires the 2nd image of the skin of the range smaller than the range of the said image, and the recognition part which recognizes the position of the said 2nd image in a said 1st image are provided.
  • An application control method includes: a step of storing a first image of a predetermined range of skin; and an imaging unit connected to an application head capable of applying cosmetics to the skin. Obtaining a second image of the skin in a range smaller than the range of the image, and recognizing a position of the second image in the first image.
  • the recording medium includes a step of storing a first image of a predetermined range of the skin, and an imaging unit connected to an application head capable of applying cosmetics to the skin.
  • a program for causing a computer to execute a step of acquiring a second image of the skin in a range smaller than the range and a step of recognizing the position of the second image in the first image is recorded.
  • a coating control device capable of recognizing the position of the coating head on the skin.
  • FIG. 1 is a schematic diagram illustrating a configuration of a coating system 10 according to the present embodiment.
  • the coating system 10 includes a coating device 100, an imaging unit 200, and a coating control device 300.
  • the application apparatus 100 is an apparatus for applying cosmetics (cosmetics) to the skin and is held by a user.
  • the coating apparatus 100 has a prismatic casing, and a coating head 101 is provided on one end surface of the casing.
  • the shape of the coating apparatus 100 is not limited as long as it is a shape that can be easily gripped by the user, and may be cylindrical or hemispherical. Further, the coating apparatus 100 may include a gripping member such as a handle.
  • the application head 101 is composed of, for example, an inkjet head and includes a plurality of nozzles that discharge cosmetics.
  • the plurality of nozzles are two-dimensionally arranged and can apply cosmetics to a predetermined region of the skin.
  • a cosmetic tank 102 is attached to the coating apparatus 100, and cosmetics are supplied from the cosmetic tank 102 to the coating head 101.
  • the cosmetic tank 102 may be provided in the coating apparatus 100.
  • a liquid concealer for hiding skin spots, freckles, pores and the like can be used.
  • the imaging unit 200 is provided on the side surface (upper surface) of the coating apparatus 100 in the same direction as the coating head 101.
  • the imaging unit 200 includes a lens, an imaging device, and the like, and can capture an image of a narrow range of skin (second image) on which application is performed by the application head 101.
  • the imaging unit 200 is connected to the coating head 101, and the relative position of the imaging unit 200 with respect to the coating head 101 is fixed.
  • the imaging unit 200 may be formed integrally with the application head 101.
  • the coating apparatus 100 and the imaging unit 200 are controlled by the coating control apparatus 300.
  • the application control device 300 is connected to the application device 100 and the imaging unit 200 via a wired connection such as a USB (Universal Serial Bus) cable or a wireless connection such as Bluetooth (registered trademark) or WiFi.
  • the coating control device 300 may be built in the coating device 100.
  • the application control device 300 stores in advance an image (first image) of a wide range of skin including spots, freckles, pores, and the like to be applied.
  • the application control apparatus 300 can grasp the position of the application head 101 on the skin by comparing the second image acquired from the imaging unit 200 with the first image.
  • the application control apparatus 300 includes a display 301, and various information such as a skin image and the state of the application head 101 are displayed on the display 301.
  • the coating control apparatus 300 recognizes the position of the coating head 101 on the skin and displays the current position of the coating head 101 on the display 301.
  • the user moves the application head 101 along the skin while checking the display 301.
  • the application head 101 arrives at a position to be applied, the application of the cosmetic is automatically performed.
  • FIG. 2 is a block diagram of the coating apparatus 100 and the coating control apparatus 300 according to the present embodiment.
  • the coating apparatus 100 includes a coating head 101, a cosmetic tank 102, a moving mechanism 103, an operation unit 104, a distance sensor 105, and a motion sensor 106.
  • the application control apparatus 300 includes a display 301, an image processing circuit 302, a gap control circuit 303, a head control circuit 304, a CPU 305, a RAM 306, a ROM 307, a storage device 308, and a speaker 309.
  • the coating head 101 is, for example, a piezo ink jet head, and includes a nozzle, a pressure chamber, a piezoelectric element, a drive circuit, and the like.
  • the pressure chamber is filled with cosmetics and a voltage is applied from the drive circuit to the piezoelectric element, the volume of the pressure chamber changes due to the deformation of the piezoelectric element.
  • cosmetics are discharged from a nozzle in the shape of a droplet.
  • the application head 101 may be a thermal inkjet head that heats the cosmetic with a heating body and discharges the cosmetic with the pressure of the generated bubbles.
  • the coating head 101 operates based on a control signal from the head control circuit 304.
  • the cosmetic tank 102 stores the cosmetic and supplies the cosmetic to the application head 101.
  • the cosmetic tank 102 can be a cartridge type that can be easily replaced.
  • the cosmetic is a liquid having a predetermined viscosity that can be discharged from the application head 101, and may include a concealer, a foundation, a cheek, a funny, an eye shadow, and the like.
  • a plurality of cosmetic tanks 102 may be provided so as to accommodate a plurality of cosmetics of different types or colors. For example, four cosmetic tanks 102 can be provided so that four colors of cosmetics can be applied, and four nozzle groups corresponding to the respective colors can be provided in the application head 101.
  • the moving mechanism 103 includes an actuator, a guide member, and the like, and can drive the application head 101 forward and backward in the longitudinal direction of the application apparatus 100, that is, in a direction perpendicular to the skin when the application head 101 is opposed to the skin. it can.
  • the moving mechanism 103 controls the position of the coating head 101 in accordance with a control signal from the gap control circuit 303.
  • the operation unit 104 includes operation members such as a power switch, a menu button, and a coating button for executing coating, and is used by the user to give an instruction to the coating device 100.
  • the application control device 300 controls the operation of the application device 100 in accordance with a user instruction input from the operation unit 104.
  • the application button is preferably arranged at a position where the user can easily operate while holding the application apparatus 100.
  • the application button is arranged at a position where the user touches the finger when holding the application apparatus 100. The Thereby, even when the user moves the coating apparatus 100 to a part (such as a cheek) that cannot be directly visually recognized, the user can operate the coating button by groping.
  • the distance sensor 105 is, for example, an infrared sensor, an ultrasonic sensor, or the like, irradiates a detection wave such as an infrared ray or an ultrasonic wave toward an object, and receives the reflected wave.
  • the distance sensor 105 can detect the distance to the object based on the time from irradiating the detection wave to receiving the reflected wave.
  • a plurality of distance sensors 105 are provided around the application head 101, and the inclination of the application head 101 with respect to the skin can be detected.
  • the application control device 300 keeps the distance between the skin and the application head 101 constant based on the detection signal from the distance sensor 105, and discharges cosmetics when the application head 101 is inclined with respect to the skin, for example.
  • the coating head 101 can be controlled so that it does not occur.
  • the motion sensor 106 includes an acceleration sensor, a gyro sensor, and a geomagnetic sensor, and detects movement such as movement and rotation of the coating head 101.
  • the acceleration sensor is composed of, for example, a capacitance detection element, and can detect acceleration applied to the coating head 101.
  • the gyro sensor is composed of, for example, a piezoelectric vibration element and has a function of detecting the direction of the coating head 101.
  • the geomagnetic sensor can grasp the orientation of the coating head 101 by detecting the geomagnetism. Based on the detection signal from the motion sensor 106, the application control device 300 can control the application head 101 so that the cosmetic is not discharged, for example, when the application head 101 moves quickly.
  • the imaging unit 200 includes an optical system, an imaging device, and an A / D (Analog / Digital) converter.
  • the optical system includes an optical filter, a fixed lens, and a focus lens, and images light from a subject (skin) on an imaging surface of an imaging element to form a subject image.
  • a polarizing filter can be attached to the optical system, and specular reflection can be reduced.
  • the image pickup device is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor, and includes a plurality of pixels arranged two-dimensionally, a color filter, and a microlens.
  • the plurality of pixels may include imaging pixels and focus detection pixels.
  • the image sensor has an electronic shutter function for controlling the charge accumulation time.
  • Each of the plurality of pixels outputs a pixel signal based on incident light from the optical system.
  • the A / D converter includes a comparison circuit, a latch circuit, and the like, and converts an analog pixel signal from the image sensor into digital RAW data.
  • the imaging unit 200 can output a moving image having a predetermined frame rate in addition to a still image.
  • the display 301 includes, for example, a liquid crystal display and an organic EL (Electro Luminescence) display.
  • the display 301 performs various displays such as an image from the imaging unit 200, an image stored in the storage device 308, status information of the coating head 101, and a menu screen based on data from the CPU 305.
  • the display 301 may be a touch panel and may function as the operation unit 104.
  • the image processing circuit 302 includes a numerical operation circuit, performs a demosaic process on the RAW data from the imaging unit 200, and has an image having each color value of R (red), G (green), and B (blue) for each pixel. Data (RGB image) is generated.
  • the image processing circuit 302 also has a function of performing digital image processing such as white balance adjustment, gamma correction, contour enhancement, tone conversion, noise reduction, and compression on image data.
  • the gap control circuit 303 controls the gap (gap) between the skin and the coating head 101 by outputting a control signal to the moving mechanism 103. Based on the detection signal from the distance sensor 105, the gap control circuit 303 can control the position of the coating head 101 so as to maintain a certain distance from the skin. Based on an instruction from the CPU 305, the head control circuit 304 outputs, to the application head 101, a control signal indicating information on a nozzle that discharges cosmetics, an application amount, and the like.
  • a CPU (Central Processing Unit) 305 includes a CPU core, a cache memory, and the like, and comprehensively controls each unit of the coating control apparatus 300.
  • a RAM (Random Access Memory) 306 is, for example, a DRAM (Dynamic RAM), and is used as a work area of the CPU 305, a program load area, and the like. The RAM 306 temporarily stores data necessary for processing by the CPU 305, image data generated by the image processing circuit 302, image data read from the storage device 308, and the like.
  • a ROM (Read Only Memory) 307 is, for example, an EEPROM (Electrically Erasable Programmable ROM), and stores various setting files, a basic program such as an OS (Operating System), and a control program for controlling the operation of the coating apparatus 100.
  • EEPROM Electrically Erasable Programmable ROM
  • OS Operating System
  • the storage device (storage unit) 308 is, for example, a flash memory or a hard disk, and stores LAW data from the imaging unit 200, image data generated by the image processing circuit 302, and the like.
  • the storage device 308 can also store image data acquired by an external imaging device.
  • the storage device 308 may be a portable storage medium, and may be configured to be detachable from the application control device 300 via a memory card slot, a USB connector, or the like.
  • the speaker 309 includes a piezoelectric vibration unit, a drive circuit, and the like, and outputs a sound wave signal based on data from the CPU 305.
  • the speaker 309 can reproduce voice messages, sound effects, and the like, and is used, for example, to notify the user of the operating state of the coating apparatus 100.
  • FIG. 3 is a functional block diagram of the coating control apparatus 300 according to the present embodiment.
  • the application control apparatus 300 has functions of a storage unit 308, an acquisition unit 310, a recognition unit 311, and a calculation unit 312.
  • the function of the application control apparatus 300 is realized by the CPU 305 reading out a predetermined control program stored in the ROM 307 to the RAM 306 and executing it.
  • the storage unit 308 stores a first image of a predetermined range of skin.
  • the first image is an image obtained by capturing a wide range of skin including spots, freckles, pores and the like to be applied.
  • the first image can be captured using a dedicated imaging device or a general digital camera, and is stored in the storage unit 308 in advance.
  • the first image can be captured using the imaging unit 200.
  • the acquisition unit 310 acquires the second image from the imaging unit 200.
  • the second image is a skin image in a range smaller than the range of the first image.
  • the acquisition unit 310 acquires the second image every predetermined time, and delivers the second image to the recognition unit 311.
  • the imaging unit 200 is connected to the coating head 101, and the position of the coating head 101 can be obtained from the position of the imaging unit 200.
  • the recognition unit 311 compares the second image from the acquisition unit 310 with the first image stored in the storage unit 308, and recognizes the position of the second image in the first image.
  • the recognition unit 311 can perform correlation calculation of image data, and can extract an area having the highest correlation with the second image from the first image.
  • the calculation unit 312 divides the first image or the second image into a plurality of segments, and calculates the required cosmetic application amount for each segment.
  • the method of calculating the application amount is arbitrary, and for example, the application amount can be calculated so that the luminance distribution of the skin after application is uniform.
  • the application head 101 can apply cosmetics to the skin according to the application amount from the calculation unit 312.
  • FIG. 4 is a flowchart of the application control method according to the present embodiment.
  • the CPU 305 reads an image including a plurality of spots (first image) from the storage device 308 and stores it in the RAM 306 (step S401).
  • the first image is an image obtained by capturing a wide range of cheeks (for example, 3 cm long ⁇ 4 cm wide).
  • the first image may be captured using a polarizing filter.
  • the CPU 305 displays the first image on the display 301.
  • the CPU 305 may identify the positions of a plurality of spots from the first image, and display an icon or the like indicating the positions of the spots to the user on the display 301.
  • the position of the stain can be specified based on, for example, the feature amount (luminance distribution or the like) of the image.
  • the user grasps the coating apparatus 100 and brings the coating head 101 close to the skin.
  • the user moves the application head 101 along the skin (step S402).
  • the user can move the coating head 101 in a direction where there is a spot while looking at the display 301.
  • the imaging unit 200 captures a skin moving image at a predetermined frame rate.
  • the CPU 305 acquires the second image from the imaging unit 200 (step S403).
  • the second image is one frame of a moving image and is an image obtained by capturing a narrow range of cheeks (for example, 1 cm in length ⁇ 1 cm in width). Similar to the first image, the second image may be captured using a polarizing filter.
  • the CPU 305 generates image data for the second image in the image processing circuit 302 and stores the image data in the RAM 306. Note that the second image may be a single still image, and the data format of the second image is not particularly limited.
  • the CPU 305 calculates the correlation between the first image and the second image (step S404). Specifically, the CPU 305 calculates the value of the evaluation function F ( ⁇ , ⁇ ) expressed by the following formula (1).
  • a feature point may be extracted to check the correlation of the feature amount.
  • f (x, y) is the pixel value at the coordinates (x, y) of the second image 502
  • g (x, y) is at the coordinates (x, y) of the first image 501. Represents a pixel value.
  • the hatched portion represents a spot.
  • the origin O of the first image 501 and the second image 502 is set to the pixel in the lower left corner.
  • the size of the second image 502 is vertical M pixels ⁇ horizontal N pixels
  • the size of the first image 501 is larger than the size of the second image 502 and is vertical M1 pixels ⁇ horizontal N1 pixels (M ⁇ M1 and N ⁇ N1).
  • the parameters ⁇ and ⁇ represent the shift amount of the window area 501a in the first image.
  • the window area 501a has the same size as the second image 502.
  • the window region 501a can be scanned in the first image 501 by changing the values of the parameters ⁇ and ⁇ .
  • the evaluation function F ( ⁇ , ⁇ ) corresponds to the product-sum operation of the corresponding pixel values between the second image 502 and the window area 501a.
  • the evaluation function F ( ⁇ , ⁇ ) is not limited to the equation (1), and may be a sum of absolute values of differences, a square sum of differences of pixel values, a correlation coefficient, or the like for the corresponding pixel value.
  • RGB color values R value, G value, B value
  • values obtained by appropriately weighting and adding each color value and other values expressed in a color system other than RGB Etc.
  • the correlation of the image may be calculated using a specific wavelength component. For example, it is preferable to use a wavelength component (B signal) of 540 nm or less.
  • step S404 the CPU 305 calculates the value of the evaluation function F ( ⁇ , ⁇ ) while changing the parameters ⁇ and ⁇ within the ranges of 0 ⁇ ⁇ ⁇ N1-N and 0 ⁇ ⁇ ⁇ M1-M, respectively. That is, the CPU 305 scans the entire area of the first image 501 while shifting the position of the window area 501a by one pixel in the vertical or horizontal direction, and calculates the correlation between the second image 502 and the window area 501a.
  • the CPU 305 recognizes the position of the second image in the first image (step S405).
  • the CPU 305 determines that the correlation is higher as the value of the evaluation function F ( ⁇ , ⁇ ) is larger, and determines the position ( ⁇ , ⁇ ) of the window region 501a when the evaluation function F ( ⁇ , ⁇ ) has the maximum value. It is recognized as the position of the second image 502.
  • the CPU 305 calculates the position of the coating head 101 based on the position of the second image 502 and displays the position information of the coating head 101 on the display 301. For example, the CPU 305 displays a frame indicating a region where the coating head 101 can be applied currently on the first image.
  • the CPU 305 determines whether or not there is a coating target (stain) at the position of the coating head 101 (step S406). For example, the CPU 305 refers to the position of the spot specified in step S401 and determines whether or not a spot is included in an area where the coating head 101 can be applied at present. If the CPU 305 determines that the position of the coating head 101 is not stained (NO in step S406), the CPU 305 returns to step S402 and waits until the coating head 101 is moved to another position by the user. If the CPU 305 determines that there is a spot at the position of the coating head 101 (YES in step S406), the CPU 305 executes the coating process of FIG. 6 (step S407). The CPU 305 may notify the user that the coating process is to be executed using the display 301 and the speaker 309.
  • the CPU 305 determines whether or not the coating has been completed for all the coating targets (step S408). That is, the CPU 305 determines whether or not the coating process has been executed for all the spots included in the first image. If the CPU 305 determines that the application has not been completed (NO in step S408), the CPU 305 returns to step S402 and waits until the application head 101 is moved to another position by the user. If the CPU 305 determines that the application has been completed (YES in step S408), the CPU 305 displays an indication that the application has been completed on the display 301, and ends the process.
  • FIG. 6 is a flowchart showing details of the coating process (step S407) according to the present embodiment.
  • the CPU 305 calculates the cosmetic application amount based on the second image acquired from the imaging unit 200 (step S601). For example, the CPU 305 calculates a necessary application amount for each of a plurality of segments obtained by dividing the second image.
  • the segment can be a square pixel block composed of a plurality of pixels, and the CPU 305 calculates the application amount independently for each segment.
  • the CPU 305 may calculate the application amount for the target segment based on a plurality of segments including the target segment and the surrounding segments.
  • the cosmetic application amount may be calculated based on the first image in step S401 of FIG. Similar to the second image, the CPU 305 can calculate a necessary coating amount for each of a plurality of segments obtained by dividing the first image.
  • the CPU 305 adjusts the distance between the application head 101 and the skin (step S602).
  • the CPU 305 outputs a control signal based on the value detected by the distance sensor 105 to the moving mechanism 103 via the gap control circuit 303.
  • the moving mechanism 103 moves the coating head 101 forward and backward, so that the gap with the skin is kept constant. If the size of the gap exceeds the range adjustable by the moving mechanism 103, the CPU 305 uses the display 301, the speaker 309, etc. to prompt the user to move the application head 101 closer to or slightly away from the skin. Can be urged.
  • the gap adjustment process may be executed in parallel with the above-described application amount calculation process (step S601).
  • the CPU 305 causes the application head 101 to discharge cosmetics (step S603). That is, the CPU 305 outputs, to the coating head 101, control information such as the identification information of the nozzle that performs ejection and the coating amount via the head control circuit 304.
  • the coating head 101 discharges cosmetics from the nozzles in response to a control signal from the head control circuit 304.
  • the CPU 305 may permit the discharge of the cosmetic only when there is an execution instruction from the user. For example, the CPU 305 performs the cosmetic discharge process (step S603) when the user operates the application button, and does not perform the cosmetic discharge process when the application button is not operated for a predetermined time. You may return to
  • the CPU 305 may acquire state information such as the movement and posture of the coating head 101 based on detection signals from the distance sensor 105 and the motion sensor 106.
  • the CPU 305 can control the ejection timing based on the state information of the coating head 101. For example, the CPU 305 warns the user using the display 301 and the speaker 309 when the shake amount of the application head 101 or the inclination with respect to the skin exceeds a predetermined range, and the application head 101 takes an appropriate posture with respect to the skin. The discharge timing is delayed until
  • the second image acquired from the imaging unit 200 connected to the application head 101 is compared with the first image obtained by imaging the entire skin including the application target, thereby applying the entire skin.
  • the position of the head 101 can be accurately recognized. Thereby, the positional relationship between the application head 101 on the skin and the application target is clarified, and the user can guide the application head 101 to the application target without hesitation.
  • the first image and the second image are images obtained by imaging the skin of the same part with different sizes. However, not only the size but also the timing of imaging, skin swelling, skin tone, and specular reflection. Projection is different. For this reason, it may be difficult to detect the position of the second image in the first image by simple image matching, but according to the present embodiment, the first image, the second image, By using the correlation, it is possible to accurately detect the position of the second image in the first image.
  • a coating apparatus 700 according to a second embodiment of the present invention will be described. Since the coating apparatus 700 according to the present embodiment is configured in the same manner as the coating apparatus 100 according to the first embodiment, the description will focus on differences from the first embodiment.
  • FIG. 7A is a schematic view showing the appearance of the coating apparatus 700
  • FIG. 7B is a cross-sectional view taken along the line A-A 'of FIG. 7A.
  • the coating apparatus 700 includes a guide member (holding unit) 710 on an end surface (hereinafter referred to as a head surface) on which the coating head 101 and the imaging unit 200 are provided.
  • the guide member 710 has a hollow prismatic shape inside, and is formed of a transparent or translucent synthetic resin or the like.
  • the guide member 710 is disposed along the edge of the head surface and is fixed to the casing 711 of the coating apparatus 700.
  • the distal end portion of the guide member 710 is bent inward so that the skin can be easily pressed.
  • the user grasps the coating apparatus 700 and lightly presses the tip portion of the guide member 710 against the skin.
  • the application head 101 is held by the guide member 710 so as to maintain a constant distance D in the z-axis direction with respect to the skin.
  • the guide member 710 is provided on the head surface of the coating apparatus 700, it is not necessary to adjust the gap by the moving mechanism 103. Further, by pressing the guide member 710, swelling of the skin can be suppressed and the flatness of the skin can be increased. Thereby, it becomes possible to improve the coating accuracy by the coating head 101.
  • FIG. 9 is a schematic diagram showing a configuration of the coating system 80 according to the present embodiment.
  • the coating system 80 includes a coating device 800, an imaging unit 200, and a coating control device 900.
  • the coating apparatus 800 includes a coating head 801 and a robot arm 810, and the imaging unit 200 is connected to the coating head 801.
  • the coating head 801 is attached to the tip of the robot arm 810.
  • the robot arm 810 is an articulated arm type robot, and the position and orientation of the coating head 801 can be freely changed by changing the posture of the arm.
  • the robot arm 810 can move the application head 801 in an arbitrary direction along the skin based on a drive command from the application control device 900.
  • An application control device 900 is connected to the robot arm 810, and the application control device 900 can control the operation of the robot arm 810 using a drive command.
  • the application control apparatus 900 includes a display 301, and various information such as a skin image and the state of the application head 801 are displayed on the display 301.
  • FIG. 9 is a block diagram of the coating apparatus 800 and the coating control apparatus 900 according to the present embodiment.
  • the coating apparatus 800 includes a coating head 801, a robot arm 810, a cosmetic tank 102, an operation unit 104, and a distance sensor 105.
  • the application control apparatus 900 includes a robot controller 910, a display 301, an image processing circuit 302, a head control circuit 304, a CPU 305, a RAM 306, a ROM 307, a storage device 308, and a speaker 309.
  • the coating head 801 is configured in the same manner as the coating head 101 according to the first embodiment.
  • a plurality of nozzles are arranged in one dimension (for example, in a line shape).
  • the robot arm 810 can apply the cosmetic by sweeping the application head 801 in a direction perpendicular to the direction in which the plurality of nozzles are arranged.
  • the coating apparatus 800 may include a plurality of cosmetic tanks 102 that store cosmetics of different colors, and a plurality of nozzle rows corresponding to the respective colors may be provided in the coating head 801.
  • the robot controller 910 outputs a drive command generated based on an instruction from the CPU 305 to the robot arm 810.
  • Cosmetic tank 102, operation unit 104, distance sensor 105, display 301, image processing circuit 302, head control circuit 304, CPU 305, RAM 306, ROM 307, storage device 308, and speaker 309 are the same as those in the first embodiment. Description is omitted.
  • the operation unit 104 is preferably provided on a base that supports the robot arm 810, the display 301, or the like.
  • the skin shape associated with the first image may be stored in advance in the storage device 308 in a format such as three-dimensional coordinates.
  • the robot controller 910 can control the robot arm 810 so as to hold the application head 801 at a certain distance from the skin based on the shape of the skin.
  • the application control apparatus 900 performs the same processing as the flowchart of FIG. 4 except that the robot arm 810 moves the application head 801 in step S402 in this embodiment. That is, the CPU 305 determines the direction and distance to which the coating head 101 should be moved based on the position of the second image in the first image recognized in step S405, and moves the robot arm 810 through the robot controller 910. Drive.
  • the CPU 305 can recognize the position of the application head 801 on the skin and can move the application head 801 to the application target position using the robot arm 810. Even if the user moves during the movement of the coating head 801, the CPU 305 can recognize the position of the coating head 801 in real time, so that the moving direction and amount of the coating head 801 are immediately corrected. It becomes possible to do.
  • the present invention is not limited to the above-described embodiment, and can be modified without departing from the spirit of the present invention.
  • feature points such as spots, moles, and pores are extracted from each image, and the correlation is calculated only for the feature points.
  • the calculation amount of the evaluation function F ( ⁇ , ⁇ ) can be greatly reduced.
  • control processing of the above-described embodiment can also be applied to a beauty device that acts on a specific place on the skin, such as injection of a medicine using a needle, laser irradiation of a skin mole, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Coating Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Ink Jet (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Cosmetics (AREA)
  • Signal Processing (AREA)

Abstract

本発明の一実施形態に係る塗布制御装置は、肌の所定の範囲の第１の画像を記憶する記憶部と、肌に化粧品を塗布可能な塗布ヘッドに連結された撮像部から、第１の画像の範囲よりも小さい範囲の肌の第２の画像を取得する取得部と、第１の画像における第２の画像の位置を認識する認識部と、を備える。

Description

塗布制御装置、塗布装置、塗布制御方法および記録媒体
　本発明は、塗布制御装置、塗布装置、塗布制御方法および記録媒体に関する。
　肌に化粧品を塗布する際に、指、スポンジ等を用いて手技で行うのではなく、インクジェット等の印刷デバイスを用いて自動的に塗布を行う技術が知られている。特許文献１には、化粧インクを吐出するヘッドと、ヘッドを移動可能な移動装置とを備えた化粧装置が開示されている。特許文献１の化粧装置は、被化粧面（肌）の凹凸、明るさ分布等のデータを測定し、当該データに基づいて被化粧面におけるシミ、しわ等の位置を判断する。
特開２００６－２７１６５４号公報
　しかしながら、特許文献１には、塗布対象となるシミ、しわ等に対しヘッドを位置決めする方法が具体的に開示されていない。特許文献１の移動装置は、肌に沿ってヘッドを移動させることができるが、位置決めを行うためには肌のどこにヘッドが位置しているかを知る必要がある。
　本発明はこのような問題に鑑みてなされたもので、肌における塗布ヘッドの位置を認識することが可能な塗布制御装置、塗布装置、塗布制御方法および記録媒体を提供することを目的とする。
　本発明の一実施形態に係る塗布制御装置は、肌の所定の範囲の第１の画像を記憶する記憶部と、肌に化粧品を塗布可能な塗布ヘッドに連結された撮像部から、前記第１の画像の範囲よりも小さい範囲の肌の第２の画像を取得する取得部と、前記第１の画像における前記第２の画像の位置を認識する認識部と、を備える。
　本発明の一実施形態に係る塗布制御方法は、肌の所定の範囲の第１の画像を記憶するステップと、肌に化粧品を塗布可能な塗布ヘッドに連結された撮像部から、前記第１の画像の範囲よりも小さい範囲の肌の第２の画像を取得するステップと、前記第１の画像における前記第２の画像の位置を認識するステップと、を備える。
　本発明の一実施形態に係る記録媒体は、肌の所定の範囲の第１の画像を記憶するステップと、肌に化粧品を塗布可能な塗布ヘッドに連結された撮像部から、前記第１の画像の範囲よりも小さい範囲の肌の第２の画像を取得するステップと、前記第１の画像における前記第２の画像の位置を認識するステップと、をコンピュータに実行させるプログラムを記録する。
　本発明によれば、肌における塗布ヘッドの位置を認識することが可能な塗布制御装置、塗布装置、塗布制御方法および記録媒体が提供される。
第１実施形態に係る塗布システムの構成を示す模式図である。 第１実施形態に係る塗布装置および塗布制御装置のブロック図である。 第１実施形態に係る塗布制御装置の機能ブロック図である。 第１実施形態に係る塗布制御方法を示すフローチャートである。 第１実施形態に係る相関処理を説明するための図である。 第１実施形態に係る塗布処理の詳細を示すフローチャートである。 第２実施形態に係る塗布装置の模式図および断面図である。 第３実施形態に係る塗布システムの構成を示す模式図である。 第３実施形態に係る塗布装置および塗布制御装置のブロック図である。
［第１実施形態］
　図１は、本実施形態に係る塗布システム１０の構成を示す模式図である。塗布システム１０は、塗布装置１００、撮像部２００、塗布制御装置３００を備えている。塗布装置１００は、肌に化粧品（化粧料）を塗布するための装置であり、ユーザに把持される。塗布装置１００は角柱状の筐体を有し、筐体の一端面に塗布ヘッド１０１が設けられている。塗布装置１００の形状はユーザが把持し易い形状であれば限定されず、円柱状、半球状をなしていても良い。また、塗布装置１００はハンドル等の把持部材を備えていても良い。
　塗布ヘッド１０１は、例えばインクジェットヘッドから構成され、化粧料を吐出する複数のノズルを備えている。複数のノズルは２次元に配列されており、肌の所定の領域に対して化粧料を塗布可能である。塗布装置１００には化粧料タンク１０２が装着され、化粧料タンク１０２から化粧料が塗布ヘッド１０１に供給される。化粧料タンク１０２は、塗布装置１００内に設けられていても良い。化粧料としては、肌のシミ、ソバカス、毛穴等を隠蔽するための液状コンシーラーを用いることができる。
　塗布装置１００の筐体側面（上面）には、塗布ヘッド１０１と同一の向きに撮像部２００が設けられている。撮像部２００は、レンズ、撮像素子等を備え、塗布ヘッド１０１により塗布が行われる狭い範囲の肌の画像（第２の画像）を撮像することができる。撮像部２００は塗布ヘッド１０１に連結されており、塗布ヘッド１０１に対する撮像部２００の相対的な位置は固定されている。撮像部２００は塗布ヘッド１０１と一体的に形成されていても良い。
　塗布装置１００および撮像部２００は、塗布制御装置３００により制御される。塗布制御装置３００は、ＵＳＢ（Universal Serial Bus）ケーブル等の有線接続またはＢｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ等の無線接続を介して、塗布装置１００および撮像部２００に接続されている。塗布制御装置３００は、塗布装置１００に内蔵されていても良い。塗布制御装置３００は、塗布対象となるシミ、ソバカス、毛穴等を含む肌の広い範囲の画像（第１の画像）を予め記憶している。塗布制御装置３００は、撮像部２００から取得した第２の画像を第１の画像と比較することにより、肌における塗布ヘッド１０１の位置を把握することができる。塗布制御装置３００はディスプレイ３０１を備え、ディスプレイ３０１には、肌の画像、塗布ヘッド１０１の状態等の各種情報が表示される。
　ユーザは塗布装置１００を把持し、塗布ヘッド１０１を肌に近接させると、塗布制御装置３００は肌における塗布ヘッド１０１の位置を認識し、塗布ヘッド１０１の現在位置をディスプレイ３０１に表示する。ユーザはディスプレイ３０１を確認しながら塗布ヘッド１０１を肌に沿って移動させ、塗布ヘッド１０１は塗布対象がある位置に到着すると、自動的に化粧料の塗布を行う。
　図２は、本実施形態に係る塗布装置１００および塗布制御装置３００のブロック図である。塗布装置１００は、塗布ヘッド１０１、化粧料タンク１０２、移動機構１０３、操作部１０４、距離センサ１０５、モーションセンサ１０６を備えている。塗布制御装置３００は、ディスプレイ３０１、画像処理回路３０２、ギャップ制御回路３０３、ヘッド制御回路３０４、ＣＰＵ３０５、ＲＡＭ３０６、ＲＯＭ３０７、記憶装置３０８、スピーカ３０９を備えている。
　塗布ヘッド１０１は、例えばピエゾ方式のインクジェットヘッドであり、ノズル、圧力室、圧電素子、駆動回路等から構成される。圧力室には化粧料が充填され、駆動回路から圧電素子に電圧が印加されると、圧電素子の変形によって圧力室の体積が変化する。これにより、ノズルから化粧料が液滴状に吐出される。なお、塗布ヘッド１０１は、加熱体によって化粧料を加熱し、発生した気泡の圧力により化粧料を吐出するサーマル方式のインクジェットヘッドであっても良い。塗布ヘッド１０１は、ヘッド制御回路３０４からの制御信号に基づいて動作する。
　化粧料タンク１０２は、化粧料を収容し、塗布ヘッド１０１に化粧料を供給する。化粧料タンク１０２は、交換が容易なカートリッジタイプとすることができる。化粧料は、塗布ヘッド１０１から吐出可能な所定の粘性を有する液体であり、コンシーラー、ファンデーション、チーク、おしろい、アイシャドー等を含み得る。化粧料タンク１０２は、種類または色調が異なる複数の化粧料を収容するように複数設けられていても良い。例えば、４色の化粧料を塗布できるように４つの化粧料タンク１０２を設け、各色に対応する４つのノズル群を塗布ヘッド１０１に設けることができる。
　移動機構１０３は、アクチュエータ、ガイド部材等から構成され、塗布装置１００の長手方向、すなわち塗布ヘッド１０１を肌に対向させたときに肌に対して垂直な方向に塗布ヘッド１０１を進退駆動させることができる。移動機構１０３は、ギャップ制御回路３０３からの制御信号に従って、塗布ヘッド１０１の位置制御を行う。
　操作部１０４は、電源スイッチ、メニューボタン、塗布を実行するための塗布ボタン等の操作部材を備え、ユーザが塗布装置１００に対して指示を与えるために用いられる。塗布制御装置３００は、操作部１０４から入力されるユーザの指示に応じて、塗布装置１００の動作を制御する。塗布ボタンは、ユーザが塗布装置１００を把持したままで容易に操作可能な位置に配置されることが好ましく、例えば、ユーザが塗布装置１００を把持したときに、指に触れるような位置に配置される。これにより、ユーザは直接視認できない部位（頬等）に塗布装置１００を移動したときでも、手探りで塗布ボタンを操作することができる。
　距離センサ１０５は、例えば赤外線センサ、超音波センサ等であり、赤外線、超音波等の検出波を物体に向けて照射し、その反射波を受信する。距離センサ１０５は検出波を照射してから、反射波を受信するまでの時間に基づき、物体までの距離を検出することができる。また、距離センサ１０５は塗布ヘッド１０１の周囲に複数設けられており、肌に対する塗布ヘッド１０１の傾きを検出することも可能である。塗布制御装置３００は、距離センサ１０５からの検出信号に基づいて、肌と塗布ヘッド１０１間の距離を一定に保つとともに、例えば肌に対して塗布ヘッド１０１が傾いている場合には化粧料を吐出させないように塗布ヘッド１０１を制御することができる。
　モーションセンサ１０６は、加速度センサ、ジャイロセンサ、地磁気センサを含み、塗布ヘッド１０１の移動、回転等の動きを検出する。加速度センサは、例えば静電容量検出素子から構成され、塗布ヘッド１０１に引加された加速度を検出することができる。ジャイロセンサは、例えば圧電振動素子から構成され、塗布ヘッド１０１の向きを検出する機能を備える。地磁気センサは地磁気を検出することにより、塗布ヘッド１０１の方位を把握することができる。塗布制御装置３００は、モーションセンサ１０６からの検出信号に基づいて、例えば塗布ヘッド１０１の動きが速い場合には化粧料を吐出させないように塗布ヘッド１０１を制御することができる。
　撮像部２００は、光学系、撮像素子、Ａ／Ｄ（Analog/Digital）変換器を備える。光学系は、光学フィルタ、固定レンズ、フォーカスレンズを含み、被写体（肌）からの光を撮像素子の撮像面に結像させ、被写体像を形成する。光学系には偏光フィルタを取り付けることが可能であり、鏡面反射を低減することができる。撮像素子は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、ＣＣＤ（Charge Coupled Device）イメージセンサであり、２次元配列された複数の画素、色フィルタ、マイクロレンズを備える。複数の画素は撮像用の画素、焦点検出用の画素を含み得る。また、撮像素子は、電荷蓄積時間を制御する電子シャッタ機能を有している。複数の画素のそれぞれは、光学系からの入射光に基づく画素信号を出力する。Ａ／Ｄ変換器は、比較回路、ラッチ回路等から構成され、撮像素子からのアナログの画素信号をデジタルのＲＡＷデータに変換する。撮像部２００は、静止画像の他、所定のフレームレートの動画像を出力することが可能である。
　ディスプレイ３０１は、例えば液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイから構成される。ディスプレイ３０１は、ＣＰＵ３０５からのデータに基づき、撮像部２００からの画像、記憶装置３０８に記憶した画像、塗布ヘッド１０１の状態情報、メニュー画面等の各種表示を行う。ディスプレイ３０１は、タッチパネルであっても良く、操作部１０４としても機能し得る。
　画像処理回路３０２は、数値演算回路を含み、撮像部２００からのＲＡＷデータに対してデモザイク処理を行い、画素ごとにＲ（赤）、Ｇ（緑）、Ｂ（青）の各色値を有する画像データ（ＲＧＢ画像）を生成する。画像処理回路３０２は、画像データに対して、ホワイトバランス調整、ガンマ補正、輪郭強調、階調変換、ノイズリダクション、圧縮などのデジタル画像処理を行う機能も有している。
　ギャップ制御回路３０３は、移動機構１０３に制御信号を出力することにより、肌と塗布ヘッド１０１の間隔（ギャップ）を制御する。ギャップ制御回路３０３は、距離センサ１０５からの検出信号に基づき、肌に対して一定の距離を保つように塗布ヘッド１０１の位置を制御することができる。ヘッド制御回路３０４は、ＣＰＵ３０５からの指示に基づき、化粧料を吐出させるノズルの情報、塗布量等を示す制御信号を塗布ヘッド１０１に出力する。
　ＣＰＵ（Central Processing Unit）３０５は、ＣＰＵコア、キャッシュメモリなどを備え、塗布制御装置３００の各部を統括的に制御する。ＲＡＭ（Random Access Memory）３０６は、例えばＤＲＡＭ（Dynamic RAM）であり、ＣＰＵ３０５のワーク領域、プログラムのロード領域などに使用される。ＲＡＭ３０６は、ＣＰＵ３０５の処理に必要なデータ、画像処理回路３０２で生成された画像データ、記憶装置３０８から読み出した画像データ等を一時的に記憶する。ＲＯＭ（Read Only Memory）３０７は、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）であり、各種設定ファイル、ＯＳ（Operating System）等の基本プログラム、塗布装置１００の動作を制御するための制御プログラムを格納する。
　記憶装置（記憶部）３０８は、例えばフラッシュメモリ、ハードディスクであり、撮像部２００からのＬＡＷデータ、画像処理回路３０２で生成した画像データ等を格納する。記憶装置３０８は、外部の撮像装置により取得した画像データを格納することも可能である。記憶装置３０８は、可搬型の記憶媒体であっても良く、メモリカードスロット、ＵＳＢコネクタ等を介して、塗布制御装置３００と着脱可能に構成され得る。
　スピーカ３０９は、圧電式の振動ユニット、駆動回路等を備え、ＣＰＵ３０５からのデータに基づく音波信号を出力する。スピーカ３０９は、音声メッセージ、効果音等を再生可能であり、例えば塗布装置１００の動作状態をユーザに報知するために使用される。
　図３は、本実施形態に係る塗布制御装置３００の機能ブロック図である。塗布制御装置３００は、記憶部３０８、取得部３１０、認識部３１１、算出部３１２の機能を有している。塗布制御装置３００の機能は、ＣＰＵ３０５がＲＯＭ３０７に格納された所定の制御プログラムをＲＡＭ３０６に読み出し、実行することにより実現される。
　記憶部３０８には、肌の所定の範囲の第１の画像が記憶される。第１の画像は、塗布対象となるシミ、ソバカス、毛穴等を含む肌の広い範囲を撮像した画像である。第１の画像は、専用の撮像機器或いは一般的なデジタルカメラを用いて撮像することができ、記憶部３０８に事前に格納される。第１の画像は撮像部２００を用いて撮像することも可能である。
　取得部３１０は、撮像部２００から第２の画像を取得する。第２の画像は、第１の画像の範囲よりも小さい範囲の肌の画像である。取得部３１０は、所定時間毎に第２の画像を取得し、第２の画像を認識部３１１に受け渡す。撮像部２００は塗布ヘッド１０１に連結されており、塗布ヘッド１０１の位置は、撮像部２００の位置から求めることが可能である。
　認識部３１１は、取得部３１０からの第２の画像を記憶部３０８に記憶された第１の画像と比較し、第１の画像における第２の画像の位置を認識する。認識部３１１は、画像データの相関演算を行うことが可能であり、第２の画像との相関が最も高い領域を第１の画像から抽出することができる。
　算出部３１２は、第１の画像または第２の画像を複数のセグメントに分割し、セグメントごとに必要な化粧料の塗布量を算出する。塗布量の算出方法は任意であり、例えば塗布後の肌の輝度分布が均一になるように塗布量を算出することができる。塗布ヘッド１０１は、算出部３１２からの塗布量に従って肌に化粧品を塗布することが可能である。
　図４は、本実施形態に係る塗布制御方法のフローチャートである。ここでは頬のシミに化粧品を塗布する例を説明する。まず、ＣＰＵ３０５は、複数のシミを含む画像（第１の画像）を記憶装置３０８から読み出し、ＲＡＭ３０６に記憶する（ステップＳ４０１）。第１の画像は、頬の広い範囲（例えば縦３ｃｍ×横４ｃｍ）を撮像した画像である。第１の画像は偏光フィルタを用いて撮像しても良い。さらに、ＣＰＵ３０５は、第１の画像をディスプレイ３０１に表示する。ＣＰＵ３０５は、第１の画像から複数のシミの位置を特定し、シミの位置をユーザに示すアイコン等をディスプレイ３０１に表示しても良い。シミの位置は、例えば画像の特徴量（輝度分布等）に基づいて特定することができる。
　次に、ユーザは塗布装置１００を把持し、塗布ヘッド１０１を肌に近接させる。ユーザは、既に塗布ヘッド１０１を肌に近接させている場合、塗布ヘッド１０１を肌に沿って移動させる（ステップＳ４０２）。ユーザはディスプレイ３０１を見ながら、シミがある方向に塗布ヘッド１０１を動かすことができる。撮像部２００は、所定のフレームレートで肌の動画像を撮像する。
　ＣＰＵ３０５は、撮像部２００から第２の画像を取得する（ステップＳ４０３）。第２の画像は、動画像の１フレームであって、頬の狭い範囲（例えば縦１ｃｍ×横１ｃｍ）を撮像した画像である。第１の画像と同様に、第２の画像も偏光フィルタを用いて撮像しても良い。ＣＰＵ３０５は、画像処理回路３０２において第２の画像についての画像データを生成し、該画像データをＲＡＭ３０６に記憶する。なお、第２の画像は、１枚の静止画像であっても良く、第２の画像のデータ形式は特に限定されない。
　次に、ＣＰＵ３０５は、第１の画像と第２の画像との相関を算出する（ステップＳ４０４）。具体的には、ＣＰＵ３０５は、以下の式（１）で表される評価関数Ｆ（τ、υ）の値を算出する。
Figure JPOXMLDOC01-appb-M000001
　なお、相関を算出する方法としては、以下に述べる画素毎に相関を調べる方法ほか、特徴点を抽出して特徴量の相関を調べるものであってもよい。
　図５に示すように、ｆ（ｘ、ｙ）は第２の画像５０２の座標（ｘ、ｙ）における画素値、ｇ（ｘ、ｙ）は第１の画像５０１の座標（ｘ、ｙ）における画素値を表す。第１の画像５０１、第２の画像５０２において、ハッチングされた部分はシミを表している。
　第１の画像５０１および第２の画像５０２の原点Ｏは、それぞれ左下隅の画素に設定される。第２の画像５０２のサイズは、縦Ｍ画素×横Ｎ画素であり、第１の画像５０１のサイズは、第２の画像５０２のサイズよりも大きく、縦Ｍ１画素×横Ｎ１画素である（Ｍ＜Ｍ１およびＮ＜Ｎ１）。パラメータτ、υは、第１の画像におけるウィンドウ領域５０１ａのシフト量を表す。ウィンドウ領域５０１ａは、第２の画像５０２と同一のサイズである。パラメータτ、υの値を変化させることにより、ウィンドウ領域５０１ａを第１の画像５０１内で走査させることができる。評価関数Ｆ（τ、υ）は、第２の画像５０２とウィンドウ領域５０１ａとの間で対応する画素値の積和演算に相当する。評価関数Ｆ（τ、υ）は式（１）に限定されず、対応する画素値について差分の絶対値の和、画素値の差分の２乗和、相関係数等であっても良い。
　なお、画素値としては、画像データの輝度値、ＲＧＢ画像の各色値（Ｒ値、Ｇ値、Ｂ値）、各色値を適宜重み付け加算した値、その他ＲＧＢ以外の表色系で表された値等を用いることができる。画像の相関は、特定の波長成分を用いて算出すると良く、例えば５４０ｎｍ以下の波長成分（Ｂ信号）を用いることが好ましい。
　ステップＳ４０４において、ＣＰＵ３０５は、パラメータτおよびυをそれぞれ０≦τ≦Ｎ１－Ｎ、０≦υ≦Ｍ１－Ｍの範囲で変化させながら、評価関数Ｆ（τ、υ）の値を計算する。すなわち、ＣＰＵ３０５は、ウィンドウ領域５０１ａの位置を縦または横方向に１画素ずつずらしながら第１の画像５０１の全領域を走査し、第２の画像５０２とウィンドウ領域５０１ａとの相関を算出する。
　続いて、ＣＰＵ３０５は、第１の画像における第２の画像の位置を認識する（ステップＳ４０５）。ＣＰＵ３０５は、評価関数Ｆ（τ、υ）の値が大きいほど相関が高いと判断し、評価関数Ｆ（τ、υ）が最大値をとったときのウィンドウ領域５０１ａの位置（τ、υ）を第２の画像５０２の位置として認識する。ＣＰＵ３０５は、第２の画像５０２の位置に基づいて塗布ヘッド１０１の位置を算出し、ディスプレイ３０１に塗布ヘッド１０１の位置情報を表示する。例えば、ＣＰＵ３０５は、塗布ヘッド１０１が現在塗布可能な領域を示す枠を第１の画像に重ねて表示する。
　次に、ＣＰＵ３０５は、塗布ヘッド１０１の位置に塗布対象（シミ）があるか否かを判断する（ステップＳ４０６）。例えば、ＣＰＵ３０５は、ステップＳ４０１において特定されたシミの位置を参照し、塗布ヘッド１０１が現在塗布可能な領域にシミが含まれているか否かを判断する。ＣＰＵ３０５は、塗布ヘッド１０１の位置にシミがないと判断した場合（ステップＳ４０６でＮＯ）、ステップＳ４０２に戻り、塗布ヘッド１０１がユーザにより別の位置に移動されるまで待機する。ＣＰＵ３０５は、塗布ヘッド１０１の位置にシミがあると判断した場合（ステップＳ４０６でＹＥＳ）、図６の塗布処理を実行する（ステップＳ４０７）。ＣＰＵ３０５は、ディスプレイ３０１、スピーカ３０９を用いて塗布処理を実行する旨をユーザに知らせても良い。
　塗布処理を実行した後、ＣＰＵ３０５は、すべての塗布対象に対して塗布が完了したか否かを判断する（ステップＳ４０８）。すなわち、ＣＰＵ３０５は、第１の画像に含まれるすべてのシミに対して塗布処理が実行されたか否かを判断する。ＣＰＵ３０５は、塗布が完了していないと判断した場合（ステップＳ４０８でＮＯ）、ステップＳ４０２に戻り、塗布ヘッド１０１がユーザにより別の位置に移動されるまで待機する。ＣＰＵ３０５は、塗布が完了したと判断した場合（ステップＳ４０８でＹＥＳ）、ディスプレイ３０１に塗布が完了した旨の表示を行い、処理を終了する。
　図６は、本実施形態に係る塗布処理（ステップＳ４０７）の詳細を示すフローチャートである。まず、ＣＰＵ３０５は、撮像部２００から取得した第２の画像に基づいて、化粧料の塗布量を算出する（ステップＳ６０１）。例えば、ＣＰＵ３０５は、第２の画像を分割して得られた複数のセグメントのそれぞれに対して必要な塗布量を算出する。セグメントは複数画素からなる正方形の画素ブロックとすることができ、ＣＰＵ３０５は、セグメントごとに独立して塗布量を算出する。ＣＰＵ３０５は、対象セグメントとその周囲のセグメントを含む複数のセグメントに基づいて、対象セグメントに対する塗布量を算出しても良い。なお、化粧料の塗布量は、図４のステップＳ４０１において第１の画像に基づいて算出されても良い。ＣＰＵ３０５は、第２の画像と同様に、第１の画像を分割して得られた複数のセグメントのそれぞれに対して必要な塗布量を算出することができる。
　続いて、ＣＰＵ３０５は、塗布ヘッド１０１と肌との距離を調節する（ステップＳ６０２）。すなわち、ＣＰＵ３０５は、ギャップ制御回路３０３を介して、距離センサ１０５による検出値に基づく制御信号を移動機構１０３に出力する。移動機構１０３は塗布ヘッド１０１を進退させることにより、肌とのギャップは一定に保たれる。ギャップの大きさが移動機構１０３による調節可能な範囲を超えている場合には、ＣＰＵ３０５はディスプレイ３０１、スピーカ３０９等を用いて、肌に対して塗布ヘッド１０１をより近接または少し遠ざけるようにユーザに促すことができる。なお、ギャップ調節処理（ステップＳ６０２）は、上述の塗布量算出処理（ステップＳ６０１）と並行して実行されても良い。
　次に、ＣＰＵ３０５は、塗布ヘッド１０１に化粧料を吐出させる（ステップＳ６０３）。すなわち、ＣＰＵ３０５は、ヘッド制御回路３０４を介して、吐出を行うノズルの識別情報、塗布量等の制御信号を塗布ヘッド１０１に出力する。塗布ヘッド１０１は、ヘッド制御回路３０４からの制御信号に応じてノズルから化粧料を吐出する。なお、ＣＰＵ３０５は、ユーザから実行指示があったときに限り、化粧料の吐出を許可するようにしても良い。例えば、ＣＰＵ３０５は、ユーザにより塗布ボタンが操作されたときに化粧料の吐出処理（ステップＳ６０３）を行い、塗布ボタンが所定時間操作されない場合には化粧料の吐出処理を行わずに図４のフローチャートに戻っても良い。
　また、ＣＰＵ３０５は、距離センサ１０５、モーションセンサ１０６からの検出信号に基づいて、塗布ヘッド１０１の動き、姿勢等の状態情報を取得しても良い。ＣＰＵ３０５は、塗布ヘッド１０１の状態情報に基づいて吐出のタイミングを制御することができる。例えば、ＣＰＵ３０５は、塗布ヘッド１０１の手振れ量または肌に対する傾きが所定の範囲を超えている場合、ディスプレイ３０１、スピーカ３０９を用いてユーザに警告し、塗布ヘッド１０１が肌に対して適切な姿勢になるまで吐出のタイミングを遅らせる。
　本実施形態によれば、塗布ヘッド１０１に連結された撮像部２００から取得した第２の画像を、塗布対象が含まれる肌全体を撮像した第１の画像と比較することにより、肌全体における塗布ヘッド１０１の位置を正確に認識することができる。これにより、肌における塗布ヘッド１０１と塗布対象の位置関係が明確になり、ユーザは迷うことなく塗布対象にまで塗布ヘッド１０１を導くことが可能となる。
　また、第１の画像と第２の画像は、サイズを異ならせて同じ部位の肌を撮像した画像であるが、サイズのみならず、撮像のタイミング、肌のふくらみ、肌の色合い、鏡面反射の映り具合等が異なっている。このために、単なる画像の照合では、第１の画像における第２の画像の位置を検出することが困難な場合があるが、本実施形態によれば、第１の画像と第２の画像との相関を用いることにより、第１の画像における第２の画像の位置を正確に検出することができる。
［第２実施形態］
　続いて、本発明の第２実施形態に係る塗布装置７００を説明する。本実施形態に係る塗布装置７００は、第１実施形態に係る塗布装置１００と同様に構成されているため、第１実施形態と異なる点を中心に説明する。
　図７（ａ）は、塗布装置７００の外観を示す模式図であり、図７（ｂ）は、図７（ａ）のＡ－Ａ’線における断面図である。塗布装置７００は、塗布ヘッド１０１および撮像部２００が設けられた端面（以下ヘッド面）にガイド部材（保持部）７１０を備えている。ガイド部材７１０は内部が空洞の角柱状をなし、透明または半透明な合成樹脂等で形成されている。ガイド部材７１０は、ヘッド面の縁に沿って配置され、塗布装置７００の筐体７１１に固定されている。ガイド部材７１０の先端部分は、肌を押さえやすいように内側に曲げられている。ユーザは、塗布装置７００を把持し、ガイド部材７１０の先端部分を肌に軽く押し当てる。ガイド部材７１０により、塗布ヘッド１０１は肌に対してｚ軸方向に一定の距離Ｄを保つように保持される。
　本実施形態によれば、塗布装置７００のヘッド面にはガイド部材７１０が設けられているため、移動機構１０３によりギャップの調節を行う必要がない。また、ガイド部材７１０を押し当てることにより肌のふくらみを抑え、肌の平面度を高めることができる。これにより、塗布ヘッド１０１による塗布精度を向上させることが可能となる。
［第３実施形態］
　続いて、本発明の第３実施形態に係る塗布システム８０を説明する。図９は、本実施形態に係る塗布システム８０の構成を示す模式図である。塗布システム８０は、塗布装置８００、撮像部２００、塗布制御装置９００を備えている。塗布装置８００は、塗布ヘッド８０１、ロボットアーム８１０を備え、塗布ヘッド８０１に撮像部２００が連結されている。塗布ヘッド８０１は、ロボットアーム８１０の先端に取り付けられている。
　ロボットアーム８１０は多関節のアーム型ロボットであり、アームの姿勢を変えることにより、塗布ヘッド８０１の位置および向きを自在に変更することが可能である。例えば、ロボットアーム８１０は、塗布制御装置９００からの駆動コマンドに基づき、塗布ヘッド８０１を肌に沿った任意の方向に移動させることができる。ロボットアーム８１０には塗布制御装置９００が接続されており、塗布制御装置９００は、駆動コマンドを用いてロボットアーム８１０の動作を制御することが可能である。塗布制御装置９００はディスプレイ３０１を備え、ディスプレイ３０１には、肌の画像、塗布ヘッド８０１の状態等の各種情報が表示される。
　図９は、本実施形態に係る塗布装置８００および塗布制御装置９００のブロック図である。塗布装置８００は、塗布ヘッド８０１、ロボットアーム８１０、化粧料タンク１０２、操作部１０４、距離センサ１０５を備えている。塗布制御装置９００は、ロボットコントローラ９１０、ディスプレイ３０１、画像処理回路３０２、ヘッド制御回路３０４、ＣＰＵ３０５、ＲＡＭ３０６、ＲＯＭ３０７、記憶装置３０８、スピーカ３０９を備えている。
　塗布ヘッド８０１は第１実施形態に係る塗布ヘッド１０１と同様に構成されているが、塗布ヘッド８０１において、複数のノズルは１次元（例えばライン状）に配列されている。ロボットアーム８１０は、複数のノズルが配列された方向に対して垂直な方向に塗布ヘッド８０１を掃引することにより、化粧料の塗布を行うことができる。塗布装置８００は、それぞれが異なる色合いの化粧料を収容する複数の化粧料タンク１０２を備え、各色に対応する複数のノズル列が塗布ヘッド８０１に設けられても良い。ロボットコントローラ９１０は、ＣＰＵ３０５からの指示に基づき生成した駆動コマンドをロボットアーム８１０に出力する。
　化粧料タンク１０２、操作部１０４、距離センサ１０５、ディスプレイ３０１、画像処理回路３０２、ヘッド制御回路３０４、ＣＰＵ３０５、ＲＡＭ３０６、ＲＯＭ３０７、記憶装置３０８、スピーカ３０９は第１実施形態と同様のものであるため説明を省略する。なお、操作部１０４は、ロボットアーム８１０を支持するベース、ディスプレイ３０１等に設けられると良い。また、記憶装置３０８には、第１の画像と関連付けられた肌の形状が３次元座標等の形式で事前に記憶されていても良い。ロボットコントローラ９１０は、肌の形状に基づいて、肌に対して一定の距離に塗布ヘッド８０１を保持するようにロボットアーム８１０を制御することができる。
　塗布制御装置９００は図４のフローチャートと同様の処理を行うが、本実施形態では、ステップＳ４０２において、ロボットアーム８１０が塗布ヘッド８０１を移動する点が異なっている。すなわち、ＣＰＵ３０５は、ステップＳ４０５で認識した第１の画像における第２の画像の位置に基づいて、塗布ヘッド１０１を移動させるべき方向、距離を決定し、ロボットコントローラ９１０を介して、ロボットアーム８１０を駆動させる。
　本実施形態によれば、ＣＰＵ３０５は肌における塗布ヘッド８０１の位置を認識し、ロボットアーム８１０を用いて塗布ヘッド８０１を塗布対象の位置に移動させることができる。塗布ヘッド８０１の移動中にユーザが動いてしまった場合であっても、ＣＰＵ３０５は、塗布ヘッド８０１の位置をリアルタイムに認識することができるため、塗布ヘッド８０１の移動方向および移動量を即座に修正することが可能となる。
［その他の実施形態］
　本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で変更実施可能である。例えば、第１の画像と第２の画像との相関を算出する際には（ステップＳ４０４）、各画像からシミ、ホクロ、毛穴等の特徴点を抽出し、特徴点のみについて相関を算出するようにしても良い。これにより、評価関数Ｆ（τ、υ）の計算量を大幅に削減することが可能となる。
　また、上述の実施形態の制御処理は、ニードルを用いた薬剤の注入、肌のホクロ等へのレーザ照射のような肌の特定の場所に作用する美容デバイスに対しても適用可能である。
１００　塗布装置
１０１　塗布ヘッド
２００　撮像部
３００　塗布制御装置
３０８　記憶装置（記憶部）
３１０　取得部
３１１　認識部
３１２　算出部
５０１　第１の画像
５０２　第２の画像

Claims (11)

  1. 　肌の所定の範囲の第１の画像を記憶する記憶部と、
    　肌に化粧品を塗布可能な塗布ヘッドに連結された撮像部から、前記第１の画像の範囲よりも小さい範囲の肌の第２の画像を取得する取得部と、
    　前記第１の画像における前記第２の画像の位置を認識する認識部と、
    を備える塗布制御装置。
  2. 　前記認識部は、前記第１の画像から前記第２の画像との相関が最も高い領域を抽出することによって、前記位置を認識する請求項１に記載の塗布制御装置。
  3. 　前記認識部は、前記第１の画像および前記第２の画像の特定の波長成分を用いて前記相関を算出する請求項２に記載の塗布制御装置。
  4. 　前記特定の波長成分は、５４０ｎｍ以下の波長を有する請求項３に記載の塗布制御装置。
  5. 　前記第１の画像および前記第２の画像は、偏光フィルタを用いて撮像される請求項１乃至４のいずれか１項に記載の塗布制御装置。
  6. 　前記第１の画像または前記第２の画像を複数のセグメントに分割し、前記セグメントごとに必要な塗布量を算出する算出部をさらに備え、
    　前記塗布ヘッドは、前記塗布量に従って化粧品を塗布する請求項１乃至５のいずれか１項に記載の塗布制御装置。
  7. 　肌に対して一定の距離を保つように前記塗布ヘッドを保持する保持部をさらに備える請求項１乃至６のいずれか１項に記載の塗布制御装置。
  8. 　前記塗布ヘッドは、液滴状の化粧品を吐出するインクジェットヘッドである請求項１乃至７のいずれか１項に記載の塗布制御装置。
  9. 　前記塗布ヘッドと、
    　前記撮像部と、
    　請求項１乃至８のいずれか１項に記載の塗布制御装置とを備える塗布装置。
  10. 　肌の所定の範囲の第１の画像を記憶するステップと、
    　肌に化粧品を塗布可能な塗布ヘッドに連結された撮像部から、前記第１の画像の範囲よりも小さい範囲の肌の第２の画像を取得するステップと、
    　前記第１の画像における前記第２の画像の位置を認識するステップと、
    を備える塗布制御方法。
  11. 　肌の所定の範囲の第１の画像を記憶するステップと、
    　肌に化粧品を塗布可能な塗布ヘッドに連結された撮像部から、前記第１の画像の範囲よりも小さい範囲の肌の第２の画像を取得するステップと、
    　前記第１の画像における前記第２の画像の位置を認識するステップと、
    をコンピュータに実行させるプログラムを記録した記録媒体。
PCT/JP2017/045303 2016-12-20 2017-12-18 塗布制御装置、塗布装置、塗布制御方法および記録媒体 WO2018117022A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US16/470,406 US10799009B2 (en) 2016-12-20 2017-12-18 Application control device, application device, application control method and storage medium
JP2018557762A JPWO2018117022A1 (ja) 2016-12-20 2017-12-18 塗布制御装置、塗布装置、塗布制御方法および記録媒体
KR1020197019418A KR102555594B1 (ko) 2016-12-20 2017-12-18 도포 제어 장치, 도포 장치, 도포 제어 방법 및 기록매체
CN201780083304.0A CN110191661B (zh) 2016-12-20 2017-12-18 涂布控制装置、涂布装置、涂布控制方法以及记录介质
EP17882888.5A EP3560375B1 (en) 2016-12-20 2017-12-18 Application control device, application device, application control method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016246656 2016-12-20
JP2016-246656 2016-12-20

Publications (1)

Publication Number Publication Date
WO2018117022A1 true WO2018117022A1 (ja) 2018-06-28

Family

ID=62626310

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/045303 WO2018117022A1 (ja) 2016-12-20 2017-12-18 塗布制御装置、塗布装置、塗布制御方法および記録媒体

Country Status (7)

Country Link
US (1) US10799009B2 (ja)
EP (1) EP3560375B1 (ja)
JP (1) JPWO2018117022A1 (ja)
KR (1) KR102555594B1 (ja)
CN (1) CN110191661B (ja)
TW (1) TW201826969A (ja)
WO (1) WO2018117022A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111216451A (zh) * 2018-11-27 2020-06-02 卡西欧计算机株式会社 涂布装置、便携终端以及涂布系统
JP2021000761A (ja) * 2019-06-21 2021-01-07 ロレアル 化粧インク塗布装置および化粧インクを塗布する方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3840646A1 (en) * 2018-08-21 2021-06-30 The Procter & Gamble Company Methods for identifying pore color
US11501457B2 (en) 2020-05-08 2022-11-15 The Procter & Gamble Company Methods for identifying dendritic pores

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006271654A (ja) 2005-03-29 2006-10-12 Canon Inc 液体吐出法を用いた化粧システム及び化粧方法
JP2008234362A (ja) * 2007-03-20 2008-10-02 Sharp Corp 画像位置合わせ方法、画像位置合わせ装置、画像処理システム、制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2015159975A (ja) * 2014-02-27 2015-09-07 カシオ計算機株式会社 肌処理装置、肌処理方法及びプログラム
JP2016127333A (ja) * 2014-12-26 2016-07-11 株式会社リコー 撮像素子および撮像装置および撮像情報認識システム
JP2016166853A (ja) * 2015-03-04 2016-09-15 パナソニックＩｐマネジメント株式会社 位置推定装置および位置推定方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2810761B1 (fr) * 2000-06-26 2003-09-05 Oreal Procede et dispositif de traitement cosmetique,notamment de soin, de maquillage ou de coloration
JP4118270B2 (ja) * 2004-11-18 2008-07-16 花王株式会社 被験部位の特定方法
JP4919028B2 (ja) * 2006-03-03 2012-04-18 富士ゼロックス株式会社 画像処理装置および画像処理プログラム
JP5095644B2 (ja) * 2009-01-23 2012-12-12 株式会社キーエンス 画像計測装置及びコンピュータプログラム
JP5521888B2 (ja) * 2010-08-19 2014-06-18 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び電子装置
JP5733032B2 (ja) * 2011-06-06 2015-06-10 ソニー株式会社 画像処理装置および方法、画像処理システム、プログラム、および、記録媒体
WO2014168930A1 (en) * 2013-04-09 2014-10-16 University Of Washington Through Its Center For Commercialization Methods and systems for determining hemodynamic properties of a tissue
JP6295561B2 (ja) * 2013-09-17 2018-03-20 株式会社リコー 画像検査結果判断装置、画像検査システム及び画像検査結果の判断方法
US10098545B2 (en) * 2013-10-23 2018-10-16 Maxell Holdings, Ltd. Lens information management system for surface condition measurement and analysis and information management method for surface condition measurement and analysis
US20160259034A1 (en) * 2015-03-04 2016-09-08 Panasonic Intellectual Property Management Co., Ltd. Position estimation device and position estimation method
US10535131B2 (en) * 2015-11-18 2020-01-14 Kla-Tencor Corporation Systems and methods for region-adaptive defect detection
JP6650819B2 (ja) * 2016-04-15 2020-02-19 株式会社 資生堂 色ムラ部位の評価方法、色ムラ部位評価装置及び色ムラ部位評価プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006271654A (ja) 2005-03-29 2006-10-12 Canon Inc 液体吐出法を用いた化粧システム及び化粧方法
JP2008234362A (ja) * 2007-03-20 2008-10-02 Sharp Corp 画像位置合わせ方法、画像位置合わせ装置、画像処理システム、制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2015159975A (ja) * 2014-02-27 2015-09-07 カシオ計算機株式会社 肌処理装置、肌処理方法及びプログラム
JP2016127333A (ja) * 2014-12-26 2016-07-11 株式会社リコー 撮像素子および撮像装置および撮像情報認識システム
JP2016166853A (ja) * 2015-03-04 2016-09-15 パナソニックＩｐマネジメント株式会社 位置推定装置および位置推定方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111216451A (zh) * 2018-11-27 2020-06-02 卡西欧计算机株式会社 涂布装置、便携终端以及涂布系统
JP2020081983A (ja) * 2018-11-27 2020-06-04 カシオ計算機株式会社 塗布装置及び塗布システム
JP7024695B2 (ja) 2018-11-27 2022-02-24 カシオ計算機株式会社 塗布装置及び塗布システム
CN114347656A (zh) * 2018-11-27 2022-04-15 卡西欧计算机株式会社 涂布装置以及涂布系统
US11416721B2 (en) 2018-11-27 2022-08-16 Casio Computer Co., Ltd. Hand-held printer having a camera for obtaining image data used to notify a user that a position has been reached
JP2021000761A (ja) * 2019-06-21 2021-01-07 ロレアル 化粧インク塗布装置および化粧インクを塗布する方法

Also Published As

Publication number Publication date
TW201826969A (zh) 2018-08-01
EP3560375A1 (en) 2019-10-30
US10799009B2 (en) 2020-10-13
US20190307231A1 (en) 2019-10-10
KR20190099228A (ko) 2019-08-26
EP3560375B1 (en) 2023-08-16
KR102555594B1 (ko) 2023-07-14
CN110191661B (zh) 2022-07-05
EP3560375A4 (en) 2020-07-15
CN110191661A (zh) 2019-08-30
JPWO2018117022A1 (ja) 2019-10-24

Similar Documents

Publication Publication Date Title
WO2018117022A1 (ja) 塗布制御装置、塗布装置、塗布制御方法および記録媒体
US9687059B2 (en) Nail decorating apparatus
US20160088197A1 (en) Nail information detection device, drawing apparatus, and nail information detection method
US20140037135A1 (en) Context-driven adjustment of camera parameters
US20140060560A1 (en) Nail printing apparatus and printing control method
US20160054859A1 (en) User interface apparatus and control method
JP2011095985A (ja) 画像表示装置
JP6627476B2 (ja) 液体吐出装置、液体吐出方法、プログラム
WO2013187282A1 (ja) 撮像画像表示装置、撮像画像表示方法、記録媒体
KR101542671B1 (ko) 공간 터치 방법 및 공간 터치 장치
US20230333677A1 (en) Optical stylus for optical position determination device
US10116809B2 (en) Image processing apparatus, control method, and computer-readable storage medium, which obtains calibration image information with which to correct image data
JP5691736B2 (ja) 読取装置
JP2019111004A (ja) 描画システム、描画装置及び端末装置
JP2015184701A (ja) 画像処理装置、画像処理方法及びプログラム
US11494945B2 (en) Image analysis device, image analysis method, and program
JP2014048565A (ja) 画像表示装置
JP2019016843A (ja) 原稿読取装置、原稿読取装置の制御方法、及びプログラム
JP7135800B2 (ja) 塗布装置、塗布システム、塗布方法及びプログラム
JP2020054966A (ja) 塗布装置、塗布システム、塗布方法及びプログラム
US11816873B2 (en) Image analysis device, image analysis method, and program
JP2019130694A (ja) 塗布装置、塗布方法及びプログラム
JP7173256B2 (ja) 描画システム及び描画制御方法
WO2021065176A1 (ja) 処理装置、電子機器、処理方法、及びプログラム
JP2023038725A (ja) 電子機器、判定方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17882888

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018557762

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20197019418

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2017882888

Country of ref document: EP

Effective date: 20190722