WO2019139291A1 - 피부 상태 측정용 모듈 - Google Patents

피부 상태 측정용 모듈 Download PDF

Info

Publication number
WO2019139291A1
WO2019139291A1 PCT/KR2018/016858 KR2018016858W WO2019139291A1 WO 2019139291 A1 WO2019139291 A1 WO 2019139291A1 KR 2018016858 W KR2018016858 W KR 2018016858W WO 2019139291 A1 WO2019139291 A1 WO 2019139291A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
face
skin condition
face image
photographing
Prior art date
Application number
PCT/KR2018/016858
Other languages
English (en)
French (fr)
Inventor
유상욱
최용준
Original Assignee
주식회사 룰루랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 룰루랩 filed Critical 주식회사 룰루랩
Priority to US16/960,100 priority Critical patent/US11449997B2/en
Publication of WO2019139291A1 publication Critical patent/WO2019139291A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A61B5/0079—Devices for viewing the surface of the body, e.g. camera, magnifying lens using mirrors, i.e. for self-examination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/486—Bio-feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a skin condition measurement module.
  • the present invention relates to a skin condition measurement module that is built in a skin condition measurement device or is designed to be able to diagnose a user's skin condition in connection with a skin condition measurement device.
  • the conventional skin condition measuring apparatus for skin analysis is a device for measuring the skin condition based on predetermined photographing parameters (for example, intensity, direction, aperture value or shutter speed, etc.) The user's face was photographed.
  • photographing parameters for example, intensity, direction, aperture value or shutter speed, etc.
  • the conventional skin condition measuring device has the advantage that the user's photographing position is fixed, but it is inconvenient to carry and hold, and it is difficult to measure the skin condition at a place where the user wants to. It was difficult level.
  • a portable skin condition measuring device capable of carrying and carrying is developed as a skin measuring device, but a technology has been limitedly developed for a device capable of measuring a specific area of the skin, and a technique for analyzing the entire user's face There is still a technical problem to be solved in the technique of acquiring a clear face image for skin condition measurement.
  • Patent Document 1 Korean Published Patent Application No. 2005-0063781
  • the present invention provides a skin condition measurement module designed to effectively acquire a single user face image or an entire user face image.
  • the present invention also provides a skin condition measurement module designed to effectively acquire an entire image of a face by controlling the position of the user's face at the time of the user's face photographing.
  • the present invention further relates to a kiosk; A mirror for skin condition measurement; Skin condition measurement and cosmetics vending machine; Or a module built in or connected to a module built-in skin condition measuring device to diagnose a skin condition of the user and further to recommend a product for improving the skin condition.
  • the present invention has been devised in order to solve the above problems, and is directed to a skin condition measurement module.
  • the skin condition measuring module is built in the skin condition measuring device or is designed to be able to diagnose the skin condition of the user in cooperation with the skin condition measuring device, and includes a camera controller for user's face photographing and a light source controller.
  • the skin condition measuring module may include a memory for storing software for driving the module; And a plurality of user face images that are designed to form a single user face image for skin condition measurement obtained by the user's face photographing camera or that are acquired based on a plurality of photographing parameters set for extracting a specific area of the user face And a processor for extracting a specific region of the user's face and synthesizing a specific region of the extracted user's face to form an entire user's face image for skin condition measurement.
  • the processor may be designed to analyze the brightness of a plurality of user face images obtained based on a plurality of pre-imaging parameters, and to set one or more of the plurality of pre-imaging parameters to a plurality of imaging parameters have.
  • the processor sets a first preliminary imaging parameter to have a predetermined range of brightness values for a first area of a user's face image to a first imaging parameter, And to set the second preliminary photographing parameter to have the brightness value of the set range to the second photographing parameter.
  • the processor extracts a first face region from a first user face image obtained by the first imaging parameter, and extracts a second face region from a second user face image obtained by the second imaging parameter, And to combine the first face region and the second face region to form an entire user's face image for skin condition measurement.
  • the processor is designed to correct and synthesize the first face region and the second face region according to sensed motion information.
  • the photographing parameter may include at least one of an intensity of the light source portion, a direction of the light source portion, a shutter speed, and an aperture value.
  • the skin condition measuring module may further include: a sensor unit having a distance sensor for measuring a distance between the user and the camera; And a method for proposing movement of a face to a user when a part of the user's face is deviated from the user's face image obtained by the user's face photographing camera, When the distance between the cameras is out of a preset value, the user is suggested to move the face position, or when a part of the user's face is deviated from the user's face image acquired by the user's face photographing camera, When the distance between the user and the camera measured by the distance sensor is out of a predetermined value, the control unit may control the output unit to suggest the user to move the face.
  • the processor analyzes the formed single user face image or the entire user's face image to provide skin condition diagnosis results, and recommends a product for improving the user's skin condition based on the skin condition diagnosis result .
  • the skin condition measurement module may further include a communication control unit for controlling communication means for transmitting the single user face image or the entire user face image to an external user terminal.
  • the skin condition measuring module may further include an external terminal for connecting or interlocking with the skin condition measuring device.
  • the skin condition measuring device in which the skin condition measuring module is built-in or connected includes a kiosk; A mirror for skin condition measurement; Skin condition measurement and cosmetics vending machine; Or a module built-in skin condition measuring device.
  • the module for measuring skin condition can acquire a single user face image or an entire user face image effectively by being built in a skin condition measuring device or linked with a skin condition measuring device, It can be analyzed accurately.
  • the face image of the user can be effectively obtained by controlling the face position of the user at the time of photographing the face of the user.
  • the module for skin condition measurement comprises a kiosk; A mirror for skin condition measurement; Skin condition measurement and cosmetics vending machine; Or a module built-in type skin condition measuring device, or the like, so that it is possible to effectively diagnose a user's skin condition and perform a product recommendation function.
  • Figs. 1 to 3 are block diagrams of the configuration of a skin condition measuring module according to the present invention.
  • the term &quot As used herein, the term " general term " is used to refer to functions of the present invention. However, the present invention is not limited to the intention or the precedent of the present invention. Also, in certain cases, there may be a term selected arbitrarily by the applicant, in which case the meaning thereof will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term, not on the name of a simple term, but on the entire contents of the present invention.
  • Embodiments of the present invention are capable of various transformations and may have various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the description. It should be understood, however, that it is not intended to limit the scope to any particular embodiment, but is intended to cover all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS In the following description of the embodiments of the present invention,
  • the present invention relates to a skin condition measurement module.
  • the skin condition measuring module according to the present invention is designed to be built in the skin condition measuring device or in conjunction with the skin condition measuring device to diagnose the skin condition of the user.
  • the skin condition measuring device may be understood to include a portable or non-portable type skin condition measuring device.
  • the skin condition measurement device includes a kiosk; A mirror for skin condition measurement; Skin condition measurement and cosmetics vending machine; Or a module built-in skin condition measuring device.
  • the skin condition measuring module according to the present invention can be used to diagnose a user's skin condition by being built in or connected to a portable or non-portable type skin condition measuring device without limitation.
  • the present inventors have completed the present invention by developing a module including a processor capable of effectively obtaining a face image of a user regardless of the size of the skin condition measuring instrument.
  • the inventor of the present invention developed a module for skin condition measurement, which can diagnose the skin condition and unify the recommendation process of the related product by allowing the module itself to accurately diagnose the skin condition and recommend the related product.
  • FIG. 1 is a block diagram showing the configuration of a skin condition measuring module according to the present invention.
  • the skin condition measuring module 1 includes a camera control unit 100 for user's face photographing and a light source control unit 200.
  • the skin condition measuring module (1) includes a memory (300) storing software for driving the module; And a plurality of user face images that are designed to form a single user face image for skin condition measurement obtained by the user's face photographing camera or that are obtained based on a plurality of photographing parameters set for extracting a specific area of the user face And a processor 400 designed to extract a specific area of the user's face and synthesize a specific area of the extracted user's face to form an entire user's face image for skin condition measurement.
  • &quot single-user face image " refers to a single image acquired by a camera for skin condition analysis and formed by a processor, whereby a plurality of user face images For the sake of differentiating the user's entire face image formed through specific region extraction and compositing techniques, the term is used herein.
  • &quot entire user face image " refers to a user who is formed through a technique of extracting a specific face area from each of a plurality of user face images obtained based on a plurality of photographing parameters and synthesizing them, Means a face image.
  • the user's face photographing camera control unit controls a face photographing camera for photographing a user's face.
  • the camera control unit can control a camera that captures a user's face based on an arbitrary photographing parameter to acquire a user's face image.
  • the user face image may be formed by the processor as a single user face image.
  • the camera control unit can control a camera that captures a plurality of images by photographing a user's face based on a plurality of photographing parameters.
  • the camera control unit can control various shooting conditions of a user's face photographing camera that can capture a user's face image by photographing the user's face multiple times based on an arbitrary photographing parameter.
  • the camera may acquire a plurality of images by photographing a user's face based on a plurality of photographing parameters.
  • the user's face photographing camera control unit may use different photographing parameters (intensity of the light source unit, shutter speed value, The user can control the camera capable of acquiring a plurality of images by photographing the user's face multiple times.
  • the skin condition measuring module includes a light source control unit.
  • the light source control unit controls the light source unit including at least one light source.
  • the light source may provide light toward the user's face.
  • the light source may be designed to emit at least one of red light, green light, and blue light so that white light is emitted from the light source unit.
  • the intensity and wavelength of the light source can be controlled.
  • the skin condition measurement module also includes a memory 300.
  • the memory 300 may include various software for driving the module in the skin condition measurement device.
  • the memory 170 may store software configured to implement sensing, communication, presentation, web browser and service functions.
  • the memory 170 may include various programs, but it goes without saying that various programs may be omitted, modified or added depending on the type and characteristics of the built-in or connected skin condition measuring apparatus.
  • the skin condition measurement module includes a processor.
  • the processor may be associated with various controls in the module to set conditions for the module as a whole.
  • each individual configuration of the skin condition measurement module according to the present invention can be controlled and operated by the processor 400, as shown in FIGS. 1-3.
  • the processor may be designed to form a single user face image for skin condition measurement obtained by the user's face photographing camera, among various control operations, or to acquire a plurality of photographing parameters based on a plurality of photographing parameters set for extracting a specific area of the user's face Extracting a specific area of the user's face from each of the plurality of user face images and synthesizing a specific area of the extracted user face to form an entire user's face image for skin condition measurement.
  • the processor may analyze the brightness of the user face image obtained based on the preliminary imaging parameters, and set the preliminary imaging parameters to imaging parameters.
  • the preliminary photographing parameter may be determined according to the external illumination environment.
  • the processor may acquire a user face image based on the shooting parameters set on the basis of the preliminary shooting parameter, and set the user face image as a single user face image for skin condition measurement.
  • the processor extracts a specific area of a user's face from each of a plurality of user's face images obtained based on a plurality of photographing parameters set for extracting a specific area of the user's face, To form an entire user ' s face image for skin condition measurement.
  • a photographing parameter for analyzing the skin of the user's face is set by the processor.
  • the photographing parameter may be, for example, the intensity of the light source unit set by the light source control unit and / or the direction of the light source unit, or may be a shutter speed and / or an aperture value set by the camera control unit.
  • the photographing parameter may include at least one of an intensity of the light source portion, a direction of the light source portion, a shutter speed, and an aperture value.
  • the processor is designed to analyze the brightness of a plurality of user face images obtained based on the plurality of preliminary photographing parameters, and set at least one of the plurality of preliminary photographing parameters to a plurality of photographing parameters.
  • the processor may be designed to set a first preliminary imaging parameter to a first imaging parameter corresponding to a first area of a user's face.
  • the image photographed based on the second preliminary photographing parameter among the plurality of preliminary photographing parameters has a predetermined brightness value for a second area (e.g., a face outer area) of the user's face, And to set the second preliminary photographing parameter to the second photographing parameter corresponding to the second area of the user's face.
  • the processor sets a first preliminary photographing parameter to have a brightness value of a predetermined range for the first area of the user's face image as a first photographing parameter, and sets a first preliminary photographing parameter And to set the second preliminary photographing parameter to have the brightness value as the second photographing parameter.
  • the processor is designed to extract a specific area of the user's face from each of the plurality of user face images obtained based on the set plurality of photographing parameters.
  • the processor is designed to acquire a first user face image by capturing a user face based on a first imaging parameter, and to acquire a second user face image by capturing a user face based on the second imaging parameter .
  • the processor may then be designed to extract a user face region corresponding to each of the plurality of images from the plurality of images, and to synthesize the extracted user face regions to obtain an entire face image.
  • the processor extracts a first face area from the first user face image obtained by the first photographing parameter, and extracts a second face area from the second user face image obtained by the second photographing parameter
  • the processor may be designed to combine the first face region and the second face region to form an entire user's face image for skin condition measurement.
  • the processor can correct the first and second face areas according to the detected movement information of the portable skin condition measuring device have. That is, when the movement of the portable skin condition measuring device in which the module including the processor is built or connected is detected during the photographing of the second user's face image, the processor corrects the second face area according to the motion of the sensed device . According to yet another embodiment, the processor can correct the second user facial image before extracting the second facial region according to the movement of the portable skin condition measuring apparatus built-in or connected with the module including the processor.
  • the detection of the movement as described above can be performed, for example, in a sensor unit described later.
  • the processor when combining the first face region and the second face region, may be designed to perform brightness correction to combine the first face region and the second face region.
  • the processor may be designed to determine a brightness difference value between the first face region and the second face region in the vicinity of a boundary between the first face region and the second face region,
  • the composite weight for at least one of the first face area and the second face area can be determined based on the composite weight.
  • the composite weight may be a weight for adjusting the brightness.
  • the processor may be designed to adjust the brightness of at least one of the first face region and the second face region based on the composite weight, and then synthesize the regions.
  • the entire image of the user's face for accurate skin condition measurement can be obtained.
  • the skin condition measuring module may further include a sensor unit and an output control unit.
  • the skin condition measuring module includes a sensor unit 500 having a distance sensor for measuring a distance between a user and a camera; And a method for proposing movement of a face to a user when a part of the user's face is deviated from the user's face image obtained by the user's face photographing camera, When the distance between the cameras is out of a preset value, the user is suggested to move the face position, or when a part of the user's face is deviated from the user's face image acquired by the user's face photographing camera, (600) for controlling the output means for suggesting the movement of the face to the user when the distance between the user and the camera, which is measured by the distance sensor, is out of a predetermined value .
  • the output control unit 600 included in the skin condition measurement module according to the present invention can control the output means.
  • the output means may be a means for proposing movement of the face to the user when a part of the user's face is deviated from the user's face image obtained by the user's face photographing camera or a distance sensor for measuring the distance between the user and the camera When the distance between the user and the camera is out of a predetermined value, suggesting the movement of the face to the user, or when a part of the user's face is deviated from the user's face image acquired by the user's face photographing camera, When the distance between the user and the camera measured by the distance sensor measuring the distance between the user and the camera is out of a predetermined value, the user can suggest the movement of the face position, You can control the location movement suggestion.
  • the skin condition measurement module according to the present invention can effectively acquire the face image of the user without departing through the configuration of the output control unit for controlling the output means for performing the proposal of the face position movement for the user.
  • the face position movement suggestion for the user may include a case where a part of the user's face is deviated from the user's face image obtained by the user's face photographing camera and / or a distance sensor included in the sensor unit and measuring the distance between the user and the camera May be performed when the distance between the user and the camera measured by the camera is out of a predetermined value.
  • the suggestion of moving the user's face by the output means may be performed when a part of the user's face is deviated from the user's face image obtained by the user's face photographing camera,
  • the operation of the means can be controlled.
  • the degree of deviation of the user's face region may be determined based on, for example, data stored in the sensing software stored in the memory.
  • the degree of departure of the user's face region can be determined based on whether the detection of the face of the user is detected from the face image of the user, or the face of the face is cut off at the boundary.
  • the face contour can be obtained through landmark detection or edge detection technology or the like.
  • the suggestion of moving the user's face by the output means may be performed when the distance between the user and the camera measured by the distance sensor measuring the distance between the user and the camera is out of a predetermined value,
  • the output control unit can control the output means.
  • the sensor unit having the distance sensor for measuring the distance between the user and the camera may have a distance sensor such as an ultrasonic sensor or a ToF (Time of Flight) sensor, but is not limited thereto.
  • a distance sensor such as an ultrasonic sensor or a ToF (Time of Flight) sensor, but is not limited thereto.
  • the output control unit may control an output unit that suggests a movement of the face to the user when the distance between the user and the camera measured by the sensor unit is out of a predetermined value.
  • the distance sensor of the sensor unit may measure the distance between the user and the camera, and may associate the measurement result with the sensing software of the memory to perform a suggestion of the face displacement of the output means through the output control unit.
  • the sensor unit senses the external light and determines the intensity and direction of the light source unit; And a shutter speed, an aperture value, an exposure value, and the like of the camera, and may detect the motion information of the skin condition measuring device in which the module is built or connected, as described above. Therefore, the sensor unit may further include a motion sensor (for example, an acceleration sensor, a gyro sensor, an electromagnetic sensor, etc.) in addition to the distance sensor.
  • a motion sensor for example, an acceleration sensor, a gyro sensor, an electromagnetic sensor, etc.
  • the output control unit may be configured to determine whether the face of the user is outside the user's face image obtained by the user's face photographing camera and the distance between the user and the camera measured by the distance sensor, It is possible to control the output means for suggesting the movement of the user's face when the distance between the cameras is out of the predetermined value.
  • the sensor unit having the distance sensor and the output control unit, it is possible to prevent inaccurate acquisition of the face image due to the face deviation of the user, and to measure the skin condition For example.
  • the output control unit can control, for example, display and / or audio output means.
  • the output control unit may control a display performing a face position movement proposal.
  • the display may display various image data and UI in addition to the proposal of the face position movement.
  • the output control unit may control the audio output means to perform the face position movement suggestion by voice.
  • the audio output means may output various kinds of notification sounds or voice messages in addition to suggestion of movement of the face position.
  • the output control section may control an arrow indicating a desired face position moving direction, an LED or the like embodying a specific color, or the like.
  • the skin condition measuring module according to the present invention can be embedded in a predetermined skin condition measuring device or can be associated with itself to analyze the whole image of the user's face.
  • the processor analyzes the formed single-user face image or the entire user's face image to provide a skin condition diagnosis result, and recommends a product for improving the user's skin condition based on the skin condition diagnosis result It can be designed.
  • Product recommendations for improving skin conditions include crawling web pages on-line to collect cosmetic review data and extracting key word lists associated with the evaluation of cosmetics in the collected data through natural language processing Learning a model for quantifying cosmetic preference through machine learning based on the extracted main word list and calculating a cosmetic preference score for new review data related to cosmetics based on the model learned in the model learning unit, But may be performed through a process of recommending cosmetics according to the cosmetics preference score calculated by the preference calculation unit and related software, but the present invention is not limited thereto.
  • the skin condition measuring module may further include a communication control unit for controlling the communication means.
  • the communication control unit can be controlled to receive a request to photograph a user's face from an external user terminal, for example, and can be controlled to transmit a single user face image or an entire user's face image to an external user terminal.
  • the communication control unit can control the communication means implemented by the Bluetooth module, but this is merely an embodiment, and it is possible to control various communication means such as a stationary communication module, a Wi-Fi communication module or an NFC communication module.
  • the skin condition measurement module transmits the single user face image or the entire user face image to the external user terminal.
  • the present invention is not limited to this, Each of the plurality of user face images may be transmitted to the external user terminal.
  • the user terminal can analyze the skin condition of the user's face by performing extraction and synthesis of a specific face region in the same manner as that performed by the processor described above.
  • the processor may analyze the single user face image or the entire user face image directly to acquire skin condition information on at least one of pigmentation, acne, sebum, pores, and wrinkles on the user's face, And outputting the skin condition information through the output means under the control of the output control unit.
  • the present invention may further include an input control unit for controlling the input unit.
  • the input control unit may control an input unit designed to input a user command for operating the built-in or associated skin condition measuring apparatus and to transmit information on the user command to the processor.
  • the input unit may be a touch panel or a (digital) pen sensor for detecting a user's touch, for example, depending on the type of skin condition measuring device.
  • the skin condition measuring module may further include an external terminal for connecting or interlocking with the skin condition measuring device.
  • the external terminal may be in the form of, for example, a USB terminal, but is not limited thereto, and may be a form in which a built-in or connected skin condition measuring device and a skin condition measuring module are electrically connected to measure skin condition There is no restriction on the type.
  • the skin condition measuring device includes a kiosk; A mirror for skin condition measurement; Skin condition measurement and cosmetics vending machine; Or a module built-in skin condition measuring device.
  • the skin condition measuring module can be embedded in the bezel of the kiosk and wired to the kiosk PC via the external terminal, Lt; / RTI >
  • the skin condition measurement module is built in the skin condition measurement device to acquire a single user face image, or to acquire a plurality of user face images Extract, and combine to obtain a full image of the user's face, and skin condition analysis and customized product recommendations can be made on the measurement device itself or on an external user terminal based on the single user face image or the entire user face image .
  • the skin condition measuring module is built in the mirror or disposed outside the mirror according to the structure of the mirror, And can be electrically connected with the mirror to measure the skin condition and recommend a customized product.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Physiology (AREA)
  • General Business, Economics & Management (AREA)
  • Dermatology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)

Abstract

본 발명은 피부 상태 측정용 모듈에 대한 것이다. 본 발명에 따른 피부 상태 측정용 모듈은 키오스크; 피부 상태 측정용 미러; 피부 상태 측정 및 화장품 제공 자판기; 또는 모듈 내장형 피부 상태 측정 기기에 내장 또는 연계되어 사용자의 피부 상태를 효과적으로 진단할 수 있도록 설계될 수 있다.

Description

피부 상태 측정용 모듈
본 출원은 2018년 1월 9일자 출원된 대한민국 특허 출원 10-2018-0002898호에 기초한 우선권의 이익을 주장하며, 해당 대한민국 특허출원이 개시되어 있는 모든 내용은 본 명세서의 일부로서 포함된다.
본 발명은 피부 상태 측정용 모듈에 대한 것이다.
보다 구체적으로, 본 발명은 피부 상태 측정 장치에 내장되거나 또는 피부 상태 측정 장치와 연계되어 사용자의 피부 상태를 진단할 수 있도록 설계된 피부 상태 측정용 모듈에 대한 것이다.
근래에는 미에 대한 관심이 증가하면서, 사용자 얼굴의 피부 미용에 대한 관심이 높아지고 있다. 특히, 사용자의 얼굴 피부를 촬영하여 사용자 얼굴에 있는 다양한 피부 트러블(예를 들어, 주름, 모공 및 여드름 등) 등을 분석하는 포터블 피부 상태 측정 장치가 개발되고 있다.
한편, 종래의 피부 분석을 위한 피부 상태 측정 장치는 사용자 얼굴이 피부 상태 측정 장치에 넣어진 상태에서 기 설정된 촬영 파라미터(예를 들어, 광원의 세기, 방향, 조리개값 또는 셔터 스피드 등)을 바탕으로 사용자 얼굴을 촬영하였다.
종래의 피부 상태 측정 장치는, 사용자의 촬영 위치가 고정되는 장점은 있으나, 휴대와 소지가 불편하였고, 사용자가 목적하는 장소에서 피부 상태를 측정하는 것이 곤란하다는 점이 있었으며, 가격도 일반 소비자가 구매하기 어려운 수준이었다.
한편, 피부 측정 장치로써, 휴대와 소지가 가능한 포터블 피부 상태 측정 장치가 개발되고 있으나, 피부의 특정 면적을 측정할 수 있는 기기에 제한적으로 기술 개발이 이루어진 상태이고, 사용자 얼굴 전체를 분석하기 위한 기술 및 피부 상태 측정을 위한 명확한 사용자 얼굴 영상의 획득 기술에는 여전히 기술적으로 해결해야 되는 문제가 있다.
(특허문헌 1) 대한민국 공개특허공보 2005-0063781
본 발명은 효과적으로 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 획득할 수 있도록 설계된 피부 상태 측정용 모듈을 제공한다.
본 발명은 또한, 사용자의 얼굴 촬영 시 사용자의 얼굴 위치를 제어함으로써, 효과적으로 얼굴 전체 이미지를 획득할 수 있도록 설계된 피부 상태 측정용 모듈을 제공한다.
본 발명은 더욱이, 키오스크; 피부 상태 측정용 미러; 피부 상태 측정 및 화장품 제공 자판기; 또는 모듈 내장형 피부 상태 측정 기기에 내장되거나 또는 연계되어 사용자의 피부 상태를 진단하고, 나아가 피부 상태를 개선하기 위한 제품을 추천하도록 설계된 피부 상태 측정용 모듈을 제공한다.
본 발명은 상기 과제를 해결하기 위하여 안출 된 것으로써, 피부 상태 측정용 모듈에 대한 것이다.
상기 피부 상태 측정용 모듈은 피부 상태 측정 장치에 내장되거나 또는 피부 상태 측정 장치와 연계되어 사용자의 피부 상태를 진단할 수 있도록 설계되고, 사용자 얼굴 촬영용 카메라 제어부 및 광원 제어부를 포함한다. 또한, 상기 피부 상태 측정용 모듈은 상기 모듈을 구동하기 위한 소프트웨어가 저장되어 있는 메모리; 및 사용자 얼굴 촬영용 카메라에 의해 획득된 피부 상태 측정을 위한 단일 사용자 얼굴 이미지를 형성하도록 설계되거나, 또는 사용자 얼굴의 특정 영역을 추출하기 위해 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성하도록 설계된 프로세서를 포함하는 것을 특징으로 한다.
하나의 예시에서, 상기 프로세서는 복수의 예비 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지의 밝기를 분석하여, 상기 복수의 예비 촬영 파라미터 중 어느 하나 이상을 복수의 촬영 파라미터로 설정하도록 설계될 수 있다.
하나의 예시에서, 상기 프로세서는 사용자 얼굴 이미지의 제 1 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제 1 예비 촬영 파라미터를 제 1 촬영 파라미터로 설정하고, 사용자 얼굴 이미지의 제 2 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제 2 예비 촬영 파라미터를 제 2 촬영 파라미터로 설정하도록 설계될 수 있다.
하나의 예시에서, 상기 프로세서는 상기 제 1 촬영 파라미터에 의해 획득된 제 1 사용자 얼굴 이미지로부터 제 1 얼굴 영역을 추출하고, 상기 제 2 촬영 파라미터에 의해 획득된 제 2 사용자 얼굴 이미지로부터 제 2 얼굴 영역을 추출하며, 상기 제 1 얼굴 영역 및 제 2 얼굴 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성하도록 설계될 수 있다.
하나의 예시에서, 상기 프로세서는 감지된 움직임 정보에 따라 상기 제 1 얼굴 영역 및 상기 제 2 얼굴 영역을 보정하여 합성하도록 설계된 피부 상태 측정용 모듈.
하나의 예시에서, 상기 촬영 파라미터는 광원부의 세기, 광원부의 방향, 셔터 스피드 및 조리개값 중 어느 하나 이상을 포함할 수 있다.
본 발명에 따른 상기 피부 상태 측정용 모듈은 또한, 사용자와 카메라 사이의 거리를 측정하는 거리 센서를 가지는 센서부; 및 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우, 사용자에게 얼굴 위치 이동을 제안하거나, 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안하거나, 또는 상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우 및 상기 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안하는 출력 수단을 제어하는 출력 제어부를 더 포함할 수 있다.
하나의 예시에서, 상기 프로세서는, 상기 형성된 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 분석하여 피부 상태 진단 결과를 제공하고, 상기 피부 상태 진단 결과를 바탕으로 사용자의 피부 상태를 개선하기 위한 제품을 추천하도록 설계될 수 있다.
상기 피부 상태 측정용 모듈은 또한, 외부 사용자 단말로 상기 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 전송하는 통신 수단을 제어하는 통신 제어부를 더 포함할 수 있다.
상기 피부 상태 측정용 모듈은 피부 상태 측정 장치와 연결 또는 연동될 수 있도록 하는 외부 단자를 더 포함할 수 있다.
하나의 예시에서, 피부 상태 측정용 모듈이 내장되거나 또는 연계되는 상기 피부 상태 측정 장치는 키오스크; 피부 상태 측정용 미러; 피부 상태 측정 및 화장품 제공 자판기; 또는 모듈 내장형 피부 상태 측정 기기일 수 있다.
본 발명에 따른 피부 상태 측정용 모듈은, 피부 상태 측정 장치에 내장되거나 또는 피부 상태 측정 장치와 연계되어 효과적으로 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 획득할 수 있으며, 이를 기반으로 사용자의 피부 상태를 정확하게 분석할 수 있다.
또한, 본 발명에 따른 피부 상태 측정용 모듈을 이용하는 경우, 사용자의 얼굴 촬영 시 사용자의 얼굴 위치를 제어함으로써, 효과적으로 사용자 얼굴 이미지를 획득할 수 있다.
더욱이, 본 발명에 따른 피부 상태 측정용 모듈은 키오스크; 피부 상태 측정용 미러; 피부 상태 측정 및 화장품 제공 자판기; 또는 모듈 내장형 피부 상태 측정 기기 등 포터블 또는 논-포터블 피부 상태 측정 장치에 제한 없이 적용되어 효과적으로 사용자의 피부 상태를 진단 및 제품 추천 기능을 수행할 수 있다.
물론, 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.
도 1 내지 3은 본 발명에 피부 상태 측정용 모듈의 구성 블록도 이다.
이하, 본 발명에 대하여, 도면 및 예시를 들어 보다 구체적으로 설명한다.
본 명세서에서, 단수의 표현은 달리 명시하지 않는 한 복수의 표현을 포함한다.
본 명세서에서 사용되는 용어는, 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 발명의 실시예들은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 명세서에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소는 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면을 참고하여 본 발명에 따른 피부 상태 측정용 모듈에 대하여 보다 구체적으로 설명한다.
본 발명은 피부 상태 측정용 모듈에 대한 것이다. 본 발명에 따른 피부 상태 측정용 모듈은 피부 상태 측정 장치에 내장되거나 또는 피부 상태 측정 장치와 연계되어 사용자의 피부 상태를 진단할 수 있도록 설계된다. 상기 피부 상태 측정 장치는 포터블 또는 논-포터블 형태의 피부 상태 측정 기기를 포괄하는 것으로 이해될 수 있다.
하나의 예시에서, 상기 피부 상태 측정 장치는 키오스크; 피부 상태 측정용 미러; 피부 상태 측정 및 화장품 제공 자판기; 또는 모듈 내장형 피부 상태 측정 기기일 수 있다. 따라서, 본 발명에 따른 피부 상태 측정용 모듈은 포터블 또는 논-포터블 형태의 피부 상태 측정 기기에 제한 없이 내장 또는 연계되어 사용자의 피부 상태를 진단 하는데 이용될 수 있다.
본 발명자는 피부 상태 측정 기기의 크기에 상관 없이 효과적으로 사용자의 얼굴 이미지를 획득할 수 있는 프로세서를 포함하는 모듈을 개발하여 본 발명을 완성하기에 이르렀다.
또한, 본 발명자는 모듈 자체적으로 피부 상태를 정확하게 진단 및 관련 제품을 추천해 줄 수 있도록 하여 피부 상태의 진단 및 관련 제품의 추천 프로세스의 일원화를 도모할 수 있는 피부 상태 측정용 모듈을 개발하였다.
도 1은 본 발명에 따른 피부 상태 측정용 모듈의 각 구성이 블록으로 도시되어 있다.
도 1에 도시되어 있는 바와 같이, 피부 상태 측정용 모듈(1)은 사용자 얼굴 촬영용 카메라 제어부(100) 및 광원 제어부(200)를 포함한다. 또한, 상기 피부 상태 측정용 모듈(1)은 상기 모듈을 구동하기 위한 소프트웨어가 저장되어 있는 메모리(300); 및 사용자 얼굴 촬영용 카메라에 의해 획득된 피부 상태 측정을 위한 단일 사용자 얼굴 이미지를 형성하도록 설계되거나 또는 사용자 얼굴의 특정 영역을 추출하기 위해 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성하도록 설계된 프로세서(400)를 포함한다.
본 명세서에서 용어 「단일 사용자 얼굴 이미지」는 피부 상태 분석을 위해 카메라에 의해 획득되고, 프로세서에 의해 형성되는 단일 이미지를 의미하는 것으로써, 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지의 특정 영역 추출 및 합성 기술을 통해 형성되는 사용자 얼굴 전체 이미지와의 차별화를 위해, 상기 용어는 본 명세서에서 사용된다.
본 명세서에서 용어 「사용자 얼굴 전체 이미지」 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 특정 얼굴 영역을 추출하고, 이를 합성하는 기술을 통해 형성되고, 피부 상태 측정을 위해 사용되는 사용자 얼굴 이미지를 의미한다.
본 발명에 따른 상기 사용자 얼굴 촬영용 카메라 제어부는 사용자의 얼굴을 촬영하는 사용자 얼굴 촬영용 카메라를 제어한다.
하나의 예시에서, 상기 카메라 제어부는 임의의 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 사용자 얼굴 이미지를 획득하는 카메라를 제어할 수 있다. 이 경우, 상기 사용자 얼굴 이미지는 프로세서에 의해 단일 사용자 얼굴 이미지로 형성될 수 있다.
다른 예시에서, 상기 카메라 제어부는 복수의 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 복수의 이미지를 획득하는 카메라를 제어할 수 있다.
구체적으로, 상기 카메라 제어부는 임의의 촬영 파라미터를 바탕으로 사용자 얼굴을 복수회 촬영하여 사용자 얼굴 이미지를 획득할 수 있는 사용자 얼굴 촬영용 카메라의 각종 촬영 조건을 제어할 수 있다.
보다 구체적으로, 상기 카메라는 복수의 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 복수의 이미지를 획득할 수 있는데, 상기 사용자 얼굴 촬영용 카메라 제어부는 상이한 촬영 파라미터(광원부의 세기, 셔터 스피트값 또는 조리개 값 등)를 바탕으로 사용자 얼굴을 복수회 촬영하여 복수의 이미지를 획득할 수 있는 상기 카메라를 제어할 수 있다.
상기 피부 상태 측정용 모듈은 광원 제어부를 포함한다. 상기 광원 제어부는 적어도 하나의 광원을 포함하는 광원부를 제어한다. 구체적으로, 광원은 사용자의 얼굴을 향해 광을 제공할 수 있는데, 예를 들면 적색광, 녹색광 및 청색광 중 적어도 어느 하나 이상의 광을 발광하여 광원부에서 백색광이 발광 되도록 설계될 수 있고, 상기 광원 제어부는 이러한 광원의 세기 및 파장을 제어할 수 있다.
본 발명에 따른 피부 상태 측정용 모듈은 또한, 메모리(300)를 포함한다. 상기 메모리(300)은 모듈을 피부 상태 측정 장치 내에서 구동 시키기 위한 다양한 소프트웨어를 포함할 수 있다.
예를 들면, 상기 메모리(170) 는 센싱, 통신, 프리젠테이션, 웹 브라우저 및 서비스 기능을 구현하도록 설정된 소프트웨어가 저장될 수 있다.
상술한 바와 같이, 메모리(170)는 다양한 프로그램들을 포함할 수 있으나, 각종 프로그램은 내장 또는 연계되는 피부 상태 측정 장치의 종류 및 특성에 따라 일부 생략되거나 변형 또는 추가될 수 있음은 물론이다.
상기 피부 상태 측정용 모듈은 프로세서를 포함한다. 상기 프로세서는 모듈 내 각종 제어부와 연계되어 모듈 전반의 조건을 설정할 수 있다.
즉, 도 1 내지 도 3에 도시되어 있는 바와 같이, 본 발명에 따른 피부 상태 측정용 모듈의 각 개별적인 구성들은 프로세서(400)에 의해 제어되고 동작될 수 있다.
상기 프로세서는 다양한 제어 동작 중 특히, 사용자 얼굴 촬영용 카메라에 의해 획득된 피부 상태 측정을 위한 단일 사용자 얼굴 이미지를 형성하도록 설계되거나 또는 사용자 얼굴의 특정 영역을 추출하기 위해 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성하도록 설계된다.
하나의 예시에서, 프로세서는 예비 촬영 파라미터를 바탕으로 획득된 사용자 얼굴 이미지의 밝기를 분석하여, 상기 예비 촬영 파라미터를 촬영 파라미터로 설정할 수 있다. 이때, 예비 촬영 파라미터는 외부의 조명 환경에 따라 결정될 수 있다. 이 경우, 프로세서는 예비 촬영 파라미터를 바탕으로 설정된 촬영 파라미터를 기반으로 사용자 얼굴 이미지를 획득하고, 상기 사용자 얼굴 이미지를 피부 상태 측정을 위한 단일 사용자 얼굴 이미지로 설정할 수 있다.
다른 예시에서, 상기 프로세서는 사용자 얼굴의 특정 영역을 추출하기 위해 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고, 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성하도록 설계된다.
사용자 얼굴의 피부를 분석하기 위한 촬영 파라미터는 상기 프로세서에 의해 설정된다. 상기 촬영 파라미터는, 예를 들면, 광원 제어부에 의해 설정되는 광원부의 세기 및/또는 광원부의 방향 등이거나, 카메라 제어부에 의해 설정되는 셔터 스피드 및/또는 조리개값 일 수 있다.
하나의 예시에서, 상기 촬영 파라미터는, 광원부의 세기, 광원부의 방향, 셔터 스피드 및 조리개값 중 어느 하나 이상을 포함할 수 있다.
이하, 복수의 예비 촬영 파라미터를 바탕으로 사용자 얼굴의 특정 영역을 추출하고, 이를 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성하도록 설계된 프로세서의 동작에 대해 보다 구체적으로 설명한다.
프로세서는 복수의 예비 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지의 밝기를 분석하여, 상기 복수의 예비 촬영 파라미터 중 어느 하나 이상을 복수의 촬영 파라미터로 설정하도록 설계된다.
하나의 예시에서, 복수의 예비 촬영 파라미터 중 제1 예비 촬영 파라미터를 바탕으로 촬영된 이미지가 사용자 얼굴의 제1 영역(예를 들어, 얼굴 중심 영역)에 대해 기 설정된 범위의 밝기값을 갖는 경우, 상기 프로세서는 제1 예비 촬영 파라미터를 사용자 얼굴의 제1 영역에 대응하는 제1 촬영 파라미터로 설정하도록 설계될 수 있다. 또한, 복수의 예비 촬영 파라미터 중 제2 예비 촬영 파라미터를 바탕으로 촬영된 이미지가 사용자 얼굴의 제2 영역(예를 들어, 얼굴 외곽 영역)에 대해 기 설정된 범위의 밝기값을 갖는 경우, 상기 프로세서는 제2 예비 촬영 파라미터를 사용자 얼굴의 제2 영역에 대응하는 제2 촬영 파라미터로 설정하도록 설계될 수 있다.
즉, 상기 프로세서는 사용자 얼굴 이미지의 제 1 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제 1 예비 촬영 파라미터를 제 1 촬영 파라미터로 설정하고, 사용자 얼굴 이미지의 제 2 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제 2 예비 촬영 파라미터를 제 2 촬영 파라미터로 설정하도록 설계될 수 있다.
복수의 촬영 파라미터를 바탕으로 프로세서는 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하도록 설계된다.
하나의 예시에서, 상기 프로세서는 제1 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 제1 사용자 얼굴 이미지를 획득하고, 제2 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 제2 사용자 얼굴 이미지를 획득하도록 설계될 수 있다. 그리고, 프로세서는 복수의 이미지로부터 복수의 이미지 각각에 대응하는 사용자 얼굴 영역을 추출하고, 추출된 사용자 얼굴 영역들을 합성하여 얼굴 전체 이미지를 획득하도록 설계될 수 있다.
즉, 상기 프로세서는 상기 제 1 촬영 파라미터에 의해 획득된 제 1 사용자 얼굴 이미지로부터 제 1 얼굴 영역을 추출하고, 상기 제 2 촬영 파라미터에 의해 획득된 제 2 사용자 얼굴 이미지로부터 제 2 얼굴 영역을 추출할 수 있도록 설계될 수 있으며, 또한 상기 프로세서는 상기 제 1 얼굴 영역 및 제 2 얼굴 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성할 수 있도록 설계될 수 있다.
만약, 피부 상태 측정용 모듈이 포터블 피부 상태 측정 장치에 내장되거나 또는 연계되는 경우, 프로세서는 감지된 포터블 피부 상태 측정 장치의 움직임 정보에 따라 제1 얼굴 영역 및 제2 얼굴 영역을 보정하여 합성할 수 있다. 즉, 제2 사용자 얼굴 이미지를 촬영하는 동안 상기 프로세서를 포함하는 모듈이 내장 또는 연계된 포터블 피부 상태 측정 장치의 움직임이 감지된 경우, 프로세서는 감지된 장치의 움직임에 따라 제2 얼굴 영역을 보정할 수 있다. 또 다른 실시예에 의하면, 프로세서는 상기 프로세서를 포함하는 모듈이 내장 또는 연계된 포터블 피부 상태 측정 장치의 움직임에 따라 제2 얼굴 영역을 추출하기 전에 제2 사용자 얼굴 이미지를 보정할 수 있다. 상기와 같은 움직임의 감지는, 예를 들면 후술하는 센서부에서 수행될 수 있다.
또한, 상기 제1 얼굴 영역과 제2 얼굴 영역을 합성할 때, 프로세서는 밝기 보정을 수행하여 제1 얼굴 영역과 제2 얼굴 영역을 합성하도록 설계될 수 있다.
구체적으로, 프로세서는 제1 얼굴 영역과 제2 얼굴 영역의 경계 부근에서 상기 제1 얼굴 영역과 상기 제2 얼굴 영역 사이의 밝기 차이값을 판단할 수 있도록 설계될 수 있고, 프로세서는 밝기 차이값을 바탕으로 제1 얼굴 영역 및 제2 얼굴 영역 중 적어도 어느 하나에 대한 합성 가중치를 판단할 수 있도록 설계될 수 있다. 이때, 합성 가중치는 밝기를 조절하기 위한 가중치일 수 있다. 그리고, 프로세서는 합성 가중치를 바탕으로 제1 얼굴 영역 및 제2 얼굴 영역 중 적어도 어느 하나의 밝기를 조절한 후, 상기 영역들을 합성하도록 설계될 수 있다.
상기와 같은 프로세서의 구성을 통해, 보다 정확한 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 획득할 수 있다.
본 발명에 따른 피부 상태 측정용 모듈은 또한, 센서부 및 출력 제어부를 더 포함할 수 있다.
즉, 도 2에 도시되어 있는 바와 같이, 본 발명에 따른 피부 상태 측정용 모듈은 사용자와 카메라 사이의 거리를 측정하는 거리 센서를 가지는 센서부(500); 및 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우, 사용자에게 얼굴 위치 이동을 제안하거나, 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안하거나, 또는 상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우 및 상기 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안하는 출력 수단을 제어하는 출력 제어부(600)를 더 포함할 수 있다.
본 발명에 따른 피부 상태 측정용 모듈에 포함되는 출력 제어부(600)는 출력 수단을 제어할 수 있다. 상기 출력 수단은 상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우, 사용자에게 얼굴 위치 이동을 제안하거나, 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안하거나, 또는 상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우 및 상기 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안할 수 있고, 상기 출력 제어부는 이러한 출력 수단의 얼굴 위치 이동 제안을 제어할 수 있다.
본 발명에 따른 피부 상태 측정용 모듈은 상기 사용자에 대한 얼굴 위치 이동 제안을 수행하는 출력 수단을 제어하는 출력 제어부의 구성을 통해, 사용자의 얼굴 이미지를 이탈없이 효과적으로 획득할 수 있다.
상기 사용자에 대한 얼굴 위치 이동 제안은 상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우 및/또는 센서부에 포함되어 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우에 수행될 수 있다.
하나의 예시에서, 상기 출력 수단에 의한 사용자 얼굴 위치 이동 제안은 상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우에 수행될 수 있고, 상기 출력 제어부는 이러한 출력 수단의 동작을 제어할 수 있다.
상기에서 사용자 얼굴 영역의 이탈 정도는, 예를 들면, 메모리에 저장된 센싱 소프트웨어에 저장되어 있는 데이터를 기반으로 판단될 수 있다.
보다 구체적으로, 상기 사용자 얼굴 영역의 이탈 정도는, 사용자 얼굴 영상으로부터 사용자의 얼굴 외곽 검출 시, 검출이 실패되거나, 또는 상기 얼굴 외곽이 경계에서 잘린 경우를 기준으로 판단할 수 있다. 이 때, 상기 얼굴 외곽은, 랜드마크(landmark) 검출이나 또는 엣지(edge) 검출 기술 등을 통해 획득 가능할 수 있다.
다른 예시에서, 상기 출력 수단에 의한 사용자 얼굴 위치 이동 제안은 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우에 수행될 수 있고, 이 경우 출력 제어부는 상기 출력 수단을 제어할 수 있다.
상기 사용자와 카메라 사이의 거리를 측정하는 거리 센서를 가지는 센서부는, 예를 들면 초음파 센서 또는 ToF(Time of Flight) 센서와 같은 거리 센서를 가질 수 있으나 이에 제한되는 것은 아니다.
출력 제어부는 상기 센서부에서 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안하는 출력 수단을 제어할 수 있다.
보다 구체적인 예시에서, 상기 센서부의 거리 센서는 사용자와 카메라 사이의 거리를 측정하고, 그 측정 결과를 메모리의 센싱 소프트웨어와 연계하여 출력 제어부을 통한 출력 수단의 얼굴 위치 이동 제안을 수행하게 할 수 있다.
한편, 상기 센서부는, 외부 조명을 감지하여 광원부의 세기 및 방향; 및 카메라의 셔터 스피드, 조리개 값 및 노출값 등을 포함하는 예비 촬영 파라미터를 결정할 수 있고, 전술한 바와 같이, 모듈이 내장 또는 연계되는 피부 상태 측정 장치의 움직임 정보를 감지하는 역할을 수행할 수 있다. 따라서, 상기 센서부는 거리 센서 이외에 모션 센서(예를 들어, 가속도 센서, 자이로 센서, 전자기 센서 등) 등을 더 포함할 수 있다.
또 다른 예시에서, 상기 출력 제어부는 상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우 및 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우에 사용자 얼굴 위치 이동을 제안하는 출력 수단을 제어할 수 있다.
상기와 같이, 거리 센서를 가지는 센서부 및 출력 제어부의 구성을 통해, 사용자의 얼굴 이탈에 따른 부정확한 얼굴 이미지 획득을 사전에 방지할 수 있고, 보다 명확한 사용자 얼굴 이미지를 획득 할 수 있는 피부 상태 측정용 모듈을 제공할 수 있다.
출력 제어부는, 예를 들면 디스플레이 및/또는 오디오 출력 수단을 제어할 수 있다.
구체적으로, 상기 출력 제어부는 얼굴 위치 이동 제안을 수행하는 디스 플레이를 제어할 수 있다. 한편, 상기 디스플레이는 상기 얼굴 위치 이동 제안 이외에 다양한 영상 데이터 및 UI를 표시할 수 있다.
또한, 상기 출력 제어부는 얼굴 위치 이동 제안을 음성으로 수행하는 오디오 출력 수단을 제어할 수 있다. 한편, 상기 오디오 출력 수단은 얼굴 위치 이동 제안 이외에 각종 알림음이나 음성 메시지를 출력할 수 있다.
다른 예시에서, 상기 출력 제어부는 바람직한 얼굴 위치 이동 방향을 표시하는 화살표 또는 특정 색상을 구현하는 LED 등을 제어할 수 있다.
한편, 본 발명에 따른 피부 상태 측정용 모듈은 소정의 피부 상태 측정 기기에 내장되거나 또는 연계되어 사용자 얼굴 전체 이미지를 자체적으로 분석할 수 있다.
하나의 예시에서, 상기 프로세서는 상기 형성된 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 분석하여 피부 상태 진단 결과를 제공하고, 상기 피부 상태 진단 결과를 바탕으로 사용자의 피부 상태를 개선하기 위한 제품을 추천하도록 설계되어 있을 수 있다.
상기 피부 상태를 개선하기 위한 제품 추천은 온라인 상의 웹페이지를 크롤링(crawling)하여 화장품 관련 리뷰 데이터를 수집하고, 상기 수집된 데이터 내에서 화장품에 대한 평가와 연관된 주요 단어 리스트를 자연어 처리를 통해 추출하며, 상기 추출된 주요 단어 리스트를 기반으로 머신 러닝을 통해 화장품 선호도를 정량화 하는 모델을 학습하고, 상기 모델 학습부에서 학습된 모델을 기반으로 화장품 관련 신규 리뷰 데이터에 대한 화장품 선호도 점수를 계산한 후, 상기 선호도 계산부에서 계산된 화장품 선호도 점수에 따라 화장품을 추천하는 프로세스 및 관련 소프트웨어를 통해 수행될 수 있으나, 이에 제한되는 것은 아니다.
또한, 상기 프로세서에 의해 형성된 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 소정의 사용자 단말로 전송한 후, 상기 사용자 단말을 통해 상기 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지가 분석될 수도 있다. 이 경우, 피부 상태 측정용 모듈은 통신 수단을 제어하는 통신 제어부를 더 포함할 수 있다.
상기 통신 제어부는, 예를 들면, 외부 사용자 단말로부터 사용자 얼굴을 촬영하라는 요청을 수신하도록 제어될 수 있으며, 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 외부 사용자 단말로 전송하도록 제어될 수 있다. 이때, 통신 제어부는 블루투스 모듈로 구현되는 통신 수단을 제어할 수 있으나, 이는 일 실시예에 불과할 뿐, 직비 통신 모듈, 와이파이 통신 모듈 또는 NFC 통신 모듈 등과 같은 다양한 통신 수단을 제어할 수 있다.
한편, 상술한 실시예에서는 피부 상태 측정용 모듈이 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 외부 사용자 단말로 전송하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각을 외부 사용자 단말로 전송할 수도 있다. 이때, 사용자 단말은 복수의 사용자 얼굴 이미지를 상술한 프로세서가 수행한 것과 동일한 방법으로 특정 얼굴 영역의 추출 및 합성을 수행함으로써 사용자 얼굴의 피부 상태를 분석할 수 있다.
또한, 상기 프로세서는 전술한 바와 같이, 직접 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 분석하여 사용자 얼굴에 색소 침착, 여드름, 피지, 모공 및 주름 중 적어도 어느 하나에 대한 피부 상태 정보를 획득하며, 획득된 피부 상태 정보를 상기 출력 제어부의 제어를 받는 출력 수단을 통해 출력할 수 있다.
본 발명에 또한, 입력부를 제어하는 입력 제어부를 더 포함할 수 있다. 상기 입력 제어부는 내장 또는 연계되어 있는 피부 상태 측정 장치를 조작하는 사용자 명령을 입력하여, 사용자 명령에 대한 정보를 프로세서로 전송하도록 설계된 입력부를 제어할 수 있다. 한편, 상기 입력부는 피부 상태 측정 장치의 종류에 따라 상이하며, 예를 들면 사용자 터치를 감지하기 위한 터치 패널 또는 (디지털) 펜 센서 등일 수 있다.
본 발명에 따른 피부 상태 측정용 모듈은 또한, 피부 상태 측정 장치와 연결 또는 연동될 수 있도록 하는 외부 단자를 더 포함할 수 있다. 상기 외부 단자는, 예를 들면 USB 단자의 형태일 수 있으나 이에 제한되는 것은 아니고, 내장 또는 연계되는 피부 상태 측정 장치와 상기 피부 상태 측정용 모듈이 전기적으로 연결되어 피부 상태를 측정할 수 있도록 하는 형태이면 그 종류의 제한은 없다.
한편, 상기 피부 상태 측정 장치는, 키오스크; 피부 상태 측정용 미러; 피부 상태 측정 및 화장품 제공 자판기; 또는 모듈 내장형 피부 상태 측정 기기일 수 있다.
하나의 예시에서, 상기 피부 상태 측정 장치가 키오스크 일 경우, 피부 상태 측정용 모듈은 키오스크의 베젤에 매립될 수 있고, 외부 단자를 통해 키오스크 PC와 유선 연결되어 전술한 피부 상태 측정 및 관련 제품 추천이 이루어질 수 있다.
다른 예시에서, 상기 피부 상태 측정 장치가 포터블한 피부 상태 측정 기기인 경우, 상기 피부 상태 측정 모듈은 상기 피부 상태 측정 기기의 내부에 내장되어 단일 사용자 얼굴 이미지를 획득하거나, 또는 복수의 사용자 얼굴 이미지를 촬영, 추출 및 합성하여 사용자 얼굴 전체 이미지를 획득할 수 있고, 상기 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 기반으로 측정 기기 자체에서 또는 외부 사용자 단말기를 통해 피부 상태 분석 및 맞춤 제품 추천이 이루어질 수 있다.
또 다른 예시에서, 상기 피부 상태 측정 장치가 피부 상태 측정용 미러인 경우, 상기 미러의 구조나 구동 형태 등에 따라 상기 피부 상태 측정용 모듈은 상기 미러 내에 내장되거나, 또는 미러의 외부에 배치된 상태에서 상기 미러와 전기적으로 연계되어 피부 상태 측정 및 맞춤 제품 추천이 이루어질 수 있다.
이상과 같이 본 개시는 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 개시는 상기의 실시 예에 한정되는 것은 아니며, 본 개시가 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (11)

  1. 피부 상태 측정 장치에 내장되거나 또는 피부 상태 측정 장치와 연계되어 사용자의 피부 상태를 진단할 수 있도록 설계되고, 사용자 얼굴 촬영용 카메라 제어부 및 광원 제어부를 포함하는 피부 상태 측정용 모듈에 있어서,
    상기 모듈을 구동하기 위한 소프트웨어가 저장되어 있는 메모리; 및
    사용자 얼굴 촬영용 카메라에 의해 획득된 피부 상태 측정을 위한 단일 사용자 얼굴 이미지를 형성하도록 설계되거나, 또는 사용자 얼굴의 특정 영역을 추출하기 위해 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성하도록 설계된 프로세서를 포함하는 것을 특징으로 하는 피부 상태 측정용 모듈.
  2. 제 1항에 있어서,
    상기 프로세서는,
    복수의 예비 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지의 밝기를 분석하여, 상기 복수의 예비 촬영 파라미터 중 어느 하나 이상을 복수의 촬영 파라미터로 설정하도록 설계된 피부 상태 측정용 모듈.
  3. 제 2항에 있어서,
    상기 프로세서는,
    사용자 얼굴 이미지의 제 1 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제 1 예비 촬영 파라미터를 제 1 촬영 파라미터로 설정하고,
    사용자 얼굴 이미지의 제 2 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제 2 예비 촬영 파라미터를 제 2 촬영 파라미터로 설정하도록 설계된 피부 상태 측정용 모듈.
  4. 제 3항에 있어서,
    상기 프로세서는,
    상기 제 1 촬영 파라미터에 의해 획득된 제 1 사용자 얼굴 이미지로부터 제 1 얼굴 영역을 추출하고, 상기 제 2 촬영 파라미터에 의해 획득된 제 2 사용자 얼굴 이미지로부터 제 2 얼굴 영역을 추출하며, 상기 제 1 얼굴 영역 및 제 2 얼굴 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성하도록 설계된 피부 상태 측정용 모듈.
  5. 제 4 항에 있어서,
    상기 프로세서는,
    감지된 움직임 정보에 따라 상기 제 1 얼굴 영역 및 상기 제 2 얼굴 영역을 보정하여 합성하도록 설계된 피부 상태 측정용 모듈.
  6. 제 1항에 있어서,
    상기 촬영 파라미터는,
    광원부의 세기, 광원부의 방향, 셔터 스피드 및 조리개값 중 어느 하나 이상을 포함하는 피부 상태 측정용 모듈.
  7. 제 1항에 있어서,
    사용자와 카메라 사이의 거리를 측정하는 거리 센서를 가지는 센서부; 및
    사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우, 사용자에게 얼굴 위치 이동을 제안하거나, 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안하거나, 또는 상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우 및 상기 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안하는 출력 수단을 제어하는 출력 제어부를 더 포함하는 피부 상태 측정용 모듈.
  8. 제 1항에 있어서,
    상기 프로세서는,
    상기 형성된 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 분석하여 피부 상태 진단 결과를 제공하고, 상기 피부 상태 진단 결과를 바탕으로 사용자의 피부 상태를 개선하기 위한 제품을 추천하도록 설계되어 있는 피부 상태 측정용 모듈.
  9. 제 1항에 있어서,
    외부 사용자 단말로 상기 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 전송하는 통신 수단을 제어하는 통신 제어부를 더 포함하는 피부 상태 측정용 모듈.
  10. 제 1항에 있어서,
    피부 상태 측정 장치와 연결 또는 연동될 수 있도록 하는 외부 단자를 더 포함하는 피부 상태 측정용 모듈.
  11. 제 1항에 있어서,
    상기 피부 상태 측정 장치는,
    키오스크; 피부 상태 측정용 미러; 피부 상태 측정 및 화장품 제공 자판기; 또는 모듈 내장형 피부 상태 측정 기기인 피부 상태 측정용 모듈.
PCT/KR2018/016858 2018-01-09 2018-12-28 피부 상태 측정용 모듈 WO2019139291A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/960,100 US11449997B2 (en) 2018-01-09 2018-12-28 Skin condition measuring module

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180002898A KR102055881B1 (ko) 2018-01-09 2018-01-09 피부 상태 측정용 모듈
KR10-2018-0002898 2018-01-09

Publications (1)

Publication Number Publication Date
WO2019139291A1 true WO2019139291A1 (ko) 2019-07-18

Family

ID=67219692

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/016858 WO2019139291A1 (ko) 2018-01-09 2018-12-28 피부 상태 측정용 모듈

Country Status (3)

Country Link
US (1) US11449997B2 (ko)
KR (1) KR102055881B1 (ko)
WO (1) WO2019139291A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102052723B1 (ko) * 2017-11-30 2019-12-13 주식회사 룰루랩 포터블 피부 상태 측정 장치, 및 피부 상태 진단 및 관리 시스템
JP7289308B2 (ja) * 2018-09-06 2023-06-09 株式会社 資生堂 画像解析装置、画像解析方法およびプログラム
KR102268759B1 (ko) * 2019-05-20 2021-06-24 주식회사 룰루랩 피부 상태 측정 및 케어용 디바이스, 및 이를 포함하는 피부 상태 측정 및 케어 시스템
KR20210055948A (ko) 2019-11-08 2021-05-18 주식회사 엠마헬스케어 접촉과 비접촉 방식으로 피부 상태를 진단하는 피부 진단기
KR102356465B1 (ko) 2019-12-17 2022-01-27 고려대학교 산학협력단 사용자 얼굴 피부 분석 방법 및 서버
KR20220096606A (ko) 2020-12-31 2022-07-07 주식회사 룰루랩 Ai 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템, 및 이를 이용한 피부 상태 분석 및 맞춤 화장품 추천방법
CN115553721A (zh) * 2021-12-28 2023-01-03 深圳市宗匠科技有限公司 基于面部分区皮下成分含量检测的智慧美容方法及智慧美容系统
US12002187B2 (en) * 2022-03-30 2024-06-04 Lenovo (Singapore) Pte. Ltd Electronic device and method for providing output images under reduced light level
KR102436130B1 (ko) 2022-04-25 2022-08-26 주식회사 룰루랩 피부 분석 영상에 대한 적합도를 판단하는 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140028415A (ko) * 2012-08-29 2014-03-10 한국전자통신연구원 피부분석을 위한 3차원 얼굴 모델 생성 장치 및 그 방법
KR20160007754A (ko) * 2014-06-27 2016-01-21 주식회사 엘지유플러스 피부 분석 방법 및 이를 위한 장치
KR20160144971A (ko) * 2014-04-18 2016-12-19 소니 주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
KR101738417B1 (ko) * 2015-07-20 2017-05-22 서울대학교병원 피부 상태 진단 및 치료를 위한 장치 및 방법
KR101810959B1 (ko) * 2016-06-21 2017-12-21 (주)메디코넷 3d 안면 피부 진단장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2845265A1 (fr) 2002-10-08 2004-04-09 Cognis France Sa Procede et dispositif de caracterisation et d'analyse de la reactivite et/ou l'hypersensibilite de la peau et application au domaine de la cosmetique
KR100853655B1 (ko) * 2006-12-15 2008-08-25 한국전기연구원 피부 질환의 광학 진단 및 치료를 위한 장치, 광원 시스템 및 장치의 이용방법
JP6273640B2 (ja) * 2013-10-23 2018-02-07 パナソニックＩｐマネジメント株式会社 撮影画像表示装置
CN108618752A (zh) * 2017-03-23 2018-10-09 丽宝大数据股份有限公司 肌肤产品适配方法及其电子装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140028415A (ko) * 2012-08-29 2014-03-10 한국전자통신연구원 피부분석을 위한 3차원 얼굴 모델 생성 장치 및 그 방법
KR20160144971A (ko) * 2014-04-18 2016-12-19 소니 주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
KR20160007754A (ko) * 2014-06-27 2016-01-21 주식회사 엘지유플러스 피부 분석 방법 및 이를 위한 장치
KR101738417B1 (ko) * 2015-07-20 2017-05-22 서울대학교병원 피부 상태 진단 및 치료를 위한 장치 및 방법
KR101810959B1 (ko) * 2016-06-21 2017-12-21 (주)메디코넷 3d 안면 피부 진단장치

Also Published As

Publication number Publication date
KR20190084771A (ko) 2019-07-17
KR102055881B1 (ko) 2019-12-13
US11449997B2 (en) 2022-09-20
US20210065369A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
WO2019139291A1 (ko) 피부 상태 측정용 모듈
WO2019108028A1 (ko) 포터블 피부 상태 측정 장치, 및 피부 상태 진단 및 관리 시스템
WO2020251217A1 (ko) 사용자 맞춤형 피부 진단 시스템 및 방법
WO2017188589A2 (en) Mobile hyperspectral camera system and human skin monitoring using a mobile hyperspectral camera system
KR102180920B1 (ko) 피부 상태 측정용 다중 이미지 획득 모듈
WO2019107666A1 (ko) 타이머를 포함하는 소변 검사용 스트립, 소변 검사용 스트립 검출 및 분석 방법
WO2011028000A2 (ko) 카메라를 이용한 검체 정량 측정 기기, 방법 및 시스템
WO2018182130A1 (ko) Ar을 이용한 셀프 뷰티앱 플랫폼 시스템 및 제공 방법
WO2021045367A1 (ko) 상담 대상자의 드로잉 과정을 통해 심리 상태를 판단하는 방법 및 컴퓨터 프로그램
CN106456433A (zh) 康复辅助系统
WO2011059127A1 (ko) 적외선 센서 및 이를 이용한 감지 방법
WO2021025458A1 (ko) 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치
WO2022131642A1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
WO2021182713A1 (ko) 낙상 예방을 위한 하이브리드 보행 분석장치 및 그를 포함하는 낙상 예방 관리시스템
WO2017022986A1 (ko) 개인용 건강 정보를 취득하기 위한 장치 및 그 방법
WO2020235914A1 (ko) 피부 상태 측정 및 케어용 디바이스, 및 이를 포함하는 피부 상태 측정 및 케어 시스템
WO2021045552A1 (en) Electronic device for image synthesis and operating method thereof
WO2020204366A2 (ko) 스캔 가이드 제공 방법 이를 위한 영상 처리장치
CN107231507A (zh) 摄像装置和摄像方法
WO2019039698A1 (ko) 외부 광에 기반하여 이미지를 처리하는 방법 및 이를 지원하는 전자 장치
WO2014157796A1 (ko) 진단 보조용 내시경 시스템 및 그 제어 방법
CN107205099A (zh) 图像捕获系统、图像形成装置以及图像捕获方法
WO2023106555A1 (ko) 등록된 확장현실 기기 사용자의 집중도를 관리 및 제어하는 방법, 장치 및 시스템
WO2022255730A1 (ko) 전자장치 및 그 제어방법
WO2022092423A1 (ko) 피부 및 모발 측정 및 분석 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18900122

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18900122

Country of ref document: EP

Kind code of ref document: A1