WO2019108028A1 - 포터블 피부 상태 측정 장치, 및 피부 상태 진단 및 관리 시스템 - Google Patents

포터블 피부 상태 측정 장치, 및 피부 상태 진단 및 관리 시스템 Download PDF

Info

Publication number
WO2019108028A1
WO2019108028A1 PCT/KR2018/015115 KR2018015115W WO2019108028A1 WO 2019108028 A1 WO2019108028 A1 WO 2019108028A1 KR 2018015115 W KR2018015115 W KR 2018015115W WO 2019108028 A1 WO2019108028 A1 WO 2019108028A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
face
skin condition
face image
processor
Prior art date
Application number
PCT/KR2018/015115
Other languages
English (en)
French (fr)
Inventor
유상욱
최용준
노시준
Original Assignee
주식회사 룰루랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 룰루랩 filed Critical 주식회사 룰루랩
Priority to US16/767,583 priority Critical patent/US11950921B2/en
Publication of WO2019108028A1 publication Critical patent/WO2019108028A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0431—Portable apparatus, e.g. comprising a handle or case

Definitions

  • the present invention relates to a portable skin condition measuring device, and a skin condition diagnosis and management system using the same.
  • the present invention relates to a skin condition measuring apparatus capable of effectively controlling a user's face position at the time of user's face photographing, and a skin condition diagnosis and management system using the same.
  • the conventional skin condition measuring apparatus for skin analysis is a device for measuring the skin condition based on predetermined photographing parameters (for example, intensity, direction, aperture value or shutter speed, etc.) The user's face was photographed.
  • photographing parameters for example, intensity, direction, aperture value or shutter speed, etc.
  • the conventional skin condition measuring device has the advantage that the user's photographing position is fixed, but it is inconvenient to carry and hold, and it is difficult to measure the skin condition at a place where the user wants to. It was difficult level.
  • a portable skin condition measuring device capable of carrying and carrying is developed as a skin measuring device, but a technology has been limitedly developed for a device capable of measuring a specific area of the skin, and a technique for analyzing the entire user's face There is still a technical problem to be solved in the technique of acquiring a clear face image for skin condition measurement.
  • the present invention relates to a skin condition measuring apparatus capable of effectively acquiring a whole image of a face by controlling the position of a user's face at the time of photographing a face of a user while being portable and portable.
  • the present invention also relates to a system for diagnosing and managing a skin condition using the skin condition measuring apparatus.
  • the present invention has been made to solve the above-mentioned problems,
  • the method comprising the steps of: forming a single user face image for skin condition measurement obtained by the user's face photographing camera, or creating a single user face image for each of a plurality of user face images acquired based on a plurality of shooting parameters set for extracting a specific area of the user face
  • a processor for extracting a specific region of a face and synthesizing a specific region of the extracted user face to form an entire user face image for skin condition measurement;
  • a controller for providing a face position change to the user when a partial area of the user's face is deviated from the user face image obtained by the user's face photographing camera, When the distance between the user and the camera is out of a preset value, the user may be offered to move the face position, or when a part of the user's face is deviated from the user face image acquired by the user's face photographing camera, And an output unit for suggesting a movement of a
  • the processor may analyze the brightness of a plurality of user face images obtained based on a plurality of preliminary photographing parameters, and set one or more of the plurality of preliminary photographing parameters to a plurality of photographing parameters.
  • the processor is configured to set a first preliminary imaging parameter to have a brightness value of a predetermined range for a first area of a user face image to a first imaging parameter, It is possible to set the second preliminary photographing parameter to have the brightness value in the predetermined range as the second photographing parameter.
  • the processor extracts a first face region from a first user face image obtained by the first imaging parameter, and extracts a second face region from a second user face image obtained by the second imaging parameter, And the first face region and the second face region may be combined to form an entire user's face image for skin condition measurement.
  • the processor may correct and synthesize the first face region and the second face region according to motion information of the sensed portable skin condition measuring apparatus.
  • the processor determines a brightness difference value between the first face area and the second face area in the vicinity of the first face area and the second face area boundary, and based on the brightness difference value, The composite weight for at least one of the first face region and the second face region is determined and the brightness of at least one of the first face region and the second face region is adjusted based on the composite weight value have.
  • the processor may determine an average skin color value or skin color distribution value of a single user face image or an entire user face image acquired by the user's face photographing camera, an average of a single user face image or a user's entire face image
  • the face color value or the skin color distribution value of the single user face image or the entire face image of the user may be compared with the average skin color value or the average skin color value of the single user face image or the entire user face, It can be corrected to the skin color distribution value.
  • the output includes a display and an audio output
  • the display may overlay a predetermined single user face image or an entire user face image to provide the user.
  • the portable skin condition measuring apparatus may further include a sensor unit having a distance sensor for measuring the distance between the user and the camera, If the distance is out of the predetermined range, the user is suggested to move the face position, and the processor can control the proposal of moving the face of the output unit according to the distance between the user and the camera measured by the sensor unit.
  • the portable skin condition measuring apparatus may further include a communication unit for transmitting the single user face image or the entire user face image to an external user terminal, for example.
  • the processor can control the communication unit to transmit data for the single user face image or the entire user face to the user terminal.
  • the present invention also relates to a skin condition diagnosis and management system.
  • the skin condition diagnosis and management system includes the portable skin condition measurement device and the user terminal, wherein the user terminal analyzes the single user face image transmitted from the portable skin condition measurement device, Extracts a specific area of the user's face from each of the plurality of user's face images transmitted from the portable skin condition measuring device, synthesizes a specific area of the extracted user's face, An application for recommending a product for improving the skin condition of the user based on the diagnosis result of the skin condition by analyzing the entire image of the user's face after forming the image to provide a diagnosis result of the skin condition.
  • the portable skin condition measuring apparatus can easily measure the skin condition in a desired place by carrying and carrying.
  • the portable skin condition measuring apparatus can acquire a clear whole face image by effectively controlling the user's face position at the time of user's face photographing.
  • the portable skin condition measuring apparatus can improve the accuracy of the facial skin analysis result by acquiring the facial image having the uniform brightness distribution over the entire area of the user's face.
  • the portable skin condition measuring apparatus can perform diagnosis of a skin condition and recommendation of a customized product in cooperation with a user terminal.
  • FIG. 1 is a block diagram briefly showing a configuration of a portable skin condition measuring apparatus according to the present invention.
  • FIG. 2 is a block diagram showing a detailed configuration of a portable skin condition measuring apparatus according to the present invention.
  • FIG. 3 is a schematic view of a portable skin condition measuring apparatus for controlling a user's face position according to the present invention.
  • 4 to 13 are diagrams for explaining a skin condition diagnosis and management system according to the present invention.
  • 16 and 17 are block diagrams for explaining a skin condition diagnosis and management system implemented by the skin condition measuring apparatus according to the present invention.
  • the term &quot As used herein, the term " general term " is used to refer to functions of the present invention. However, the present invention is not limited to the intention or the precedent of the present invention. Also, in certain cases, there may be a term selected arbitrarily by the applicant, in which case the meaning thereof will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term, not on the name of a simple term, but on the entire contents of the present invention.
  • Embodiments of the present invention are capable of various transformations and may have various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the description. It should be understood, however, that it is not intended to limit the scope to any particular embodiment, but is intended to cover all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS In the following description of the embodiments of the present invention,
  • a "module” or a “sub” performs at least one function or operation, and may be implemented in hardware or software, or a combination of hardware and software.
  • a plurality of 'modules' or a plurality of 'parts' may be integrated into at least one module except for 'module' or 'module' which need to be implemented by specific hardware, and implemented by at least one processor (not shown) .
  • the present invention relates to a portable skin condition measuring apparatus.
  • the skin condition measuring apparatus according to the present invention is a portable apparatus.
  • the term " portable " means that the measuring apparatus is movable, and that the apparatus is a portable apparatus capable of being photographed at a desired position and place.
  • the existing skin condition measuring apparatuses are portable and non-portable.
  • the non-portable skin condition measuring apparatus since the apparatus is large and expensive, it is difficult to easily measure the condition of the user's skin at a desired place there was.
  • the present inventor has introduced a configuration for enabling a user to effectively acquire the entire image of the user's face without departing from the user's face image by effectively controlling the position of the user's face. Accordingly, the apparatus for measuring skin condition according to the present invention can effectively acquire an entire image of a user's face without leaving the apparatus while being portable, and ultimately diagnose the skin condition of the user clearly.
  • FIG. 1 is a block diagram of a configuration of a portable skin condition measuring apparatus according to the present invention.
  • a portable skin condition measuring apparatus 100 includes a user's face photographing camera 110, an output unit 120, and a processor 130.
  • the user's face photographing camera 110 photographs a face of a user.
  • the camera 110 may acquire a user's face image by photographing a user's face based on an arbitrary photographing parameter.
  • the user face image acquired by the camera 110 may be, for example, a user face image for the formation of a single user face image described later, or a plurality of user face images for the formation of an entire user face image .
  • &quot single-user face image " refers to a single image acquired by the camera 110 for skin condition analysis and formed by the processor 130, For the sake of differentiating the user's entire face image formed through a specific region extraction and synthesis technique of a plurality of user face images, the term is used herein.
  • the term " entire user face image " is formed through a technique of extracting a specific face area from each of a plurality of user face images obtained based on a plurality of photographing parameters and synthesizing them, The face image of the user.
  • the camera 110 may capture a user's face based on any imaging parameters to obtain a user's face image.
  • the user face image may be formed by the processor 130 as a single user face image.
  • the camera 110 may acquire a plurality of images by photographing a user's face based on a plurality of photographing parameters.
  • the camera may acquire a plurality of images by photographing the user's face a plurality of times based on different photographing parameters (intensity of the light source unit, shutter speed value, aperture value, etc.).
  • the apparatus for measuring portable skin condition includes a processor 130.
  • the processor 130 controls the entire operation of each component in the portable skin condition measuring device.
  • each individual configuration of the portable skin condition measuring device according to the present invention is controlled and operated by the processor 130.
  • the processor 130 may control the overall operation of the portable skin condition measuring apparatus 100 using various programs stored in the memory 170, which will be described later.
  • the processor 130 establishes, among other various control operations, the acquisition of a single user face image, or the acquisition of an entire user face image.
  • the processor 130 forms a single user face image for the skin condition measurement obtained by the user's face photographing camera, or obtains a face image obtained based on a plurality of photographing parameters set for extracting a specific area of the user face
  • a specific area of the user's face is extracted from each of the plurality of user's face images and a specific area of the extracted user's face is synthesized to form an entire user's face image for skin condition measurement.
  • a photographing parameter for analyzing the skin of the user's face is set by the processor 130.
  • the photographing parameters may include, for example, at least one of the intensity of the light source unit, the direction of the light source unit, the shutter speed, and the aperture value provided in the portable skin condition measuring apparatus, and may be set differently for each user.
  • the processor 130 may analyze the brightness of the user face image obtained based on the preliminary imaging parameters, and set the preliminary imaging parameters as imaging parameters.
  • the preliminary photographing parameter may be determined according to the external illumination environment.
  • the processor 130 may acquire a user face image based on imaging parameters set on the basis of the preliminary imaging parameters, and set the user face image as a single user face image for skin condition measurement.
  • the processor 130 may analyze the brightness of a plurality of user face images obtained based on the plurality of preliminary photographing parameters and set one or more of the plurality of preliminary photographing parameters as a plurality of photographing parameters.
  • the processor 130 may set the first preliminary imaging parameter to the first imaging parameter corresponding to the first area of the user's face. Further, when the image photographed based on the second preliminary photographing parameter among the plurality of preliminary photographing parameters has a predetermined brightness value for a second area (e.g., a face outer area) of the user's face, the processor 130 May set the second preliminary photographing parameter to the second photographing parameter corresponding to the second area of the user's face.
  • the processor 130 sets a first preliminary photographing parameter to have a brightness value of a predetermined range for the first area of the user's face image as a first photographing parameter, It is possible to set the second preliminary photographing parameter to have the brightness value in the set range as the second photographing parameter.
  • the processor 130 extracts a specific area of the user face from each of the plurality of user face images obtained based on the set plurality of photographing parameters.
  • the processor 130 acquires a first user face image by capturing a user face based on the first imaging parameter, captures a user face based on the second imaging parameter, and acquires a second user face image can do.
  • the processor 130 may extract a user face region corresponding to each of the plurality of images from the plurality of images, and may synthesize the extracted user face regions to obtain the entire user face image.
  • the processor 130 extracts a first face area from the first user face image obtained by the first photographing parameter, and extracts a second face area from the second user face image obtained by the second photographing parameter, Can be extracted.
  • the processor 130 may combine the first face region and the second face region to form an entire user's face image for skin condition measurement.
  • the processor 130 may correct the first face region and the second face region according to the sensed movement information of the portable skin diagnostic apparatus. That is, when the movement of the portable skin condition measuring apparatus 100 is detected during the photographing of the second user face image, the processor 130 may correct the second face region according to the motion of the detected apparatus. According to another embodiment, the processor 130 may correct the second user face image before extracting the second face area according to the movement of the portable skin condition measuring apparatus 100. [ The detection of the motion as described above can be performed, for example, by the sensor unit 160 described later.
  • the processor 130 may perform brightness correction to combine the first face region and the second face region.
  • the processor 130 may determine a brightness difference value between the first face region and the second face region in the vicinity of the boundary between the first face region and the second face region.
  • the processor 130 may determine a composite weight for at least one of the first face region and the second face region based on the brightness difference value.
  • the composite weight may be a weight for adjusting the brightness.
  • the processor 130 may adjust the brightness of at least one of the first face area and the second face area based on the composite weight.
  • the skin color distribution value can be corrected to a predetermined value. That is, the processor 130 corrects the average skin color value or the skin color distribution value of the single user face image or the entire user face, which is changed at each photographing by the white balance function of the camera, to a predetermined value, The problem of the reproducibility degradation of the measurement can be solved.
  • the processor 130 determines whether the average skin color value or skin color distribution value of the single user face image or the entire user face image acquired by the camera 110 and the predefined single user face image or user face The average skin color value or the skin color distribution value of the whole image is determined and the average skin color value or skin color distribution value of the single user face image or the entire user face is corrected to the predetermined average skin color value or skin color distribution value .
  • the correction of the skin color value or the skin color distribution value difference may be performed using, for example, image processing techniques such as histogram matching, but is not limited thereto.
  • the average skin color value or skin color distribution value of the preset single user face image or the entire face of the user is stored in the memory unit 170 or a server described later, Or the average skin color value or skin color distribution value of the entire user face image.
  • the apparatus for measuring portable skin condition includes an output unit 120.
  • the output unit 120 proposes a movement of a face to a user when a partial area of the user's face is deviated from a user's face image obtained by the user's face photographing camera or a distance sensor If the distance between the user and the camera measured by the distance measuring unit exceeds a predetermined value, the user may be offered to move the face position, And when the distance between the user and the camera measured by the distance sensor measuring the distance between the user and the camera is out of a preset value, the user is suggested to move the face.
  • the processor 130 may control the suggestion of the face position movement for the user of the output unit 120, as shown in FIG.
  • the portable skin condition measuring apparatus can effectively acquire the entire image of the user's face through the configuration of the output unit 120 that proposes the face position movement for the user.
  • the face position movement proposal for the user may include a face position movement prediction step of, when the user's face image is obtained by the user's face photographing camera and / or the distance measured by the distance sensor measuring the distance between the user and the camera, And when the distance between the user and the camera deviates from a predetermined value.
  • the suggestion of movement of the user's face by the output unit 120 may be performed when a part of the user's face is deviated from the user's face image obtained by the user's face photographing camera.
  • the degree of departure of the user's face region may be determined based on data stored in the sensing module stored in the memory 170, for example, controlled by the processor 130.
  • the degree of departure of the user's face region can be determined based on whether the detection of the face of the user is detected from the face image of the user, or the face of the face is cut off at the boundary.
  • the face contour can be obtained through landmark detection or edge detection technology or the like.
  • the suggestion of movement of the user's face by the output unit 120 may be performed when the distance between the user and the camera measured by the distance sensor measuring the distance between the user and the camera is out of a predetermined value .
  • the distance between the user and the camera is measured by a distance sensor.
  • the distance sensor may be included in the sensor unit 160, for example.
  • the portable skin condition measuring apparatus 100 may further include a sensor unit 160 having a distance sensor for measuring the distance between the user and the camera.
  • the output unit 120 proposes a face position movement to the user, The user can control the proposal of the face position movement of the output unit 120 according to the distance between the user and the camera 110 measured by the unit 160.
  • the sensor unit 160 includes a distance sensor to measure the distance between the user and the camera, and associates the measurement result with a sensing module of the memory 170, It is possible to control the movement proposal and propose the movement of the face position by the output unit 120.
  • the sensor unit 160 senses the external illumination and detects intensity and direction of the light source unit; And a preliminary photographing parameter including a shutter speed, an aperture value, and an exposure value of the camera, and may detect the motion information of the skin condition measuring device as described above.
  • the distance sensor of the sensor unit 160 may be an ultrasonic sensor or a ToF (Time of Flight) sensor.
  • the sensor unit 160 may further include a motion sensor (for example, an acceleration sensor, a gyro sensor, an electromagnetic sensor, etc.) for detecting movement of the portable skin condition measuring apparatus 100, in addition to the distance sensor.
  • a motion sensor for example, an acceleration sensor, a gyro sensor, an electromagnetic sensor, etc.
  • the suggestion of movement of the user's face by the output unit 120 may be made in the two cases, specifically, when a part of the user's face is deviated from the user's face image acquired by the user's face photographing camera, And the distance between the user and the camera measured by the distance sensor measuring the distance between the camera and the camera is out of a preset value.
  • the processor 130 that controls the sensor unit 160 having the distance sensor, the memory 170, the output unit 120, and the sensor unit 160, the memory 170, and the output unit 120 It is possible to prevent an inaccurate facial image acquisition due to a user's facial deviation from occurring in advance and obtain a clearer user facial image.
  • the output unit 120 may perform a face position movement proposal to the user, wherein, in one example, the output unit 120 may include a display and an audio output, And can be performed by an audio output unit.
  • the display of the output unit 120 may suggest a movement of a user's face based on an image of a user who has been previously photographed.
  • the display of the output unit 120 may suggest a movement of a user's face based on a preset single user face image or a user's entire face image.
  • the display of the output unit 120 can suggest a movement of the user's face by overlaying the predetermined single user face image or the entire user face image to the user.
  • the predetermined single user face image or the entire user face image may be obtained by the user's face photographing camera and may mean the user face image stored in the memory 170 or the server.
  • the display may display various image data and UI in addition to the proposal of the face position movement.
  • the audio output unit of the output unit 120 can perform, for example, a suggestion of moving a face position by voice.
  • the audio output unit may output various kinds of notification sounds or voice messages in addition to suggestion of movement of the face position.
  • the suggestion of moving the face of the output unit 120 may be performed by an LED that implements a specific color or an arrow indicating a desired face movement direction.
  • FIG. 3 is a schematic view of a portable skin condition measuring apparatus for controlling a user's face position according to the present invention.
  • the portable skin condition measuring apparatus may include a step (A) of checking whether a user's face area is deviated from a real-time streaming image through a camera, (A) the distance between the user and the camera (110) by the sensor unit (160) having the distance sensor, and the movement of the face according to the distance Proposal (B) can be done.
  • the proposal of the face position movement can be implemented through voice, image, LED and the like.
  • the apparatus for measuring portable skin condition may further include a light source unit 150.
  • the light source unit 150 may include at least one light source, and the light source may provide light toward the user's face. At this time, the light source may be designed to emit at least one of red light, green light, and blue light and emit white light in the light source unit 150, for example. Meanwhile, the light source unit 150 may provide different intensities under the control of the processor 130.
  • the portable skin condition measuring apparatus can analyze a single user face image formed by the processor 130 or an entire user face image by itself.
  • the portable skin condition measuring apparatus may further include a communication unit 140.
  • the portable skin condition measuring apparatus may further include a communication unit 140 for transmitting a single user face image or an entire user face image to an external user terminal.
  • the processor 130 may control the communication unit 140 to transmit data for the single user face image or the entire user face image to the user terminal 200.
  • the communication unit 140 may receive a request to take a user's face from, for example, an external user terminal 200 and may also send a single user face image or an entire user face image to the external user terminal 200 have.
  • the communication unit 140 may be implemented as a Bluetooth module, but it may be realized by various communication modules such as a stationary communication module, a Wi-Fi communication module, or an NFC communication module.
  • the portable skin condition measuring apparatus transmits the single user face image or the entire user face image to the external user terminal 200, but this is merely an example, May transmit a plurality of user face images obtained with the external user terminal 200 to the external user terminal 200.
  • the user terminal 200 can analyze a skin condition of a user's face by extracting and synthesizing a specific face region in the same manner as that performed by the processor 130 described above.
  • the processor 130 directly analyzes the single user face image or the entire user face image to obtain skin condition information on at least one of pigmentation, acne, sebum, pores, and wrinkles on the user's face, And output the status information through the output unit 120.
  • the portable skin condition measuring apparatus may further include a memory 170.
  • the memory 170 may store various modules for driving the portable skin condition measuring apparatus 100.
  • the memory 170 may store software including a base module, a sensing module, a communication module, a presentation module, a web browser module, and a service module.
  • the base module is a basic module that processes signals transmitted from respective hardware included in the portable skin condition measuring device 100 and transfers the processed signals to an upper layer module.
  • the sensing module is a module for collecting information from various sensors and analyzing and managing the collected information, and may include a face recognition module, a distance measurement module, a voice recognition module, and a motion recognition module.
  • the presentation module is a module for constructing a display screen, and may include a multimedia module for reproducing and outputting multimedia contents, a UI, and a UI rendering module for performing graphics processing.
  • the communication module is a module for performing communication with the outside.
  • a web browser module refers to a module that accesses a web server by performing web browsing.
  • a service module is a module including various applications for providing various services.
  • the memory 170 may include various program modules, but it is needless to say that the various program modules may be partially omitted, modified or added depending on the type and characteristics of the portable skin condition measuring apparatus 100.
  • the memory 170 may store a plurality of photographing parameters for each user.
  • the memory 170 may be implemented as a nonvolatile memory, a volatile memory, a flash memory, a hard disk drive (HDD), or a solid state drive (SSD). Memory 170 is accessed by processor 130 and read / write / modify / delete / update of data by processor 130 may be performed.
  • the portable skin condition measuring apparatus may further include an input unit 180.
  • the input unit 180 may input a user command to operate the portable skin condition measuring apparatus 100 and transmit information on the user command to the processor 130.
  • the input unit 180 may be a button (for example, a button for photographing) provided in the portable skin condition measuring apparatus 100, but it may be implemented by another input apparatus .
  • the input unit 180 may be implemented by a touch panel or a (digital) pen sensor for sensing a user's touch.
  • the touch panel may use at least one of electrostatic, pressure sensitive, infrared, and ultrasonic methods, for example. Further, the touch panel may further include a control circuit.
  • the input unit 180 may be implemented as a touch panel, a pen sensor, or the like, and may be implemented as a microphone or a pointing device for inputting a user's utterance.
  • the present invention also relates to a skin condition diagnosis and management system using the portable skin condition measuring apparatus.
  • the skin condition diagnosis and management system includes a portable skin condition measurement apparatus 100 and a user terminal 200.
  • the portable skin condition measuring apparatus 100 includes a camera 110, an output unit 120, and a processor 130, as described above.
  • the portable skin condition measuring apparatus 100 may include the communication unit 140, the light source unit 150, the sensor unit 160, the memory 170, and the input unit 180 described above.
  • the user terminal 200 may analyze the single user face image transmitted from the portable skin condition measuring device, analyze the whole user's face image transmitted from the portable skin condition measuring device, Extracting a specific area of the user's face from each of a plurality of received user face images, composing a specific area of the extracted user face to form an entire user face image, (Hereinafter referred to as " skin analysis application ") that recommends a product for improving the user's skin condition based on the skin condition diagnosis result.
  • &quot skin analysis application &quot
  • the skin condition diagnosis and management system includes a portable skin condition measurement apparatus (100).
  • the portable skin condition measuring apparatus 100 includes a processor 130.
  • the processor 130 in cooperation with the external user terminal 200, provides information on the skin condition of the user's face, will be described in detail with reference to FIG. 4 to FIG.
  • Fig. 4 shows a start screen of the skin analysis application included in the user terminal 200.
  • the start screen of the skin analysis application may include a UI for user login.
  • the skin analysis application is executed in response to a user's command, and when a user login is performed, the user terminal 200 can search for an external portable skin condition measurement device 100 that can communicate with the user.
  • the user terminal 200 may display a screen for guiding the search of the external portable skin condition measuring apparatus 100.
  • the user terminal 200 can perform communication with the external portable skin condition measuring apparatus 100. At this time, the user terminal 200 can communicate with the portable skin condition measuring apparatus 100 using Bluetooth communication or Wifi communication. When communication is established between the user terminal 200 and the portable skin condition measuring apparatus 100, the user terminal 200 may transmit information about the logged-in user to the portable skin condition measuring apparatus 100.
  • the processor 130 of the portable skin condition measuring apparatus 100 may determine whether or not the photographing parameter for the logged-in user is set in advance. When the photographing parameter corresponding to the logged-in user is not previously set, the processor 130 can analyze the brightness of the user's face image obtained based on the preliminary photographing parameter, and set the preliminary photographing parameter as the photographing parameter.
  • the processor 130 can acquire a user's face image by photographing the user's face based on the photographing parameter through the user's face photographing camera 110.
  • the user face image may be transmitted to the user terminal through the communication unit 160 of the portable skin condition measuring apparatus and used as a single user face image for skin condition analysis.
  • a specific area of the user's face is extracted from each of a plurality of user's face images obtained based on the plurality of preliminary photographing parameters and photographing parameters, and a specific area of the user's face is obtained by synthesizing the specific area.
  • the processor 130 of the portable skin condition measuring apparatus 100 can judge whether or not a plurality of photographing parameters for the logged-in user are preset. When a plurality of photographing parameters corresponding to the logged-in user are not pre-set, the processor 130 analyzes the brightness of a plurality of user face images obtained based on the plurality of preliminary photographing parameters, Any one or more of them can be set to a plurality of photographing parameters.
  • the processor 130 may acquire a plurality of images by photographing the user's face based on the plurality of preliminary photographing parameters through the user's face photographing camera 110.
  • the processor 130 may acquire the first through n-th images by taking a user's face based on the first through n-th pre-shooting parameters.
  • the preliminary photographing parameters include intensity and direction of the light source unit 120; And the shutter speed, the aperture value, and the exposure value of the camera 110, and the values may be determined according to the external illumination sensed by the sensor unit 160.
  • the processor 130 sets the first preliminary photographing parameter It is possible to set the first photographing parameter corresponding to the center area. If the image photographed based on the second preliminary photographing parameter among the plurality of preliminary photographing parameters has a brightness value in a predetermined range with respect to the outer area of the user's face, the processor 130 sets the second preliminarily- The second photographing parameter corresponding to the outer area of the photographing area. That is, the processor 130 can set the preliminary imaging parameters having the optimum brightness values in the central area and the outer area of the user's face as the imaging parameters corresponding to the respective areas.
  • the user face is divided into two regions (for example, a center region and an outer region).
  • the user face is divided into three or more regions, Can be set.
  • the processor 130 may acquire a plurality of images by photographing the user's face based on a plurality of predetermined imaging parameters through the user's face photographing camera 110.
  • the processor 130 may acquire a second user facial image photographed using the first user facial image and the second photographing parameter photographed using the first photographing parameter.
  • the first user face image may include a center area 510-1 having a first range of brightness values and an outer area 520-1 having a second range of brightness values as shown in FIG.
  • the second user face image includes a center area 510-2 having a third range of brightness values and an outer area 520-2 having a fourth range of brightness values as shown in FIG.
  • the first range and the fourth range may overlap each other. That is, the first range and the fourth range may have the same or similar brightness values.
  • the processor 130 may also extract corresponding user face regions from the plurality of user face images and synthesize the extracted regions to generate an entire user face image.
  • the processor 130 extracts the center area 510-1 from the first user face image, extracts the outer area 520-2 from the second user face image, as shown in FIG. 8,
  • the center area 510-1 and the outer area 520-2 may be combined to generate the entire user's face image 530.
  • the entire user's face image 530 may have an overall uniform brightness value as shown in FIG.
  • the user face movement proposal which is controlled by the processor 130 according to the present invention and implemented by the output unit 120, may be performed before the step of acquiring the user face image based on the preliminary shooting parameters, Obtaining a plurality of user face images based on the parameters, and obtaining the plurality of user face images based on the plurality of photographing parameters.
  • the processor 130 may control the communication unit 140 to transmit a single user face image for skin condition measurement or an entire user face image to the external user terminal 200.
  • the application of the user terminal 200 can display the received single user face image or the entire user face image, as shown in Fig.
  • the application of the user terminal 200 may provide a skin condition diagnosis result for a user face based on a single user face image or an entire user face image.
  • the application of the user terminal 200 may separate a single user face image or a whole user face image into a melanin image and a hemoglobin image using a dye separation technique.
  • the application can acquire information on the degree of tingling and skin tone by analyzing the melanin image, and analyze the hemoglobin image to acquire information on the erythema existing on the user's face.
  • the application of the user terminal 200 may analyze the RGB of a single user face image or an entire user face image to obtain information on the acne existing on the user's face (for example, The probability of occurrence of acne, etc.).
  • the application of the user terminal 200 may obtain information on sebum present in the user's face from UV images of a single user face image or an entire user face image.
  • the application of the user terminal 200 analyzes RGB of a single user face image or an entire user's face image to determine information (e.g., presence or absence of pores, The depth of the pores, etc.) can be obtained.
  • the application of the user terminal 200 may analyze the RGB of a single user face image or an entire user face image to obtain information on the wrinkles existing on the user's face (e.g., The depth of wrinkles, etc.) can be obtained.
  • the application of the user terminal 200 can output information on the acquired skin condition of the user's face.
  • the application of the user terminal 200 is shown in FIG. A UI that visually provides information on the skin condition can be displayed.
  • the application of the user terminal 200 may display a UI including history information on the analyzed skin condition, as shown in FIG.
  • the application of the user terminal 200 may display a UI for providing information on skin trouble prevention information and recommended cosmetics.
  • the application recommends a product for improving the user's skin condition based on the skin condition diagnosis result.
  • the application of the user terminal 200 can provide a chat service with the skin consultant, as shown in FIG.
  • FIG. 14 and 15 are sequence diagrams of a skin condition diagnosis and management system using the skin condition measuring apparatus according to the present invention.
  • FIG. 14 is a sequence diagram for a system for forming a single user face image and diagnosing and managing the skin condition on the basis thereof
  • FIG. 15 is a system for forming a whole image of a user face and diagnosing and managing the skin condition based thereon ≪ / RTI >
  • the portable skin condition measuring apparatus 100 sets a photographing parameter or a plurality of photographing parameters (S710). At this time, the portable skin condition measuring apparatus 100 may set the plurality of preliminary imaging parameters, which can acquire an image having an optimal brightness value for each area of the user's face among a plurality of preliminary imaging parameters, as a plurality of imaging parameters.
  • step S710 may be performed after step S720.
  • the portable skin condition measuring apparatus 100 may acquire a user's face image or a plurality of images by photographing the user's face based on the photographing parameters or the plurality of photographing parameters (S730).
  • the portable skin condition measuring apparatus 100 may generate a single user face image or an entire user face image (S740). Specifically, the portable skin condition measuring apparatus 100 can form a user face image obtained based on the set photographing parameters into a single user face image, or can make a correspondence for each of a plurality of images obtained by a plurality of photographing parameters And extracts the user face regions, and synthesizes the extracted user face regions to generate an entire user face image.
  • the portable skin condition measuring apparatus 100 may transmit a single user face image or an entire user face image to the user terminal 200 (S750).
  • the user terminal 200 may analyze the single user face image or the entire user face image (S760).
  • the user terminal 200 may obtain information (e.g., acne, hue, wrinkles, etc.) about the skin condition of the user's face by analyzing the entire user's face image.
  • the user terminal 200 can provide information on the skin condition of the user's face and product recommendation for skin condition improvement (S770).
  • a real-time review (A) of the process 130 may be performed before the scam step S710 and before the S730.
  • the skin condition measuring apparatus can perform the above-described skin condition diagnosis and information providing function, and will be described in detail below.
  • FIGS. 16 and 17 are block diagrams illustrating a skin condition diagnosis and management system according to the present invention implemented by a skin condition measurement apparatus.
  • steps S910 to S930 shown in Figs. 16 and 17 are duplicated in the above-described skin condition diagnosis and management system, a detailed description thereof will be omitted.
  • the portable skin condition measuring apparatus 100 may determine the skin condition of the user's face by analyzing the single user face image or the synthesized user's entire face image (S940). Specifically, the portable skin condition measuring apparatus 100 analyzes a single user's face image or a synthesized user's entire face image to detect skin troubles (e.g., acne, pore, wrinkles, etc.) Information about the state can be obtained.
  • skin troubles e.g., acne, pore, wrinkles, etc.
  • the above-described methods may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination.
  • the program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software.
  • Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.
  • program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.
  • the above hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Dermatology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 포터블 피부 상태 측정 장치 및 이를 이용하는 피부 상태 진단 및 관리 시스템에 대한 것이다. 본 발명에 따른 피부 상태 측정 장치는 휴대가 간편한 포터블 형태이면서, 사용자의 얼굴 촬영 시 사용자의 얼굴 위치를 효과적으로 제어함으로써, 명확한 사용자의 얼굴 전체 이미지를 획득할 수 있다.

Description

포터블 피부 상태 측정 장치, 및 피부 상태 진단 및 관리 시스템
본 발명은 포터블 피부 상태 측정 장치, 및 이를 이용한 피부 상태 진단 및 관리 시스템에 대한 것이다.
보다 구체적으로, 본 발명은 사용자의 얼굴 촬영 시 사용자의 얼굴 위치를 효과적으로 제어할 수 있는 피부 상태 측정 장치 및 이를 이용한 피부 상태 진단 및 관리 시스템에 대한 것이다.
근래에는 미에 대한 관심이 증가하면서, 사용자 얼굴의 피부 미용에 대한 관심이 높아지고 있다. 특히, 사용자의 얼굴 피부를 촬영하여 사용자 얼굴에 있는 다양한 피부 트러블(예를 들어, 주름, 모공 및 여드름 등) 등을 분석하는 포터블 피부 상태 측정 장치가 개발되고 있다.
한편, 종래의 피부 분석을 위한 피부 상태 측정 장치는 사용자 얼굴이 피부 상태 측정 장치에 넣어진 상태에서 기 설정된 촬영 파라미터(예를 들어, 광원의 세기, 방향, 조리개값 또는 셔터 스피드 등)을 바탕으로 사용자 얼굴을 촬영하였다.
종래의 피부 상태 측정 장치는, 사용자의 촬영 위치가 고정되는 장점은 있으나, 휴대와 소지가 불편하였고, 사용자가 목적하는 장소에서 피부 상태를 측정하는 것이 곤란하다는 점이 있었으며, 가격도 일반 소비자가 구매하기 어려운 수준이었다.
한편, 피부 측정 장치로써, 휴대와 소지가 가능한 포터블 피부 상태 측정 장치가 개발되고 있으나, 피부의 특정 면적을 측정할 수 있는 기기에 제한적으로 기술 개발이 이루어진 상태이고, 사용자 얼굴 전체를 분석하기 위한 기술 및 피부 상태 측정을 위한 명확한 사용자 얼굴 영상의 획득 기술에는 여전히 기술적으로 해결해야되는 문제가 있다.
본 발명은 휴대가 간편한 포터블 형태이면서, 사용자의 얼굴 촬영 시 사용자의 얼굴 위치를 제어함으로써, 효과적으로 얼굴 전체 이미지를 획득할 수 있는 피부 상태 측정 장치에 대한 것이다.
본 발명은 또한, 상기 피부 상태 측정 장치를 이용하여 피부 상태를 진단 및관리하는 시스템에 대한 것이다.
본 발명은 상기 과제를 해결하기 위하여 안출 된 것으로써, 사용자 얼굴 촬영용 카메라; 상기 사용자 얼굴 촬영용 카메라에 의해 획득된 피부 상태 측정을 위한 단일 사용자 얼굴 이미지를 형성하거나, 또는 사용자 얼굴의 특정 영역을 추출하기 위해 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성하는 프로세서; 및 상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우, 사용자에게 얼굴 위치 이동을 제안하거나, 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안하거나, 또는 상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우 및 상기 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안하는 출력부를 포함하고, 상기 프로세서는 상기 출력부의 얼굴 위치 이동 제안을 제어하는 포터블 피부 상태 측정 장치에 대한 것이다.
하나의 예시에서, 상기 프로세서는 복수의 예비 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지의 밝기를 분석하여, 상기 복수의 예비 촬영 파라미터 중 어느 하나 이상을 복수의 촬영 파라미터로 설정할 수 있다.
하나의 예시에서, 상기 프로세서는, 사용자 얼굴 이미지의 제 1 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제 1 예비 촬영 파라미터를 제 1 촬영 파라미터로 설정하고, 사용자 얼굴 이미지의 제 2 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제 2 예비 촬영 파라미터를 제 2 촬영 파라미터로 설정할 수 있다.
하나의 예시에서, 상기 프로세서는 상기 제 1 촬영 파라미터에 의해 획득된 제 1 사용자 얼굴 이미지로부터 제 1 얼굴 영역을 추출하고, 상기 제 2 촬영 파라미터에 의해 획득된 제 2 사용자 얼굴 이미지로부터 제 2 얼굴 영역을 추출하며, 상기 제 1 얼굴 영역 및 제 2 얼굴 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성할 수 있다.
하나의 예시에서, 상기 프로세서는 감지된 포터블 피부 상태 측정 장치의 움직임 정보에 따라 상기 제 1 얼굴 영역 및 상기 제 2 얼굴 영역을 보정하여 합성할 수 있다.
하나의 예시에서, 상기 프로세서는 상기 제 1 얼굴 영역과 상기 제 2 얼굴 영역 경계 부근에서 상기 제 1 얼굴 영역과 상기 제 2 얼굴 영역 사이의 밝기 차이값을 판단하고, 상기 밝기 차이값을 바탕으로 상기 제 1 얼굴 영역 및 상기 제 2 얼굴 영역 중 적어도 어느 하나에 대한 합성 가중치를 판단하여 상기 합성 가중치를 바탕으로 상기 제 1 얼굴 영역 및 상기 제 2 얼굴 영역 중 적어도 어느 하나의 밝기를 조절하여 합성할 수 있다.
하나의 예시에서, 상기 프로세서는 상기 사용자 얼굴 촬영용 카메라에 의해 획득된 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지의 평균 피부색 값 혹은 피부색 분포 값과 기 설정되어 있는 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지의 평균 피부색 값 혹은 피부색 분포 값의 차이를 판단하여, 상기 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지의 평균 피부색 값 혹은 피부색 분포 값을 상기 기 설정되어 있는 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지의 평균 피부색 값 혹은 피부색 분포 값으로 보정할 수 있다.
하나의 예시에서, 상기 출력부는, 디스플레이 및 오디오 출력부를 포함하고, 상기 디스플레이는, 기 설정된 단일 사용자 얼굴 이미지 혹은 사용자 얼굴 전체 이미지를 오버레이하여 사용자에게 제공할 수 있다.
본 발명에 따른 포터블 피부 상태 측정 장치는, 예를 들면, 상기 사용자와 카메라 사이의 거리를 측정하는 거리 센서를 가지는 센서부를 더 포함하고, 상기 출력부는 상기 센서부에서 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안하며, 상기 프로세서는 상기 센서부에서 측정된 상기 사용자와 카메라 사이의 거리에 따른 출력부의 얼굴 위치 이동 제안을 제어할 수 있다.
본 발명에 따른 포터블 피부 상태 측정 장치는, 예를 들면, 외부 사용자 단말로 상기 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 전송하는 통신부를 더 포함할 수 있다. 이 경우, 상기 프로세서는 상기 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지에 대한 데이터를 사용자 단말로 전송하도록 상기 통신부를 제어할 수 있다.
본 발명은 또한, 피부 상태 진단 및 관리 시스템에 대한 것이다. 상기 피부 상태 진단 및 관리 시스템은, 상기 포터블 피부 상태 측정 장치 및 사용자 단말을 포함하고, 상기 사용자 단말은 상기 포터블 피부 상태 측정 장치로부터 전송 받은 단일 사용자 얼굴 이미지를 분석하거나, 상기 포터블 피부 상태 측정 장치로부터 전송 받은 사용자 얼굴 전체 이미지를 분석하거나, 또는 상기 포터블 피부 상태 측정 장치로부터 전송 받은 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고, 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 사용자 얼굴 전체 이미지를 형성한 후, 상기 사용자 얼굴 전체 이미지를 분석하여 피부 상태 진단 결과를 제공하고, 상기 피부 상태 진단 결과를 바탕으로 사용자의 피부 상태를 개선하기 위한 제품을 추천하는 어플리케이션을 포함한다.
본 발명에 따른 포터블 피부 상태 측정 장치는 휴대 및 소지가 간편하여 목적하는 장소에서 쉽게 피부 상태를 측정할 수 있다.
또한, 본 발명에 따른 포터블 피부 상태 측정 장치는 사용자의 얼굴 촬영 시 사용자의 얼굴 위치를 효과적으로 제어함으로써, 명확한 얼굴 전체 이미지를 획득할 수 있다.
더욱이, 본 발명에 따른 포터블 피부 상태 측정 장치는 사용자 얼굴의 전 영역에 고른 밝기 분포를 갖는 얼굴 이미지를 획득함으로써, 얼굴 피부 분석 결과의 정확도를 높일 수 있다.
나아가, 본 발명에 따른 포터블 피부 상태 측정 장치는 사용자 단말과 연동되어 피부 상태의 진단 및 맞춤 제품의 추천을 수행할 수 있다.
물론, 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.
도 1은 본 발명에 따른 포터블 피부 상태 측정 장치의 구성을 간략히 도시한 블록도이다.
도 2는 본 발명에 따른 포터블 피부 상태 측정 장치의 구성을 상세히 도시한 블록도이다.
도 3은 본 발명에 따른 사용자 얼굴 위치를 제어하는 포터블 피부 상태 측정 장치를 간략히 도시한 것이다.
도 4 내지 도 13은 본 발명에 따른 피부 상태 진단 및 관리 시스템을 설명하기 위한 일 예시도이다.
도 14 및 15는 본 발명에 따른 피부 상태 진단 및 관리 시스템에 대한 흐름도이다.
도 16 및 17은 본 발명에 따른 피부 상태 측정 장치에 의해 구현되는 피부 상태 진단 및 관리 시스템을 설명하기 위한 블록도이다.
이하, 본 발명에 대하여, 도면 및 예시를 들어 보다 구체적으로 설명한다.
본 명세서에서, 단수의 표현은 달리 명시하지 않는 한 복수의 표현을 포함한다.
본 명세서에서 사용되는 용어는, 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 발명의 실시예들은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 명세서에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소는 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
이하, 첨부한 도면을 참고하여 본 발명에 따른 포터블 피부 상태 측정 장치, 및 이를 이용하여 피부 상태를 진단 및 관리하는 방법에 대하여 보다 구체적으로 설명한다.
본 발명은 포터블 피부 상태 측정 장치에 대한 것이다. 본 발명에 따른 피부 상태 측정 장치는 포터블한 장치이다.
본 명세서에서 용어 「포터블 하다」는 것은 측정 장치의 이동이 가능하고, 사용자가 원하는 위치 및 장소에서 촬영이 가능한 이동식 장치라는 것을 의미한다.
기존의 피부 상태 측정 장치는 포터블식과 논-포터블 식이 있었고, 논-포터블식 피부 상태 측정 장치의 경우, 크기가 크고 가격이 비싸서 사용자가 원하는 장소에서 손쉽게 자신의 피부 상태를 측정하는 것에는 곤란함이 있었다.
한편, 포터블 피부 상태 측정 장치의 경우, 피부 상태를 파악할 수 있도록 하는 얼굴 이미지를 정확하게 획득하는 것에 기술적 난제가 있었고, 특히 피부의 국소 영역에 대한 진단 결과가 아닌 전체 피부 상태를 측정하기 위한 장치에 있어서, 사용자의 얼굴 전체 영역을 효과적으로 획득하는 것에 대한 기술적 어려움이 있었다.
이에, 본 발명자는 사용자 얼굴의 위치를 효과적으로 제어하여 사용자 얼굴 이미지의 이탈 없이 효과적으로 사용자 얼굴 전체 이미지를 획득할 수 있도록 하는 구성을 피부 상태 측정 장치에 도입하였다. 따라서, 본 발명에 따른 피부 상태 측정 장치는 포터블하면서도, 사용자의 얼굴 전체 이미지를 이탈없이 효과적으로 획득할 수 있고, 궁극적으로 사용자의 피부 상태를 명확하게 진단할 수 있다.
도 1은 본 발명에 따른 포터블 피부 상태 측정 장치의 구성을 간략히 블록화 한 것이다.
도 1에 도시되어 있는 바와 같이, 본 발명에 따른 포터블 피부 상태 측정 장치(100)는 사용자 얼굴 촬영용 카메라(110), 출력부(120) 및 프로세서(130)을 포함한다.
본 발명에 따른 상기 사용자 얼굴 촬영용 카메라(110)는 사용자의 얼굴을 촬영한다.
구체적으로, 상기 카메라(110)는 임의의 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 사용자 얼굴 이미지를 획득할 수 있다.
상기 카메라(110)에 의해 획득된 사용자 얼굴 이미지는, 예를 들면, 후술하는 단일 사용자 얼굴 이미지의 형성을 위한 사용자 얼굴 이미지이거나, 또는 사용자 얼굴 전체 이미지의 형성을 위한 복수의 사용자 얼굴 이미지일 수 있다.
본 명세서에서 용어 「단일 사용자 얼굴 이미지」는 피부 상태 분석을 위해 카메라(110)에 의해 획득되고, 프로세서(130)에 의해 형성되는 단일 이미지를 의미하는 것으로써, 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지의 특정 영역 추출 및 합성 기술을 통해 형성되는 사용자 얼굴 전체 이미지와의 차별화를 위해, 상기 용어는 본 명세서에서 사용된다.
한편, 본 명세서에서 용어 「사용자 얼굴 전체 이미지」 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 특정 얼굴 영역을 추출하고, 이를 합성하는 기술을 통해 형성되고, 피부 상태 측정을 위해 사용되는 사용자 얼굴 이미지를 의미한다.
하나의 예시에서, 상기 카메라(110)는 임의의 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 사용자 얼굴 이미지를 획득할 수 있다. 이 경우, 상기 사용자 얼굴 이미지는 프로세서(130)에 의해 단일 사용자 얼굴 이미지로 형성될 수 있다.
다른 예시에서, 상기 카메라(110)는 복수의 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 복수의 이미지를 획득할 수 있다.
보다 구체적으로, 상기 카메라는 상이한 촬영 파라미터(광원부의 세기, 셔터 스피트값 또는 조리개 값 등)를 바탕으로 사용자 얼굴을 복수회 촬영하여 복수의 이미지를 획득할 수 있다.
본 발명에 따른 포터블 피부 상태 측정 장치는 프로세서(130)을 포함한다. 상기 프로세서(130)는 포터블 피부 상태 측정 장치 내 각 구성의 동작 전반을 제어한다.
도 1 및 도 2에 도시되어 있는 바와 같이, 본 발명에 따른 포터블 피부 상태 측정 장치의 각 개별적인 구성들은 프로세서(130)에 의해 제어되고 동작된다. 특히, 프로세서(130)는 후술하는 메모리(170)에 저장된 각종 프로그램을 이용하여 포터블 피부 상태 측정 장치(100)의 전반적인 동작을 제어할 수 있다.
상기 프로세서(130)는 다양한 제어 동작 중 특히, 단일 사용자 얼굴 이미지의 획득을 설정하거나, 또는 사용자 얼굴 전체 이미지의 획득을 설정한다.
즉, 상기 프로세서(130)는 상기 사용자 얼굴 촬영용 카메라에 의해 획득된 피부 상태 측정을 위한 단일 사용자 얼굴 이미지를 형성하거나, 또는 사용자 얼굴의 특정 영역을 추출하기 위해 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고, 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성한다.
사용자 얼굴의 피부를 분석하기 위한 촬영 파라미터는 상기 프로세서(130)에 의해 설정된다. 상기 촬영 파라미터는, 예를 들면, 포터블 피부 상태 측정 장치에 구비된 광원부의 세기, 광원부의 방향, 셔터 스피드 및 조리개값 중 어느 하나 이상을 포함할 수 있으며, 사용자 별로 상이하게 설정될 수 있다.
하나의 예시에서, 프로세서(130)는 예비 촬영 파라미터를 바탕으로 획득된 사용자 얼굴 이미지의 밝기를 분석하여, 상기 예비 촬영 파라미터를 촬영 파라미터로 설정할 수 있다. 이때, 예비 촬영 파라미터는 외부의 조명 환경에 따라 결정될 수 있다. 이 경우, 프로세서(130)는 예비 촬영 파라미터를 바탕으로 설정된 촬영 파라미터를 기반으로 사용자 얼굴 이미지를 획득하고, 상기 사용자 얼굴 이미지를 피부 상태 측정을 위한 단일 사용자 얼굴 이미지로 설정할 수 있다.
이하, 복수의 예비 촬영 파라미터를 바탕으로 사용자 얼굴의 특정 영역을 추출하고, 이를 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성하는 프로세서(130)의 제어 동작에 대해 보다 구체적으로 설명한다.
프로세서(130)는 복수의 예비 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지의 밝기를 분석하여, 상기 복수의 예비 촬영 파라미터 중 어느 하나 이상을 복수의 촬영 파라미터로 설정할 수 있다.
하나의 예시에서, 복수의 예비 촬영 파라미터 중 제1 예비 촬영 파라미터를 바탕으로 촬영된 이미지가 사용자 얼굴의 제1 영역(예를 들어, 얼굴 중심 영역)에 대해 기 설정된 범위의 밝기값을 갖는 경우, 프로세서(130)는 제1 예비 촬영 파라미터를 사용자 얼굴의 제1 영역에 대응하는 제1 촬영 파라미터로 설정할 수 있다. 또한, 복수의 예비 촬영 파라미터 중 제2 예비 촬영 파라미터를 바탕으로 촬영된 이미지가 사용자 얼굴의 제2 영역(예를 들어, 얼굴 외곽 영역)에 대해 기 설정된 범위의 밝기값을 갖는 경우, 프로세서(130)는 제2 예비 촬영 파라미터를 사용자 얼굴의 제2 영역에 대응하는 제2 촬영 파라미터로 설정할 수 있다.
즉, 상기 프로세서(130)는 사용자 얼굴 이미지의 제 1 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제 1 예비 촬영 파라미터를 제 1 촬영 파라미터로 설정하고, 사용자 얼굴 이미지의 제 2 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제 2 예비 촬영 파라미터를 제 2 촬영 파라미터로 설정할 수 있다.
복수의 촬영 파라미터가 설정된 후, 프로세서(130)는 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출한다.
하나의 예시에서, 프로세서(130)는 제1 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 제 1 사용자 얼굴 이미지를 획득하고, 제 2 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 제 2 사용자 얼굴 이미지를 획득할 수 있다. 그리고, 프로세서(130)는 복수의 이미지로부터 복수의 이미지 각각에 대응하는 사용자 얼굴 영역을 추출하고, 추출된 사용자 얼굴 영역들을 합성하여 사용자 얼굴 전체 이미지를 획득할 수 있다.
즉, 상기 프로세서(130)는 상기 제 1 촬영 파라미터에 의해 획득된 제 1 사용자 얼굴 이미지로부터 제 1 얼굴 영역을 추출하고, 상기 제 2 촬영 파라미터에 의해 획득된 제 2 사용자 얼굴 이미지로부터 제 2 얼굴 영역을 추출할 수 있다. 또한, 상기 프로세서(130)는 상기 제 1 얼굴 영역 및 제 2 얼굴 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성할 수 있다.
이때, 프로세서(130)는 감지된 포터블 피부 진단 장치의 움직임 정보에 따라 제 1 얼굴 영역 및 제 2 얼굴 영역을 보정하여 합성할 수 있다. 즉, 제 2 사용자 얼굴 이미지를 촬영하는 동안 포터블 피부 상태 측정 장치(100)의 움직임이 감지된 경우, 프로세서(130)는 감지된 장치의 움직임에 따라 제 2 얼굴 영역을 보정할 수 있다. 또 다른 실시예에 의하면, 프로세서(130)는 포터블 피부 상태 측정 장치(100)의 움직임에 따라 제 2 얼굴 영역을 추출하기 전에 제 2 사용자 얼굴 이미지를 보정할 수 있다. 상기와 같은 움직임의 감지는, 예를 들면 후술하는 센서부(160)에서 수행될 수 있다.
또한, 상기 제 1 얼굴 영역과 제 2 얼굴 영역을 합성할 때, 프로세서(130)는 밝기 보정을 수행하여 제 1 얼굴 영역과 제 2 얼굴 영역을 합성할 수 있다.
구체적으로, 프로세서(130)는 제 1 얼굴 영역과 제 2 얼굴 영역의 경계 부근에서 상기 제 1 얼굴 영역과 상기 제 2 얼굴 영역 사이의 밝기 차이값을 판단할 수 있다. 그리고, 프로세서(130)는 밝기 차이값을 바탕으로 제 1 얼굴 영역 및 제 2 얼굴 영역 중 적어도 어느 하나에 대한 합성 가중치를 판단할 수 있다. 이때, 합성 가중치는 밝기를 조절하기 위한 가중치일 수 있다. 그리고, 프로세서(130)는 합성 가중치를 바탕으로 제 1 얼굴 영역 및 제 2 얼굴 영역 중 적어도 어느 하나의 밝기를 조절하여 합성할 수 있다.
상기 프로세서(130)는 또한, 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지의 평균 피부색 값 혹은 피부색 분포가 촬영 시 마다 변경됨에 따른 피부 상태 진단 및 관리 시스템의 재현성 저하 문제를 해결하기 위해, 평균 피부색 값 혹은 피부색 분포 값을 기 설정되어 있는 값으로 보정할 수 있다. 즉, 상기 프로세서(130)는, 카메라의 화이트 밸런스 기능에 의해 촬영 시 마다 변경되는 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지의 평균 피부색 값 혹은 피부색 분포 값을 기 설정되어 있는 값으로 보정함으로써, 피부 상태 측정의 재현성 저하 문제를 해결할 수 있다.
하나의 예시에서, 상기 프로세서(130)는, 상기 카메라(110)에 의해 획득된 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지의 평균 피부색 값 혹은 피부색 분포 값과 기 설정되어 있는 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지의 평균 피부색 값 혹은 피부색 분포 값의 차이를 판단하여, 상기 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지의 평균 피부색 값 혹은 피부색 분포 값을 상기 기설정되어 있는 평균 피부색 값 혹은 피부색 분포 값으로 보정할 수 있다.
상기 피부색 값 또는 피부색 분포 값 차이의 보정은, 예를 들면 히스토그램 매칭 등의 영상처리 기술을 활용하여 수행될 수 있으나, 이에 제한되는 것은 아니다.
한편, 상기 기 설정되어 있는 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지의 평균 피부색 값 혹은 피부색 분포 값은, 후술하는 메모리부(170) 혹은 서버에 저장되어 있는 것으로써, 이전 촬영을 통해 카메라에 의해 획득된 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지의 평균 피부색 값 혹은 피부색 분포 값일 수 있다.
본 발명에 따른 포터블 피부 상태 측정 장치는 출력부(120)을 포함한다. 상기 출력부(120)는 상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우, 사용자에게 얼굴 위치 이동을 제안하거나, 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안하거나, 또는 상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우 및 상기 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안한다. 이 때, 프로세서(130)는 도 2에 도시되어 있는 바와 같이, 상기 출력부(120)의 사용자에 대한 얼굴 위치 이동 제안을 제어할 수 있다.
본 발명에 따른 포터블 피부 상태 측정 장치는 상기 사용자에 대한 얼굴 위치 이동 제안을 수행하는 출력부(120)의 구성을 통해, 사용자의 얼굴 전체 이미지를 효과적으로 획득할 수 있다.
상기 사용자에 대한 얼굴 위치 이동 제안은 상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우 및/또는 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우에 수행된다.
하나의 예시에서, 상기 출력부(120)에 의한 사용자 얼굴 위치 이동 제안은 상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우에 수행될 수 있다.
상기에서 사용자 얼굴 영역의 이탈 정도는, 예를 들면, 프로세서(130)에 의해 제어되는 메모리(170)에 저장된 센싱 모듈에 저장되어 있는 데이터를 기반으로 판단될 수 있다.
보다 구체적으로, 상기 사용자 얼굴 영역의 이탈 정도는, 사용자 얼굴 영상으로부터 사용자의 얼굴 외곽 검출 시, 검출이 실패되거나, 또는 상기 얼굴 외곽이 경계에서 잘린 경우를 기준으로 판단할 수 있다. 이 때, 상기 얼굴 외곽은, 랜드마크(landmark) 검출이나 또는 엣지(edge) 검출 기술 등을 통해 획득 가능할 수 있다.
다른 예시에서, 상기 출력부(120)에 의한 사용자 얼굴 위치 이동 제안은 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우에 수행될 수 있다.
한편, 상기 사용자와 카메라 사이의 거리는 거리 센서에 의해 측정된다. 상기 거리 센서는, 예를 들면 센서부(160)에 포함될 수 있다.
따라서, 본 발명에 따른 포터블 피부 상태 측정 장치(100)는 상기 사용자와 카메라 사이의 거리를 측정하는 거리 센서를 가지는 센서부(160)를 더 포함할 수 있다. 이 때, 출력부(120)는 상기 센서부(160)에서 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안하며, 상기 프로세서(130)는 상기 센서부(160)에서 측정된 상기 사용자와 카메라(110) 사이의 거리에 따른 출력부(120)의 얼굴 위치 이동 제안을 제어할 수 있다.
구체적인 예시에서, 상기 센서부(160)는 거리 센서를 포함하여 사용자와 카메라 사이의 거리를 측정하고, 그 측정 결과를 후술하는 메모리(170)의 센싱 모듈과 연계하여 프로세서(130)에 의한 얼굴 위치 이동 제안의 제어 및 출력부(120)에 의한 얼굴 위치 이동 제안을 수행하게 할 수 있다.
한편, 상기 센서부(160)는, 외부 조명을 감지하여 광원부의 세기 및 방향; 및 카메라의 셔터 스피드, 조리개 값 및 노출값 등을 포함하는 예비 촬영 파라미터를 결정할 수 있고, 전술한 바와 같이, 피부 상태 측정 장치의 움직임 정보를 감지하는 역할을 수행할 수 있다.
상기 센서부(160)의 상기 거리 센서는 초음파 센서 또는 ToF(Time of Flight) 센서 일 수 있다.
상기 센서부(160)는 거리 센서 이외에, 포터블 피부 상태 측정 장치(100)의 움직임을 감지하기 위한 모션 센서(예를 들어, 가속도 센서, 자이로 센서, 전자기 센서 등) 등을 더 포함할 수 있다.
또 다른 예시에서, 상기 출력부(120)에 의한 사용자 얼굴 위치 이동 제안은 상기 두 가지 경우, 구체적으로 상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우 및 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우에 수행될 수 있다.
상기와 같이, 거리 센서를 가지는 센서부(160), 메모리(170), 출력부(120) 및 상기 센서부(160), 메모리(170) 및 출력부(120)를 제어하는 프로세서(130)의 구성을 통해, 사용자의 얼굴 이탈에 따른 부정확한 얼굴 이미지 획득을 사전에 방지할 수 있고, 보다 명확한 사용자 얼굴 이미지를 획득 할 수 있다.
출력부(120)는 사용자에게 얼굴 위치 이동 제안을 수행하는데, 하나의 예시에서, 상기 출력부(120)는 디스플레이 및 오디오 출력부를 포함할 수 있고, 상기 얼굴 위치 이동의 제안은 상기 디스플레이 및/또는 오디오 출력부에 의해 수행될 수 있다.
또 다른 예시에서, 상기 출력부(120)의 디스플레이는, 기존에 촬영되었던 사용자의 이미지를 기반으로 사용자의 얼굴 위치 이동을 제안할 수 있다.
구체적으로, 상기 출력부(120)의 디스플레이는, 기 설정된 단일 사용자 얼굴 이미지 혹은 사용자 얼굴 전체 이미지를 기반으로 사용자의 얼굴 위치 이동을 제안할 수 있다.
더 구체적으로, 상기 출력부(120)의 디스플레이는, 기 설정된 단일 사용자 얼굴 이미지 혹은 사용자 얼굴 전체 이미지를 오버레이하여 사용자에게 제공함으로써, 사용자의 얼굴 위치 이동을 제안할 수 있다. 상기에서 기 설정된 단일 사용자 얼굴 이미지 혹은 사용자 얼굴 전체 이미지는 사용자 얼굴 촬영용 카메라에 의해 획득된 것으로써, 메무리부(170)나 서버에 저장되어 있는 기 촬영된 사용자 얼굴 이미지를 의미할 수 있다.
한편, 상기 디스플레이는 상기 얼굴 위치 이동 제안 이외에 다양한 영상 데이터 및 UI를 표시할 수 있다.
상기 출력부(120)의 오디오 출력부는, 예를 들면 얼굴 위치 이동 제안을 음성으로 수행할 수 있다. 상기 오디오 출력부는 얼굴 위치 이동 제안 이외에 각종 알림음이나 음성 메시지를 출력할 수 있다.
다른 예시에서, 상기 상기 출력부(120)의 얼굴 위치 이동 제안은 바람직한 얼굴 위치 이동 방향을 표시하는 화살표 또는 특정 색상을 구현하는 LED에 의해 수행될 수 있다.
도 3은 본 발명에 따른 사용자 얼굴 위치를 제어하는 포터블 피부 상태 측정 장치를 간략히 도시한 것이다.
도 3에 도시되어 있는 바와 같이, 본 발명에 따른 포터블 피부 상태 측정 장치는 카메라를 통한 실시간 스트리밍 영상으로부터 사용자 얼굴 영역의 이탈 여부를 프로세서(130)의 제어에 의해 실시간으로 검토한 후(A), 그에 따른 얼굴 위치 이동을 제안(B)할 수 있고, 및/또는 상기 거리 센서를 가지는 센서부(160)에 의해 사용자와 카메라(110)의 거리를 측정(A)하고, 그에 따른 얼굴 위치 이동을 제안(B)할 수 있다. 이 경우, 얼굴 위치 이동의 제안은, 음성, 영상 및 LED 등을 통해 구현될 수 있다.
본 발명에 따른 포터블 피부 상태 측정 장치는 광원부(150)를 더 포함할 수 있다. 상기 광원부(150)는 적어도 하나의 광원을 포함하고, 상기 광원은 사용자의 얼굴을 향해 광을 제공할 수 있다. 이 때, 광원은, 예를 들면 적색광, 녹색광 및 청색광 중 적어도 어느 하나 이상의 광을 발광하여 광원부(150)에서 백색광이 발광되도록 설계될 수 있다. 한편, 상기 광원부(150)는 프로세서(130)의 제어에 따라 상이한 세기를 제공할 수 있다.
한편, 본 발명에 따른 포터블 피부 상태 측정 장치는 상기 프로세서(130)에 의해 형성된 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 자체적으로 분석할 수 있다.
또한, 상기 프로세서(130)에 의해 형성된 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 사용자 단말(200)로 전송한 후, 상기 사용자 단말(200)을 통해 상기 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지가 분석될 수도 있다. 이 경우, 포터블 피부 상태 측정 장치는 통신부(140)를 더 포함할 수 있다.
즉, 본 발명에 따른 포터블 피부 상태 측정 장치는 외부 사용자 단말로 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 전송하는 통신부(140)를 더 포함할 수 있다. 이 경우, 프로세서(130)는 상기 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지에 대한 데이터를 사용자 단말(200)로 전송하도록 상기 통신부(140)를 제어할 수 있다.
상기 통신부(140)는, 예를 들면, 외부 사용자 단말(200)로부터 사용자 얼굴을 촬영하라는 요청을 수신할 수 있으며, 또한 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 외부 사용자 단말(200)로 전송할 수 있다. 이때, 통신부(140)는 블루투스 모듈로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 직비 통신 모듈, 와이파이 통신 모듈 또는 NFC 통신 모듈 등과 같은 다양한 통신 모듈로 구현될 수 있다.
한편, 상술한 실시예에서는 포터블 피부 상태 측정 장치가 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 외부 사용자 단말(200)로 전송하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지를 외부 사용자 단말(200)로 전송할 수도 있다. 이때, 사용자 단말(200)은 복수의 사용자 얼굴 이미지를 상술한 프로세서(130)가 수행한 것과 동일한 방법으로 특정 얼굴 영역의 추출 및 합성을 수행함으로써 사용자 얼굴의 피부 상태를 분석할 수 있다.
또한, 상기 프로세서(130)는 직접 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 분석하여 사용자 얼굴에 색소 침착, 여드름, 피지, 모공 및 주름 중 적어도 어느 하나에 대한 피부 상태 정보를 획득하며, 획득된 피부 상태 정보를 상기 출력부(120)를 통해 출력할 수 있다.
본 발명에 따른 포터블 피부 상태 측정 장치는 또한, 메모리(170)를 더 포함할 수 있다. 상기 메모리(170)은 포터블 피부 상태 측정 장치(100)를 구동하기 위한 다양한 모듈을 저장할 수 있다.
예를 들면, 상기 메모리(170) 는 베이스 모듈, 센싱 모듈, 통신 모듈, 프리젠테이션 모듈, 웹 브라우저 모듈 및 서비스 모듈을 포함하는 소프트웨어가 저장될 수 있다. 이 때, 베이스 모듈은 포터블 피부 상태 측정 장치(100)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈이다. 센싱 모듈은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈로서, 얼굴 인식 모듈, 거리 측정 모듈, 음성 인식 모듈 및 모션 인식 모듈 등을 포함할 수도 있다. 프리젠테이션 모듈은 디스플레이 화면을 구성하기 위한 모듈로서, 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈, UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈을 포함할 수 있다. 통신 모듈은 외부와 통신을 수행하기 위한 모듈이다. 웹 브라우저 모듈은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 서비스 모듈은 다양한 서비스를 제공하기 위한 각종 애플리케이션을 포함하는 모듈이다.
상술한 바와 같이, 메모리(170)는 다양한 프로그램 모듈들을 포함할 수 있으나, 각종 프로그램 모듈들은 포터블 피부 상태 측정 장치(100)의 종류 및 특성에 따라 일부 생략되거나 변형 또는 추가될 수 있음은 물론이다.
또한, 메모리(170)는 사용자별로 복수의 촬영 파라미터를 저장할 수 있다.
한편, 메모리(170)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 메모리(170)는 프로세서(130)에 의해 액세스되며, 프로세서(130)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.
본 발명에 따른 포터블 피부 상태 측정 장치는 또한, 입력부(180)를 더 포함할 수 있다. 상기 입력부(180)는 포터블 피부 상태 측정 장치(100)를 조작하는 사용자 명령을 입력하여, 사용자 명령에 대한 정보를 프로세서(130)로 전송하게 할 수 있다. 특히, 입력부(180)는 포터블 피부 상태 측정 장치(100)에 구비된 버튼(예를 들어, 사진 촬영을 수행하기 위한 버튼 등)일 수 있으나, 이는 일 실시예에 불과할 뿐, 다른 입력 장치로 구현될 수 있다.
본 개시의 일 실시예로, 입력부(180)는 사용자 터치를 감지하기 위한 터치 패널 또는 (디지털) 펜 센서 등으로 구현될 수 있다. 터치 패널은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널은 제어 회로를 더 포함할 수도 있다. 그러나, 입력부(180)가 터치 패널 또는 펜 센서 등으로 구현되는 것은 일 실시예에 불과할 뿐, 사용자 발화를 입력받기 위한 마이크 또는 포인팅 디바이스 등과 같은 것으로 구현될 수도 있다.
본 발명은 또한, 상기 포터블 피부 상태 측정 장치를 이용한 피부 상태 진단 및 관리 시스템에 대한 것이다.
상기 피부 상태 진단 및 관리 시스템은, 포터블 피부 상태 측정 장치(100) 및 사용자 단말(200)을 포함한다.
상기 포터블 피부 상태 측정 장치(100)는 전술한 바와 같이, 카메라(110), 출력부(120) 및 프로세서(130)을 포함한다. 또한, 상기 포터블 피부 상태 측정 장치(100)는 전술한 통신부(140), 광원부(150), 센서부(160), 메모리(170) 및 입력부(180)을 포함할 수 있다.
상기 사용자 단말(200)은 상기 포터블 피부 상태 측정 장치로부터 전송 받은 단일 사용자 얼굴 이미지를 분석하거나, 상기 포터블 피부 상태 측정 장치로부터 전송 받은 사용자 얼굴 전체 이미지를 분석하거나, 또는 상기 포터블 피부 상태 측정 장치로부터 전송 받은 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고, 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 사용자 얼굴 전체 이미지를 형성한 후, 상기 사용자 얼굴 전체 이미지를 분석하여 피부 상태 진단 결과를 제공하고, 상기 피부 상태 진단 결과를 바탕으로 사용자의 피부 상태를 개선하기 위한 제품을 추천하는 어플리케이션(이하, 「피부 분석 어플리케이션」이라 함)을 포함한다.
본 발명에 따른 피부 상태 진단 및 관리 시스템은 포터블 피부 상태 측정 장치(100)를 포함한다. 또한, 상기 포터블 피부 상태 측정 장치(100)는 프로세서(130)을 포함한다. 상기 프로세서(130)가 외부 사용자 단말(200)과 연동하여 사용자 얼굴의 피부 상태에 대한 정보를 제공 하는 것에 대해서는 도 4 내지 도 13을 참조하여 상세히 설명하기로 한다.
도 4는, 사용자 단말(200)에 포함되는 피부 분석 어플리케이션의 시작 화면이 표시되어 있다. 피부 분석 어플리케이션의 시작 화면에는 사용자 로그인을 위한 UI가 포함될 수 있다. 피부 분석 어플리케이션은 사용자의 명령에 응답하여 실행되고, 사용자 로그인이 수행되면, 사용자 단말(200)은 통신 가능한 외부의 포터블 피부 상태 측정 장치(100)를 검색할 수 있다. 이때, 사용자 단말(200)은 도 5에 도시된 바와 같이, 외부의 포터블 피부 상태 측정 장치(100)의 검색을 안내하는 화면을 표시할 수 있다.
외부의 포터블 피부 상태 측정 장치(100)가 검색된 경우, 사용자 단말(200)은 외부의 포터블 피부 상태 측정 장치(100)와 통신을 수행할 수 있다. 이때, 사용자 단말(200)은 블루투스 통신 또는 Wifi 통신을 이용하여 포터블 피부 상태 측정 장치(100)와 통신을 수행할 수 있다. 사용자 단말(200)과 포터블 피부 상태 측정 장치(100)와 통신이 연결된 경우, 사용자 단말(200)은 로그인한 사용자에 대한 정보를 포터블 피부 상태 측정 장치(100)에 전송할 수 있다.
포터블 피부 상태 측정 장치(100)의 프로세서(130)는 로그인한 사용자에 대한 촬영 파라미터가 기 설정되었는지 여부를 판단할 수 있다. 로그인한 사용자에 대응하는 촬영 파라미터가 기 설정되지 않은 경우, 프로세서(130)는 예비 촬영 파라미터를 바탕으로 획득된 사용자 얼굴 이미지의 밝기를 분석하여, 상기 예비 촬영 파라미터를 촬영 파라미터로 설정할 수 있다.
프로세서(130)는 사용자 얼굴 촬영용 카메라(110)를 통해 상기 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 사용자 얼굴 이미지를 획득할 수 있다. 상기 사용자 얼굴 이미지는 포터블 피부 상태 측정 장치의 통신부(160)를 통해, 사용자 단말로 전송되어 피부 상태 분석을 위한 단일 사용자 얼굴 이미지로 이용될 수 있다.
이하에서는, 복수의 예비 촬영 파라미터 및 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각가에서 사용자 얼굴의 특정 영역을 추출하고, 이를 합성하여 사용자 얼굴 전체 이미지를 획득하는 것에 대해 보다 구체적으로 설명한다.
포터블 피부 상태 측정 장치(100)의 프로세서(130)는 로그인한 사용자에 대한 복수의 촬영 파라미터가 기 설정되었는지 여부를 판단할 수 있다. 로그인한 사용자에 대응하는 복수의 촬영 파라미터가 기 설정되지 않은 경우, 프로세서(130)는 복수의 예비 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지의 밝기를 분석하여, 상기 복수의 예비 촬영 파라미터 중 어느 하나 이상을 복수의 촬영 파라미터로 설정할 수 있다.
프로세서(130)는 사용자 얼굴 촬영용 카메라(110)를 통해 복수의 예비 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 복수의 이미지를 획득할 수 있다.
예를 들어, 프로세서(130)는 제1 내지 도 n 예비 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 제1 내지 제n 이미지를 획득할 수 있다. 이때, 예비 촬영 파라미터는 광원부(120)의 세기 및 방향; 및 카메라(110)의 셔터 스피드, 조리개 값 및 노출값 등을 포함할 수 있으며, 상기 값들은 센서부(160)에 의해 감지된 외부 조명에 따라 결정될 수 있다.
상기 복수의 예비 촬영 파라미터 중 제1 예비 촬영 파라미터를 바탕으로 촬영된 이미지가 사용자 얼굴의 중심 영역에 대해 기 설정된 범위의 밝기값을 갖는 경우, 프로세서(130)는 제 1 예비 촬영 파라미터를 사용자 얼굴의 중심 영역에 대응하는 제 1 촬영 파라미터로 설정할 수 있다. 또한, 복수의 예비 촬영 파라미터 중 제 2 예비 촬영 파라미터를 바탕으로 촬영된 이미지가 사용자 얼굴의 외곽 영역에 대해 기 설정된 범위의 밝기값을 갖는 경우, 프로세서(130)는 제 2 예비 촬영 파라미터를 사용자 얼굴의 외곽 영역에 대응하는 제 2 촬영 파라미터로 설정할 수 있다. 즉, 프로세서(130)는 사용자 얼굴의 중심 영역 및 외곽 영역에 최적의 밝기 값을 갖는 예비 촬영 파라미터를 상기 각 영역에 대응하는 촬영 파라미터로 설정할 수 있다.
한편, 상술한 실시예에서는 사용자 얼굴을 두 개의 영역(예를 들어, 중심 영역, 외곽 영역)으로 구분하였으나, 이는 일 실시예에 불과할 뿐, 사용자 얼굴을 세 개 이상의 영역으로 구분하여, 각각의 영역에 대응하는 촬영 파라미터를 설정할 수 있다.
그리고, 프로세서(130)는 사용자 얼굴 촬영용 카메라(110)를 통해 기 설정된 복수의 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 복수의 이미지를 획득할 수 있다. 예를 들어, 프로세서(130)는 제1 촬영 파라미터를 이용하여 촬영된 제1 사용자 얼굴 이미지 및 제2 촬영 파라미터를 이용하여 촬영된 제2 사용자 얼굴 이미지를 획득할 수 있다. 이때, 제 1 사용자 얼굴 이미지는 도 6에 도시된 바와 같이 제1 범위의 밝기값을 가지는 중심 영역(510-1) 및 제2 범위의 밝기값을 가지는 외곽 영역(520-1)을 포함할 수 있으며, 제 2 사용자 얼굴 이미지는 도 7에 도시된 바와 같이, 제3 범위의 밝기값을 가지는 중심 영역(510-2) 및 제 4 범위의 밝기값을 가지는 외곽 영역(520-2)을 포함할 수 있다. 이때, 제 1 범위와 제 4 범위는 겹치는 구간이 존재할 수 있다. 즉, 제 1 범위와 제 4 범위는 동일하거나 유사한 밝기값을 가질 수 있다.
프로세서(130)는 또한, 상기 복수의 사용자 얼굴 이미지로부터 대응되는 사용자 얼굴 영역들을 추출하고, 추출된 영역들을 합성하여 사용자 얼굴 전체 이미지를 생성할 수 있다.
구체적으로, 프로세서(130)는 도 8에 도시된 바와 같이, 제1 사용자 얼굴 이미지로부터 중심 영역(510-1)을 추출하고, 제2 사용자 얼굴 이미지로부터 외곽 영역(520-2)을 추출하며, 상기 중심 영역(510-1)과 외곽 영역(520-2)을 합성하여 사용자 얼굴 전체 이미지(530)를 생성할 수 있다. 이때, 사용자 얼굴 전체 이미지 (530)는 도 8에 도시된 바와 같이, 전체적으로 고른 밝기값을 가질 수 있다.
한편, 본 발명에 따른 프로세서(130)에 의해 제어되고, 출력부(120)에 의해 구현되는 사용자 얼굴 이동 제안은 예비 촬영 파라미터를 바탕으로 사용자 얼굴 이미지를 획득 하는 단계 이전, 또는 상기 복수의 예비 촬영 파라미터를 바탕으로 복수의 사용자 얼굴 이미지를 획득 하는 단계 및 복수의 촬영 파라미터를 바탕으로 복수의 사용자 얼굴 이미지를 획득 하는 ㄴ단계 이전에 수행될 수 있다.
프로세서(130)는 피부 상태 측정을 위한 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 외부 사용자 단말(200)로 전송하도록 통신부(140)를 제어할 수 있다.
사용자 단말(200)의 어플리케이션은, 도 9에 도시된 바와 같이, 수신된 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 표시할 수 있다.
그리고, 사용자 단말(200)의 어플리케이션은 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 바탕으로 사용자 얼굴에 대한 피부 상태 진단 결과를 제공 할 수 있다.
본 발명의 일 실시예로, 사용자 단말(200)의 어플리케이션은 색소 분리 기술을 이용하여 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 멜라민(melanin) 영상과 헤모글로빈(hemoglobin) 영상으로 분리할 수 있다. 또한, 상기 어플리케이션은 멜라민(melanin) 영상을 분석하여 기미 정도 및 피부톤에 대한 정보를 획득할 수 있고, 헤모글로빈(hemoglobin) 영상을 분석하여 사용자 얼굴에 존재하는 홍반에 대한 정보를 획득할 수 있다.
또한, 본 발명의 다른 실시예로, 사용자 단말(200)의 어플리케이션은 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지의 RGB를 분석하여 사용자 얼굴에 존재하는 여드름에 대한 정보(예를 들어, 여드름 발생 여부, 여드름 발생 가능 확률 등)를 획득할 수 있다.
또한, 본 발명의 다른 실시예로, 사용자 단말(200)의 어플리케이션은 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지의 UV 영상으로부터 사용자 얼굴에 존재하는 피지에 대한 정보를 획득할 수 있다.
또한, 본 발명의 다른 실시예로, 사용자 단말(200)의 어플리케이션은 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지의 RGB를 분석하여 사용자 얼굴에 존재하는 모공에 대한 정보(예를 들어, 모공 존재 여부, 모공의 깊이 등)를 획득할 수 있다.
또한, 본 발명의 다른 실시예로, 사용자 단말(200)의 어플리케이션은 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지의 RGB를 분석하여 사용자 얼굴에 존재하는 주름에 대한 정보(예를 들어, 주름 존재 여부, 주름의 깊이 등)를 획득할 수 있다.
그리고, 사용자 단말(200)의 어플리케이션은 획득된 사용자 얼굴의 피부 상태에 대한 정보를 출력할 수 있다. 예를 들어, 사용자 단말(200)의 어플리케이션은 도 10에 도시된 바와 같이. 피부 상태에 대한 정보를 시각적으로 제공하는 UI를 표시할 수 있다.
그 밖에, 사용자 단말(200)의 어플리케이션은 도 11에 도시된 바와 같이, 분석된 피부 상태에 대한 히스토리 정보를 포함하는 UI을 표시할 수 있다.
또한, 사용자 단말(200)의 어플리케이션은　도 12에 도시된 바와 같이, 피부 트러블 예방 정보 및 추천 화장품에 대한 정보를 제공하는 UI를 표시할 수 있다.
즉, 상기 어플리케이션은 상기 피부 상태 진단 결과를 바탕으로 사용자의 피부 상태를 개선하기 위한 제품을 추천한다.
또한, 사용자 단말(200)의 어플리케이션은 도 13에 도시된 바와 같이, 피부 상담원과의 채팅 서비스을 제공할 수 있다.
도 14 및 15는 본 발명에 따른 피부 상태 측정 장치를 이용한 피부 상태 진단 및 관리 시스템에 대한 시퀀스도이다.
도 14는 단일 사용자 얼굴 이미지를 형성하고, 이를 기반으로 피부 상태를 진단 및 관리하는 시스템에 대한 시퀸스도이고, 도 15는 사용자 얼굴 전체 이미지를 형성하고, 이를 기반으로 피부 상태를 진단 및 관리하는 시스템에 대한 시퀸스도이다.
구체적으로, 포터블 피부 상태 측정 장치(100)는 촬영 파라미터 또는 복수의 촬영 파라미터를 설정한다(S710). 이때, 포터블 피부 상태 측정 장치 (100)는 복수의 예비 촬영 파라미터 중 사용자 얼굴의 각 영역에 대해 최적의 밝기값을 가지는 이미지를 획득할 수 있는 예비 촬영 파라미터들을 복수의 촬영 파라미터로 설정할 수 있다.
그리고, 포터블 피부 상태 측정 장치(100)와 사용자 단말(200)은 통신을 수행할 수 있다(S720). 한편, 본 발명의 다른 실시예에서는 S710 단계가 S720 단계 이후에 수행될 수 있다.
그리고, 포터블 피부 상태 측정 장치(100)는 촬영 파라미터 또는 복수의 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 사용자 얼굴 이미지 또는 복수의 이미지를 획득(S730)할 수 있다.
그리고, 포터블 피부 상태 측정 장치(100)는 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 생성할 수 있다(S740). 구체적으로, 포터블 피부 상태 측정 장치(100)는 설정된 촬영 파라미터를 기반으로 획득된 사용자 얼굴 이미지를 단일 사용자 얼굴 이미지로 형성할 수 있고, 또는 복수의 촬영 파라미터에 의해 획득된 복수의 이미지 각각에 대해 대응되는 사용자 얼굴 영역을 추출하고, 추출된 사용자 얼굴 영역들을 합성하여 사용자 얼굴 전체 이미지를 생성할 수 있다.
그리고, 포터블 피부 상태 측정 장치(100)는 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 사용자 단말(200)로 전송할 수 있다 (S750).
그리고, 사용자 단말(200)은 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 분석할 수 있다(S760). 특히, 사용자 단말(200)은 단일 사용자 얼굴 이미지 사용자 얼굴 전체 이미지를 분석하여 사용자 얼굴의 피부 상태에 대한 정보(예를 들어, 여드름, 색조, 주름 등)를 획득할 수 있다.
그리고, 사용자 단말(200)은 사용자 얼굴의 피부 상태에 대한 정보 및 피부 상태 개선을 위한 제품 추천을 제공할 수 있다 (S770).
한편, 본 발명에 따른 프로세서(130)에 의해 제어되고, 출력부(120)에 의해 구현되는 사용자 얼굴 이탈 여부에 따른 사용자 얼굴 이동 제안(B) 또는 거리 측정에 따른 사용자 얼굴 이동 제안(B)에 대한 프로세스(130)의 실시간 검토(A)는 사기 단계 S710 이전 및 S730 이전에 수행될 수 있다.
한편, 피부 상태 측정 장치도 전술한 피부 상태 진단 및 정보 제공 기능을 수행할 수 있는 바, 이하 이에 대해 구체적으로 설명한다.
도 16 및 17은 본 발명에 따른 피부 상태 진단 및 관리 시스템에 피부 상태 측정 장치에 의해서 구현되는 것을 설명하기 위한 블록도이다.
도 16 및 17에 도시되어 있는 S910 내지 S930 단계는, 전술한 피부 상태 진단 및 관리 시스템에서 설명한 것과 중복되기 때문에, 그 구체적인 설명은 생략한다.
포터블 피부 상태 측정 장치(100)는 단일 사용자 얼굴 이미지 또는 합성된 사용자 얼굴 전체 이미지를 분석하여 사용자 얼굴의 피부 상태를 판단할 수 있다(S940). 구체적으로, 포터블 피부 상태 측정 장치(100)는 단일 사용자 얼굴 이미지 또는 합성된 사용자 얼굴 전체 이미지를 분석하여 사용자 얼굴의 피부 트러블(예를 들어, 여드름, 모공, 주름 등)뿐만 아니라 피부톤과 같은 다양한 피부 상태에 대한 정보를 획득할 수 있다.
그리고, 포터블 피부 상태 측정 장치(100)는 판단된 피부 상태에 대한 정보를 제공할 수 있다(S950). 이때, 포터블 피부 상태 측정 장치(100)는 도 9 내지 도 13에 도시된 바와 같은 다양한 UI를 통해 시각적으로 피부 상태에 대한 정보 및 서비스를 제공할 수 있으나, 이는 일 실시예에 불과할 뿐, 청각적인 형태로 피부 상태에 대한 정보를 제공할 수 있다.
상기에서 설명된 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기의 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 사용자의 얼굴 이탈이 없는 명확한 사용자 얼굴 전체 이미지를 획득함으로써, 얼굴 피부 분석 결과의 정확도를 높일 수 있다. 또한, 사용자 얼굴이 피부 상태 측정 장치에 삽입될 필요가 없어 휴대 및 소지의 편리성이 향상될 수 있다.
이상과 같이 본 개시는 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 개시는 상기의 실시 예에 한정되는 것은 아니며, 본 개시가 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (11)

  1. 사용자 얼굴 촬영용 카메라;
    상기 사용자 얼굴 촬영용 카메라에 의해 획득된 피부 상태 측정을 위한 단일 사용자 얼굴 이미지를 형성하거나, 또는 사용자 얼굴의 특정 영역을 추출하기 위해 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성하는 프로세서; 및
    상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우, 사용자에게 얼굴 위치 이동을 제안하거나, 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안하거나, 또는 상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우 및 상기 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안하는 출력부를 포함하고,
    상기 프로세서는 상기 출력부의 얼굴 위치 이동 제안을 제어하는 포터블 피부 상태 측정 장치.
  2. 제 1항에 있어서,
    상기 프로세서는,
    복수의 예비 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지의 밝기를 분석하여, 상기 복수의 예비 촬영 파라미터 중 어느 하나 이상을 복수의 촬영 파라미터로 설정하는 포터블 피부 상태 측정 장치.
  3. 제 2항에 있어서,
    상기 프로세서는,
    사용자 얼굴 이미지의 제 1 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제 1 예비 촬영 파라미터를 제 1 촬영 파라미터로 설정하고,
    사용자 얼굴 이미지의 제 2 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제 2 예비 촬영 파라미터를 제 2 촬영 파라미터로 설정하는 포터블 피부 상태 측정 장치.
  4. 제 3항에 있어서,
    상기 프로세서는,
    상기 제 1 촬영 파라미터에 의해 획득된 제 1 사용자 얼굴 이미지로부터 제 1 얼굴 영역을 추출하고, 상기 제 2 촬영 파라미터에 의해 획득된 제 2 사용자 얼굴 이미지로부터 제 2 얼굴 영역을 추출하며, 상기 제 1 얼굴 영역 및 제 2 얼굴 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성하는 포터블 피부 상태 측정 장치.
  5. 제 4항에 있어서,
    상기 프로세서는,
    감지된 포터블 피부 상태 측정 장치의 움직임 정보에 따라 상기 제 1 얼굴 영역 및 상기 제 2 얼굴 영역을 보정하여 합성하는 포터블 피부 상태 측정 장치.
  6. 제 4항에 있어서,
    상기 프로세서는,
    상기 제 1 얼굴 영역과 상기 제 2 얼굴 영역 경계 부근에서 상기 제 1 얼굴 영역과 상기 제 2 얼굴 영역 사이의 밝기 차이값을 판단하고, 상기 밝기 차이값을 바탕으로 상기 제 1 얼굴 영역 및 상기 제 2 얼굴 영역 중 적어도 어느 하나에 대한 합성 가중치를 판단하여 상기 합성 가중치를 바탕으로 상기 제 1 얼굴 영역 및 상기 제 2 얼굴 영역 중 적어도 어느 하나의 밝기를 조절하여 합성하는 포터블 피부 상태 측정 장치.
  7. 제 1항에 있어서,
    상기 프로세서는,
    상기 사용자 얼굴 촬영용 카메라에 의해 획득된 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지의 평균 피부색 값 혹은 피부색 분포 값과 기 설정되어 있는 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지의 평균 피부색 값 혹은 피부색 분포값의 차이를 판단하여, 상기 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지의 평균 피부색 값 혹은 피부색 분포 값을 상기 기 설정되어 있는 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지의 평균 피부색 값 혹은 피부색 분포 값으로 보정하는 포터블 피부 상태 측정 장치.
  8. 제 1항에 있어서,
    상기 출력부는,
    디스플레이 및 오디오 출력부를 포함하고,
    상기 디스플레이는, 기 설정된 단일 사용자 얼굴 이미지 혹은 사용자 얼굴 전체 이미지를 오버레이하여 사용자에게 제공하는 포터블 피부상태 측정 장치.
  9. 제 1항에 있어서,
    상기 사용자와 카메라 사이의 거리를 측정하는 거리 센서를 가지는 센서부를 더 포함하고,
    상기 출력부는 상기 센서부에서 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안하며,
    상기 프로세서는 상기 센서부에서 측정된 상기 사용자와 카메라 사이의 거리에 따른 출력부의 얼굴 위치 이동 제안을 제어하는 포터블 피부 상태 측정 장치.
  10. 제 1항에 있어서,
    외부 사용자 단말로 상기 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 전송하는 통신부를 더 포함하고,
    상기 프로세서는 상기 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지에 대한 데이터를 사용자 단말로 전송하도록 상기 통신부를 제어하는 포터블 피부 상태 측정 장치.
  11. 제 1항에 따른 포터블 피부 상태 측정 장치; 및 사용자 단말을 포함하고,
    상기 사용자 단말은 상기 포터블 피부 상태 측정 장치로부터 전송 받은 단일 사용자 얼굴 이미지를 분석하거나, 상기 포터블 피부 상태 측정 장치로부터 전송 받은 사용자 얼굴 전체 이미지를 분석하거나, 또는 상기 포터블 피부 상태 측정 장치로부터 전송 받은 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고, 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 사용자 얼굴 전체 이미지를 형성한 후, 상기 사용자 얼굴 전체 이미지를 분석하여 피부 상태 진단 결과를 제공하고, 상기 피부 상태 진단 결과를 바탕으로 사용자의 피부 상태를 개선하기 위한 제품을 추천하는 어플리케이션을 포함하는 피부 상태 진단 및 관리 시스템.
PCT/KR2018/015115 2017-11-30 2018-11-30 포터블 피부 상태 측정 장치, 및 피부 상태 진단 및 관리 시스템 WO2019108028A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/767,583 US11950921B2 (en) 2017-11-30 2018-11-30 Portable device for measuring skin condition and skin condition diagnosis and management system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170162375A KR102052723B1 (ko) 2017-11-30 2017-11-30 포터블 피부 상태 측정 장치, 및 피부 상태 진단 및 관리 시스템
KR10-2017-0162375 2017-11-30

Publications (1)

Publication Number Publication Date
WO2019108028A1 true WO2019108028A1 (ko) 2019-06-06

Family

ID=66664562

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/015115 WO2019108028A1 (ko) 2017-11-30 2018-11-30 포터블 피부 상태 측정 장치, 및 피부 상태 진단 및 관리 시스템

Country Status (3)

Country Link
US (1) US11950921B2 (ko)
KR (1) KR102052723B1 (ko)
WO (1) WO2019108028A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11348334B1 (en) * 2019-06-30 2022-05-31 George Douglas MacEwen Methods and systems for skin color matching using an imaging device and a controlled light source
KR20210055948A (ko) 2019-11-08 2021-05-18 주식회사 엠마헬스케어 접촉과 비접촉 방식으로 피부 상태를 진단하는 피부 진단기
US11869213B2 (en) 2020-01-17 2024-01-09 Samsung Electronics Co., Ltd. Electronic device for analyzing skin image and method for controlling the same
KR102422772B1 (ko) * 2022-01-05 2022-07-22 주식회사 룰루랩 사용자를 위한 케어 기기를 추천하는 방법 및 장치
KR102551815B1 (ko) * 2022-04-14 2023-07-07 주식회사 에코마인 머신 러닝 모델을 이용하는 두피 분석에 필요한 데이터를 생성하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR102436130B1 (ko) * 2022-04-25 2022-08-26 주식회사 룰루랩 피부 분석 영상에 대한 적합도를 판단하는 방법 및 장치
US11638553B1 (en) * 2022-04-29 2023-05-02 Lululab Inc. Skin condition analyzing and skin disease diagnosis device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010110838A (ko) * 2000-06-08 2001-12-15 탁승호 원격 피부 진단 시스템 및 그 방법
JP5035524B2 (ja) * 2007-04-26 2012-09-26 花王株式会社 顔画像の合成方法及び合成装置
JP2013138501A (ja) * 2013-03-01 2013-07-11 Canon Inc ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法
KR101738417B1 (ko) * 2015-07-20 2017-05-22 서울대학교병원 피부 상태 진단 및 치료를 위한 장치 및 방법
KR20170096904A (ko) * 2016-02-17 2017-08-25 삼성전자주식회사 사용자의 피부 유형에 따른 콘텐트를 제공하기 위한 전자 장치 및 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092133A (ja) 2004-09-22 2006-04-06 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム
KR100853655B1 (ko) * 2006-12-15 2008-08-25 한국전기연구원 피부 질환의 광학 진단 및 치료를 위한 장치, 광원 시스템 및 장치의 이용방법
JP5359783B2 (ja) 2009-10-28 2013-12-04 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5750253B2 (ja) * 2010-09-28 2015-07-15 任天堂株式会社 画像生成プログラム、撮像装置、撮像システム、及び画像生成方法
KR101859997B1 (ko) * 2011-08-24 2018-07-05 한국전자통신연구원 국부 다해상도 3차원 얼굴 고유 모델 생성 장치, 방법 및 얼굴 피부 관리 시스템
US9351639B2 (en) * 2012-03-17 2016-05-31 Visunex Medical Systems Co. Ltd. Eye imaging apparatus with a wide field of view and related methods
KR101410739B1 (ko) 2012-07-09 2014-06-24 한국전기연구원 투과광 검출형 피부 형광 측정 장치
KR20140028415A (ko) * 2012-08-29 2014-03-10 한국전자통신연구원 피부분석을 위한 3차원 얼굴 모델 생성 장치 및 그 방법
US20150124067A1 (en) * 2013-11-04 2015-05-07 Xerox Corporation Physiological measurement obtained from video images captured by a camera of a handheld device
TW201540264A (zh) * 2014-04-18 2015-11-01 Sony Corp 資訊處理裝置、資訊處理方法、及程式
CN107949848B (zh) * 2015-06-26 2022-04-15 英特尔公司 数字图像中的缺陷检测和校正
US10238277B2 (en) * 2016-05-26 2019-03-26 Dental Smartmirror, Inc. Curing dental material using lights affixed to an intraoral mirror, and applications thereof
KR101922137B1 (ko) * 2016-07-22 2018-11-27 재단법인대구경북과학기술원 피부 진단 및 관리를 위한 휴대용 분광 이미징 디바이스, 사용자 단말기, 그 방법 및 그 프로그램
CN108618752A (zh) * 2017-03-23 2018-10-09 丽宝大数据股份有限公司 肌肤产品适配方法及其电子装置
CN107679466B (zh) * 2017-09-21 2021-06-15 百度在线网络技术（北京）有限公司 信息输出方法和装置
KR102055881B1 (ko) * 2018-01-09 2019-12-13 주식회사 룰루랩 피부 상태 측정용 모듈

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010110838A (ko) * 2000-06-08 2001-12-15 탁승호 원격 피부 진단 시스템 및 그 방법
JP5035524B2 (ja) * 2007-04-26 2012-09-26 花王株式会社 顔画像の合成方法及び合成装置
JP2013138501A (ja) * 2013-03-01 2013-07-11 Canon Inc ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法
KR101738417B1 (ko) * 2015-07-20 2017-05-22 서울대학교병원 피부 상태 진단 및 치료를 위한 장치 및 방법
KR20170096904A (ko) * 2016-02-17 2017-08-25 삼성전자주식회사 사용자의 피부 유형에 따른 콘텐트를 제공하기 위한 전자 장치 및 방법

Also Published As

Publication number Publication date
US11950921B2 (en) 2024-04-09
US20200383629A1 (en) 2020-12-10
KR20190063525A (ko) 2019-06-10
KR102052723B1 (ko) 2019-12-13

Similar Documents

Publication Publication Date Title
WO2019108028A1 (ko) 포터블 피부 상태 측정 장치, 및 피부 상태 진단 및 관리 시스템
WO2019139291A1 (ko) 피부 상태 측정용 모듈
WO2017204596A1 (ko) 얼굴 윤곽 보정 방법 및 장치
WO2016129917A1 (ko) 사용자 단말 및 이의 제공 방법
WO2011059202A2 (en) Display device and method of controlling the same
WO2017090848A1 (en) Photographing device and operating method of the same
WO2018008991A1 (ko) 영상 처리를 위한 디스플레이 장치 및 방법
WO2018066742A1 (ko) 영상 제공 장치 및 방법
WO2019125029A1 (ko) 증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법
WO2018093160A2 (ko) 디스플레이장치, 시스템 및 기록매체
WO2017073852A1 (en) Photographing apparatus using multiple exposure sensor and photographing method thereof
WO2017150795A1 (en) Video display apparatus and method for reducing vr sickness
WO2016089047A1 (ko) 컨텐트를 제공하는 방법 및 디바이스
WO2019156480A1 (ko) 시선에 기반한 관심 영역 검출 방법 및 이를 위한 전자 장치
WO2022019675A1 (ko) 시설 평면도에 포함된 기호 분석 장치 및 방법
WO2015005722A1 (en) Mobile device, display apparatus and method for sharing contents thereof
WO2020235914A1 (ko) 피부 상태 측정 및 케어용 디바이스, 및 이를 포함하는 피부 상태 측정 및 케어 시스템
WO2013085278A1 (ko) 선택적 주의 집중 모델을 이용한 모니터링 장치 및 그 모니터링 방법
WO2014107025A1 (en) Method and apparatus for controlling contents in electronic device
EP3365755A1 (en) Video display apparatus and method for reducing vr sickness
WO2017007102A1 (en) Imaging device and method of operating the same
WO2012086965A2 (ko) 제보방법, 이를 수행하는 전자기기 및 기록매체
WO2012015093A1 (ko) 원격진료방법 및 전자기기
WO2018088804A1 (en) Electronic apparatus and control method thereof
WO2021256760A1 (ko) 이동 가능한 전자장치 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18883785

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18883785

Country of ref document: EP

Kind code of ref document: A1