KR102055881B1 - 피부 상태 측정용 모듈 - Google Patents

피부 상태 측정용 모듈 Download PDF

Info

Publication number
KR102055881B1
KR102055881B1 KR1020180002898A KR20180002898A KR102055881B1 KR 102055881 B1 KR102055881 B1 KR 102055881B1 KR 1020180002898 A KR1020180002898 A KR 1020180002898A KR 20180002898 A KR20180002898 A KR 20180002898A KR 102055881 B1 KR102055881 B1 KR 102055881B1
Authority
KR
South Korea
Prior art keywords
user
face
skin condition
module
measuring
Prior art date
Application number
KR1020180002898A
Other languages
English (en)
Other versions
KR20190084771A (ko
Inventor
유상욱
최용준
Original Assignee
주식회사 룰루랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 룰루랩 filed Critical 주식회사 룰루랩
Priority to KR1020180002898A priority Critical patent/KR102055881B1/ko
Priority to PCT/KR2018/016858 priority patent/WO2019139291A1/ko
Priority to US16/960,100 priority patent/US11449997B2/en
Publication of KR20190084771A publication Critical patent/KR20190084771A/ko
Application granted granted Critical
Publication of KR102055881B1 publication Critical patent/KR102055881B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A61B5/0079—Devices for viewing the surface of the body, e.g. camera, magnifying lens using mirrors, i.e. for self-examination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/486—Bio-feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H04N5/2256—
    • H04N5/232—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Physiology (AREA)
  • Dermatology (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)

Abstract

본 발명은 피부 상태 측정용 모듈에 대한 것이다.
본 발명에 따른 피부 상태 측정용 모듈은 키오스크; 피부 상태 측정용 미러; 피부 상태 측정 및 화장품 제공 자판기; 또는 모듈 내장형 피부 상태 측정 기기에 내장 또는 연계되어 사용자의 피부 상태를 효과적으로 진단할 수 있도록 설계될 수 있다.

Description

피부 상태 측정용 모듈{module using skin condition measurement}
본 발명은 피부 상태 측정용 모듈에 대한 것이다.
보다 구체적으로, 본 발명은 피부 상태 측정 장치에 내장되거나 또는 피부 상태 측정 장치와 연계되어 사용자의 피부 상태를 진단할 수 있도록 설계된 피부 상태 측정용 모듈에 대한 것이다.
근래에는 미에 대한 관심이 증가하면서, 사용자 얼굴의 피부 미용에 대한 관심이 높아지고 있다. 특히, 사용자의 얼굴 피부를 촬영하여 사용자 얼굴에 있는 다양한 피부 트러블(예를 들어, 주름, 모공 및 여드름 등) 등을 분석하는 포터블 피부 상태 측정 장치가 개발되고 있다.
한편, 종래의 피부 분석을 위한 피부 상태 측정 장치는 사용자 얼굴이 피부 상태 측정 장치에 넣어진 상태에서 기 설정된 촬영 파라미터(예를 들어, 광원의 세기, 방향, 조리개값 또는 셔터 스피드 등)을 바탕으로 사용자 얼굴을 촬영하였다.
종래의 피부 상태 측정 장치는, 사용자의 촬영 위치가 고정되는 장점은 있으나, 휴대와 소지가 불편하였고, 사용자가 목적하는 장소에서 피부 상태를 측정하는 것이 곤란하다는 점이 있었으며, 가격도 일반 소비자가 구매하기 어려운 수준이었다.
한편, 피부 측정 장치로써, 휴대와 소지가 가능한 포터블 피부 상태 측정 장치가 개발되고 있으나, 피부의 특정 면적을 측정할 수 있는 기기에 제한적으로 기술 개발이 이루어진 상태이고, 사용자 얼굴 전체를 분석하기 위한 기술 및 피부 상태 측정을 위한 명확한 사용자 얼굴 영상의 획득 기술에는 여전히 기술적으로 해결해야 되는 문제가 있다.
대한민국 공개특허공보 2005-0063781
본 발명은 효과적으로 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 획득할 수 있도록 설계된 피부 상태 측정용 모듈을 제공한다.
본 발명은 또한, 사용자의 얼굴 촬영 시 사용자의 얼굴 위치를 제어함으로써, 효과적으로 얼굴 전체 이미지를 획득할 수 있도록 설계된 피부 상태 측정용 모듈을 제공한다.
본 발명은 더욱이, 키오스크; 피부 상태 측정용 미러; 피부 상태 측정 및 화장품 제공 자판기; 또는 모듈 내장형 피부 상태 측정 기기에 내장되거나 또는 연계되어 사용자의 피부 상태를 진단하고, 나아가 피부 상태를 개선하기 위한 제품을 추천하도록 설계된 피부 상태 측정용 모듈을 제공한다.
본 발명은 상기 과제를 해결하기 위하여 안출 된 것으로써, 피부 상태 측정용 모듈에 대한 것이다.
상기 피부 상태 측정용 모듈은 피부 상태 측정 장치에 내장되거나 또는 피부 상태 측정 장치와 연계되어 사용자의 피부 상태를 진단할 수 있도록 설계되고, 사용자 얼굴 촬영용 카메라 제어부 및 광원 제어부를 포함한다. 또한, 상기 피부 상태 측정용 모듈은 상기 모듈을 구동하기 위한 소프트웨어가 저장되어 있는 메모리; 및 사용자 얼굴 촬영용 카메라에 의해 획득된 피부 상태 측정을 위한 단일 사용자 얼굴 이미지를 형성하도록 설계되거나, 또는 사용자 얼굴의 특정 영역을 추출하기 위해 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성하도록 설계된 프로세서를 포함하는 것을 특징으로 한다.
하나의 예시에서, 상기 프로세서는 복수의 예비 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지의 밝기를 분석하여, 상기 복수의 예비 촬영 파라미터 중 어느 하나 이상을 복수의 촬영 파라미터로 설정하도록 설계될 수 있다.
하나의 예시에서, 상기 프로세서는 사용자 얼굴 이미지의 제 1 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제 1 예비 촬영 파라미터를 제 1 촬영 파라미터로 설정하고, 사용자 얼굴 이미지의 제 2 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제 2 예비 촬영 파라미터를 제 2 촬영 파라미터로 설정하도록 설계될 수 있다.
하나의 예시에서, 상기 프로세서는 상기 제 1 촬영 파라미터에 의해 획득된 제 1 사용자 얼굴 이미지로부터 제 1 얼굴 영역을 추출하고, 상기 제 2 촬영 파라미터에 의해 획득된 제 2 사용자 얼굴 이미지로부터 제 2 얼굴 영역을 추출하며, 상기 제 1 얼굴 영역 및 제 2 얼굴 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성하도록 설계될 수 있다.
하나의 예시에서, 상기 프로세서는 감지된 움직임 정보에 따라 상기 제 1 얼굴 영역 및 상기 제 2 얼굴 영역을 보정하여 합성하도록 설계된 피부 상태 측정용 모듈.
하나의 예시에서, 상기 촬영 파라미터는 광원부의 세기, 광원부의 방향, 셔터 스피드 및 조리개값 중 어느 하나 이상을 포함할 수 있다.
본 발명에 따른 상기 피부 상태 측정용 모듈은 또한, 사용자와 카메라 사이의 거리를 측정하는 거리 센서를 가지는 센서부; 및 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우, 사용자에게 얼굴 위치 이동을 제안하거나, 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안하거나, 또는 상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우 및 상기 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안하는 출력 수단을 제어하는 출력 제어부를 더 포함할 수 있다.
하나의 예시에서, 상기 프로세서는, 상기 형성된 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 분석하여 피부 상태 진단 결과를 제공하고, 상기 피부 상태 진단 결과를 바탕으로 사용자의 피부 상태를 개선하기 위한 제품을 추천하도록 설계될 수 있다.
상기 피부 상태 측정용 모듈은 또한, 외부 사용자 단말로 상기 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 전송하는 통신 수단을 제어하는 통신 제어부를 더 포함할 수 있다.
상기 피부 상태 측정용 모듈은 피부 상태 측정 장치와 연결 또는 연동될 수 있도록 하는 외부 단자를 더 포함할 수 있다.
하나의 예시에서, 피부 상태 측정용 모듈이 내장되거나 또는 연계되는 상기 피부 상태 측정 장치는 키오스크; 피부 상태 측정용 미러; 피부 상태 측정 및 화장품 제공 자판기; 또는 모듈 내장형 피부 상태 측정 기기일 수 있다.
본 발명에 따른 피부 상태 측정용 모듈은, 피부 상태 측정 장치에 내장되거나 또는 피부 상태 측정 장치와 연계되어 효과적으로 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 획득할 수 있으며, 이를 기반으로 사용자의 피부 상태를 정확하게 분석할 수 있다.
또한, 본 발명에 따른 피부 상태 측정용 모듈을 이용하는 경우, 사용자의 얼굴 촬영 시 사용자의 얼굴 위치를 제어함으로써, 효과적으로 사용자 얼굴 이미지를 획득할 수 있다.
더욱이, 본 발명에 따른 피부 상태 측정용 모듈은 키오스크; 피부 상태 측정용 미러; 피부 상태 측정 및 화장품 제공 자판기; 또는 모듈 내장형 피부 상태 측정 기기 등 포터블 또는 논-포터블 피부 상태 측정 장치에 제한 없이 적용되어 효과적으로 사용자의 피부 상태를 진단 및 제품 추천 기능을 수행할 수 있다.
물론, 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.
도 1 내지 3은 본 발명에 피부 상태 측정용 모듈의 구성 블록도 이다.
도 4 및 5는 본 발명에 따른 피부 상태 측정용 모듈이 내장되거나 연계된 피부 상태 측정 장치가 피부 상태 측정하고, 관련 제품을 추천해주는 프로세스를 구체적으로 도식화 한 것이다.
이하, 본 발명에 대하여, 도면 및 예시를 들어 보다 구체적으로 설명한다.
본 명세서에서, 단수의 표현은 달리 명시하지 않는 한 복수의 표현을 포함한다.
본 명세서에서 사용되는 용어는, 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 발명의 실시예들은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 명세서에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소는 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면을 참고하여 본 발명에 따른 피부 상태 측정용 모듈에 대하여 보다 구체적으로 설명한다.
본 발명은 피부 상태 측정용 모듈에 대한 것이다. 본 발명에 따른 피부 상태 측정용 모듈은 피부 상태 측정 장치에 내장되거나 또는 피부 상태 측정 장치와 연계되어 사용자의 피부 상태를 진단할 수 있도록 설계된다. 상기 피부 상태 측정 장치는 포터블 또는 논-포터블 형태의 피부 상태 측정 기기를 포괄하는 것으로 이해될 수 있다.
하나의 예시에서, 상기 피부 상태 측정 장치는 키오스크; 피부 상태 측정용 미러; 피부 상태 측정 및 화장품 제공 자판기; 또는 모듈 내장형 피부 상태 측정 기기일 수 있다. 따라서, 본 발명에 따른 피부 상태 측정용 모듈은 포터블 또는 논-포터블 형태의 피부 상태 측정 기기에 제한 없이 내장 또는 연계되어 사용자의 피부 상태를 진단 하는데 이용될 수 있다.
본 발명자는 피부 상태 측정 기기의 크기에 상관 없이 효과적으로 사용자의 얼굴 이미지를 획득할 수 있는 프로세서를 포함하는 모듈을 개발하여 본 발명을 완성하기에 이르렀다.
또한, 본 발명자는 모듈 자체적으로 피부 상태를 정확하게 진단 및 관련 제품을 추천해 줄 수 있도록 하여 피부 상태의 진단 및 관련 제품의 추천 프로세스의 일원화를 도모할 수 있는 피부 상태 측정용 모듈을 개발하였다.
도 1은 본 발명에 따른 피부 상태 측정용 모듈의 각 구성이 블록으로 도시되어 있다.
도 1에 도시되어 있는 바와 같이, 피부 상태 측정용 모듈(1)은 사용자 얼굴 촬영용 카메라 제어부(100) 및 광원 제어부(200)를 포함한다. 또한, 상기 피부 상태 측정용 모듈(1)은 상기 모듈을 구동하기 위한 소프트웨어가 저장되어 있는 메모리(300); 및 사용자 얼굴 촬영용 카메라에 의해 획득된 피부 상태 측정을 위한 단일 사용자 얼굴 이미지를 형성하도록 설계되거나 또는 사용자 얼굴의 특정 영역을 추출하기 위해 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성하도록 설계된 프로세서(400)를 포함한다.
본 명세서에서 용어 「단일 사용자 얼굴 이미지」는 피부 상태 분석을 위해 카메라에 의해 획득되고, 프로세서에 의해 형성되는 단일 이미지를 의미하는 것으로써, 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지의 특정 영역 추출 및 합성 기술을 통해 형성되는 사용자 얼굴 전체 이미지와의 차별화를 위해, 상기 용어는 본 명세서에서 사용된다.
본 명세서에서 용어 「사용자 얼굴 전체 이미지」 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 특정 얼굴 영역을 추출하고, 이를 합성하는 기술을 통해 형성되고, 피부 상태 측정을 위해 사용되는 사용자 얼굴 이미지를 의미한다.
본 발명에 따른 상기 사용자 얼굴 촬영용 카메라 제어부는 사용자의 얼굴을 촬영하는 사용자 얼굴 촬영용 카메라를 제어한다.
하나의 예시에서, 상기 카메라 제어부는 임의의 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 사용자 얼굴 이미지를 획득하는 카메라를 제어할 수 있다. 이 경우, 상기 사용자 얼굴 이미지는 프로세서에 의해 단일 사용자 얼굴 이미지로 형성될 수 있다.
다른 예시에서, 상기 카메라 제어부는 복수의 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 복수의 이미지를 획득하는 카메라를 제어할 수 있다.
구체적으로, 상기 카메라 제어부는 임의의 촬영 파라미터를 바탕으로 사용자 얼굴을 복수회 촬영하여 사용자 얼굴 이미지를 획득할 수 있는 사용자 얼굴 촬영용 카메라의 각종 촬영 조건을 제어할 수 있다.
보다 구체적으로, 상기 카메라는 복수의 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 복수의 이미지를 획득할 수 있는데, 상기 사용자 얼굴 촬영용 카메라 제어부는 상이한 촬영 파라미터(광원부의 세기, 셔터 스피트값 또는 조리개 값 등)를 바탕으로 사용자 얼굴을 복수회 촬영하여 복수의 이미지를 획득할 수 있는 상기 카메라를 제어할 수 있다.
상기 피부 상태 측정용 모듈은 광원 제어부를 포함한다. 상기 광원 제어부는 적어도 하나의 광원을 포함하는 광원부를 제어한다. 구체적으로, 광원은 사용자의 얼굴을 향해 광을 제공할 수 있는데, 예를 들면 적색광, 녹색광 및 청색광 중 적어도 어느 하나 이상의 광을 발광하여 광원부에서 백색광이 발광 되도록 설계될 수 있고, 상기 광원 제어부는 이러한 광원의 세기 및 파장을 제어할 수 있다.
본 발명에 따른 피부 상태 측정용 모듈은 또한, 메모리(300)를 포함한다. 상기 메모리(300)은 모듈을 피부 상태 측정 장치 내에서 구동 시키기 위한 다양한 소프트웨어를 포함할 수 있다.
예를 들면, 상기 메모리(170) 는 센싱, 통신, 프리젠테이션, 웹 브라우저 및 서비스 기능을 구현하도록 설정된 소프트웨어가 저장될 수 있다.
상술한 바와 같이, 메모리(170)는 다양한 프로그램들을 포함할 수 있으나, 각종 프로그램은 내장 또는 연계되는 피부 상태 측정 장치의 종류 및 특성에 따라 일부 생략되거나 변형 또는 추가될 수 있음은 물론이다.
상기 피부 상태 측정용 모듈은 프로세서를 포함한다. 상기 프로세서는 모듈 내 각종 제어부와 연계되어 모듈 전반의 조건을 설정할 수 있다.
즉, 도 1 내지 도 3에 도시되어 있는 바와 같이, 본 발명에 따른 피부 상태 측정용 모듈의 각 개별적인 구성들은 프로세서(400)에 의해 제어되고 동작될 수 있다.
상기 프로세서는 다양한 제어 동작 중 특히, 사용자 얼굴 촬영용 카메라에 의해 획득된 피부 상태 측정을 위한 단일 사용자 얼굴 이미지를 형성하도록 설계되거나 또는 사용자 얼굴의 특정 영역을 추출하기 위해 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성하도록 설계된다.
하나의 예시에서, 프로세서는 예비 촬영 파라미터를 바탕으로 획득된 사용자 얼굴 이미지의 밝기를 분석하여, 상기 예비 촬영 파라미터를 촬영 파라미터로 설정할 수 있다. 이때, 예비 촬영 파라미터는 외부의 조명 환경에 따라 결정될 수 있다. 이 경우, 프로세서는 예비 촬영 파라미터를 바탕으로 설정된 촬영 파라미터를 기반으로 사용자 얼굴 이미지를 획득하고, 상기 사용자 얼굴 이미지를 피부 상태 측정을 위한 단일 사용자 얼굴 이미지로 설정할 수 있다.
다른 예시에서, 상기 프로세서는 사용자 얼굴의 특정 영역을 추출하기 위해 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고, 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성하도록 설계된다.
사용자 얼굴의 피부를 분석하기 위한 촬영 파라미터는 상기 프로세서에 의해 설정된다. 상기 촬영 파라미터는, 예를 들면, 광원 제어부에 의해 설정되는 광원부의 세기 및/또는 광원부의 방향 등이거나, 카메라 제어부에 의해 설정되는 셔터 스피드 및/또는 조리개값 일 수 있다.
하나의 예시에서, 상기 촬영 파라미터는, 광원부의 세기, 광원부의 방향, 셔터 스피드 및 조리개값 중 어느 하나 이상을 포함할 수 있다.
이하, 복수의 예비 촬영 파라미터를 바탕으로 사용자 얼굴의 특정 영역을 추출하고, 이를 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성하도록 설계된 프로세서의 동작에 대해 보다 구체적으로 설명한다.
프로세서는 복수의 예비 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지의 밝기를 분석하여, 상기 복수의 예비 촬영 파라미터 중 어느 하나 이상을 복수의 촬영 파라미터로 설정하도록 설계된다.
하나의 예시에서, 복수의 예비 촬영 파라미터 중 제1 예비 촬영 파라미터를 바탕으로 촬영된 이미지가 사용자 얼굴의 제1 영역(예를 들어, 얼굴 중심 영역)에 대해 기 설정된 범위의 밝기값을 갖는 경우, 상기 프로세서는 제1 예비 촬영 파라미터를 사용자 얼굴의 제1 영역에 대응하는 제1 촬영 파라미터로 설정하도록 설계될 수 있다. 또한, 복수의 예비 촬영 파라미터 중 제2 예비 촬영 파라미터를 바탕으로 촬영된 이미지가 사용자 얼굴의 제2 영역(예를 들어, 얼굴 외곽 영역)에 대해 기 설정된 범위의 밝기값을 갖는 경우, 상기 프로세서는 제2 예비 촬영 파라미터를 사용자 얼굴의 제2 영역에 대응하는 제2 촬영 파라미터로 설정하도록 설계될 수 있다.
즉, 상기 프로세서는 사용자 얼굴 이미지의 제 1 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제 1 예비 촬영 파라미터를 제 1 촬영 파라미터로 설정하고, 사용자 얼굴 이미지의 제 2 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제 2 예비 촬영 파라미터를 제 2 촬영 파라미터로 설정하도록 설계될 수 있다.
복수의 촬영 파라미터를 바탕으로 프로세서는 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하도록 설계된다.
하나의 예시에서, 상기 프로세서는 제1 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 제1 사용자 얼굴 이미지를 획득하고, 제2 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 제2 사용자 얼굴 이미지를 획득하도록 설계될 수 있다. 그리고, 프로세서는 복수의 이미지로부터 복수의 이미지 각각에 대응하는 사용자 얼굴 영역을 추출하고, 추출된 사용자 얼굴 영역들을 합성하여 얼굴 전체 이미지를 획득하도록 설계될 수 있다.
즉, 상기 프로세서는 상기 제 1 촬영 파라미터에 의해 획득된 제 1 사용자 얼굴 이미지로부터 제 1 얼굴 영역을 추출하고, 상기 제 2 촬영 파라미터에 의해 획득된 제 2 사용자 얼굴 이미지로부터 제 2 얼굴 영역을 추출할 수 있도록 설계될 수 있으며, 또한 상기 프로세서는 상기 제 1 얼굴 영역 및 제 2 얼굴 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성할 수 있도록 설계될 수 있다.
만약, 피부 상태 측정용 모듈이 포터블 피부 상태 측정 장치에 내장되거나 또는 연계되는 경우, 프로세서는 감지된 포터블 피부 상태 측정 장치의 움직임 정보에 따라 제1 얼굴 영역 및 제2 얼굴 영역을 보정하여 합성할 수 있다. 즉, 제2 사용자 얼굴 이미지를 촬영하는 동안 상기 프로세서를 포함하는 모듈이 내장 또는 연계된 포터블 피부 상태 측정 장치의 움직임이 감지된 경우, 프로세서는 감지된 장치의 움직임에 따라 제2 얼굴 영역을 보정할 수 있다. 또 다른 실시예에 의하면, 프로세서는 상기 프로세서를 포함하는 모듈이 내장 또는 연계된 포터블 피부 상태 측정 장치의 움직임에 따라 제2 얼굴 영역을 추출하기 전에 제2 사용자 얼굴 이미지를 보정할 수 있다. 상기와 같은 움직임의 감지는, 예를 들면 후술하는 센서부에서 수행될 수 있다.
또한, 상기 제1 얼굴 영역과 제2 얼굴 영역을 합성할 때, 프로세서는 밝기 보정을 수행하여 제1 얼굴 영역과 제2 얼굴 영역을 합성하도록 설계될 수 있다.
구체적으로, 프로세서는 제1 얼굴 영역과 제2 얼굴 영역의 경계 부근에서 상기 제1 얼굴 영역과 상기 제2 얼굴 영역 사이의 밝기 차이값을 판단할 수 있도록 설계될 수 있고, 프로세서는 밝기 차이값을 바탕으로 제1 얼굴 영역 및 제2 얼굴 영역 중 적어도 어느 하나에 대한 합성 가중치를 판단할 수 있도록 설계될 수 있다. 이때, 합성 가중치는 밝기를 조절하기 위한 가중치일 수 있다. 그리고, 프로세서는 합성 가중치를 바탕으로 제1 얼굴 영역 및 제2 얼굴 영역 중 적어도 어느 하나의 밝기를 조절한 후, 상기 영역들을 합성하도록 설계될 수 있다.
상기와 같은 프로세서의 구성을 통해, 보다 정확한 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 획득할 수 있다.
본 발명에 따른 피부 상태 측정용 모듈은 또한, 센서부 및 출력 제어부를 더 포함할 수 있다.
즉, 도 2에 도시되어 있는 바와 같이, 본 발명에 따른 피부 상태 측정용 모듈은 사용자와 카메라 사이의 거리를 측정하는 거리 센서를 가지는 센서부(500); 및 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우, 사용자에게 얼굴 위치 이동을 제안하거나, 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안하거나, 또는 상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우 및 상기 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안하는 출력 수단을 제어하는 출력 제어부(600)를 더 포함할 수 있다.
본 발명에 따른 피부 상태 측정용 모듈에 포함되는 출력 제어부(600)는 출력 수단을 제어할 수 있다. 상기 출력 수단은 상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우, 사용자에게 얼굴 위치 이동을 제안하거나, 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안하거나, 또는 상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우 및 상기 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안할 수 있고, 상기 출력 제어부는 이러한 출력 수단의 얼굴 위치 이동 제안을 제어할 수 있다.
본 발명에 따른 피부 상태 측정용 모듈은 상기 사용자에 대한 얼굴 위치 이동 제안을 수행하는 출력 수단을 제어하는 출력 제어부의 구성을 통해, 사용자의 얼굴 이미지를 이탈없이 효과적으로 획득할 수 있다.
상기 사용자에 대한 얼굴 위치 이동 제안은 상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우 및/또는 센서부에 포함되어 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우에 수행될 수 있다.
하나의 예시에서, 상기 출력 수단에 의한 사용자 얼굴 위치 이동 제안은 상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우에 수행될 수 있고, 상기 출력 제어부는 이러한 출력 수단의 동작을 제어할 수 있다.
상기에서 사용자 얼굴 영역의 이탈 정도는, 예를 들면, 메모리에 저장된 센싱 소프트웨어에 저장되어 있는 데이터를 기반으로 판단될 수 있다.
보다 구체적으로, 상기 사용자 얼굴 영역의 이탈 정도는, 사용자 얼굴 영상으로부터 사용자의 얼굴 외곽 검출 시, 검출이 실패되거나, 또는 상기 얼굴 외곽이 경계에서 잘린 경우를 기준으로 판단할 수 있다. 이 때, 상기 얼굴 외곽은, 랜드마크(landmark) 검출이나 또는 엣지(edge) 검출 기술 등을 통해 획득 가능할 수 있다.
다른 예시에서, 상기 출력 수단에 의한 사용자 얼굴 위치 이동 제안은 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우에 수행될 수 있고, 이 경우 출력 제어부는 상기 출력 수단을 제어할 수 있다.
상기 사용자와 카메라 사이의 거리를 측정하는 거리 센서를 가지는 센서부는, 예를 들면 초음파 센서 또는 ToF(Time of Flight) 센서와 같은 거리 센서를 가질 수 있으나 이에 제한되는 것은 아니다.
출력 제어부는 상기 센서부에서 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안하는 출력 수단을 제어할 수 있다.
보다 구체적인 예시에서, 상기 센서부의 거리 센서는 사용자와 카메라 사이의 거리를 측정하고, 그 측정 결과를 메모리의 센싱 소프트웨어와 연계하여 출력 제어부을 통한 출력 수단의 얼굴 위치 이동 제안을 수행하게 할 수 있다.
한편, 상기 센서부는, 외부 조명을 감지하여 광원부의 세기 및 방향; 및 카메라의 셔터 스피드, 조리개 값 및 노출값 등을 포함하는 예비 촬영 파라미터를 결정할 수 있고, 전술한 바와 같이, 모듈이 내장 또는 연계되는 피부 상태 측정 장치의 움직임 정보를 감지하는 역할을 수행할 수 있다. 따라서, 상기 센서부는 거리 센서 이외에 모션 센서(예를 들어, 가속도 센서, 자이로 센서, 전자기 센서 등) 등을 더 포함할 수 있다.
또 다른 예시에서, 상기 출력 제어부는 상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우 및 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우에 사용자 얼굴 위치 이동을 제안하는 출력 수단을 제어할 수 있다.
상기와 같이, 거리 센서를 가지는 센서부 및 출력 제어부의 구성을 통해, 사용자의 얼굴 이탈에 따른 부정확한 얼굴 이미지 획득을 사전에 방지할 수 있고, 보다 명확한 사용자 얼굴 이미지를 획득 할 수 있는 피부 상태 측정용 모듈을 제공할 수 있다.
출력 제어부는, 예를 들면 디스플레이 및/또는 오디오 출력 수단을 제어할 수 있다.
구체적으로, 상기 출력 제어부는 얼굴 위치 이동 제안을 수행하는 디스 플레이를 제어할 수 있다. 한편, 상기 디스플레이는 상기 얼굴 위치 이동 제안 이외에 다양한 영상 데이터 및 UI를 표시할 수 있다.
또한, 상기 출력 제어부는 얼굴 위치 이동 제안을 음성으로 수행하는 오디오 출력 수단을 제어할 수 있다. 한편, 상기 오디오 출력 수단은 얼굴 위치 이동 제안 이외에 각종 알림음이나 음성 메시지를 출력할 수 있다.
다른 예시에서, 상기 출력 제어부는 바람직한 얼굴 위치 이동 방향을 표시하는 화살표 또는 특정 색상을 구현하는 LED 등을 제어할 수 있다.
한편, 본 발명에 따른 피부 상태 측정용 모듈은 소정의 피부 상태 측정 기기에 내장되거나 또는 연계되어 사용자 얼굴 전체 이미지를 자체적으로 분석할 수 있다.
하나의 예시에서, 상기 프로세서는 상기 형성된 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 분석하여 피부 상태 진단 결과를 제공하고, 상기 피부 상태 진단 결과를 바탕으로 사용자의 피부 상태를 개선하기 위한 제품을 추천하도록 설계되어 있을 수 있다.
상기 피부 상태를 개선하기 위한 제품 추천은 온라인 상의 웹페이지를 크롤링(crawling)하여 화장품 관련 리뷰 데이터를 수집하고, 상기 수집된 데이터 내에서 화장품에 대한 평가와 연관된 주요 단어 리스트를 자연어 처리를 통해 추출하며, 상기 추출된 주요 단어 리스트를 기반으로 머신 러닝을 통해 화장품 선호도를 정량화 하는 모델을 학습하고, 상기 모델 학습부에서 학습된 모델을 기반으로 화장품 관련 신규 리뷰 데이터에 대한 화장품 선호도 점수를 계산한 후, 상기 선호도 계산부에서 계산된 화장품 선호도 점수에 따라 화장품을 추천하는 프로세스 및 관련 소프트웨어를 통해 수행될 수 있으나, 이에 제한되는 것은 아니다.
또한, 상기 프로세서에 의해 형성된 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 소정의 사용자 단말로 전송한 후, 상기 사용자 단말을 통해 상기 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지가 분석될 수도 있다. 이 경우, 피부 상태 측정용 모듈은 통신 수단을 제어하는 통신 제어부를 더 포함할 수 있다.
상기 통신 제어부는, 예를 들면, 외부 사용자 단말로부터 사용자 얼굴을 촬영하라는 요청을 수신하도록 제어될 수 있으며, 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 외부 사용자 단말로 전송하도록 제어될 수 있다. 이때, 통신 제어부는 블루투스 모듈로 구현되는 통신 수단을 제어할 수 있으나, 이는 일 실시예에 불과할 뿐, 직비 통신 모듈, 와이파이 통신 모듈 또는 NFC 통신 모듈 등과 같은 다양한 통신 수단을 제어할 수 있다.
한편, 상술한 실시예에서는 피부 상태 측정용 모듈이 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 외부 사용자 단말로 전송하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각을 외부 사용자 단말로 전송할 수도 있다. 이때, 사용자 단말은 복수의 사용자 얼굴 이미지를 상술한 프로세서가 수행한 것과 동일한 방법으로 특정 얼굴 영역의 추출 및 합성을 수행함으로써 사용자 얼굴의 피부 상태를 분석할 수 있다.
또한, 상기 프로세서는 전술한 바와 같이, 직접 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 분석하여 사용자 얼굴에 색소 침착, 여드름, 피지, 모공 및 주름 중 적어도 어느 하나에 대한 피부 상태 정보를 획득하며, 획득된 피부 상태 정보를 상기 출력 제어부의 제어를 받는 출력 수단을 통해 출력할 수 있다.
본 발명에 또한, 입력부를 제어하는 입력 제어부를 더 포함할 수 있다. 상기 입력 제어부는 내장 또는 연계되어 있는 피부 상태 측정 장치를 조작하는 사용자 명령을 입력하여, 사용자 명령에 대한 정보를 프로세서로 전송하도록 설계된 입력부를 제어할 수 있다. 한편, 상기 입력부는 피부 상태 측정 장치의 종류에 따라 상이하며, 예를 들면 사용자 터치를 감지하기 위한 터치 패널 또는 (디지털) 펜 센서 등일 수 있다.
본 발명에 따른 피부 상태 측정용 모듈은 또한, 피부 상태 측정 장치와 연결 또는 연동될 수 있도록 하는 외부 단자를 더 포함할 수 있다. 상기 외부 단자는, 예를 들면 USB 단자의 형태일 수 있으나 이에 제한되는 것은 아니고, 내장 또는 연계되는 피부 상태 측정 장치와 상기 피부 상태 측정용 모듈이 전기적으로 연결되어 피부 상태를 측정할 수 있도록 하는 형태이면 그 종류의 제한은 없다.
한편, 상기 피부 상태 측정 장치는, 키오스크; 피부 상태 측정용 미러; 피부 상태 측정 및 화장품 제공 자판기; 또는 모듈 내장형 피부 상태 측정 기기일 수 있다.
하나의 예시에서, 상기 피부 상태 측정 장치가 키오스크 일 경우, 피부 상태 측정용 모듈은 키오스크의 베젤에 매립될 수 있고, 외부 단자를 통해 키오스크 PC와 유선 연결되어 전술한 피부 상태 측정 및 관련 제품 추천이 이루어질 수 있다.
다른 예시에서, 상기 피부 상태 측정 장치가 포터블한 피부 상태 측정 기기인 경우, 상기 피부 상태 측정 모듈은 상기 피부 상태 측정 기기의 내부에 내장되어 단일 사용자 얼굴 이미지를 획득하거나, 또는 복수의 사용자 얼굴 이미지를 촬영, 추출 및 합성하여 사용자 얼굴 전체 이미지를 획득할 수 있고, 상기 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지를 기반으로 측정 기기 자체에서 또는 외부 사용자 단말기를 통해 피부 상태 분석 및 맞춤 제품 추천이 이루어질 수 있다.
또 다른 예시에서, 상기 피부 상태 측정 장치가 피부 상태 측정용 미러인 경우, 상기 미러의 구조나 구동 형태 등에 따라 상기 피부 상태 측정용 모듈은 상기 미러 내에 내장되거나, 또는 미러의 외부에 배치된 상태에서 상기 미러와 전기적으로 연계되어 피부 상태 측정 및 맞춤 제품 추천이 이루어질 수 있다.
이상과 같이 본 개시는 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 개시는 상기의 실시 예에 한정되는 것은 아니며, 본 개시가 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
1 : 피부 상태 측정용 모듈
100 : 사용자 얼굴 촬영용 카메라 제어부
200 : 광원 제어부
300 : 메모리
400 : 프로세서
500 : 센서부
600 : 출력 제어부
700 : 통신 제어부

Claims (11)

  1. 피부 상태 측정 장치에 내장되거나 또는 피부 상태 측정 장치와 연계되어 사용자의 피부 상태를 진단할 수 있도록 설계되고, 사용자 얼굴 촬영용 카메라 제어부 및 광원 제어부를 포함하는 피부 상태 측정용 모듈에 있어서,
    상기 모듈을 구동하기 위한 소프트웨어가 저장되어 있는 메모리; 및
    사용자 얼굴의 특정 영역을 추출하기 위해 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성하도록 설계된 프로세서를 포함하고,
    상기 프로세서는,
    사용자 얼굴 이미지의 제 1 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제 1 예비 촬영 파라미터를 제 1 촬영 파라미터로 설정하고, 사용자 얼굴 이미지의 제 2 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제 2 예비 촬영 파라미터를 제 2 촬영 파라미터로 설정하도록 설계되며,
    상기 제 1 촬영 파라미터에 의해 획득된 제 1 사용자 얼굴 이미지로부터 제 1 얼굴 영역을 추출하고, 상기 제 2 촬영 파라미터에 의해 획득된 제 2 사용자 얼굴 이미지로부터 제 2 얼굴 영역을 추출하며, 상기 제 1 얼굴 영역 및 제 2 얼굴 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성하도록 설계되는 것을 특징으로 하는 피부 상태 측정용 모듈.
  2. 제 1항에 있어서,
    상기 프로세서는,
    감지된 움직임 정보에 따라 상기 제 1 얼굴 영역 및 상기 제 2 얼굴 영역을 보정하여 합성하도록 설계된 피부 상태 측정용 모듈.
  3. 제 1항에 있어서,
    상기 프로세서는,
    상기 제 1 얼굴 영역과 상기 제 2 얼굴 영역의 경계 부근에서 상기 제 1 얼굴 영역과 상기 제 2 얼굴 영역 사이의 밝기 차이값을 판단하고, 상기 밝기 차이값을 바탕으로 상기 제 1 얼굴 영역 및 상기 제 2 얼굴 영역 중 적어도 어느 하나에 대해 밝기 조절하기 위한 합성 가중치를 판단할 수 있도록 설계되며, 상기 합성 가중치를 바탕으로 상기 제 1 얼굴 영역 및 제 2 얼굴 영역 중 적어도 어느 하나의 밝기를 조절한 후, 상기 영역들을 합성하도록 설계된 피부 상태 측정용 모듈.
  4. 제 1항에 있어서,
    상기 촬영 파라미터는,
    광원부의 세기, 광원부의 방향, 셔터 스피드 및 조리개값 중 어느 하나 이상을 포함하는 피부 상태 측정용 모듈.
  5. 제 1항에 있어서,
    사용자와 카메라 사이의 거리를 측정하는 거리 센서를 가지는 센서부; 및
    사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우, 사용자에게 얼굴 위치 이동을 제안하거나, 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안하거나, 또는 상기 사용자 얼굴 촬영용 카메라에 의해 획득되는 사용자 얼굴 영상에서 사용자 얼굴의 일부 영역이 이탈된 경우 및 상기 사용자와 카메라 사이의 거리를 측정하는 거리 센서에 의해 측정된 상기 사용자와 카메라 사이의 거리가 기 설정된 값을 벗어나는 경우, 사용자에게 얼굴 위치 이동을 제안하는 출력 수단을 제어하는 출력 제어부를 더 포함하는 피부 상태 측정용 모듈.
  6. 제 1항에 있어서,
    상기 프로세서는,
    상기 사용자 얼굴 전체 이미지를 분석하여 피부 상태 진단 결과를 제공하고, 상기 피부 상태 진단 결과를 바탕으로 사용자의 피부 상태를 개선하기 위한 제품을 추천하도록 설계되어 있는 피부 상태 측정용 모듈.
  7. 제 1항에 있어서,
    외부 사용자 단말로 상기 사용자 얼굴 전체 이미지를 전송하는 통신 수단을 제어하는 통신 제어부를 더 포함하는 피부 상태 측정용 모듈.
  8. 제 1항에 있어서,
    피부 상태 측정 장치와 연결 또는 연동될 수 있도록 하는 외부 단자를 더 포함하는 피부 상태 측정용 모듈.
  9. 제 1항에 있어서,
    상기 피부 상태 측정 장치는,
    키오스크; 피부 상태 측정용 미러; 피부 상태 측정 및 화장품 제공 자판기; 또는 모듈 내장형 피부 상태 측정 기기인 피부 상태 측정용 모듈.
  10. 삭제
  11. 삭제
KR1020180002898A 2018-01-09 2018-01-09 피부 상태 측정용 모듈 KR102055881B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180002898A KR102055881B1 (ko) 2018-01-09 2018-01-09 피부 상태 측정용 모듈
PCT/KR2018/016858 WO2019139291A1 (ko) 2018-01-09 2018-12-28 피부 상태 측정용 모듈
US16/960,100 US11449997B2 (en) 2018-01-09 2018-12-28 Skin condition measuring module

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180002898A KR102055881B1 (ko) 2018-01-09 2018-01-09 피부 상태 측정용 모듈

Publications (2)

Publication Number Publication Date
KR20190084771A KR20190084771A (ko) 2019-07-17
KR102055881B1 true KR102055881B1 (ko) 2019-12-13

Family

ID=67219692

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180002898A KR102055881B1 (ko) 2018-01-09 2018-01-09 피부 상태 측정용 모듈

Country Status (3)

Country Link
US (1) US11449997B2 (ko)
KR (1) KR102055881B1 (ko)
WO (1) WO2019139291A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220096606A (ko) 2020-12-31 2022-07-07 주식회사 룰루랩 Ai 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템, 및 이를 이용한 피부 상태 분석 및 맞춤 화장품 추천방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102052723B1 (ko) * 2017-11-30 2019-12-13 주식회사 룰루랩 포터블 피부 상태 측정 장치, 및 피부 상태 진단 및 관리 시스템
JP7289308B2 (ja) * 2018-09-06 2023-06-09 株式会社 資生堂 画像解析装置、画像解析方法およびプログラム
KR102268759B1 (ko) * 2019-05-20 2021-06-24 주식회사 룰루랩 피부 상태 측정 및 케어용 디바이스, 및 이를 포함하는 피부 상태 측정 및 케어 시스템
KR20210055948A (ko) 2019-11-08 2021-05-18 주식회사 엠마헬스케어 접촉과 비접촉 방식으로 피부 상태를 진단하는 피부 진단기
KR102356465B1 (ko) 2019-12-17 2022-01-27 고려대학교 산학협력단 사용자 얼굴 피부 분석 방법 및 서버
CN115553721A (zh) * 2021-12-28 2023-01-03 深圳市宗匠科技有限公司 基于面部分区皮下成分含量检测的智慧美容方法及智慧美容系统
US12002187B2 (en) * 2022-03-30 2024-06-04 Lenovo (Singapore) Pte. Ltd Electronic device and method for providing output images under reduced light level
KR102436130B1 (ko) * 2022-04-25 2022-08-26 주식회사 룰루랩 피부 분석 영상에 대한 적합도를 판단하는 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015080647A (ja) * 2013-10-23 2015-04-27 パナソニックＩｐマネジメント株式会社 撮影画像表示装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2845265A1 (fr) 2002-10-08 2004-04-09 Cognis France Sa Procede et dispositif de caracterisation et d'analyse de la reactivite et/ou l'hypersensibilite de la peau et application au domaine de la cosmetique
KR100853655B1 (ko) * 2006-12-15 2008-08-25 한국전기연구원 피부 질환의 광학 진단 및 치료를 위한 장치, 광원 시스템 및 장치의 이용방법
KR20140028415A (ko) * 2012-08-29 2014-03-10 한국전자통신연구원 피부분석을 위한 3차원 얼굴 모델 생성 장치 및 그 방법
TW201540264A (zh) * 2014-04-18 2015-11-01 Sony Corp 資訊處理裝置、資訊處理方法、及程式
KR101668348B1 (ko) * 2014-06-27 2016-10-21 주식회사 엘지유플러스 피부 분석 방법 및 이를 위한 장치
KR101738417B1 (ko) 2015-07-20 2017-05-22 서울대학교병원 피부 상태 진단 및 치료를 위한 장치 및 방법
KR101810959B1 (ko) 2016-06-21 2017-12-21 (주)메디코넷 3d 안면 피부 진단장치
CN108618752A (zh) * 2017-03-23 2018-10-09 丽宝大数据股份有限公司 肌肤产品适配方法及其电子装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015080647A (ja) * 2013-10-23 2015-04-27 パナソニックＩｐマネジメント株式会社 撮影画像表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220096606A (ko) 2020-12-31 2022-07-07 주식회사 룰루랩 Ai 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템, 및 이를 이용한 피부 상태 분석 및 맞춤 화장품 추천방법

Also Published As

Publication number Publication date
WO2019139291A1 (ko) 2019-07-18
KR20190084771A (ko) 2019-07-17
US20210065369A1 (en) 2021-03-04
US11449997B2 (en) 2022-09-20

Similar Documents

Publication Publication Date Title
KR102055881B1 (ko) 피부 상태 측정용 모듈
KR102180920B1 (ko) 피부 상태 측정용 다중 이미지 획득 모듈
KR102052723B1 (ko) 포터블 피부 상태 측정 장치, 및 피부 상태 진단 및 관리 시스템
CN111031846B (zh) 用于调整定制外用剂的系统和方法
KR102242460B1 (ko) 표면의 색상 및 스펙트럼의 측정 및 범주화를 위한 시스템 및 방법
US10617301B2 (en) Information processing device and information processing method
US20220344044A1 (en) User-customized skin diagnosis system and method
KR102052722B1 (ko) 편광 필름을 포함하는 포터블 피부 상태 측정 장치, 및 피부 상태 진단 및 관리 시스템
TW201531992A (zh) 表面狀態測定分析資訊管理系統及表面狀態測定分析資訊管理方法
JP6289837B2 (ja) 肌状態測定分析情報管理システムおよび肌状態測定分析情報管理方法
KR102241804B1 (ko) 상담 대상자의 드로잉 과정을 통해 심리 상태를 판단하는 방법 및 컴퓨터 프로그램
KR101769993B1 (ko) 피부 자동 시술 시스템
KR20210084102A (ko) 전자 장치, 두피 케어 시스템 및 그들의 제어 방법
CN112740254B (zh) 用于改进的产品摄影、交互性和信息分发的先进技术
US20220405973A1 (en) Analysis of urine test strips with mobile camera analysys and providing recommendation by customising data
KR102268759B1 (ko) 피부 상태 측정 및 케어용 디바이스, 및 이를 포함하는 피부 상태 측정 및 케어 시스템
CN114667444A (zh) 执行分析测量的方法
CN109069065A (zh) 色斑部位的评价方法及色斑部位评价装置
CN111989554A (zh) 在非受控环境中评估牙齿色调的方法和系统
JP7522014B2 (ja) 肌状態測定システム
JP2022084299A (ja) 肌状態測定システム
JP6882810B1 (ja) 情報処理装置、プログラム、及び方法
KR101741905B1 (ko) 사용자 이용 패턴 분석을 통한 면도기 정보 제공 시스템
WO2022191269A1 (ja) 肌状態測定システム
KR20200034708A (ko) 키오스크 방식의 3d 신발 공급 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant