KR20200142938A - 사용자 맞춤형 피부 진단 시스템 및 방법 - Google Patents

사용자 맞춤형 피부 진단 시스템 및 방법 Download PDF

Info

Publication number
KR20200142938A
KR20200142938A KR1020190070544A KR20190070544A KR20200142938A KR 20200142938 A KR20200142938 A KR 20200142938A KR 1020190070544 A KR1020190070544 A KR 1020190070544A KR 20190070544 A KR20190070544 A KR 20190070544A KR 20200142938 A KR20200142938 A KR 20200142938A
Authority
KR
South Korea
Prior art keywords
skin
information
user
image
item
Prior art date
Application number
KR1020190070544A
Other languages
English (en)
Inventor
유상욱
최용준
Original Assignee
주식회사 룰루랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 룰루랩 filed Critical 주식회사 룰루랩
Priority to KR1020190070544A priority Critical patent/KR20200142938A/ko
Priority to PCT/KR2020/007317 priority patent/WO2020251217A1/ko
Priority to US17/617,010 priority patent/US20220344044A1/en
Publication of KR20200142938A publication Critical patent/KR20200142938A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0431—Portable apparatus, e.g. comprising a handle or case
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Dermatology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 사용자 맞춤형 피부 진단 시스템 및 그 방법을 제공한다. 이러한 사용자 맞춤형 피부 진단 시스템은, 사용자의 얼굴을 비접촉식으로 촬영하는 포터블 피부 상태 측정 장치, 및 포터블 피부 상태 측정 장치로부터 사용자의 얼굴을 촬영한 영상을 수신하고 수신된 영상을 기설정된 영상 처리 및 딥러닝에 기반하여 하나 이상의 피부 분석 항목 별로 분석하며 분석된 결과에 따른 피부 진단 정보 및 맞춤형 추천 정보를 생성 및 디스플레이하는 피부 분석 장치를 포함한다.

Description

사용자 맞춤형 피부 진단 시스템 및 방법{SYSTEM AND METHOD FOR CUSTOMIZED SKIN DIAGNOSIS}
본 발명은 포터블 피부 상태 측정 장치를 사용하여 사용자 별로 피부 진단을 실시하고 사용자 맞춤형 진단 결과를 피드백하는 시스템 및 그 방법에 관한 것이다.
남녀노소를 가리지 않고 미(美)에 대한 관심이 증가하면서 피부 미용에 대한 관심 또한 높아지고 있다. 이러한 추세에 따라, 사용자의 얼굴을 촬영하여 다양한 피부 트러블(예를 들어, 주름, 모공 및 여드름 등)을 분석할 수 있는 피부 상태 측정 장치들이 개발되어 상용화되고 있다.
종래에는 피부 상태 측정 방식으로서, 사전에 설정된 촬영 환경(예를 들어, 광원 세기, 방향, 조리개 값 또는 셔터 스피드 등의 촬영 파라미터)을 적용하기 위하여, 사용자가 얼굴을 직접 장치 내부 측으로 밀어 넣어 피부 상태를 촬영하는 방식을 사용하였다.
이와 관련하여, 대한민국 등록특허 제 10-1738417 호(발명의 명칭: 피부 상태 진단 및 치료를 위한 장치 및 방법)에는, 환자의 얼굴이 수용되는 내부공간을 구비하는 하우징, 상기 내부공간에서 상기 얼굴을 고정하는 얼굴 고정부, 상기 얼굴의 전방에서 상기 얼굴을 촬영하는 촬영부 및 상기 얼굴고정부의 움직임을 제어하여 상기 얼굴 촬영시 상기 얼굴을 동일한 조건으로 촬영하도록 하는 제어부를 포함하는 피부 상태 진단 및 치료를 위한 장치를 개시하고 있다.
이러한 기존의 피부 상태 측정 방식은 사용자의 촬영 위치가 고정된다는 장점은 있으나, 사용자가 특정 장소 또는 위치에서만 피부 상태를 측정할 수 있다는 불편함이 있었다.
한편, 많은 사용자들이 피부 관리를 위해 피부 관련 제품을 고르는데 많은 시간과 비용을 쓰지만, 전 세계 수많은 브랜드와 제품 중 실제로 자신에게 가장 적합한 제품을 고르는데 어려움이 있다. 일반적으로 소비자는 인터넷 등의 온라인 정보를 통해 자신에게 맞는 피부 관련 제품을 선택하지만, 이러한 검색이나 추천을 통해 선택한 제품 또한 다른 사용자들의 주관적인 지표에 따른 것이기 때문에 완벽한 솔루션이 될 수는 없다는 한계가 있다.
따라서, 사용자가 언제 어디서든 간편하게 자신의 피부 상태를 측정할 수 있도록 하고, 그에 따른 정확한 피부 진단 결과를 사용자에게 피드백할 수 있는 시스템이 필요하다. 더 나아가 사용자 별로 피부 상태 맞춤형 정보(예: 제품 또는 솔루션 등)를 추천할 수 있는 피부 진단 시스템이 필요하다.
본 발명의 실시예는 포터블 피부 진단 장치를 사용하여 간편하게 사용자의 피부 상태를 측정하고, 사용자의 피부 측정 데이터 분석을 통해 맞춤형 진단 결과를 피드백하는 시스템 및 그 방법을 제공하고자 한다.
또한, 본 발명의 실시예는 인공지능(Artificial Intelligence, AI) 기술을 활용하여 사용자 피부 상태를 정확하게 분석하고, 분석 결과로서 사용자 맞춤형 추천 정보를 제공할 수 있는 시스템 및 그 방법을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른 사용자 맞춤형 피부 진단 시스템은, 사용자의 얼굴을 비접촉식으로 촬영하는 포터블 피부 상태 측정 장치; 및 상기 포터블 피부 상태 측정 장치로부터 사용자의 얼굴을 촬영한 영상을 수신하고, 상기 영상을 기설정된 영상 처리 및 딥러닝에 기반하여 하나 이상의 피부 분석 항목 별로 분석하며, 분석된 결과에 따른 피부 진단 정보 및 맞춤형 추천 정보를 생성 및 디스플레이하는 피부 분석 장치를 포함하되, 상기 피부 진단 정보는, 사용자의 현재 피부 상태를 점수화한 피부 분석 항목 별 점수 및 상기 피부 분석 항목 중 가장 낮은 점수부터 적어도 하나의 항목을 포함하는 케어가 필요한 항목 정보를 포함하고, 상기 맞춤형 추천 정보는, 상기 피부 분석 항목 별로 대응하여 기저장된 관련 제품들의 정보 및 관련 솔루션 정보 중 상기 케어가 필요한 항목 정보에 대응하는 하나 이상의 정보를 포함한다.
이때, 상기 피부 진단 정보는, 상기 피부 분석 항목 별 점수에 기초한 전체 피부 분석 항목의 평균 점수, 상기 영상 내 사용자 얼굴 영역 중 상기 케어가 필요한 항목 정보에 대응하는 영역이 식별 가능하게 표시된 현재 피부 상태 영상, 상기 영상 내 사용자 얼굴 영역 중 상기 케어가 필요한 항목에 대응하는 영역에 개선된 피부 상태를 표현한 가상 영상이 합성된 개선 피부 상태 영상 및 악화된 피부 상태를 표현한 가상 영상이 합성된 악화 피부 상태 영상 중 적어도 하나, 및 상기 현재 피부 상태 영상과, 상기 개선 피부 상태 영상 및 악화 피부 상태 영상 중 적어도 하나 간에 프레임을 점차적으로 변화시키는 시뮬레이션 영상 중 적어도 하나를 더 포함할 수 있다.
또한, 상기 맞춤형 추천 정보는, 상기 케어가 필요한 항목 정보에 대응하는 관련 제품 정보 및 관련 솔루션 정보 중, 피부 진단 대상 사용자에 대응하여 입력된 식별 정보, 생활 습관 정보, 성별 및 나이 중 적어도 하나를 포함하는 사용자 정보에 기초하여 필터링된 정보, 날씨, 온도, 습도, 미세 먼지 정보 및 자외선 정도 중 적어도 하나를 포함하는 생활 환경 정보에 기초하여 필터링된 정보, 및 상기 피부 진단 정보에 기반하여 웹 상에서 자연어 분석 처리를 통해 수집된 관련 제품 리뷰 데이터 및 관련 솔루션 데이터에 기초하여 필터링된 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 피부 분석 장치는, 상기 포터블 피부 상태 측정 장치와 기설정된 통신 포맷에 따라 데이터를 통신하는 통신모듈; 피부 분석 프로그램이 저장된 메모리; 및 상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며, 상기 프로세서는 상기 피부 분석 프로그램의 실행에 따라, 피부 진단 대상 사용자의 식별 정보, 생활 습관 정보, 성별 및 나이를 포함하는 사용자 정보를 입력할 수 있도록 하는 사용자 인터페이스를 제공하고, 상기 통신모듈을 통해 상기 사용자 얼굴을 촬영한 영상이 수신되면 기설정된 영상 처리를 통해 복수의 얼굴 영역 부분을 분석하여 사용자 얼굴 전체를 검출하고, 상기 사용자 얼굴 전체의 부분 별로 상기 피부 분석 항목 별 특성 값을 수치화하고, 상기 사용자 정보와 상기 수치화된 특성 값들에 기초하여 상기 피부 분석 항목 별 점수를 생성할 수 있다.
또한, 상기 피부 분석 항목은, 색소 침착, 홍조, 여드름, 모공, 주름 및 피지 중 적어도 하나를 포함할 수 있다.
또한, 상기 포터블 피부 상태 측정 장치는, 상기 피부 분석 장치와 기설정된 통신 포맷에 따라 데이터를 통신하는 통신부; 사용자의 얼굴을 비접촉식으로 촬영하는 촬영부; 상기 촬영부의 촬영 동작 시 자연광 영상 촬영 및 UV 영상 촬영을 위한 광원을 출력하는 조명부; 및 상기 조명부의 동작 및 상기 촬영부의 동작을 제어하고, 상기 촬영부를 통해 촬영된 사용자 얼굴을 촬영한 영상을 상기 통신부를 통해 전송하도록 제어하는 제어부를 포함할 수 있다.
본 발명의 다른 측면에 따른 포터블 피부 상태 측정 장치 및 피부 분석 장치를 포함하는 사용자 맞춤형 피부 진단 시스템을 통한 사용자 맞춤형 피부 진단 방법은, 상기 포터블 피부 상태 측정 장치를 사용하여 비접촉식으로 촬영된 사용자 얼굴 영상을 수신하는 단계; 상기 수신된 사용자 얼굴 영상을 기설정된 영상 처리 및 딥러닝에 기반하여 하나 이상의 피부 분석 항목 별로 분석하는 단계; 및 상기 분석된 결과에 따른 피부 진단 정보 및 맞춤형 추천 정보를 생성 및 디스플레이하는 단계를 포함하며, 상기 피부 진단 정보는, 사용자의 현재 피부 상태를 점수화한 피부 분석 항목 별 점수 및 상기 피부 분석 항목 중 가장 낮은 점수부터 적어도 하나의 항목을 포함하는 케어가 필요한 항목 정보를 포함하고, 상기 맞춤형 추천 정보는, 상기 피부 분석 항목 별로 대응하여 기저장된 관련 제품들의 정보 및 관련 솔루션 정보 중 상기 케어가 필요한 항목 정보에 대응하는 하나 이상의 정보를 포함한다.
또한, 본 발명의 또 다른 측면에 따른 사용자 맞춤형 피부 진단 시스템은, 사용자의 얼굴을 비접촉식으로 촬영하는 포터블 피부 상태 측정 장치; 상기 포터블 피부 상태 측정 장치로부터 사용자의 얼굴을 촬영한 영상을 수신하고, 상기 영상을 딥러닝에 기반하여 하나 이상의 기준 피부 상태 항목 별로 분석하며, 분석된 결과에 따른 피부 진단 정보 및 맞춤형 추천 정보를 제공하는 피부 진단 서버; 및 상기 피부 진단 서버로부터 제공된 피부 진단 정보 및 맞춤형 추천 정보를 수신하고, 수신된 맞춤형 추천 정보를 화면에 디스플레이 하는 사용자 단말을 포함하되, 상기 사용자 단말은 상기 피부 진단 서버로부터 제공된 정보들을 처리하는 전용 애플리케이션이 탑재되어 있으며, 상기 피부 진단 정보는 사용자의 현재 피부 상태를 점수화한 피부 분석 항목 별 점수 및 상기 피부 분석 항목 중 가장 낮은 점수부터 적어도 하나의 항목을 포함하는 케어가 필요한 항목 정보를 포함하고, 상기 맞춤형 추천 정보는 상기 피부 분석 항목 별로 대응하여 기저장된 관련 제품들의 정보 및 관련 솔루션 정보 중 상기 케어가 필요한 항목 정보에 대응하는 하나 이상의 정보를 포함한다.
전술한 본 발명의 과제 해결 수단에 의하면, 사용자의 얼굴 영상을 비접촉식으로 촬영하는 것만으로 사용자의 피부를 정확하게 분석할 수 있으며, 분석 결과에 기초하여 사용자 개인에게 적합한 맞춤형 제품 및 솔루션 정보를 제공할 수 있다.
또한, 본 발명의 과제 해결 수단에 의하면, 사용자 개인의 피부 나이, 분석 결과에 따른 피부 분석 항목 별 점수 및 주요 고민 부위 등에 대한 분석이 가능하여 피부에 대한 전반적인 상태 확인이 가능하다.
또한, 본 발명의 과제 해결 수단에 의하면, 사용자의 피부에 대한 시간에 따른 피부 변화를 데이터를 통해 확인할 수 있어 피부 개선 상태 및 노화 등을 관찰할 수 있는 자료를 제공할 수 있다.
또한, 본 발명의 과제 해결 수단에 의하면, 피부 관리 전후의 피부 변화를 시뮬레이션함으로써 사용자가 자신의 피부 변화를 예측할 수 있도록 하여, 관리의 필요성을 부각시킬 수 있고 적합한 제품의 사용 및 솔루션 적용을 유도할 수 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 맞춤형 피부 진단 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 포터블 피부 상태 측정 장치 및 피부 진단 장치의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 피부 진단 결과 산출 시 수치 분포 계산 방식을 설명하기 위한 분포도이다.
도 4a 내지 도 5는 본 발명의 일 실시예에 따른 사용자 맞춤형 피부 진단 피드백 결과가 출력된 사용자 인터페이스 화면의 일례이다.
도 6은 본 발명의 일 실시예에 따른 사용자 맞춤형 피부 진단 방법을 설명하기 위한 순서도이다.
도 7은 본 발명의 다른 실시예에 따른 사용자 맞춤형 피부 진단 시스템의 구성도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)' 또는 '모듈'이란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 맞춤형 피부 진단 시스템의 구성도이다.
그리고 도 2는 도 1의 포터블 피부 상태 측정 장치 및 피부 분석 장치 각각의 구성도이다.
도 1에 도시한 바와 같이, 사용자 맞춤형 피부 진단 시스템(10)은 사용자의 휴대가 가능한 포터블 피부 상태 측정 장치(100) 및 포터블 피부 상태 측정 장치(100)와 연동되어 데이터 통신을 수행하는 피부 분석 장치(200)를 포함한다.
포터블 피부 상태 측정 장치(100)는 사용자의 얼굴을 비접촉식으로 촬영하고, 촬영된 영상을 피부 분석 장치(200)로 전송한다. 이때, 포터블 피부 상태 측정 장치(100)는 사용자의 얼굴 이미지를 정확하게 획득하되, 특히 얼굴의 국소 영역에 대한 피부 진단 결과가 아닌 전체 영역의 피부 상태를 측정한다.
참고로, 본 발명의 일 실시예에서 “포터블”이란 장치의 이동이 가능하여, 사용자가 원하는 위치 및 장소에서 촬영이 가능한 이동식 장치라는 것을 의미한다.
도 2에서와 같이, 포터블 피부 상태 측정 장치(100)는 사용자 얼굴을 비접촉식으로 촬영하는 촬영부(110), 촬영부(110)의 촬영 동작 시 자연광 영상 촬영 및 UV 영상 촬영을 위한 광원을 출력하는 조명부(120), 피부 분석 장치(200)와 기설정된 통신 포맷에 따라 데이터를 통신하는 통신부(130), 및 조명부(120)와 촬영부(110)의 동작을 제어하되 촬영부(110)를 통해 촬영된 사용자 얼굴을 촬영한 영상을 통신부(130)를 통해 외부로 전송하도록 제어하는 제어부(140)를 포함한다.
통신부(130)는 근거리 무선 통신을 통해 피부 분석 장치(200)와 통신할 수 있으며, 예를 들어 블루투스 모듈, 지그비 모듈, 와이파이 모듈 또는 NFC 모듈 등으로 구현될 수 있다. 다만, 통신부(130)의 통신 방식은 이에 한정되지 않으며, 피부 분석 장치(200)와 이동통신 등의 무선통신을 사용하거나 또는 포트 등을 사용한 유선 통신 또한 가능하다.
조명부(120)는 적어도 하나의 광원을 포함할 수 있으며, 예를 들어 적색광, 녹색광 및 청색광 중 적어도 하나 이상의 광을 발광하여 백색광이 출력될 수 있다. 이러한 조명부(120)에 의해 출력된 광원을 적용하여 촬영된 사용자 얼굴 이미지 중 UV 사용자 얼굴 이미지와 구별하기 위해, 자연광 영상을 일반 사용자 얼굴 이미지라고 지칭하도록 한다.
이상에서 설명한 바와 같이, 본 발명의 일 실시예에서는 포터블 피부 상태 측정 장치(100)와 피부 분석 장치(200)가 별도의 구성으로서 서로 연동하여 동작하는 것을 설명하였다. 그러나 본 발명의 다른 실시예에 따르면 포터블 피부 상태 측정 장치(100)와 피부 분석 장치(200)가 일체형으로 설계될 수도 있으며, 이러한 경우 포터블 피부 상태 측정 장치(100)는 아래에서 설명할 피부 분석 장치(200)의 구성들 중 적어도 일부를 포함할 수 있다. 예를 들어, 본 발명의 다른 실시예에 따른 피부 분석 장치와 일체형인 포터블 피부 상태 측정 장치는 피부 진단 결과 및 맞춤형 추천 정보 등을 화면에 디스플레이할 수 있는 출력부(미도시)를 더 포함할 수 있다. 또한, 포터블 피부 상태 측정 장치(100)의 제어부(140)는 하기에서 설명할 피부 분석 장치(200)의 프로세서가 처리하는 모든 동작을 수행할 수도 있다.
다시 도 2로 돌아가서, 제어부(140)는 촬영부(110)를 통해 임의의 촬영 파라미터를 바탕으로 사용자 얼굴을 촬영하여 사용자 얼굴 이미지를 획득할 수 있다.
예를 들면, 촬영된 사용자 얼굴 이미지는, 후술하는 단일 사용자 얼굴 이미지의 형성을 위한 하나의 사용자 얼굴 이미지이거나, 또는 사용자 얼굴 전체 이미지의 형성을 위한 복수의 사용자 얼굴 이미지일 수 있다.
“단일 사용자 얼굴 이미지”는 피부 상태 분석을 위해 촬영부(110)에 의해 획득되고, 프로세서(130)에 의해 형성되는 단일 이미지를 의미하는 것으로써, 제어부(140)는 촬영부(110)를 통해 임의의 어느 하나의 촬영 파라미터를 바탕으로 촬영된 사용자 얼굴 이미지를 단일 사용자 얼굴 이미지로 생성할 수 있다.
“사용자 얼굴 전체 이미지”는 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 특정 얼굴 영역을 추출하고, 이를 합성하는 기술을 통해 형성되고, 피부 상태 측정을 위해 사용되는 사용자 얼굴 이미지를 의미한다. 제어부(140)는 촬영부(110)를 통해 상이한 복수의 촬영 파라미터를 바탕으로 촬영된 복수의 사용자 얼굴 이미지를 획득하고, 이들을 합성하여 사용자 얼굴 전체 이미지를 생성할 수 있다.
이때, 촬영 파라미터는 조명부(120)를 통한 광원의 세기, 광원의 방향, 셔터 스피드, 조리개 값, 노출 값 등을 포함할 수 있으며, 이에 한정되지 않는다. 이러한 촬영 파라미터들은 사전에 사용자의 얼굴 중 영역(예: 중심 영역을 기준으로 한 하나 이상의 영역들) 별로 기설정된 측정 항목(예: 밝기)들에 대해 예비 촬영된 값들을 기준으로 설정될 수 있다. 즉, 제 1 예비 촬영 파라미터를 적용하여 예비 촬영할 경우 사용자 얼굴의 제 1 영역(예: 중심 영역)에 대해 임의의 범위의 측정 값(예: 밝기 값)이 측정되고, 제 2 예비 촬영 파라미터를 적용하여 예비 촬영할 경우 사용자 얼굴의 제 2 영역(예: 외곽 영역 중 어느 하나)에 대해 임의의 범위의 측정 값(예: 밝기 값)이 측정될 수 있다. 이러한 경우 제 1 및 제 2 예비 촬영 파라미터는 추후 해당 측정 값들을 얻기 위한 촬영 파라미터를 설정하는 기준으로 사용될 수 있다.
제어부(140)는 제 1 촬영 파라미터에 의해 획득된 제 1 사용자 얼굴 이미지로부터 제 1 영역을 추출하고, 제 2 촬영 파라미터에 의해 획득된 제 2 사용자 얼굴 이미지로부터 제 2 영역을 추출하여, 제 1 및 제 2 영역을 합성하여 피부 상태 측정을 위한 사용자 얼굴 전체 이미지를 형성할 수 있다.
이때, 제어부(140)는 제 1 영역 및 제 2 영역의 경계 부근에서 차이 값을 판단하고, 이러한 차이 값을 보정한 후 합성할 수 있다.
또한, 제어부(140)는 포터블 피부 상태 측정 장치(100)의 움직임 센서(미도시) 등을 통해 움직임 정보를 감지하고, 제 1 영역에 대한 촬영과 제 2 영역에 대한 촬영 사이에 감지된 움직임 정도에 따라 제 2 사용자 얼굴 이미지를 보정할 수 있다.
한편, 제어부(140)는 촬영부(110)를 통해 촬영된 사용자 얼굴 이미지에서 사용자 얼굴 검출 시 적어도 일부 영역이 이탈된 경우, 사용자에게 얼굴 위치 및 촬영부(110)와의 거리 등을 변경할 것을 제안하는 정보를 출력할 수 있다. 제어부(140)는 포터블 피부 상태 측정 장치(100)의 출력부(예: 디스플레이 또는 오디오 출력기 등, 미도시)를 통해 촬영 조건 변경을 제안하는 정보를 출력할 수 있다.
이때, 제어부(140)는 포터블 피부 상태 측정 장치(100)의 거리 센서(미도시) 등을 통해 사용자 얼굴과 촬영부(110) 사이의 거리를 측정하고, 둘 사이의 거리가 기설정된 값을 벗어나 거나 촬영된 사용자 얼굴 이미지 상에서 얼굴 일부가 이탈된 경우 사용자 얼굴 위치 이동 및 거리 변경을 제안할 수 있다.
사용자 얼굴 영역의 이탈 정도는, 사용자 얼굴 이미지에서 사용자 얼굴 외곽 검출이 실패하거나 외곽이 경계에서 잘린 경우를 기준으로 판단할 수 있다. 이때, 얼굴 외곽은, 랜드마크(landmark) 검출이나 또는 엣지(edge) 검출 기술 등을 통해 획득할 수 있다.
한편, 피부 분석 장치(200)는 포터블 피부 상태 측정 장치로부터 사용자의 얼굴을 촬영한 영상을 수신하고, 수신된 영상을 딥러닝에 기반하여 하나 이상의 피부 분석 항목 별로 분석하며, 분석된 결과에 따른 피부 진단 정보 및 맞춤형 추천 정보를 생성 및 디스플레이한다.
이때, 피부 진단 정보는, 사용자의 현재 피부 상태를 점수화한 피부 분석 항목 별 점수 및 상기 피부 분석 항목 중 가장 낮은 점수부터 적어도 하나의 항목을 포함하는 케어가 필요한 항목 정보를 포함할 수 있다.
또한, 맞춤형 추천 정보는, 피부 분석 항목 별로 대응하여 기저장된 관련 제품들의 정보 및 관련 솔루션 정보 중 상기 케어가 필요한 항목 정보에 대응하는 하나 이상의 정보를 포함할 수 있다.
구체적으로, 도 2에 도시한 바와 같이, 피부 분석 장치(200)는 통신모듈(210), 메모리(220), 프로세서(230) 및 출력모듈(240)을 포함한다.
통신모듈(210)은 포터블 피부 상태 측정 장치(100)와 기설정된 통신 포맷에 따라 데이터를 통신한다. 즉, 통신 모듈(210)은 포터블 피부 상태 측정 장치(100)로부터 사용자 얼굴을 촬영한 사용자 얼굴 이미지를 수신하여, 프로세서(230)로 전달한다.
메모리(220)는 사용자 얼굴 이미지에 기반하여 피부 분석 및 맞춤형 정보 추천을 수행하기 위한 피부 분석 프로그램이 저장되어 있다. 이러한 메모리(220)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.
프로세서(230)는 메모리(220)에 저장된 프로그램을 실행하되, 피부 분석 프로그램의 실행에 따라 다음과 같은 동작들을 처리한다.
구체적으로, 프로세서(230)는 피부 진단 대상 사용자의 식별 정보, 생활 습관 정보, 성별 및 나이를 포함하는 사용자 정보를 입력할 수 있도록 하는 사용자 인터페이스를 제공한다. 이때, 사용자 인터페이스는 출력모듈(240)을 통해 화면에 디스플레이되는 그래픽 사용자 인터페이스(GUI)를 포함하는 개념이다. 또한, 아래에서 설명할 피부 상태 분석 결과에 따른 피부 진단 정보 및 맞춤형 추천 정보 또한 사용자 인터페이스를 통해 제공될 수 있다.
프로세서(230)는 통신모듈(210)을 통해 사용자 얼굴을 촬영한 영상이 수신되면, 기설정된 영상 처리를 통해 복수의 얼굴 영역 부분을 분석하여 사용자 얼굴 전체를 검출하고, 사용자 얼굴 전체의 부분 별로 피부 분석 항목 별 특성 값을 수치화하고, 사용자 정보와 수치화된 특성 값들에 기초하여 피부 분석 항목 별 점수를 생성한다.
즉, 프로세서(230)는, 포터블 피부 상태 측정 장치(100)의 제어부(140)를 통해 피부 분석 항목 별 점수 산출을 위한 점수화용 데이터를 수집하고, 수집한 점수화용 데이터에 대해 기설정된 조건에 따라 부적절한 이미지는 필터링한 결과를 수신하고, 필터링된 이미지에 대해 수치 분포를 계산하여 점수화를 수행한다.
도 3은 본 발명의 일 실시예에 따른 피부 진단 결과 산출 시 수치 분포 계산 방식을 설명하기 위한 분포도이다.
프로세서(230)는 미리 수집된 각 영상에 대해서, 주름, 기미, 홍조 등의 기설정된 피부 분석 항목에 대해 각각 분석하고, 항목 별로 하나의 수치 값을 얻을 수 있다.
예를 들어 주름 항목의 경우, 수집된 영상 내 피부 영역에 해당하는 픽셀 수 대비 주름으로 검출된 픽셀 수로부터 주름 영역의 비율을 수치로 얻는다. 이러한 수치들을 기반으로 피부 분석 항목 별로, 성별 및 나이 구간에 따라 수치의 분포를 모델링할 수 있다. 일례로서, 성별은 남자 또는 여자의 두 가지 경우가 있고, 나이 구간은 10살씩 10개의 구간이 있으며, 기설정된 6가지의 피부 분석 항목이 있다고 가정하면, 총 120개의 수치 분포를 얻게 된다. 도 3은 이러한 각 분포를 모델링할 때 사용 가능한 분포의 예로 정규 분포를 보여주고 있다.
도 4a 내지 도 5는 본 발명의 일 실시예에 따른 사용자 맞춤형 피부 진단 피드백 결과가 출력된 사용자 인터페이스 화면의 일례들이다.
도 4a 및 4b를 참조하면, 기설정된 피부 분석 항목은 주름(Wrinkles), 기미(Melisma), 홍조(Redness), 모공(Pores), 피지(Sebum) 및 여드름(Acne)를 포함한다. 다만 피부 분석 항목의 종류는 이에 한정되지 않는다.
프로세서(230)는 수신된 사용자 얼굴 이미지(즉, 단일 사용자 얼굴 이미지 또는 사용자 얼굴 전체 이미지)를 색소 분리 기술을 적용하여 멜라민(melanin) 영상과 헤모글로빈(hemoglobin) 영상으로 분리할 수 있으며, 멜라민(melanin) 영상을 분석하여 기미 정도 및 피부톤에 대한 정보를 획득할 수 있고, 헤모글로빈(hemoglobin) 영상을 분석하여 사용자 얼굴에 존재하는 홍반에 대한 정보를 획득할 수 있다.
그리고 프로세서(230)는 수신된 사용자 얼굴 이미지의 RGB를 분석하여, 사용자 얼굴에 존재하는 여드름에 대한 정보(예를 들어, 여드름 발생 여부, 여드름 발생 가능 확률 등), 사용자 얼굴에 존재하는 모공에 대한 정보(예를 들어, 모공 존재 여부, 모공의 깊이 등), 및 사용자 얼굴에 존재하는 주름에 대한 정보(예를 들어, 주름 존재 여부, 주름의 깊이 등)를 획득할 수 있다.
또한, 프로세서(230)는 수신된 사용자 얼굴 이미지에 대한 UV 영상으로부터 사용자 얼굴에 존재하는 피지에 대한 정보를 획득할 수 있다.
이상의 프로세서(230)가 각 피부 분석 항목 별로 특성 값을 수치화하는 단계는 딥러닝에 기반하여 복수의 사용자 별 피부 촬영 데이터를 분석할 수 있다.
이때, 프로세서(230)는 각각의 피부 분석 항목 별로 사용자 얼굴의 영역 별로 각 항목에 대한 특성 값을 수치화한 결과에 따라, 도 3에서와 같이 해당 수치 값이 분포 상에서 어느 위치에 존재하는가에 따라 기설정된 범위(예: 0 내지 10) 내에서 점수를 매핑한다. 예를 들어, 도 3에서 기미 면적 분포의 μ+2σ 이상이면 0점을 매핑하고, 기미 면적 분포의 μ-2σ 이하이면 10점을 매핑할 수 있다.
예를 들어, 6가지 항목에 대한 분석 결과를 바탕으로 사용자에게 각 항목별로 케어 대상 영역(즉, 상대적으로 케어를 더 해야 하는 피부 영역)을 사용자 인터페이스를 통해 알려주되, 미리 수집된 동일한 성별, 유사한 나이 대의 사람들의 분석 수치를 기반으로 항목별로 0 ~ 10점으로 피부 상태를 점수화하여 보여줄 수 있으며, 총 분석 결과를 기반으로 전체적인 피부 상태를 0 ~ 10점으로 점수화하여 나타낼 수 있다.
다시 도 4a를 참조하면, 프로세서(230)는 사용자 인터페이스(P10)를 통해, 피부 진단 정보로서, 사용자의 현재 피부 상태를 점수화한 피부 분석 항목 별 점수 그래프(P11), 각 피부 분석 항목 별 점수 및 케어가 필요한 항목에 대한 텍스트 정보(P12), 피부 분석 항목 중 가장 낮은 점수부터 적어도 하나의 항목을 포함하는 케어가 필요한 항목 정보(P13), 피부 분석 항목 별 점수에 기초한 전체 피부 분석 항목의 평균 점수(P14), 영상 내 사용자 얼굴 영역 중 케어가 필요한 항목 정보에 대응하는 영역이 식별 가능하게 표시된 현재 피부 상태 영상(P15) 및 피부 나이(P16)를 제공할 수 있다.
또한, 프로세서(230)는 사용자 인터페이스(P10)를 통해, 현재 피부 상태 영상(P15)에서 전체적인 피부 분석 항목 별 분석 결과를 표현하였다면, 도 4b에서와 같이 각 피부 분석 항목 별로 영상 내 사용자 얼굴 영역 중 케어가 필요한 항목에 대응하는 영역에 개선된 피부 상태를 표현한 가상 영상이 합성된 개선 피부 상태 영상 및 악화된 피부 상태를 표현한 가상 영상이 합성된 악화 피부 상태 영상(P17) 중 적어도 하나를 더 제공할 수 있다.
도 4b에서는 케어가 필요한 피부 분석 항목으로서 “모공”이 선택된 것을 나타내었으며, 해당 피부 분석 항목에 대해 사용자 얼굴의 전체 영역 중 케어가 필요한 하나 이상의 영역(P61 내지 P64)을 식별 가능하게 별도 표시한 것을 나타냈다. 또한, 도 4b에서는 현재 피부 상태 영상, 개선 피부 상태 영상 및 악화 피부 상태 영상 간에 프레임을 점차적으로 변화시키는 시뮬레이션 영상을 출력하기 위한 토글(toggle) 버튼(P18)이 포함된 사용자 인터페이스를 나타냈다.
도 4b에 도시된 개선 피부 상태 영상은, 도 4a의 각 항목 선택 버튼들(P19)을 사용하여 각각의 피부 분석 항목 별로 선택하여 출력할 수 있다.
이를 통해, 사용자의 피부상태 개선/악화 시 상태를 영상처리 기술을 이용하여, 색소 침착 정도가 심해졌을 때와 개선되었을 때의 얼굴 영상을 합성하거나, 모공 크기가 커지거나 줄어들었을 때의 얼굴 영상을 합성하거나, 여드름이 없어지거나 악화되었을 때의 얼굴 영상을 합성하거나, 주름이 깊어지거나 개선되어 사라졌을 때의 얼굴 영상을 합성하는 등의 피부상태 개선/악화 시의 얼굴 영상을 시뮬레이션할 수 있다.
도 5를 참조하면, 프로세서(230)는 사용자 인터페이스(P20)를 통해, 개인 맞춤형 추천 정보로서, 피부 분석 항목 별로 대응하여 기저장된 관련 제품들의 정보 및 관련 솔루션 정보 중 상기 분석된 케어가 필요한 항목 정보에 대응하는 하나 이상의 정보(P21, P22)를 제공할 수 있다. 즉, 피부 분석 결과를 바탕으로, 가장 안 좋은 피부 항목에 대해 미리 수집된 제품 데이터베이스로부터 해당 항목 개선에 도움이 되는 제품을 추천해주거나, 같은 피부 고민을 갖고 있는 다른 사용자들이 선호하는 제품을 인터넷 제품 리뷰데이터들의 자연어 분석 기술을 통해 알아내어 사용자에게 추천해 줄 수 있다.
이때, 프로세서(230)는 케어가 필요한 항목 정보에 대응하는 관련 제품 정보 및 관련 솔루션 정보 중, 피부 진단 대상 사용자에 대응하여 입력된 식별 정보, 생활 습관 정보, 성별 및 나이 중 적어도 하나를 포함하는 사용자 정보에 기초하여 필터링된 정보를 출력할 수 있다.
예를 들어, 해당 사용자의 연령대 및 성별에 맞는 제품, 사용자의 생활 정보를 반영한 제품 등을 추천 정보로서 제공할 수 있다.
구체적으로, 프로세서(230)는 사용자 인터페이스(P20)를 통해, 날씨, 온도, 습도, 미세 먼지 정보 및 자외선 정도 중 적어도 하나를 포함하는 생활 환경 정보에 기초하여 필터링된 정보, 및 피부 진단 정보에 기반하여 웹 상에서 자연어 분석 처리를 통해 수집된 관련 제품 리뷰 데이터 및 관련 솔루션 데이터에 기초하여 필터링된 정보 중 적어도 하나를 포함하는 개인 맞춤형 추천 정보를 제공할 수 있다.
예를 들어, 프로세서(230)는 실내에 주로 거주하고 있는 사용자의 경우 수분과 피부장벽 재생 케어 관련 성분을 추천하고, 실외에서 주로 활동하는 사용자의 경우 자외선 차단 성분이나 화이트닝 케어 성분이 있는 제품을 추천할 수 있다. 또한 주름이 주요 고민인 사용자에 대해서도 20대인 경우 수분 제품을 추천하고, 40대의 경우 재생 케어 제품 위주로 추천할 수 있다. 또한, 프로세서(230)는 미세먼지가 높은 날인 경우 시카 계열의 성분 밀도가 높은 제품에 높은 가중치를 부여하여 피부 장벽을 보호하도록 하는 제품 또는 솔루션 정보를 제공할 수 있다.
한편, 프로세서(230)는 사용자 인터페이스(P20)를 통해, 사용자가 추천 받은 제품을 구매할 수 있도록 하는 프로세스를 제공할 수 있다.
예를 들어, 프로세서(230)는 사용자 인터페이스(P20)를 통해, 추천된 제품을 연계된 구매 웹 사이트로의 링크를 제공하여 1회성으로 구매할 수 있도록 하는 프로세스를 제공할 수 있다.
다른 예로, 프로세서(230)는 사용자가 해당 추천 제품에 대한 정기 배송을 요청할 수 있는 사용자 인터페이스를 제공할 수 있다. 사용자가 추천 제품에 대한 정기 배송을 선택하면, 프로세서(230)는 사전에 계약(또는 제휴)된 제품 브랜드의 서버(미도시)로 정기 배송 요청을 자동 전송 할 수 있다. 이때, 정기 배송 요청에는 사전에 사용자 인터페이스를 통해 사용자가 등록해 둔 사용자 정보(예: 이름, 연락처, 주소 등)가 포함될 수 있다. 또한, 프로세서(230)는 정기 배송 요청을 전송하기 이전에 사용자가 정기 배송 비용을 지불할 수 있도록 하는 비용 처리 프로세스를 더 처리할 수도 있다.
또 다른 예로, 프로세서(230)는 사용자가 자신의 단말(예를 들어, 스마트폰 등)을 등록할 수 있도록 사용자 인터페이스를 제공하고, 이러한 사용자 인터페이스를 통해 사용자 단말이 등록되면 해당 사용자 단말로 사용자가 직접 추천 제품에 대한 정기 배송을 요청할 수 있도록 하는 애플리케이션 정보를 전송할 수 있다. 이때, 프로세서(230)는 사전에 연계된 피부 진단 서비스 서버(미도시)로의 접속 정보(예: 링크)를 사용자 단말로 전송할 수 있다. 이러한 피부 진단 서비스 서버는 접속된 사용자 단말로 추천 제품의 정기 배송을 요청할 수 있도록 하는 애플리케이션을 다운로드 할 수 있도록 데이터를 제공할 수 있다.
다음으로, 도 6을 참조하여 본 발명의 일 실시예에 따른 사용자 맞춤형 피부 진단 서비스 방법에 대해서 상세히 설명하도록 한다.
도 6은 본 발명의 일 실시예에 따른 사용자 맞춤형 피부 진단 서비스 방법을 설명하기 위한 순서도이다.
도 6에 도시한 바와 같이, 먼저 포터블 피부 상태 측정 장치(100)를 사용하여 사용자의 얼굴을 일정 거리에서 비접촉식으로 촬영한다(S601).
이하의 단계들은 피부 분석 장치(200)의 프로세서(230)를 통해 수행될 수 있다.
앞서 단계 S601에서 촬영된 영상(즉, 사용자 얼굴 이미지)을 통신모듈을 통해 수신하면(S602), 수신된 영상에 대해 딥러닝에 기반하여 사용자 얼굴 전체에 대한 기설정된 피부 분석 항목 별 피부 상태를 분석한다(S603).
이때, 피부 분석 장치(200)에는 사전에 복수의 사용자 별로 임의의 기간 동안 누적된 피부 상태 분석 결과(즉, 빅데이터)들이 저장되어 있으며, 이러한 딥러닝 모델을 사용하여 해당 사용자의 피부 분석 항목 별 피부 상태를 분석한다.
예를 들어, 앞서 설명한 바와 같이 피부 분석 항목은 주름, 색소 침착, 홍조, 여드름, 모공 및 피지 등의 항목으로 설정될 수 있다.
이러한 피부 상태 분석의 결과로서 사용자의 피부 분석 항목 별 현재 피부 상태를 수치화 및 점수화 한다(S604).
다음으로, 점수화된 분석 결과에 기반하여 피부 진단 정보 및 맞춤형 추천 정보를 생성하고(S605), 생성된 각각의 정보를 화면에 디스플레이한다(S606).
이때, 피부 진단 정보는 사용자의 피부 변화 전후 상태를 영상 처리하여 딥러닝 기술에 기반하여 시뮬레이션한 결과를 포함할 수 있으며, 사용자의 현재 피부 상태를 점수화한 피부 분석 항목 별 점수 및 상기 피부 분석 항목 중 가장 낮은 점수부터 적어도 하나의 항목을 포함하는 ‘케어가 필요한 항목 정보’를 포함한다.
또한, 맞춤형 추천 정보는, 기설정된 규칙에 기반하여 사용자에게 적합한 제품을 추천한 정보 및 다른 사용자의 리뷰 데이터 등에 기반하여 비슷한 피부 상태의 다른 사용자가 선호 또는 추천하는 제품을 추천한 정보를 포함할 수 있다. 이때, 맞춤형 추천 정보는 피부 분석 항목 별로 대응하여 기저장된 관련 제품들의 정보 및 관련 솔루션 정보 중 케어가 필요한 항목 정보에 대응하는 하나 이상의 정보를 포함한다.
더 나아가, 본 발명의 일 실시예에 따른 사용자 맞춤형 피부 진단 서비스 방법은, 사용자가 자신의 피부 상태 분석 결과에 따라 추천된 제품을 구매할 수 있도록 하는 사용자 인터페이스를 제공하는 단계를 더 포함할 수 있다.
이때, 추천 제품을 연계된 구매 사이트에서 구매할 수 있도록 링크를 제공하는 방법, 사전에 제휴된 제품 브랜드 서버로 해당 제품을 사용자에게 정기 배송하도록 요청하는 방법, 및 사용자의 단말로 사용자가 직접 해당 제품에 대한 정기 배송을 요청할 수 있도록 하는 애플리케이션 데이터를 제공하는 방법 등을 제공할 수 있다.
한편, 본 발명의 다른 실시예에 따르면, 사용자 맞춤형 피부 진단 시스템은 앞서 설명한 피부 분석 장치의 동작을 모두 수행하되, 하나 이상의 포터블 피부 상태 측정 장치와 통신하는 피부 분석 서버로 구현되는 것도 가능하다.
이하에서 언급되는 "사용자 단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말기는 휴대성과 이동성이 보장되는 무선 통신 장치로서 예를 들어, IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), LTE(Long Term Evolution) 통신 기반 단말, 스마트폰, 태블릿 PC 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
또한, “네트워크”는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.
도 7은 본 발명의 다른 실시예에 따른 사용자 맞춤형 피부 진단 시스템의 구성도이다.
도 7에 도시한 바와 같이, 본 발명의 다른 실시예에 따른 사용자 맞춤형 피부 진단 시스템(10’)은, 포터블 피부 상태 측정 장치(100’), 하나 이상의 포터블 피부 상태 측정 장치(100’)와 통신하여 다수의 사용자의 피부 상태 측정 정보를 수집하는 피부 분석 서버(300), 및 포터블 피부 상태 측정 장치(100’)를 통해 피부 상태를 촬영한 사용자의 단말(이하, “사용자 단말”이라고 지칭함)(400)을 포함한다.
이때, 포터블 피부 상태 측정 장치(100’)는 앞서 도 1 내지 도 6을 참조하여 설명한 포터블 피부 상태 측정 장치(100)와 동일 또는 유사한 동작을 처리한다. 따라서, 본 발명의 다른 실시예에 따른 포터블 피부 상태 측정 장치(100’)의 상이한 구성 이외의 구성에 대한 설명은 생략하도록 한다.
포터블 피부 상태 측정 장치(100’)는 네트워크를 통해 기설정된 주소의 피부 분석 서버(300)에 접속하여, 사용자의 얼굴을 비접촉식으로 촬영한 영상을 사용자 정보와 함께 전송한다.
또한, 피부 분석 서버(300)는 앞서 도 1 내지 도 6을 참조하여 설명한 피부 분석 장치(200)와 동일 또는 유사한 동작을 처리한다. 따라서, 본 발명의 다른 실시예에 따른 피부 분석 서버(300)의 상이한 구성 이외의 구성에 대한 설명은 생략하도록 한다.
피부 분석 서버(300)는 통신모듈(1010), 메모리(1020) 및 프로세서(1030)을 포함하되, 프로세서(1030)는 포터블 피부 상태 측정 장치(100’)로부터 수신된 사용자 얼굴을 촬영한 영상으로부터 피부 상태를 분석한다.
이때, 프로세서(1030)는 수신된 영상에 기반하여 분석된 결과로서의 피부 분석 정보 및 맞춤형 추천 정보를, 피부 분석 서버(300)에 접속한 해당 사용자의 사용자 단말(400)로 제공한다.
이를 위해, 프로세서(1030)는 피부 분석 서버(300)에 접속한 사용자 단말(400)로 앞서 도 4a 내지 도 5를 통해 설명한 사용자 인터페이스를 제공한다. 이러한 사용자 인터페이스는 별도의 전용 애플리케이션을 통해 제공될 수 있으며, 프로세서(1030)는 사용자 단말(400)이 해당 전용 애플리케이션 데이터를 다운로드 하도록 제공할 수 있다.
이상에서 설명한 본 발명의 실시예에 따른 사용자 맞춤형 피부 진단 시스템의 각 구성 및 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있으며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10, 10’: 사용자 맞춤형 피부 진단 및 피드백 시스템
100, 100’: 포터블 피부 상태 측정 장치
200: 피부 분석 장치
300: 피부 분석 서버
400: 사용자 단말

Claims (8)

  1. 사용자 맞춤형 피부 진단 시스템에 있어서,
    사용자의 얼굴을 비접촉식으로 촬영하는 포터블 피부 상태 측정 장치; 및
    상기 포터블 피부 상태 측정 장치로부터 사용자의 얼굴을 촬영한 영상을 수신하고, 상기 영상을 기설정된 영상 처리 및 딥러닝에 기반하여 하나 이상의 피부 분석 항목 별로 분석하며, 분석된 결과에 따른 피부 진단 정보 및 맞춤형 추천 정보를 생성 및 디스플레이하는 피부 분석 장치를 포함하되,
    상기 피부 진단 정보는, 사용자의 현재 피부 상태를 점수화한 피부 분석 항목 별 점수 및 상기 피부 분석 항목 중 가장 낮은 점수부터 적어도 하나의 항목을 포함하는 케어가 필요한 항목 정보를 포함하고,
    상기 맞춤형 추천 정보는, 상기 피부 분석 항목 별로 대응하여 기저장된 관련 제품들의 정보 및 관련 솔루션 정보 중 상기 케어가 필요한 항목 정보에 대응하는 하나 이상의 정보를 포함하는, 사용자 맞춤형 피부 진단 시스템.
  2. 제 1 항에 있어서,
    상기 피부 진단 정보는,
    상기 피부 분석 항목 별 점수에 기초한 전체 피부 분석 항목의 평균 점수,
    상기 영상 내 사용자 얼굴 영역 중 상기 케어가 필요한 항목 정보에 대응하는 영역이 식별 가능하게 표시된 현재 피부 상태 영상,
    상기 영상 내 사용자 얼굴 영역 중 상기 케어가 필요한 항목에 대응하는 영역에 개선된 피부 상태를 표현한 가상 영상이 합성된 개선 피부 상태 영상 및 악화된 피부 상태를 표현한 가상 영상이 합성된 악화 피부 상태 영상 중 적어도 하나, 및
    상기 현재 피부 상태 영상과, 상기 개선 피부 상태 영상 및 악화 피부 상태 영상 중 적어도 하나 간에 프레임을 점차적으로 변화시키는 시뮬레이션 영상 중 적어도 하나를 더 포함하는 것인, 사용자 맞춤형 피부 진단 시스템.
  3. 제 1 항에 있어서,
    상기 맞춤형 추천 정보는,
    상기 케어가 필요한 항목 정보에 대응하는 관련 제품 정보 및 관련 솔루션 정보 중,
    피부 진단 대상 사용자에 대응하여 입력된 식별 정보, 생활 습관 정보, 성별 및 나이 중 적어도 하나를 포함하는 사용자 정보에 기초하여 필터링된 정보,
    날씨, 온도, 습도, 미세 먼지 정보 및 자외선 정도 중 적어도 하나를 포함하는 생활 환경 정보에 기초하여 필터링된 정보, 및
    상기 피부 진단 정보에 기반하여 웹 상에서 자연어 분석 처리를 통해 수집된 관련 제품 리뷰 데이터 및 관련 솔루션 데이터에 기초하여 필터링된 정보 중 적어도 하나를 포함하는 것인, 사용자 맞춤형 피부 진단 시스템.
  4. 제 1 항에 있어서,
    상기 피부 분석 장치는,
    상기 포터블 피부 상태 측정 장치와 기설정된 통신 포맷에 따라 데이터를 통신하는 통신모듈;
    피부 분석 프로그램이 저장된 메모리; 및
    상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며,
    상기 프로세서는 상기 피부 분석 프로그램의 실행에 따라, 피부 진단 대상 사용자의 식별 정보, 생활 습관 정보, 성별 및 나이를 포함하는 사용자 정보를 입력할 수 있도록 하는 사용자 인터페이스를 제공하고, 상기 통신모듈을 통해 상기 사용자 얼굴을 촬영한 영상이 수신되면 기설정된 영상 처리를 통해 복수의 얼굴 영역 부분을 분석하여 사용자 얼굴 전체를 검출하고, 상기 사용자 얼굴 전체의 부분 별로 상기 피부 분석 항목 별 특성 값을 수치화하고, 상기 사용자 정보와 상기 수치화된 특성 값들에 기초하여 상기 피부 분석 항목 별 점수를 생성하는, 사용자 맞춤형 피부 진단 시스템.
  5. 제 1 항에 있어서,
    상기 피부 분석 항목은, 색소 침착, 홍조, 여드름, 모공, 주름 및 피지 중 적어도 하나를 포함하는 것인, 사용자 맞춤형 피부 진단 시스템.
  6. 제 1 항에 있어서,
    상기 포터블 피부 상태 측정 장치는,
    상기 피부 분석 장치와 기설정된 통신 포맷에 따라 데이터를 통신하는 통신부;
    사용자의 얼굴을 비접촉식으로 촬영하는 촬영부;
    상기 촬영부의 촬영 동작 시 자연광 영상 촬영 및 UV 영상 촬영을 위한 광원을 출력하는 조명부; 및
    상기 조명부의 동작 및 상기 촬영부의 동작을 제어하고, 상기 촬영부를 통해 촬영된 사용자 얼굴을 촬영한 영상을 상기 통신부를 통해 전송하도록 제어하는 제어부를 포함하는, 사용자 맞춤형 피부 진단 시스템.
  7. 포터블 피부 상태 측정 장치 및 피부 분석 장치를 포함하는 사용자 맞춤형 피부 진단 시스템을 통한 사용자 맞춤형 피부 진단 방법에 있어서,
    상기 포터블 피부 상태 측정 장치를 사용하여 비접촉식으로 촬영된 사용자 얼굴 영상을 수신하는 단계;
    상기 수신된 사용자 얼굴 영상을 기설정된 영상처리 및 딥러닝에 기반하여 하나 이상의 피부 분석 항목 별로 분석하는 단계; 및
    상기 분석된 결과에 따른 피부 진단 정보 및 맞춤형 추천 정보를 생성 및 디스플레이하는 단계를 포함하며,
    상기 피부 진단 정보는, 사용자의 현재 피부 상태를 점수화한 피부 분석 항목 별 점수 및 상기 피부 분석 항목 중 가장 낮은 점수부터 적어도 하나의 항목을 포함하는 케어가 필요한 항목 정보를 포함하고,
    상기 맞춤형 추천 정보는, 상기 피부 분석 항목 별로 대응하여 기저장된 관련 제품들의 정보 및 관련 솔루션 정보 중 상기 케어가 필요한 항목 정보에 대응하는 하나 이상의 정보를 포함하는, 사용자 맞춤형 피부 진단 방법.
  8. 사용자 맞춤형 피부 진단 시스템에 있어서,
    사용자의 얼굴을 비접촉식으로 촬영하는 포터블 피부 상태 측정 장치;
    상기 포터블 피부 상태 측정 장치로부터 사용자의 얼굴을 촬영한 영상을 수신하고, 상기 영상을 딥러닝에 기반하여 하나 이상의 기준 피부 상태 항목 별로 분석하며, 분석된 결과에 따른 피부 진단 정보 및 맞춤형 추천 정보를 제공하는 피부 진단 서버; 및
    상기 피부 진단 서버로부터 제공된 피부 진단 정보 및 맞춤형 추천 정보를 수신하고, 수신된 맞춤형 추천 정보를 화면에 디스플레이 하는 사용자 단말을 포함하되,
    상기 사용자 단말은 상기 피부 진단 서버로부터 제공된 정보들을 처리하는 전용 애플리케이션이 탑재되어 있으며,
    상기 피부 진단 정보는, 사용자의 현재 피부 상태를 점수화한 피부 분석 항목 별 점수 및 상기 피부 분석 항목 중 가장 낮은 점수부터 적어도 하나의 항목을 포함하는 케어가 필요한 항목 정보를 포함하고,
    상기 맞춤형 추천 정보는, 상기 피부 분석 항목 별로 대응하여 기저장된 관련 제품들의 정보 및 관련 솔루션 정보 중 상기 케어가 필요한 항목 정보에 대응하는 하나 이상의 정보를 포함하는 것인, 사용자 맞춤형 피부 진단 시스템.
KR1020190070544A 2019-06-14 2019-06-14 사용자 맞춤형 피부 진단 시스템 및 방법 KR20200142938A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190070544A KR20200142938A (ko) 2019-06-14 2019-06-14 사용자 맞춤형 피부 진단 시스템 및 방법
PCT/KR2020/007317 WO2020251217A1 (ko) 2019-06-14 2020-06-05 사용자 맞춤형 피부 진단 시스템 및 방법
US17/617,010 US20220344044A1 (en) 2019-06-14 2020-06-05 User-customized skin diagnosis system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190070544A KR20200142938A (ko) 2019-06-14 2019-06-14 사용자 맞춤형 피부 진단 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20200142938A true KR20200142938A (ko) 2020-12-23

Family

ID=73781104

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190070544A KR20200142938A (ko) 2019-06-14 2019-06-14 사용자 맞춤형 피부 진단 시스템 및 방법

Country Status (3)

Country Link
US (1) US20220344044A1 (ko)
KR (1) KR20200142938A (ko)
WO (1) WO2020251217A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102413404B1 (ko) * 2021-01-12 2022-06-27 주식회사 룰루랩 피부 상태 분석 및 피부 질환 진단 디바이스
KR102436130B1 (ko) * 2022-04-25 2022-08-26 주식회사 룰루랩 피부 분석 영상에 대한 적합도를 판단하는 방법 및 장치
KR102530149B1 (ko) * 2022-07-01 2023-05-08 김수동 얼굴 피부 진단방법
KR20230106078A (ko) * 2022-01-05 2023-07-12 주식회사 룰루랩 케어 기기 사용에 따른 사용자의 피부 개선도, 계절 변화 및 노화에 따른 피부 변화도에 기반하여 상기 사용자의 미래 피부 상태를 예측하고, 예측된 피부 상태에 기반한 케어 기기 제어값을 제공하는 방법 및 장치
KR102555166B1 (ko) * 2022-10-04 2023-07-12 인하대학교 산학협력단 매우 미세한 얼굴 피부 정보를 포함하는 얼굴 텍스처 생성 방법 및 시스템
KR102558220B1 (ko) * 2023-01-02 2023-07-24 아아코스메틱(주) 피부 상태 확인 및 화장품 추천 시스템
WO2024005509A1 (ko) * 2022-06-28 2024-01-04 주식회사 룰루랩 다파장을 이용하여 피부 분석 정보를 획득하는 방법 및 장치

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114816195A (zh) * 2021-01-28 2022-07-29 华为技术有限公司 一种护肤打卡方法和电子设备
CN113331792B (zh) * 2021-07-02 2022-04-15 北京美医医学技术研究院有限公司 一种基于肤质情况的护肤提示系统
US20230077452A1 (en) * 2021-09-14 2023-03-16 Ulta Salon, Cosmetics & Fragrance, Inc. Methods and Systems for Analyzing Skin and Providing Information Via a Graphical User Interface (GUI)
US20230196551A1 (en) * 2021-12-16 2023-06-22 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin roughness
CN117076958A (zh) * 2023-10-17 2023-11-17 湖南半岛医疗科技有限公司 治疗参数推荐系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010515489A (ja) * 2007-01-05 2010-05-13 マイスキン インコーポレイテッド 皮膚を撮像するためのシステム、装置、及び方法
KR101661588B1 (ko) * 2015-10-26 2016-10-04 주식회사 엘지유플러스 피부 분석 방법 및 이를 위한 장치
KR20180080140A (ko) * 2017-01-03 2018-07-11 칼-콤프 빅 데이터, 인크. 개인화된 피부 진단 및 피부 케어
KR20180089196A (ko) * 2017-01-31 2018-08-08 주식회사 하이 스마트 화장품 패키지
KR101793468B1 (ko) * 2017-03-31 2017-11-03 주식회사 에프앤디파트너스 Ar을 이용한 셀프 뷰티앱 플랫폼 시스템 및 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102413404B1 (ko) * 2021-01-12 2022-06-27 주식회사 룰루랩 피부 상태 분석 및 피부 질환 진단 디바이스
KR20230106078A (ko) * 2022-01-05 2023-07-12 주식회사 룰루랩 케어 기기 사용에 따른 사용자의 피부 개선도, 계절 변화 및 노화에 따른 피부 변화도에 기반하여 상기 사용자의 미래 피부 상태를 예측하고, 예측된 피부 상태에 기반한 케어 기기 제어값을 제공하는 방법 및 장치
KR20230106077A (ko) * 2022-01-05 2023-07-12 주식회사 룰루랩 사용자의 노화에 따른 피부 노화 정도를 고려하여 피부 케어 기기를 사용함에 따라 변화되는 사용자의 피부 상태 변화도를 제공하는 방법 및 장치
KR20230106076A (ko) * 2022-01-05 2023-07-12 주식회사 룰루랩 사용자에게 추천된 피부 케어 기기를 사용한 다른 사용자들의 피부 상태 개선도에 기반하여 상기 사용자의 피부 상태 개선 정도를 예측하는 방법 및 장치
KR102436130B1 (ko) * 2022-04-25 2022-08-26 주식회사 룰루랩 피부 분석 영상에 대한 적합도를 판단하는 방법 및 장치
US11640663B1 (en) 2022-04-25 2023-05-02 Lululab Inc. Method of determining suitability of skin analysis image and apparatus therefor
WO2024005509A1 (ko) * 2022-06-28 2024-01-04 주식회사 룰루랩 다파장을 이용하여 피부 분석 정보를 획득하는 방법 및 장치
KR102530149B1 (ko) * 2022-07-01 2023-05-08 김수동 얼굴 피부 진단방법
KR102555166B1 (ko) * 2022-10-04 2023-07-12 인하대학교 산학협력단 매우 미세한 얼굴 피부 정보를 포함하는 얼굴 텍스처 생성 방법 및 시스템
KR102558220B1 (ko) * 2023-01-02 2023-07-24 아아코스메틱(주) 피부 상태 확인 및 화장품 추천 시스템

Also Published As

Publication number Publication date
US20220344044A1 (en) 2022-10-27
WO2020251217A1 (ko) 2020-12-17

Similar Documents

Publication Publication Date Title
KR20200142938A (ko) 사용자 맞춤형 피부 진단 시스템 및 방법
JP7108501B2 (ja) カスタム外用剤を具体化および調合するためのシステムおよび方法
US12114926B2 (en) System and method for determining distances from an object
US20190228448A1 (en) System, Platform and Method for Personalized Shopping Using a Virtual Shopping Assistant
US20240078584A1 (en) System Platform and Method for Personalized Shopping Using an Automated Shopping Assistant
US20210022603A1 (en) Techniques for providing computer assisted eye examinations
US11449997B2 (en) Skin condition measuring module
JP2020511444A (ja) カスタム局所薬剤を調整するためのシステムおよび方法
JP6289837B2 (ja) 肌状態測定分析情報管理システムおよび肌状態測定分析情報管理方法
KR102180922B1 (ko) 멀티모달 센서 어셈블리를 포함하는 분산형 엣지 컴퓨팅 기반 피부 질환 분석 디바이스
KR20210084102A (ko) 전자 장치, 두피 케어 시스템 및 그들의 제어 방법
KR20150085644A (ko) 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 시스템 및 방법
KR20220068330A (ko) 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치
KR101957773B1 (ko) 영상을 이용한 피부 상태 평가 방법 및 영상을 이용한 피부 상태 평가 장치
KR20230006238A (ko) 사용자 맞춤형 피부 진단 사용자 단말 및 방법
KR20150116000A (ko) 피부 진단 방법 및 장치
KR20170131062A (ko) 체형에 대응하는 정보 제공 장치 및 방법
KR20220013781A (ko) 비대면 환경에서 빅데이터 기반의 자가 피부 수분 상태 정보 제공 방법
KR102502944B1 (ko) 화장품 사용 및 피부 관리 비대면 컨설팅 시스템
Saha et al. Personalized pain study platform using evidence-based continuous learning tool
US20220326074A1 (en) Ultraviolet Imaging Systems and Methods
JP2022013365A (ja) 診断システム、診断プログラム、及び診断装置
US20240331342A1 (en) System and method for determining an orthodontic occlusion class
KR20240022048A (ko) 수술 단계에 대한 정보를 제공하는 방법 및 디바이스
KR20230103220A (ko) 인공지능을 이용한 지능형 피부 관리 방법

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E601 Decision to refuse application