KR20230018321A - 고객피부데이터를 이용한 화장품추천시스템 - Google Patents

고객피부데이터를 이용한 화장품추천시스템 Download PDF

Info

Publication number
KR20230018321A
KR20230018321A KR1020220085216A KR20220085216A KR20230018321A KR 20230018321 A KR20230018321 A KR 20230018321A KR 1020220085216 A KR1020220085216 A KR 1020220085216A KR 20220085216 A KR20220085216 A KR 20220085216A KR 20230018321 A KR20230018321 A KR 20230018321A
Authority
KR
South Korea
Prior art keywords
skin
image
user
analysis server
type
Prior art date
Application number
KR1020220085216A
Other languages
English (en)
Inventor
양재현
Original Assignee
주식회사 라비스코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 라비스코 filed Critical 주식회사 라비스코
Publication of KR20230018321A publication Critical patent/KR20230018321A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Finance (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • Molecular Biology (AREA)
  • General Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)

Abstract

본 발명은 사용자의 피부이미지를 획득하는 사용자단말기, 및 상기 사용자단말기에 의해 획득된 피부이미지에 대한 제1 피부타입과, 기 저장된 다른 사용자들의 제2 피부타입을 비교하여, 상기 제2 피부타입들 중 상기 제1 피부타입과 유사도가 높은 적어도 하나의 목표피부타입을 선정하고, 상기 목표피부타입에 대응하는 사용자의 화장품 평가정보를 상기 사용자단말기에 제공하는 분석서버를 포함하는 고객피부데이터를 이용한 화장품추천시스템을 제공한다.

Description

고객피부데이터를 이용한 화장품추천시스템 {SYSTEM FOR RECOMMENDING COSMETIC USING CUSTOMER SKIN DATA}
본 발명은 사용자로부터 획득한 피부이미지를 이용하여, 유사한 피부타입을 가진 다른 사용자의 화장품 평가정보나 화장품을 추천하는 고객피부데이터를 이용한 화장품추천시스템에 관한 것이다.
화장품이 다양해짐에 따라, 사용자는 화장품의 기능을 일일이 파악하는 것이 쉽지 않고, 이로 인해 필요한 화장품을 선택하는 것이 용이하지 않다.
또한, 사용자가 피부 상태를 제대로 알지 못한 상황에서, 화장품을 선택하여 사용할 경우, 피부에 트러블이 발생할 수 있고, 그 결과 다른 화장품의 구매 또는 피부 치료를 수반하게 됨에 따라, 불필요한 비용이 발생될 수 있다.
따라서, 사용자의 피부 타입을 정확히 판단하고, 판단된 피부 타입에 따라 맞춤형 화장품을 추천함으로써, 피부에 적합한 화장품을 용이하게 선택하여, 사용할 수 있게 하는 기술이 필요하다.
종래에는 사용자의 피부이미지를 이용하여, 사용자의 피부를 지성, 건성, 중성, 복합성 등의 타입으로 분류하고, 분류 타입에 따라 그에 맞는 화장품을 추천하는 기술이 개시되고 있으나, 일 예로 같은 지성 피부라고 하더라도, 유수분율 30%의 지성피부와, 유수분율 60%의 지성피부와, 유분의 분포 위치에 따라 전혀 다른 피부 적합성을 갖기 때문에, 동일한 지성 피부의 다른 사용자에 잘 맞는 화장품을 추천하더라도 피부 트러블을 유발할 수 있는 문제가 있다.
KR 10-2021-0020604 A1 KR 10-2211884 B1 KR 10-2020-0117251 A1
본 발명은 사용자에게 효과적인 피부 개선을 위한 피부 적합성이 높은 맞춤형 화장품을 추천하는 시스템을 제공하고자 한다.
상기 과제를 해결하기 위하여, 본 발명은 사용자의 피부이미지를 획득하는 사용자단말기, 및 상기 사용자단말기에 의해 획득된 피부이미지에 대한 제1 피부타입과, 기 저장된 다른 사용자들의 제2 피부타입을 비교하여, 상기 제2 피부타입들 중 상기 제1 피부타입과 유사도가 높은 적어도 하나의 목표피부타입을 선정하고, 상기 목표피부타입에 대응하는 사용자의 화장품 평가정보를 상기 사용자단말기에 제공하는 분석서버를 포함하는 고객피부데이터를 이용한 화장품추천시스템을 제공한다.
일 실시예에 따라, 상기 분석서버는, 상기 평가정보에 따른 적어도 하나의 추천화장품을 상기 사용자단말기에 제공할 수 있다.
일 실시예에 따라, 상기 분석서버는, 상기 피부이미지로부터 얼굴구성요소를 추출하고, 추출된 상기 얼굴구성요소의 위치를 이용하여, 이마 및/또는 볼을 포함하는 관심영역피부이미지를 추출하는 제1 모듈을 포함할 수 있다.
일 실시예에 따라, 상기 관심영역피부이미지는, 상기 얼굴구성요소가 제외된 것일 수 있다.
일 실시예에 따라, 상기 분석서버는, 상기 관심영역피부이미지로부터 RGB이미지와 HSV이미지를 마련하고, 상기 RGB이미지의 채널별 각각의 이미지를 이용하여 Gray이미지를 획득한 다음 이를 정규화(normalize)하되, 상기 HSV이미지의 채널별 각각의 이미지를 이용하여 생성한 표준이미지와 상기 정규화된 이미지 간의 차이를 이진화함으로써, 피부질환부위를 검출하는 제2 모듈을 더 포함할 수 있다.
일 실시예에 따라, 상기 분석서버는, 상기 관심영역피부이미지에 DWT(Discrete Wavelet Transform)를 적용하여 도출되는 DWT변환이미지를 이용하여 LBP(Local Bin Pattern)를 적용한 값, 상기 DWT변환이미지의 색채 강도(intensity of color), 상기 DWT변환이미지의 콘트라스트(contrast), 상기 DWT변환이미지의 IDM(Inverse Difference Moment), 및 상기 DWT변환이미지의 엔트로피(entropy) 중 적어도 하나를 근거로 하여, SVM(Support Vector Machine)을 통해 피부타입을 분류하는 제3 모듈을 더 포함할 수 있다.
일 실시예에 따라, 상기 분석서버는, 상기 제2 모듈에 의해 검출된 상기 피부질환부위의 분포 및 밀도를 계산하고, 이를 상기 SVM(Support Vecotor Maccine)에 함께 적용하여 상기 피부질환부위가 생략된 상기 관심영역피부이미지에 대한 상기 피부타입을 분류할 수 있다.
일 실시예에 따라, 상기 분석서버는, 머신러닝에 의한 신경망모델을 이용하여, 다수의 피부이미지로부터 특징을 추출하여 학습하고, 유사한 특징을 가진 그룹별로 군집화하여, 상기 제2 피부타입들을 마련할 수 있다.
일 실시예에 따라, 상기 사용자단말기는, 사용자의 나이 및 성별 중 어느 하나를 포함하는 사용자정보를 입력받고, 상기 분석서버는, 상기 사용자정보를 근거로 선정된 사용자들의 상기 제2 피부타입을 추출하며, 추출된 상기 제2 피부타입과 상기 제1 피부타입을 비교하여, 상기 목표피부타입을 선정할 수 있다.
일 실시예에 따라, 상기 분석서버는, 상기 제2 피부타입들에 대응하는 사용자식별정보를 마련할 수 있다.
일 실시예에 따라, 상기 분석서버는, 상기 사용자단말기의 사용자인증요청에 따라, 상기 제2 피부타입들 중 선정된 상기 목표피부타입에 대응하는 사용자식별정보를 이용하여 사용자인증절차를 수행할 수 있다.
본 발명에 따르면, 사용자 피부 타입을 정형화된 유형으로 정하지 않고, 사용자의 피부타입과 유사한 피부타입을 가진 다른 사용자의 화장품 평가정보를 근거로 화장품을 추천하기 때문에, 피부 적합성 오차를 줄일 수 있다.
또한, 사용자는 자신의 피부타입에 대해 알지 못해도, 자신에게 적합한 화장품을 추천받을 수 있다.
도 1은 본 발명의 일 실시예에 따른 화장품추천시스템을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 화장품추천과정을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 사용자단말기가 사용자의 피부이미지를 획득하는 과정을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 사용자의 피부타입을 분류하는 과정을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따라 사용자의 피부타입 분류를 위한 관심영역피부이미지를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따라 유사한 피부특징을 가진 그룹별로 군집화여 분류하는 개념을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따라 제1 및 제2 피부타입을 비교하는 과정을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따라 사용자정보를 이용하여 피부패턴 간 비교하는 과정을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따라 화장품을 추천하는 과정을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 화장품추천방법을 단계별로 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따라 사용자의 피부타입을 분류하는 과정을 단계별로 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따라 제1 및 제2 피부타입을 비교하는 과정을 단계별로 나타낸 도면이다.
도 13은 본 발명의 또 다른 일 실시예에 따라 사용자의 피부타입을 이용하여 사용자인증절차를 수행하는 과정을 단계별로 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성 요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
고객피부데이터를 이용한 화장품추천시스템
도 1은 본 발명의 일 실시예에 따른 고객피부데이터를 이용한 화장품추천시스템을 나타낸 도면이다.
도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 화장품추천시스템(100)은, 사용자의 피부이미지를 획득하는 사용자단말기(120)와, 사용자단말기(110)에 의해 획득된 피부이미지에 대한 제1 피부타입과, 기 저장된 다른 사용자들의 제2 피부타입들을 비교하여, 제2 피부타입들 중 제1 피부타입과 유사도가 높은 적어도 하나의 목표피부타입을 선정하고, 목표피부타입에 대응하는 사용자의 화장품 평가정보를 사용자단말기(120)에 제공하는 분석서버(110)를 포함할 수 있다.
이하, 각 구성요소에 대해 자세히 살펴보기로 한다.
사용자단말기(120)는 분석서버(110)와 직접 또는 간접적으로 통신 가능하도록 연결되어, 애플리케이션(application)을 실행할 수 있는 스마트폰, PC, 태블릿 PC 등일 수 있다.
사용자단말기(120)는 애플리케이션을 오픈마켓 서버 등으로부터 제공받아 설치할 수 있고, 이를 이용하여 사용자단말기(120)는 획득한 사용자의 피부이미지를 통신 가능하도록 연결된 분석서버(110)에 제공할 수 있다.
이때, 사용자의 피부이미지는 사용자단말기(120)가 카메라를 이용하여 사용자에 대해 촬영한 피부이미지이거나, 저장수단(미도시)에 기 저장된 피부이미지일 수 있다(도 3(b) 참조).
또한, 사용자단말기(120)는 회원등록 및 가입설문 등의 절차를 통해 사용자로부터 사용자정보, 즉 사용자의 나이 및 성별 중 적어도 하나를 입력받거나, 기 저장된 정보로부터 독출할 수 있고, 이를 분석서버(110)에 제공할 수 있다(도 3(a) 참조).
이에 따라, 분석서버(110)는 사용자와 관련하여, 사용자정보 및/또는 피부이미지를 사용자단말기(120)로부터 전달받을 수 있고, 후술하는 바와 같이, 분석서버(110)는 사용자단말기(120)에 사용자의 피부타입과 유사한 피부타입을 가진 다른 사용자의 화장품 평가정보나, 추천 화장품(또는 사용자 맞춤 화장품)을 사용자에게 제공할 수 있다.
한편, 대조용 사용자단말기(130)는 상기 사용자단말기(120)와 동일한 기능 또는 동작을 수행하는 것으로, 또 다른 사용자에 의해 운용될 수 있으며, 대조용 사용자단말기(130)에 대한 설명은 사용자단말기(120)에 대한 설명으로 갈음하기로 한다.
한편, 분석서버(110)는 사용자단말기(120)에 의해 획득된 피부이미지에 대한 제1 피부타입과, 기 저장된 다른 사용자들의 제2 피부타입들을 비교하여, 제2 피부타입들 중 제1 피부타입과 유사도가 높은 적어도 하나의 목표피부타입을 선정하고, 목표피부타입에 대응하는 사용자의 화장품 평가정보를 사용자단말기(120)에 제공할 수 있다.
여기서, 피부타입은 사용자의 피부상태로서, 그 종류는 건성, 지성 등과 같이 정형화된 것이 아닌 비정형화된 것일 수 있고, 일 예로 피부의 유분 및/또는 수분 등에 대한 비율 및/또는 분포 등을 포함한 것일 수 있다.
사용자단말기(120)로부터 제공받은 피부이미지를 분석한 피부타입은 '제1 피부타입'으로 칭하고, 대조용 사용자단말기(130)로부터 제공받은 피부이미지를 분석한 피부타입은 '제2 피부타입'으로 칭할 수 있다.
도 2는 본 발명의 일 실시예에 따른 화장품추천과정을 개략적으로 나타낸 도면이다.
도 2를 참조하여, 분석서버(110)가 동작하는 과정을 살펴보면, 분석서버(110)는 사용자단말기(120)로부터 사용자정보 및/또는 사용자의 피부이미지(10)를 수신하고, 이를 이용하여 사용자의 제1 피부타입과 유사한 제2 피부타입을 선정할 수 있다.
이를 위해, 분석서버(110)는 또 다른 다수의 사용자들로부터 피부이미지(20)를 수신할 수 있고, 이를 근거로 다수의 사용자들에 대한 제2 피부타입을 분류하여 그룹별로 군집화할 수 있으며, 이를 피부타입데이터베이스(30)에 저장할 수 있다.
분석서버(110)는 상기 제1 피부타입과, 유사한 제2 피부타입 또는 이의 그룹을 목표피부타입으로 선정할 수 있으며, 분석서버(110)는 상기 선정되 목표피부타입에 대응하는 사용자로부터 입력된 사용자 평가정보(또는 화장품 사용 후 평가정보)(21) 및/또는 추천화장품을 사용자단말기(120)에 제공할 수 있다.
도 4는 본 발명의 일 실시예에 따른 사용자의 피부타입을 분류하는 과정을 나타낸 도면이다.
도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 분석서버(110)는 사용자의 피부이미지에 대한 제1 피부타입과 유사한 피부타입(제2 피부타입)을 가진 또 다른 사용자를 찾기 위해, 제1 모듈(111), 제2 모듈(112) 또는 제3 모듈(113)을 포함할 수 있다.
분석서버(110)의 제1 모듈(111)은 사용자의 피부이미지로부터 얼굴구성요소를 추출하고, 추출된 얼굴구성요소들의 위치를 이용하여, 관심영역피부이미지를 추출할 수 있다.
여기서, 관심영역피부이미지는 사용자의 피부이미지 중 사용자의 얼굴구성요소(일 예로 눈, 코, 입 등)가 제외된 부분의 이미지를 가리키며, 구체적인 일 예로서, 사용자의 코와 이마를 중심으로 유분이 많은 부분인 제1 관심영역피부이미지 및/또는 사용자의 양 볼 부분인 제2 관심영역피부이미지를 포함할 수 있다.
즉, 제1 모듈(111)은, 도 5에 도시한 바와 같이, 먼저, 사용자의 피부이미지로부터 공지의 방법에 따라 눈(C21, C22), 눈썹(C11, C12), 코(C3) 등과 같은 특징을 가진 얼굴구성요소를 추출할 수 있다. 여기서 코(C3)는 콧등을 제외한 코끝일 수 있다.
이후, 제1 모듈(111)은 상기 얼굴구성요소(C11~C3)의 위치를 이용하여 관심영역피부이미지를 추출할 수 있다.
구체적으로, 제1 모듈(111)은 사용자의 얼굴 윤곽에서 두 눈썹(C11, C12)의 윗부분(R11), 그리고 코끝(C3)의 윗부분 중 두 눈썹(C11, C12)의 사이와 두 눈(C21, C22)의 사이의 부분(R12)을 중심으로 한 제1 관심영역피부이미지를 추출할 수 있고, 또, 제1 모듈(111)은 사용자의 얼굴 윤곽 내에서 두 눈(C21, C22)의 아랫부분과, 두 눈(C21, C22)과 코끝(C3) 사잇부분을 중심으로 한 제2 관심영역피부이미지를 추출할 수 있다.
이렇게 제1 모듈(111)에 의해 추출된 관심영역피부이미지를 기반으로, 제3 모듈(113)은 사용자의 피부타입을 분류할 수 있다.
다만, 바람직한 일 실시예에 따라 분석서버(110)는, 상기 관심영역피부이미지에서 뾰루지 따위와 같은 피부질환부위를 노이즈로서 제외하고, 사용자의 피부타입을 분류하는 것이 바람직하다.
이를 위해, 분석서버(110)의 제2 모듈(112)은, 상기 관심영역피부이미지로부터 피부질환부위를 검출할 수 있다. 구체적으로 제2 모듈(112)은 먼저 상기 관심영역피부이미지에 대해 RGB(Red/Green/Blue)이미지와 HSV(Hue/Saturation/Value)이미지를 마련할 수 있고, 그 다음 RGB이미지의 채널별 각각의 이미지를 이용하여 그레이(Gray)이미지를 획득(일 예로 Grayimg=(0.2989×R)+(0.587×G)+(0.114×B))한 다음, 이를 0~1 사이의 값을 갖도록 정규화(N=i/R+G+B, i∈{R,G,B})를 할 수 있다.
한편, 상기 제2 모듈(112)은 HSV이미지의 채널별 각각의 이미지를 이용하여, 구체적인 일 예로, 어느 한 채널(V)의 이미지를 표준이미지로 생성하거나 또는 적어도 둘 이상의 이미지를 가감하여 조합한 이미지를 표준이미지로 생성할 수 있다. 그 다음, 제2 모듈(112)은 상기 표준이미지와 상기 정규화된 이미지 간의 차이를 이진화(binary)한 이진이미지를 획득함으로써 피부질환부위를 명확하게 구분 검출할 수 있다.
이렇게 제2 모듈(112)에 의해 생성된 피부질환부위는 상기 관심영역피부이미지에서 생략 또는 제외된 다음, 제3 모듈(113)에 의해 피부타입이 분류되거나, 그룹별로 군집화될 수 있다.
제3 모듈(113)은, 전술한 바와 같이, 사용자의 피부이미지, 특히 관심영역피부이미지에 대한 제1 피부타입과 유사도가 높은 적어도 하나의 제2 피부타입 또는 이의 그룹을 선정하기 위해, 사전적으로 다른 사용자들의 다수의 피부이미지들, 특히 관심영역피부이미지들을 이용하여 피부타입을 분류하고 그룹별로 군집화할 수 있다.
구체적으로, 제3 모듈(113)은 사용자의 관심영역피부이미지에 대해 적어도 일부의 영역에 대해 영역별로 DWT(Discrete Wavelet Transform)를 적용할 수 있다. 구체적으로 2차원 이미지의 행과 열 각각에 대해 Low Pass Filter와 High Pass Filter를 적용시켜 두 대역으로 나눈 다음, 2로 다운샘플링을 수행하여 4개의 서브이미지(LL, LH, HL, HH)를 생성할 수 있다. DWT를 적용함으로써 관심영역피부이미지는 여러 해상도로 표현될 수 있으며, 여기서 LL은 관심영역피부이미지에 수평방향과 수직방향으로 LPF를 적용한 이미지일 수 있고, LH는 수직방향으로 HPF를 적용한 이미지이며, HL은 수평방향으로 HPF를 적용한 이미지이고, HH는 수평방향과 수직방향으로 HPF를 적용한 이미지일 수 있다. 이렇게 관심영역피부이미지는 DWT를 적용하여 여러 해상도로 분해되어 도출될 수 있다.
또한, 이렇게 여러 해상도로 분해된 이미지들은 제3 모듈(113)의 입력되어, 제3 모듈(113)에 의해 보간(interpolation)을 통해 합성된 DWT변환이미지를 마련할 수도 있다.
제3 모듈(113)은 DWT변환이미지에 LBP(Local Bin Pattern)를 적용하여 표현된 질감(또는 히스토그램(histogram)으로 나타난 분포도)을 이용하거나, 또는 DWT변환이미지의 색채강도(intensity of color), 콘트라스트(contrast)(하기 수학식 1 참조), IDM(Inverse Difference Moment)(하기 수학식 2 참조) 및 엔트로피(entropy)(하기 수학식 3 참조) 중 적어도 하나를 근거로 하여, SVM(Support Vector Machine)을 통해 사용자의 관심영역피부이미지는 둘 이상의 피부타입으로 분류됨으로써 그룹별로 군집화할 수 있다.
[수학식 1]
Figure pat00001
[수학식 2]
Figure pat00002
[수학식 3]
Figure pat00003
즉, 제3 모듈(113)은 SVM을 이용하여 선형적 또는 비선형적인 경계를 기준으로, 사용자의 관심영역피부이미지에 대하여 유사한 특징을 가진 것들끼리 그룹별로 군집화할 수 있다. 다만, 전술한 바와 같이, 비정상적인 피부요소인 피부질환부위는 SVM을 이용한 분류 판단시 영향을 주지 않도록 하는 것이 바람직하다.
여기서, 그룹화되는 관심영역피부이미지의 특징은, 유분과 수분에 대한 비율과 분포, 또는 이에 따른 패턴이 소정 범위 내에 있는 유사한 것들일 수 있으나, 반드시 이에 한하는 것은 아니다.
결국, 본 발명의 일 실시예에 따른 분석서버(110)는 사용자의 관심영역피부이미지를 둘 이상의 피부타입으로 분류하여 그룹별로 군집화할 수 있고, 동일하게 사용자단말기(120)를 통해 제공된 사용자의 피부이미지에 대한 제1 피부타입이, 제2 피부타입들의 분류된 그룹중 중 유사도가 높은 적어도 어느 하나에 속하는지, 또는 어느 제2 피부타입이 목표피부타입에 해당하는지 판단할 수 있다. 즉, 분석서버(110)는 상기 제1 피부타입이 제2 피부타입들 중 적어도 하나가 유사도가 높은 목표피부타입에 해당하는지 SVM을 이용하여 유사도를 판단할 수 있다.
본 발명의 또 다른 일 실시예에 따라, 분석서버(110)는 사전적으로 다른 사용자들의 다수의 피부이미지로부터 특징을 추출하여 학습할 수 있고, 유사한 특징을 가진 피부이미지를 그룹별로 군집화하여, 상기 제2 피부타입들을 마련한다음, 기 마련된 상기 제2 피부타입과, 사용자의 관심영역피부이미지에 대한 제1 피부타입 간의 유사도(일 예로, 상호 대응 항목(유분과 수분에 대한 비율이나 위치 등) 간의 거리)를 산출하여, 유사도가 높은(또는 거리가 가까운) 제2 피부타입을 선정할 수 있다.
결국, 본 발명의 일 실시예에 따른 분석서버(110)는, 다수의 대조용 사용자단말기(130)로부터 제공받은 피부이미지에 대한 제2 피부타입을 그룹별로 분류하여 피부타입데이터베이스(30)에 저장할 수 있고, 분석서버(110)는 기 저정된 다수의 제2 피부타입과, 상기 제1 피부타입을 서로 비교하여, 유사도를 산출할 수 있다.
여기서, 제2 피부타입이 피부특징에 따라 분류되는 그룹의 크기에 대해 본 발명은 특별히 한정하지 않는다.
도 7은 본 발명의 일 실시예에 따라 제1 및 제2 피부타입을 비교하는 과정을 나타낸 도면이다.
도 7에 도시한 바와 같이, 분석서버(110)는 사용자단말기(120)로부터 제공받은 사용자의 피부이미지에 따른 제1 피부타입과, 피부타입데이터베이스(30)에 기 저장된 다수의 제2 피부타입들 간에 서로 유사도를 산출할 수 있다.
본 발명은, 패턴들 간에 유사도를 산출하는 방법에 대해서는 특별히 한정하지 않으며, 분석서버(110)는 산출된 유사도들 중 유사도가 높은 적어도 하나의 제2 피부타입을 목표피부타입으로 선정할 수 있다.
일 예로, 도 7에 도시한 바와 같이, 분석서버(110)가 사용자의 피부이미지에 따른 제1 피부타입과, 기 저장된 A고객, B고객, 그리고 C고객의 제2 피부타입들을 각각 비교하여 유사도를 산출하였고, 그 중 가장 유사도가 높은 제2 피부타입을 목표피부타입으로 선정할 수 있다.
한편, 분석서버(110)는, 본 발명의 또 다른 일 실시예에 따라, 제2 피부타입을 마련하기 위해, 다른 사용자들의 다수의 피부이미지에 대해 DWT를 적용하고 도출된 DWT변환이미지를 이용하여 LBP를 적용한 값을 근거로 하여, CNN(Convolutional Neural Network)이나 DNN(Deep Neural Network)의 머신러닝에 의한 신경망모델을 이용하여 관심영역피부이미지의 특징을 검출할 수 있고, 이로부터 유사한 특징을 가진 그룹별로 군집화함으로써, 제2 피부타입들을 마련할 수 있다(도 6 참조).
이때, 본 발명의 또 다른 일 실시예에 따라, 분석서버(110)는 관심영역피부이미지의 특징 검출은 CNN이나 DNN의 신경망모델을 이용할 수 있으나, 유사한 특징을 가진 것들에 대한 그룹화는 SVM을 이용하여, 신경망모델과 SVM을 조합할 수도 있다.
한편, 본 발명의 일 실시예에 따라 분석서버(110)는, 유사도 판단의 연산량이나 연산시간 등을 고려하여, 제1 피부타입의 비교대상인 다수의 제2 피부타입 중 일부를 추출 선정한 다음, 추출 선정된 일부의 제2 피부타입들과 상기 제1 피부타입을 서로 비교할 수 있다.
여기서, 분석서버(110)는 다수의 제2 피부타입 중 비교대상인 일부를 추출할 때, 추출 근거로서 사용자의 사용자정보, 즉 사용자의 나이 및/또는 성별 등을 이용할 수 있다.
일 예로, 도 8에 도시한 바와 같이, 분석서버(110)는 사용자인 20대, 여성, 지성(설문에 따른 피부타입) 등을 근거로 동일하거나 유사한 사용자들, 즉 20대 여성으로서 지성피부를 가진 사용자들을 먼저 추출한 다음, 추출된 사용자들의 제2 피부타입과 제1 피부타입을 비교하여 유사도를 산출한 다음, 유사도가 높은 적어도 하나를 목표피부타입으로 선정할 수 있다.
이렇게, 사용자와 유사한 신체조건 또는 유사한 상태의 피부를 가진 사용자를 먼저, 1차 선정한 다음, 선정된 사용자들의 제2 피부타입과 사용자의 제1 피부타입을 비교함으로써, 비교 대상을 축소하는 것이 바람직하다.
한편, 전술한 바와 같이, 본 발명의 일 실시예에 따라 분석서버(110)는, 제1 피부타입과 제2 피부타입 간에 유사도를 산출할 수 있으며, 이때 제1 및 제2 피부타입은 사용자의 얼굴구성요소가 제외된 관심영역피부이미지로서, 제1 및/또는 제2 관심영역피부이미지일 수 있으나, 본 발명은 이에 한하지 않고, 제1 및/또는 제2 관심영역피부이미지 중 일부 영역일 수도 있다.
다시 돌아와, 도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 분석서버(110)는 상기 선정된 사용자가 화장품에 대한 평가정보(21)를 해당 사용자의 사용자단말기(120)로 제공할 수 있다.
도 9는 본 발명의 일 실시예에 따라 화장품을 추천하는 과정을 나타낸 도면이다.
도 9에 도시한 바와 같이, 대조용 사용자단말기(130)는 사용자로부터 자신이 사용한 화장품들에 대한 사용평가를 입력하여 분석서버(110)에 제공할 수 있다.
여기서, 사용평가 대상이 되는 화장품들은 일종의 화장품이거나, 기능이나 용도에 있어 차이가 있는 이종의 화장품들로 이루어진 화장품 군(群)일 수 있으며, 일 예로, 토너, 세럼, 에센스, 로션 및/또는 크림 등을 포함할 수 있다.
상기 제1 피부타입과 유사한 사용자가 대조용 사용자단말기(130)를 이용하여, 분석서버(110)에 등록한 평가정보를 사용자단말기(120)에 전달할 수 있으나, 바람직하게는 분석서버(110)가 평가점수가 높은 적어도 하나의 화장품을 사용자단말기(120)에 추천할 수도 있다.
이를 위해, 분석서버(110)는 그룹별로 군집화된 피부타입별로 사용자에 의해 평가된 점수가 높은 화장품 또는 화장품 군(群)을 마련할 수 있으며, 이에 따라 분석서버(110)는 사용자단말기(120)를 통해 입력된 사용자의 관심영역피부이미지에 대한 피부타입과 유사도가 높은 피부타입에 상응하는 화장품 또는 화장품 군(群)을 제공할 수 있다.
한편, 본 발명의 일 실시예에 따른 분석서버(110)는, 피부타입데이터베이스(30)에 기 저장된 제2 피부타입에 대응하여, 고유한 사용자식별정보를 마련할 수 있다.
여기서, 사용자식별정보는 이름이나 아이디 따위와 같이 사용자를 구분식별할 수 있는 정보일 수 있으며, 이러한 사용자식별정보는 제2 피부타입과 상응하도록 일대일 또는 다대일로 마련될 수 있다.
이에 따라, 본 발명의 일 실시예에 따른 분석서버(110)는 제2 피부타입을 인증수단으로서 활용할 수 있다.
이렇게 본 발명의 일 실시예에 따른 분석서버(110)는, 사용자의 관심영역피부이미지, 즉 사용자의 피부이미지 중 얼굴구성요소가 제외된 관심영역피부이미지를 인증수단으로서 활용하기 때문에, 분석서버(110)가 민감한 개인정보를 저장하지 않아도 사용자인증절차를 수행할 수 있다.
전술한 바와 같이, 본 발명의 일 실시예에 따른 분석서버(110)는 사용자의 관심영역피부이미지 중 적어도 일부에 대한 제1 피부타입과, 다른 사용자의 관심영역피부이미지 중 적어도 일부에 대한 제2 피부타입을 상호 비교함으로써, 유사도를 산출할 수 있다.
이를 이용하여, 본 발명의 일 실시예에 따른 분석서버(110)가 산출한 유사도가 100% 또는 이에 근접한 값인 경우, 제1 피부타입을 가진 사용자와, 제2 피부타입을 제공한 사용자가 동일인인 것으로 판단할 수 있고, 이와 같은 판단결과에 따라 분석서버(110)는 사용자식별정보를 이용하여 사용자단말기(120)의 현재 사용자를 식별하여 특정할 수 있다.
결국, 본 발명의 일 실시예에 따른 분석서버(110)는, 사용자단말기(120)의 사용자인증요청에 따라 제2 피부타입들 중 선정된 목표피부타입에 대응하는 사용자식별정보를 이용하여 사용자인증절차를 수행할 수 있다.
구체적으로, 본 발명의 일 실시예에 따라, 사용자단말기(120)가 현재 촬영된 사용자의 피부이미지를 근거로 분석서버(110)에 사용자인증요청을 한 경우, 분석서버(110)는 사용자의 피부이미지를 이용하여 사용자단말기(120)를 현재 사용하고 있는 사용자를 식별할 수 있고, 식별된 사용자에 대한 사용자식별정보를 근거로 해당 사용자가 분석서버(110) 및/또는 사용자단말기(120) 등에 대해 권한이 있는지 여부를 판단케함으로써, 사용자인증절차를 수행할 수 있다.
일 예로, 분석서버(110)는 사용자단말기(120)의 사용자인증요청이 있는 경우, 분석서버(110)는 사용자단말기(120)의 사용자를 식별하여 해당 사용자의 사용자식별정보를 사용자단말기(120)에 회신할 수 있고, 이에 따라 사용자단말기(120)는 사용자로부터 입력되거나 기 저장된 사용자식별정보와, 분석서버(110)로부터 회신된 사용자식별정보 간의 일치 여부를 판단하여 사용자단말기(120) 및/또는 분석서버(110)에 대한 사용자의 권한 여부를 판단할 수 있다.
또 다른 일 예로서, 분석서버(110)는 사용자단말기(120)의 사용자인증요청이 있는 경우, 분석서버(110)는 사용자의 피부이미지를 이용하여 사용자단말기(120)의 사용자를 식별함으로써 해당 사용자의 사용자식별정보를 추출할 수 있고, 추출된 사용자식별정보와, 사용자단말기(120)로부터 전달받은 사용자식별정보룰 서로 비교함으로써, 사용자단말기(120) 및/또는 분석서버(110)에 대한 사용자의 권한 여부를 판단할 수 있다.
바람직한 일 실시예에 따라 사용자인증절차를 수행하는 분석서버(110)는, 전술한 바와 같이, 사용자의 얼굴구성요소가 제외된 관심영역피부이미지를 근거로 한 제1 및 제2 피부타입을 비교하여, 사용자를 식별 특정하지만, 여기서 사용자를 식별 특정하기 위해 사용하는 관심영역피부이미지는 제1 및/또는 제2 관심영역피부이미지이되, 그 중 2개소 이상의 일부 영역일 수 있다.
분석서버(110)가 사용자인증절차를 수행할 때 보안성을 강화하기 위해, 이마, 콧등, 좌측볼 및 우측볼 중 적어도 두 부분의 피부이미지에 대한 제1 및 제2 피부타입을 상호 비교할 수 있고, 2개소 이상의 피부이미지에 대한 제1 및 제2 피부타입이 모두 동일하거나 매우 동일하게 근접하도록 유사한 경우에만 사용자를 식별 특정함으로써, 보안성을 강화할 수 있다.
구체적으로, 피부타입데이터베이스(30)에 기 저정된 제2 피부타입에 대한 2개소 부위는 사용자단말기(120)를 통해 사용자에 의해 기 등록된 제1 관심영역피부이미지 중 일부(일 예로 이마)와, 제2 관심영역피부이미지 중 일부(일 예로 좌측볼)로 나누어져 등록될 수 있으며, 이후 분석서버(110)는 사용자단말기(120)를 통해 제공된 사용자의 관심영역피부이미지 중 제1 관심영역피부이미지 중 일부(일 예로 이마)와, 제2 관심영역피부이미지 중 일부(일 예로 좌측볼)를 각각 비교하고, 그 비교 결과에 따라 사용자를 식별 특정할 수 있다.
고객피부데이터를 이용한 화장품추천방법
도 10은 본 발명의 일 실시예에 따른 화장품추천방법을 단계별로 나타낸 도면이다.
도 10에 도시한 바와 같이, 본 발명의 일 실시예에 따른 화장품추천방법은, 사용자단말기(120)가 사용자의 피부이미지를 획득하는 단계(S10)와, 분석서버(110)가 상기 사용자단말기(120)에 의해 촬영된 피부이미지에 대한 제1 피부타입과, 기 저장된 다른 사용자들의 제2 피부타입들을 비교하는 단계(S201)와, 분석서버(110)가 상기 제2 피부타입들 중 상기 제1 피부타입과 유사도가 높은 적어도 하나의 목표피부타입을 선정하는 단계(S202)와, 분석서버(110)가 상기 목표피부타입에 대응하는 사용자의 화장품 평가정보를 사용자단말기(120)에 제공하는 단계(S30)를 포함할 수 있다. 여기서, S201과 S202는 S20으로 통칭하기로 한다.
또한, 본 발명의 일 실시예에 따라, 사용자의 화장품 평가정보 이외에, 평가정보에 따른 적어도 하나의 추천화장품을 사용자단말기(120)에 제공하는 단계(S40)를 더 포함할 수 있다(도 12 참조).
이렇게, 분석서버(110)는 사용자 피부 타입을 정형화된 유형으로 정하지 않고, 사용자의 피부타입과 유사한 피부타입을 가진 다른 사용자의 화장품 평가정보를 근거로 화장품을 추천하기 때문에, 피부 적합성 오차를 줄일 수 있으며, 사용자는 자신의 피부타입에 대해 알지 못해도, 자신에게 적합한 화장품을 추천받을 수 있다.
도 11은 본 발명의 일 실시예에 따라 사용자의 피부타입을 분류하는 과정을 단계별로 나타낸 도면이다.
도 11에 도시한 바와 같이, 본 발명의 일 실시예에 따라, 분석서버(110)가 제1 피부타입과 유사도가 높은 제2 피부타입을 목표피부타입으로 선정하는 단계(S20)는, 사용자의 피부이미지로부터 얼굴구성요소를 추출하는 단계(S21)와, 상기 추출된 얼굴구성요소의 위치를 이용하여, 이마 및/또는 볼을 포함하는 관심영역피부이미지를 추출하는 단계(S22)를 포함할 수 있다.
이때, 관심영역피부이미지는 상기 얼굴구성요소가 제외된 것으로서, 사용자의 코와 이마를 중심으로 유분이 많은 부분인 제1 관심영역피부이미지 및/또는 사용자의 양 볼 부분인 제2 관심영역피부이미지를 포함할 수 있다.
결국, 분석서버(110)는 상기 추출된 관심영역피부이미지를 근거로 피부타입을 분류하고, 분류된 피부타입을 이용하여 상기 목표피부타입을 선정할 수 있다.
이때, 본 발명의 또 다른 일 실시예에 따라, 분석서버(110)가 제1 피부타입과 유사도가 높은 제2 피부타입을 목표피부타입으로 선정하는 단계(S20)는, 상기 관심영역피부이미지로부터 RGB이미지와 HSV이미지를 마련하는 단계(S23)와, 상기 RGB이미지의 채널별 각각의 이미지를 이용하여 Gray이미지를 획득한 다음 이를 정규화(normalize)하는 단계(S24)와, 상기 HSV이미지의 채널별 각각의 이미지를 이용하여 표준이미지를 생성하고, 생성된 표준이미지와 상기 정규화된 이미지 간의 차이를 이진화함으로써, 피부질환부위를 검출하는 단계(S25)를 더 포함할 수 있다.
이렇게, 분석서버(110)는 상기 관심영역피부이미지에서 뾰루지 따위와 같은 피부질환부위를 노이즈로서 제외하고, 사용자의 피부타입을 분류함으로써, 비정상적인 피부요소인 피부질환부위가 사용자의 피부타입을 분류 판단할 때 영향을 주지 않도록 하는 것이 바람직하다
즉, 후술하는 바와 같이, 사용자의 피부이미지에 대한 피부타입을 분류하는 단계(S27)는, 상기 피부질환부위를 검출하는 단계(S25)에서 추출된 피부질환부위의 분포 및 밀도를 계산하고, 이를 상기 SVM(Support Vecotor Maccine)에 함께 적용하여 피부질환부위가 생략된 관심영역피부이미지에 대하여 피부타입을 분류하는 것이 바람직하다.
또한, 본 발명의 또 다른 일 실시예에 따라, 분석서버(110)가 제1 피부타입과 유사도가 높은 제2 피부타입을 목표피부타입으로 선정하는 단계(S20)는, 상기 관심영역피부이미지에 영역별로 DWT(Discrete Wavelet Transform)를 적용하여 도출되는 DWT변환이미지를 이용하여 LBP(Local Bin Pattern)를 적용한 값, 상기 DWT변환이미지의 색채 강도(intensity of color), 상기 DWT변환이미지의 콘트라스트(contrast), 상기 DWT변환이미지의 IDM(Inverse Difference Moment), 및 상기 DWT변환이미지의 엔트로피(entropy) 중 적어도 하나를 산출하는 단계(S26)와, SVM(Support Vector Machine)을 통해 피부타입을 분류하는 단계(S27)를 더 포함할 수 있다.
한편, 도 12는 본 발명의 일 실시예에 따라 제1 및 제2 피부타입을 비교하는 과정을 단계별로 나타낸 도면이다.
도 12에 도시한 바와 같이, 본 발명의 일 실시예에 따라, 분석서버(110)는, 상기 S20 단계, 구체적으로 S21 단계 내지 S27 단계에 따라, 다수의 대조용 사용자단말기(130)로부터 제공받은 피부이미지에 대한 제2 피부타입을 그룹별로 분류하여 피부타입데이터베이스(30)에 저장함으로써, 상기 제2 피부타입들을 마련(S1)할 수 있다.
다만, 이와 다른 실시예에 따라, 분석서버(110)는 CNN 또는 DNN의 머신러닝에 의한 신경망모델을 이용하여, 다수의 피부이미지들로부터 특징을 추출하여 학습하고, 수분과 유분에 대한 비율이나 분포 특징이 유사한 그룹별로 군집화하여, 상기 제2 피부타입들을 마련(S1)할 수도 있다.
또한, 본 발명의 일 실시예에 따라, 분석서버(110)가 상기 S20 단계에서 제1 피부타입과 유사도가 높은 제2 피부타입을 목표피부타입으로 선정할 때, 유사도 판단의 연산량이나 연산시간 등을 고려하여, 제1 피부타입의 비교대상인 다수의 제2 피부타입 중 일부를 추출 선정한 다음, 추출 선정된 일부의 제2 피부타입들과 상기 제1 피부타입을 서로 비교할 수 있다.
여기서, 분석서버(110)는 다수의 제2 피부타입 중 비교대상인 일부를 추출할 때, 추출 근거로서 사용자의 사용자정보, 즉 사용자의 나이 및/또는 성별 등을 이용할 수 있으며, 이를 위해, 사용자단말기(120)는 사용자의 나이 및 성별 중 어느 하나를 포함하는 사용자정보를 입력받는 단계(S5)를 더 포함할 수 있다.
결국, 분석서버(110)가 상기 S20 단계에서 제1 피부타입과 유사도가 높은 제2 피부타입을 목표피부타입으로 선정할 때, 분석서버(110)는 상기 사용자정보를 근거로 선정된 사용자들의 상기 제2 피부타입을 먼저 추출하고, 추출된 상기 제2 피부타입을 대상으로 상기 제1 피부타입과 비교하여, 목표피부타입을 선정할 수 있다.
한편, 도 13은 본 발명의 또 다른 일 실시예에 따라 사용자의 피부타입을 이용하여 사용자인증절차를 수행하는 과정을 단계별로 나타낸 도면이다.
도 13에 도시한 바와 같이, 본 발명의 일 실시예에 따른 화장품추천방법은, 분석서버(110)가 제2 피부타입들에 대응하는 사용자의 사용자식별정보를 마련하는 단계(S110)를 더 포함할 수 있고, 이를 이용하여 분석서버(110)가, 사용자단말기(120)의 사용자인증요청에 따라, 상기 제2 피부타입들 중 선정된 목표피부타입에 대응하는 사용자식별정보를 이용하여 사용자인증절차를 수행할 수 있다(S120).
본 발명의 일 실시예에 따라, 분석서버(110)는 제2 피부타입을 인증수단으로서, 제1 피부타입과 제2 피부타입 간의 유사도를 이용하여 분석서버(110)는 사용자단말기(120)의 현재 사용자를 식별 특정함으로써, 사용자인증절차를 수행할 수 있다.
이렇게 본 발명의 일 실시예에 따른 분석서버(110)가 유사도를 산출할 때, 사용자의 관심영역피부이미지, 즉 사용자의 피부이미지 중 얼굴구성요소가 제외된 관심영역피부이미지를 인증수단으로서 활용하기 때문에, 분석서버(110)가 민감한 개인정보를 저장하지 않아도 사용자인증절차를 수행할 수 있다.
또한, 분석서버(110)가 사용자인증절차를 수행(S120)할 때, 보안성을 강화하기 위해, 이마, 콧등, 좌측볼 및 우측볼 중 적어도 두 부분의 피부이미지에 대한 제1 및 제2 피부타입을 상호 비교할 수 있고, 2개소 이상의 피부이미지에 대한 제1 및 제2 피부타입이 모두 동일하거나 매우 동일하게 근접하도록 유사한 경우에만 사용자를 식별 특정함으로써, 보안성을 강화할 수 있다.
상기 단계에 대한 설명은 전술한 것과 중복되므로 그에 갈음하고, 자세한 설명은 생략하기로 한다.
컴퓨터 판독 가능한 기록 매체
이상 설명된 본 발명의 일 실시예에 따른 고객피부데이터를 이용한 화장품추천방법은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이나 컴퓨터 소프트웨어 분야의 당 업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크, 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상으로 본 발명의 바람직한 실시예를 도면을 참고하여 상세하게 설명하였다. 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.
따라서, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미, 범위 및 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 화장품추천시스템
110: 분석서버
111~113: 제1 ~ 제3 모듈
120: 사용자단말기
130: 대조용 사용자단말기

Claims (11)

  1. 사용자의 피부이미지를 획득하는 사용자단말기; 및
    상기 사용자단말기에 의해 획득된 피부이미지에 대한 제1 피부타입과, 기 저장된 다른 사용자들의 제2 피부타입을 비교하여, 상기 제2 피부타입들 중 상기 제1 피부타입과 유사도가 높은 적어도 하나의 목표피부타입을 선정하고, 상기 목표피부타입에 대응하는 사용자의 화장품 평가정보를 상기 사용자단말기에 제공하는 분석서버;
    를 포함하는 고객피부데이터를 이용한 화장품추천시스템.
  2. 제 1 항에 있어서,
    상기 분석서버는,
    상기 평가정보에 따른 적어도 하나의 추천화장품을 상기 사용자단말기에 제공하는 것을 특징으로 하는 고객피부데이터를 이용한 화장품추천시스템.
  3. 제 1 항에 있어서,
    상기 분석서버는,
    상기 피부이미지로부터 얼굴구성요소를 추출하고, 추출된 상기 얼굴구성요소의 위치를 이용하여, 이마 및/또는 볼을 포함하는 관심영역피부이미지를 추출하는 제1 모듈;
    을 포함하는 것을 특징으로 하는 고객피부데이터를 이용한 화장품추천시스템.
  4. 제 3 항에 있어서,
    상기 관심영역피부이미지는, 상기 얼굴구성요소가 제외된 것을 특징으로 하는 고객피부데이터를 이용한 화장품추천시스템.
  5. 제 3 항에 있어서,
    상기 분석서버는,
    상기 관심영역피부이미지로부터 RGB이미지와 HSV이미지를 마련하고,
    상기 RGB이미지의 채널별 각각의 이미지를 이용하여 Gray이미지를 획득한 다음 이를 정규화(normalize)하되, 상기 HSV이미지의 채널별 각각의 이미지를 이용하여 생성한 표준이미지와 상기 정규화된 이미지 간의 차이를 이진화함으로써, 피부질환부위를 검출하는 제2 모듈;
    을 더 포함하는 것을 특징으로 하는 고객피부데이터를 이용한 화장품추천시스템.
  6. 제 5 항에 있어서,
    상기 분석서버는,
    상기 관심영역피부이미지에 DWT(Discrete Wavelet Transform)를 적용하여 도출되는 DWT변환이미지를 이용하여 LBP(Local Bin Pattern)를 적용한 값, 상기 DWT변환이미지의 색채 강도(intensity of color), 상기 DWT변환이미지의 콘트라스트(contrast), 상기 DWT변환이미지의 IDM(Inverse Difference Moment), 및 상기 DWT변환이미지의 엔트로피(entropy) 중 적어도 하나를 근거로 하여, SVM(Support Vector Machine)을 통해 피부타입을 분류하는 제3 모듈;
    을 더 포함하는 것을 특징으로 하는 고객피부데이터를 이용한 화장품추천시스템.
  7. 제 6 항에 있어서,
    상기 분석서버는,
    상기 제2 모듈에 의해 검출된 상기 피부질환부위의 분포 및 밀도를 계산하고, 이를 상기 SVM(Support Vecotor Maccine)에 함께 적용하여 상기 피부질환부위가 생략된 상기 관심영역피부이미지에 대한 상기 피부타입을 분류하는 것을 특징으로 하는 고객피부데이터를 이용한 화장품추천시스템.
  8. 제 1 항에 있어서,
    상기 분석서버는,
    머신러닝에 의한 신경망모델을 이용하여, 다수의 피부이미지로부터 특징을 추출하여 학습하고, 유사한 특징을 가진 그룹별로 군집화하여, 상기 제2 피부타입들을 마련하는 것을 특징으로 하는 고객피부데이터를 이용한 화장품추천시스템.
  9. 제 1 항에 있어서,
    상기 사용자단말기는, 사용자의 나이 및 성별 중 어느 하나를 포함하는 사용자정보를 입력받고,
    상기 분석서버는, 상기 사용자정보를 근거로 선정된 사용자들의 상기 제2 피부타입을 추출하며,
    추출된 상기 제2 피부타입과 상기 제1 피부타입을 비교하여, 상기 목표피부타입을 선정하는 것을 특징으로 하는 고객피부데이터를 이용한 화장품추천시스템.
  10. 제 1 항에 있어서,
    상기 분석서버는,
    상기 제2 피부타입들에 대응하는 사용자식별정보를 마련하는 것을 특징으로 하는 고객피부데이터를 이용한 화장품추천시스템.
  11. 제 10 항에 있어서,
    상기 분석서버는, 상기 사용자단말기의 사용자인증요청에 따라, 상기 제2 피부타입들 중 선정된 상기 목표피부타입에 대응하는 사용자식별정보를 이용하여 사용자인증절차를 수행하는 것을 특징으로 하는 고객피부데이터를 이용한 화장품추천시스템.
KR1020220085216A 2021-07-29 2022-07-11 고객피부데이터를 이용한 화장품추천시스템 KR20230018321A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210099625 2021-07-29
KR1020210099625 2021-07-29

Publications (1)

Publication Number Publication Date
KR20230018321A true KR20230018321A (ko) 2023-02-07

Family

ID=85253096

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020220085217A KR20230018322A (ko) 2021-07-29 2022-07-11 고객피부데이터를 이용한 화장품추천방법
KR1020220085216A KR20230018321A (ko) 2021-07-29 2022-07-11 고객피부데이터를 이용한 화장품추천시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020220085217A KR20230018322A (ko) 2021-07-29 2022-07-11 고객피부데이터를 이용한 화장품추천방법

Country Status (1)

Country Link
KR (2) KR20230018322A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197541A (zh) * 2023-08-17 2023-12-08 广州兴趣岛信息科技有限公司 一种基于卷积神经网络的用户分类方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200117251A (ko) 2019-04-03 2020-10-14 강형진 피부 타입에 맞는 화장품을 추천하는 장치 및 방법
KR102211884B1 (ko) 2018-11-19 2021-02-03 유소현 빅데이터 기반 인공지능 기계학습을 이용한 피부관리 추천 서비스 제공 방법
KR20210020604A (ko) 2019-08-16 2021-02-24 주식회사 뷰티풀마인드 이미지 분석과 머신 러닝 기술 기반의 개인 맞춤형 뷰티 큐레이션 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102211884B1 (ko) 2018-11-19 2021-02-03 유소현 빅데이터 기반 인공지능 기계학습을 이용한 피부관리 추천 서비스 제공 방법
KR20200117251A (ko) 2019-04-03 2020-10-14 강형진 피부 타입에 맞는 화장품을 추천하는 장치 및 방법
KR20210020604A (ko) 2019-08-16 2021-02-24 주식회사 뷰티풀마인드 이미지 분석과 머신 러닝 기술 기반의 개인 맞춤형 뷰티 큐레이션 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197541A (zh) * 2023-08-17 2023-12-08 广州兴趣岛信息科技有限公司 一种基于卷积神经网络的用户分类方法及系统
CN117197541B (zh) * 2023-08-17 2024-04-30 广州兴趣岛信息科技有限公司 一种基于卷积神经网络的用户分类方法及系统

Also Published As

Publication number Publication date
KR20230018322A (ko) 2023-02-07

Similar Documents

Publication Publication Date Title
KR102339915B1 (ko) 셀피를 촬영하도록 사용자를 안내하기 위한 시스템 및 방법
Pontes et al. A flexible hierarchical approach for facial age estimation based on multiple features
Bialkowski et al. A database for person re-identification in multi-camera surveillance networks
CN106557723B (zh) 一种带交互式活体检测的人脸身份认证系统及其方法
JP2021101384A (ja) 画像処理装置、画像処理方法およびプログラム
JP2019517693A (ja) 表情の認識および注釈付けのためのシステムおよび方法
Ferrara et al. Face image conformance to iso/icao standards in machine readable travel documents
KR102284096B1 (ko) 중요도 맵을 이용한 지능형 주관적 화질 평가 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
Arigbabu et al. Integration of multiple soft biometrics for human identification
Savran et al. Facial action unit detection: 3D versus 2D modality
Saeed Facial micro-expressions as a soft biometric for person recognition
Sabharwal et al. Recognition of surgically altered face images: an empirical analysis on recent advances
Soldera et al. Facial biometrics and applications
Porto et al. Automatic cephalometric landmarks detection on frontal faces: An approach based on supervised learning techniques
Sajid et al. The role of facial asymmetry in recognizing age-separated face images
KR20230018321A (ko) 고객피부데이터를 이용한 화장품추천시스템
Paul et al. Rotation invariant multiview face detection using skin color regressive model and support vector regression
Barroso et al. Periocular recognition: how much facial expressions affect performance?
Kaur et al. A comprehensive approach for recognizing the ocular impression using machine learning-based CNN and LBP plainer interpolation
Bakshi et al. Optimized periocular template selection for human recognition
Monwar et al. Eigenimage based pain expression recognition
Mohamed et al. A new method for face recognition using variance estimation and feature extraction
Rama et al. More robust face recognition by considering occlusion information
CN108197593A (zh) 基于三点定位方法的多尺寸人脸表情识别方法及装置
Subašić et al. Segmentation and labeling of face images for electronic documents