KR102425873B1 - 머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 방법 및 시스템 - Google Patents

머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 방법 및 시스템 Download PDF

Info

Publication number
KR102425873B1
KR102425873B1 KR1020200135021A KR20200135021A KR102425873B1 KR 102425873 B1 KR102425873 B1 KR 102425873B1 KR 1020200135021 A KR1020200135021 A KR 1020200135021A KR 20200135021 A KR20200135021 A KR 20200135021A KR 102425873 B1 KR102425873 B1 KR 102425873B1
Authority
KR
South Korea
Prior art keywords
user
color
diagnosis
augmented reality
image
Prior art date
Application number
KR1020200135021A
Other languages
English (en)
Other versions
KR20220051516A (ko
Inventor
전병운
홍참길
김지원
Original Assignee
한동대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한동대학교 산학협력단 filed Critical 한동대학교 산학협력단
Priority to KR1020200135021A priority Critical patent/KR102425873B1/ko
Publication of KR20220051516A publication Critical patent/KR20220051516A/ko
Application granted granted Critical
Publication of KR102425873B1 publication Critical patent/KR102425873B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)
  • Color Image Communication Systems (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 방법에 관한 것이다. 사용자단말이 사용자의 성별, 나이, 선호브랜드 중 적어도 하나를 포함하는 사용자정보를 사용자로부터 입력받고, 사용자로부터 사용자의 얼굴을 포함하는 사용자이미지를 입력받고, 입력받은 사용자정보와 사용자이미지를 진단서버에 전송하는 단계와, 진단서버가 수신된 사용자이미지에 대해 전처리를 수행하고, 전처리된 사용자이미지를 분석하여 사용자이미지로부터 사용자의 피부톤, 사용자의 눈동자색상, 머리카락 색상 중 적어도 하나를 포함하는 분류정보를 판별하는 단계와, 진단서버가 사용자단말로부터 수신된 사용자정보와 사용자이미지로부터 추출된 분류정보를 통합하여 사용자데이터를 저장하고, 진단서버가 퍼스널컬러예측모델에 따라 사용자데이터에서 퍼스널컬러를 진단하는 단계와, 진단서버가 도출된 퍼스널컬러에 기초하여 사용자에게 추천할 추천화장품리스트를 생성하고, 사용자단말에 추천화장품리스트를 송신하는 단계를 포함한다.

Description

머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 방법 및 시스템{Personal color diagnostic method and system based on machine learning and augmented reality}
본 발명은 머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 방법 및 시스템에 관한 것으로, 특히 머신러닝 기술을 이용하여 사용자의 퍼스널 컬러를 진단하고, 진단결과에 따라 화장품을 추천하며, 얼굴 추적과 증강현실 텍스처 합성기술을 통해 사용자가 본인의 얼굴에 가상의 화장품을 직접 시현하는 증강현실 컨텐츠를 제공하는 머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 방법 및 시스템에 관한 것이다.
화장품 시장의 확장으로 인해, 개인 고유의 피부 색상을 뜻하는 퍼스널 컬러의 중요성이 대두되고 있다. 신체 고유의 색상을 분석하여 봄, 여름, 가을, 겨울과 같은 카테고리로 유형화하고, 유형별로 세분화된 색상표에 의해 화장품 선택의 폭을 좁혀, 잘 어울리는 화장품을 보다 쉽게 선택할 수 있도록 가이드를 제공하는 서비스가 크게 주목받고 있다.
현재 서비스되는 퍼스널 컬러 진단 방식의 대부분은 진단용 드레이프(drape) 천이나, 색상표를 이용한 육안 비교에 의해 이뤄지고 있다. 그러나 퍼스널 컬러 진단 비용이 높고 사용자들이 퍼스널 컬러에 대하여 인지하지는 못하고 있는 실정이다.
선행특허로는 공개번호 제10-2019-0116052호(딥러닝 기반 퍼스널 컬러 진단 및 가상 메이크업 방법 및 장치)가 있으나, 얼굴 랜드마크를 추출하여 퍼스널 컬러를 진단하고 가상메이크업을 하는 기술을 개시하고 있을 뿐이다.
상술한 문제점을 해결하기 위해 본 발명의 머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 방법 및 시스템은 사용자정보와 사용자이미지를 입력받아 퍼스널컬러예측모델에 기초하여 퍼스널컬러를 진단하고, 진단결과에 대응하여 증강현실 컨텐츠를 생성하여 제공하여 직관적으로 사용자가 판단할 수 있는 머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 방법 및 시스템을 제공할 수 있다.
본 발명의 실시예에 따른 머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 방법은 사용자단말이 사용자의 성별, 나이, 선호브랜드 중 적어도 하나를 포함하는 사용자정보를 사용자로부터 입력받고, 사용자로부터 사용자의 얼굴을 포함하는 사용자이미지를 입력받고, 입력받은 사용자정보와 사용자이미지를 진단서버에 전송하는 단계와, 진단서버가 수신된 사용자이미지에 대해 전처리를 수행하고, 전처리된 사용자이미지를 분석하여 사용자이미지로부터 사용자의 피부톤, 사용자의 눈동자색상 중 적어도 하나를 포함하는 분류정보를 판별하는 단계와, 진단서버가 사용자단말로부터 수신된 사용자정보와 사용자이미지로부터 추출된 분류정보를 통합하여 사용자데이터를 저장하고, 진단서버가 퍼스널컬러예측모델에 따라 사용자데이터에서 퍼스널컬러를 진단하는 단계와, 진단서버가 도출된 퍼스널컬러에 기초하여 사용자에게 추천할 추천화장품리스트를 생성하고, 사용자단말에 추천화장품리스트를 송신하는 단계를 포함한다.
본 발명에 의하면 퍼스널 컬러를 손쉽게 진단하고 자신에게 어울리는 화장품을 증강현실로 시현 후 실시간으로 손쉽게 구매할 수 있다. 퍼스널 컬러 진단을 저렴한 비용으로 할 수 있고, 진단 결과를 실시간으로 확인할 수 있다.
도 1은 본 발명의 일실시예에 따른 머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 방법을 설명하는 흐름도이다.
도 2는 본 발명의 일실시예에 따른 머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 시스템을 설명하는 블록도이다.
도 3과 도 4는 본 발명의 일실시예에 따른 증강현실 컨텐츠 생성 방법을 설명하는 예시도이다.
도 5 내지 도 7은 본 발명의 일실시예에 따른 머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 서비스를 제공하는 애플리케이션 예시도면이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 1은 본 발명의 일실시예에 따른 머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 방법을 설명하는 흐름도이다.
도 1을 참조하면, 머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 방법은 사용자단말(200)이 사용자의 성별, 나이, 선호브랜드 중 적어도 하나를 포함하는 사용자정보를 사용자로부터 입력받는다(S101). 사용자단말(200)은 사용자로부터 사용자의 얼굴을 포함하는 사용자이미지를 입력받는다(S101). 사용자단말(200)은 입력받은 사용자정보와 사용자이미지를 진단서버에 전송한다(S103).
진단서버(100)가 수신된 사용자이미지에 대해 전처리를 수행하고(S105), 진단서버(100)가 전처리된 사용자이미지를 분석하여 사용자이미지로부터 사용자의 피부톤, 사용자의 눈동자색상, 머리카락 색상 중 적어도 하나를 포함하는 분류정보를 판별한다(S107). 진단서버(100)는 OpenCV가 제공하는 haar-casacade 검출기를 통해 얼굴 부위만 추출한 후에, 얼굴에 해당하는 이미지 영역으로부터 피부톤을 추출한다. 이때, 진단서버(100)는 RGB(red, green, blue)와 HSV(hue, saturation, value)값으로 데이터를 추출할 수 있다.
진단서버(100)가 사용자단말로부터 수신된 사용자정보와 사용자이미지로부터 추출된 분류정보를 통합하여 사용자데이터를 저장하고, 진단서버(100)가 퍼스널컬러예측모델에 따라 사용자데이터에서 퍼스널컬러를 진단한다(S111).
진단서버(100)는 저장부에 저장된 피부톤-립스틱컬러 테이블에 기초하여 립스틱 컬러를 추천할 수 있다. 저장부에서 사용자로부터 검출한 피부톤에 가장 가까운 n개의 데이터를 찾는다. 이때, 색상 간 유사도는 RGB로 나타낸 색상 코드 간의 Euclidean distance로 측정한다. 이후에 가장 가까운 n개의 데이터에 짝지어진 k개의 립스틱 컬러(RGB로 표현) 분포를 살피고, 가장 흔한 5가지 색상을 추출한다. 이후에 퍼스널 컬러 추천 톤은 사계절, 해당 계절 별로 세 가지씩 총 12개의 타입이 정해져 있으며, 사용자의 피부톤에 어울린다고 정리된 립스틱 컬러 중, 추천하는 색상들과 가장 유사한 5개의 립스틱 컬러를 선택하여 이를 추천할 수 있다.
진단서버(100)가 도출된 퍼스널컬러에 기초하여 사용자에게 추천할 추천화장품리스트를 생성하고(S113), 사용자단말에 추천화장품리스트를 송신한다(S115).
사용자단말(200)에서 사용자가 화장품을 선택하면(S117), 사용자단말(200)은 선택된 화장품을 진단서버(100)에 송신한다(S119). 진단서버(100)는 수신된 화장품과 사용자이미지를 합성하여 증강현실 컨텐츠를 생성한다(S121).
추천된 립스틱 컬러를 사용자의 카메라 입력 영상에 실시간으로 적용시켜 증강현실 컨텐츠를 생성할 수 있다. 상기 증강현실 컨텐츠는 실시간 시착 영상 확인 및 자연스러운 질감 표현을 구현할 수 있다.
진단서버(100)는 증강현실 컨텐츠를 사용자단말(200)에 제공하고(S123), 진단서버(100)는 선택된 화장품 데이터를 이용하여 학습을 수행한다(S125).
도 2는 본 발명의 일실시예에 따른 머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 시스템을 설명하는 블록도이다.
도 2를 참조하면, 머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 시스템(10)은 진단서버(100)와 사용자단말(200)로 구성된다. 진단서버(100)는 수신부(110), 전처리부(120), 판별부(130), 진단부(140), 추천부(150), 증강현실부(160), 학습부(170), 저장부(180), 제어부(190)로 구성된다.
수신부(110)는 사용자단말(200)로부터 사용자정보와 사용자이미지를 수신한다. 수신부(110)는 수신된 사용자이미지를 전처리부(120)에 전달한다. 수신부(110)는 사용자단말(200)로부터 사용자가 선택한 화장품을 수신한다.
전처리부(120)는 사용자이미지를 전처리를 수행한다. 전처리부(120)는 hear-cascade 검출기를 통해 얼굴 부위만 추출할 수 있다.
판별부(130)는 얼굴에 해당하는 이미지 영역으로부터 사용자의 피부톤, 사용자의 눈동자색상, 머리카락 색상 중 적어도 하나를 포함하는 분류정보를 판별한다. 판별부(130)는 RGB(red, green, blue)와 HSV(hue, saturation, value)값으로 데이터를 추출할 수 있다.
진단부(140)는 사용자단말로부터 수신된 사용자정보와 사용자이미지로부터 추출된 분류정보를 통합하여 사용자데이터를 저장부에 저장할 수 있다.
진단부(140)는 저장부에 이미 학습되어 저장된 퍼스널컬러예측모델에 따라 사용자데이터에서 사용자의 고유의 퍼스널 컬러를 진단할 수 있다.
추천부(150)는 저장부에 저장된 피부톤-립스틱컬러 테이블에 기초하여 립스틱 컬러를 추천할 수 있다. 추천부(150)는 데이터 기반 접근법(data-driven approach)을 사용하여 판별부에서 판별된 피부톤을 바탕으로 사용자에게 가장 적합한 화장품을 추천할 수 있다. 본 발명은 화장품 시착의 표준이 될 수 있는 상황의 여러 출처로부터 화장품 착용 사진을 수합하고, 이를 바탕으로 사용자에게 가장 적합한 색상의 화장품을 추천하는 접근을 취하고 있다. 데이터를 수합하기 위해 화장품 회사, 각종 패션 잡지, 연예인 화보 등의 출처로부터 '피부톤-립스틱 색' 두 개의 정보를 짝으로 수합하여 데이터베이스를 구축하였다. 본 발명에서는 화장품 중 립스틱을 예시적으로 설명하고 있으나 이에 대해 한정하는 것은 아니다.
추천부(150)는 저장부에서 사용자로부터 검출한 피부톤에 가장 가까운 n개의 데이터를 찾는다. 이때, 색상 간 유사도는 RGB로 나타낸 색상 코드 간의 Euclidean distance로 측정한다. 이후에 가장 가까운 n개의 데이터에 짝지어진 k개의 립스틱 컬러(RGB로 표현) 분포를 살피고, 가장 흔한 5가지 색상을 추출한다. 이후에 퍼스널 컬러 추천 톤은 사계절, 해당 계절 별로 세 가지씩 총 12개의 타입이 정해져 있으며, 사용자의 피부톤에 어울린다고 정리된 립스틱 컬러 중, 추천하는 색상들과 가장 유사한 5개의 립스틱 컬러를 선택하여 이를 추천할 수 있다.
증강현실부(160)는 사용자단말로부터 수신된 화장품과 사용자이미지를 합성하여 증강현실 컨텐츠를 생성할 수 있다.
학습부(170)는 퍼스널컬러예측모델이 학습되도록 모듈을 구성할 수 있고, 선택된 화장품 데이터를 이용하여 재학습이 수행될 수 있다. 또한, 피부톤-립스틱컬러 테이블을 편집할 수 있다. 본 발명은 이러한 재학습 프로세스를 통해 트렌드가 변하더라도 사용자 데이터를 통해 트렌드를 분석하고 반영할 수 있다.
저장부(180)는 피부톤-립스틱컬러 테이블가 저장될 수 있다.
제어부(190)는 진단서버의 각 구성을 제어할 수 있다.
도 3과 도 4는 본 발명의 일실시예에 따른 증강현실 컨텐츠 생성 방법을 설명하는 예시도이다.
도 3은 이미지 합성 과정을 설명하는 도면이고, 도 4는 립 제품이 합성된 사용자 사진을 설명하는 도면이다.
도 5 내지 도 7은 본 발명의 일실시예에 따른 머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 서비스를 제공하는 애플리케이션 예시도면이다.
도 5는 전용 애플리케이션의 기본 정보 입력 화면, 사진 선택 화면을 나타낸다. 퍼스널 컬러 분석에 영향을 끼치는 성별과 생년월일에 관한 기본정보를 '기본 정보 입력'창에서 입력한다. 퍼스널 컬러 분석을 위하여 사진 3장을 등록할 수 있다. 사진과 기본정보는 언제든 수정가능하다.
도 6은 애플리케이션에서 진단 결과 화면과 컬러 시현 화면을 나타낸다. 진단 완료 후 '진단 결과' 화면을 통해서 본인의 퍼스널 컬러에 대한 정보를 제공한다. '컬러 시현하기' 버튼을 통해 추천되는 상품을 곧 바로 시현하는 '컬러 시현'화면으로 넘어 갈 수 있다. 시현을 원하지 않고 상품을 원할 시 '추천 상품 보기'버튼을 통해서 '스토어'로 바로 넘어 갈 수 있다.
도 7은 애플리케이션에서 진단 검사 내역 화면을 나타낸다. 진단 검사 내역화면을 통해서 사용자는 과거의 진단 기록을 확인할 수 있다. 월별로 검사기록과 추천된 상품이 나타나 있으며 각 기록을 클릭시 세부내용을 확인 할 수 있다.
발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10; 퍼스널 컬러 진단시스템 100; 진단서버
110; 수신부 120; 전처리부
130; 판별부 140; 진단부
150; 추천부 160; 증강현실부
170; 학습부 180; 저장부
190; 제어부 200; 사용자단말

Claims (3)

  1. 머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 방법에 있어서,
    (a) 사용자단말이 사용자의 성별, 나이, 선호브랜드 중 적어도 하나를 포함하는 사용자정보를 사용자로부터 입력받고, 사용자로부터 사용자의 얼굴을 포함하는 사용자이미지를 입력받고, 입력받은 사용자정보와 사용자이미지를 진단서버에 전송하는 단계;
    (b) 진단서버가 수신된 사용자이미지에 대해 전처리를 수행하고, 전처리된 사용자이미지를 분석하여 사용자이미지로부터 사용자의 피부톤, 사용자의 눈동자색상, 머리카락 색상 중 적어도 하나를 포함하는 분류정보를 판별하는 단계;
    (c) 진단서버가 사용자단말로부터 수신된 사용자정보와 사용자이미지로부터 추출된 분류정보를 통합하여 사용자데이터를 저장하고, 진단서버가 퍼스널컬러예측모델에 따라 사용자데이터에서 퍼스널컬러를 진단하는 단계;
    (d) 진단서버가 도출된 퍼스널컬러에 기초하여 사용자에게 추천할 추천화장품리스트를 생성하고, 사용자단말에 추천화장품리스트를 송신하는 단계;
    (e) 사용자단말이 사용자로부터 선택된 화장품을 진단서버에 송신하면, 진단서버가 수신된 화장품과 사용자이미지를 합성하여 증강현실 컨텐츠를 생성하는 단계를 포함하고,
    상기 진단서버는 haar-casacade 검출기를 통해 얼굴 부위만 추출한 후에, 얼굴에 해당하는 이미지 영역으로부터 피부톤을 추출하고, RGB(red, green, blue)와 HSV(hue, saturation, value)값으로 데이터를 추출하고,
    상기 진단서버는 저장부에 저장된 피부톤-립스틱컬러 테이블에 기초하여 립스틱 컬러를 추천하고, 저장부에서 사용자로부터 검출한 피부톤에 가장 가까운 n개의 데이터를 찾고, 색상 간 유사도는 RGB로 나타낸 색상 코드 간의 Euclidean distance로 측정하고, 이후에 가장 가까운 n개의 데이터에 짝지어진 k개의 립스틱 컬러 분포를 통해 사용자의 피부톤에 어울리는 립스틱 컬러 중 추천하는 색상들과 가장 유사한 5개의 립스틱 컬러를 선택하여 추천하는 것을 특징으로 하는 머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 방법.
  2. 삭제
  3. 제1항에 있어서,
    (f) 진단서버가 생성된 증강현실 컨텐츠를 사용자단말에 제공하고, 선택된 화장품 데이터를 이용하여 학습을 수행하는 단계를 더 포함하는 머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 방법.















KR1020200135021A 2020-10-19 2020-10-19 머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 방법 및 시스템 KR102425873B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200135021A KR102425873B1 (ko) 2020-10-19 2020-10-19 머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200135021A KR102425873B1 (ko) 2020-10-19 2020-10-19 머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20220051516A KR20220051516A (ko) 2022-04-26
KR102425873B1 true KR102425873B1 (ko) 2022-07-27

Family

ID=81391347

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200135021A KR102425873B1 (ko) 2020-10-19 2020-10-19 머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102425873B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102114273B1 (ko) * 2019-11-04 2020-05-22 김미현 퍼스널 이미지 진단 제공방법 및 이를 수행하기 위한 컴퓨팅 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102010988B1 (ko) * 2017-10-26 2019-08-14 김양지 퍼스널 컬러 진단 장치 및 그 방법
KR20190136483A (ko) * 2018-05-31 2019-12-10 (주)라온스퀘어 뷰티 콘텐츠 제공방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102114273B1 (ko) * 2019-11-04 2020-05-22 김미현 퍼스널 이미지 진단 제공방법 및 이를 수행하기 위한 컴퓨팅 장치

Also Published As

Publication number Publication date
KR20220051516A (ko) 2022-04-26

Similar Documents

Publication Publication Date Title
US8094186B2 (en) Skin condition diagnosis system and beauty counseling system
KR102339915B1 (ko) 셀피를 촬영하도록 사용자를 안내하기 위한 시스템 및 방법
JP4761924B2 (ja) 肌状態診断システムおよび美容のためのカウンセリングシステム
KR101140533B1 (ko) 이미지로부터 추정된 피부색에 기초해서 제품을 추천하는 컴퓨터 구현된 방법
TWI452998B (zh) System and method for establishing and analyzing skin parameters using digital image multi-area analysis
JP2006048729A (ja) 身体における表像的特徴の度合いの測定方法
US11978242B2 (en) Systems and methods for improved facial attribute classification and use thereof
EP1346662B1 (en) Mascara selecting method, mascara selecting system, and mascara counseling tool
US11010894B1 (en) Deriving a skin profile from an image
WO2017115453A1 (ja) メイクアップシミュレーション支援装置、メイクアップシミュレーション支援方法およびメイクアップシミュレーション支援プログラム
CN109934092A (zh) 识别色号方法、装置、计算机设备及存储介质
US20200286152A1 (en) Method for computer-assisted determination of a cosmetic product
CA3199439A1 (en) Digital imaging and learning systems and methods for analyzing pixel data of an image of a hair region of a user's head to generate one or more user-specific recommendations
KR100767133B1 (ko) 메이크업 칼라 이미지 분류법 및 메이크업 칼라 이미지 맵
JP5035524B2 (ja) 顔画像の合成方法及び合成装置
WO2021261881A1 (ko) 텍스타일 디자인 3d 모델링 장치 및 방법
KR102425873B1 (ko) 머신러닝 및 증강현실 기반의 퍼스널 컬러 진단 방법 및 시스템
JP5782540B2 (ja) 美容カウンセリング方法
KR20200107488A (ko) 가상화장 합성 처리 방법
JP3691427B2 (ja) ファンデーションの選択・推奨方法およびそれに用いる装置
KR102465453B1 (ko) 가상화장 합성 처리 인공지능 장치 및 방법
Rajan Virtual dressing room with web deployment
KR102090370B1 (ko) 색채심리 기반 퍼스널 컬러 코칭 시스템
WO2023194466A1 (en) Method for recommending cosmetic products using a knn algorithm
KR20200107486A (ko) 가상화장 합성 처리 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant