KR102184177B1 - 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천하는 장치 및 방법 - Google Patents

사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천하는 장치 및 방법 Download PDF

Info

Publication number
KR102184177B1
KR102184177B1 KR1020200029838A KR20200029838A KR102184177B1 KR 102184177 B1 KR102184177 B1 KR 102184177B1 KR 1020200029838 A KR1020200029838 A KR 1020200029838A KR 20200029838 A KR20200029838 A KR 20200029838A KR 102184177 B1 KR102184177 B1 KR 102184177B1
Authority
KR
South Korea
Prior art keywords
user
cosmetics
face
terminal
cosmetic
Prior art date
Application number
KR1020200029838A
Other languages
English (en)
Inventor
조성만
김경도
송교혁
한동인
Original Assignee
주식회사 만컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만컴퍼니 filed Critical 주식회사 만컴퍼니
Priority to KR1020200029838A priority Critical patent/KR102184177B1/ko
Application granted granted Critical
Publication of KR102184177B1 publication Critical patent/KR102184177B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Software Systems (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Oral & Maxillofacial Surgery (AREA)

Abstract

본 발명에서는 사용자의 단말에 포함된 접사 카메라를 이용하여 촬영된 사용자의 얼굴 이미지를 획득하는 단계, 제 1 인공지능 모델을 이용하여, 사용자의 얼굴 이미지를 복수의 영역으로 나누고, 각각에 대한 얼굴 상태 정보를 생성하는 단계, 사용자가 원하는 피부 개선 목적을 획득하는 단계, 제 2 인공지능 모델을 이용하여, 얼굴 상태 정보 및 피부 개선 목적으로부터 현재 사용자에게 필요한 추천 화장품을 결정하는 단계, 및 사용자의 선호도에 기초하여 추천 화장품의 우선 순위를 결정하고, 결정된 우선 순위에 따른 추천 화장품을 사용자의 단말로 제공하는 단계를 포함하는, 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천하는 방법을 제공할 수 있다.

Description

사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천하는 장치 및 방법{Apparatus and method for recommending cosmetics by analyzing a face image acquired using a user's mobile device}
본 발명은 사용자의 단말에 포함된 카메라, 특히 접사렌즈를 이용하여 촬영된 사용자의 얼굴 이미지를 분석하여 사용자 맞춤형 화장품을 추천해주는 장치 및 그 방법에 관한 것이다.
피부 미용에 대한 관심이 높아짐에 따라 다양한 화장품 및 미용 기기가 등장하고 있다. 특히, 사용자의 얼굴 피부를 촬영하여 사용자 얼굴에 있는 다양한 피부 트러블(예를 들어, 주름, 모공 및 여드름 등) 등을 분석하는 포터블 피부 상태 측정 장치가 개발되고 있다.
종래의 피부 분석을 위한 피부 상태 측정 장치는 사용자 얼굴이 피부 상태 측정 장치에 넣어진 상태에서 기 설정된 촬영 파라미터(예를 들어, 광원의 세기, 방향, 조리개 값 또는 셔터 스피드 등)을 바탕으로 사용자 얼굴을 촬영하였다. 그러나, 종래의 피부 상태 측정 장치는, 휴대와 소지가 불편하였고, 사용자가 원하는 시간 및 장소에서 피부 상태를 측정하는 것이 곤란하다는 점이 있었으며, 가격도 일반 소비자가 구매하기 어려운 수준이었다.
한편, 피부 측정 장치로써, 휴대와 소지가 가능한 포터블 피부 상태 측정 장치가 개발되고 있으나, 피부의 특정 면적을 측정할 수 있는 기기에 제한적으로 기술 개발이 이루어진 상태이고, 사용자 얼굴 전체를 분석하기 위한 기술 및 피부 상태 측정을 위한 명확한 사용자 얼굴 영상의 획득 기술에는 여전히 기술적으로 해결해야 되는 문제가 있다.
또한, 항상 피부 측정 장치를 소지할 수 없어 사용자가 원하는 시간 및 장소에서 피부를 측정하고, 그에 따른 화장품을 선택하는 문제를 해결할 수 없다.
특허공개공보 제 10-2012-0069823호 (2012.06.29 공개) 특허공개공보 제 10-2018-001739호 (2018.01.05 공개)
본 발명은 사용자의 단말에 포함된 접사 카메라로부터 사용자의 얼굴 영상을 획득하고, 얼굴 영역의 피부 특성에 따라 사용자의 피부 상태를 분석하고, 화장품을 추천해주는 장치 및 방법을 제공한다.
제 1 실시예에 의하여, 사용자의 단말에 포함된 접사 카메라를 이용하여 촬영된 사용자의 얼굴 이미지를 획득하는 단계, 제 1 인공지능 모델을 이용하여, 사용자의 얼굴 이미지를 복수의 영역으로 나누고, 각각에 대한 얼굴 상태 정보를 생성하는 단계, 사용자가 원하는 피부 개선 목적을 획득하는 단계, 제 2 인공지능 모델을 이용하여, 얼굴 상태 정보 및 피부 개선 목적으로부터 현재 사용자에게 필요한 추천 화장품을 결정하는 단계, 및 사용자의 선호도에 기초하여 추천 화장품의 우선 순위를 결정하고, 결정된 우선 순위에 따른 추천 화장품을 사용자의 단말로 제공하는 단계를 포함하는, 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천하는 방법을 제공할 수 있다.
제 2 실시예에 의하여, 접사 기능을 수행할 수 있는 카메라 모듈, 프로세서, 및 프로세서에 의해 실행 가능한 명령어들을 저장하는 메모리를 포함하고, 프로세서는 명령어들을 실행함으로써, 사용자의 단말에 포함된 접사 카메라를 이용하여 촬영된 사용자의 얼굴 이미지를 획득하고, 제 1 인공지능 모델을 이용하여, 사용자의 얼굴 이미지를 복수의 영역으로 나누고, 각각에 대한 얼굴 상태 정보를 생성하고, 사용자가 원하는 피부 개선 목적을 획득하고, 제 2 인공지능 모델을 이용하여, 얼굴 상태 정보 및 피부 개선 목적으로부터 현재 사용자에게 필요한 추천 화장품을 결정하고, 사용자의 선호도에 기초하여 추천 화장품의 우선 순위를 결정하고, 결정된 우선 순위에 따른 추천 화장품을 사용자의 단말로 제공하는, 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천하는 장치를 제공할 수 있다.
제 3 실시예에 의하여, 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천해주는 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 제공할 수 있다.
본 발명에서 제공하는 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천 방법에 따르면, 다른 피부 측정 장치 없이도 사용자가 원하는 시간 및 장소에서 피부 상태를 측정하고, 그에 따른 화장품을 추천받을 수 있다.
또한, 얼굴 상태의 개선을 위한 사용자의 목표를 반영하여 화장품을 추천함으로써, 본 발명을 사용하는 사용자가 현재 상태가 사용자의 목표에 가까워지도록 도와줄 수 있다.
또한, 인공지능 모델을 이용하여 사용자의 얼굴 상태를 정확하게 분석하고 또 다른 인공지능 모델을 이용하여 사용자의 상태 및 목표에 기반한 화장품을 추천해줌으로써 신뢰도 높은 효과를 얻을 수 있다.
또한, 사용자가 기존에 가지고 있는 화장품을 활용하면서, 기존에 가진 화장품의 효과를 향상시켜주는 새로운 화장품을 추천함으로써 화장품을 경제적으로 관리할 수 있게 해준다.
일 개시에 의하여 본 발명은 사용자의 니즈에도 부합하면서, 사용자의 피부 상태에 필요한 화장품에 대한 즉시 구매 링크를 제공함으로써, 사용자에게는 화장품을 쉽게 구입할 수 있는 편의성을 제공하며, 판매자에게는 광고효과를 제공할 수 있다.
일 개시에 의하여 본 발명은 추천한 화장품을 사용한 사용자의 이미지를 지속적으로 분석하여 화장품의 사용 효과를 추적할 수 있다. 그에 따라, 사용자의 신뢰도를 증가시킬 수 있으며, 사용자의 피부 변화에 따라 새로운 정보를 제공할 수 있다.
도 1은 일 실시예에 따른 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천해주는 방법을 개략적으로 설명하기 위한 도면이다.
도 2는 일 개시에 의한 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천해주는 방법을 설명하기 위한 흐름도이다.
도 3은 일 개시에 의하여 사용자의 선택에 따라 얼굴의 특정 영역의 이미지를 획득하기 위해 촬영 가이드 라인을 제공하는 특징을 설명하는 도면이다.
도 4는 일 개시에 의한 제 1 인공지능 모델을 학습하는 과정을 설명하는 도면이다.
도 5는 일 개시에 의한 제 2 인공지능 모델을 학습하는 과정을 설명하는 도면이다.
도 6은 일 개시에 의한 사용자가 사용하고 있는 화장품에 대한 이미지를 획득하여, 화장품에 대한 정보를 획득하는 특징을 설명하기 위한 도면이다.
도 7은 일 개시에 의한 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천해주는 장치의 구성을 나타내는 도면이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "수단", "부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서, 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천하는 장치(100)는 화장품 추천 장치(100)로 축약하여 설명하도록 한다.
일 개시에 의하여 화장품 추천 장치(100)는 접사 렌즈를 이용하여 사용자의 얼굴 이미지를 획득하고, 인공지능 학습 모델을 이용하여 사용자의 얼굴 이미지를 분석하고, 또 다른 인공지능 학습 모델을 이용하여 사용자에게 화장품을 추천할 수 있다.
이하에서 상세하게 설명하도록 한다.
도 1은 일 실시예에 따른 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천해주는 방법을 개략적으로 설명하기 위한 도면이다.
일 개시에 의하여 화장품 추천 장치(100)는 사용자의 단말에 포함된 카메라 모듈(1300)을 이용하여 사용자의 얼굴 이미지를 획득할 수 있다. 일 개시에 의하여 카메라 모듈(1300)은 접사가 가능한 렌즈를 포함할 수 있다. 또는 일 개시에 의하여 화장품 추천 장치(100)는 접사 기능을 제공하는 카메라 어플리케이션을 이용하여 사용자의 얼굴 이미지를 획득할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 사용자의 얼굴 이미지로부터 사용자의 현재 피부 상태를 진단할 수 있다. 일 개시에 의하여 화장품 추천 장치(100)는 현재 사용자 피부의 문제점을 분석할 수 있다. 또한, 일 개시에 의하여 화장품 추천 장치(100)는 사용자의 이미지로부터 색소침착, 모공상태, 주름 상태, 미백 여부, 피부 톤, 건조한지, 유분기가 있는 지, 피부 결 등을 판단할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 사용자의 얼굴에 맞추어 가이드 라인을 제공할 수 있으며, 사용자의 눈, 코, 입의 위치 분석을 통해 사용자의 얼굴 영역을 정확히 찾아 분석할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 사용자로부터 사용자가 개선을 원하는 피부의 개선 목적을 획득할 수 있다. 예를 들어, 사용자가 미백을 우선시하는 경우, 피부 개선 목적을 미백으로 설정할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 설정된 피부 개선 목적에 기반하여 사용자의 현재 상태에 맞는 화장품을 추천할 수 있다. 일 개시에 의하여 화장품 추천 장치(100)는 피부 개선 목적에 따라, 또는 현재 사용자 피부에 발생한 트러블(문제점)의 심각도에 따라 우선순위를 조정하여 화장품을 추천할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 추천된 화장품을 선택하는 사용자 입력(101)을 수신함에 따라, 추천된 화장품에 대한 정보, 추천 이유, 추천 기준, 화장품 사용방법 등에 대한 정보를 제공할 수 있다.
도 2는 일 개시에 의한 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천해주는 방법을 설명하기 위한 흐름도이다.
일 개시에 의하여 블록 201에서 화장품 추천 장치(100)는 사용자의 단말에 포함된 접사 카메라를 이용하여 촬영된 사용자의 얼굴 이미지를 획득할 수 있다.
일 개시에 의하여, 카메라 모듈은 접사 기능을 구현하는 기능성 접사 렌즈를 포함할 수 있다. 접사는 아주 가까운 거리에서 피사체를 크게 촬영하는 기술로서, 눈으로 보기 힘든 피사체 모습을 사진으로 담을 수 있어 사용자의 피부 상태를 효과적으로 확인할 수 있는 이미지를 제공할 수 있다. 일 개시에 의하여 접사 카메라는 500만 화소 접사 렌즈를 포함할 수 있다.
나아가, 화장품 추천 장치(100)는 사용자의 단말에 접사 기능이 있는 렌즈가 없는 경우, 별도 구매된 렌즈를 장착하거나, 접사 기능을 제공하는 카메라 애플리케이션을 실행함으로써 사용자의 얼굴 이미지를 획득할 수 있다.
일 개시에 의하여 블록 202에서 화장품 추천 장치(100)는 제 1 인공지능 모델을 이용하여, 사용자의 얼굴 이미지를 복수의 영역으로 나누고, 각각에 대한 얼굴 상태 정보를 생성할 수 있다. 여기서, 복수의 영역은 눈가, 이마, 볼, 입 주변, 턱, 목 등으로 얼굴의 영역을 분할한 것을 말한다. 얼굴의 각 영역은 피지 분비 상태, 햇빛 노출 차이, 근육의 움직임 등에 따라 피부의 상태가 상이하기 때문에 각 영역을 나누어서 분석하는 것은 중요하다.
얼굴 상태 정보는 예를 들어 “현재 피부 표면이 거칠고 건조하며, 햇빛에 의한 노화로 예상됩니다.” 또는 “다수의 큰 모공이 발견되었습니다. 유분이 많은 피부가 모공이 큰 경우가 많습니다” 등과 같은 문제점을 지적한 상태정보를 포함할 수 있다.
또한, 얼굴 상태 정보는 “사용자의 색소 침착 상태는 어제보다 개선되었으며, 사용자의 눈가 주름은 3개월 전보다 증가하였습니다.” 등과 같은 기본 상태 정보와 사용자의 이력에 기초한 정보를 포함할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 제 1 인공지능 모델을 이용하여 사용자의 제 1 얼굴 영역의 문제점을 진단할 수 있다.
또한, 제 1 얼굴 영역의 문제점으로부터 파생될 수 있는 다른 문제점을 분석하기 위하여, 제 1 얼굴 영역에 인접한 다른 얼굴 영역의 이미지를 요청할 수 있다. 예를 들어, 눈가 주변에서 크기가 큰 여드름이 발견되는 경우, 이마 및 볼에서도 여드름이 생겼을 가능성이 크다. 따라서, 다른 얼굴 영역의 이미지를 이용하여 전체 얼굴의 상태를 판단할 수 있다.
일 개시에 의하여, 다른 얼굴 영역을 제외한 나머지 얼굴 영역의 음영을 어둡게 표시한 얼굴 촬영 가이드 화면을 사용자의 단말로 제공함으로써, 다른 얼굴 영역에 대한 이미지를 획득할 수 있다.
일 개시에 의하여 블록 203에서 화장품 추천 장치(100)는 사용자가 원하는 피부 개선 목적을 획득할 수 있다.
일 개시에 의하여, 피부 개선 목적은 추천 화장품을 결정하기 위한 지표가 되는 정보이며, 색소 침착 개선, 여드름 완화, 모공 개선, 주름 개선, 탄력 개선, 수분 개선 및 피부 톤 개선을 포함할 수 있다. 나아가 여기 포함되지 않은 목적이 사용자에 의하여 설정될 수 있다.
일 개시에 의하여 블록 204에서 화장품 추천 장치(100)는 제 2 인공지능 모델을 이용하여, 얼굴 상태 정보 및 피부 개선 목적으로부터 현재 사용자에게 필요한 추천 화장품을 결정할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 피부 개선 목적 중 적어도 하나를 선택하는 사용자 입력에 기초하여, 사용자의 얼굴 영역 별로 적어도 하나의 화장품을 추천할 수 있다.
일 개시에 의하여 블록 205에서 화장품 추천 장치(100)는 사용자의 선호도에 기초하여 추천 화장품의 우선 순위를 결정하고, 결정된 우선 순위에 따른 추천 화장품을 사용자의 단말로 제공할 수 있다.
일 개시에 의하여 사용자의 선호도는, 화장품의 가격, 화장품 브랜드, 화장품의 구입 가능 여부, 기 보유한 화장품의 활용, 알레르기 반응, 화장품 성분 중 적어도 하나를 선택한 사용자 입력에 기초하여 결정될 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 사용자의 선호도를 이용하여 제 2 인공지능 모델에 의하여 추천된 복수개의 화장품의 우선 순위를 결정한 제 1 추천 목록을 생성할 수 있다. 즉, 제 1 추천 목록은 사용자가 원하는 목적에 가까운 피부 개선을 위한 화장품을 우선적으로 포함한다.
일 개시에 의하여 화장품 추천 장치(100)는 사용자의 선호도를 반영하지 않고, 추천된 복수개의 화장품의 우선 순위를 결정한 제 2 추천 목록을 생성할 수 있다. 즉, 사용자의 선호도와 관계없이 사용자의 현재 피부 상태의 객관적 정보만을 이용하여 추천된 화장품들을 포함한다.
일 개시에 의하여 화장품 추천 장치(100)는 제 1 추천 목록 및 제 2 추천 목록을 사용자의 단말로 제공하고, 제 1 추천 목록 및 제 2 추천 목록에 모두 포함된 추천 화장품의 구매 링크를 제공할 수 있다. 즉, 사용자의 니즈에도 부합하면서, 사용자의 피부 상태에 필요한 화장품에 대한 즉시 구매 링크를 제공함으로써, 사용자에게는 화장품을 쉽게 구입할 수 있는 편의성을 제공하며, 판매자에게는 광고효과를 제공할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 추천 화장품을 결정하기 위하여, 사용자의 얼굴 상태의 문제점의 심각도를 결정하고, 제 2 인공지능 모델을 이용하여 얼굴 상태 정보에 따른 복수의 화장품을 결정할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 심각도가 임계치 이상인 경우, 문제점을 개선하기 위한 화장품을 제 1 우선 순위로 결정하고, 피부 개선 목적을 위한 화장품을 제 2 우선 순위로 결정할 수 있다.
여기서 심각도는 사용자가 설정한 피부 개선 목적과 별개로, 개선이 시급한 피부 문제가 발생한 경우를 나타낸다. 심각도는 피부 문제점에 대한 피부과의 지침에 따라 임의로 설정될 수 있다. 또한 심각도는 사용자의 그동안의 평균 피부 상태에 기초하여 평균 피부 상태에서 나타나지 않았던 문제점이 발생한 경우 높게 판단된다. 또한, 심각도의 임계치는 사용자에 의하여 정해질 수 있다. 심각도는 피부 문제에 따라 다르게 설정될 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 심각도가 임계치 이하인 경우, 피부 개선 목적을 위한 화장품을 제 1 우선 순위로 결정하고, 문제점을 개선하기 위한 화장품을 제 2 우선 순위로 결정할 수 있다.
또한, 일 개시에 의하여 화장품 추천 장치(100)는 결정된 제 1 우선 순위 및 제 2 우선 순위의 화장품의 사용 시기, 사용량 및 사용방법을 포함하는 추천 화장품 정보를 생성할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 추천된 화장품 정보를 사용자 단말에 표시할 수 있다. 또한, 추천된 화장품 정보를 사용자의 다른 계정, 다른 단말로 전송할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 획득한 사용자의 얼굴 이미지를 시계열적 순서에 따라 분석하여, 시간에 따른 사용자 피부 상태를 진단할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 얼굴 이미지 중 제 3 얼굴 영역을 선택하는 사용자 입력을 수신함에 따라, 제 3 얼굴 영역의 상태 변화 정보를 표시할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 제 3 얼굴 영역에 추천된 화장품의 사용 유무에 대한 사용자 입력을 수신함에 따라, 추천된 화장품의 사용이 제 3 얼굴 영역에 미치는 영향을 분석한 화장품 사용 이력 정보를 생성할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 화장품 사용 이력 정보에 기초하여, 새로운 화장품을 추천할 수 있다.
즉, 일 개시에 의하여 화장품 추천 장치(100)는 추천한 화장품의 효과를 추적함으로써, 사용자의 신뢰도를 증가시킬 수 있으며, 사용자의 피부 변화에 따라 새로운 정보를 제공할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 사용자의 단말로 사용자의 현재 스트레스 상태, 사용자의 마음 상태, 사용자의 수면 상태, 사용자가 사용하는 화장품, 생리 주기 및 현재 피부 상태에 대한 질문들을 제공할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 사용자의 얼굴 이미지와 질문들에 대한 답변들을 매핑하여 얼굴 로그를 생성할 수 있다. 얼굴 로그는 시계열적으로 획득한 모든 사용자 얼굴 이미지와 그 당시의 피부 상태에 대한 정보를 포함하고 있다.
일 개시에 의하여 화장품 추천 장치(100)는 피부 개선 목적의 도달점을 만점으로 수치화한 것을 기준으로 얼굴 로그의 점수를 결정할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 정해진 주기에 따라 얼굴 로그의 점수를 분석하여, 피부 개선 목적에 도달하였는 지 여부를 분석한 얼굴 로그 분석 정보를 사용자의 단말로 제공할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 사용자로부터 추천 화장품을 사용하고 있다는 응답을 수신함에 따라, 사용자가 설정한 시간에 추천 화장품의 사용법을 제공할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 추천 화장품을 사용한 사용자의 후기를 획득할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 사용자의 후기에 기초하여, 다른 화장품의 추가적 사용 여부에 대한 정보, 화장품 사용법의 변경 정보 및 새로운 추천 화장품에 대한 정보를 제공할 수 있다.
도 3은 일 개시에 의하여 사용자의 선택에 따라 얼굴의 특정 영역의 이미지를 획득하기 위해 촬영 가이드 라인을 제공하는 특징을 설명하는 도면이다.
일 개시에 의하여 화장품 추천 장치(100)는 사용자의 눈, 코, 입의 위치를 자동으로 인식하여 사용자 맞춤형으로 설정된 얼굴 촬영 가이드 화면을 제공할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 사용자로부터 분석을 원하는 얼굴 영역을 중 어느 하나를 선택하는 사용자 입력을 수신할 수 있다. 예를 들어, 사용자로부터 이마 영역을 선택하는 입력(301)을 수신할 수 있다.
이 때, 일 개시에 의하여 화장품 추천 장치(100)는 사용자가 기 입력한 피부 개선 목적을 반영하여 사용자가 설정한 이마 영역에 대한 피부 상태를 진단할 것임을 알리는 메시지(302)를 표시할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 접사 카메라를 실행하면서, 선택된 얼굴 영역을 제외한 나머지 영역의 음영을 어둡게 표시한 얼굴 촬영 가이드 화면을 사용자의 단말에 제공할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 이마 영역(303)만을 밝게 표시하고, 나머지를 어둡게 표시한 얼굴 촬영 가이드 화면을 사용자의 단말에 표시할 수 있다. 다른 개시에 의하여 화장품 추천 장치(100)는 사용자가 이마 영역(303)으로 카메라를 가져간 경우, 이마 영역(303)에 대한 접사 사진만을 획득하여 보다 선명한 이마 영역(303)에 대한 이미지를 획득할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 얼굴 촬영 가이드 화면에 맞추어 사용자의 얼굴이 위치한 상태로 기 정해진 시간이 경과하면 자동으로 접사 촬영을 실행하여 사용자의 얼굴 영역에 대한 이미지를 획득할 수 있다. 예를 들어, 얼굴 촬영 가이드 화면의 정확한 위치에서 사용자의 얼굴이 감지된다면, 정해진 시간(예를 들어 1초)이 경과한 후에 자동으로 이미지가 촬영되도록 함으로써, 사용자가 움직이지 않은 상태에서 정확한 사용자의 이미지를 획득할 수 있다.
도 4는 일 개시에 의한 제 1 인공지능 모델을 학습하는 과정을 설명하는 도면이다.
제 1 인공지능 모델은 복수의 얼굴 이미지로부터 획득한 피부 상태 정보와 얼굴 영역 각각에서 발생가능한 피부 문제점에 대한 연관성을 학습한 인공지능 모델이다. 나아가, 제 1 인공지능 모델은 피부 상태 정보, 사용자 나이 정보, 주변 환경 정보, 피부 문제점 정보, 얼굴 영역 별 특징 및 주변 환경 정보를 이용하여 사용자 얼굴 영역의 상태 정보를 도출하기 위하여 학습된 모델일 수 있다.
또한, 얼굴 상태 정보를 생성하는 경우, 현재 획득한 사용자의 제 2 얼굴 영역의 이미지와 함께, 기 저장된 사용자의 적어도 하나의 제 2 얼굴 영역의 이미지를 이용하여 제 2 얼굴 영역의 상태 정보를 생성할 수 있다.
즉, 현재의 얼굴 영역의 상태와 기존에 촬영하여 저장했던 동일 영역의 상태 정보를 이용하여 시계열적 정보를 포함하는 얼굴 영역의 상태 정보를 생성할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 제 1 인공지능 모델을 이용하여 사용자의 제 1 얼굴 영역의 문제점을 진단할 수 있다.
또한, 제 1 얼굴 영역의 문제점으로부터 파생될 수 있는 다른 문제점을 분석하기 위하여, 제 1 얼굴 영역에 인접한 다른 얼굴 영역의 이미지를 요청할 수 있다. 예를 들어, 눈가 주변에서 크기가 큰 여드름이 발견되는 경우, 이마 및 볼에서도 여드름이 생겼을 가능성이 크다. 따라서, 다른 얼굴 영역의 이미지를 이용하여 전체 얼굴의 상태를 판단할 수 있다.
일 개시에 의하여, 다른 얼굴 영역을 제외한 나머지 얼굴 영역의 음영을 어둡게 표시한 얼굴 촬영 가이드 화면을 사용자의 단말로 제공함으로써, 다른 얼굴 영역에 대한 이미지를 획득할 수 있다.
도 5는 일 개시에 의한 제 2 인공지능 모델을 학습하는 과정을 설명하는 도면이다.
일 개시에 의하여 제 2 인공지능 모델은 복수의 사용자의 얼굴 상태 정보 및 복수의 피부 개선 목적의 연관성을 학습하여 얼굴 상태 정보에 적합한 화장품을 추천하도록 학습된 것일 수 있다.
나아가, 제 2 인공지능 모델은 복수의 얼굴 상태 정보, 피부 개선 목적, 화장품 정보, 알레르기 정보, 사용자 후기 등에 기초하여 얼굴의 피부 개선을 위한 복수의 화장품을 추천하기 위하여 학습된 것일 수 있다.
피부 개선의 목적은 사용자의 원하는 목적으로서, 미백, 주름개선, 건조함 개선, 피부 톤 보정, 여드름 완화 등을 포함할 수 있으며, 사용자에 의하여 개별적으로 설정될 수 있다.
도 6은 일 개시에 의한 사용자가 사용하고 있는 화장품에 대한 이미지를 획득하여, 화장품에 대한 정보를 획득하는 특징을 설명하기 위한 도면이다.
일 개시에 의하여 화장품 추천 장치(100)는 사용자로부터 사용자가 현재 소유하고 있는 적어도 하나의 화장품에 대한 정보를 획득할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 화장품에 포함된 RFID 코드, 바코드를 리딩하여 화장품에 대한 정보를 획득할 수 있다. 또는, 화장품 추천 장치(100)는 사용자 단말을 이용하여 화장품 용기를 촬영한 이미지를 분석하여, 빅데이터로부터 화장품에 대한 정보를 획득할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 화장품 촬영 화면을 사용자 단말로 제공하고, 사용자 단말로부터 화장품 이미지를 획득하는 경우 화장품의 용도, 성분, 브랜드, 가격 등에 대한 정보를 사용자 단말로 표시할 수 있다.
일 개시에 의하여 화장품 추천 장치(100)는 제 2 인공지능 모델을 이용하여, 적어도 하나의 화장품이 사용자의 얼굴 상태 정보에 적합한 화장품인지, 적합하지 않은 화장품인지를 결정할 수 있다. 일 개시에 의하여 화장품 추천 장치(100)는 현재 사용자의 피부 상태에 기초하여, 사용자가 사용하는 화장품이 적합한지, 계속 사용해도 되는지 여부를 판단할 수 있다. 따라서, 새로운 화장품만을 추천하는 것이 아닌 사용자의 화장품을 활용할 수 있는 방법을 알려줄 수 있어 뛰어난 경제적 효과가 있다.
일 개시에 의하여 화장품 추천 장치(100)는 적어도 하나의 화장품 중 사용자의 얼굴 상태에 적합한 화장품의 사용법 및 사용 용량에 대한 정보를 표시할 수 있다.
도 7은 일 개시에 의한 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천해주는 장치의 구성을 나타내는 도면이다.
일 개시에 의하여 화장품 추천 장치(100)는 카메라 모듈(1300), 하나 이상의 인스트럭션을 저장하는 메모리(1200) 및 메모리(1200)에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서(1100)를 포함할 수 있다. 일 개시에 의하여 화장품 추천 장치(100)에 포함된 프로세서(1100)는 하나 이상의 인스트럭션을 실행함으로써 본원의 방법을 수행할 수 있다.
카메라 모듈(1300)은 사용자의 얼굴의 이미지를 획득하기 위한 것으로서, 접사 기능을 수행할 수 있는 카메라 렌즈를 포함할 수 있다. 접사(Macro) 범위까지 포커싱이 가능하도록 복수개의 렌즈의 거리를 조절할 수 있는 기능이 있다면, 본원의 카메라 모듈(1300)로서 기능할 수 있다.
프로세서(1100)는, 통상적으로 화장품 추천 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1100)는, 메모리(1200)에 저장된 프로그램들을 실행함으로써, 화장품 추천 장치(100)에 포함된 다른 구성들을 전반적으로 제어할 수 있다. 또한, 프로세서(1100)는 메모리(1200)에 저장된 프로그램들을 실행함으로써, 화장품 추천 장치(100)의 기능을 수행할 수 있다. 프로세서(1100)는 적어도 하나의 프로세서를 구비할 수 있다. 프로세서(1100)는 그 기능 및 역할에 따라, 복수의 프로세서들을 포함하거나, 통합된 형태의 하나의 프로세서를 포함할 수 있다. 일 실시예에서, 프로세서(1100)는 메모리(1200)에 저장된 적어도 하나의 프로그램을 실행함으로써 알림 메시지를 제공하도록 하는 적어도 하나의 프로세서를 포함할 수 있다.
메모리(1200)는, 프로세서(1100)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 화장품 추천 장치(100)로 입력되거나 화장품 추천 장치(100)로부터 출력되는 데이터를 저장할 수도 있다.
메모리(1200)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리(1200) 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(1200)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 여기서, 복수 개의 모듈들은 하드웨어가 아닌 소프트웨어로서, 기능적으로 동작하는 모듈을 의미한다.
메모리(1200)는, 프로세서(1100)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 화장품 추천 장치(100)로 입력되는 이미지 또는 화장품 추천 장치(100)로부터 출력되는 가이드 정보를 저장할 수도 있다. 또한, 메모리(1100)는 가이드 정보의 출력 여부 판단을 위한 특정 정보를 저장할 수 있다.
메모리(1100)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(1100)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈, 터치 스크린 모듈, 알림 모듈 등으로 분류될 수 있다.
UI 모듈은, 애플리케이션 별로 화장품 추천 장치(100)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(1100)로 전달할 수 있다. 일 실시예에 따른 터치 스크린 모듈은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
알림 모듈은 화장품 추천 장치(100)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 화장품 추천 장치(100)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다.
프로세서(1100)는, 통상적으로 화장품 추천 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1100)는, 메모리(1100)에 저장된 프로그램들을 실행함으로써, 다른 모듈 들의 등을 전반적으로 제어할 수 있다. 또한, 프로세서(1100)는 메모리(1100)에 저장된 프로그램들을 실행함으로써, 화장품 추천 장치(100)의 기능을 수행할 수 있다.
일 실시예에 따른 프로세서(1100)는 데이터 학습부(1101) 및 데이터 인식부(1102)를 포함할 수 있다.
데이터 학습부(1101) 및 데이터 인식부(1102) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(1101) 및 데이터 인식부(1102) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
이 경우, 데이터 학습부(1101) 및 데이터 인식부(1102)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(1101) 및 데이터 인식부(1102) 중 하나는 전자 장치에 포함되고, 나머지 하나는 서버에 포함될 수 있다. 또한, 데이터 학습부(1101) 및 데이터 인식부(1102)는 유선 또는 무선으로 통하여, 데이터 학습부(1101)가 구축한 모델 정보를 데이터 인식부(1102)로 제공할 수도 있고, 데이터 인식부(1102)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(1101)로 제공될 수도 있다.
한편, 데이터 학습부(1101) 및 데이터 인식부(1102) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(1101) 및 데이터 인식부(1102) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
또한, 프로세서(1100)는 통신부를 이용하여 다른 장치 및 다른 서버와 통신할 수 있다. 통신부는, 화장품 추천 장치(100)가 다른 장치(미도시) 및 서버(미도시)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 다른 장치(미도시)는 화장품 추천 장치(100)와 같은 컴퓨팅 장치이거나, 센싱 장치일 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 통신부는, 근거리 통신부, 이동 통신부, 방송 수신부를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra-wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 화장품 추천 장치(100)가 방송 수신부를 포함하지 않을 수도 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (13)

  1. 사용자의 단말에 포함된 접사 카메라를 이용하여 촬영된 사용자의 얼굴 이미지를 획득하는 단계;
    제 1 인공지능 모델을 이용하여, 상기 사용자의 얼굴 이미지를 눈가, 이마, 볼, 입 주변, 턱 및 목을 포함하는 복수의 영역으로 나누고, 각각에 대한 얼굴 상태 정보를 생성하고, 상기 사용자의 제 1 얼굴 영역의 문제점을 진단하는 단계;
    상기 제 1 얼굴 영역의 문제점으로부터 파생되는 다른 문제점을 분석하기 위하여, 상기 제 1 얼굴 영역에 인접한 다른 얼굴의 영역을 제외한 나머지 얼굴 영역의 음영을 어둡게 표시한 얼굴 촬영 가이드 화면을 제공하는 단계;
    상기 사용자가 원하는 피부 개선 목적을 획득하는 단계;
    상기 피부 개선 목적의 도달점을 만점으로 수치화한 것을 기준으로, 상기 사용자의 단말로부터 제공한 복수개의 질문들에 대한 답변들과 상기 사용자의 얼굴 이미지를 매핑하여 생성된 얼굴 로그의 점수를 결정하는 단계;
    제 2 인공지능 모델을 이용하여, 상기 얼굴 로그에 포함된 얼굴 상태 정보 및 상기 피부 개선 목적으로부터 현재 사용자에게 필요한 추천 화장품을 결정하는 단계;
    상기 사용자의 선호도에 기초하여 상기 추천 화장품의 우선 순위를 결정하고, 상기 결정된 우선 순위에 따른 추천 화장품을 상기 사용자의 단말로 제공하는 단계; 및
    상기 사용자 단말로부터 화장품 용기를 촬영한 화장품 이미지를 획득하고, 상기 제 2 인공지능 모델을 이용하여 화장품 이미지에 포함된 화장품이 상기 사용자의 얼굴 상태 정보에 적합한지 여부를 판단한 정보를 제공하는 단계를 포함하고,
    상기 제 1 인공지능 모델은,
    복수의 얼굴 이미지로부터 획득한 피부 상태 정보와 얼굴 영역 각각에서 발생가능한 피부 문제점에 대한 연관성을 학습한 인공지능 모델로서,
    상기 얼굴 상태 정보를 생성하는 단계는,
    현재 획득한 상기 사용자의 제 2 얼굴 영역의 이미지와 함께, 기 저장된 상기 사용자의 적어도 하나의 제 2 얼굴 영역의 이미지를 이용하여 상기 제 2 얼굴 영역의 상태 정보를 생성하는 것을 특징으로 하는, 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천하는 방법.
  2. 제 1 항에 있어서,
    상기 사용자의 얼굴 이미지를 획득하는 단계는,
    상기 사용자로부터 분석을 원하는 얼굴 영역을 중 어느 하나를 선택하는 사용자 입력을 수신하는 단계;
    상기 접사 카메라를 실행하면서, 상기 선택된 얼굴 영역을 제외한 나머지 영역의 음영을 어둡게 표시한 얼굴 촬영 가이드 화면을 상기 사용자의 단말에 제공하는 단계; 및
    상기 얼굴 촬영 가이드 화면에 맞추어 상기 사용자의 얼굴이 위치한 상태로 기 정해진 시간이 경과하면 자동으로 접사 촬영을 실행하여 상기 사용자의 얼굴 영역에 대한 이미지를 획득하는 단계를 포함하는, 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천하는 방법.
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 사용자로부터 사용자가 현재 소유하고 있는 적어도 하나의 화장품에 대한 정보를 획득하는 단계;
    상기 제 2 인공지능 모델을 이용하여, 상기 적어도 하나의 화장품이 상기 사용자의 얼굴 상태 정보에 적합한 화장품인지, 적합하지 않은 화장품인지를 결정하는 단계; 및
    상기 적어도 하나의 화장품 중 상기 사용자의 얼굴 상태에 적합한 화장품의 사용법 및 사용 용량에 대한 정보를 표시하는 단계를 포함하는, 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천하는 방법.
  6. 제 1 항에 있어서,
    상기 제 2 인공지능 모델은,
    복수의 사용자의 얼굴 상태 정보 및 복수의 피부 개선 목적의 연관성을 학습하여 얼굴 상태 정보에 적합한 화장품을 추천하도록 학습된 것으로서,
    상기 추천 화장품을 결정하는 단계는,
    상기 사용자의 얼굴 상태의 문제점의 심각도를 결정하는 단계;
    상기 제 2 인공지능 모델을 이용하여 상기 얼굴 상태 정보에 따른 복수의 화장품을 결정하는 단계;
    상기 심각도가 임계치 이상인 경우, 상기 문제점을 개선하기 위한 화장품을 제 1 우선 순위로 결정하고, 상기 피부 개선 목적을 위한 화장품을 제 2 우선 순위로 결정하는 단계;
    상기 심각도가 임계치 이하인 경우, 상기 피부 개선 목적을 위한 화장품을 제 1 우선 순위로 결정하고, 상기 문제점을 개선하기 위한 화장품을 제 2 우선 순위로 결정하는 단계;
    상기 결정된 제 1 우선 순위 및 제 2 우선 순위의 화장품의 사용 시기, 사용량 및 사용방법을 포함하는 추천 화장품 정보를 생성하는 단계; 및
    상기 생성된 추천 화장품 정보를 상기 사용자의 단말로 제공하는 단계를 포함하는, 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천하는 방법.
  7. 제 1항이 있어서,
    상기 피부 개선 목적은,
    상기 추천 화장품을 결정하기 위한 지표가 되는 정보이며, 색소 침착 개선, 모공 개선, 여드름 완화, 각질 개선, 주름 개선, 탄력 개선, 수분 개선 및 피부 톤 개선을 포함하며,
    상기 제 2 인공지능 모델은 상기 피부 개선 목적 중 적어도 하나를 선택하는 사용자 입력에 기초하여, 상기 사용자의 얼굴 영역 별로 적어도 하나의 화장품을 추천하는 것을 특징으로 하는, 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천하는 방법.
  8. 제 1 항에 있어서,
    상기 사용자의 선호도는,
    화장품의 가격, 화장품 브랜드, 화장품의 구입 가능 여부, 기 보유한 화장품의 활용, 알레르기 반응, 화장품 성분 중 적어도 하나를 선택한 사용자 입력에 기초하여 결정되며,
    상기 추천 화장품의 우선 순위를 결정하는 단계는,
    상기 사용자의 선호도를 이용하여 상기 제 2 인공지능 모델에 의하여 추천된 복수개의 화장품의 우선 순위를 결정한 제 1 추천 목록을 생성하는 단계;
    상기 사용자의 선호도를 반영하지 않고, 상기 추천된 복수개의 화장품의 우선 순위를 결정한 제 2 추천 목록을 생성하는 단계; 및
    상기 제 1 추천 목록 및 제 2 추천 목록을 사용자의 단말로 제공하고, 상기 제 1 추천 목록 및 제 2 추천 목록에 모두 포함된 추천 화장품의 구매 링크를 제공하는 단계를 포함하는, 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천하는 방법.
  9. 제 1 항에 있어서,
    상기 획득한 사용자의 얼굴 이미지를 시계열적 순서에 따라 분석하여, 시간에 따른 사용자 피부 상태를 진단하는 단계;
    상기 얼굴 이미지 중 제 3 얼굴 영역을 선택하는 사용자 입력을 수신함에 따라, 상기 제 3 얼굴 영역의 상태 변화 정보를 표시하는 단계;
    상기 제 3 얼굴 영역에 추천된 화장품의 사용 유무에 대한 사용자 입력을 수신함에 따라, 상기 추천된 화장품의 사용이 제 3 얼굴 영역에 미치는 영향을 분석한 화장품 사용 이력 정보를 생성하는 단계; 및
    상기 화장품 사용 이력 정보에 기초하여, 새로운 화장품을 추천하는 단계를 포함하는, 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천하는 방법.
  10. 제 1 항에 있어서,
    상기 사용자의 단말로 사용자의 현재 스트레스 상태, 사용자의 마음 상태, 사용자의 수면 상태, 사용자가 사용하는 화장품, 생리 주기 및 현재 피부 상태에 대한 질문들을 제공하는 단계;
    상기 사용자의 얼굴 이미지와 상기 질문들에 대한 답변들을 매핑하여 얼굴 로그를 생성하는 단계;
    상기 피부 개선 목적의 도달점을 만점으로 수치화한 것을 기준으로 상기 얼굴 로그의 점수를 결정하는 단계; 및
    정해진 주기에 따라 상기 얼굴 로그의 점수를 분석하여, 상기 피부 개선 목적에 도달하였는 지 여부를 분석한 얼굴 로그 분석 정보를 사용자의 단말로 제공하는 단계를 포함하는, 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천하는 방법.
  11. 제 1 항에 있어서,
    상기 사용자로부터 상기 추천 화장품을 사용하고 있다는 응답을 수신함에 따라, 상기 사용자가 설정한 시간에 상기 추천 화장품의 사용법을 제공하는 단계;
    상기 추천 화장품을 사용한 사용자의 후기를 획득하는 단계; 및
    상기 사용자의 후기에 기초하여, 다른 화장품의 추가적 사용 여부에 대한 정보, 화장품 사용법의 변경 정보 및 새로운 추천 화장품에 대한 정보를 제공하는 단계를 포함하는, 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천하는 방법.
  12. 접사 기능을 수행할 수 있는 카메라 모듈;
    프로세서; 및
    상기 프로세서에 의해 실행 가능한 명령어들을 저장하는 메모리를 포함하고,
    상기 프로세서는,
    상기 명령어들을 실행함으로써,
    사용자의 단말에 포함된 접사 카메라를 이용하여 촬영된 사용자의 얼굴 이미지를 획득하고,
    제 1 인공지능 모델을 이용하여, 상기 사용자의 얼굴 이미지를 눈가, 이마, 볼, 입 주변, 턱 및 목을 포함하는 복수의 영역으로 나누고, 각각에 대한 얼굴 상태 정보를 생성하고, 상기 사용자의 제 1 얼굴 영역의 문제점을 진단하고,
    상기 제 1 얼굴 영역의 문제점으로부터 파생되는 다른 문제점을 분석하기 위하여, 상기 제 1 얼굴 영역에 인접한 다른 얼굴의 영역을 제외한 나머지 얼굴 영역의 음영을 어둡게 표시한 얼굴 촬영 가이드 화면을 제공하고,
    상기 사용자가 원하는 피부 개선 목적을 획득하고,
    상기 피부 개선 목적의 도달점을 만점으로 수치화한 것을 기준으로, 상기 사용자의 단말로부터 제공한 복수개의 질문들에 대한 답변들과 상기 사용자의 얼굴 이미지를 매핑하여 생성된 얼굴 로그의 점수를 결정하고,
    제 2 인공지능 모델을 이용하여, 상기 얼굴 로그에 포함된 얼굴 상태 정보 및 상기 피부 개선 목적으로부터 현재 사용자에게 필요한 추천 화장품을 결정하고,
    상기 사용자의 선호도에 기초하여 상기 추천 화장품의 우선 순위를 결정하고, 상기 결정된 우선 순위에 따른 추천 화장품을 상기 사용자의 단말로 제공하고,
    상기 사용자 단말로부터 화장품 용기를 촬영한 화장품 이미지를 획득하고, 상기 제 2 인공지능 모델을 이용하여 화장품 이미지에 포함된 화장품이 상기 사용자의 얼굴 상태 정보에 적합한지 여부를 판단한 정보를 제공하는, 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천하는 장치.
  13. 제 1 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020200029838A 2020-03-10 2020-03-10 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천하는 장치 및 방법 KR102184177B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200029838A KR102184177B1 (ko) 2020-03-10 2020-03-10 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200029838A KR102184177B1 (ko) 2020-03-10 2020-03-10 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102184177B1 true KR102184177B1 (ko) 2020-11-27

Family

ID=73641539

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200029838A KR102184177B1 (ko) 2020-03-10 2020-03-10 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102184177B1 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096049A (zh) * 2021-04-26 2021-07-09 北京京东拓先科技有限公司 一种图片处理方案的推荐方法和装置
KR102282321B1 (ko) * 2021-03-12 2021-07-26 송호빈 천연물질 유래 타나카 성분을 함유하여 냉각과 자외선 블록 효능이 향상되고 기미와 주름을 개선하는 선크림과 이를 제조하는 방법
KR102292629B1 (ko) * 2021-01-15 2021-08-23 주식회사 블라썸클라우드 Ai 안면인식을 이용한 뷰티 콘텐츠 제공 시스템 및 방법
CN113377020A (zh) * 2021-05-10 2021-09-10 深圳数联天下智能科技有限公司 设备控制方法、装置、设备及存储介质
CN113421150A (zh) * 2021-07-21 2021-09-21 北京沃东天骏信息技术有限公司 物品推荐方法、物品推荐装置、存储介质及电子设备
KR102314167B1 (ko) * 2021-06-25 2021-10-18 주식회사 우분트디자인 유저의 얼굴 윤곽과 피부 타입을 분석하여 뷰티 케어 제품을 큐레이팅하는 방법
CN113674829A (zh) * 2021-07-13 2021-11-19 广东丸美生物技术股份有限公司 一种化妆配方的推荐方法及装置
KR102360993B1 (ko) * 2021-08-23 2022-02-09 주식회사 브이 메이커스 사용자에게 화장품을 추천하는 서비스를 제공하는 방법 및 장치
WO2022124655A1 (ko) * 2020-12-08 2022-06-16 정명기 제품 주문 서비스 제공 방법 및 시스템
KR20220119958A (ko) 2021-02-22 2022-08-30 박혜언 주변 환경특성에 따른 빅데이터를 통한 인공지능 ai 기반 맞춤형 화장품 설계 플랫폼 시스템
KR102445747B1 (ko) * 2021-11-05 2022-09-21 주식회사 룰루랩 피부 분석에 기초하여 토탈 큐레이션 서비스를 제공하기 위한 방법 및 장치
WO2024005503A1 (ko) * 2022-06-28 2024-01-04 주식회사 룰루랩 사용자의 피부 타입과 화장품 성분에 따른 효능에 기반하여 사용자에게 적합한 화장품을 추천하는 방법 및 장치
WO2024058468A1 (ko) * 2022-09-16 2024-03-21 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120069823A (ko) 2010-12-21 2012-06-29 (주)수리엘정보통신 스마트폰을 이용한 피부진단 및 관리 시스템
KR20140098551A (ko) * 2013-01-31 2014-08-08 한양대학교 에리카산학협력단 스마트 화장대 및 스마트 화장대를 이용한 스마트 화장 방법
KR20150080280A (ko) * 2013-12-31 2015-07-09 (주)아모레퍼시픽 피부 진단 및 피부 미용 정보 제공 방법 및 시스템
KR20160052309A (ko) * 2014-11-04 2016-05-12 삼성전자주식회사 전자 장치 및 전자 장치에서 얼굴 정보를 분석하는 방법
KR20180001739A (ko) 2016-06-28 2018-01-05 스마트쿱(주) 모바일 기기에서 피부 진단과 일체화된 피부 케어 방법 및 시스템
KR20180041919A (ko) * 2016-10-17 2018-04-25 주식회사 엔또롱 피부 상태의 학습을 통한 가이드 및 보상의 제공 방법 및 이를 수행하는 서버
KR20180108376A (ko) * 2017-03-23 2018-10-04 칼-콤프 빅 데이터, 인크. 피부 제품 피팅 방법 및 그 전자 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120069823A (ko) 2010-12-21 2012-06-29 (주)수리엘정보통신 스마트폰을 이용한 피부진단 및 관리 시스템
KR20140098551A (ko) * 2013-01-31 2014-08-08 한양대학교 에리카산학협력단 스마트 화장대 및 스마트 화장대를 이용한 스마트 화장 방법
KR20150080280A (ko) * 2013-12-31 2015-07-09 (주)아모레퍼시픽 피부 진단 및 피부 미용 정보 제공 방법 및 시스템
KR20160052309A (ko) * 2014-11-04 2016-05-12 삼성전자주식회사 전자 장치 및 전자 장치에서 얼굴 정보를 분석하는 방법
KR20180001739A (ko) 2016-06-28 2018-01-05 스마트쿱(주) 모바일 기기에서 피부 진단과 일체화된 피부 케어 방법 및 시스템
KR20180041919A (ko) * 2016-10-17 2018-04-25 주식회사 엔또롱 피부 상태의 학습을 통한 가이드 및 보상의 제공 방법 및 이를 수행하는 서버
KR20180108376A (ko) * 2017-03-23 2018-10-04 칼-콤프 빅 데이터, 인크. 피부 제품 피팅 방법 및 그 전자 장치

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022124655A1 (ko) * 2020-12-08 2022-06-16 정명기 제품 주문 서비스 제공 방법 및 시스템
KR102292629B1 (ko) * 2021-01-15 2021-08-23 주식회사 블라썸클라우드 Ai 안면인식을 이용한 뷰티 콘텐츠 제공 시스템 및 방법
KR20220119958A (ko) 2021-02-22 2022-08-30 박혜언 주변 환경특성에 따른 빅데이터를 통한 인공지능 ai 기반 맞춤형 화장품 설계 플랫폼 시스템
KR102282321B1 (ko) * 2021-03-12 2021-07-26 송호빈 천연물질 유래 타나카 성분을 함유하여 냉각과 자외선 블록 효능이 향상되고 기미와 주름을 개선하는 선크림과 이를 제조하는 방법
CN113096049A (zh) * 2021-04-26 2021-07-09 北京京东拓先科技有限公司 一种图片处理方案的推荐方法和装置
CN113377020A (zh) * 2021-05-10 2021-09-10 深圳数联天下智能科技有限公司 设备控制方法、装置、设备及存储介质
KR102314167B1 (ko) * 2021-06-25 2021-10-18 주식회사 우분트디자인 유저의 얼굴 윤곽과 피부 타입을 분석하여 뷰티 케어 제품을 큐레이팅하는 방법
CN113674829A (zh) * 2021-07-13 2021-11-19 广东丸美生物技术股份有限公司 一种化妆配方的推荐方法及装置
CN113421150A (zh) * 2021-07-21 2021-09-21 北京沃东天骏信息技术有限公司 物品推荐方法、物品推荐装置、存储介质及电子设备
KR102360993B1 (ko) * 2021-08-23 2022-02-09 주식회사 브이 메이커스 사용자에게 화장품을 추천하는 서비스를 제공하는 방법 및 장치
KR102445747B1 (ko) * 2021-11-05 2022-09-21 주식회사 룰루랩 피부 분석에 기초하여 토탈 큐레이션 서비스를 제공하기 위한 방법 및 장치
WO2024005503A1 (ko) * 2022-06-28 2024-01-04 주식회사 룰루랩 사용자의 피부 타입과 화장품 성분에 따른 효능에 기반하여 사용자에게 적합한 화장품을 추천하는 방법 및 장치
WO2024058468A1 (ko) * 2022-09-16 2024-03-21 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법

Similar Documents

Publication Publication Date Title
KR102184177B1 (ko) 사용자의 단말을 이용하여 획득한 얼굴 이미지를 분석하여 화장품을 추천하는 장치 및 방법
US11151453B2 (en) Device and method for recommending product
US11058209B2 (en) Beauty counseling information providing device and beauty counseling information providing method
KR102092931B1 (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
US11449997B2 (en) Skin condition measuring module
JP2020512120A (ja) ユーザーの健康状態を評価するシステム
JP7151959B2 (ja) 映像アライメント方法及びその装置
US20130102854A1 (en) Mental state evaluation learning for advertising
KR102347551B1 (ko) 얼굴 이미지 분석에 기반한 얼굴 상태 정보 제공 방법, 장치 및 시스템
US9924861B2 (en) System and methods for assessing vision using a computing device
KR20170066087A (ko) 피부 측정 장치 및 그 제어방법
US20220164852A1 (en) Digital Imaging and Learning Systems and Methods for Analyzing Pixel Data of an Image of a Hair Region of a User's Head to Generate One or More User-Specific Recommendations
US20130218663A1 (en) Affect based political advertisement analysis
US11687849B2 (en) Information processing apparatus, information processing method, and program
WO2022184084A1 (zh) 一种皮肤检测方法和电子设备
US20130052621A1 (en) Mental state analysis of voters
KR102585229B1 (ko) 대상체의 피부 타입에 관련된 정보를 제공하는 전자 장치 및 방법
EP4341944A1 (en) Artificial intelligence based systems and methods for analyzing user-specific skin or hair data to predict user-specific skin or hair conditions
US11571121B2 (en) Terminal use pattern information collection management method and system
CN115812308A (zh) 拍摄控制方法、装置、智能设备及计算机可读存储介质
CN111489823A (zh) 头发健康状况评估方法、装置、移动终端及存储介质
JP2021010652A (ja) 情報処理装置、評価方法、および情報処理プログラム
EP4312176A1 (en) Apparatus and method for providing customized service
CN109739737A (zh) 头戴显示设备的延迟检测方法、设备及计算机存储介质
KR20210004564A (ko) 개인화된 화장품 캡슐 조합 추천 방법

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
GRNT Written decision to grant
X701 Decision to grant (after re-examination)