KR102616487B1 - 딥 러닝을 사용하여 맞춤형 제품 추천들을 제공하기 위한 시스템들 및 방법들 - Google Patents

딥 러닝을 사용하여 맞춤형 제품 추천들을 제공하기 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR102616487B1
KR102616487B1 KR1020217014344A KR20217014344A KR102616487B1 KR 102616487 B1 KR102616487 B1 KR 102616487B1 KR 1020217014344 A KR1020217014344 A KR 1020217014344A KR 20217014344 A KR20217014344 A KR 20217014344A KR 102616487 B1 KR102616487 B1 KR 102616487B1
Authority
KR
South Korea
Prior art keywords
product
facial
image
delete delete
machine learning
Prior art date
Application number
KR1020217014344A
Other languages
English (en)
Other versions
KR20210073566A (ko
Inventor
그레고어 차라우드
헬가 마라프레이드
제랄딘 티에바우트
매튜 페로트
로빈 킵스
Original Assignee
로레알
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 로레알 filed Critical 로레알
Publication of KR20210073566A publication Critical patent/KR20210073566A/ko
Application granted granted Critical
Publication of KR102616487B1 publication Critical patent/KR102616487B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Image Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 개시의 실시예들은, 컴퓨팅 디바이스들이 얼굴 이미지들(face images)에서 화장품 제품들(cosmetic products)을 검출 및 식별할 수 있도록 머신 러닝 모델들(machine learning models)을 사용하는 시스템들, 방법들, 및 컴퓨터-판독 가능 매체를 제공한다. 일부 실시예들에서, 모델 훈련 시스템(model training system)은 태깅 데이터(tagging data)와 연관된 얼굴 이미지들을 분석함으로써 머신 러닝 모델들을 구축하기 위한 훈련 데이터를 수집할 수 있다. 일부 실시예들에서, 추천 시스템(recommendation system)은 얼굴 이미지들에서 제품들을 검출하고, 검출된 제품들에 기초한 정보를 룩 데이터 스토어(look data store)에 추가하고/하거나, 검출된 제품들을 기반으로 룩 데이터 스토어에서 유사한 룩들에 대한 추천들을 제공하기 위해, 모델 훈련 시스템에 의해 생성된 머신 러닝 모델들을 사용하도록 구성될 수 있다.

Description

딥 러닝을 사용하여 맞춤형 제품 추천들을 제공하기 위한 시스템들 및 방법들
본 출원은, 그 전체가 참조로서 여기에 포함되는, 2018년 10월 25일에 출원된 미국 출원 제16/171,153호의 이익을 주장한다.
본 항목은, 아래의 상세한 설명에서 더 기술되는, 단순화된 형태의 개념들의 선택을 소개하기 위해 제공된다. 본 항목은 청구된 주제의 주요 특징들을 식별하기 위한 것이 아니며, 청구된 주제의 범위를 결정하는 데 도움을 주기 위한 것도 아니다.
일부 실시예들에서, 얼굴 이미지(face image)에서 화장품 제품들(cosmetic products)을 검출하도록 머신 러닝 모델(machine learning model)을 훈련시키는 방법이 제공된다. 컴퓨팅 디바이스(computing device)는 비(non)-이미지 데이터를 기반으로 얼굴 이미지에 존재하는 제품을 결정한다. 컴퓨팅 디바이스는 제품과 연관된 얼굴 특징(facial feature)을 포함하는 얼굴 이미지의 일 부분을 추출한다. 컴퓨팅 디바이스는 얼굴 이미지의 일 부분 및 제품의 식별 정보(identification)를 훈련 데이터 세트(training data set)에 추가한다. 컴퓨팅 디바이스는 훈련 데이터 세트를 사용하여, 얼굴 이미지들에서 제품을 검출하도록 머신 러닝 모델을 훈련시킨다.
일부 실시예들에서, 얼굴 이미지들을 처리하기 위해 하나 이상의 머신 러닝 모델들을 사용하는 방법이 제공된다. 컴퓨팅 디바이스는 얼굴 이미지에서 하나 이상의 제품들을 검출하기 위해 하나 이상의 머신 러닝 모델들을 사용한다. 컴퓨팅 디바이스는 얼굴 이미지에서의 하나 이상의 제품들을 기반으로 하나 이상의 추천 룩들(recommended looks)을 결정한다. 컴퓨팅 디바이스는 하나 이상의 추천 룩들과 연관된 하나 이상의 제품들을 결정한다. 컴퓨팅 디바이스는 하나 이상의 추천 룩들 또는 하나 이상의 제품들을 사용자에게 제시한다.
일부 실시예들에서, 얼굴 이미지에서 화장품 제품들을 검출하도록 머신 러닝 모델을 훈련시키기 위한 시스템이 제공된다. 시스템은 비-이미지 데이터를 기반으로 얼굴 이미지에 존재하는 제품을 결정하기 위한 회로; 제품과 연관된 얼굴 특징을 포함하는 얼굴 이미지의 일 부분을 추출하기 위한 회로; 얼굴 이미지의 일 부분 및 제품의 식별 정보를 훈련 데이터 세트에 추가하기 위한 회로; 및 훈련 데이터 세트를 사용하여, 얼굴 이미지들에서 제품을 검출하도록 머신 러닝 모델을 훈련시키기 위한 회로를 포함한다.
본 발명의 전술된 양태들 및 수반되는 많은 이점들은, 첨부된 도면과 관련하여 아래의 상세한 설명을 참조하여 더 잘 이해됨에 따라, 더 쉽게 인식될 것이다.
도 1은 본 개시의 다양한 양태들에 따른 얼굴 이미지에 대한 논리적 처리(logical processing)의 예시적인 실시예를 도시하는 개략도이다;
도 2는 본 개시의 다양한 양태들에 따른 모델 훈련 시스템의 예시적인 실시예 및 추천 시스템의 예시적인 실시예를 도시하는 블록도이다;
도 3a 및 도 3b는 본 개시의 다양한 양태들에 따른 얼굴 이미지에서 화장품 제품들을 검출하도록 하나 이상의 머신 러닝 모델들을 훈련시키는 방법의 예시적인 실시예들을 도시하는 순서도이다; 그리고
도 4는 본 개시의 다양한 양태들에 따른 룩-기반(look-based) 추천들을 제공하기 위해 하나 이상의 머신 러닝 모델들을 사용하는 방법의 예시적인 실시예를 도시하는 순서도이다.
종종, 화장품 제품들의 소비자들은 모방하고 싶은 룩들(화장품 제품들, 의상들, 헤어스타일들, 및/또는 액세서리들을 포함할 수 있는 특징들의 조합들)을 갖춘 사람들의 사진들을 볼 것이다. 그러나, 이러한 사진들은 대개 어떤 화장품 제품들이 착용되어 있는지에 대해 어떤 세부적인 방식으로 라벨링되지 않기 때문에, 다른 소비자가 그 룩을 성공적으로 재현할 수 있는 가능성들은 매우 낮다. 소비자들이 사진에 표현된 하나 이상의 화장품 제품들을 자동으로 결정하는 기술에 대한 접근을 갖는 것이 바람직하다. 그러한 기술은 다른 이유로도 바람직하다. 예를 들어, 컴퓨팅 디바이스들에 이러한 새로운 기능들을 제공하는 기술은 표현된 제품들에 대한 상세한 정보가 추가된 공개적으로 이용 가능한 사진들을 기반으로 룩들의 컬렉션들(collections)을 자동으로 구축하고, 주어진 룩과 유사한 룩들을 결정하기 위해 그러한 데이터의 컬렉션들을 사용하는 것을 허용할 수도 있다.
도 1은 본 개시의 다양한 양태들에 따른 얼굴 이미지에 대한 논리적 처리의 예시적인 실시예를 도시하는 개략도이다. 하나 이상의 화장품 제품들을 착용한 사람의 얼굴을 표현하는 얼굴 이미지(102)가 도시된다. 컴퓨터 비전 기술들(computer vision techniques)은, 눈, 입술, 볼, 및 눈썹과 같은 얼굴 이미지 내의 특정 얼굴 특징들을 식별하기 위해 사용될 수 있다. 얼굴 특징들이 검출되면, 얼굴 이미지(102)의 부분들이 추출될 수 있다. 예를 들어, 눈 부분(104), 입술 부분(106), 및/또는 볼 부분(108)이 추출될 수 있다. 얼굴 이미지(102)는 얼굴 이미지(102)에 착용 중인 화장품 제품들을 식별하는 태깅 정보(tagging information)와 연관될 수 있다. 예를 들어, 태깅 정보는 착용 주인 립스틱(lipstick), 착용 중인 아이섀도우(eyeshadow), 착용 중인 블러시(blush) 등의 브랜드(brand), 색상(color), 질감(texture), 및/또는 피니시(finish)을 식별할 수 있다. 얼굴 이미지의 부분들(예컨대, 립 부분(106))이 관련 제품(예컨대, 식별된 립스틱)과 연관되면, 얼굴 이미지(106)의 일 부분과 제품 정보가 머신 러닝 모델(112)을 훈련시키는 데 사용될 훈련 데이터 세트에 추가될 수 있다. 얼굴 이미지의 각 부분(104, 106, 108)은, 개별 얼굴 특징들에 대한 제품들을 검출하도록 각각의 머신 러닝 모델들(110, 112, 114)을 훈련시키기 위해 개별 훈련 데이터 세트들에 추가될 수 있다.
도 2는 본 개시의 다양한 양태들에 따른 모델 훈련 시스템의 예시적인 실시예 및 추천 시스템의 예시적인 실시예를 도시하는 블록도이다. 일부 실시예들에서, 모델 훈련 시스템(200)은 얼굴 이미지들을 수집하고, 얼굴 이미지들을 기반으로 훈련 데이터를 생성하고, 훈련 데이터를 기반으로 하나 이상의 머신 러닝 모델들을 훈련시키도록 구성된다. 일부 실시예들에서, 추천 시스템(250)은 얼굴 이미지들에서 제품들을 검출하기 위해 모델 훈련 시스템(200)에 의해 생성된 머신 러닝 모델들을 사용하고, 검출된 제품들에 기초한 정보를 룩 데이터 스토어(look data store)(260)에 추가하고/하거나, 검출된 제품들을 기반으로 룩 데이터 스토어(260)에서 유사한 룩들에 대한 추천들을 제공하도록 구성된다. 일부 실시예들에서, 모델 훈련 시스템(200) 및 추천 시스템(250)은 각각 하나 이상의 컴퓨팅 디바이스들에 의해 제공될 수 있고, 이더넷(Ethernet), 와이파이(WiFi), 3G, 4G, LTE, 및 인터넷(Internet)을 포함하지만 이에 제한되지 않는 임의의 적절한 통신 기술을 사용하여 서로 통신할 수 있다. 일부 실시예들에서, 모델 훈련 시스템(200) 및 추천 시스템(250)은 단일의 결합된 시스템에 의해 제공될 수 있다.
도시된 바와 같이, 모델 훈련 시스템(200)은 데이터 수집 엔진(data ingestion engine)(202), 특징 인식 엔진(feature recognition engine)(204), 모델 훈련 엔진(206), 훈련 데이터 스토어(208), 및 모델 데이터 스토어(210)를 포함한다.
일부 실시예들에서, 데이터 수집 엔진(202)은, 훈련 데이터가 생성될 수 있는 얼굴 이미지들 및 태깅 정보를 획득하도록 구성된다. 얼굴 이미지들 및 태깅 정보는 데이터 수집 엔진(202)에 의해 훈련 데이터 스토어(208)에 저장될 수 있다. 일부 실시예들에서, 데이터 수집 엔진(202)은, 인스타그램(Instagram), 트위터(Twitter), 및 핀터레스트(Pinterest)를 포함하지만 이에 제한되지 않는 하나 이상의 소셜 네트워킹 시스템들(social networking systems)(212)로부터 콘텐트(content)를 수신할 수 있다. 그러한 시스템들 상의 소셜 미디어 게시물들(social media posts)은 얼굴 이미지들을 얼굴 이미지에 표현된 것을 설명하는 텍스트 정보(textual information)와 함께 포함할 수 있다. 해시태그들(hashtags)과 같은 의미적으로 구분되는 콘텐트를 포함하거나 포함하지 않을 수 있는 텍스트 정보는 얼굴 이미지에 표현된 하나 이상의 제품들을 구체적으로 식별할 수 있다. 일부 실시예들에서, 데이터 수집 엔진(202)은 블로그들(blogs)과 같은 웹 사이트들(web sites)에서 유사하게 정보를 검색할 수 있으며, 여기서, 블로그 게시물들은 얼굴 이미지들 및 표현된 제품들을 설명하는 텍스트 정보를 포함할 수 있다. 일부 실시예들에서, 데이터 수집 엔진(202)은 소셜 네트워킹 시스템(212)에 게시된 비디오 정보에서 얼굴 이미지 정보를 추출하도록 구성될 수 있고, 음성-텍스트 변환 기술을 사용하여 비디오 정보에서 텍스트 정보를 추출하도록 구성될 수 있다.
일부 실시예들에서, 데이터 수집 엔진(202)은 실험실 테스트 시스템(lab test system)(214)으로부터 정보를 수신하도록 구성될 수 있다. 실험실 테스트 시스템(214)은 실제 얼굴 특징들을 복제하도록 의도된 테스트 대상들 또는 테스트 장치들에 적용된 제품들을 표현하는 얼굴 이미지들을 생성할 수 있고, 데이터 수집 엔진(202)에 그러한 얼굴 이미지들을 표현된 제품들을 식별하는 정보와 함께 제공할 수 있다. 일부 실시예들에서, 실험실 테스트 시스템(214)은 반사(specular) 측정 정보 및 색상 측정 정보를 포함하지만 이에 제한되지 않는 제품들을 설명하는 특정 정보를 제공할 수도 있다.
일부 실시예들에서, 특징 인식 엔진(204)은 특정 얼굴 특징들을 표현하는 얼굴 이미지들의 부분들을 추출하도록 구성될 수 있다. 예를 들어, 얼굴 인식 엔진(204)은 얼굴 이미지를 수신할 수 있고, 눈, 입술, 볼, 눈썹, 또는 임의의 다른 얼굴 특징을 표현하는 얼굴 이미지의 일 부분을 추출할 수 있다. 일부 실시예들에서, 특징 인식 엔진(204)은 검출된 얼굴 특징만을 포함하는 새롭고 보다 작은 이미지를 생성함으로써, 얼굴 이미지의 일 부분을 추출할 수 있다. 일부 실시예들에서, 특징 인식 엔진(204)은 검출된 얼굴 특징의 위치를 나타내는 원래의 얼굴 이미지 내의 좌표들을 제공함으로써 얼굴 이미지의 일부를 추출할 수 있다. 얼굴 이미지의 부분들은 연관된 태깅 정보와 함께 훈련 데이터 스토어(208)에 저장될 수 있다.
일부 실시예들에서, 모델 훈련 엔진(206)은 얼굴 이미지의 일 부분에서 제품들을 식별할 수 있는 하나 이상의 머신 러닝 모델들을 훈련시키기 위해, 훈련 데이터 스토어(208)에 저장된 훈련 데이터를 사용하도록 구성될 수 있다. 일부 실시예들에서, 모델 훈련 엔진(206)은 처리될 각 얼굴 특징에 대해 개별 머신 러닝 모델을 생성할 수 있다. 생성되면, 머신 러닝 모델들은 모델 데이터 스토어(210)에 저장될 수 있다.
도시된 바와 같이, 추천 시스템(250)은 특징 인식 엔진(252), 제품 검출 엔진(254), 제품 추천 엔진(256), 모델 데이터 스토어(258), 및 룩 데이터 스토어(260)를 포함한다. 일부 실시예들에서, 특징 인식 엔진(252)은, 적어도 특정 얼굴 특징들을 표현하는 얼굴 이미지들의 부분들을 추출하도록 구성될 수 있다는 점에서, 모델 훈련 시스템(206)의 특징 인식 엔진(204)과 유사하다. 일부 실시예들에서, 제품 검출 엔진(254)은 특징 인식 엔진(252)에 의해 추출된 얼굴 이미지들의 부분들을 수신한 다음, 얼굴 이미지들의 부분들에 표현된 제품들을 식별하기 위해 모델데이터 스토어(258)에 저장된 머신 러닝 모델들을 사용하도록 구성될 수 있다. 이 후, 일부 실시예들에서, 제품 검출 엔진(254)은 식별된 제품들을 룩 데이터 스토어(260)에 룩으로서 함께 저장할 수 있다. 일부 실시예들에서, 제품 추천 엔진(256)은 제품 검출 엔진(254)에 의해 식별된 제품들을 수신하고, 식별된 제품들을 기반으로 추천할 하나 이상의 제품들을 결정하기 위해 룩 데이터 스토어(260)의 룩들을 분석할 수 있다.
모델 훈련 시스템(200), 추천 시스템(250), 및 이들의 구성 요소들의 기능들에 대한 추가적인 세부 사항들이 아래에 제공된다.
일반적으로, 여기에 사용되는 “엔진”이라는 단어는 하드웨어로 구현된 로직 또는 소프트웨어 명령어들을 의미하며, C, C++, COBOL, JAVATM, PHP, Perl, HTML, CSS, JavaScript, VBScript, ASPX, Microsoft .NETTM 등과 같은 프로그래밍 언어로 작성될 수 있다. 엔진은 실행 가능한 프로그램들로 컴파일되거나(compiled) 해석된 프로그래밍 언어들로 작성될 수 있다. 소프트웨어 엔진들은 다른 엔진들에서 또는 그들 자체에서 호출도리 수 있다. 일반적으로, 여기에 설명되는 엔진들은 다른 엔진들과 병합되거나 서브-엔진들(sub-engines)로 나뉠 수 있는 논리 모듈들을 의미한다. 엔진들은 임의의 유형의 컴퓨터-판독 가능 매체 또는 컴퓨터 저장 디바이스에 저장될 수 있고, 하나 이상의 범용 컴퓨터들에 저장되고 실행될 수 있으며, 이에 따라 엔진 또는 그 기능을 제공하도록 구성되는 특수 목적 컴퓨터가 생성될 수 있다.
본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 이해되는 바와 같이, 여기에 설명된 “데이터 스토어”는 컴퓨팅 디바이스에 의한 접근을 위해 데이터를 저장하도록 구성되는 임의의 적절한 디바이스일 수 있다. 데이터 스토어의 일 예로는, 하나 이상의 컴퓨팅 디바이스들에서 실행되고 고속 네트워크를 통해 접근 가능한 매운 안정적인 고속 관계형 데이터베이스 관리 시스템(database management system; DBMS)이 있다. 데이터 스토어의 다른 예로는, 키-값(key-value) 스토어가 있다. 그러나, 쿼리들(queries)들에 응답하여 저장된 데이터를 빠르고 안정적으로 제공할 수 있는 임의의 다른 적절한 스토리지 기술 및/또는 디바이스가 사용될 수 있으며, 컴퓨팅 디바이스는 네트워크 대신 로컬로(locally) 접근 가능하거나 클라우드-기반(cloud-based) 서비스로 제공될 수 있다. 데이터 스토어는 후술되는 바와 같이 컴퓨터-판독 가능 저장 매체에 조직화된 방식으로 저장된 데이터를 포함할 수도 있다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람은, 본 개시의 범위를 벗어나지 않고, 여기에 설명된 개별 데이터 스토어들이 단일의 데이터 스토어로 결합될 수 있고/있거나, 여기에 설명된 단일의 데이터 스토어가 다수의 데이터 스토어들로 분리될 수 있음을 인식할 것이다.
도 3a 및 도 3b는 본 개시의 다양한 양태들에 따른 얼굴 이미지에서 화장품 제품들을 검출하도록 하나 이상의 머신 러닝 모델들을 훈련시키는 방법의 예시적인 실시예를 도시하는 순서도이다. 시작 블록으로부터, 방법(300)은, 모델 훈련 시스템(200)의 데이터 수집 엔진(202)이 복수의 얼굴 이미지들을 수신하는 블록(302)으로 진행한다. 데이터 수집 엔진(202)은 임의의 소스(source)로부터 복수의 얼굴 이미지들을 수신할 수 있다. 예를 들어, 일부 실시예들에서, 데이터 수집 엔진(202)은, 특정 해시태그를 포함하는 소셜 네트워킹 시스템(212)으로부터 소셜 미디어 게시물들을 요청하는 것과 같은 것에 의해, 소셜 네트워킹 시스템(212)으로부터 복수의 얼굴 이미지들을 검색할 수 있다. 일부 실시예들에서, 데이터 수집 엔진(202)은, 태블릿들(tablets), 스마트폰들(smartphones), 또는 카메라-가능(camera enabled) 랩톱들(laptops)이나 데스크톱(desktop) 컴퓨터들과 같은 최종 사용자 컴퓨팅 디바이스들로부터 얼굴 이미지들을 수신할 수 있으며, 여기서, 최종 사용자 컴퓨팅 디바이스에서 실행되는 소프트웨어는 최종 사용자 컴퓨팅 디바이스의 카메라를 사용하여 얼굴 이미지를 캡처한다. 일부 실시예들에서, 소프트웨어는 사용자에게 얼굴 이미지에 표현된 사람에 의해 착용된 제품들을 식별하도록 할 수도 있다. 일부 실시예들에서, 복수의 얼굴 이미지들은 마케팅 재료들의 세트 또는 실험실-생성 이미지들의 세트와 같은 데이터 세트로부터 모델 훈련 시스템(200)의 운영자(operator)에 의해 생성된 훈련 데이터를 포함할 수 있다. 일부 실시예들에서, 데이터 수집 엔진(202)은 소프트웨어에 의해 수집된 소셜 미디어 게시물 또는 태깅 정보로부터의 텍스트 정보와 같은 임의의 수반된 정보(accompanying information)와 함께, 수집된 얼굴 이미지들을 훈련 데이터 스토어(208)에 저장할 수 있다.
다음으로, 방법(Q300)은 for 루프 시작 블록(303)과 for 루프 종료 블록(315) 사이에 정의된 for 루프로 진행하고, 여기서, 복수의 얼굴 이미지들의 얼굴 이미지들의 각각이 처리된다. for 루프 시작 블록(303)으로부터, 방법(300)은 블록(304)로 진행하고, 여기서 데이터 수집 엔진(202)이 얼굴 이미지와 연관된 태깅 데이터를 결정한다. 일부 실시예들에서, 얼굴 이미지가 소셜 미디어 게시물 또는 다른 인터넷 콘텐트와 연관되면, 데이터 수집 엔진(202)은 표현된 제품들을 식별하기 위해 사용될 수 있는 브랜드명들, 제품명들, 색상들, 질감들, 또는 피니시들의 텍스트 식별 정보들을 찾기 위해, 얼굴 이미지와 연관된 해시태그들 또는 다른 텍스트를 검토할 수 있다. 일부 실시예들에서, 제품 패키지(package)가 얼굴 이미지에서 드러나면, 태깅 데이터를 결정하기 위해, 데이터 수집 엔진(202)은 제품 패키지에 대한 텍스트를 인식하거나, 패키지에 대해 저장된 이미지들과 비교하여 패키지를 인식하거나, 또는 패키지에 표시된 바 코드를 분석할 수 있다. 일부 실시예들에서, 태깅 데이터는 운영자에 의해 얼굴 이미지에 대해 생성되고, 데이터 수집 엔진(202)에 제공될 수 있다.
이 후, 블록(306)에서, 데이터 수집 엔진(202)은 태깅 데이터에 식별되는 하나 이상의 제품들을 결정한다. 일부 실시예들에서, 태깅 데이터에 포함된 제품명, 색상, 질감, 및/또는 피니시는 데이터 수집 엔진(202)에 의해 연관될 수 있고, 제품을 고유하게 식별하는 재고 관리 유닛(stock keeping unit; SKU)과 연관될 수 있다. 일부 실시예들에서, 데이터 수집 엔진(202)은, 표현된 특정 제품, 색상, 피니시, 및 질감의 상세한 식별 정보를 제시하기 위해, 태깅 데이터 내의 부분 정보(예컨대, 제품명 및 피니시가 없는 색상, 또는 제품명만)를 실험실 테스트 시스템(214)으로부터 획득된 실험실 테스트 데이터와 상호 참조할 수 있다.
다음으로, 방법(300)은 for 루프 시작 블록(308) 및 for 루프 종료 블록(314) 사이에 정의된 다른 for 루프로 진행하고, 여기서, 얼굴 이미지가 데이터 수집 엔진(202)에 의해 식별된 각 제품에 대해 처리된다. for 루프 시작 블록(308)으로부터, 방법(300)은 블록(310)으로 진행하고, 여기서, 모델 훈련 시스템(200)의 특징 인식 엔진(204)이 제품과 연관된 얼굴 특징을 포함하는 얼굴 이미지의 일 부분을 추출한다. 일 예로, 제품이 립스틱이면, 특징 인식 엔진(204)은 얼굴의 입술을 포함하는 얼굴 이미지의 일 부분을 추출한다. 다른 예로, 제품이 아이섀도우, 아이라이너, 또는 마스카라이면, 특징 인식 엔진(204)은 얼굴의 눈들 중 적어도 하나를 포함하는 얼굴 이미지의 일 부분을 추출한다.
블록(312)에서, 얼굴 이미지의 추출된 부분은 훈련 데이터 스토어(208) 내의 얼굴 특징에 대한 훈련 세트에, 제품의 식별 정보와 함께 저장된다. 이 후, 방법(300)은 for 루프 종료 블록(314)으로 진행한다. 임의의 추가 제품들이 식별되면, 방법(300)은 다음의 제품을 처리하기 위해, for 루프 시작 블록(308)으로 복귀한다. 그렇지 않으면, 방법(300)은 for 루프 종료 블록(315)으로 진행한다. 추가 얼굴 이미지들이 처리되어야 하는 경우, 방법(300)은 다음의 얼굴 이미지를 처리하기 위해, for 루프 시작 블록(303)으로 복귀한다. 그렇지 않으면, 방법(300)은 연속 터미널(continuation terminal)(“터미널 A”로 진행한다.
터미널 A로부터(도 3b), 방법(300)은 for 루프 시작 블록(316)과 for 루프 종료 블록(324) 사이에 정의된 for 루프로 진행하고, 여기서, 머신 러닝 모델이 방법(300)에 의해 지원되는 얼굴 특징들(예컨대, 눈, 입술, 볼)의 각각에 대해 훈련된다. for 루프 시작 블록(316)으로부터, 방법(300)은 블록(318)로 진행하고, 여기서, 모델 훈련 시스템(200)의 모델 훈련 엔진(206)이 훈련 데이터 스토어(208)로부터 얼굴 특징에 대한 훈련 데이터를 검색한다. 예를 들어, 얼굴 특징이 입술이면, 모델 훈련 엔진(206)은 입술들을 포함하는 훈련 데이터 스토어(208)로부터 복수의 얼굴 이미지들의 부분들을 얼굴 이미지들의 부분에서 제품들을 식별하는 정보와 함께 검색한다. 블록(320)에서, 모델 훈련 엔진(206)은 검색된 훈련 데이터를 사용하여, 얼굴 특징에 대한 머신 러닝 모델을 훈련시킨다. 콘볼루션 신경망(convolutional neural network; CNN)을 포함하지만 이에 제한되지 않는 임의의 적절한 유형의 머신 러닝 모델이 사용될 수 있으며, 경사 하강(gradient descent)을 포함하지만 이에 제한되지 않는 머신 러닝 모델을 훈련시키기 위한 임의의 적절한 기술이 사용될 수 있다.
블록(322)에서, 모델 훈련 엔진(206)은 모델 데이터 스토어(210)에 머신 러닝 모델을 저장한다. 이 후, 방법(300)은 for 루프 종료 블록(324)으로 진행한다. for 루프 종료 블록(324)에서, 더 많은 얼굴 특징들이 처리되어야 하면, 방법(300)은 다음의 얼굴 특징을 처리하기 위해 블록(316)으로 복귀한다. 그렇지 않으면, 방법(300)은 종료 블록으로 진행하여 종료한다.
도 4는 본 개시의 다양한 양태들에 따른 룩-기반 추천들을 제공하기 위해 하나 이상의 머신 러닝 모델들을 사용하는 방법의 예시적인 실시예를 도시하는 순서도이다. 일부 실시예들에서, 방법(400)은 상술된 방법(300)에 의해 훈련되고/되거나 모델 훈련 시스템(200)의 모델 데이터 스토어(210)에 저장된 하나 이상의 머신 러닝 모델들이 미리 로드된(pre-loaded) 모델 데이터 스토어(258)를 갖는 추천 시스템(250)을 사용할 수 있다.
시작 블록으로부터, 방법(400)은 블록(402)으로 진행하고, 여기서, 추천 시스템(250)은 처리될 룩 이미지를 수신한다. 룩 이미지는, 룩 이미지가 소셜 네트워킹 시스템(212) 또는 최종 사용자 컴퓨팅 디바이스에서 실행되는 소프트웨어로부터 수신될 수 있다는 점에서 상술된 바와 같이 데이터 수집 엔진(202)에 의해 수집된 얼굴 이미지들과 유사한 방식으로, 수신될 수 있다. 일부 실시예들에서, 룩 이미지는 소셜 네트워킹 시스템(212) 상에서 추천 시스템(250)과 연관된 특정 해시태그 또는 식별자(identifier)로 룩 이미지를 태깅하는 것에 의해, 추천 시스템(250)에 제공될 수 있다. 룩 이미지는 얼굴을 묘사할 수 있고, 머신 러닝 모델들에 의해 검출될 수 있는 하나 이상의 제품들을 포함할 수 있다.
블록(404)에서, 추천 시스템(250)의 얼굴 인식 엔진(252)은 얼굴 특징들을 포함하는 룩 이미지의 하나 이상의 부분들을 추출한다. 특징 인식 엔진(252)은, 머신 러닝 모델들이 모델 훈련 시스템(200)에 의해 훈련된 얼굴 특징들에 대응하는 룩 이미지의 부분들을 추출할 수 있고, 특징 인식 엔진(204)과 관련하여 상술된 것과 유사한 기술들을 사용하여 추출할 수 있다.
다음으로, 방법(400)은 for 루프 시작 블록(406)과 for 루프 종료 블록(412) 사이에 정의된 for 루프로 진행하고, 여기서, 각 추출된 얼굴 특징이 그 안에 표현된 제품들을 식별하기 위해 처리된다. for 루프 시작 블록(406)으로부터, 방법(400)은 블록(408)으로 진행하고, 여기서, 추천 시스템의 제품 검출 엔진(254)이 모델 데이터 스토어(258)로부터 얼굴 특징에 대한 머신 러닝 모델을 검색한다. 예를 들어, 얼굴 특징이 입술이면, 제품 검출 엔진(254)은 모델 데이터 스토어(258)로부터 입술 상의 제품을 검출하도록 훈련된 머신 러닝 모델을 검색한다. 이 후, 블록(410)에서, 제품 검출 엔진(254)은 얼굴 특징에 적용된 제품을 식별하기 위해 머신 러닝 모델에 얼굴 특징을 묘사하는 룩 이미지의 일 부분을 공급한다. 일부 실시예들에서, 머신 러닝 모델의 출력은 제품, 색상, 질감, 및/또는 피니시의 식별 정보를 포함할 수 있다. 일부 실시예들에서, 머신 러닝 모델의 출력은 제품의 식별 정보가 정확할 가능성에 관한 신뢰 스코어(confidence score)를 포함할 수도 있다.
다음으로, 방법(400)은 for 루프 종료 블록(412)으로 진행한다. 처리되어야 하는 추가 얼굴 특징이 남아 있으면, 방법(400)은 다음의 얼굴 특징을 처리하기 위해, for 루프 시작 블록(406)으로 복귀한다. 그렇지 않으면, 모든 얼굴 특징들이 처리된 경우, 방법(400)은 블록(414)으로 진행하고, 여기서, 제품 추천 시스템(250)의 제품 추천 엔진(256)이 룩 이미지에서 검출된 제품들을 기반으로 하나 이상의 추천 제품들을 결정한다. 일부 실시예들에서, 하나 이상의 추천 제품들은, 룩 데이터 스토어(260)에서 룩 이미지에서 검출된 제품들을 기반으로 추천되는 적어도 하나의 룩을 찾고, 추천 룩으로부터의 제품들을 추천함으로써, 결정될 수 있다.
적어도 하나의 추천 룩을 찾기 위해, 일부 실시예들에서, 제품 추천 엔진(256)은 룩 이미지에서 검출된 일부 양태들의 제품들과 일치하는 다른 룩들을 찾기 위해, 룩 데이터 스토어(260)를 참조할 수 있다. 일 예로, 제품 추천 엔진(256)은 룩 이미지에서 검출된 제품과 일치하는 적어도 하나의 제품, 및 룩 이미지에서 검출되지 않은 적어도 하나의 제품을 포함하는 저장된 룩들을 검색할 수 있다. 다른 예로, 제품 추천 엔진(256)은 룩 이미지의 제품들과 비교할 때 적어도 일치하거나 보완적인(complementary) 색상 또는 피니시를 갖는 제품들을 포함하는 저장된 룩들을 검색할 수 있다. 일부 실시예들에서, 제품 추천 엔진(256)은 유사한 유형들의 룩들을 결정하기 위해 룩 데이터 스토어(260) 내의 룩들에 대한 클러스터링 분석(clustering analysis)을 수행할 수 있고, 룩 이미지에서의 제품들의 조합이 할당되는 클러스터 내에서 추천 룩을 찾을 수 있다. 적어도 하나의 추천 룩이 검출된 제품들을 기반으로 결정되면, 추천 룩들에 포함된 제품들은 추천 제품들로 사용될 수 있다.
추천 제품들이 결정되면, 블록(416)에서, 제품 추천 엔진(256)이 하나 이상의 추천 제품들을 제시한다. 일부 실시예들에서, 제품 추천 엔진(256)은 상품들 자체를 제시할 수 있다. 일부 실시예들에서, 제품 추천 엔진(256)은 추천 룩과 연관된 이미지를 추천 제품들의 식별 정보들과 함께 제시할 수 있다. 일부 실시예들에서, 프리젠테이션(presentation)이 추천 시스템(250)과 상호 작용하도록 사용되는 소프트웨어 내에서 제공될 수 있다. 일부 실시예들에서, 추천 룩 및/또는 제품들에 관한 피드백이 소프트웨어에 의해 수용되고, 향후 추천들을 개선하기 위해 사용될 수 있다.
다음으로, 방법(400)은 종료 블록으로 진행하여 종료한다.
상기 방법(400)은, 제품들을 검출한 다음 유사한 룩들을 찾는데 검출된 제품들을 사용하기 위해, 머신 러닝 모델들을 사용하는 것을 주로 설명한다. 일부 실시예들에서, 머신 러닝 모델들은 공개적으로 이용 가능한 사진들에서 제품들을 검출한 다음 이러한 사진들을 기반으로 룩 데이터 스토어(260)에 새로운 룩들을 추가하기 위해 사용될 수도 있다. 일부 실시예들에서, 이러한 방식으로 룩 데이터 스토어(260)에 추가된 룩들은 향후 추천들에 사용할 룩의 품질 순위를 매기기 위해, 소셜 미디어 텍스트/참여들, 기사들이나 블로그 게시물들에 대한 댓글 등과 같은 사진들과 연관된 콘텐트의 감정 분석(sentiment analysis)을 사용하여 증가될 수 있다.
예시적인 실시예들이 도시되고 설명되었지만, 본 발명의 사상 및 범위를 벗어나지 않고 다양한 변경들이 이루어질 수 있음이 이해될 것이다.

Claims (31)

  1. 얼굴 이미지(face image)에서 화장품 제품들(cosmetic products)을 검출하도록 머신 러닝 모델(machine learning model)을 훈련시키는 방법에 있어서,
    상기 방법은,
    컴퓨팅 디바이스에 의해, 소셜 미디어 게시물(social media post)에서 상기 얼굴 이미지를 추출하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 얼굴 이미지 외부의 상기 소셜 미디어 게시물과 연관된 텍스트(text)를 검사하는 동작, 및 상기 텍스트를 기반으로 상기 제품을 결정하는 동작을 수행함으로써, 비(non)-이미지 데이터를 기반으로 상기 얼굴 이미지에 존재하는 제품을 결정하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 제품과 연관된 얼굴 특징(facial feature)을 포함하는 상기 얼굴 이미지의 일 부분을 추출하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 얼굴 이미지의 상기 일 부분 및 상기 제품의 식별 정보(identification)를 훈련 데이터 세트(training data set)에 추가하는 단계; 및
    상기 컴퓨팅 디바이스에 의해, 상기 훈련 데이터 세트를 사용하여, 얼굴 이미지들에서 상기 제품을 검출하도록 상기 머신 러닝 모델을 훈련시키는 단계
    를 포함하는,
    방법.
  2. 제1 항에 있어서,
    상기 얼굴 이미지 외부의 상기 소셜 미디어 게시물과 연관된 상기 텍스트는 의미적으로 구분되는 콘텐트를 포함하는,
    방법.
  3. 제2 항에 있어서,
    상기 의미적으로 구분되는 콘텐트는 해시태그(hashtag)인,
    방법.
  4. 제1 항에 있어서,
    상기 얼굴 이미지에 존재하는 상기 제품을 결정하는 단계는,
    미리 결정된 얼굴 특징을 포함하는 상기 얼굴 이미지의 일 부분을 추출하는 단계;
    상기 얼굴 이미지의 상기 일 부분에 포함된 색상(color) 및 질감(texture)을 검출하는 단계; 및
    제품에 대한 실험실 측정치들(laboratory measurements)을 기반으로 상기 검출된 색상 및 질감과 연관된 제품을 결정하는 단계
    를 포함하는,
    방법.
  5. 제4 항에 있어서,
    상기 미리 결정된 얼굴 특징은 입술(lips)인,
    방법.
  6. 제1 항에 있어서,
    상기 머신 러닝 모델은,
    콘볼루션 신경망(convolutional neural network)인,
    방법.
  7. 제1 항에 있어서,
    상기 제품과 연관된 상기 얼굴 특징을 포함하는 상기 얼굴 이미지의 상기 일 부분을 추출하는 단계는,
    컴퓨터 비전 기술(computer vision technique)을 사용하는 단계
    를 포함하는,
    방법.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 얼굴 이미지에서 화장품 제품들을 검출하도록 머신 러닝 모델을 훈련시키기 위한 시스템에 있어서,
    상기 시스템은,
    비-이미지 데이터를 기반으로 상기 얼굴 이미지에 존재하는 제품을 결정하기 위한 회로;
    상기 제품과 연관된 얼굴 특징을 포함하는 상기 얼굴 이미지의 일 부분을 추출하기 위한 회로;
    상기 얼굴 이미지의 상기 일 부분 및 상기 제품의 식별 정보를 훈련 데이터 세트에 추가하기 위한 회로; 및
    상기 훈련 데이터 세트를 사용하여, 얼굴 이미지들에서 상기 제품을 검출하도록 상기 머신 러닝 모델을 훈련시키기 위한 회로
    를 포함하고,
    상기 얼굴 이미지에 존재하는 상기 제품을 결정하는 것은,
    미리 결정된 얼굴 특징을 포함하는 상기 얼굴 이미지의 일 부분을 추출하는 것;
    상기 얼굴 이미지의 상기 일 부분에 포함된 색상 및 질감을 검출하는 것; 및
    제품에 대한 실험실 측정치들을 기반으로 상기 검출된 색상 및 질감과 연관된 제품을 결정하는 것
    을 포함하는,
    시스템.
  17. 제16 항에 있어서,
    소셜 미디어 게시물에서 상기 얼굴 이미지를 추출하기 위한 회로
    를 더 포함하는,
    시스템.
  18. 제17 항에 있어서,
    상기 비-이미지 데이터를 기반으로 상기 얼굴 이미지에 존재하는 상기 제품을 결정하는 것은,
    상기 소셜 미디어 포스트와 연관된 텍스트를 검사하는 것; 및
    상기 텍스트를 기반으로 상기 제품을 결정하는 것
    을 포함하는,
    시스템.
  19. 삭제
  20. 제16 항에 있어서,
    상기 머신 러닝 모델은,
    콘볼루션 신경망인,
    시스템.
  21. 제16 항에 있어서,
    상기 제품과 연관된 상기 얼굴 특징을 포함하는 상기 얼굴 이미지의 상기 일 부분을 추출하는 것은,
    컴퓨터 비전 기술을 사용하는 것
    을 포함하는,
    시스템.
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 컴퓨팅 디바이스의 하나 이상의 프로세서들에 의한 실행에 응답하여, 상기 컴퓨팅 디바이스가 제1 항 내지 제7 항 중 어느 한 항에 기재된 방법을 수행하게 하는, 컴퓨터-실행 가능 명령어들이 저장된 비-일시적 컴퓨터-판독 가능 매체.
  31. 삭제
KR1020217014344A 2018-10-25 2019-10-24 딥 러닝을 사용하여 맞춤형 제품 추천들을 제공하기 위한 시스템들 및 방법들 KR102616487B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/171,153 2018-10-25
US16/171,153 US11010636B2 (en) 2018-10-25 2018-10-25 Systems and methods for providing personalized product recommendations using deep learning
PCT/EP2019/079036 WO2020084057A1 (en) 2018-10-25 2019-10-24 Systems and methods for providing personalized product recommendations using deep learning

Publications (2)

Publication Number Publication Date
KR20210073566A KR20210073566A (ko) 2021-06-18
KR102616487B1 true KR102616487B1 (ko) 2023-12-20

Family

ID=68424854

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217014344A KR102616487B1 (ko) 2018-10-25 2019-10-24 딥 러닝을 사용하여 맞춤형 제품 추천들을 제공하기 위한 시스템들 및 방법들

Country Status (6)

Country Link
US (2) US11010636B2 (ko)
EP (1) EP3871135A1 (ko)
JP (2) JP7242848B2 (ko)
KR (1) KR102616487B1 (ko)
CN (1) CN112889065A (ko)
WO (1) WO2020084057A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11386301B2 (en) * 2019-09-06 2022-07-12 The Yes Platform Cluster and image-based feedback system
US11478063B2 (en) * 2020-01-31 2022-10-25 L'oreal Cleaning system for cosmetic dispensing device
EP4012604B1 (en) * 2020-12-09 2024-02-21 Chanel Parfums Beauté A method for identifying a lip-makeup product appearing in an image
KR102642920B1 (ko) * 2023-07-20 2024-03-04 주식회사 아즈라 귀형상을 이용한 이어팁 최적화 서비스 제공 시스템
US11837019B1 (en) * 2023-09-26 2023-12-05 Dauntless Labs, Llc Evaluating face recognition algorithms in view of image classification features affected by smart makeup

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017125975A1 (ja) * 2016-01-22 2017-07-27 パナソニックＩｐマネジメント株式会社 メイクトレンド分析装置、メイクトレンド分析方法、およびメイクトレンド分析プログラム
WO2018143707A1 (ko) * 2017-02-01 2018-08-09 주식회사 엘지생활건강 메이크업 평가 시스템 및 그의 동작 방법
JP2018132821A (ja) * 2017-02-13 2018-08-23 シャープ株式会社 情報処理装置、情報処理システム、端末装置、プログラム及び情報処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7634103B2 (en) 2001-10-01 2009-12-15 L'oreal S.A. Analysis using a three-dimensional facial image
JP5825802B2 (ja) 2011-02-23 2015-12-02 本田技研工業株式会社 バーチカル型エンジン
JPWO2012172625A1 (ja) * 2011-06-13 2015-02-23 株式会社洛洛.Com 美容ｓｎｓシステム及びプログラム
CN103093247B (zh) * 2013-01-05 2016-05-11 华戎信息产业有限公司 一种植物图片的自动分类方法
CN105446973B (zh) * 2014-06-20 2019-02-26 华为技术有限公司 社交网络中用户推荐模型的建立及应用方法和装置
CN105868797B (zh) * 2015-01-22 2019-09-13 清华大学 识别景物类型的网络参数训练方法、景物类型识别方法及装置
US10607372B2 (en) * 2016-07-08 2020-03-31 Optim Corporation Cosmetic information providing system, cosmetic information providing apparatus, cosmetic information providing method, and program
US11120495B2 (en) * 2016-09-15 2021-09-14 GlamST LLC Generating virtual makeup products
CN108133222B (zh) 2016-12-01 2021-11-02 富士通株式会社 为数据库确定卷积神经网络cnn模型的装置和方法
US20180197223A1 (en) * 2017-01-06 2018-07-12 Dragon-Click Corp. System and method of image-based product identification
CN107123027B (zh) * 2017-04-28 2021-06-01 广东工业大学 一种基于深度学习的化妆品推荐方法及系统
JP6579177B2 (ja) 2017-10-19 2019-09-25 株式会社三洋物産 遊技機
CN107832784B (zh) * 2017-10-27 2021-04-30 维沃移动通信有限公司 一种图像美化的方法和一种移动终端
CN108090465B (zh) * 2017-12-29 2020-05-01 国信优易数据有限公司 一种妆容效果处理模型训练方法及妆容效果处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017125975A1 (ja) * 2016-01-22 2017-07-27 パナソニックＩｐマネジメント株式会社 メイクトレンド分析装置、メイクトレンド分析方法、およびメイクトレンド分析プログラム
WO2018143707A1 (ko) * 2017-02-01 2018-08-09 주식회사 엘지생활건강 메이크업 평가 시스템 및 그의 동작 방법
JP2018132821A (ja) * 2017-02-13 2018-08-23 シャープ株式会社 情報処理装置、情報処理システム、端末装置、プログラム及び情報処理方法

Also Published As

Publication number Publication date
US20200134371A1 (en) 2020-04-30
US11010636B2 (en) 2021-05-18
JP2022505760A (ja) 2022-01-14
EP3871135A1 (en) 2021-09-01
JP7242848B2 (ja) 2023-03-20
CN112889065A (zh) 2021-06-01
KR20210073566A (ko) 2021-06-18
JP2023081971A (ja) 2023-06-13
US11521013B2 (en) 2022-12-06
WO2020084057A1 (en) 2020-04-30
US20210264204A1 (en) 2021-08-26

Similar Documents

Publication Publication Date Title
KR102616487B1 (ko) 딥 러닝을 사용하여 맞춤형 제품 추천들을 제공하기 위한 시스템들 및 방법들
Dehghan et al. Dager: Deep age, gender and emotion recognition using convolutional neural network
US11191342B2 (en) Techniques for identifying skin color in images having uncontrolled lighting conditions
US20200311798A1 (en) Search engine use of neural network regressor for multi-modal item recommendations based on visual semantic embeddings
US11657084B2 (en) Correlating image annotations with foreground features
US9542419B1 (en) Computer-implemented method for performing similarity searches
US11978242B2 (en) Systems and methods for improved facial attribute classification and use thereof
Zhong et al. Predicting pinterest: Automating a distributed human computation
CN106951448A (zh) 一种个性化穿搭推荐方法及系统
CN106951433B (zh) 一种检索方法及装置
KR102289824B1 (ko) 인플루언서와의 정보 공유를 통해 화장품 색상을 추천하는 시스템 및 방법
Holder et al. Visual siamese clustering for cosmetic product recommendation
CN112104914B (zh) 视频推荐方法及装置
Ali et al. Age estimation from facial images using biometric ratios and wrinkle analysis
KR20200107488A (ko) 가상화장 합성 처리 방법
KR20200107482A (ko) 가상화장 합성 처리 장치
KR102465453B1 (ko) 가상화장 합성 처리 인공지능 장치 및 방법
Guntuku et al. Deep representations to model user ‘likes’
CN112667839A (zh) 数据的处理方法、检索方法、装置及设备
da Silva Souza et al. UNEARTHING INSTAGRAM'S BEAUTY BUSINESS INSIGHTS THROUGH COMPUTATIONAL VISION AND INTELLIGENCE
CN116781948A (zh) 一种基于视频标签推荐视频的方法、装置及设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant