KR20220081929A - 이미지에 나타나는 립-메이크업 제품을 식별하는 방법 - Google Patents

이미지에 나타나는 립-메이크업 제품을 식별하는 방법 Download PDF

Info

Publication number
KR20220081929A
KR20220081929A KR1020210173941A KR20210173941A KR20220081929A KR 20220081929 A KR20220081929 A KR 20220081929A KR 1020210173941 A KR1020210173941 A KR 1020210173941A KR 20210173941 A KR20210173941 A KR 20210173941A KR 20220081929 A KR20220081929 A KR 20220081929A
Authority
KR
South Korea
Prior art keywords
lip
makeup
image
product
makeup product
Prior art date
Application number
KR1020210173941A
Other languages
English (en)
Inventor
조나단 로리에트
Original Assignee
샤넬 파르퓜 보트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 샤넬 파르퓜 보트 filed Critical 샤넬 파르퓜 보트
Publication of KR20220081929A publication Critical patent/KR20220081929A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G06T5/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 따르면, 이미지로부터 립-메이크업 제품을 식별하는 방법으로서,
- 이미지 상에 입을 감지하는 단계;
- 입을 메이크업했는지 여부를 판단하는 단계;
- 사람의 입이 메이크업된 경우:
o 입에 속하는 이미지의 픽셀 중 적어도 일부로부터 이미지의 립-메이크업의 컬러 파라미터를 결정하는 단계;
o 이미지로부터의 립-메이크업의 컬러 파라미터와 복수의 레퍼런스 립-메이크업 제품 중 적어도 일부의 컬러 파라미터 사이의 거리를 계산하는 단계; 및
o 입력 이미지의 립-메이크업의 컬러 파라미터와 레퍼런스 립-메이크업 제품 중 하나의 컬러 파라미터 사이의 적어도 하나의 거리가 미리 결정된 임계값 미만인 경우, 이미지 상의 립-메이크업 제품과 가장 잘 매칭되는 레퍼런스 립-메이크업 제품을 식별하는 단계를 포함하는 립-메이크업 제품을 식별하는 방법이 개시된다.

Description

이미지에 나타나는 립-메이크업 제품을 식별하는 방법{A Method for Identifying a Lip-Makeup Product Appearing in an Image}
본 발명은 입력 이미지로부터 립-메이크업 제품을 식별하여 해당 립-메이크업 제품을 추천하는 방법 및 시스템에 관한 것이다.
고객이 립-메이크업 제품을 선택하고자 하는 경우, 벌크 제품의 색상 또는 제품 포장에 표시된 색상으로부터 입술에 한번 바른 다음 제품의 표현을 판단하기 어려울 수 있다. 실제로, 피부에 바르면 제품의 색상과 질감이 다르게 보일 수 있다.
반대로, 립-메이크업 제품을 바르고 있는 사람의 이미지를 보면, 그 사람은 일단 입술에 바른 립-메이크업 제품의 모습을 쉽게 이해한다. 립-메이크업 제품이 그 사람의 취향이라면, 해당 립-메이크업 제품을 찾아 구매할 의향이 있을 수 있다. 그러나, 입술에서 제품의 외관과 벌크 제품 또는 포장의 외관 간의 차이에 대해 위와 같은 이유로 일치하는 제품을 찾기가 쉽지 않을 수 있다.
따라서, 이미지로부터 립-메이크업 제품을 결정하기 위한 방안이 필요하다.
사용자의 피부색을 기반으로 사용자에게 적합한 파운데이션을 결정하기 위한 방안이 제안되었다. 그러나, 이러한 방안은 립-메이크업 제품의 선택에 적용할 수 없는데, 입술에서 이러한 제품의 양상은 분석이 더 복잡하고 립스틱은 파운데이션에 적용되지 않는 질감 면에서 특수성이 있기 때문이다.
EP 3 447 726에도 립스틱의 색상을 획득하여 레퍼런스와 비교하는 이미지 분석 방법이 또한 알려져 있지만, 이 분석은 화장을 하는 사람을 돕기 위해서만 수행된다.
따라서, 위에 개시된 방법 중 어느 것도 이 문제에 대한 해결책을 제공하지 못한다.
본 발명의 목적은 립-메이크업 제품을 자동으로 식별하는 방법을 제공함으로써 종래 기술의 단점을 극복하는 것이다. 특히, 본 발명의 목적은 레퍼런스 립-메이크업 제품의 데이터베이스 중에서 이미지에 보이는 립-메이크업 제품에 가장 잘 맞는 제품을 식별하는 것이다.
본 발명의 다른 목적은 선택된 레퍼런스 제품이 이미지에서 볼 수 있는 립-메이크업 제품과 가장 가까이 일치할 뿐만 아니라 고객과 관련이 있을 정도로 상기 립-메이크업 제품과 충분히 유사함을 보장하는 것이다.
이를 위해, 복수의 레퍼런스 립-메이크업 제품 각각에 대해 식별자 및 컬러 파라미터를 저장하는 메모리 및 컴퓨터를 포함하는 시스템에 의해 구현되는 입력 이미지로부터 립-메이크업 제품을 식별하는 방법으로서,
- 입력 이미지에서 사람의 입을 감지하는 단계;
- 입을 메이크업했는지 여부를 판단하는 단계;
- 사람의 입이 메이크업된 경우:
o 입에 속하는 이미지의 픽셀 중 적어도 일부로부터 입력 이미지의 립-메이크업의 컬러 파라미터를 결정하는 단계;
o 이미지로부터의 립-메이크업의 컬러 파라미터와 복수의 레퍼런스 립-메이크업 제품 중 적어도 일부의 컬러 파라미터 사이의 거리를 계산하는 단계; 및
o 입력 이미지의 립-메이크업의 컬러 파라미터와 레퍼런스 립-메이크업 제품 중 하나의 컬러 파라미터 사이의 적어도 하나의 거리가 미리 결정된 임계값 미만인 경우, 이미지 상의 립-메이크업 제품과 가장 잘 매칭되는 레퍼런스 립-메이크업 제품을 식별하는 단계를 포함하는 립-메이크업 제품을 식별하는 방법이 개시된다.
실시예에서, 입이 화장되었는지 여부를 판단하는 단계는 복수의 입 이미지에 대해 훈련되고 립-메이크업 제품의 유무를 판단하도록 구성된 이진 분류 모델을 구현하는 단계를 포함한다.
실시예에서, 이미지 상의 립-메이크업 제품과 가장 잘 매칭되는 레퍼런스 립-메이크업 제품을 식별하는 단계는, 각각의 레퍼런스 립-메이크업 제품에 대해, 상기 레퍼런스 립-메이크업 제품을 바른 얼굴의 복수의 인위적으로 생성된 이미지를 포함하는 학습 데이터세트에 대해 훈련된 분류 모델을 구현하는 단계를 포함한다.
실시예에서, 상기 방법은 이미지의 립-메이크업 제품의 질감을 판단하는 단계를 더 포함하고, 상기 이미지의 립-메이크업 제품의 컬러 파라미터와 레퍼런스 립- 메이크업 제품의 컬러 파라미터 사이의 거리를 계산하는 단계는 이미지의 립-메이크업 제품과 동일한 질감을 갖는 레퍼런스 립-메이크업 제품에 대해서만 수행된다.
이 경우, 립-메이크업 제품의 질감을 판단하는 단계와 이미지 상에 입이 메이크업되었는지 여부를 판단하는 단계는, 얼굴을 나타내는 입력 이미지로부터, 립-메이크업 제품의 부재 및 립-메이크업 제품의 복수의 질감들 중에서 선택된 카테고리를 출력하도록 구성된 훈련 모델을 구현함으로써 동시에 수행될 수 있다.
실시예에서, 입력 이미지의 립-메이크업의 컬러 파라미터를 결정하는 단계는:
- 입에 속하는 입력 이미지의 픽셀 집합을 선택하는 단계;
- 픽셀 세트에서 흑백 픽셀을 제거하는 단계; 및
- 픽셀 세트의 컬러 파라미터에 대해 단일 클러스터로 k-평균 알고리즘을 구현하고, 픽셀 세트의 컬러 파라미터의 중심으로서 립-메이크업의 컬러 파라미터를 결정하는 단계를 포함한다.
실시예에서, 레퍼런스 립-메이크업 제품의 컬러 파라미터는, 각각의 레퍼런스 립-메이크업 제품에 대해,:
- 복수의 얼굴 이미지를 포함하는 얼굴 세트에 대해 상기 립-메이크업 레퍼런스 제품의 가상 시도(try-on)를 수행하는 단계;
- 획득한 각 이미지에 대해,
o 입에 속하는 픽셀 세트를 선택하는 단계;
o 픽셀 세트에서 흑백 픽셀을 제거하는 단계; 및
o 픽셀 세트의 컬러 파라미터에 대해 단일 클러스터로 k-평균 알고리즘을 구현하여 이로써 중심을 출력하는 단계;
각각의 획득된 이미지의 중심의 컬러 파라미터를 포함하는 세트로서 레퍼런스 립-메이크업 제품의 컬러 파라미터를 결정하는 단계; 및
이미지로부터의 립-메이크업의 컬러 파라미터와 복수의 레퍼런스 립-메이크업 제품 중 적어도 일부의 컬러 파라미터 사이의 거리를 계산하는 단계에 의해 획득되고,
거리가 계산된 각각의 레퍼런스 립-메이크업 제품에 대해, 이미지로부터 립-메이크업 제품의 컬러 파라미터와 각각의 획득된 이미지에 대해 획득된 각 중심의 컬러 파라미터 사이의 거리를 계산하는 단계를 포함한다.
실시예에서, 상기 방법은 입력 이미지의 립-메이크업 제품의 컬러 파라미터를 결정하기 전에 입력 이미지의 컬러 보정 단계를 더 포함한다.
실시예에서, 상기 방법은 각각의 레퍼런스 립-메이크업 제품과 관련된 복수의 광고 이미지를 포함하는 광고 데이터베이스를 더 포함하는 시스템에 의해 구현되며, 상기 방법은 입력 이미지가 광고 데이터베이스에 포함된 광고 이미지에 해당하는지 여부를 판단하고, 만약 그렇다면, 입력 이미지 상의 립-메이크업 제품을 상기 광고 이미지와 연관된 레퍼런스 립-메이크업 제품으로 식별하는 예비 단계를 포함한다.
이 경우, 입력 이미지가 광고 데이터베이스에 해당하는지 여부를 판단하는 단계는 상기 광고 데이터베이스의 광고 이미지 및, 각각의 광고 이미지에 대해, 상기 광고 이미지의 적어도 하나의 변환을 구현함으로써 광고 이미지로부터 인위적으로 생성된 추가 이미지 세트를 포함하는 학습 데이터베이스에 대해 훈련된 머신 러닝 알고리즘에 의해 구현됨으로써 수행될 수 있다.
추가 이미지를 생성하기 위해 각 광고 이미지에 수행되는 변환은:
- 기하학적 변형,
- 수정된 배경 레이어,
- 스크린형 왜곡,
- 그림자 또는 썬 플레어의 추가, 및
- 컬러 편차
중 하나 또는 이들의 조합일 수 있다.
실시예에서, 상기 방법은 사용자 단말로부터 입력 이미지를 수신하는 예비 단계를 포함하고, 이미지의 립-메이크업 제품에 해당하는 레퍼런스 립-메이크업 제품이 결정되면, 레퍼런스 립-메이크업 제품의 식별을 포함하는 반환 메시지를 사용자 단말에 전송하는 단계를 더 포함한다.
실시예에서, 반환 메시지는 상기 레퍼런스 립-메이크업 제품을 판매하는 e-shop에 접속하기에 적합한 연결 정보 및/또는 상기 레퍼런스 립-메이크업 제품을 가상으로 발라보기 위한 가상 시도 애플리케이션을 더 포함한다.
다른 목적에 따르면, 복수의 레퍼런스 립-메이크업 제품 각각에 대해, 식별자 및 컬러 파라미터를 저장하는 컴퓨터 및 메모리를 포함하는 립-메이크업 식별 시스템으로서, 상기 립-메이크업 식별 시스템은 상기 설명에 따른 방법을 구현하도록 구성되는 립-메이크업 식별 시스템이 개시된다.
다른 목적에 따르면, 컴퓨터 및 카메라를 포함하는 사용자 단말에 의해 구현되는 립-메이크업 제품에 대한 식별을 요청하는 방법으로서,
- 이미지를 획득하는 단계;
- 획득 이미지 및 상기 획득 이미지에 나타나는 립-메이크업 제품을 식별하는 요청을 립-메이크업 식별 시스템에 전송하는 단계; 및
- 상기 요청에 응답하여, 다음 중 하나:
o 이미지에 나타나는 립-메이크업 제품의 표시,
o 이미지에서 립-메이크업 제품이 발견되지 않았다는 표시, 또는
o 대응하는 립-메이크업 제품이 식별되지 않았다는 표시를
수신하는 단계를 포함하는 립-메이크업 제품에 대한 식별을 요청하는 방법이 개시된다.
다른 목적에 따르면, 컴퓨터 및 카메라를 포함하고, 위에서 언급된 식별 요청 방법을 구현하도록 구성된 사용자 단말이 개시된다.
또한, 컴퓨터에 의한 실행시 상기 개시한 방법 중 어느 하나를 구현하기 위한 코드 명령어를 포함하는 컴퓨터 프로그램 제품이 개시된다.
상술한 방법은 레퍼런스 립-메이크업 제품의 데이터베이스 중에서 이미지에 보이는 립-메이크업 제품에 가장 잘 대응하는 제품을 식별하는 것을 가능하게 한다. 이 방법은 또한 입력 사진에 메이컵하지 않은 입이 보일 경우 제품 레퍼런스를 제공하지 않기 위해 립-메이크업 제품이 이미지에서 실제로 보이는지 여부를 결정할 수 있다.
또한, 이미지에서 볼 수 있는 제품의 비색 파라미터와 레퍼런스 립-메이크업 제품의 비색 파라미터 사이의 거리를 결정된 임계값과 비교함으로써, 이 방법은 타겟 메이크업 제품에 충분히 가까운 레퍼런스 제품만 제안되게 한다.
다음에서 "타겟 메이크업 제품"은 가공 이미지 또는 입력 이미지에서 보이는 립-메이크업 제품을 지정하는 데 사용할 수 있다.
타겟 메이크업 제품이 레퍼런스 제품에서 너무 멀리 떨어져 있으면, 레퍼런스 제품이 식별되지 않는다. 따라서, 고객은 이미지에 표시된 제품과 정확히 일치하지 않는 일반적으로 믿는 바로 "매칭" 레퍼런스 립-메이크업 제품을 받았다고 해서 실망하지 않는다.
본 발명의 내용에 포함됨.
본 발명의 다른 특징 및 이점은 첨부 도면을 참조하여 비제한적인 예로서 제공된 다음의 상세한 설명으로부터 명백할 것이다.
- 도 1은 일 실시예에 따른 입력 이미지로부터 립-메이크업 제품을 식별하기 위한 방법의 주요 단계를 개략적으로 도시한다.
- 도 2는 다른 실시예에 따른 입력 이미지로부터 립-메이크업 제품을 식별하기 위한 방법의 주요 단계를 개략적으로 도시한다.
- 도 3은 립-메이크업 제품을 식별하기 위한 시스템을 개략적으로 도시한다.
- 도 4a 내지 도 4d는 입력 이미지의 사전 처리 예를 도시한다.
- 도 5a는 입력 이미지로부터 광고를 감지하도록 구성된 모델에 대한 학습 데이터베이스를 구축하기 위해 입력 이미지에 구현될 수 있는 예시적인 변환을 도시한다.
- 도 5b는 입력 이미지가 광고 이미지와 일치하는지 여부를 결정하도록 구성된 분류기를 훈련시키기 위해 생성된 이미지 세트의 예를 도시한다.
- 도 6은 질감 분류기의 예시를 개략적으로 도시한다.
- 도 7은 입력 이미지에서 볼 수 있는 립-메이크업 제품의 컬러 파라미터를 결정하기 위한 입 픽셀의 선택을 도시한다.
- 도 8은 복수의 립-메이크업 제품의 컬러 파라미터의 예시를 도시한다.
이하에서 입력 이미지에서 립-메이크업 제품을 식별하는 방법에 대해 설명한다.
도 3을 참조하면, 이 방법은 컴퓨터(10) 및 메모리(11)를 포함하는 립-메이크업 식별 시스템(1)에 의해 구현될 수 있다. 컴퓨터는 하나 이상의 컴퓨터 처리 장치(들)(CPU), 하나 이상의 그래픽 처리 장치(GPU), 마이크로프로세서(들), 컨트롤러(들), 마이크로컨트롤러(들) 등을 포함하는 임의의 적합한 종류의 처리 장치일 수 있다.
메모리(11)는 립-메이크업 제품 식별 방법을 구현하기 위해 컴퓨터(10)에 의해 실행될 수 있는 코드 명령어를 저장한다. 메모리(11)는 또한, 각각의 레퍼런스 립-메이크업 제품에 대해, 적어도 상기 제품의 식별자 및 컬러 파라미터를 포함하는 레퍼런스 립-메이크업 제품의 데이터베이스를 저장할 수 있다. 데이터베이스는 또한, 각각의 레퍼런스 립-메이크업 제품에 대해, 해당 제품이 나타나는 광고 이미지의 리스트를 저장할 수 있다. 메모리(11)는 또한, 아래에서 더 상세히 설명되는 바와 같이, 립-메이크업 식별 방법의 구현 동안 실행될 수 있는 다수의 훈련된 머신 러닝 모델을 저장할 수 있다.
다른 실시예에서, 상기 데이터베이스는 시스템(1)의 메모리(11)와 별개의 메모리에 저장될 수 있다. 예를 들어, 시스템(1)이 통신 네트워크를 통해 액세스할 수 있는 원격 서버에 저장될 수 있다.
어떤 경우든, 시스템(1)은 통신 네트워크에 연결하고 시스템(1)이 복수의 사용자의 개인 단말(2)로부터 메시지를 수신하고 단말에 메시지를 보낼 수 있게 하기 위한 인터페이스(12)를 포함한다. 사용자의 개인 단말(2)은, 예를 들어, 적어도 프로세서와 메모리, 카메라, 및 가령 GSM, UMTS, LTE, 3G, 4G, 5G 등 유형의 모바일 네트워크와 같은 무선 액세스 네트워크 수단에 의해 통신 네트워크에 연결하기 위한 인터페이스를 포함하는 이동 전화 또는 디지털 태블릿일 수 있다.
도 1 및 도 2를 참조로, 이미지 상에서 립-메이크업 제품을 식별하기 위한 방법의 2개의 예시적인 실시예를 이제 개시할 것이다.
전형적인 상황은 사용자가 관심을 갖는 립-메이크업 제품을 바른 사람을 나타내는 사진을 보는 사용자의 경우이다. 사용자는 개인 단말기(2)를 사용하여 이 사진의 이미지를 획득하고 획득된 이미지를 디스플레이된 립-메이크업 제품을 식별하기 위한 시스템(1)으로 보낼 수 있다. 이를 위해, 사용자는 개인 단말에 다운로드한 전용 앱을 사용하거나, 전용 웹사이트에 사진을 업로드할 수 있다.
시스템(1)은 단계(100)에서 사용자에 의해 획득된 이미지에 해당하는 입력 이미지를 수신한다. 다른 실시예에서, 입력 이미지(100)는 시스템(1)에 의해 직접 획득될 수 있으며, 이는 입력 이미지의 획득 및 이미지 상에 보이는 립-메이크업 제품의 식별을 수행하는 동일한 장치임을 의미한다. 이 경우, 예를 들어, 시스템(1)과 사용자 단말(2)이 단일 장치를 형성할 수 있다.
실시예에서, 시스템(1)은 또한 방법의 후속 단계를 수행하기 전에 입력 이미지에서 얼굴이 실제로 보이는지 확인하기 위해 이미지에 얼굴 감지 알고리즘을 구현한다.
일부 실시예에서, 시스템(1)은 각각의 레퍼런스 립-메이크업 제품과 연관된 복수의 광고 이미지를 포함하는 광고 데이터베이스를 포함하고, 상기 방법은 입력 이미지가 광고 데이터베이스의 광고에 해당하는지 여부를 감지하는 단계(200)를 포함할 수 있다. 그렇다면, 입력 이미지에 나타난 립-메이크업 제품이 광고와 관련된 레퍼런스 립-메이크업 제품으로 즉시 식별될 수 있다. 그 다음, 시스템(1)은 상기 레퍼런스 립-메이크업 제품을 식별하는 메시지(250)를 사용자에게 제공할 수 있고 또한 해당하는 광고 이미지를 디스플레이할 수 있다. 이러한 방식으로, 사용자는 자신이 거리에서, 잡지에서, 또는 인터넷에서 발견한 광고의 사진을 획득한 경우, 광고에 사용된 립-메이크업 제품을 즉시 식별할 수 있다.
이 감지는 입력 이미지가 광고 데이터베이스의 광고 이미지에 해당하는지 여부를 결정하도록 구성된 머신 러닝 알고리즘을 구현하여 수행된다.
그러나, 광고 데이터베이스에는 머신 러닝 알고리즘을 효율적으로 훈련시키기에 충분한 이미지가 없을 수 있다. 더욱이, 사용자는 다양한 조명 조건, 다양한 시야각 등 다양한 조건에서 광고 이미지를 획득할 수 있으며, 머신 러닝 알고리즘은 이러한 다양한 획득 조건에 대해 강건해야 한다.
이러한 문제를 극복하기 위해, 상기 머신 러닝 알고리즘은 광고 데이터베이스의 광고 이미지 외에, 상기 광고 이미지로부터 인위적으로 생성된 다수의 이미지를 포함하는 전용 데이터베이스에서 상기 광고 이미지에 대한 적어도 하나의 변환을 구현하여 훈련된다.
실시예에서, 광고 이미지에 구현된 변환은 사용자에 의한 입력 이미지의 다양한 획득 조건을 모방하기 위해 선택된다.
초기 광고 이미지의 각 변환은 다음 중 하나 이상의 조합을 포함할 수 있다:
- 예를 들어, 회전, 원근 시뮬레이션 또는 초기 광고 이미지 자르기를 포함하는 적어도 하나의 기하학적 변환;
- 이미지 대 배경 비율을 줄이고, 배경을 균일한 색상으로 바꾸거나 풍경, 거리, 차량, 가구 등의 이미지를 포함한 배경 이미지 라이브러리에서 선택한 랜덤 이미지로 대체함으로써 배경 레이어의 수정;
- 결정된 컬러 채널에 컬러 마스크 레이어 및/또는 컬러 지터를 추가하여 초기 광고 이미지의 컬러에서 변화;
- 그림자 또는 썬 플레어의 시뮬레이션;
- 컴퓨터 화면이나 휴대폰 화면 또는 TV 화면의 사진에 나타나는, 컴퓨터 화면의 사진에 나타나는 일련의 선인 스크린형 왜곡 줄무늬(무아레 효과)의 시뮬레이션. 상기 왜곡은 광고 이미지 상의 격자의 출현을 시뮬레이션하고 상기 격자의 탄성 변형을 수행함으로써 시뮬레이션될 수 있다.
실시예에서, 각각의 초기 광고 이미지에 대해, 적어도 백 개, 바람직하게는 적어도 수백 개의 이미지가 이러한 변환을 구현함으로써 생성된다.
실시예에서, 각각의 변환 유형은 정해진 확률에 따라 구현될 수 있고 초기 광고 이미지로부터 생성된 이미지는 각 변환과 관련된 확률에 따라 자동으로 생성된다. 도 5a를 참조하면, 다수의 적용 가능한 변환 및 이들의 연관된 확률을 보여주는 트리의 비제한적이고 개략적인 예가 도시되어 있다. 또한, 각 변형의 파라미터는 미리 정의된 범위(예를 들어, 회전 각도, 자르기 비율 등) 중에서 무작위로 선택할 수도 있다.
도 5b를 참조하면, 초기 광고에서 자동으로 생성된 이미지의 몇 가지 예가 나와 있다.
따라서, 입력 이미지를 입력으로 수신하고 다음을 출력하도록 구성된 머신 러닝 알고리즘을 훈련하기 위한 데이터베이스를 얻을 수 있다:
- 입력 이미지 내에서 감지된 광고 이미지의 식별 및/또는 상기 광고 이미지에 해당하는 레퍼런스 립-메이크업 제품의 식별; 또는,
- 입력된 이미지가 광고 데이터베이스의 어떤 광고 이미지와도 일치하지 않음을 나타내는 출력.
상기 머신 러닝 알고리즘은 예를 들어 resnet 또는 mobilenet 유형의 CNN(convolutional neural network)일 수 있다. 이러한 유형의 네트워크에서는 resnet 또는 mobilenet 구조의 마지막 계층이 완전히 연결된 계층으로 대체될 수 있다. 선택적으로, 모든 출력에 대한 확률을 계산하기 위해 softmax 레이어를 추가할 수도 있다. 그 다음, 가장 높은 확률을 결정된 임계값과 비교하어 그 확률이 광고에 유효하게 일치하기에 충분히 높다는 것을 보장할 수 있다. 가장 높은 확률이 충분히 높지 않으면, 입력 이미지가 광고에 해당한다고 판단되지 않는다.
입력 이미지에서 광고를 감지하고 상기 광고로부터 립-메이크업 제품을 식별하는 단계가 구현되지 않거나, 광고가 감지되지 않으면, 상기 방법은 상기 이미지의 후속 처리를 위해 입력 이미지의 전처리(300)를 포함한다. 전처리는 이미지에 보이는 사람의 입을 포함한 이미지의 일부를 추출하는 것을 목표로 한다. 이러한 전처리의 개략적인 예가 도 4a 내지 도 4d를 참조로 도시되어 있다. 입력 이미지의 전처리(300)는 R. Shaoqing et al. "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", Computer Vision and Pattern Recognition, arXiv: 1506.01497, 2016, Viola-Jones 객체 감지 알고리즘, 또는 숙련자에게 알려진 임의의 다른 얼굴 감지 알고리즘에 개시된 유형의 지역 기반 컨볼루션 신경망과 같은 얼굴 감지 알고리즘(310)을 구현하는 단계를 포함할 수 있다.
그 다음, 전처리(300)는, 도 4a 및 4b를 참조하여, 이미지에 나타나는 얼굴이 미리 정의된 크기를 갖고 미리 정의된 방향을 갖도록 사람의 얼굴 이미지를 정규화(320)하는 단계를 포함한다. 따라서, 립-메이크업 식별 방법으로 처리되는 모든 입력 이미지는 항상 동일한 크기와 방향을 가지므로, 이후에 이미지에 구현되는 알고리즘이 더 높은 성능을 나타내고 더 적은 계산이 필요하게 한다. 얼굴의 방향은 눈의 두 가장자리 사이에 연장되는 선과 수평선 사이에 형성된 선, 바람직하게는 눈의 외부 가장자리와 수평선 사이에서 연장되는 선에 형성된 각도로 정의될 수 있다.
이 정규화는 수동으로 또는 얼굴 랜드마크 감지 알고리즘을 사용하여 눈의 가장자리를 감지하고 원하는 각도의 이미지를 동시에 회전하는 아핀 회전 행렬을 사용하여 이미지를 피벗함으로써 수행될 수 있으며, 타겟 치수에 도달하기 위해 이미지를 정해진 크기로 가져온다. 타겟 치수는 이미지에서 헤드의 타겟 폭일 수 있다.
그 다음, 전처리는 도 4c에 도시된 바와 같이 이미지 상의 입술(330)의 에지를 위치시키는 단계를 포함한다. 이 단계는 이미지에 얼굴 랜드마크 감지 알고리즘을 구현하여 달성할 수 있다. 얼굴 랜드마크 감지 알고리즘은 예를 들어 다음 간행물에 개시된 알고리즘 중에서 선택될 수 있다:
- V. Kazemi and al. "One Millisecond Face Alignment with an Ensemble of Regression Trees" 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, 2014, pp. 1867-1874. doi: 10.1109/CVPR.2014.241;
- R. Valle and al. "A Deeply-initialized Coarse-to-fine Ensemble of Regression Trees for Face Alignment".
대안으로, 서브 단계(320)에서 눈의 가장자리를 찾기 위해 얼굴 랜드마크 감지 알고리즘이 구현된 경우, 알고리즘에 의해 출력되는 입의 가장자리에 위치한 랜드마크에 얼굴 이미지를 정규화하는 데 사용되는 아핀 회전 행렬의 회전 및 스케일 파라미터를 적용함으로써 얼굴 이미지의 정규화 후 입 가장자리에서 포인트의 위치를 추론할 수 있다.
그런 다음 입력 이미지에 표시된 입의 일부만 유지하기 위해, 그 예가 도 4c에 도시된, 서브 단계(340) 동안 입력 이미지가 잘린다. 잘린 부분은 그런 후 후속 처리를 위해 고정된 크기를 갖도록 크기를 조정할 수 있다.
따라서, 전처리(300)의 결과는 사람의 입을 중심으로 고정된 크기의 사진이다.
그런 다음, 립-메이크업 제품 식별은 입력 이미지에 나타난 제품과 가장 가까운 레퍼런스 립-메이크업 제품을 결정하는 것을 목표로 하는 단계를 포함한다.
이를 위해, 인물의 전체 얼굴에 대한 색상 정보를 갖도록, 전처리(300)에 의해 생성된 입력 이미지의 일부 또는, 보다 바람직하게는, 전체 입력 이미지에 대해 색보정(400)을 수행할 수 있다. 실제로, 입력 이미지의 획득 조건은 입력 이미지의 컬러의 렌더링을 변경할 수 있다. 이는 주변 조명 조건 또는 입력 이미지가 잡지 페이지의 이미지인 경우 잡지 용지에 의한 변경으로 인해 발생할 수 있다.
색보정(400)은 예를 들어 입력 이미지의 각 컬러 채널의 컬러 히스토그램을 확장하는 것을 포함할 수 있다. 예를 들어, 이미지의 컬러 채널이 적색, 녹색 및 청색인 경우, 각 픽셀은 각 컬러 채널에서 0에서 255 사이의 값을 나타낼 수 있다. 색보정은 각 컬러 채널에서 입력 이미지의 픽셀의 최소값 및 최대값(예를 들어, 0과 255 사이에 포함된 A 및 B)을 감지하고, 최소값 A가 0으로, 최대값 B는 255로 대체되도록 보정을 제공하는 단계를 포함할 수 있고, 동일한 비율을 유지하기 위해 초기에 A와 B 사이에 구성된 모든 값이 다시 계산된다. 예를 들어, 값 C는 C'=C*255/(B-A)로 다시 계산될 수 있다.
더욱이, 색보정은 가능한 한 많이 채도 채널을 확장하기 위해 이미지의 색도 영역을 HSV 영역으로 변환하고, 색상 H, 채도 S 및 명도 L을 표현하며, 픽셀의 채도 값에 대해서도 동일한 확장을 수행하는 단계를 포함할 수 있다. .
다른 실시예에서, 머신 러닝 기반 기술을 포함하는 다른 색보정 기술이 구현될 수 있다. 예를 들어, M. Afifi, "Semantic White Balance : Semantic Color Consistancy Using Convolutional Neural Network", arXiv: 1802.00153v5 [cs.CV] 2019년 5월 31일의 간행물을 참조할 수 있다.
그 다음, 상기 방법은 입력 이미지 상에서 보이는 입이 립-메이크업을 하고 있는지 여부를 결정하는 단계(500)를 포함한다.
도 1에 도시된 실시예에서, 이 단계는 바람직하게는 전처리(300) 및 색보정(400)을 수행한 후 입력 이미지를 입력으로 수신하고 립-메이크업을 했다는 표시 또는 립-메이크업을 하지 않았다는 표시를 출력하도록 구성된 이진 분류기를 구현함으로써 수행된다.
상기 분류기는 CNN(Convolutional Neural Network), 예를 들어 이 용도에 적합한 Resnet 또는 Mobilenet 네트워크일 수 있다. 특히, Resnet 네트워크가 사용될 수 있으며, 여기서 마지막 레이어가 제거되고 (각각 "립-메이크업" 또는 "립-메이크업 없음"에 해당하는) 두 개의 출력이 있는 완전히 연결된 레이어로 대체된다.
CNN은 화장을 했는지 여부에 관계없이 적어도 수천 개의 입 이미지로 구성된 학습 데이터베이스에서 지도 학습에 의해 훈련될 수 있다. 훈련에 사용되는 각 이미지는 초기 얼굴 이미지에 앞서 설명한 것과 동일한 전처리(300)를 수행하여 획득할 수 있다. 바람직하게는, 학습 데이터베이스는 립-메이크업을 한 사람들의 이미지와 메이크업을 하지 않은 사람들의 이미지를 대략 동일한 비율로 포함한다.
도 2에 도시된 대안적인 실시예에서, 단계(500)는 립-메이크업 제품의 부재를 포함하는 복수의 질감 및 다수의 립-메이크업 질감 중에서 입력 이미지에서 보이는 입을 덮고 있는 립-메이크업 제품의 질감을 결정하는 단계일 수 있다. 예를 들어, 상기 립-메이크업 질감은 다음을 포함할 수 있다:
- 무광;
- 투명;
- 유광.
도 6에 개략적으로 도시된 바와 같이, 질감 판정은 바람직하게는 전처리(300) 및 색보정(400)을 수행한 후 입력 이미지를 입력으로 수신하고, 메이크업의 부재를 포함하여 위에 주어진 복수의 질감 중에서 립스틱의 질감 표시를 출력하도록 구성된 분류기를 사용하여 구현될 수 있다.
상기 분류기는 CNN일 수 있으며, 이전에 Resnet 또는 Mobilenet 네트워크일 수 있으며, 여기서 마지막 레이어는 원하는 출력(질감 당 하나의 출력)을 갖는 완전히 연결된 레이어로 대체되었다.
이 모델은 또한 (위에 개시된 전처리(300)를 구현하여 얼굴 이미지로부터 획득된) 적어도 수천 개의 입 이미지로 구성되고 각 입 이미지에 대해 이미지에 보이는 립-메이컵 제품의 질감을 나타내기 위해 또는 립-메이크업이 없음을 나타내기 위해 주석이 달린 학습 데이터베이스를 사용한 지도 학습에 의해 훈련될 수 있다. 바람직하게는, 학습 데이터베이스로부터의 이미지는 거의 동일한 비율로 모든 가능한 질감을 나타낼 수 있다.
단계(500)의 결과 입력 이미지에 보이는 사람이 화장을 하지 않은 경우, 시스템(1)은 입력 이미지를 전송한 사용자에게 해당 이미지에 립-메이크업이 없음을 알리는 통지(550)를 보낼 수 있다.
다른 경우에, 상기 방법은 입력 이미지에 나타나는 립-메이크업 제품의 컬러 파라미터를 결정하는 단계(600)를 포함한다.
도 7을 참조하면, 이러한 컬러 파라미터는 입에 속하는 입력 이미지의 픽셀 세트를 선택함으로써 결정될 수 있다. 이를 위해, 전처리(100) 동안 입술의 가장자리를 나타내는 랜드마크를 재사용하고 입술에 속하는 픽셀을 선택한다. 이는 도 7의 두 번째 이미지에 나와 있다. 그런 다음, 이 서브세트로부터 일련의 흰색 픽셀과 검은색 픽셀이 제거되는 데, 이는 흰색 픽셀은 치아 또는 카메라 플래시의 반사에 해당할 수 있고 검은색 픽셀은 입술의 가장자리에 해당할 수 있기 때문이다. 결과 픽셀 세트가 도 7의 세 번째 이미지에 표시된다.
그런 다음, 단일 클러스터가 있는 k-평균 알고리즘이 나머지 픽셀 세트의 컬러 파라미터에 대해 구현된다. 상기 컬러 파라미터는 RGB 비색 영역 또는 CIE L*a*b* 비색 영역으로 표현될 수 있다. 립-메이크업 제품의 컬러 파라미터는 픽셀 세트의 컬러 파라미터 중심의 컬러 파라미터에 해당하며, 상기 중심은 k-평균 알고리즘에 의해 출력된다.
그 다음, 상기 방법은 입력 이미지에 나타나는 립-메이크업의 컬러 파라미터와 데이터베이스의 레퍼런스 립-메이크업 제품의 적어도 일부의 컬러 파라미터 사이의 거리를 계산하여(700), 데이터베이스의 적어도 하나의 레퍼런스 립-메이크업 제품이 이미지로부터 립-메이크업의 컬러 파라미터와의 거리가 미리 결정된 임계값 미만인지를 결정할 수 있다. 이 단계를 통해 입력 이미지의 립-메이크업 제품이 레퍼런스 립-메이크업 제품 데이터베이스에 존재하는 컬러 범위에 속하는지, 식별 방법의 결과가 타겟 립-메이크업 제품에서 너무 멀리 떨어져 있을 것 같은 레퍼런스 립-메이크업 제품을 출력하지 않는지 확인할 수 있다.
예를 들어, 샤넬 립-메이크업 제품 데이터베이스는 샤넬에서 판매하는 립-메이크업 제품 세트에 해당한다. 이 데이터베이스에는 녹색 립-메이크업 제품이 포함되어 있지 않다. 따라서, 녹색 립스틱으로 화장한 입을 나타내는 입력 이미지가 획득되면, 단계(600)는 샤넬 레퍼런스 데이터베이스로부터의 어떤 립-메이크업 제품도 미리 결정된 임계값 미만의 녹색 립스틱의 컬러 파라미터와의 거리를 가지지 않고, 따라서 샤넬 레퍼런스 데이터베이스 중 어떤 립-메이크업 제품도 입력 이미지에 보이는 립스틱에 해당하지 않는다는 표시를 초래할 것이다.
단계(500)가 립-메이크업 제품의 질감을 결정하는 것을 포함하는 방법의 실시예에서, 단계(600)는 입력 이미지에 나타나는 메이크업 제품 단계(500) 동안 결정된 질감과 동일한 질감을 갖는 레퍼런스 립-메이크업 제품의 서브세트에 대해서만 구현될 수 있다.
레퍼런스 립-메이크업 제품의 컬러 파라미터와 관련하여, 이러한 파라미터는 이전에 각 레퍼런스 립-메이크업 제품의 색상 설명으로 알려져 있을 수 있다.
그러나, 보다 관련성이 높은 컬러 파라미터의 경우, 각 레퍼런스 메이크업 제품을 바른 입 이미지에서 컬러 파라미터를 추출할 수 있다. 상기 이미지는 각각의 레퍼런스 메이크업 제품을 실제로 바른 사람들의 이미지를 획득함으로써 획득될 수 있거나, 복수의 얼굴 이미지에 각각의 레퍼런스 메이크업 제품의 가상 시도를 수행함으로써 생성될 수 있다.
여기에서는 사람의 입에 해당하는 픽셀을 선택하고 해당 픽셀을 메이크업 제품의 렌더링을 시뮬레이션하는 픽셀로 대체하는 알고리즘인 가상 시도의 의미에 포함된다.
또한, 한 이미지에서 다른 이미지로 메이크업 스타일을 전송하도록 구성된 GAN(Generative Adversarial Networks) 또는 VAE(Variational Auto-encoder)와 같은 딥 러닝 생성 모델의 구현인 가상 시도의 의미에도 포함된다. 예를 들어 H. Chang and al. "Paired Cycle GAN: Asymmetric Style Transfer for Applying or Removing Makeup", CVPR, 2018, 2018년 6월의 간행물을 참조할 수 있다.
어떤 경우든, 이미지는 단계(300)의 전처리 및 도 7을 참조하여 위에 개시된 것과 동일한 픽셀 선택 프로세스를 받는다. 그런 다음, 단일 클러스터를 갖는 첫 번째 k-평균 알고리즘이 각 이미지에 대해 구현되고, 알고리즘에 의한 중심 출력은 해당 이미지에 대한 레퍼런스 립-메이크업 제품의 컬러 파라미터에 해당한다.
결국, 각각의 레퍼런스 립-메이크업 제품은 상기 레퍼런스 제품의 적용을 보여주는 각 이미지의 중심의 컬러 파라미터를 포함하는 세트로 표현된다. 따라서, 레퍼런스 립-메이크업 제품의 컬러 파라미터를 획득하기 위해 N개의 이미지가 사용된다면, 이 제품은 N개의 포인트로 표현될 것이다.
따라서, 타겟 립-메이크업 제품의 컬러 파라미터와 레퍼런스 제품 사이의 거리의 계산은 타겟 립-메이크업 제품의 컬러 파라미터와 레퍼런스 립-메이크업 제품의 적용을 나타내는 각각의 이미지에 대해 획득된 컬러 파라미터 사이의 거리를 계산하는 단계를 포함한다. 레퍼런스 립-메이크업 제품을 나타내는 N개의 이미지에 대해 위에 제공된 예를 사용하여, N개의 거리가 계산된다.
RGB나 CIEL*a*b* 색 공간과 같은 색도 영역에서 색 파라미터를 표현하면, 각 색 성분의 차이를 2차 합으로 하여 거리를 계산할 수 있다. 대안으로, CIE DE2000 또는 CIE94와 같은 거리는 인간의 눈으로 평가된 색상 불일치를 더 잘 나타내므로 구현될 수 있다.
각각의 거리가 계산되면, 적어도 하나의 레퍼런스 메이크업 제품에 대해, 대상 립-메이크업 제품과 레퍼런스 메이크업 제품에 대해 획득된 포인트 중 하나 사이의 적어도 하나의 거리가 미리 결정된 임계치보다 작은지 여부가 결정된다. 그렇지 않다면, 립-메이크업 식별 시스템(1)은 입력 이미지에 보이는 제품에 대응하는 레퍼런스 메이크업 제품이 발견되지 않을 수 있음을 나타내는 메시지(750)를 사용자에게 반환할 수 있다.
실시예들에서, 임계값은 다음과 같이 결정될 수 있다. 참고 립-메이크업 제품 세트(청색, 흰색, 녹색 등)에 표현되지 않은 색상을 포함하여 다양한 색상을 나타내는 입 이미지 세트가 사용된다. 각 이미지에 대해, 위의 설명에 따라 입의 컬러 파라미터와 레퍼런스 제품의 컬러 파라미터 사이의 거리를 계산하고, 세트의 이미지에 대해 가장 작은 거리를 선택한다. 그러면, 임계값은 세트에 표현되지 않은 색상 중에서 얻은 가장 작은 거리로 설정될 수 있다. 따라서, 레퍼런스 립-메이크업 제품 중 표현되지 않은 색상을 나타내는 모든 이미지가 상기 임계값보다 큰 거리를 갖는다.
다른 경우에, 상기 방법은 레퍼런스 립-메이크업 제품 데이터베이스 중에서 입력 이미지에 보이는 립-메이크업 제품에 가장 잘 일치하는 제품을 식별하는 단계(800)를 포함한다.
이 단계(800)의 제 1 실시예에 따르면, 식별된 레퍼런스 립-메이크업 제품은 컬러 파라미터가 입력 이미지에서 보이는 립-메이크업 제품의 컬러 파라미터와 가장 작은 거리를 갖는 제품일 수 있다. 이 실시예는 상기 방법이 이미지에서 립-메이크업 제품의 질감 결정 단계를 포함하는 경우에 바람직하게 사용될 수 있다. 실제로, 그 경우에, 계산된 거리의 수는 타겟 제품과 동일한 질감을 갖는 레퍼런스 립-메이크업 제품의 수로만 감소될 수 있다. 또한, 이 경우, 색상과 질감이 결정되어 식별 방법에 우수한 정밀도를 제공한다.
다른 실시예에 따르면, 가장 잘 일치되는 레퍼런스 립-메이크업 제품의 식별은, 레퍼런스 메이크업 제품 각각에 대해, 입력 이미지에 보이는 립-메이크업 제품에 해당할 확률을 직접 출력하도록 훈련된 분류 모델을 이용하여 수행될 수 있다. 가장 확률이 높은 레퍼런스 메이크업 제품이 타겟 제품에 해당하는 제품으로 선택된다.
상기 모델은 (전처리 단계(100) 또는 보다 바람직하게는 색보정 단계(400)의 출력에서 획득된) 입 이미지를 입력으로서 수신하고 레퍼런스 제품 데이터베이스의 모든 레퍼런스 메이크업 제품 중 선택된 하나를 출력하도록 구성될 수 있다. 이 모델은 예를 들어 Resnet 유형의 컨볼루션 신경망일 수 있으며, 마지막 레이어는 레퍼런스 메이크업 제품의 수와 동일한 수의 출력을 갖는 완전히 연결 레이어로 대체된다. 선택한 레퍼런스 메이크업 제품은 네트워크의 가장 높은 출력 값이다.
선택적으로, 각 출력에 대한 확률을 계산하기 위해 Softmax 레이어가 할당될 수 있다. 이는 예를 들어 최고 출력 또는 출력들을 임계값 확률과 비교하고, 상응하는 확률이 상기 임계값보다 높은 복수의 제품을 상응하는 레퍼런스 립-메이크업 제품으로서 선택하기 위해 사용될 수 있다.
이 모델은, 각각의 레퍼런스 립-메이크업 제품에 대해, 상기 레퍼런스 립-메이크업 제품을 바른 복수의 얼굴 이미지를 포함하는 학습 데이터베이스에서 훈련될 수 있다. 이들 이미지는 각각의 레퍼런스 립-메이크업 제품을 바른 사람들의 실제 이미지일 수 있으나, 바람직한 실시예에서는, 인위적으로 생성된 이미지일 수 있다.
각 레퍼런스 메이크업 제품의 가상 시도를 수행함으로써 인위적으로 생성된 이미지를 생성할 수 있다. 여기서 다시, 가상 시도는 생성 딥 러닝 네트워크를 사용하여 이미지 생성을 포함하는 것으로 이해된다.
이 경우, 단계(500)에서, 타겟 제품의 질감을 판단할 필요가 없는데, 이는 이러한 유형의 모델이 가장 잘 어울리는 레퍼런스 립-메이크업 제품을 직접 출력할 수 있기 때문이다. 그러나, 단계(500)가 질감 결정을 포함하는 경우, 타겟 제품에 대응하는 레퍼런스 립-메이크업 제품의 선택은 타겟 제품과 동일한 질감을 갖는 레퍼런스 제품 중에서 다른 레퍼런스 제품의 확률을 고려하지 않고 가장 높게 대응하는 확률을 나타내는 제품을 선택하는 단계를 포함한다
레퍼런스 메이크업 제품이 식별되면, 시스템(1)은 응답 메시지(900)에서 상기 제품의 표시를 제공할 수 있다. 이 응답 메시지는 또한 상기 레퍼런스 제품을 판매하는 e-shop에 액세스하기에 적합한 하이퍼링크와 같은 연결 정보를 포함할 수 있다. 응답 메시지(900)는 또한 상기 레퍼런스 립-메이크업 제품을 가상으로 시도하기 위한 가상 시도 애플리케이션에 액세스하기 위한 연결 정보를 포함할 수 있다.
이상에서 설명한 바와 같이, 본 발명에 따른 식별 방법은 어떤 단계가 구현되고 어떻게 구현되는지에 따라 다양하게 구현될 수 있다.
바람직한 구현에 따르면, 단계(100, 200, 300 및 400)가 구현된다. 이후, 입력 이미지에 나타난 입이 메이크업을 했는지 여부만을 출력하는 분류기를 이용하여 단계(500)를 구현한다. 그 다음, 단계(600 내지 800)가 구현된다. 단계(800)의 구현은 타겟 제품과 가장 유사한 레퍼런스 립-메이크업 제품을 식별하도록 구성된 분류 모델을 사용한 위에 개시된 구현이다.
제 2 바람직한 구현에 따르면, 단계(100 내지 400)가 구현된다. 그 다음, 질감 분류기를 사용하여 단계(500)가 구현된다. 그런 다음, 단계(600 내지 800)가 구현되고 단계(500)에서 식별된 질감을 갖는 레퍼런스 메이크업 제품 중에서 입력 이미지에 나타나는 립-메이크업 제품의 컬러 파라미터와 가장 거리가 작은 것을 선택하여 단계(800)의 구현이 수행된다.
1: 립-메이크업 식별 시스템
2: 사용자 단말
10: 컴퓨터
11: 메모리
12: 인터페이스

Claims (17)

  1. 복수의 레퍼런스 립-메이크업 제품 각각에 대해, 식별자 및 컬러 파라미터를 저장하는 메모리(11) 및 컴퓨터(10)를 포함하는 시스템(1)에 의해 구현되는 입력 이미지로부터 립-메이크업 제품을 식별하는 방법으로서,
    - 입력 이미지에서 사람의 입을 감지하는 단계(300);
    - 입을 메이크업했는지 여부를 판단하는 단계(500);
    - 사람의 입이 메이크업된 경우:
    o 입에 속하는 이미지의 픽셀 중 적어도 일부로부터 입력 이미지의 립-메이크업의 컬러 파라미터를 결정하는 단계(600);
    o 이미지로부터의 립-메이크업의 컬러 파라미터와 복수의 레퍼런스 립-메이크업 제품 중 적어도 일부의 컬러 파라미터 사이의 거리를 계산하는 단계(700); 및
    o 입력 이미지의 립-메이크업의 컬러 파라미터와 레퍼런스 립-메이크업 제품 중 하나의 컬러 파라미터 사이의 적어도 하나의 거리가 미리 결정된 임계값 미만인 경우, 이미지 상의 립-메이크업 제품과 가장 잘 매칭되는 레퍼런스 립-메이크업 제품을 식별하는 단계(800)를 포함하는 립-메이크업 제품을 식별하는 방법.
  2. 제1항에 있어서,
    이미지 상의 립-메이크업 제품과 가장 잘 매칭되는 레퍼런스 립-메이크업 제품을 식별하는 단계(800)는 입 이미지를 입력으로서 수신하고 모든 레퍼런스 립-메이크업 제품 중 선택된 하나를 출력하도록 구성된 분류 모델을 구현하는 단계를 포함하는 립-메이크업 제품을 식별하는 방법.
  3. 제1항에 있어서,
    입이 메이크업되었는지 여부를 판단하는 단계(500)는 복수의 입 이미지에 대해 훈련되고 립-메이크업 제품의 유무를 판단하도록 구성된 이진 분류 모델을 구현하는 단계를 포함하는 립-메이크업 제품을 식별하는 방법.
  4. 제1항에 있어서,
    이미지 상의 립-메이크업 제품과 가장 잘 매칭되는 레퍼런스 립-메이크업 제품을 식별하는 단계(800)는, 각각의 레퍼런스 립- 메이크업 제품에 대해, 상기 레퍼런스 립-메이크업 제품을 바른 얼굴의 인위적으로 생성된 복수의 이미지들을 비교하는 학습 데이터세트 상에 훈련된 분류 모델을 구현하는 단계를 포함하는 립-메이크업 제품을 식별하는 방법.
  5. 제1항에 있어서,
    이미지의 립-메이크업 제품의 질감을 판단하는 단계(500)를 더 포함하고, 상기 이미지의 립-메이크업 제품의 컬러 파라미터와 레퍼런스 립- 메이크업 제품의 컬러 파라미터 사이의 거리를 계산하는 단계(700)는 이미지의 립-메이크업 제품과 동일한 질감을 갖는 레퍼런스 립-메이크업 제품에 대해서만 수행되는 립-메이크업 제품을 식별하는 방법.
  6. 제5항에 있어서,
    립-메이크업 제품의 질감을 판단하는 단계와 이미지 상에 입이 메이크업되었는지 여부를 판단하는 단계는, 얼굴을 나타내는 입력 이미지로부터, 립-메이크업 제품의 부재 및 립-메이크업 제품의 복수의 질감들 중에서 선택된 카테고리를 출력하도록 구성된 훈련 모델을 구현함으로써 동시에 수행되는 립-메이크업 제품을 식별하는 방법.
  7. 제1항에 있어서,
    입력 이미지의 립-메이크업의 컬러 파라미터를 결정하는 단계(600)는:
    - 입에 속하는 입력 이미지의 픽셀 집합을 선택하는 단계;
    - 픽셀 세트에서 흑백 픽셀을 제거하는 단계; 및
    - 픽셀 세트의 컬러 파라미터에 대해 단일 클러스터로 k-평균 알고리즘을 구현하고, 픽셀 세트의 컬러 파라미터의 중심으로서 립-메이크업의 컬러 파라미터를 결정하는 단계를 포함하는 립-메이크업 제품을 식별하는 방법.
  8. 제1항에 있어서,
    레퍼런스 립-메이크업 제품의 컬러 파라미터는, 각각의 레퍼런스 립-메이크업 제품에 대해,:
    - 복수의 얼굴 이미지를 포함하는 얼굴 세트에 대해 상기 립-메이크업 레퍼런스 제품의 가상 시도(try-on)를 수행하는 단계;
    - 획득한 각 이미지에 대해,
    o 입에 속하는 픽셀 세트를 선택하는 단계;
    o 픽셀 세트에서 흑백 픽셀을 제거하는 단계; 및
    o 픽셀 세트의 컬러 파라미터에 대해 단일 클러스터로 k-평균 알고리즘을 구현하여 이로써 중심을 출력하는 단계;
    각각의 획득된 이미지의 중심의 컬러 파라미터를 포함하는 세트로서 레퍼런스 립-메이크업 제품의 컬러 파라미터를 결정하는 단계; 및
    이미지로부터의 립-메이크업의 컬러 파라미터와 복수의 레퍼런스 립-메이크업 제품 중 적어도 일부의 컬러 파라미터 사이의 거리를 계산하는 단계(700)에 의해 획득되고,
    거리가 계산된 각각의 레퍼런스 립-메이크업 제품에 대해, 이미지로부터 립-메이크업 제품의 컬러 파라미터와 각각의 획득된 이미지에 대해 획득된 각 중심의 컬러 파라미터 사이의 거리를 계산하는 단계를 포함하는 립-메이크업 제품을 식별하는 방법.
  9. 제1항에 있어서,
    입력 이미지의 립-메이크업 제품의 컬러 파라미터를 결정하기 전에 입력 이미지의 컬러 보정 단계(400)를 더 포함하는 립-메이크업 제품을 식별하는 방법.
  10. 제1항에 있어서,
    각각의 레퍼런스 립-메이크업 제품과 관련된 복수의 광고 이미지를 포함하는 광고 데이터베이스를 더 포함하는 시스템(1)에 의해 구현되며, 상기 방법은 입력 이미지가 광고 데이터베이스에 포함된 광고 이미지에 해당하는지 여부를 판단하고(200), 만약 그렇다면, 입력 이미지 상의 립-메이크업 제품을 상기 광고 이미지와 연관된 레퍼런스 립-메이크업 제품으로 식별하는 예비 단계를 포함하는 립-메이크업 제품을 식별하는 방법.
  11. 제10항에 있어서,
    입력 이미지가 광고 데이터베이스에 해당하는지 여부를 판단하는 단계는(200)는 상기 광고 데이터베이스의 광고 이미지 및, 각각의 광고 이미지에 대해, 상기 광고 이미지의 적어도 하나의 변형을 구현함으로써 광고 이미지로부터 인위적으로 생성된 추가 이미지 세트를 포함하는 학습 데이터베이스에 대해 훈련된 머신 러닝 알고리즘에 의해 구현함으로써 수행되는 립-메이크업 제품을 식별하는 방법.
  12. 제11항에 있어서,
    추가 이미지를 생성하기 위해 각 광고 이미지에 수행되는 변환은:
    - 기하학적 변형,
    - 수정된 배경 레이어,
    - 스크린형 왜곡,
    - 그림자 또는 썬 플레어의 추가, 및
    - 컬러 편차
    중 하나 또는 이들의 조합인 립-메이크업 제품을 식별하는 방법.
  13. 제1항에 있어서,
    사용자 단말(2)로부터 입력 이미지를 수신하는 예비 단계(100)를 포함하고, 이미지의 립-메이크업 제품에 해당하는 레퍼런스 립-메이크업 제품이 결정되면, 레퍼런스 립-메이크업 제품의 식별을 포함하는 반환 메시지를 사용자 단말에 전송하는 단계(800)를 더 포함하는 립-메이크업 제품을 식별하는 방법.
  14. 제13항에 있어서,
    반환 메시지는 상기 레퍼런스 립-메이크업 제품을 판매하는 e-shop에 접속하기에 적합한 연결 정보 및/또는 상기 레퍼런스 립-메이크업 제품을 가상으로 발라보기 위한 가상 시도 애플리케이션을 더 포함하는 립-메이크업 제품을 식별하는 방법.
  15. 복수의 레퍼런스 립-메이크업 제품 각각에 대해, 식별자 및 컬러 파라미터를 저장하는 컴퓨터(10) 및 메모리(11)를 포함하는 립-메이크업 식별 시스템(1)으로서,
    상기 립-메이크업 식별 시스템은 제1항에 따른 방법을 구현하도록 구성되는 립-메이크업 식별 시스템.
  16. 컴퓨터 및 카메라를 포함하는 사용자 단말(2), 및 제15항에 따른 립-메이크업 식별 시스템에 의해 구현되는 립-메이크업 제품에 대한 식별을 요청하는 방법으로서,
    - 사용자 단말(2)이 이미지를 획득하는 단계;
    - 사용자 단말(2)이 획득 이미지 및 상기 획득 이미지에 나타나는 립-메이크업 제품을 식별하는 요청을 립-메이크업 식별 시스템(1)에 전송하는 단계;
    - 립-메이크업 식별 시스템(1)이 제1항에 따른 방법을 상기 이미지에 구현하는 단계;
    - 사용자 단말(2)이, 상기 요청에 응답하여,:
    o 이미지에 나타나는 립-메이크업 제품의 표시(250, 800),
    o 이미지에서 립-메이크업 제품이 발견되지 않았다는 표시(550), 또는
    o 대응하는 립-메이크업 제품이 식별되지 않았다는 표시(650)를
    상기 립-메이크업 식별 시스템(1)으로부터 수신하는 단계를 포함하는 립-메이크업 제품에 대한 식별을 요청하는 방법.
  17. 컴퓨터에 의한 실행시 제1항에 따른 방법을 구현하기 위한 코드 명령어를 포함하는 컴퓨터 프로그램 제품.
KR1020210173941A 2020-12-09 2021-12-07 이미지에 나타나는 립-메이크업 제품을 식별하는 방법 KR20220081929A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20306519.8A EP4012604B1 (en) 2020-12-09 2020-12-09 A method for identifying a lip-makeup product appearing in an image
EP20306519.8 2020-12-09

Publications (1)

Publication Number Publication Date
KR20220081929A true KR20220081929A (ko) 2022-06-16

Family

ID=74175578

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210173941A KR20220081929A (ko) 2020-12-09 2021-12-07 이미지에 나타나는 립-메이크업 제품을 식별하는 방법

Country Status (6)

Country Link
US (1) US20220180565A1 (ko)
EP (1) EP4012604B1 (ko)
JP (1) JP7417574B2 (ko)
KR (1) KR20220081929A (ko)
CN (1) CN114625904A (ko)
ES (1) ES2975860T3 (ko)

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7634103B2 (en) 2001-10-01 2009-12-15 L'oreal S.A. Analysis using a three-dimensional facial image
JP2011181016A (ja) 2010-03-04 2011-09-15 Fujifilm Corp 判別器生成装置および方法並びにプログラム
JP5273208B2 (ja) 2011-06-07 2013-08-28 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
US10339685B2 (en) * 2014-02-23 2019-07-02 Northeastern University System for beauty, cosmetic, and fashion analysis
US11741639B2 (en) * 2016-03-02 2023-08-29 Holition Limited Locating and augmenting object features in images
KR102037489B1 (ko) 2017-06-08 2019-10-28 오드컨셉 주식회사 이미지 기반 광고 제공 방법, 장치 및 컴퓨터 프로그램
CN109427078A (zh) 2017-08-24 2019-03-05 丽宝大数据股份有限公司 身体信息分析装置及其唇妆分析方法
US20190166980A1 (en) * 2017-12-01 2019-06-06 Perfect Corp. Systems and Methods for Identification and Virtual Application of Cosmetic Products
CN108053365B (zh) * 2017-12-29 2019-11-05 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
US10755447B2 (en) * 2018-04-19 2020-08-25 Adobe Inc. Makeup identification using deep learning
US11010636B2 (en) 2018-10-25 2021-05-18 L'oreal Systems and methods for providing personalized product recommendations using deep learning
KR102118042B1 (ko) * 2019-01-17 2020-06-02 주식회사 아드리엘 인공 지능 기반의 광고 디자인 방법 및 이러한 방법을 수행하는 장치
JP6616541B1 (ja) * 2019-03-06 2019-12-04 廣美 畑中 化粧ノリの色彩度合いをａｉ判断で画像に表示する計測方法。
US10949715B1 (en) * 2019-08-19 2021-03-16 Neon Evolution Inc. Methods and systems for image and voice processing
KR20210091874A (ko) * 2020-01-15 2021-07-23 금오공과대학교 산학협력단 증강현실을 이용한 화장품 매칭 서비스 제공 시스템 및 방법
CN112016621B (zh) * 2020-08-28 2023-11-24 上海应帆数字科技有限公司 分类模型的训练方法、颜色的分类方法及电子设备
CN114119154A (zh) * 2021-11-25 2022-03-01 北京百度网讯科技有限公司 虚拟化妆的方法及装置

Also Published As

Publication number Publication date
EP4012604B1 (en) 2024-02-21
US20220180565A1 (en) 2022-06-09
CN114625904A (zh) 2022-06-14
JP2022091704A (ja) 2022-06-21
JP7417574B2 (ja) 2024-01-18
EP4012604A1 (en) 2022-06-15
ES2975860T3 (es) 2024-07-16

Similar Documents

Publication Publication Date Title
US10783354B2 (en) Facial image processing method and apparatus, and storage medium
US20200258206A1 (en) Image fusion method and device, storage medium and terminal
JP7413400B2 (ja) 肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体
US11748980B2 (en) Makeup evaluation system and operating method thereof
US9142054B2 (en) System and method for changing hair color in digital images
CN108463823B (zh) 一种用户头发模型的重建方法、装置及终端
CN106682632B (zh) 用于处理人脸图像的方法和装置
US20070058858A1 (en) Method and system for recommending a product based upon skin color estimated from an image
CN107085654B (zh) 基于人脸图像的健康分析方法及装置
CN107507144B (zh) 肤色增强的处理方法、装置及图像处理装置
US12039732B2 (en) Digital imaging and learning systems and methods for analyzing pixel data of a scalp region of a users scalp to generate one or more user-specific scalp classifications
US11576478B2 (en) Method for simulating the rendering of a make-up product on a body area
KR102009130B1 (ko) 실시간 메이크업 진단 및 질의응답 서비스 제공 시스템
CN111627076B (zh) 换脸方法、装置及电子设备
CN110648170A (zh) 一种物品推荐的方法及相关装置
CN111008971A (zh) 一种合影图像的美学质量评价方法及实时拍摄指导系统
CN114155569B (zh) 一种化妆进度检测方法、装置、设备及存储介质
CN103049754B (zh) 社交网络的图片推荐方法和装置
CN113573044B (zh) 视频数据处理方法、装置、计算机设备及可读存储介质
CN112581564A (zh) 一种图像生成方法、装置、电子设备和存储介质
KR20220081929A (ko) 이미지에 나타나는 립-메이크업 제품을 식별하는 방법
KR20190093372A (ko) 메이크업 평가 시스템 및 그의 동작 방법
CN112308654A (zh) 眼妆商品推荐程序、方法、装置以及系统
CN110544200A (zh) 一种实现视频中人与猫互换嘴部的方法
CN114565506B (zh) 图像颜色迁移方法、装置、设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal