KR102110053B1 - 얼굴 특징 분석 및 개인화된 조언을 제공하는 방법 및 시스템 - Google Patents

얼굴 특징 분석 및 개인화된 조언을 제공하는 방법 및 시스템 Download PDF

Info

Publication number
KR102110053B1
KR102110053B1 KR1020180144216A KR20180144216A KR102110053B1 KR 102110053 B1 KR102110053 B1 KR 102110053B1 KR 1020180144216 A KR1020180144216 A KR 1020180144216A KR 20180144216 A KR20180144216 A KR 20180144216A KR 102110053 B1 KR102110053 B1 KR 102110053B1
Authority
KR
South Korea
Prior art keywords
face
person
contrast
zone
image
Prior art date
Application number
KR1020180144216A
Other languages
English (en)
Other versions
KR20190074955A (ko
Inventor
오렐리 포쉐롱
상드라 꾸레쥬
엠마누엘 모제
프레데리크 모리조
Original Assignee
샤넬 파르퓜 보트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 샤넬 파르퓜 보트 filed Critical 샤넬 파르퓜 보트
Publication of KR20190074955A publication Critical patent/KR20190074955A/ko
Application granted granted Critical
Publication of KR102110053B1 publication Critical patent/KR102110053B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0621—Item configuration or customization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 사람의 얼굴 특징을 분석하는 방법에 관한 것으로,
- 상기 사람의 얼굴의 화상을 획득하는 단계;
- 상기 화상에서, 상기 사람의 얼굴의 적어도 2개의 구역을 구분하는 단계;
- 상기 적어도 2개의 구역 각각의 콘트라스트 값들을 결정하기 위해 상기 화상을 처리하는 단계;
- 상기 결정된 콘트라스트 값들에 기초하여, 미리 설정된 복수의 클러스터 중에서 상기 사람이 속하는 클러스터를 결정하는 단계로서, 상기 미리 설정된 클러스터들은, 얼굴들의 각각의 화상에서 참조 집단의 얼굴들의 동일한 구역들에 대해 결정된 콘트라스트 값들의 세트에 기초하여 정교화되는, 단계;
- 상기 사람에게 개인화된 정보를 제공하는 단계로서, 상기 개인화된 정보는 상기 사람이 속하는 클러스터에 의존하는, 단계를 포함한다.

Description

얼굴 특징 분석 및 개인화된 조언을 제공하는 방법 및 시스템{METHOD AND SYSTEM FOR FACIAL FEATURES ANALYSIS AND DELIVERY OF PERSONALIZED ADVICE}
본 발명은 사람의 얼굴 특징을 분석하는 방법 및 상기 방법을 구현하도록 구성된 시스템에 관한 것이다. 본 발명은 또한 메이크업 및 스킨 케어에 관한 개인화 된 정보의 가구에 관한 것이다.
연령, 여성성(femininity) 또는 남성성(masculinity), 또는 심지어 건강 상태에 대한 지각(perception)과 같은 지각 특징에 대한 얼굴 콘트라스트(facial contrasts)의 영향을 평가하기 위한 연구가 수행되었다.
얼굴 콘트라스트란 입, 눈 또는 눈썹, 그리고 이웃한 피부와 같은 얼굴의 특유의 특징 간의 콘트라스트를 의미합니다.
예를 들어, 논문 Porcheron A, Mauger E, Russel R (2013), "Aspects of facial contrast decrease with age and are cues for age perception", PLoS ONE 8(3): e57985, doi: 10.1371/journal.pone.0057985에서, 성인 백인 여성의 큰 표본에서 얼굴 콘트라스트가 연령에 따라 감소하는 경향이 있으며, 얼굴 콘트라스트의 인공적인 증가는 실제보다 젊은 여성들의 지각을 이끌었음을 보여준다.
또 다른 예에 따르면, Alex L. Jones, Richard Russel 및 Robert Ward의 "Cosmetics alter biologically-based factors of beauty: evidence from facial contrast", in Evolutionary Psychology, Vol. 13, Issue 1, 01/01/2015에서는, 눈과 눈썹의 휘도 콘트라스트(luminance contrast) 패턴이 성적 이형(sexually dimorphic)이며, 여성은 남성보다 눈썹 콘트라스트가 낮고 눈의 콘트라스트가 높다고 기술하고 있다.
화장품은 일반적으로 얼굴을 개선하고 매력적으로 만들기 위해 얼굴 특징 (예 : 피부, 입술, 눈썹 또는 속눈썹)의 모양을 변경하는 데 사용된다. 예를 들어, 마스카라를 사용하면 소비자의 표정이 더욱 강화될 수 있다. 그러나 소비자가 이용할 수 있는 메이크업 제품 및/또는 스킨 케어 제품의 매우 다양한 다양성은, 어떤 제품이 그들의 외모를 개선하고 그들의 요구를 만족시키는지 반드시 알 필요 없는 소비자가 특정 제품을 최적으로 선택하는 것을 복잡하게 만들 수 있다.
그러나 소비자가 스스로 그들의 특정 요구 사항을 파악하고 적절한 화장품 솔루션을 찾는 것은 종종 복잡하다. 많은 경우 소비자는 소비자가 원하는 특성을 제공하도록 설계되지 않은 제품을 무의식적으로 선택할 수 있다. 이 경우, 소비자는 선택한 화장품의 결과에 만족하지 않고 브랜드를 무시할 수 있다.
따라서 소비자가 각 얼굴의 특징에 미치는 영향에 따라 적절한 화장품을 선택하는 데 도움을 주어, 선택한 제품을 사용하면 원하는 결과(예를 들어, 더 여성스럽게 또는 더 젊게 보이도록)를 얻을 수 있도록 하는 것이 바람직할 것이다.
상기를 고려하여, 본 발명은 소비자의 요구를 결정하기 위해 소비자의 얼굴 특징을 분석할 수 있게 하는 데 목적이 있다.
또한, 본 발명은, 얼굴 특징에 따라 개인화된 조언을 소비자에게 제공하는 데 다른 목적이 있다.
상기 목적을 위한, 사람의 얼굴 특징을 분석하는 방법은,
- 상기 사람의 얼굴의 화상을 획득하는 단계;
- 상기 화상에서, 상기 사람의 얼굴의 적어도 2개의 구역을 구분하는 단계;
- 상기 적어도 2개의 구역 각각의 콘트라스트 값들을 결정하기 위해 상기 화상을 처리하는 단계;
- 상기 결정된 콘트라스트 값들에 기초하여, 미리 설정된 복수의 클러스터 중에서 상기 사람이 속하는 클러스터를 결정하는 단계로서, 상기 미리 설정된 클러스터들은, 얼굴들의 각각의 화상에서 참조 집단의 얼굴들의 동일한 구역들에 대해 결정된 콘트라스트 값들의 세트에 기초하여 정교화되는, 단계;
- 상기 사람에게 개인화된 정보를 제공하는 단계로서, 상기 개인화된 정보는 상기 사람이 속하는 클러스터에 의존하는, 단계를 포함한다.
바람직하게, 사람의 얼굴의 각 구역은, 입, 눈, 눈썹 및 머리카락의 그룹 중에서 선택된 얼굴의 특유의 특징을 포함하고, 또한 각 구역은 상기 특유의 특징을 포함하는 적어도 일 부분, 및 상기 특유의 특징에 인접한 피부를 포함하는 다른 부분을 포함한다.
바람직하게, 사람의 얼굴의 구역의 콘트라스트 값들의 결정은, 상기 특유의 특징을 포함하는 구역의 부분과 상기 특유의 특징에 인접한 피부를 포함하는 구역의 부분 사이의, CIE L*a*b* 컬러 공간에서의, 평균 콘트라스트 값을 측정하는 단계를 포함한다.
더 구체적으로, 사람의 얼굴의 구역의 콘트라스트 값들의 결정은, 상기 특유의 특징을 포함하는 구역의 부분과 상기 특유의 특징에 인접한 피부를 포함하는 구역의 부분 사이의, CIE L*a*b* 컬러 공간에서의 L, a 및 b 좌표 각각에서, 평균 콘트라스트 값을 결정하는 단계를 포함할 수 있다.
바람직한 실시예에 따르면, 상기 미리 설정된 클러스터들은,
- 감소된 차원들의 데이터 세트를 얻기하기 위해 참조 집단의 얼굴들의 구역들의 콘트라스트 값들의 세트를 처리하는 단계와,
- 감소된 차원들의 데이터 세트를 클러스터링하는 단계에 의해 정교화된다.
바람직하게는, 상기 처리하는 단계는 콘트라스트 값들의 세트에 대한 주성분 분석을 적용함으로써 수행된다.
실시예에서, 상기 사람이 속한 클러스터를 결정하는 단계는,
- 참조 집단의 감소된 차원들에서 대응하는 좌표를 획득하기 위해 상기 사람의 얼굴의 구역들의 콘트라스트 값들을 처리하는 단계와,
- 상기 획득된 좌표로부터 상기 사람이 속한 클러스터를 추론하는 단계를 포함할 수 있다.
실시예에서, 상기 사람의 얼굴의 적어도 2개의 구역을 구분하는 단계는, 얼굴의 2개 내지 4개 사이의 구역을 구분하는 단계를 포함하고, 각각의 구역은 입, 눈, 눈썹 및 머리카락의 그룹 중에서 하나의 얼굴의 특유의 요소를 포함한다.
상기 사람에게 제공된 개인화된 정보는,
- 상기 사람의 얼굴의 적어도 하나의 구역의 콘트라스트 값의 개인화된 수정에 관한 조언;
- 상기 사람의 얼굴의 적어도 하나의 구역의 콘트라스트 값의 개인화된 수정을 위한 적어도 하나의 케어 제품 또는 화장품의 식별; 및
- 상기 사람의 화상과 비교하여 변경된 상기 사람의 얼굴의 적어도 하나의 구역의 적어도 하나의 콘트라스트 값을 갖는 상기 사람의 얼굴의 외모의 시뮬레이션;
중 어느 하나를 포함할 수 있고,
상기 사람의 얼굴의 적어도 하나의 구역은, 입, 눈, 눈썹 및 머리카락의 그룹 중에서 선택된 하나의 얼굴의 특유의 요소를 포함하는 구역이다.
실시예에서, 상기 미리 설정된 복수의 클러스터는, 3개의 구역에 대해 결정된 콘트라스트 값들의 세트에 기초하여 정교화될 수 있고, 각각은 눈, 입 및 눈썹의 특징 중 하나를 포함한다.
실시예에서, 상기 미리 설정된 복수의 클러스터는 3개의 클러스터로 구성될 수 있다.
실시예에서, 상기 제공된 개인화된 정보는, 다음 규칙들 중 어느 하나에 따라 콘트라스트 값들의 수정을 추천하는 것을 포함한다.
- 입, 눈 및 눈썹 콘트라스트를 증가시킴.
- 입과 눈 콘트라스트를 증가시킴.
- 눈썹과 눈 콘트라스트를 증가시킴.
연산기에 의해 구현될 때,
- 구역의 콘트라스트 값들을 결정하기 위해 화상의 적어도 하나의 구분된 구역을 처리하는 단계;
- 감소된 차원들에서 각각의 좌표들을 획득하기 위해 상기 결정된 콘트라스트 값을 처리하는 단계; 및
- 상기 콘트라스트 값들이 속하는 클러스터를 추론하기 위해, 미리 설정된 클러스터들의 무게중심까지의 거리를 연산하는 단계를 실행하기 위한 명령어들을 포함하는 컴퓨터 프로그램 제품이 개시된다.
사람의 얼굴 특징을 분석하는 시스템이 개시되고, 그 시스템은,
- 화상 입력 장치,
- 연산기, 및
- 메모리를 포함하고,
상기 메모리는 참조 집단의 얼굴들의 적어도 2개의 구역에 대해 결정된 콘트라스트 값들의 세트에 기초하여 정교화된 클러스터들의 정의를 저장하고,
상기 연산기는 전술한 설명에 따른 방법을 구현하도록 구성된다.
실시예에서, 상기 화상 입력 장치는, 카메라 및/또는 상기 연산기를 외부 저장 장치와 연결하기 위한 인터페이스를 포함할 수 있다.
바람직하게, 상기 시스템은, 상기 개인화된 정보를 디스플레이하도록 적응된 디스플레이 장치를 더 포함한다.
더 바람직한 실시예에서, 상기 화상 입력 장치는 카메라이고, 상기 시스템은 상기 카메라, 중성색의 스크린 또는 배경, 및 조명을 포함하는 사진 스튜디오를 포함하며, 상기 디스플레이 장치 및 상기 사진 스튜디오는 상점 또는 미용실에 설치된다.
본 발명에 따른 방법은 사람의 얼굴 콘트라스트들을 분석하고, 이 콘트라스트들로부터, 미리 설정된 복수의 클러스터들 중에서 사람이 속하는 클러스터를 결정할 수 있게 한다.
사람의 얼굴 콘트라스트들과 미리 설정된 복수의 클러스터를 비교함으로써, 원하는 결과를 얻기 위해 사람의 얼굴 특징 중 어느 것이 메이크업으로 개선될 수 있는 지에 대한 정보를 제공한다.
실제로, 본 발명자는 참조 집단에 속하는 사람의 나이 또는 인종에 관계 없이, 이 참조 집단이 얼굴 콘트라스트들에 기초하여 단독으로 정교화된 복수의 클러스터들 사이에 분포될 수 있다는 것을 발견했다. 따라서 특정 클러스터에 사람이 속하는 것은, 그 사람이 다른 클러스터들에 비해 뚜렷한 얼굴 콘트라스트들을 나타내고, 따라서 특정 얼굴 콘트라스트 패턴을 생성한다는 것을 나타낸다.
이 분석은, 사람이 얻고자 하는 결과에 따라, 얼굴의 어느 구역의 콘트라스트가 수정될 필요가 있는지 그리고 어떤 방식으로 수정될 필요가 있는지를 결정할 수 있도록 한다. 특히, 원하는 결과를 얻기 위해 콘트라스트가 변경되어야 하는 방법을 알려주는 전용의 규칙들이, 각 클러스트에 대해 정의되는 것이 바람직하다. 화장품들은 얼굴 콘트라스트들에 미치는 영향에 따라 개인화된 방식으로 선택될 수 있다.
따라서, 본 발명은 얼굴 콘트라스트들에 따라 소비자의 개인화된 정보를 제공한다.
본 발명의 다른 특징 및 이점은 첨부 도면을 참조하여 비제한적인 예로서 주어진 다음의 상세한 설명으로부터 명백해질 것이다.
도 1a는 사람의 얼굴 특징을 분석하기 위한 시스템의 제 1 실시예의 개략도이다.
도 1b는 사람의 얼굴 특징을 분석하기 위한 시스템의 다른 실시예의 개략도이다.
도 2는 얼굴의 화상에서 구분된 구역들의 예를 보여주는 도면이다.
도 3a는 예시적인 참조 집단에 기초하여 설정된 클러스터들을 도시하는 도면이다.
도 3b는 동일한 유형의 메이크업에 대한 클러스터들 간의 콘트라스트 변화의 차이를 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 사람의 얼굴 특징을 분석하는 방법의 주요 단계를 개략적으로 도시하는 도면이다.
아래에서 보다 상세히 설명하는 바와 같이, 본 발명은 사람의 얼굴 특징, 특히 사람의 얼굴 콘트라스트들(contrasts)을 분석하여 사람이 속한 클러스터를 결정할 수 있게 한다. 클러스터는 참조 집단(reference population)의 얼굴 콘트라스트들의 분석에 기초하여 정교화된 복수의 미리 설정된 클러스터 중에서 선택된다.
따라서 사람의 얼굴 콘트라스트들의 특이성을 결정하고 결정된 특이성에 따라 개인화된 정보를 그 사람에게 제공할 수 있다.
얼굴 특징 분석 시스템
도 1a 및 도 1b를 참조하면, 사람의 얼굴 특징을 분석하기 위한 시스템(1)이 개략적으로 도시되어 있다.
이 시스템은 바람직하게는 프로세서, 마이크로프로세서, 또는 마이크로컨트롤러일 수 있는 연산기(11)를 포함하는 프로세싱부(10)을 포함한다. 연산기(11)는 이후에 개시된 방법에 따라, 화상(pictures) 및 화상으로부터 추출된 데이터를 처리하기 위한 코드 명령들을 실행하도록 구성된다.
상기 시스템은 또한 화상 입력 장치(12)를 포함한다. 화상 입력 장치(12)는 디지털 카메라와 같은 카메라, 및 카메라와의 연결을 위한 프로세싱부(10)의 인터페이스를 포함할 수 있다. 인터페이스는 프로세싱부(10)가 카메라로부터 일정 거리에 위치하는 경우 유선 커넥터 또는 무선 인터페이스일 수 있다.
바람직하게는, 카메라는 비색계적으로(colorimetrically) 캘리브레이션된다.
화상 입력 장치는 화상이 저장되는 외부 저장 장치를 연결하기 위한 프로세싱부(10)의 인터페이스일 수도 있다. 예를 들어, 프로세싱부(10)는 화상 입력 장치(12)를 형성하는 USB 포트를 포함할 수 있다.
시스템(1)은 메모리(13)를 더 포함한다. 메모리는 연산기(11)에 의해 실행될 때 연산기(11)가 아래에 설명된 방법을 수행하게 하는 소프트웨어 명령들을 저장하는 것이 바람직하다.
일 실시예에서, 메모리(13)는 프로세싱부(10)의 일부일 수 있다. 대안의 실시예에서, 메모리는 프로세싱부(10)와 분리되어 떨어진 거리에 위치할 수 있다. 이 경우, 메모리는 무선 연결에 의해 프로세싱부(10)에 의해 액세스될 수 있다. 이 경우, 프로세싱부(10)는 바람직하게는 인터넷과 같은 원격 통신 네트워크를 통해 메모리(13)에 원격 접속하기 위한 통신 인터페이스를 포함한다.
마지막으로, 프로세싱부(10)는 메이크업 및 스킨 케어 제품에 관한 정보를 포함하는 데이터베이스(2)에 연결되는 것이 바람직하다. 메이크업 및 스킨 케어 제품에 대한 정보는 다음과 같다.
- 제품 종류,
- 제품의 상업적 명칭
- 제품을 마케팅하는 브랜드 이름
- 색상 또는 색상 참조(color reference),
- 자외선 차단 지수,
- 적용 범위,
- 구성 성분,
- 크기 및/또는 용량,
- 가격 등
프로세싱부(10)는 시스템(1) 및 데이터베이스(2)의 물리적 위치에 따라 유선 또는 바람직하게는 무선 연결에 의해 데이터베이스(2)에 연결될 수 있다. 일반적으로, 프로세싱부(10)은 인터넷을 통해 데이터베이스에 액세스할 수 있다.
시스템(1)은 또한 바람직하게는 스크린일 수 있는 디스플레이(15)를 포함하고, 일부 실시예에서는 촉각 스크린을 포함한다.
도 1a에 개략적으로 도시된 실시예에서, 시스템은 상점, 미용실, 또는 임의의 등가물에 적어도 부분적으로 설치될 수 있다. 특히, 화상 입력 장치(12) 및 디스플레이(15)는 상점 또는 미용실에 위치될 수 있다.
화상 입력 장치(12)는 상점 또는 미용실에 설치된 사진 스튜디오에 설치되어 제어된 조건에서 화상을 촬영하도록 구성된 카메라인 것이 바람직하다. 사진 스튜디오는 중성색(흰색, 회색)의 스크린 또는 배경, 소프트박스와 같은 적어도 하나의 램프, 및 스크린 또는 배경에 대해 고정된 위치의 카메라를 포함할 수 있다. 카메라는 상점이나 미용실과의 통합을 향상시키기 위해 일방향 거울과 같은 반사 유리 뒤에 숨어있을 수 있다.
실시예에서, 카메라는 하나 또는 여러 개의 화상이 추출될 수 있는 비디오를 획득할 수 있는 비디오 카메라일 수 있다.
카메라로 촬영되거나 비디오로부터 추출된 비디오 또는 화상들은 프로세싱부(10)로 전송되며, 프로세싱부(10)는 화상을 처리하기 위한, 상점 또는 미용실에 위치한 컴퓨터, 또는 원격 서버일 수 있다.
디스플레이(15)는 프로세싱부로 전송된 화상의 처리에 따라 사용자에게 개인화된 정보를 표시하는 상점 또는 미용실에 위치하는 스크린이다.
다른 실시예에서, 시스템의 카메라는 사용자가 자신의 화상을 찍을 수 있는 이동 전화기, 태블릿 또는 스마트폰의 디지털 카메라이다. 이어서, 화상은 추가 처리를 위해 프로세싱부(10)로 전송된다.
일 실시예에서, 프로세싱부(10)는 이동 전화기에 구현될 수 있으며, 이 경우 연산기(11)는 전화기의 프로세서이고, 메모리(13)는 전화기의 메모리일 수 있으며, 메모리는 아래에 설명된 방법을 수행하기 위한 코드 명령들을 포함하는 어플리케이션 소프트웨어를 저장한다.
또 다른 실시예에서, 프로세싱부(10)는 전화기가 화상을 전송하는 원격 서버일 수 있다.
그 다음, 이동 전화기의 디스플레이 스크린(15)은 화상 처리 결과에 따라 개인화된 정보를 사용자에게 표시하는데 사용된다.
얼굴 특징 분석 방법
도 4를 참조하여, 사람의 얼굴 특징을 분석하는 방법을 설명한다. 그 방법은 상기 개시된 시스템에 의해 구현된다.
이 방법은 사람의 얼굴 콘트라스트들의 분석에 기초하며, 상기 분석은 사람의 얼굴의 화상 또는 비디오 상에서 수행된다.
따라서, 이 방법은 사람의 얼굴의 화상 또는 비디오를 획득하는 제 1 단계(100)를 포함한다. 이 단계는 바람직하게는 방법을 구현할 때 카메라(12)로 화상 또는 비디오를 획득하고 프로세싱부(10)로 상기 화상을 전송함으로써 수행된다. 한편, 프로세싱부(10)가 이전에 캡쳐되어 전용 저장 장치에 저장되어 있던 화상을 로딩하는 것에 의해 수행될 수도 있다.
바람직하게는, 단계 100에서 획득된 화상은, 화상에 대해 수행되는 처리의 양호한 재현성을 보장하기 위해, 결정된 획득 조건에 따라 획득된다. 특히, 얼굴의 조명은 얼굴의 그림자를 방지해야 한다. 예를 들어, 얼굴이 정면으로 조명되어야 한다. 또한, 조명의 높이가 고정되어야 하고 사람의 머리가 정해진 높이에 있도록 화상 촬영을 위한 의자 높이가 조정되어야 한다.
특정의, 그러나 비제한적인 실시예에 따르면, 카메라의 높이는 얼굴의 높이로 조정되고, 얼굴은 3개의 플래시에 의해 조명된다: 얼굴 앞에 하나(확산 광), 이 플래시의 높이는 얼굴의 높이에 맞춰 조정되고, 그리고 두 개의 플래시가 45°각도에서 얼굴을 비추며(직접적인 광), 이 플래시들의 높이도 얼굴의 높이에 맞게 조정된다.
화상을 획득하는 동안, 사람은 예를 들어 머리띠를 착용함으로써 입과 눈과 눈썹과 같은 얼굴의 일부 특유의 특징을 숨기지 않도록 해야 하고, 메이크업을 하지 않고 또는 장식품이 없어야 한다. 사람은 눈을 뜨고 중립적인 표현을 유지하고 카메라를 직접 주시해야 한다.
더욱이, 화상은 바람직하게는 비색계로(colorimetrically) 캘리브레이션된다. 이를 위해, 카메라(12)는 비색계로 캘리브레이션될 수 있다. 또는 컬러 차트(color chart)가 화상을 캘리브레이션하는데 사용될 수 있다. 이 경우 화상은 사람의 얼굴과 컬러 차트 모두를 포함하도록 촬영되어야 한다. 예를 들어, 다수의 컬러 패치를 포함하는 컬러 차트가 사용될 수 있다. 바람직하게는, 패치의 일부는 캘리브레이션의 정밀도를 증가시키기 위해 피부톤의 범위와 유사하도록 설계될 수 있다.
화상에 나타나는 패치들의 컬러 분석은 차트에 있는 패치들의 실제 컬러와 비교될 수 있으며 이 비교로부터 보정이 추론될 수 있다.
또 다른 실시예에 따르면, 비색계 캘리브레이션은 다수의 캘리브레이션 화상들에 대해 수행되는 예비 단계(80)를 포함할 수 있다. 이 경우, 얼굴들의 다수의 캘리브레이션 화상들(예를 들어, 10 또는 20)이 획득되며, 각각의 화상은 다양한 컬러 패치를 포함하는 컬러 차트를 포함하고, 바람직하게는 피부톤의 범위와 유사하도록 설계된 다수의 패치를 포함한다. 각 이미지에서의 각 컬러 패치에 대해, L*a*b* 파라미터가 아래에서 더 자세하게 정의되는 CIE L*a*b* 컬러 공간에서 측정되고, 각 컬러 패치의 각 L*a*b* 파라미터에 대해, 이미지들의 세트에 대한 중간 값이 계산된다. 컬러 차이(ΔE1976)가 해당 중간 값에 상대적으로 각 이미지의 각 컬러 패치에 대해 계산되고, 컬러 패치들에 대한 평균 컬러 차이(ΔE1976) 값이 각 이미지에 대해 계산된다. 그리고 나서 더 낮은 글로벌 컬러 차이 값을 갖는 이미지가 참조 이미지(reference image)로 선택되고, 해당 컬러 차트가 참조 컬러 차트로 설정된다. 다른 실시예에서, 콘트라스트 값들은 LCH, RGB, CMYK 등과 같은 임의의 다른 컬러 공간에서 결정될 수 있다.
마지막으로, 단계(100)의 실행 중에, 사람의 얼굴과 캘리브레이션 단계에서 사용된 것과 동일한 컬러 차트 모두를 포함하도록 화상이 촬영된다. 그러면 화상은 이미지 컬러 챠트와 참조 이미지 컬러 챠트 간의 차이를 최소화함으로써 참조 이미지에 등록된다. 그리고 나서 컬러 챠트는 사람의 얼굴을 나타내는 화상의 부분만 유지하기 위해 잘린다.
일 실시예에 따르면, 화상을 획득하는 단계(100)는 화상이 원하는 획득 조건을 만족하는지 검사하는 서브 단계를 포함할 수 있다. 이 단계는 예를 들어 화상에 얼굴의 그림자 또는 숨겨진 특유의 특징이 없다는 것을 체크하는 단계를 포함할 수 있다. 화상이 원하는 조건을 충족시키지 못하는 것으로 판단되면, 그 사람은 다른 화상을 획득하거나 로딩하도록 요구될 수 있다. 이러한 서브 단계는 운영자로부터의 육안 점검에 의해 수행될 수 있거나 적절한 소프트웨어를 실행하는 연산기(11)에 의해 자동으로 구현될 수 있다.
이 방법은 얼굴의 화상의 적어도 2개의 구역들을 구분하는 단계(200)를 포함하며, 각 구역은 입, 눈, 눈썹, 또는 화상 상에 나타나는 머리카락의 일부와 같은 얼굴의 특유의 특징을 포함한다. 화상에서 구분되는 다수의 구역은 2개 내지 6개인 것이 바람직하다. 어떤 경우에 있어서, 2개의 구역은 동일한 특유의 특징들을 중심으로 구분될 수 없지만, 2개의 구역은 동일한 성질의 2개의 특유의 특징(2개의 눈 또는 2개의 눈썹)을 중심으로 구분되어 상기 특징에 대한 평균값을 결정한다.
각 구역 Z는 상기 특유의 특징을 포함하는 제 1 부분 Z1, 및 상기 특유의 특징에 이웃한 피부를 포함하는 제 2 부분 Z2를 포함하도록 구분된다.
도 2를 참조하면, 입 주위로 구분된 제 1 영역 Za, 눈 주위로 구분된 제 2 영역 Zb , 및 눈썹 주위로 구분된 제 3 영역 Zc을 포함하는 3개의 예시적인 영역 Za , b, c이 도시된다. 각 구역에 대해 특유의 특징을 포함하는 부분 Z1a , b, c 및 인접한 피부를 포함하는 부분 Z2a, b, c를 볼 수 있다.
이들 구역들은 예를 들어 MatlabTM과 같은 연산기(11)에 의해 실행되는 적절한 소프트웨어를 사용하여 운영자에 의해 수동으로 구분될 수 있다. 또는 이 구역들은, 적절한 얼굴 요소 감지 소프트웨어로, 특유의 특징을 감지하고 각 특유의 특징 주변의 구역을 구분함으로써, 자동으로 구분될 수 있다.
결정된 구역 Z에 대해서, 오직 특유의 특징을 포함하는 구역의 부분 Z1의 면적은, 구역의 총 면적의 5 내지 40%, 바람직하게는 구역의 총 면적의 10 내지 35%, 예를 들어, 구역의 총 면적의 18 내지 25%에 포함된다. 따라서, 인접한 피부를 포함하는 부분 Z2의 면적은, 구역의 총 면적의 60 내지 95%, 바람직하게는 구역의 총 면적의 65 내지 90%, 예를 들어 구역의 총 면적의 75 내지 82%에 포함된다.
이 방법은 사람의 얼굴 콘트라스트 값을 결정하기 위해 화상을 처리하는 단계(300)를 포함한다. 보다 상세하게는, 그 처리 단계는 상기 구역들의 콘트라스트 값들을 결정하기 위해 그 구분된 구역들에 대해 수행된다.
이를 위해, CIE L*a*b* 컬러 공간에서, 서브 단계(310) 동안 각 구역의 각 부분 Z1, Z2의 적어도 하나의 픽셀 값이 측정된다. 여기서 L* 좌표는, 흑색과 백색 사이의 1-100 범위에서 변하고, 휘도 단위(luminance degree)에 대응하며, a* 좌표는 녹색 (0)에서 빨간색 (255)까지 0-255(또는 대안으로, -100;+100 또는 -127;+127) 범위에서, 빨간색과 녹색 사이의 축을 따라 변한다. 그리고 b* 좌표는 파란색 (0)에서 노란색 (255)까지 0-255(또는 대안으로 -100;+100 또는 -127;+127) 범위에서, 파란색과 노란색 사이의 축을 따라 변한다.
바람직하게는, 3개의 L*, a* 및 b* 좌표 모두에서의 모든 픽셀 값이 각 구역의 각 부분 Z1, Z2에 대해 측정되고, 그 값은 전체 부분에 대해 평균된다.
예를 들면, 사람의 눈에 해당하는 구역의 부분 Z1 내의 모든 픽셀의 휘도 값이 평균화되고, 해당 구역의 부분 Z2 내의 모든 픽셀의 휘도 값이 또한 평균화된다. 동일한 구역에 대해 다른 좌표 a * 및 b *에 대해서도 동일한 작업이 수행됩니다.
그 다음, 콘트라스트 값이, 각 특징(즉, 화상의 각 구분된 구역) 및 CIE L*a*b* 컬러 공간 내의 각 좌표에 대해 서브 단계(320) 동안 계산된다.
예를 들어, 휘도에 대한 콘트라스트 값은 다음 식에 의해 각 특징에 대해 계산될 수 있다.
Figure 112018115995845-pat00001
L(skin, 피부)은 특징에 인접하는 피부를 포함하는 부분 Z2의 적어도 하나의 픽셀의 휘도 값이고, L(feature, 특징)은 특징을 포함하는 부분 Z1의 적어도 하나의 픽셀의 휘도 값이고, Cf,L은 특징의 휘도에 대한 콘트라스트 값이다. 바람직한 실시예에 따르면, L(skin, 피부)은 부분 Z2의 모든 픽셀의 평균 휘도 값이고, L(feature, 특징)은 부분 Z1의 모든 픽셀의 평균 휘도 값이다.
동일한 정의에 따라, a* 좌표에 대한 콘트라스트 값은 다음 식에 의해 각 특징에 대해 계산될 수 있다.
Figure 112018115995845-pat00002
여기서, a(skin, 피부)는 특징에 이웃하는 피부를 포함하는 부분 Z2의 적어도 하나의 픽셀의 a* 좌표에 따른 값이고, 바람직하게는 상기 부분 내의 모든 픽셀의 평균 a* 값이고, a(feature, 특징)는 특징을 포함하는 부분 Z1의 적어도 하나의 픽셀의 a* 좌표에 따른 값이고, 바람직하게는 상기 부분의 모든 픽셀의 평균 a* 값이다.
b* 좌표의 콘트라스트 값은 다음 식에 의해 각 특징에 대해서도 계산된다.
Figure 112018115995845-pat00003
여기서, b(skin, 피부)는 특징에 이웃하는 피부를 포함하는 부분 Z2의 적어도 하나의 픽셀의 b* 좌표에 따른 값이고, 바람직하게는 상기 부분 내의 모든 픽셀의 평균 b* 값이고, b(feature, 특징)는 특징를 포함하는 부분 Z1의 적어도 하나의 픽셀의 b* 좌표에 따른 값이고, 바람직하게는 상기 부분의 모든 픽셀의 평균 b* 값이다.
따라서, 적어도 6개 및 최대 18개의 콘트라스트 값이 결정된다(얼굴의 2개 내지 6개의 각각의 특유한 특징에 대응하는 화상의 2 내지 6 구역에 대한 3개의 좌표). 동일한 성질(두 눈 또는 두 눈썹)의 특유의 특징 주위로 두 영역을 구분하는 경우, 콘트라스트의 평균 값이 각 좌표에 대해 선택된다. 이 경우 평균 값은 두 값을 더한 다음 2로 나누어 계산된다.
그 다음, 방법은 측정된 콘트라스트 값 및 복수의 미리 설정된 클러스터로부터, 사람이 속한 클러스터를 결정하는 단계(400)를 포함한다.
이를 위해 미리 설정된 클러스터가 어떻게 정교화되는지에 대한 설명이 이제 이루어진다. 클러스터의 정교화는 또한 방법의 예비 단계(90)로서, 연산기(11)에 의해 수행될 수 있다.
클러스터는 참조 집단의 얼굴들의 콘트라스트 값들에 기초하여 정교화된다. 이를 위해, 바람직하게는 방법의 단계(100)에 관해 이미 자세히 설명된 것과 동일한 조건에서 참조 집단의 얼굴들의 화상이 획득된다. 참조 집단은 다양한 인종(ethnicity), 연령, 건강 상태, 남성 또는 여성 등으로 구성될 수 있다. 그러나 보다 정확한 클러스터링을 위해 참조 집단은 동일한 성(sex)의 사람들 및/또는 한 국가의 사람들이나 한 인종의 사람들, 또는 결정된 연령 그룹의 사람들로만 포함할 수 있다.
그 다음, 얼굴의 각 화상에 대해, 방법의 단계(200)과 관련하여 주어진 구역의 정의에 따라 2개 내지 6개의 구역이 구분되고, 콘트라스트 값들이 단계(300)의 구현에 따라 각 화상의 각 구역에 대해 계산된다.
N을 클러스터들을 설정하기 위해 처리되는 참조 집단의 화상의 개수라고 하면, 콘트라스트 값의 수는 6N과 18N 사이에 포함된다. 동일한 성질의 두 구역이 단계(200)에서 구분된 경우(두 눈 또는 두 눈썹), 평균 콘트라스트 값은 특징당 하나의 값을 갖도록 계산된다. 그런 다음 이들 데이터는 통계 분석에 의해 처리되어 이들 간의 상관 관계를 식별한다.
바람직하게는, 상기 처리는, 값들 간의 더 높은 상관 관계의 축들을 식별함으로써 데이터의 차원(dimension)들의 수를 감소시키기 위해, 상기 콘트라스트 값들의 세트에 대한 주성분 분석을 수행하는 단계를 포함한다. 바람직하게는 차원의 수는 2차원으로 감소된다. 즉, 데이터 포인트들 간의 상관 관계를 쉽게 시각화할 수 있기 때문에 데이터 세트는 2차원 공간으로 투영된다.
투영된 데이터 세트는 복수의 클러스터를 정의하는데 사용된다. 이를 위해, 분류 방법(또는 클러스터링 방법)이 투영된 데이터 세트에 적용된다. 바람직하게는, 분류 방법은 계층적 클러스터 분석 또는 HCA이고, 보다 바람직하게 와드의 방법(Ward's method)이다. 다른 실시예에 따르면, 클러스터들은 k-means 방법, k-medoid 방법 또는 DBSCAN(Density-based spatial clustering of applications with nois) 방법의 구현을 통해 정의될 수 있다.
클러스터들의 정의는 메모리(13)에 저장된다. 예를 들어, 메모리는 그래프 상에 클러스터들의 경계의 표현, 또는 클러스터들의 경계의 수학적 정의를 저장할 수 있다.
바람직하게는, 일단 클러스터가 정교하게 되면, 후속 단계(91)가 수행되며, 여기서 각 클러스터는 각 클러스터에 대해 어느 콘트라스트가 수정되어야 하는지, 그리고 다양한 목적에 따라 어떤 방식으로 달성되어야 하는지, 및/또는 존중되어야 하는 요구사항을 설정하는 하나 또는 다수의 규칙과 연관된다.
달성해야 할 목적은 예를 들면 다음과 같다. 사람을 젊고 건강하게, 더 매력적으로, 또는 더 여성적으로 보이게 만드는 것이다. 여성 성, 나이, 건강 또는 매력의 개념은 문화마다 다를 수 있으며, 이는 결과 외모를 해석하는 방법에 큰 영향을 줄 수 있다. 따라서 결과 규칙은 지역 특이성에 따라 다를 수 있다.
요구사항은 누드 메이크업, 주간 또는 야간 메이크업, 특정 트렌드 적용 등과 같은 적용할 메이크업의 특정 유형과 관련될 수 있다.
클러스터들에 따른 규칙들의 정의는 다음과 같이 수행될 수 있다. 결정된 클러스터에 속한 사람은 특정 목적 및 정의된 메이크업 요구사항에 따라 전문가에 의해 메이크업된다. 그 사람의 얼굴의 콘트라스트들은, 어느 콘트라스트가 변경될 필요가 있는지, 그리고 어떤 방식으로 해야 하는지에 대한 규칙을 추론하기 위해 메이크업 전후에 측정된다.
이것은, 규칙들을 더 잘 정의하기 위해, 다른 사람들, 전문가들에 대해 또는 바람직하게는 다른 메이크업 전문가에 의해 반복된다. 목적과 메이크업 요구사항의 조합과 같은 많은 규칙을 그런 방식으로 정의할 수 있으며, 목적 및 메이크업 요구사항이 없을 경우 각 클러스터에 대해 기본 규칙을 정의할 수도 있다.
바람직하게는, 각 클러스터와 관련된 규칙은 또한 메모리(13)에 저장된다.
클러스터 및 관련 규칙 정의의 예는 도 3을 참조하여 지금 설명될 것이다.
이 예에 따르면, 백인 289명, 라틴 아메리카인 175명, 아시아인 136명을 포함하고 연령대는 20 세에서 70 세까지의 다양한 인종의 600명의 여성으로 구성된 참조 집단에 클러스터들이 정의된다.
참조 집단의 얼굴의 각 화상에서, 입 주위로 구분된 하나의 구역, 눈 주위로 구분된 두 구역 및 눈썹 주위로 구분된 두 구역을 포함하는, 세 개의 구역이 정의된다. 콘트라스트 값들은 상기 설명에 따라 결정되고, 콘트라스트 값들은 주성분 분석으로 처리되어 3개의 클러스터를 정의한다.
상기 클러스터는 대략 중요한 CIE L*a*b* 좌표 공간에서의 콘트라스트 값들의 카테고리에 상당한다. 이 특정 예에 따르면, 클러스터들은 표 1과 같이 정의된다.
- 콘트라스트 값들에 따른 클러스터(Cluster)의 정의
클러스터(Cluster) 1 클러스터(Cluster) 2 클러스터(Cluster) 3
(다른 클러스터 보다)상대적으로 높은 콘트라스트 값 a* 눈(eye), b* 입(mouth) L* 눈, L* 눈썹, a* 눈, a* 눈썹, b* 눈, b* 눈썹 L* 입, a* 입 (콘트라스트의 절대 값)
중간 콘트라스트 값 a* 눈썹(eyebrow), b* 눈, b* 눈썹 a* 입(abs), b* 입 L* 눈, L* 눈썹
(다른 클러스터 보다) 상대적으로 낮은 콘트라스트 값 L* 눈, L* 입, L* 눈썹, a* 입 (콘트라스트의 절대 값) L* 입 A* 눈, a* 눈썹, b* 눈, b* 입, b* 눈썹
도 3에서 점들의 다양한 모양은 참조 집단을 구성하는 여성들의 다양한 인종에 해당하며, 클러스터는 타원으로 구분된다. "L눈(eye)" 또는 "L입(mouth)"과 같은 표시는 각각의 콘트라스트에 대한 더 높은 값의 그래프 영역에 해당한다.
그런 다음 여러 클러스터에 균등하게 분배된 사람들의 그룹이 선정되었고, 메이크업 전문가는 사람을 더 여성화하는 동일한 목적으로 각 사람을 메이크업하도록 요청받았다.
그런 다음 콘트라스트들이 각 사람에 대해 측정되고 동일한 사람에 대한 콘트라스트의 초기 값과 비교된다. 도 3b를 참조하면, 비교 결과는 다음과 같다.
- 3개의 클러스터 모두에서 메이크업으로 눈의 콘트라스트가 증가했으며,
- 클러스터 1과 2의 경우, 입 클러스터가 증가했지만 클러스터 3의 경우에는 변경되지 않았다.
- 클러스터 1과 3의 경우 눈썹 콘트라스트가 증가했지만 클러스터 2의 경우에는 변경되지 않았습니다.
이러한 결과를 바탕으로, 사람을 더 여성화하는 목적으로, 규칙을 다음과 같이 정의할 수 있다.
- 클러스터 1의 경우 입, 눈 및 눈썹의 콘트라스트를 증가하고,
- 클러스터 2의 경우, 입과 눈 콘트라스트를 증가시키고,
- 클러스터 3의 경우 눈썹과 눈의 콘트라스트를 증가시킨다.
사람이 속한 클러스터를 결정하는 도 4 및 단계(400)로 돌아가서, 사람의 얼굴의 화상으로부터 결정된 콘트라스트 값들은 서브 단계(410) 동안 처리되어, 참조 집단의 감소된 차원들에서 - 예를 들어 참조 집단의 콘트라스트 값들에 대해 수행되는 PCA의 감소된 차원에서의 좌표를 계산하고, 그리고 나서 클러스터들을 나타내는 그래프 상에 배치될 수 있다. 좌표들은 새로운 콘트라스트 값들에 대한 PCA 결과의 고유 벡터들의 선형 조합을 사용하여 계산된다.
이 방법은 감소된 차원들의 값 및 클러스터들의 정의로부터, 그 사람이 속한 클러스터를 추론하는 서브 단계(420)를 포함한다. 예를 들어, 그래프에서 점의 위치에 따라, 클러스터들의 무게중심에 대한 거리를 계산함으로써 가장 가까운 사람에게 영향을 주는 그 사람이 속한 클러스터를 추론할 수 있다.
바람직한, 그러나 선택적 실시예에 따르면, 메모리(13)는 클러스터들의 정의뿐만 아니라 참조 집단의 감소된 차원의 모든 데이터를 저장하고, 방법은, 화상이 촬영된 사람에 대응하는 감소된 차원의 이 데이터의 세트에 추가하는 추가적인 단계(500)를 포함한다. 이 단계는 또한 클러스터링 알고리즘을 다른 시간에 실행하여 클러스터들의 정의를 업데이트하는 단계를 포함한다. 실시예에서,이 단계(500)는 복수의 사람으로부터 획득된 데이터 세트를 동시에 추가하기 위해서 주기적으로 수행될 수 있다.
클러스터 정의를 반복적으로 업데이트하면 그들의 정의에 사용되는 데이터의 양이 늘어남에 따라 클러스터들의 정확도를 높일 수 있다.
따라서,이 실시예에 따르면, 연산기(11)는 또한 적절한 소프트웨어의 실행을 통해 클러스터링 알고리즘을 구현하도록 구성된다. 이 경우, 프로세싱부(10)는 바람직하게는 복수의 상점, 미용실, 또는 개별 사용자로부터 데이터를 수신하도록 구성된 전용 원격 서버이다.
클러스터들의 정의가 변경될 수 있으므로, 관련 규칙들의 정의도 그에 따라 업데이트될 수 있다.
따라서, 사람이 속한 클러스터에 따라, 사람의 어떤 콘트라스트 값이 상대적으로 낮거나 높은지를 결정할 수 있으며, 어떤 콘트라스트 값이 적절한 메이크업의 적용에 의해 선택적으로 변경될 수 있는지 결정할 수 있다. 특히, 사람이 속한 클러스터의 식별은 사람을 메이크업하는데 적용되는 해당 규칙을 결정할 수 있게 한다. 예를 들어, 사람이 여성을 더 여성스럽게 만드는 하루 화장을 원한다면, 그녀의 클러스터에 맞는 해당 규칙이 선택될 수 있다.
따라서, 방법은 단계(600)를 포함하거나 사람에게 개인화된 정보를 제공하는 단계를 포함한다. 정보는 바람직하게 디스플레이(15) 상에 제공된다.
제공된 정보는 사람이 속한 클러스터 및/또는 사람의 콘트라스트 값들이 상대적으로 낮거나 높은 표시를 포함할 수 있다.
또한, 정보는, 사람이 얻고자 하는 결과에 따라 (예를 들어 더 여성스럽게 보이거나 젊게 보이게) 그리고 그 사람이 속하는 클러스터에 따라, 그 사람의 얼굴의 적어도 하나의 구역의 콘트라스트 값의 개인화된 수정에 관한 조언으로 번역될 수 있는, 상응하는 메이크업 규칙을 포함할 수 있다. 이 조언은 메이크업을 할 얼굴의 특정 구역, 또는 그 사람이 구역을 메이크업하는 데 사용할 수 있는 색조의 예를 나타낼 수 있다.
예를 들어, 사람이 입에 대한 상대적으로 낮은 휘도 콘트라스트 값, 및 눈과 눈썹의 높은 콘트라스트 값에 해당하는 클러스터에 속한다면, 그 사람이 더 여성스럽게 보이길 원한다면, 그녀는 입의 휘도 콘트라스트 값을 증가시키기 위해 그녀의 입을 메이크업하도록 조언받을 수 있다.
바람직하게는, 정보는 또한 그 사람에게 권장되는 콘트라스트 값의 개인화된 수정을 달성할 수 있는 메이크업 제품 또는 스킨 케어 제품 (예를 들어, 피부 미백 제품)의 목록 또는 선택을 포함할 수도 있다.
예를 들어, 메이크업 제품의 선택시의 색조가, 그 사람의 L*, a* 및 b* 콘트라스트 값들에 따라 결정될 수 있다.
이전 예를 사용하여, 제품의 선택은 모두 휘도 콘트라스트 값을 증가시킬 수있는 다양한 색조의 립스틱 목록을 포함할 수 있다.
추천되는 메이크업 또는 스킨 케어 제품은 또한 콘트라스트 값의 개인화된 수정을 달성하기 위해 그 사람에게 주어진 추천 사항에 따라 특별히 설계되고 그 사람의 주문에 의해 제조된 조성물 및/또는 색조를 갖는, 개인화된 제품일 수 있다.
제품은 각 제품에 대한 이용 가능한 정보 및 사람의 안면 특징의 분석 결과에 따라 화장품 제품의 데이터베이스(2) 내의 프로세싱부(10)에 의해 선택될 수 있다. 예를 들어, 프로세싱부는 분석 결과로부터 그 사람에게 바람직한 메이크업의 종류 및 색조를 추론할 수 있고 이 종류 및 색조에 대응하는 제품을 데이터베이스에서 쿼리할 수 있다.
마지막으로, 정보는 또한 사람의 화상과 비교하여 변경된 사람의 얼굴의 적어도 하나의 구역의 적어도 하나의 콘트라스트 값을 갖는 사람의 얼굴의 외모의 시뮬레이션을 포함할 수 있다. 특히, 그 사람은 그 사람의 속한 클러스터에 대응하는 규칙에 따라 콘트라스트 값이 변경된 얼굴 외모의 시뮬레이션을 볼 수 있다. 개인화된 제품 선택에서 선택된 한 가지 메이크업 제품의 적용도 시뮬레이션될 수 있다. 시뮬레이션은 연산기(11)에 의해 수행되어 디스플레이(15) 상에 디스플레이될 수 있다.
이 개인화된 정보에 따르면, 사람은 원하는 결과를 얻기 위해 어떤 종류의 메이크업 제품을 사용할 수 있는지 더 잘 알게 된다.
1 : 시스템
2 : 데이터베이스
10 : 프로세싱부
11 : 연산기
12 : 화상 입력 장치
13 : 메모리
15 : 디스프레이

Claims (16)

  1. 연산기(11)에 의해 수행되는, 사람의 얼굴 특징을 분석하는 방법으로서,
    - 상기 사람의 얼굴의 화상을 획득하는 단계(100);
    - 상기 화상에서, 상기 사람의 얼굴의 적어도 2개의 구역을 구분하는 단계(200)로서, 각 구역은 입, 눈, 눈썹 및 머리카락의 그룹 중에서 선택된 얼굴의 특유의 특징을 포함하고, 또한 각 구역은 오직 상기 특유의 특징만을 포함하는 적어도 일 부분(Z1), 및 상기 특유의 특징에 인접한 피부를 포함하는 다른 부분(Z2)을 포함하는, 단계;
    - 상기 적어도 2개의 구역(Z) 각각의 얼굴 콘트라스트 값들을 결정하기 위해 상기 화상을 처리하는 단계(300)로서, 구역의 얼굴 콘트라스트 값은, 구역 내의 오직 특유의 특징만을 포함하는 부분의 픽셀들의 평균 값과, 인접 피부를 포함하는 부분의 픽셀들의 평균 값 사이에 계산된 콘트라스트 값인, 단계;
    - 상기 결정된 얼굴 콘트라스트 값들에 기초하여, 미리 설정된 복수의 클러스터 중에서 상기 사람이 속하는 클러스터를 결정하는 단계(400)로서, 상기 미리 설정된 클러스터들은 얼굴들의 각각의 화상에서 참조 집단의 얼굴들의 동일한 구역들에 대해 결정된 콘트라스트 값들의 세트에 기초하여 정교화되는, 단계; 및
    - 상기 사람에게 개인화된 정보를 제공하는 단계(500)로서, 상기 개인화된 정보는 상기 사람이 속하는 클러스터에 의존하는, 단계를 포함하고,
    상기 미리 설정된 클러스터들은,
    - 감소된 차원들의 데이터 세트를 얻기 위해 참조 집단의 얼굴들의 구역들의 얼굴 콘트라스트 값들의 세트를 처리하는 단계; 및
    - 감소된 차원들의 데이터 세트를 클러스터링하는 단계에 의해 정교화되고,
    상기 사람이 속한 클러스터를 결정하는 단계(400)는,
    - 상기 참조 집단의 감소된 차원들에서 대응하는 좌표들을 획득하기 위해 상기 사람의 얼굴의 구역들의 얼굴 콘트라스트 값들의 차원의 수를 상기 참조 집단의 차원의 수와 동일하게 감소시키는 처리를 하는 단계(410)와,
    - 상기 획득된 좌표로부터 상기 사람이 속한 클러스터를 추론하는 단계(420)를 포함하는 방법.
  2. 제 1 항에 있어서,
    사람의 얼굴의 구역의 콘트라스트 값들의 결정(300)은,
    상기 특유의 특징을 포함하는 구역의 부분(Z1)과 상기 특유의 특징에 인접한 피부를 포함하는 구역의 부분(Z2) 사이의, CIE L*a*b* 컬러 공간에서의, 평균 콘트라스트 값을 측정하는 단계(310)를 포함하는 것을 특징으로 하는 방법.
  3. 제 2 항에 있어서,
    사람의 얼굴의 구역의 콘트라스트 값들의 결정(310)은,
    상기 특유의 특징을 포함하는 구역의 부분(Z1)과 상기 특유의 특징에 인접한 피부를 포함하는 구역의 부분(Z2) 사이의, CIE L*a*b* 컬러 공간에서의 L, a 및 b 좌표 각각에서, 평균 콘트라스트 값을 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 참조 집단의 얼굴들의 구역들의 얼굴 콘트라스트 값들의 세트를 처리하는 단계는, 상기 콘트라스트 값들의 세트에 대한 주성분 분석을 적용함으로써 수행되는 것을 특징으로 하는 방법.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 사람의 얼굴의 적어도 2개의 구역(Z)을 구분하는 단계(200)는,
    얼굴의 2개 내지 4개의 구역을 구분하는 단계를 포함하되, 각 구역은 입, 눈, 눈썹 및 머리카락의 그룹 중에서 하나의 얼굴의 특유의 요소를 포함하는 것을 특징으로 하는 방법.
  8. 제 1 항에 있어서,
    상기 사람에게 제공된 개인화된 정보는,
    - 상기 사람의 얼굴의 적어도 하나의 구역의 콘트라스트 값의 개인화된 수정에 관한 조언;
    - 상기 사람의 얼굴의 적어도 하나의 구역의 콘트라스트 값의 개인화된 수정을 위한 적어도 하나의 케어 제품 또는 화장품의 식별; 및
    - 상기 사람의 화상과 비교하여 변경된 상기 사람의 얼굴의 적어도 하나의 구역의 적어도 하나의 콘트라스트 값을 갖는 상기 사람의 얼굴의 외모의 시뮬레이션;
    중 어느 하나를 포함하고,
    상기 사람의 얼굴의 적어도 하나의 구역은, 입, 눈, 눈썹 및 머리카락의 그룹 중에서 선택된 하나의 얼굴의 특유의 요소를 포함하는 구역인 것을 특징으로 하는 방법.
  9. 제 1 항에 있어서,
    상기 미리 설정된 복수의 클러스터는, 3개의 구역(Z)에 대해 결정된 얼굴 콘트라스트 값들의 세트에 기초하여 정교화되고, 각각은 눈, 입 및 눈썹의 특징 중 하나를 포함하는 것을 특징으로 하는 방법.
  10. 제 1 항에 있어서,
    상기 미리 설정된 복수의 클러스터는 3개의 클러스터로 구성되는 것을 특징으로 하는 방법.
  11. 제 1 항에 있어서,
    상기 제공된 개인화된 정보는
    다음 규칙들 중 어느 하나에 따라 콘트라스트 값들의 수정을 추천하는 것을 포함하는 것을 특징으로 하는 방법.
    - 입, 눈 및 눈썹 콘트라스트를 증가시킴.
    - 입과 눈 콘트라스트를 증가시킴.
    - 눈썹과 눈 콘트라스트를 증가시킴.
  12. 연산기에 의해 구현될 때,
    - 구역의 콘트라스트 값들을 결정하기 위해 화상의 적어도 하나의 구분된 구역을 처리하는 단계(300)로서, 각 구역은 입, 눈, 눈썹 및 머리카락의 그룹 중 선택된 얼굴의 특유의 특징을 포함하고, 또한 각 구역은 오직 상기 특유의 특징만을 포함하는 적어도 일 부분(Z1), 및 상기 특유의 특징에 인접한 피부를 포함하는 다른 부분(Z2)을 포함하며, 또한 구역의 얼굴 콘트라스트 값은, 구역 내의 오직 특유의 특징만을 포함하는 부분의 픽셀들의 평균 값과, 인접 피부를 포함하는 부분의 픽셀들의 평균 값 사이에 계산된 콘트라스트 값인, 단계;
    - 감소된 차원들에서 각각의 좌표들을 획득하기 위해 상기 결정된 얼굴 콘트라스트 값을 처리하는 단계(410); 및
    - 상기 얼굴 콘트라스트 값들이 속하는 클러스터를 추론하기 위해, 미리 설정된 클러스터들의 무게중심까지의 거리를 연산하는 단계를 실행하기 위한 명령어들을 포함하고,
    상기 미리 설정된 클러스터들은, 얼굴들의 각각의 화상에서 참조 집단의 얼굴들의 동일한 구역들에 대해 결정된 콘트라스트 값들의 세트에 기초하여 정교화되는데 있어서,
    - 감소된 차원들의 데이터 세트를 얻기 위해 참조 집단의 얼굴들의 구역들의 얼굴 콘트라스트 값들의 세트를 처리하는 단계; 및
    - 감소된 차원들의 데이터 세트를 클러스터링하는 단계에 의해 정교화되며,
    상기 결정된 얼굴 콘트라스트 값을 처리하는 단계(410)는,
    - 상기 참조 집단의 감소된 차원들에서 대응하는 좌표들을 획득하기 위해 상기 결정된 얼굴 콘트라스트 값의 차원의 수를 상기 참조 집단의 차원의 수와 동일하게 감소시키는 처리를 하는 단계를 포함하는,
    컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  13. 사람의 얼굴 특징을 분석하는 시스템(1)에 있어서,
    - 화상 입력 장치(12),
    - 연산기(11), 및
    - 메모리(13)를 포함하고,
    상기 메모리(13)는 참조 집단의 얼굴들의 적어도 2개의 구역에 대해 결정된 얼굴 콘트라스트 값들의 세트에 기초하여 정교화된 클러스터들의 정의를 저장하고,
    상기 연산기(11)는 제 1 항에 따른 방법을 구현하도록 구성되는 것을 특징으로하는 시스템.
  14. 제 13 항에 있어서,
    상기 화상 입력 장치(12)는,
    카메라 및/또는 상기 연산기(11)를 외부 저장 장치와 연결하기 위한 인터페이스를 포함하는 것을 특징으로 하는 시스템.
  15. 제 13 항에 있어서,
    상기 개인화된 정보를 디스플레이하도록 적응된 디스플레이 장치(15)를 더 포함하는 시스템.
  16. 제 15 항에 있어서,
    상기 화상 입력 장치(12)는 카메라이고,
    상기 시스템은 상기 카메라, 중성색의 스크린 또는 배경, 및 조명을 포함하는 사진 스튜디오를 포함하며,
    상기 디스플레이 장치(15) 및 상기 사진 스튜디오는 상점 또는 미용실에 설치되는 것을 특징으로 하는 시스템.
KR1020180144216A 2017-12-20 2018-11-21 얼굴 특징 분석 및 개인화된 조언을 제공하는 방법 및 시스템 KR102110053B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17306842.0 2017-12-20
EP17306842.0A EP3502955A1 (en) 2017-12-20 2017-12-20 Method and system for facial features analysis and delivery of personalized advice

Publications (2)

Publication Number Publication Date
KR20190074955A KR20190074955A (ko) 2019-06-28
KR102110053B1 true KR102110053B1 (ko) 2020-05-12

Family

ID=60954830

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180144216A KR102110053B1 (ko) 2017-12-20 2018-11-21 얼굴 특징 분석 및 개인화된 조언을 제공하는 방법 및 시스템

Country Status (4)

Country Link
US (1) US10943093B2 (ko)
EP (1) EP3502955A1 (ko)
JP (1) JP6740329B2 (ko)
KR (1) KR102110053B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220006431A (ko) * 2020-07-08 2022-01-17 (주)세르마 퍼스널 색상추천시스템 및 그것을 이용한 퍼스널 색상추천방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095148B (zh) * 2021-03-16 2022-09-06 深圳市雄帝科技股份有限公司 眉毛区域被遮挡的检测方法、系统、拍照设备和存储介质
CN113378764B (zh) * 2021-06-25 2022-11-29 深圳万兴软件有限公司 基于聚类算法的视频人脸采集方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010073222A (ja) * 2010-01-07 2010-04-02 Kao Corp メイクアップシミュレーション方法
JP5261586B2 (ja) * 2007-08-10 2013-08-14 株式会社 資生堂 メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8031914B2 (en) * 2006-10-11 2011-10-04 Hewlett-Packard Development Company, L.P. Face-based image clustering
US9411037B2 (en) 2010-08-18 2016-08-09 RetailNext, Inc. Calibration of Wi-Fi localization from video localization
JP6015267B2 (ja) * 2012-09-13 2016-10-26 オムロン株式会社 画像処理装置、画像処理プログラム、これを記録したコンピュータ読み取り可能な記録媒体、および、画像処理方法
JP6288404B2 (ja) * 2013-02-28 2018-03-07 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5261586B2 (ja) * 2007-08-10 2013-08-14 株式会社 資生堂 メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2010073222A (ja) * 2010-01-07 2010-04-02 Kao Corp メイクアップシミュレーション方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220006431A (ko) * 2020-07-08 2022-01-17 (주)세르마 퍼스널 색상추천시스템 및 그것을 이용한 퍼스널 색상추천방법
KR102402454B1 (ko) * 2020-07-08 2022-05-26 (주)세르마 퍼스널 색상추천시스템 및 그것을 이용한 퍼스널 색상추천방법

Also Published As

Publication number Publication date
JP2019114251A (ja) 2019-07-11
EP3502955A1 (en) 2019-06-26
JP6740329B2 (ja) 2020-08-12
US20190188457A1 (en) 2019-06-20
US10943093B2 (en) 2021-03-09
KR20190074955A (ko) 2019-06-28

Similar Documents

Publication Publication Date Title
KR101140533B1 (ko) 이미지로부터 추정된 피부색에 기초해서 제품을 추천하는 컴퓨터 구현된 방법
KR102183370B1 (ko) 케어 정보를 획득하기 위한 방법, 케어 정보를 공유하기 위한 방법, 및 그것들을 위한 전자 장치
US7522768B2 (en) Capture and systematic use of expert color analysis
CN104203042B (zh) 化妆辅助装置、化妆辅助方法、以及记录介质
KR102110053B1 (ko) 얼굴 특징 분석 및 개인화된 조언을 제공하는 방법 및 시스템
US20070058858A1 (en) Method and system for recommending a product based upon skin color estimated from an image
CN102782727B (zh) 用于使用谱图像数据来生成3d rgb模型的皮肤治疗分析的系统
EP1298587A2 (en) Body image enhancement
US20130300761A1 (en) Method and system for color matching and color recommendation
KR100801115B1 (ko) 포인트 메이크업 화장료의 선택 방법
Falomir et al. A model for colour naming and comparing based on conceptual neighbourhood. An application for comparing art compositions
KR20210004596A (ko) 인공지능의 퍼스널컬러 추천 어플
WO2020064676A1 (en) Method for simulating the rendering of a make-up product on a body area
CN114117197A (zh) 用于颜色匹配和推荐的设备和方法
Otaka et al. Perception of human skin conditions and image statistics
WO2008135907A1 (en) A method of evaluating lip type and an evaluation system for implementing such a method
KR20210017287A (ko) 인플루언서와의 정보 공유를 통해 화장품 색상을 추천하는 시스템 및 방법
Kim et al. Method and analysis of color changes of facial skin after applying skin makeup
Wu et al. A study on the impressions induced by lipstick colors
US11369183B2 (en) Camera with calibration device for hair analysis
CN114402349A (zh) 用于推荐化妆调色板或头发着色方案中的至少一个的计算设备、方法和装置
Mughal et al. Modelling visual impressions for Chinese and Pakistani ethnic groups
Yan et al. Exploring the Facial Color Representative Regions Using the Humanae Images
KR102680111B1 (ko) 컬러 차트 기반의 퍼스널 컬러 추천 서버 및 방법
TW201945898A (zh) 資訊處理裝置及程式

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant