KR20230117240A - 디지털 메이크업 팔레트 - Google Patents

디지털 메이크업 팔레트 Download PDF

Info

Publication number
KR20230117240A
KR20230117240A KR1020237024133A KR20237024133A KR20230117240A KR 20230117240 A KR20230117240 A KR 20230117240A KR 1020237024133 A KR1020237024133 A KR 1020237024133A KR 20237024133 A KR20237024133 A KR 20237024133A KR 20230117240 A KR20230117240 A KR 20230117240A
Authority
KR
South Korea
Prior art keywords
makeup
user
face
calculation circuitry
visualization unit
Prior art date
Application number
KR1020237024133A
Other languages
English (en)
Inventor
민디 크리스틴 트로우트맨
프란체스카 디. 크루즈
산드린 가돌
Original Assignee
로레알
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/138,031 external-priority patent/US20220202168A1/en
Priority claimed from US17/137,970 external-priority patent/US11321882B1/en
Priority claimed from FR2107923A external-priority patent/FR3125611A1/fr
Priority claimed from FR2107904A external-priority patent/FR3125612A1/fr
Application filed by 로레알 filed Critical 로레알
Publication of KR20230117240A publication Critical patent/KR20230117240A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

메이크업을 위한 증강 현실 시스템은, 사용자 선택 가능한 메이크업 목표들의 하나 이상의 인스턴스들을 생성하고 사용자-선택 메이크업 목표 정보를 수신하도록 구성된 그래픽 사용자 인터페이스에 동작 가능하게 결합된 계산 회로부를 포함하는 메이크업 목표 유닛, 메이크업 목표 유닛에 동작 가능하게 결합된 메이크업 팔레트 유닛 - 메이크업 팔레트 유닛은 사용자-선택 메이크업 목표 정보에 따라 디지털 메이크업 제품에 대한 적어도 하나의 디지털 메이크업 팔레트를 생성하도록 구성된 계산 회로부를 포함함 -, 및 사용자-선택 메이크업 목표 정보에 따라 가상 시착의 하나 이상의 인스턴스들을 생성하도록 구성된 계산 회로부를 포함하는 메이크업 목표 시각화 유닛을 포함한다.

Description

디지털 메이크업 팔레트
관련 출원의 상호 참조
본 출원은 2020년 12월 30일에 출원된, 미국 정규 출원 번호 제17/137,970호, 2020년 12월 30일에 출원된 미국 정규 출원 번호 제17/138,031호, 2021년 7월 22일에 출원된 프랑스 출원 일련 번호 제2107923호, 및 2021년 7월 22일에 출원된 미국 출원 일련 번호 제2107904호에 대한 우선권의 이익을 주장하며, 그 전체 내용은 본원에서 참조로서 통합된다.
기술분야
본 개시는 디지털 메이크업 팔레트 및 디지털 메이크업 팔레트를 사용한 개인화된 증강 현실 경험을 위한 방법에 관한 것이다.
전면 카메라들이 장착된 스마트폰들은 사람이 캡처될 이미지를 볼 수 있는 방식으로 카메라를 갖고 있는 사람의 사진들과 비디오들을 촬영할 수 있는 능력을 제공한다. 전면 카메라들을 활용한 다양한 모바일 애플리케이션들(앱(App)이라고도 함)이 개발되었다. 일반적인 앱은 "셀피(selfie)"라고 하는 자화상 사진을 촬영하고 셀피를 일부 소셜 미디어 컨텍스트에 삽입하거나 이메일 또는 문자로 다른 사람들과 공유될 셀피를 포워딩하도록 하는 앱이다.
일부 화장품 회사는 화장품 선택에 도움을 주는 앱들을 개발하기 시작하였다. 앱들은 특정한 유형들의 메이크업을 검색하거나, 또는 사용자가 좋아하는 것일 수 있는 제품을 검색하거나 또는 단지 이전에 사용된 제품을 구매하기 위한 도구들을 제공할 수 있다. 일부 앱들은 특정 유형의 메이크업을 적용하는 방법에 대한 자습서(tutorial)들을 제공한다. 일부 앱들은 색상 팔레트들을 디스플레이함으로써 립스틱 또는 아이섀도우의 색상들을 선택하는데 도움을 준다. 일부 앱들은 의복 및 액세서리, 또는 사진으로부터의 색상과 일치하는 색상을 검색하는 데 도움이 되는 색상 일치 특징들을 제공한다.
일부 화장품 회사들은 제품 시착 애플리케이션들을 제공함으로써 스마트폰들, 태블릿들, 및 랩탑들에서 카메라들을 사용하기 시작해왔다. 이들 애플리케이션들 중 일부는 웹 애플리케이션들, 또는 앱으로 구현된다. 이러한 시착 애플리케이션들 중 일부는 스마트폰 카메라로 자화상 사진을 촬영하고, 웹 애플리케이션에 사진을 업로드한 다음, 업로드된 이미지에 가상 메이크업 제품들을 적용함으로써 작동한다. 이들 시착 애플리케이션들은 피부를 매끄럽게 하는 것, 광대뼈들을 올리는 것, 눈 색상을 조정하는 것과 같은, 다양한 옵션들을 제공할 수 있다. 이들 시착 애플리케이션들은 색상 강도를 변경할 뿐만 아니라 메이크업 제품의 임의의 유형 및 색상을 추가하기 위한 기능을 사용자에게 제공할 수 있다.
그러나, 지금까지 제공된 시착 애플리케이션들은 사진 편집 도구들을 통해 룩(look)을 생성하려는 경향이 있다. 사전 시착 애플리케이션들 중 일부는 업로드된 사진으로 시작하여 메이크업 유형들 및 색상들을 적용하고, 그 후 메이크업 사진의 편집을 허용하는 원 스텝 기능들을 제공한다. 이러한 도구들은 개인적인 메이크업 경험을 캡처하지 않는다. 또한, 사전 시착 애플리케이션 도구들은 맞춤 룩들의 생성을 제공하지 않는다. 예를 들어, 사용자는 금요일 데이트 밤 룩을 원할 수 있다. 사전 시착 애플리케이션들은 금요일 데이트 밤 룩을 제공할 수 있지만, 그 룩은 사용자가 염두에 둔 것이 아닐 수 있다. 제공된 도구들은 사용자가 금요일 데이트 밤 룩이라고 믿는 룩을 얻으려는 시도로 추가 편집을 수행하기 위해 사용될 수 있다. 그러나 이러한 접근 방식은 편집 도구들의 특징들에 의해 제한된다. 사용자는 사용자의 분위기, 또는 사용자가 보여주길 원하는 분위기를 기반으로 하는 금요일 데이트 밤 룩을 원할 수 있으며, 이는 광범위한 편집을 필요로 할 수 있다.
이들 사전 시착 웹 애플리케이션들 또는 앱들은 이전의 가상 시착 애플리케이션들이 특정한 브랜드들의 실제 메이크업 제품들에 제한되기 때문에 부분적으로 완전한 개인화가 부족하다. 사용자는 염두에 두거나, 또는 그들이 실험하고 싶은 특정한 룩을 생성하지 못할 수 있다. 사용자가 비현실적인 외모에 실망하지 않고 즐겁게 메이크업을 시도하도록 허용하는 특정한 사용자를 위한 맞춤 시착 경험을 제공할 필요가 있다.
더욱이, 사용자는 잡티, 흉터, 검버섯들, 과다색소침착 등과 같은, 메이크업으로 처리하고 싶은 문제 영역들을 가질 수 있다. 사용자는 또한 광대뼈, 눈, 입술과 같은 특정한 얼굴 특징들을 강조하고 싶어할 수 있다. 특정한 사용자의 특정 문제 영역들 또는 최상의 얼굴 특징들을 다루는 데 도움이 될 수 있는 맞춤 시착 경험을 제공할 필요가 있다.
공식의 특수 개인화 기계를 배포하는 대안은 소비자가 테스트한 다음 소비자의 피부에 대해 측정된 바이어스에 따라 제품 레시피를 수정할 수 있도록 소량의 제품을 제공하기 위해 기계에 샘플링 시스템이 추가되어야 하기 때문에 시간과 비용이 많이 든다.
또한, 전자 상거래 개인화 시착 서비스들은 각각의 소비자에 대한 피부 문제 영역들 및 얼굴 특징들에서의 편차가 너무 높기 때문에 최종 소비자들에 대해 그들의 스마트폰으로 확장 가능하지 않다.
상술한 "배경" 설명은 개시 내용의 맥락을 일반적으로 제시하기 위한 것이다. 배경 섹션에서 설명된 범위까지 현재 명명된 발명자들의 작업 그리고 출원 당시 선행 기술로서 달리 자격을 갖지 않을 수 있는 설명의 측면은 본 발명에 대한 선행 기술로서 명시적 또는 묵시적으로 인정되지 않는다.
메이크업을 위한 증강 현실 시스템은 사용자 선택 가능한 메이크업 목표들의 하나 이상의 인스턴스들을 생성하고 사용자-선택 메이크업 목표 정보를 수신하도록 구성된 그래픽 사용자 인터페이스에 동작 가능하게 결합된 계산 회로부를 포함한 메이크업 목표 유닛; 메이크업 목표 유닛에 동작 가능하게 결합된 메이크업 팔레트 유닛 - 메이크업 팔레트 유닛은 사용자-선택 메이크업 목표 정보에 따라 디지털 메이크업 제품에 대한 적어도 하나의 디지털 메이크업 팔레트를 생성하도록 구성된 계산 회로부를 포함함 -; 및 사용자-선택 메이크업 목표 정보에 따라 가상 시착의 하나 이상의 인스턴스들을 생성하도록 구성된 계산 회로부를 포함한 메이크업 목표 시각화 유닛을 포함한다.
메이크업을 위한 증강 현실 시스템은 사용자 선택 가능한 메이크업 목표들의 하나 이상의 인스턴스들을 생성하고 사용자-선택 메이크업 목표 정보를 수신하도록 구성된 그래픽 사용자 인터페이스에 동작 가능하게 결합된 계산 회로부를 포함하는 메이크업 목표 유닛; 메이크업 목표 유닛에 동작 가능하게 결합된 메이크업 팔레트 유닛 - 메이크업 팔레트 유닛은 디지털 메이크업 제품에 대한 적어도 하나의 디지털 메이크업 팔레트를 생성하도록 구성된 계산 회로부를 포함함 -; 및 얼굴형, 얼굴 특징점(landmark)들, 피부 톤, 머리 색, 눈 색상, 입술 형태, 눈꺼풀 형태, 헤어 스타일 및 조명 중 하나 이상을 결정하도록 사용자의 얼굴을 분석하고, 사용자-선택 메이크업 목표 정보 및 사용자의 얼굴의 분석에 기초하여 생성된 적어도 하나의 디지털 메이크업 팔레트에 따라 사용자에 대한 맞춤 가상 시착의 하나 이상의 인스턴스들을 자동으로 생성하도록 구성된 계산 회로부를 포함하는 메이크업 목표 시각화 유닛을 포함한다.
예시적인 구현예에 대한 전술한 일반적인 설명 및 그에 대한 다음의 상세한 설명은 단지 본 개시 내용의 예시적인 측면일 뿐이며 제한적이지 않다.
첨부된 도면들과 관련하여 고려될 때 다음의 상세한 설명을 참조함으로써 본 개시 및 이에 수반되는 많은 이점들이 더 잘 이해됨에 따라 이에 대한 보다 완전한 이해가 용이하게 얻어질 것이다:
도 1은 본 개시의 예시적인 양상에 따른 시스템의 다이어그램이고;
도 2는 이동 디바이스를 위한 컴퓨터 시스템의 블록도이고;
도 3a, 3b는 맞춤 룩을 생성하는 방법의 흐름도이며, 여기에서 도 3a는 사용자가 그 자신의 맞춤 룩을 생성하는 방법이며, 도 3b는 본 개시의 예시적인 양상에 따라 맞춤 룩이 모바일 애플리케이션에 의해 생성되는 방법이고;
도 4는 본 개시의 예시적인 양상에 따라 룩의 사용자 생성 또는 앱 생성 사이에서 선택하기 위한 예시적인 사용자 인터페이스이고;
도 5는 본 개시의 예시적인 양상에 따라 디지털 메이크업 팔레트를 획득하는 방법의 흐름도이고;
도 6은 본 개시의 예시적인 양상에 따른 예시적인 디지털 메이크업 팔레트를 예시하고;
도 7은 본 개시의 예시적인 양상에 따른 예시적인 디지털 메이크업을 예시하고;
도 8은 본 개시의 예시적인 양상에 따른 보다 상세한 얼굴 분석 단계의 흐름도이고;
도 9는 얼굴형을 분류하기 위한 CNN의 블록도이고;
도 10은 얼굴 특징점 검출을 위한 심층 학습 신경망의 다이어그램이고;
도 11은 적용할 가상 제품을 선택하기 위한 예시적인 사용자 인터페이스이고;
도 12는 사용자가 메이크업을 적용하는 것과 메이크업을 적용하는 방법을 추천하는 것 사이에서 선택하기 위한 예시적인 사용자 인터페이스이고;
도 13은 본 개시내용의 예시적인 양태에 따른 예시적인 모바일 애플리케이션이고,
도 14는 추천기 시스템에 대한 다이어그램이고;
도 15는 도 12의 추천기 시스템에 대한 예시적인 룩-메이크업 매트릭스를 예시하고;
도 16은 원하는 특징 및 원래 특징에 기초하여 얼굴 이미지를 생성하기 위해 사용될 수 있는 블렌딩 프로세스를 예시하고;
도 17은 본 개시의 예시적인 양상에 따라 가상 메이크업을 적용하는 단계에 대한 흐름도이고;
도 18은 메이크업을 적용하는 동안 영역들 및 스와이프를 기록하는 단계의 흐름도이고;
도 19는 문제 영역들 또는 최상의 특징들을 추정하기 위해 메이크업을 적용할 때 사용자의 단계들을 분석하는 단계의 흐름도이고;
도 20은 본 개시의 예시적인 양상에 따라 메이크업 룩을 저장하기 위한 예시적인 사용자 인터페이스이고;
도 21은 본 개시의 예시적인 양상에 따른 디지털 팔레트의 맞춤 적용 방법의 흐름도이고;
도 22는 맞춤 메이크업 적용의 상태를 보여주는 예시적인 사용자 인터페이스이고;
도 23은 본 개시의 예시적인 양상에 따라 메이크업 필터들을 선택하는 방법에 대한 흐름도이고;
도 24는 메이크업 룩들을 저장하기 위한 예시적인 사용자 인터페이스이고;
도 25는 강화 학습 아키텍처의 블록도이고; 그리고
도 26은 본 발명의 예시적인 양상에 따른 기계 학습 모델의 흐름도이고;
다음의 상세한 설명에서, 설명의 일부를 형성하는 첨부 도면에 대한 참조가 이루어진다. 도면에서, 유사한 부호는 일반적으로 문맥이 달리 나타내지 않는 한, 유사한 컴포넌트를 식별한다. 상세한 설명, 도면 및 청구범위에서 설명되는 예시적인 실시형태는 제한적인 것으로 의도되지 않는다. 여기서 제시된 주제의 정신 또는 범위로부터 벗어나는 일 없이, 다른 실시형태가 활용될 수도 있고, 다른 변화가 이루어질 수도 있다.
본 개시의 양상들은 증강 현실 배열에서 디지털 메이크업 팔레트에 관한 것이다. 디지털 메이크업 팔레트는 얼굴의 한 부분을 위한 또는 얼굴 전체를 위한 디지털 메이크업을 위한 색상들의 모음이다. 증강 현실 배열은 사용자가 메이크업을 적용할 때 단계들을 캡처하고 적용된 메이크업에 대한 맞춤 메이크업 필터를 생성할 수 있다. 증강 현실 배열은 사용자가 문제 영역들 및 최상의 특징들로 고려하는 것을 식별하기 위해 단계들을 분석할 수 있다. 분석의 결과들은 맞춤 추천들을 개선하기 위해 사용될 수 있다. 증강 현실 배열은 기계 학습 모델로 분석을 수행할 수 있다. 기계 학습 모델은 문제 영역들 및 최상의 특징들을 추정하는 인공 신경망을 포함할 수 있다.
도 1은 본 개시의 예시적인 양상에 따른 시스템의 도면이다. 구현예들은 소프트웨어 애플리케이션, 또는 모바일 애플리케이션(App)을 포함한다. 본 개시의 목적들을 위해, 본원의 아래에서 앱이라는 용어는 소프트웨어 애플리케이션 또는 모바일 애플리케이션과 상호 교환 가능하게 사용될 것이며, 메이크업 애플리케이션은 디지털 메이크업을 가상으로 또는 실제로 적용하는 프로세스와 관련하여 사용될 것이다. 소프트웨어 애플리케이션은 데스크탑 컴퓨터 또는 랩탑 컴퓨터(103)에서 실행될 수 있다. 모바일 애플리케이션은 태블릿 컴퓨터 또는 다른 이동 디바이스(101)에서 실행될 수 있다. 본 개시의 목적들을 위해, 소프트웨어 애플리케이션 및 모바일 애플리케이션은 모바일 애플리케이션(111)과 관련하여 설명된다. 각각의 경우에, 모바일 애플리케이션(111)은 각각의 디바이스(101, 103) 상에서 다운로드되고 설치될 수 있다. 몇몇 구현예들에서, 데스크탑 컴퓨터 또는 랩탑 컴퓨터(103)는 오디오 입력 디바이스로서 마이크로폰(103a)과 함께 구성될 수 있다. 마이크로폰(103a)은 USB 포트 또는 오디오 입력 포트를 통해, 또는 블루투스 무선 프로토콜을 통해 무선으로 데스크탑 컴퓨터 또는 랩탑 컴퓨터(103)에 연결하는 디바이스일 수 있다. 모바일 디바이스(101)는 내장된 마이크로폰을 구비한 휴대 전화 또는 스마트폰일 수 있다. 몇몇 구현예들에서, 소프트웨어 애플리케이션 또는 모바일 애플리케이션(111)은 클라우드 서비스(105)와 함께 동작하기 위한 통신 기능을 포함할 수 있다. 클라우드 서비스(105)는 데이터베이스 관리 서비스(107) 및 기계 학습 서비스(109)를 포함할 수 있다. 데이터베이스 관리 서비스(107)는 클라우드 서비스(105)에서 제공되는 데이터베이스 관리 시스템들의 유형들 중 임의의 유형일 수 있다. 예를 들어, 데이터베이스 관리 서비스(107)는 구조화된 질의어(Structured Query Language; SQL)를 사용하여 액세스되는 데이터베이스, 및 흔히 No SQL로 불리우는, 키들에 의해 액세스되는 비구조화 데이터베이스를 포함할 수 있다. 기계 학습 서비스(109)는 기계 학습에 필요할 수 있는 스케일 업 및 고성능 컴퓨팅을 허용하기 위해 기계 학습을 수행할 수 있다. 또한, 소프트웨어 애플리케이션 또는 모바일 애플리케이션(111)은 클라우드 서비스(105)로부터 다운로드될 수 있다. 도 1은 단일 클라우드 서비스(105), 랩탑 컴퓨터(103) 및 이동 디바이스(101)를 도시하지만, 데스크탑 컴퓨터들 및 태블릿 컴퓨터들뿐만 아니라 다수의 이동 디바이스들, 랩탑 컴퓨터들이 하나 이상의 클라우드 서비스들에 연결될 수 있다는 것을 이해해야 한다.
소프트웨어 애플리케이션 또는 모바일 애플리케이션(111)은 그래픽 사용자 인터페이스에 동작 가능하게 결합된 메이크업 목표 유닛, 메이크업 목표 유닛에 결합된 메이크업 팔레트 유닛, 및 메이크업 목표 시각화 유닛을 포함하는 증강 현실 시스템으로 구현될 수 있다. 메이크업 목표 유닛은 사용자 선택 가능한 메이크업 목표들의 하나 이상의 인스턴스들을 생성하고 사용자-선택 메이크업 목표 정보를 수신하도록 구성될 수 있다. 메이크업 팔레트 유닛은 사용자-선택 메이크업 목표 정보에 따라 디지털 메이크업 제품에 대한 적어도 하나의 디지털 메이크업 팔레트를 생성하도록 구성될 수 있다. 메이크업 목표 시각화 유닛은 사용자-선택 메이크업 목표 정보에 따라 가상 시착의 하나 이상의 인스턴스들을 생성하도록 구성될 수 있다. 메이크업 목표 유닛, 메이크업 팔레트 유닛, 및 메이크업 목표 시각화 유닛의 각각은 이동 컴퓨터 디바이스(101, 103)에서 데스크탑 컴퓨터 디바이스에 이르는 컴퓨터 시스템의 계산 회로부를 포함할 수 있다. 최소 요건은 컴퓨터 디바이스가 대화형 디스플레이 디바이스를 포함하는 것이다.
도 2는 이동 컴퓨터 디바이스의 블록도이다. 일 구현예에서, 이동 디바이스(101)의 기능들 및 프로세스들은 하나 이상의 개개의 프로세싱/계산 회로들(226)에 의해 구현될 수 있다. 동일하거나 또는 유사한 프로세싱/계산 회로들(226)이 태블릿 컴퓨터 또는 랩탑 컴퓨터에 포함될 수 있다. 데스크탑 컴퓨터가 유사하게 구성될 수 있지만, 몇몇 경우들에서, 내장된 터치 스크린(221), 마이크로폰(241) 또는 카메라(231)를 포함하지 않을 수 있다. 프로세싱 회로는 프로세서가 계산 회로를 포함하는 것처럼 프로그램된 프로세서를 포함한다. 프로세싱 회로는 또한 응용 주문형 집적 회로(ASIC) 및 언급된 기능들을 수행하도록 배열된 종래의 회로 구성요소들과 같은 디바이스들을 포함할 수 있다. 회로부는 회로 또는 회로들의 시스템을 나타낸다는 것을 유념한다. 본원에서, 계산 회로부는 하나의 컴퓨터 시스템에 있을 수도 있거나 또는 컴퓨터 시스템들의 네트워크 전체에 분산될 수 있다.
다음으로, 예시적인 구현예들에 따른 프로세싱/계산 회로(226)의 하드웨어 설명은 도 2를 참조하여 설명된다. 도 2에서, 프로세싱/계산 회로(226)는 본원에 설명된 프로세스들을 수행하는 모바일 프로세싱 유닛(MPU)(200)을 포함한다. 프로세스 데이터 및 지시들은 메모리(202)에 저장될 수 있다. 이들 프로세스들 및 지시들은 또한 휴대용 저장 매체에 저장되거나 또는 원격으로 저장될 수 있다. 프로세싱/계산 회로(226)는 이동 디바이스(101)의 네트워크 서비스에 고유한 정보를 포함하는 교체 가능한 가입자 식별 모듈(Subscriber Identity Module, SIM)(201)을 가질 수 있다.
또한, 개선들은 발명의 프로세스의 지시들이 저장되는 컴퓨터-판독 가능 매체의 형태에 의해 제한되지 않는다. 예를 들어, 지시들은 플래시(FLASH) 메모리, 보안 디지털 랜덤 액세스 메모리(SDRAM), 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 프로그램 가능한 판독-전용 메모리(PROM), 소거 가능한 프로그램 가능 판독-전용 메모리(EPROM), 전기적으로 소거 가능한 프로그램 가능 판독 전용 메모리(EEPROM), 솔리드-스테이트 하드 디스크 또는 서버 또는 컴퓨터와 같은, 프로세싱/계산 회로(226)가 통신하는 임의의 다른 정보 프로세싱 디바이스에 저장될 수 있다.
뿐만 아니라, MPU(200) 및 Android, Microsoft® Windows® 10 Mobile, Apple iOS® 및 이 기술분야의 숙련자들에게 알려진 다른 시스템들과 같은 모바일 운영 체제와 함께 실행하는, 유틸리티 애플리케이션, 배경 데몬, 또는 운영 체제의 구성요소, 또는 그 조합으로서 개선들이 제공될 수 있다.
프로세싱/계산 회로(226)를 달성하기 위해, 하드웨어 요소들은 이 기술분야의 숙련자들에게 알려진, 다양한 회로부 요소들에 의해 실현될 수 있다. 예를 들어, MPU(200)는 Qualcomm 모바일 프로세서, Nvidia 모바일 프로세서, 미국Intel Corporation의 Atom® 프로세서, Samsung 모바일 프로세서, 또는 Apple A7 모바일 프로세서일 수 있거나, 또는 이 기술분야의 통상의 기술자에 의해 인식될 다른 프로세서 유형들일 수 있다. 대안적으로, MPU(200)는 이 기술분야의 통상의 기술자가 인식하는 바와 같이, 필드-프로그램 가능한 게이트 어레이(FPGA), 응용 주문형 집적 회로(ASIC), 프로그램 가능한 논리 디바이스(PLD) 상에서 또는 이산 논리 회로들을 사용하여 구현될 수 있다. 또한, MPU(200)는 상기 설명된 본 발명의 프로세스들의 지시들을 수행하기 위해 병렬로 협동하여 작동하는 다수의 프로세서들로서 구현될 수 있다.
도 2의 프로세싱/계산 회로(226)는 또한 네트워크(224)와 인터페이싱하기 위해 미국 Intel Corporation의 Intel Ethernet PRO 네트워크 인터페이스 카드와 같은 네트워크 제어기(206)를 포함한다. 이해될 수 있는 바와 같이, 네트워크(224)는 인터넷과 같은 공중 네트워크, 또는 LAN 또는 WAN 네트워크와 같은 사설 네트워크, 또는 이들의 임의의 조합일 수 있으며 또한 PSTN 또는 ISDN 서브-네트워크들을 포함할 수 있다. 네트워크(224)는 또한 이더넷 네트워크와 같은, 유선일 수 있다. 프로세싱 회로는 3G, 4G 및 5G 무선 모뎀들, WiFi®, Bluetooth®, GPS, 또는 알려진 임의의 다른 무선 형태의 통신을 포함하는 무선 통신들을 위한 다양한 유형들의 통신 프로세서들을 포함할 수 있다.
프로세싱/계산 회로(226)는 MPU(200)에 의해 관리될 수 있는 범용 직렬 버스(USB) 제어기(225)를 포함한다.
프로세싱/계산 회로(226)는 디스플레이(210)와 인터페이스하기 위해 미국 NVIDIA Corporation의 NVIDIA® GeForce® GTX 또는 Quadro® 그래픽 어댑터와 같은, 디스플레이 제어기(208)를 추가로 포함한다. I/O 인터페이스(212)는 볼륨 제어를 위해서와 같은, 버튼들(214)과 인터페이스한다. I/O 인터페이스(212) 및 디스플레이(210)에 더하여, 프로세싱/계산 회로(226)는 마이크로폰(241) 및 하나 이상의 카메라들(231)을 추가로 포함할 수 있다. 마이크로폰(241)은 사운드를 디지털 신호들로 프로세싱하기 위한 연관된 회로부(240)를 가질 수 있다. 유사하게, 카메라(231)는 카메라(231)의 이미지 캡처 동작을 제어하기 위해 카메라 제어기(230)를 포함할 수 있다. 예시적인 양상에서, 카메라(231)는 전하 결합 디바이스(CCD)를 포함할 수 있다. 프로세싱/계산 회로(226)는 사운드 출력 신호들을 생성하기 위한 오디오 회로(242)를 포함할 수 있으며, 선택적 사운드 출력 포트를 포함할 수 있다.
전력 관리 및 터치 스크린 제어기(220)는 프로세싱/계산 회로(226) 및 터치 제어에 의해 사용되는 전력을 관리한다. 산업 표준 아키텍처(ISA), 확장된 산업 표준 아키텍처(EISA), 비디오 전자장치 표준 협회(VESA), 주변 구성요소 인터페이스(PCI) 또는 이와 유사한 것일 수 있는 통신 버스(222)는 프로세싱/계산 회로(226)의 구성요소들 모두를 상호 연결하기 위한 것이다. 디스플레이(210), 버튼들(214), 뿐만 아니라 디스플레이 제어기(208), 전력 관리 제어기(220), 네트워크 제어기(206) 및 I/O 인터페이스(212)의 일반적인 특징들 및 기능에 대한 설명은 이들 특징들이 알려져 있으므로 간결함을 위해 본원에서 생략된다.
도 3a 및 도3b는 얼굴 문제 영역들 및 최상의 얼굴 특징들의 특수 처리뿐만 아니라 맞춤 룩을 생성하는 방법에 대한 흐름도이다. 도 3a는 본 발명의 예시적인 양상에 따라 디지털 팔레트를 갖는 가상 메이크업 제품을 적용하는 사용자에 의해 맞춤 룩을 생성하는 방법에 대한 흐름도이다.
개시된 구현예는 디지털 메이크업 팔레트를 포함한다. 디지털 메이크업 팔레트는 디지털 메이크업을 위한 가상 팔레트이다. 본 개시에서, 가상 메이크업 및 디지털 메이크업이라는 용어는 상호 교환 가능하게 사용될 수 있다. 디지털 메이크업은 선택할 수 있는 컬러들의 모음을 가질 수 있다. 특정한 디지털 메이크업에는 연관된 메이크업 적용 제스처 및 통상적으로 적용되는 하나 이상의 얼굴 부분들을 가질 수 있으며, 디지털 메이크업 팔레트는 커버리지, 음영, 및 마무리와 같은 특성들을 포함한다. 실제 메이크업 제품들과 달리, 디지털 메이크업은 화학적 조성들로부터 도출되는 색상들에 제한되지 않으며, 더 광범위한 색상들을 포함할 수 있다. 또한 디지털 메이크업은 색 온도, 노출, 대비, 채도에 대한 다양한 필터들을 적용하고 RGB 및 HCL 값들을 제어하는 것과 같은, 디스플레이 디바이스의 특성들을 사용하여 생성되는 커버리지, 음영, 마무리를 활용할 수 있다.
커버리지는 통상적으로 포함한 안료의 백분율을 기초로 하는 디지털 메이크업의 실제 커버리지이다. 커버리지는 일반적으로 기초 메이크업과 관련이 있지만, 정정 메이크업 또는 프라이머를 나타낼 수 있다. 가벼운 커버 메이크업은 약 18% 미만의 안료를 포함할 수 있다. 중간 커버 제품에는 약 18 내지 23%의 안료를 포함할 수 있다. 완전 커버 메이크업은 최대 약 35%의 안료를 포함할 수 있다. 몇몇 메이크업 제품들은 더 많은 양의 안료를 포함할 수 있다. 몇몇 구현예들에서, 디지털 메이크업에 대한 커버리지는 가상 메이크업의 단일 브러시 스트로크를 나타내는 불투명 필터로서 구현된다.
디지털 메이크업의 음영은 옅은 색에서 어두운 색까지, 몇몇 경우들에서, 매우 옅은 색에서 짙은 색, 또는 심지어 매우 짙은 색까지 이를 수 있다. 음영은 피부 색과 같은 단일 색상에 대한 것일 수 있다. 하나 이상의 구현예들에서, 디지털 메이크업을 위한 음영은 디스플레이 색상의 범위, 예를 들어 RGB 값들에 따라 디스플레이되는 적색의 음영들로 구현된다.
디지털 메이크업의 마무리에는 매트(칙칙함), 크림(윤이 나는 또는 반짝거리는), 프로스트(반사적) 및 글리터(반짝이는 입자들)와 같은 일반적인 마무리들을 포함할 수 있다. 마무리들은 반사되는 빛의 양에 대하여 정의할 수 있다. 매트는 빛을 거의 반사하지 않을 것이다. 크림은 진주와 같은 광택을 유지한다. 프로스트와 글리터는 대부분의 빛을 반사한다. 하나 이상의 구현예들에서, 디지털 메이크업을 위한 마무리는 색상 휘도(밝기)로 구현된다. 매트는 낮은 휘도 값일 수 있으며 결함들을 숨길 것이다. 프로스트는 더 큰 휘도를 발할 수 있다.
디지털 메이크업은 또한 블러(blur), 색 온도, 및 채도를 포함한 다양한 필터들을 포함할 수 있다. 블러는 결함이 덜 뚜렷해지도록 결함을 가진 영역에 적용될 수 있다.
메이크업 팔레트를 획득하기 전에, S301에서, 사용자는 이동 디바이스, 태블릿, 랩탑 또는 데스크탑 컴퓨터상에 앱(111)을 불러올 수 있다. 앱(111)은, 메이크업 목표 유닛을 통해, 사용자에게 어떤 유형의 룩을 생성하고 싶은지를 물을 수 있다. 사용자가 이 질문에 답하는 것을 돕기 위해, 앱(111)은 미리 정의된 메이크업 룩들의 목록을 생성할 수 있으며, 사용자는 미리 정의된 메이크업 룩을 선택할 수 있다. 미리 정의된 메이크업 룩들의 예들은, 몇 가지만 예로 들자면, 계절 룩들(봄, 여름, 가을), 이벤트 룩들(금요일 데이트 밤, 걸스 나이트 아웃(Girls night out), 특별한 데이트, 시어머니와의 외출, 휴가, 파티, 새해 전야, 브라이덜, 무도회), 완성 시간에 기초한 룩들(빠른 메이크업, 보통 메이크업, 여유 있는 메이크업), 분위기 룩들(쾌활한, 행복한, 눈에 띄는), 스타일들(자연스러움, 이브닝, 글램, 고딕, 오피스), 에스테틱 룩들(VSCO, eGirl, 소프트 걸)을 포함할 수 있다.
또한, 앱(111)은, 메이크업 목표 유닛을 통해, 사용자에게 메이크업을 사용한 경험의 수준을 정의하도록 요청할 수 있다. 사용자의 경험 수준은 초급자/초보자 수준, 경험자 수준, 전문가 수준 및 프로를 포함할 수 있다. 초급자/초보자 수준은 메이크업을 한 경험이 거의 또는 전혀 없는 사용자일 수 있다. 경험자 수준은 이전에 메이크업을 하였으며, 따라서 몇몇 경험을 가진 사용자일 수 있다. 전문가 수준은 1년 이상과 같은, 잠시 동안 메이크업을 해왔으며, 뿐만 아니라 적절히 메이크업을 하기 위한 방법을 배우기 위한 조치들을 취해 온 사용자일 수 있다. 프로 수준은 다른 사람에게 적용하는 사용자일 수 있다. 몇몇 구현예들에서, 앱(111)은 사용자가 사용자 프로필을 생성하기 위해 사용할 수 있는 인터페이스를 제공할 수 있으며, 이는 무엇보다도 사용자의 경험 수준을 입력하는 것을 포함할 수 있다.
앱(111)은 선택된 룩 및 사용자의 경험 수준을 시작 점으로 활용할 수 있다. 예를 들어, 메이크업을 하는 것이 새로운 사용자는 메이크업을 하는 것을 실험하고 가능하게는 이를 배우고 싶어할 수 있다. 이전에 메이크업을 한 경험이 약간 있지만, 지식과 창의성을 확장하고 싶어하는 경험 있는 사용자는 새로운 메이크업 제품 또는 메이크업 룩을 시도하길 원할 수 있다. 전문가 사용자들은 메이크업을 한 광범위한 경험을 가질 수 있지만, 그들의 창의성을 확장하고 전문 메이크업 아티스트에 의해 생성될 품질의 룩을 얻길 원할 수 있다. 그 다음에, 앱(111)은 나중 스테이지들에서 추천들을 제공하는데 선택된 룩 및 사용자의 경험 수준을 사용할 수 있다.
S303에서, 앱(111)은 앱(111)이 맞춤 룩을 제공하거나 또는 사용자가 그들의 얼굴 이미지에 가상 메이크업을 적용하는 선택을 사용자에게 제공할 수 있다. 몇몇 구현예들에서, S305에서, 메이크업 팔레트 유닛은 적어도 하나의 디지털 메이크업 팔레트를 생성할 수 있다. 특히, 사용자는 예를 들어 앱(111) 스토어로부터 디지털 메이크업을 다운로드하거나 또는 디지털 메이크업을 제공하는 웹사이트로부터 다운로드함으로써 특정한 가상 메이크업을 위한 디지털 메이크업 팔레트를 얻을 수 있다. 하나 이상의 구현예들에서, 사용자는 디지털 메이크업 팔레트를 메이크업 룩의 변형을 위한 것으로 수정할 수 있다. 예를 들어, 사용자는 비스코(VSCO) 걸 룩과 같은, 메이크업 룩을 위한 디지털 메이크업 팔레트를 다소 극적이도록 수정할 수 있다. 덜 극적인 룩은 메이크업 룩에 대한 상이한 디지털 메이크업 팔레트를 얻는 것을 수반할 수 있거나, 또는 얼굴 부분, 예컨대 입술, 눈꺼풀, 코에 대한 상이한 디지털 메이크업을 얻는 것을 수반할 수 있다.
도 4는 메이크업을 하는 방법을 택하기 위한 기능을 포함하는 앱(111)을 위한 예시적인 그래픽 사용자 인터페이스이다. 몇몇 구현예들에서, 사용자는 앱(111)이 맞춤 룩을 수행할지 또는 사용자가 디지털 메이크업을 적용할지를 결정하기 전에(S303) 디지털 메이크업 팔레트를 얻을 수 있다(S305). 다시 도 4를 참조하면, 사용자 인터페이스(400)는 파운데이션(401a), 아이섀도우(401b), 및 컨실러(401c)와 같은 사용자에 의해 획득된 제품들(401)을 디스플레이할 수 있다. 사용자 인터페이스(400)는 맞춤 룩(403)을 생성하거나 또는 하나 이상의 가상 메이크업을 수동으로 적용함으로써 룩을 생성(405)하는 것과 같은, 기능들의 선택을 사용자에게 제공할 수 있다(도 3a의 S303 참조).
몇몇 구현예들에서, 앱(111)은 미리 정의된 룩들의 목록을 사용자에게 제공할 수 있으며, 사용자는 미리 정의된 룩을 시작 점으로 선택할 수 있다. 미리 정의된 룩의 선택 시, 앱(111)은 선택된 룩에 대한 추천 디지털 메이크업 및/또는 디지털 메이크업 팔레트(들)의 세트를 사용자에게 제공할 수 있다. 사용자는 추천들의 세트에 기초하여 데이터베이스(107)로부터 또는 메이크업 제공자로부터, 예를 들어 메이크업 제공자를 위한 웹사이트로부터 디지털 메이크업 및 디지털 메이크업 팔레트(들)를 얻을 수 있다.
도 5는 디지털 메이크업 팔레트를 획득하는 방법의 흐름도이다. 도 5를 참조하면, S501에서, 사용자는 메이크업 목표 유닛을 통해, 원하는 룩을 입력하고, S503에서, 메이크업 경험 수준을 입력한다. S505에서, 사용자는 메이크업 팔레트 유닛을 통해 디지털 메이크업 팔레트를 획득한다. 원하는 룩(또한, 본원에서 가상 시착으로 불리움)은 미리 정의된 룩들의 목록에서 선택하거나, 또는 미리 정의된 룩을 반영하는 룩 이름으로 입력될 수 있다. 몇몇 경우들에서, 사용자는 미리 정의된 상대를 갖지 않은 새로운 룩, 또는 미리 정의된 룩의 수정인 것을 입력할 수 있다.
디지털 메이크업 팔레트는 특정한 유형의 메이크업 룩을 생성하기 위한 팔레트일 수 있다. 디지털 메이크업 팔레트는 실제 메이크업 제품들과 유사한 메이크업 회사에서 구입되거나 또는 디지털 메이크업 제품들을 전문으로 하는 웹사이트에서 획득될 수 있다. 도 6은 본 개시의 예시적인 양상에 따른 디지털 메이크업 팔레트를 가진 사용자 인터페이스를 도시한다. 사용자 인터페이스는 특정한 메이크업 룩(603) 및 특정한 사용자 경험 수준(605)을 위한 디지털 메이크업 팔레트(601)를 포함할 수 있다. 디지털 메이크업 팔레트(601)는 특정한 색상, 커버리지, 음영, 및 마무리에 대해, 특정한 디지털 메이크업을 선택하기 위한 버튼들을 포함할 수 있다. 사용자 경험 수준(605)은 일반 내지 정밀 적용에 걸친 범위에 대해 슬라이딩 바에 의해 제어될 수 있다. 사용자 인터페이스는 메이크업 애플리케이션 도구들(607)를 선택하기 위한 버튼들을 포함할 수 있다.
디지털 메이크업 팔레트는 하나 이상의 특정한 디지털 메이크업을 포함하며, 이는 특정한 색상, 커버리지, 음영 및 마무리에서 실제 메이크업과 유사하다. 실제 메이크업과 달리, 커버리지는 불투명 필터로서 구현될 수 있고, 음영은 rgb 값들의 범위로 구현될 수 있으며, 마무리는 색상 밀도 또는 색상 밝기일 수 있다.
디지털 메이크업 팔레트는 또한 범용 메이크업 팔레트일 수 있다. 뿐만 아니라, 디지털 메이크업 팔레트는 얼굴의 일부에 대한 특정한 가상 메이크업을 위한 것일 수 있다. 도 7은 하나 이상의 가상 메이크업을 위한 컨테이너 및 하나 이상의 메이크업 도포기 도구들을 위한 컨테이너를 가진 사용자 인터페이스를 도시한다. 가상 메이크업은 제품(701) 또는 하나 이상의 메이크업 제공자 웹사이트들로부터 얻은 제품들일 수 있다. 가상 메이크업 제품들은 사용자(703)를 위한 메이크업 백에 저장될 수 있다. 사용자 경험 수준(705)은 일반 내지 정밀 적용에 걸친 범위에 대해 슬라이딩 바에 의해 제어될 수 있다. 메이크업 도포기 도구들은 컨테이너(707)에 보관될 수 있다. 다양한 메이크업 도포기 도구들은 각각의 특정한 가상 메이크업 제품을 적용하기 위해 사용될 수 있다. 도포기 도구들의 유형들은 브러시들, 스폰지 메이크업 도포기들, 및 메이크업 도포기 퍼프들을 포함할 수 있다. 브러시들은 폭들이 다양하고, 각진 끝, 편평한 끝 또는 뾰족한 끝을 가질 수 있다. 마스카라 브러시들과 같은, 특수 브러시들은 강모들을 갖는다. 일반적인 스펀지 도포기는 한쪽 또는 양쪽 끝이 있는 스펀지 면봉이다. 몇몇 스펀지들은 편평한, 타원형이다. 몇몇 스펀지들은 쐐기형일 수 있다. 퍼프들은 크기들 및 재료들이 다양할 수 있다. 몇몇 메이크업 제품들은 메이크업 펜슬, 예컨대 눈썹 펜슬들, 아이라이너 펜슬들, 및 립라이너 펜슬의 형태로 되어있다. 컨실러 및 하이라이터 제품들은 내장형 펜-형 디스펜서들을 가질 수 있다.
가상 메이크업은 스타일러스, 마우스, 내장형 모션 센서를 가진 물리적 도포기 도구, 또는 심지어 사용자의 손가락을 사용하여 실제 물리적 제스처들에 따라 동작하도록 구성될 수 있는 도포기 도구들을 포함할 수 있다. 물리적 제스처는 가상 브러시가 스타일러스의 움직임 및 힘에 비례하는 브러시 스트로크를 적용하게 하기 위해 만들어질 수 있다. 몇몇 구현예들에서, 스타일러스는 이동 디바이스의 3D 터치 표면상에서 사용될 수 있으며 터치 스크린상에서 힘의 양은 힘에 비례하는 두께를 가진 선을 생성한다. 몇몇 구현예들에서, 스타일러스는 메이크업 도포기의 형태를 취하며 사용자가 얼굴 이미지에 가상으로 메이크업을 적용하기 위해 스타일러스를 사용할 때 브러시 스트로크의 모션 및 힘을 검출하기 위해 모션 센서 및 힘 센서 양쪽 모두를 포함할 수 있다.
사용자가 그 자신의 맞춤 룩을 생성하도록 택할 때(S303에서 직접 해보기), S307에서 이동 디바이스(101) 또는 랩탑 컴퓨터(103) 상에서 실행하는 모바일 애플리케이션(111)은 사용자의 얼굴의 이미지를 캡처하기 위하 내장된 카메라 기능을 사용할 수 있다. 몇몇 구현예들에서, 카메라(231)는 사용자의 비디오를 캡처하기 위해 사용된다. 몇몇 구현예들에서, 카메라(231)는 약간 상이한 방향들로부터 및/또는 상이한 조명 조건들에서 사용자의 얼굴의 여러 이미지들을 캡처하기 위해 사용된다. 대안으로서, 이전에 캡처된 이미지, 이미지들 또는 비디오가 모바일 애플리케이션(111)으로 업로드될 수 있다. 뿐만 아니라, 이전에 캡처된 이미지, 이미지들 또는 비디오는 외부 카메라 디바이스를 사용하여 촬영되거나, 또는 이동 디바이스 또는 랩탑 컴퓨터의 내부 저장 디바이스로부터 또는 외부 저장 디바이스로부터 획득될 수 있다.
몇몇 구현예들에서, 이미지가 캡쳐될 때, S309에서, 모바일 애플리케이션(111)은 얼굴 인식을 수행하며 입술, 눈, 코, 귀 및 머리카락을 포함하는 얼굴 이미지에서 부분들 및 그 위치들을 식별할 수 있다. 얼굴 인식을 수행하기 위해, 모바일 애플리케이션(111)은 조명을 개선하기 위해서와 같은, 이미지 특징들을 개선하기 위해 이미지 프로세싱 동작들을 수행할 수 있다. 예를 들어, 사용자는 밝은 빛 또는 햇빛이 사용자의 뒤 방향에서 올 때 의도치 않게 자기-사진을 찍을 수 있다. 모바일 애플리케이션(111)은 사용자의 얼굴 이미지를 밝게 할 수 있다. 다른 이미지 프로세싱 동작들이 이미지 품질을 개선하기 위해 수행될 수 있다.
도 8은 얼굴 분석 단계의 보다 상세한 흐름도이다.
S801에서, 캡쳐된 이미지는 얼굴형을 결정하기 위해 분석될 수 있다. 하나 이상의 구현예들에서, 기계 학습 모델을 사용하여 사용자의 캡쳐된 얼굴의 얼굴형이 검출될 수 있다. 기계 학습 모델은 알려진 얼굴형들을 가진 얼굴 이미지들을 사용하여 얼굴형을 분류하도록 훈련될 수 있다. 최근에 이미지 분류는 대상들을 인식할 때 인간 뇌의 시각 피질이 어떻게 작동하는지에 의해 영감을 받은 신경망의 유형을 사용하여 수행되어 왔다. 신경망은 컨볼루션 신경망(convolutional neural network; CNN)들로 알려진 네트워크들의 계열이다. 다른 접근 방식들이 이미지 분류를 위해 제안되었으며 계속해서 개선되고 있다. 이미지 분류를 위해 사용될 수 있는 이미지 분류를 위한 다른 접근방식들은 몇 가지만 예를 들자면, 선형 회귀, 의사결정 트리, 랜덤 포레스트 및 지지 벡터 기계가 포함된다. 몇몇 구현예들에서, 기계 학습 모델은 클라우드 서비스(105)의 기계 학습 서비스(109)를 사용하여 원격으로 훈련될 수 있다.
하나 이상의 구현예들에서, 얼굴형을 분류하기 위해 사용될 수 있는 기계 학습 모델의 아키텍처는 CNN이다. 도 9는 얼굴형을 분류하기 위한 CNN의 블록도이다. CNN의 치수들 및 활성화 기능들은 이용 가능한 프로세싱 능력 및 원하는 정확도에 의존하여 달라질 수 있다. 치수들은 무엇보다도, 채널들의 수, 각 계층의 뉴런들의 수 및 계층들의 수를 포함한다. 가능한 활성화 기능들은 로지스틱, 정류 선형 유닛 등을 포함한다.
컨볼루션 신경망(CNN)은 여러 유형들의 계층들로 구성될 수 있다. 컨볼루션 구성요소(903)는 컨볼루션 계층(903a), 풀링 계층(903c) 및 정류 선형 유닛 계층(903b)으로 구성될 수 있다. 컨볼루션 계층(903a)은 주어진 모든 공간 위치들에서 특징의 특별한 위치를 검출하는 2-차원 활성화 맵을 개발하기 위한 것이다. 풀링 계층(903c)은 다운샘플링의 형태로 동작한다. 정류 선형 유닛 계층(903b)은 컨볼루션 계층 자체의 수용 필드들에 영향을 주지 않고 의사결정 함수 및 전체 네트워크의 비선형 속성들을 증가시키기 위해 활성화 함수를 이용한다. 완전 연결 계층(905)은 이전 계층들 중에서 활성화들 모두로의 연결들을 가진 뉴런들을 포함한다. 손실 계층은 네트워크 훈련이 어떻게 예측 계층과 실제 계층 간의 편차에 페널티를 부여하는지를 특정한다. 손실 계층(907)은 상호 배타적인 클래스들의 세트에서 클래스를 검출한다. 손실 계층의 한 유형은 다수의 클래스들의 각각에 대한 출력 값을 제공하는, 소프트맥스(softmax) 함수이다..
몇몇 구현예들에서, 손실 계층(907)은 소프트맥스 함수일 수 있다. 소프트맥스 함수는 각 클래스에 대한 확률 값을 제공한다. 예시적인 구현예에서, 클래스들(909)은 정사각형, 직사각형, 둥근형, 타원형, 장방형, 마름모꼴, 삼각형 및 하트 얼굴형들을 포함할 수 있다.
S803에서, 모바일 애플리케이션(111)은 얼굴 특징들 및 특징점들을 추가로 분석할 수 있다. 얼굴형과 유사하게, 사용자의 캡처된 얼굴의 얼굴 특징들 및 특징점들은 기계 학습 모델을 사용하여 검출될 수 있다. 기계 학습 모델은 얼굴 특징점들을 검출하도록 훈련될 수 있다. 얼굴형 분류와 마찬가지로, 도 9와 유사한 CNN 아키텍처가 얼굴 특징점 검출을 위해 사용될 수 있다. 분류에 대한 다른 접근 방식들이 또한 사용될 수 있다.
도 10은 얼굴 특징점 검출을 위한 심층 학습 신경망의 다이어그램이다. 도 9의 아키텍처와 유사하게, 심층 학습 신경망은 컨볼루션 신경망이다. 심층 학습 신경망의 훈련을 개선하기 위해, 잔차(residual) 연결들이 포함될 수 있다. 하나 이상의 구현예들에서, 역 잔차 구조들이 포함될 수 있으며, 잔차 연결들은 네트워크에서 이전 계층들에 대해 이루어진다. 도 10의 아키텍처와 관련하여, 네트워크는 두 개의 스테이지들, 즉 1003 및 1005으로 제공된다. 제1 스테이지(1003)는 특징 추출을 수행하기 위한 컨볼루션 스테이지이다. 제2 스테이지(1005)는 관심 영역들에서 예측을 수행한다.
제1 스테이지(1003)의 아키텍처는 입력 얼굴 이미지(1001)를 제공하고 컨볼루션 및 최대 풀링 연산들을 수행하는 컨볼루션 섹션(1003a)을 포함한다. 컨볼루션 섹션(1003a)은 역 잔차 구조(1003b)에 연결된다. 마스크 계층(1003c)은 역 잔차 구조(1003b)에 연결된다. 마스크 계층(1003c)의 크기는 특징점들의 수(예를 들어, 2 x L, 특징점들의 수)에 기초한다. 마스크 계층(1003c)은 입력 대상의 공간 레이아웃을 인코딩한다.
제2 스테이지(1005)의 아키텍처는 제1 스테이지(1003)의 역 잔차 구조(1003b)에 연결된 역 잔차 구조(1005b)를 포함한다. 또한, 제1 스테이지(1003)의 마스크 계층(1003c)은 역 잔차 구조(1005b)의 결과에 적용되며 ROI 및 연쇄 블록(1011)에서 관심 영역 자르기를 수행하기 위한 입력으로 제공된다. ROI 및 연쇄 블록(1011)은 역 잔차 구조(1005b)에서 채널들의 수 및 특징점들의 수에 기초한다. 예측 블록(1013)은 마스크 계층(1005c)에서 특징점들 및 대략적인 위치들을 예측한다. 제2 스테이지(1003)의 관심 영역들에 대한 예측들은 출력 계층(1007)에서 출력 특징점들을 얻기 위해 총 이미지에 대해 마스크(1003c)에 의해 추정된 특징점들과 조합된다.
하나 이상의 구현예들에서, 얼굴에 대한 특징점들은 눈, 코, 입술, 광대뼈, 눈썹, 눈꺼풀을 포함한 눈 주위의 영역들, 뿐만 아니라 머리카락을 포함한다. 몇몇 구현예들에서, 특징점들은 가능한 안면 이상들을 포함할 수 있다.
각각의 계층의 특정 치수들 및 계층들의 수는 원하는 정확도, 기계 학습 모델을 수행하기 위한 하드웨어, 및 기계 학습 모델을 훈련하기 위한 시간 길이를 포함하는 파라미터들에 의존할 수 있다. 기계 학습 모델은 클라우드 서비스(105)의 기계 학습 서비스(109)를 사용하여 훈련될 수 있다.
얼굴 특징들의 분석(S803)은 입술 형태(S805), 눈꺼풀 형태(S807), 및 헤어 스타일(S809)의 검출을 추가로 포함할 수 있다. 검출된 특징점들은 입술, 눈, 헤어 스타일의 윤곽들을 산출하기 위해 사용될 수 있다. 또한, 피부 색(S811) 및 피부 질감(S813)과 같은 다른 얼굴 특징들이 또한 얼굴 이미지로부터 결정될 수 있다. 피부 색 및 피부 질감은 이미지 프로세싱 기법들을 사용하여 결정될 수 있다. 피부 톤의 유형들은 비제한적인, 옅은 색, 중간 색, 짙은 색을 포함할 수 있다. 피부 질감의 유형들은 비제한적인, 부드러움, 매끄러움, 거침, 질김을 포함할 수 있다.
얼굴 이미지의 추가적인 특징은 조명(이미지 밝기)일 수 있다. S815에서, 이미지 조명(밝기)은 이미지 프로세싱 기법들을 사용하여 결정될 수 있다. 밝기는 이미지에서 지각된 빛의 총 양의 측정치로서 정의될 수 있다. 몇몇 구현예들에서, 이미지의 밝기는 캡처된 밝기 레벨로서 초기로부터 증가되거나 또는 감소될 수 있다.
S817에서, 과거 룩 선호들이 데이터베이스(107)로부터 검색될 수 있다. 과거 룩 선호들은 과거 룩을 위해 사용되었던 색상, 커버리지, 음영, 마무리, 및 적용 제스처를 포함하는, 디지털 메이크업의 특성들을 포함할 수 있다. 과거 사용자 선호들은 얼굴의 특정한 부분에 대한 디지털 메이크업 특성들을 포함할 수 있으며, 또한 특정한 룩을 위해 적용되었던 디지털 메이크업의 선택을 포함할 수 있다.
S311에서, 사용자 인터페이스는 가상 메이크업을 선택하기 위한 기능을 포함할 수 있다. 도 11은 적용할 가상 메이크업을 선택하기 위한 예시적인 사용자 인터페이스이다. 사용자 인터페이스 스크린(1100)은 포인터(1103)를 사용하여 가상 메이크업을 선택하기 위한 지시들을 가진 메시지(1101)를 포함할 수 있다.
S313에서, 가상 메이크업이 선택될 때, 모바일 애플리케이션(111)은 선택된 가상 메이크업을 활성화하기 위한 기능을 수행할 수 있다. 가상 메이크업은 도포기 스와이프 제스처(들) 및 가상 메이크업이 적용될 수 있는 얼굴의 통상적인 영역(들)을 포함하여, 가상 메이크업의 특성들을 검색함으로써 활성화될 수 있다. 몇몇 구현예들에서, 가상 메이크업과 연관된 데이터는 커버리지, 음영 및 마무리를 포함할 수 있다.
S315에서, 모바일 애플리케이션(111)은 사용자에게 그들이 가상 메이크업을 어떻게 적용할지에 대한 추천을 원하는지를 묻는 메시지를 디스플레이할 수 있다. 추천 메시지에 대한 요청을 디스플레이하기 위한 사용자 인터페이스의 예가 도 12에 도시된다.
도 12는 사용자가 메이크업을 적용하는 것과 모바일 애플리케이션이 메이크업을 적용할 방법을 추천하는 것 사이에서 택하기 위한 예시적인 사용자 인터페이스이다. 사용자 인터페이스(1200)는 가상 메이크업(1205)을 어떻게 적용할지에 대한 추천을 선택하기 위한 버튼(1203)을 디스플레이할 수 있다. 사용자 인터페이스(1200)는 대안으로서 얼굴 이미지(1207)에 가상 메이크업을 적용하기 위해 스타일러스 또는 마우스를 스와이핑하도록 사용자에게 지시하는 버튼(1201)을 또한 디스플레이할 수 있다.
사용자가 추천을 받지 않기로 선택할 때(S315에서 아니오), S317에서, 사용자는 가상 메이크업을 적용할 얼굴 이미지 상의 위치를 표시할 수 있다. S321에서, 사용자는 메이크업 목표 시각화 유닛을 통해, 스타일러스 또는 마우스를 사용하여 얼굴 위치들에서 스와이프들을 함으로써 가상 메이크업을 적용할 수 있다. 도 13은 이동 디바이스(101) 상에서의 예시적인 사용자 인터페이스이다. 버튼(1201)이 선택될 때, 사용자 인터페이스는 얼굴 이미지(1301) 및 디지털 메이크업 팔레트(1303)를 디스플레이할 수 있다. 사용자는 스타일러스(1310)의 스와이프 제스처를 사용하여 특정 위치(1305)에 가상 메이크업(1303a)을 적용하기 위해 디지털 메이크업 팔레트(1303)로부터 색상(1303b)을 선택할 수 있다. 이동 디바이스(101) 상의 스크린은 얼굴 특징의 뷰를 조정하기 위해 얼굴 이미지(1301)를 확대하거나 또는 축소시키기 위해 사용될 수 있는 줌 기능을 포함하는 터치 스크린일 수 있다. 몇몇 구현예들에서, 터치 스크린의 모드는 이미지를 이동시키지 않고 얼굴 이미지에 가상 메이크업을 적용하도록 스타일러스의 사용을 허용하기 위해 스위칭될 수 있다.
대안적인 판단에서, 사용자가 추천을 얻기를 선택할 때(S315에서, 예), S319에서, 모바일 애플리케이션(111)은 가상 메이크업이 적용될 얼굴 이미지 상의 위치를 표시한다.
도 14는 추천기 시스템에 대한 다이어그램이다. 추천기 시스템(1400)은 가상 메이크업을 어떻게 적용할지를 보여주기 위해 사용될 수 있다(도 3a의 S319). 추천기 시스템(1400)은 이미지 데이터 및 메이크업 필터들의 인덱스형 데이터베이스(1405)에서 작동한다. 추천기 시스템(1400)은 추천들을 검색하고 순위를 매기는 추천 엔진(1407)을 포함한다. 특정한 가상 메이크업 적용의 경우에, 추천은 사용자가 단계 S301에서 입력한 룩 및 가상 메이크업에 대한 것일 수 있다. 몇몇 구현예들에서, 추천들은 사용자 선호들 또는 즐겨찾기에 기초하여 검색될 수 있다. 개인 사용자 선호들은 앱(111)이 처음 셋업될 때 사용자가 입력한 메이크업 특성들일 수 있다. 즐겨찾기는 사용자가 좋아하는 것으로 표시한 메이크업 특성들일 수 있다. 개인 선호들 및 즐겨찾기는 얼굴의 특정한 부분들 또는 얼굴 전체에 대한 것일 수 있다.
몇몇 구현예들에서, 추천 엔진(1407)은 룩-특징 매트릭스를 사용할 수 있다. 도 15는 본 개시의 예시적인 양상에 따른 비제한적인 룩-특징 매트릭스를 예시한다. 도 15의 룩-특징 매트릭스는 간결함을 위해 두 개의 유형들의 가상 메이크업을 보여주는 부분 매트릭스이다. 몇 가지만 예로 들자면, 이에 제한되지 않지만, 파운데이션, 마스카라, 컨실러, 치크 파우더, 눈썹 펜슬을 포함하는, 다른 유형들의 가상 메이크업이 매트릭스에 포함될 수 있다. 룩-특징 매트릭스는 원하는 특징들의 벡터와 비교하기 위해 이동 디바이스에서의 앱(111)에 저장될 수 있다. 원하는 특징들은 현재의 사용자 선호들일 수 있으며 사용자의 현재 경험 수준 및 원하는 룩을 고려할 수 있다. 추천 엔진(1407)은 추천들의 순위를 매기기 위해 하나 이상의 유사성 메트릭들 및 스코어링 알고리즘을 사용할 수 있다. 구현예에서, 추천 엔진(1407)은 추천된 것들로부터 가상 메이크업에 대한 특정한 특성들을 변경함으로써 창의성을 장려하도록 추천들을 올리는 특징들의 세트를 생성할 수 있다. 예를 들어, 추천 엔진(1407)이 검색된 추천들 중에서 하나의 추천을 높게 평가하면, 그것은 그 후 유사성 스코어를 증가시키기 위해 하나 이상의 특성들을 변경할 수 있다. 대안적으로, 추천 엔진(1407)은 검색된 추천에서 하나 이상의 특성들, 이를테면 음영 또는 마무리를 하나 위 또는 하나 아래로 변경할 수 있다(예컨대, 음영을 저장된 음영에서 한 레벨 위로 또는 한 레벨 아래로 변경한다). 하나 이상의 구현예들에서, 추천 엔진(1407)은 사용자의 경험 수준에 기초하여 애플리케이션 제스처를 다소 정확하게 조정할 수 있다.
추천 엔진(1407)은 하나 이상의 추천들을 추천 사용자 인터페이스로 출력할 수 있다(S319). 추천 사용자 인터페이스(S319)는 선택된 추천의 적용을 보여주는 한 서열의 비디오 프레임들을 디스플레이할 수 있다.
하나 이상의 구현예들에서, 추천들을 위한 비디오 프레임들은 사용자의 얼굴 이미지 및 데이터베이스(1405)에 저장된 하나 이상의 메이크업 필터들을 사용하여 생성될 수 있다. 인덱스형 데이터베이스(1405)는 비디오 프레임들의 시퀀스를 생성하기 위해 사용될 하나 이상의 메이크업 필터들을 제공할 수 있다. 도 16은 원하는 특징 및 얼굴 이미지에서의 원래 특징에 기초하여 얼굴 이미지를 생성하기 위해 사용될 수 있는 블렌딩 프로세스를 예시한다.
얼굴 특징의 블렌딩은 다음과 같이 성취된다.
1. 원하는 특징(1601)은 원래 특징의 색상과 일치하고 재채색된 특징(1605)을 얻기 위해 다시 채색된다(1603).
2. 재채색된 특징(1605)을 특징 마스크(1607)로 곱한다.
3. 원래 특징(1609)을 특징 마스크의 역(1611)(즉, 범위가 0에서 1까지인, 마스크 값들의 각각을 1에서 뺌)으로 곱한다.
4. 최종 블렌딩된 특징 이미지(1615)를 만들기 위해 2와 3의 결과 이미지들이 1613픽셀 단위로 추가된다.
원래 특징의 경계는 얼굴 분석 단계(S309) 동안 결정되었을 수 있다. 특정한 얼굴 부분에 가상 메이크업을 어떻게 적용할지를 시연하기 위해 한 서열의 비디오 프레임들이 애니메이션으로 생성될 수 있다.
S321에서, 사용자는 특정 유형의 도포기로서 그리기 위해 구성되는 스타일러스 또는 마우스를 사용하여 얼굴 이미지의 얼굴 위치에서 하나 이상의 스와이프들을 함으로써 메이크업을 적용하기 위해 가상 메이크업의 시연된 적용을 모방할 수 있다.
도 17은 본 개시의 예시적인 양상에 따라 가상 메이크업을 적용하는 단계에 대한 흐름도이다. S1701에서, 사용자는 가상 메이크업을 적용하기 위한 시작점을 선택하거나 또는 터치하기 위해 사용자 인터페이스와 상호작용할 수 있다. S1703에서, 사용자는 가상 메이크업을 적용하기 위한 제스처를 수행할 수 있다. 제스처는 스와이프 모션, 선 그리기 모션, 또는 탭 모션일 수 있다. 스와이프 모션은, 예를 들어, 마스카라를 속눈썹에 바르는 경우에 이루어질 수 있다. 더 두꺼운 도포기가 아이섀도우를 위해서와 같은 더 넓은 스트로크들을 적용하기 위해 스와이프 모션으로 사용될 수 있다. 선 그리기 모션은, 예를 들어 아이 라이너를 적용하기 위해 사용될 수 있다. 더 두꺼운 선을 이용한 선 그리기 모션은 립스틱을 바르기 위해 사용될 수 있다. 탭 모션은 얼굴 파우더를 바르기 위해 사용될 수 있다.
하나 이상의 구현예들에서, S1705에서, 제스처들은 제스처가 잘못하여, 즉 실수로 적용되었는지를 결정하기 위해 사용자의 경험 수준에 기초하여 분석될 수 있다. 초보 사용자를 위해, 경험이 있는 사용자보다 더 많은 양의 오류가 허용될 수 있다. 이러한 경우에, 용인 양을 벗어난 제스처는 경험이 있는 사용자에 대해서는 실수로서 판단될 수 있는 한편, 용인 양은 초보 사용자에 대해 더 클 수 있다. 초보 사용자에 의한 제스처가 더 높은 용인 양을 벗어날 때, 제스처는 오류인 것으로 결정될 수 있다. S1707에서, 앱(111)은 제스처가 잘못하여, 즉 실수로 적용되었는지를 결정한다. 제스처가 용인 양을 벗어나 이루어진다고 결정되면(S1707에서 예), S1709에서, 제스처가 실수로 적용되었음을 사용자에게 알리고, 및/또는 제스처가 만족스럽게 적용되었는지를 확인하도록 사용자에게 묻기 위해 통지 메시지가 디스플레이될 수 있다. 앱은 S1711에서, 가상 메이크업의 적용을 다시 하기 위한 옵션을 사용자에게 제공할 수 있다. 실수가 없거나(S1707에서 아니오) 또는 사용자가 가상 메이크업을 다시 하지 않는 것으로 택할 때(S1711에서 아니오), 앱(111)은 다음 단계(S323)로 진행한다.
몇몇 구현예들에서, 영역들 및 스와이프 움직임들은 얼굴 특징들 내에 머물도록 제한되거나 또는 제어될 수 있다. 예를 들어, 스타일러스가 스크린을 터치할 때, 모바일 애플리케이션(111)은 그 위치가 얼굴 특징 내에 있는 것으로 검출할 수 있다. 스타일러스가 이동됨에 따라, 스와이프는 스크린상에 그려질 수 있지만, 얼굴 분석 단계(S309)에서 결정한 바와 같이, 얼굴 부분의 경계선 바깥쪽에서 그리지 않고 그려질 수 있다. 스크린상에 그리는 것은 커버리지, 음영, 및 마무리를 포함하여, 메이크업 제품의 특성들에 따라 수행될 수 있다. 스크린상에 그리는 것은 일반적인 애플리케이션 제스처들 및 얼굴 영역들에 따라 수행될 수 있다.
S323에서, 모바일 애플리케이션(111)은 사용자가 가상 메이크업을 적용함에 따라 영역들 및 스와이프 움직임들을 이동 디바이스(101, 103)의 메모리(202)에 기록할 수 있다. 도 18은 메이크업을 적용하는 동안 영역들 및 스와이프들을 기록하는 단계의 흐름도이다. 도 18에 관하여, S1801에서, 모바일 애플리케이션(111)은 가상 메이크업이 적용된 얼굴 이미지 상의 위치 및 스와이프들의 수를 포함하여, 각각의 단계 및 연관된 데이터를 추적하고 이를 메모리에 기록할 수 있다.
S325에서, 모바일 애플리케이션(111)은 사용자의 얼굴의 문제 영역들 또는 최상의 특징들을 추정하기 위해 가상 메이크업의 기록된 위치들과 스와이프들 및 가상 메이크업의 특성들을 분석한다. 위치들은 얼굴 특징들에 매핑될 수 있다. 도 19는 문제 영역들 또는 최상의 특징들을 추정하기 위해 메이크업을 적용할 때 사용자의 단계들을 분석하는 단계의 흐름도이다. 도 19에 관하여, S1901에서, 모바일 애플리케이션(111)은 잠재적인 문제 영역들을 식별하기 위해 메이크업 스와이프들을 분석할 수 있다. 잠재적인 문제 영역들은 잡티, 흉터, 검버섯, 및 과다색소침착의 형태들을 포함할 수 있다. 잠재적인 문제 영역은 사용자가 문제라고 생각하는 얼굴 영역 또는 원하지 않는 기능일 수 있다. 다시 말해서, 잠재적인 문제 영역들은 사용자가 외모에 있어 가리거나 또는 바꾸고 싶어하는 영역들일 수 있다.
모바일 어플리케이션(111)은 얼굴 특징의 특정한 위치에서 특이한 스와이프 제스처들을 검출함으로써 잠재적인 문제 영역들을 식별할 수 있다. 특이한 스와이프 제스처는 실수로 이루어진 것이 아닌 방향에서의 갑작스러운 변화 또는 힘에서의 갑작스러운 변화를 포함할 수 있다. 모바일 애플리케이션(111)은 사용자가 디지털 메이크업 팔레트(즉, 상이한 커버리지 특성 및/또는 상이한 음영을 가진 가상 메이크업)로부터, 상이한 가상 메이크업, 또는 대안적인 색상을 특정한 얼굴 영역에 적용하는 것을 검출하는 것에 의해 잠재적인 문제 영역을 식별할 수 있다.
S1903에서, 모바일 애플리케이션(111)은 최상의 얼굴 특징들을 식별하기 위해 메이크업 스와이프들을 분석할 수 있다. 최상의 얼굴 특징들은 광대뼈, 눈 색상, 속눈썹, 입술 형태 또는 사용자가 강조하고 싶어하는 임의의 특징을 포함할 수 있다. 모바일 애플리케이션(111)은 동일한 얼굴 특징에 대해 메이크업의 평균 적용과 임계 양만큼 상이한 얼굴 특징에 대한 메이크업의 적용 변화를 검출함으로써 최상의 얼굴 특징을 검출할 수 있다. 예를 들어, 모바일 애플리케이션(111)은 얼굴 영역에 적용될 통상적인 음영 및/또는 마무리와 상이한 음영 및/또는 마무리인 색상의 적용을 검출함으로써 최상의 얼굴 특징을 검출할 수 있다. 눈 색상의 경우에, 모바일 애플리케이션(111)은 특정한 아이 섀도우 색상의 적용을 검출함으로써 눈 색상이 최상의 얼굴 특징임을 검출할 수 있다.
S1905에서, 모바일 애플리케이션(111)은 식별된 문제 영역들 및 최상의 얼굴 특징들을 이전에 저장된 추천들과 비교할 수 있다. 모바일 애플리케이션(111)은 몇몇 새로운 문제 영역들이 있을 수 있거나 또는 몇몇 문제 영역들이 더 이상 가능한 문제 영역들이 아님을 결정할 수 있다. 모바일 애플리케이션(111)은 이전에 잠재적인 문제 영역들로 여겨졌던 문제 영역들의 중요도를 높일 수 있다.
S1907에서, 비교의 결과들은 추천 엔진(1407)이 검증된 문제 영역을 가진 추천에 더 높은 스코어를 할당하도록 추천을 조정하기 위해 사용될 수 있다. 새로운 문제 영역들 및 최상의 얼굴 특징들, 또는 더 이상 잠재적인 문제 영역들 또는 최상의 얼굴 특징들이 아닌 문제 영역들 및 최상의 얼굴 특징들은 그것들이 새롭거나 또는 더 이상 잠재적이지 않게 변화를 지원할 가능성이 있을 때 추천들을 조정하기 위해 사용될 수 있다.
사용자는 문제 영역을 정정하거나 또는 최상의 특징들을 강조하는 방식으로 디지털 메이크업 팔레트로부터 가상 메이크업을 적용할 수 있다. 하나 이상의 구현예들에서, 문제 영역은 문제 영역에서의 결점을 흐릿하게 만들기 위한 필터를 적용함으로써 정정될 수 있다. 예를 들어, 잡티를 포함한 얼굴 이미지에서의 영역을 흐릿하게 만듦으로써 잡티는 덜 뚜렷해질 수 있다.
상기 주지된 바와 같이, 잠재적인 문제 영역들은 사용자가 문제라고 믿는 얼굴 영역들, 또는 원치 않는 특징일 수 있다. 최상의 얼굴 특징들은 광대뼈, 눈 색상, 속눈썹, 입술 형태 또는 사용자가 강조하고 싶어하는 임의의 특징을 포함할 수 있다.
S327에서, 모바일 애플리케이션(111)은 검증된 문제 영역들 및 검증된 최상의 얼굴 특징들 및 사용자 메이크업 적용을 미래 맞춤 추천들로서 데이터베이스(1405)에 저장할 수 있다.
도 3b에 관하여, S331에서, 사용자는 또 다른 가상 메이크업을 위해 가상 메이크업을 적용하는 단계들을 반복하도록 택할 수 있다. 모든 원하는 가상 메이크업이 적용된 후, 사용자는 S335에서, 생성된 룩을 데이터베이스(107)에 저장하도록 선택할 수 있다(S333에서 예). S337에서, 사용자는 또한 S339에서, 생성된 룩을 소셜 미디어 플랫폼 또는 라이브 비디오가 있는 다른 플랫폼으로 이동/게재하도록 선택할 수 있다(S337에서 예). 하나 이상의 구현예들에서, 룩은 또 다른 얼굴 이미지에 적용될 수 있는 메이크업 필터로서 저장될 수 있다.
도 20은 메이크업 룩을 저장하기 위한 예시적인 사용자 인터페이스이다. 사용자 인터페이스(2000)는 완성된 얼굴 이미지(2001)를 디스플레이하며 완성된 얼굴 이미지를 저장하도록 하는 기능을 위한 버튼(2003)을 제공할 수 있다. 완성된 얼굴 이미지는 기본 얼굴 이미지 및 완성된 얼굴 이미지를 재생성하기 위해 기본 얼굴 이미지에 적용될 수 있는 하나 이상의 필터들로서 저장될 수 있다. 몇몇 구현예들에서, 완성된 얼굴 이미지는 기본 얼굴 이미지 및 메이크업 제품 또는 제품들의 기록된 스와이프들로서 저장될 수 있다. 사용자 인터페이스(2000)는 완성된 얼굴 이미지를 소셜 미디어 플랫폼 또는 화상 회의 플랫폼과 같은, 라이브 비디오 또는 스틸 이미지들을 제공하는 플랫폼으로 이동시키도록 하는 기능을 위한(2005)을 추가로 제공할 수 있다. 소셜 미디어 플랫폼들의 예들은, 몇 가지만 예로 들자면, Facebook, Linked-in, Instagram, YouTube, Snapchat, TikTok을 포함한다. 화상 회의 플랫폼들의 예들은, 몇 가지만 예로 들자면, Microsoft Teams, FaceTime, Google Hangouts 또는 Google Meet, Zoom을 포함한다.
몇몇 구현예들에서, 완성된 얼굴 이미지를 재생성하기 위한 하나 이상의 메이크업 필터들은 소셜 미디어 플랫폼 또는 화상 회의 플랫폼에 제공될 수 있다. 하나 이상의 필터들은 새로운 완성된 얼굴 이미지를 얻기 위해 또 다른 기초 이미지에 적용될 수 있다.
몇몇 구현예들에서, S315에서, 사용자는 디지털 메이크업 팔레트 및 캡처된 얼굴 이미지를 또 다른 사용자에게 포워딩할 수 있다. 이러한 경우에, S321 내지 S327은 다른 사용자가 메이크업 적용을 수행하는 동안 수행될 수 있다. 다른 사용자는 메이크업을 하는데 더 높은 수준의 경험을 가진 사람, 또는 원래 사람이 선호할 수 있는 메이크업 룩의 유형을 생성할 수 있다고 원래 사용자가 믿는 사람일 수 있다.
도 21은 디지털 팔레트의 맞춤 적용 방법의 흐름도이다. 사용자가 맞춤 메이크업 룩을 생성하기로 선택할 때(S303에서 맞춤), S2101에서, 사용자는 사용자의 얼굴의 이미지, 이미지들, 또는 비디오를 캡처하도록 지시받을 수 있다. 이동 디바이스(101)의 카메라(231), 또는 외부 카메라는 사용자 얼굴의 이미지 또는 비디오를 캡처하기 위해 사용될 수 있다. S2103에서, 모바일 애플리케이션(111)은 캡처된 사용자의 얼굴을 분석할 수 있다. 도 22는 맞춤 메이크업 적용의 생성 상태를 나타내기 위한 예시적인 사용자 인터페이스이다. 도 8은 상기 설명된 바와 같이, 얼굴 분석 단계의 더 상세한 흐름도이다. 도 9는 상기 설명된 바와 같이, 얼굴형을 분류하기 위한 CNN의 블록도이다. CNN의 치수들 및 활성화 기능들은 이용 가능한 프로세싱 능력 및 원하는 정확도에 의존하여 달라질 수 있다. 치수는 채널, 각각의 계층의 크기 및 계층들의 수를 포함한다. 활성화 기능들은 무엇보다도, 로지스틱, 정류 선형 유닛을 포함한다. 도 10은 상기 설명된 바와 같이, 얼굴 특징점 검출을 위한 심층 학습 신경망의 다이어그램이다.
S2105에서, 하나 이상의 메이크업 필터들은 얼굴 분석(S2103 및 도 8)에 의해 결정된 얼굴 특징들 및 과거 룩 선호들에 기초하여 데이터베이스(107)로부터 선택/검색될 수 있다. 몇몇 저장된 메이크업 얼굴 필터들은 사용자에 의해 이전에 생성되었던(S303에서 "직접 해보기" 선택 시) 필터들일 수 있다. 몇몇 메이크업 필터들은 일반적인 룩들을 위한 것일 수 있다.
도 23은 메이크업 필터들을 선택하는 방법에 대한 흐름도이다. S2301에서, S2103에서의 분석 결과들로부터 얼굴형이 획득된다. S2303에서, S2103에서의 분석 결과들로부터 특징점들이 획득된다. S2305에서, 피부, 머리카락, 눈, 얼굴 색 및 조명의 특징들이 S2103에서의 분석으로부터 획득된다. S2307에서, 디지털 메이크업 팔레트에 대한 과거 룩 선호들이 획득할 수 있다. S2309에서, 특징점들에 대한 가능한 얼굴 필터들, 얼굴형, 피부 색, 헤어 스타일, 눈꺼풀 형태, 과거 선호들이 데이터베이스(107)로부터 검색된다. S2311에서, 검색된 얼굴 필터들의 서브세트가 선택될 수 있다. 선택 기준들은 상이한 창의적 룩의 선택을 사용자에게 여전히 제공할 수 있으면서, 맞춤 룩을 사용자에게 제공하기 위해, 가능한 얼굴 필터들 간의 무작위 선택, 과거 룩 선호들을 가장 잘 충족시키는 얼굴 필터들의 선택, 과거 룩 선호들과 다른 적어도 하나의 얼굴 필터의 선택을 포함할 수 있다.
S2107에서, 검색된 메이크업 필터들은 하나 이상의 맞춤 룩들을 얻기 위해 얼굴 이미지에 오버레이될 수 있다. 오버레이 프로세스는 얼굴 형 및 얼굴 특징점들에 기초하여 메이크업 필터들을 정렬하는 것을 포함할 수 있다. 도 16의 블렌딩 프로세스는 얼굴 이미지에서 원하는 특징과 원래 특징에 기초하여 얼굴 이미지를 생성함으로써 오버레이 프로세스를 수행하기 위해 사용될 수 있다.
사용자는 S2111에서, 모바일 애플리케이션(111)에 의해 생성된 룩을 데이터베이스(107)에 저장하도록 선택할 수 있다(S2109에서 예). S2113에서, 사용자는 또한 S2115에서, 생성된 메이크업 룩을 소셜 미디어 플랫폼 또는 화상 회의 플랫폼으로 이동/게재하도록 택할 수 있다(S2113에서 예).
도 24는 메이크업 룩들을 저장하기 위한 예시적인 사용자 인터페이스이다. 사용자 인터페이스(2400)는 완성된 얼굴 이미지(2401)를 디스플레이하며 개개의 완성된 얼굴 이미지를 저장하도록 하는 기능을 위한 버튼들(2403)을 제공할 수 있다. 완성된 얼굴 이미지는 기본 얼굴 이미지 및 완성된 얼굴 이미지를 재생성하기 위해 기본 얼굴 이미지에 적용될 수 있는 하나 이상의 메이크업 필터로 저장될 수 있다. 몇몇 구현예들에서, 완성된 얼굴 이미지는 기본 얼굴 이미지 및 메이크업 제품 또는 제품들의 기록된 스와이프들로서 저장될 수 있다. 사용자 인터페이스(2400)는 완성된 얼굴 이미지를 소셜 미디어 플랫폼 또는 화상 회의 플랫폼으로 이동시키도록 하는 기능을 위한 버튼(도시되지 않음)을 추가로 제공할 수 있다. 소셜 미디어 플랫폼의 예들은, 몇 가지만 예로 들자면, Facebook, Linked-in, Instagram, Snapchat, YouTube, TikTok을 포함한다. 화상 회의 플랫폼의 예들은 Microsoft Teams, FaceTime, Google Hangouts 또는 Google Meet 및 Zoom을 포함한다.
본 발명의 다수의 수정들 및 변형들은 상기 교시들을 고려하여 가능하다. 예를 들어, 다양한 소비자의 피부 톤들 및 질감으로부터 수집된 데이터는 인공 신경망을 하나 이상의 소비자로 확장하는 것을 허용할 것이다. 인공 신경망은 각각의 제품 음영에 대해, 새로운 화장 배합의 렌더링을 예측할 수 있을 것이다.
하나 이상의 구현예들에서, 강화 학습과 같은, 기계 학습의 형태는 사용자가 문제 영역이라고 믿는 것과 사용자가 어떤 영역들을 최상의 얼굴 특징으로 강조하고 싶어하는지를 학습하기 위해 사용될 수 있다.
도 25는 강화 학습 아키텍처의 유형의 블록도이다. 다양한 아키텍처들 및 알고리즘들은 몇 가지만 예로 들자면, 심층 강화 학습, Q-학습, 심층 Q 네트워크를 포함하는, 강화 학습을 위해 개발되어 왔다는 것이 주목된다. 본 개시에서, 강화 학습에 대한 일반적인 설명이 제공되며, 강화 학습에 대한 다양한 접근 방식들에 적용되는 것으로 이해되어야 한다.
지도형 학습과 상이하게, 강화 학습은 출력이 미리 알려지도록 요구되지 않는 기계 학습의 형태이다. 대신에 액터(actor)에 의해 출력된 동작들은 동작이 적절한지 여부를 나타내는 보상을 야기한다. 강화 학습 시스템은 환경에서 움직임 동작들을 지시하는 액터를 수반할 수 있으며, 동작의 선택은 특정한 값의 스코어의 형태로 보상을 야기할 수 있다. 움직임 동작은 환경을 새로운 상태에 둔다. 스코어는 액터로 피드백되며, 이는 기계 학습 구성요소에 대한 조정들을 한다. 예시적인 움직임 동작은 환경에서의 액터가 새로운 위치로 이동하고 작업을 수행하는 것일 수 있으며, 여기서 작업은 액터 스코어 값의 증가를 야기한다. 스코어의 증가는 움직임 동작이 유익하였다는 강화로서 작용한다. 다음 움직임 동작은 환경에서의 액터가 새로운 위치에 있게 하는 것이 아닌 이동을 하며, 결과적으로 음의 스코어를 야기하거나, 또는 적어도 스코어 값을 증가시키지 않는 것일 수 있다. 스코어의 감소는 부정적인 효과로서 피드백되며 기계 학습 구성요소는 액터에 의해 지시된 움직임 동작이 환경의 상태를 고려할 때 양호한 선택이 아니었음을 학습하도록 조정될 수 있다. 따라서, 강화 학습은 액터가 계속해서 움직임 동작들을 지시함에 따라 계속 채택할 수 있다.
도 25에 관하여, 에이전트(2510)는, 인공 신경망(2513)을 통해, 이산 시간 스텝들에서 환경(2520)과 상호작용한다. 각각의 시간 t에서, 에이전트(2510)는 관찰을 수신하며, 이는 통상적으로 연관된 보상을 갖는다. 에이전트는 그 후, 이용 가능한 동작들의 세트로부터 동작을 택하며, 이는 그 다음에 환경(2520)으로 전송된다. 환경(2520)은 새로운 상태로 이동하며 전이와 연관된 보상이 결정된다. 강화 학습 에이전트(2510)의 목표는 가능한 한 많은 보상을 모으는 것이다. 에이전트(2510)는 이전 동작들의 이력의 함수로서 임의의 동작을 택할 수 있다(가능하게는 무작위로).
일 실시예에서, 강화 학습 시스템은 사용자가 문제 영역이라고 믿는 것과 사용자가 어떤 영역들을 최상의 얼굴 특징으로 강조하고 싶은지를 학습하도록 배열될 수 있으며 두 개의 강화 학습 프로세스들로서 제공될 수 있다. 도 26은 본 개시의 예시적인 양상에 따른 기계 학습 시스템의 흐름도이다. 상기 설명된 바와 같이, 강화 학습은 일반적으로 보상(2520a)의 피드백을 통해 학습을 수행한다. 몇몇 구현예들에서, 피드백은 사용자가 메이크업 제품을 얼굴 이미지에 적용함에 따라 모바일 애플리케이션(111)과의 음성 상호작용의 형태로 제공될 수 있다. 음성 피드백은 마이크로폰(103a, 241)을 사용하여 제공될 수 있으며 피드백은 오디오 회로(242)를 통해 출력되는 질문들 및 진술들에 응답하여 제공될 수 있다.
일 실시예에서, 강화 학습 시스템(2600)은 다수의 강화 학습 모델들의 형태를 취할 수 있다. 하나의 강화 학습 모델(2603)은 얼굴 이미지로의 메이크업 제품의 하나, 또는 일련의 스와이프들(2601)에 기초하여 문제 영역을 검출할 수 있다. 강화 학습 시스템(2600)은 "문제 영역에 메이크업을 적용하고 있습니까?"와 같은, 질문을 함으로써 문제 영역의 검출을 검증할 수 있다(즉, 보상을 피드백함). 또 다른 강화 학습 모델(2605)은 얼굴 이미지로의 메이크업 제품의 하나, 또는 일련의 스와이프들(2601)에 기초하여 최상의 얼굴 특징을 검출할 수 있다. 강화 학습 시스템(2600)은 "특별한 얼굴 특징에 메이크업을 적용하고 있습니까?"와 같은, 질문을 함으로써 최상의 얼굴 특징의 검출을 검증할 수 있다(즉, 보상을 피드백함). 강화 학습 시스템은 "잡티에 메이크업을 적용하고 있습니까?" 또는 "눈 색상을 강조하기 위해 메이크업을 적용하고 있습니까?"와 같은, 더 특정적인 질문을 제공하기 위해 문제 영역의 위치 또는 최상의 얼굴 특징의 정보를 활용할 수 있다.
도 26의 강화 학습 시스템(2600)은 일련의 기계 학습 모델이지만, 대안적인 접근법은 하나 또는 일련의 스와이프를 문제 영역이나 최상의 얼굴 특징 또는 두 가지 모두가 아닌 것으로 초기에 분류하기 위한 기계 학습 구성요소를 포함시킴으로써, 그 분류 결과를 강화 학습 모델(2603)이나 강화 학습 모델(2605)에 재공하거나 또는 어느 모델에도 초기 분류 결과를 제공하지 않을 수 있다.
사용자에 의한 응답은 강화 학습 시스템에 보상을 적용하기 위해 사용될 수 있다. 보상은 사용자의 응답에 의존하여 양의 또는 음의 스코어일 수 있다. 스코어는 개개의 기계 학습 모델(2603 또는 2605)에서 파라미터들을 조정하기 위해 사용될 것이다.
문제 영역을 검출하거나 또는 최상의 얼굴 특징을 검출하기 위해 강화 학습과 유사한 연속 학습을 수행하는 또 다른 접근 방식은 회귀 분석이다. 회귀 분석의 이점은 계산이 빠르다는 것이다. 그러나, 비선형 회귀 분석에 대한 모델들이 예측 가능한 데이터를 예측하는데 더 적합하다. 메이크업 스와이프들의 데이터는, 그것들이 문제 영역들 또는 최상의 특징들에 대한 것이 아닌 이유들로 만들어질 수 있으므로, 명확하게 예측하기 어려울 수 있다.
구현예에서, "하나의(a)", "하나의(an)" 등의 단어들은 달리 언급되지 않는 한 일반적으로 "하나 이상(one or more)"의 의미를 갖는다.
구현예에서, "대략", "대략적인", "약"이라는 용어들 및 유사한 용어들은 일반적으로 20%, 10%, 또는 바람직하게는 5%의 마진 내에서 식별된 값 및 그 사이의 임의의 값들을 포함하는 범위를 지칭한다.
따라서 첨부된 청구항들의 범위 내에서, 본 발명은 본원에 구체적으로 기술된 것과는 다르게 실시될 수 있음을 이해해야 한다.
상기 개시는 또한 아래에 열거된 구현예들을 포함한다.
(1) 메이크업을 위한 증강 현실 시스템. 증강 현실 시스템은 사용자 선택 가능한 메이크업 목표들의 하나 이상의 인스턴스들을 생성하고 사용자-선택 메이크업 목표 정보를 수신하도록 구성된 그래픽 사용자 인터페이스에 동작 가능하게 결합된 계산 회로부를 포함하는 메이크업 목표 유닛; 상기 메이크업 목표 유닛에 동작 가능하게 결합된 메이크업 팔레트 유닛 - 메이크업 팔레트 유닛은 사용자-선택 메이크업 목표 정보에 따라 디지털 메이크업 제품에 대한 적어도 하나의 디지털 메이크업 팔레트를 생성하도록 구성된 계산 회로부를 포함함 -; 및 사용자-선택 메이크업 목표 정보에 따라 가상 시착의 하나 이상의 인스턴스들을 생성하도록 구성된 계산 회로부를 포함하는 메이크업 목표 시각화 유닛을 포함한다.
(2) 특징 (1)의 메이크업을 위한 증강 현실 시스템으로서, 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 사용자의 얼굴의 적어도 일 부분을 포함하는 사용자의 하나 이상의 디지털 이미지들을 수신하고, 얼굴 부분들을 식별하기 위해 사용자의 얼굴 이미지를 분석하고, 사용자의 얼굴의 이미지에 디지털 메이크업 제품을 적용하는 사용자에 의한 적어도 하나의 제스처를 추적하고 이를 메모리에 기록하고, 사용자의 얼굴에서 문제 영역들을 추정하거나 또는 특정 얼굴 특징들에 대한 강조를 추정하기 위해 적어도 하나의 제스처를 분석하며, 커버리지, 음영 및 마무리와 함께 적용된, 추정된 문제 영역들 또는 추정된 강조된 얼굴 특징들을 메모리에 저장하도록 구성된다.
(3) 특징 (2)의 메이크업을 위한 증강 현실 시스템으로서, 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 사용자-선택 메이크업 목표 정보와 일치하는 적어도 하나의 수정을 포함한 사용자의 얼굴의 부분에 대한 가상 표현을 생성하도록 구성된다.
(4) 특징 (2) 또는 특징 (3)의 메이크업을 위한 증강 현실 시스템으로서, 터치 스크린을 추가로 포함하며, 사용자에 의한 적어도 하나의 제스처는 터치 스크린상에서의 하나 이상의 스와이프들을 포함하고, 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 하나 이상의 스와이프들을 검출하고 사용자의 얼굴의 이미지에서의 위치에 선택된 색상을 적용하도록 구성된다.
(5) 특징 (4)의 메이크업을 위한 증강 현실 시스템으로서, 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 터치 스크린상에서 하나 이상의 스와이프들을 검출하며 사용자의 얼굴의 이미지에서의 위치에 있는 얼굴 부분의 경계에 의해 제한된 이미지의 영역에서 선택된 색상을 적용하도록 구성된다.
(6) 특징 (2) 또는 특징 (3)의 메이크업을 위한 증강 현실 시스템으로서, 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 메이크업을 적용할 때 사용자의 경험 수준을 수신하고, 터치 스크린상에서 하나 이상의 스와이프들을 검출하고, 스와이프들에 의해 표시된 얼굴 부분의 위치에서 사용자의 얼굴의 이미지의 영역에서 선택된 색상을 적용하며 - 얼굴 부분은 경계를 가짐 -, 하나 이상의 스와이프들이 경계로부터 용인 양을 벗어나는지를 결정하기 위해 적용된 색상을 분석하도록 - 용인 양은 메이크업을 적용할 때 사용자의 경험 수준에 기초함 - 구성된다.
(7) 특징 (4) 또는 특징 (5)의 메이크업을 위한 증강 현실 시스템으로서, 상기 터치 스크린은 스크린에 적용되는 압력의 양을 감지하는 3-차원 터치 스크린이고, 사용자에 의한 적어도 하나의 제스처는 스크린상에서 특정한 압력으로 3-차원 터치 스크린상에서의 스와이프를 포함하며, 계산 회로부는 추가로, 하나 이상의 스와이프들 및 스와이프들의 압력을 검출하며, 압력에 따른 두께로 사용자의 얼굴의 이미지에서의 위치에 선택된 색상을 적용하도록 구성된다.
(8) 특징 (2) 또는 특징 (3)의 메이크업을 위한 증강 현실 시스템으로서, 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 문제 영역 강화 학습 모델을 사용하여 문제 영역들을 추정하기 위해 제스처들을 분석하도록 구성된다.
(9) 특징 (2) 또는 특징 (3)의 메이크업을 위한 증강 현실 시스템으로서, 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 최상의 특징 강화 학습 모델을 사용하여 얼굴 특징들의 강조를 추정하기 위해 제스처들을 분석하도록 구성된다.
(10) 특징 (2) 또는 특징 (3)의 메이크업을 위한 증강 현실 시스템으로서, 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 문제 영역에 대한 제스처와 강조된 얼굴 특징에 대한 제스처를 구별하기 위해 제스처 식별 기계 학습 모델을 사용하도록 구성된다.
(11) 특징 (2) 또는 특징 (3)의 메이크업을 위한 증강 현실 시스템으로서, 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 사용자에게 사용자의 얼굴의 이미지에 디지털 메이크업 제품을 적용하는 방법에 대한 추천을 원하는지를 묻기 위해 이동 디바이스의 오디오 출력 기능을 사용하도록 구성된다.
(12) 특징 (1) 내지 특징 (11) 중 임의의 특징의 메이크업을 위한 증강 현실 시스템으로서, 메이크업 팔레트 유닛의 계산 회로부는 복수의 디지털 메이크업 제품들에 대한 복수의 사전-설정된 소문화(subculture) 팔레트들로부터 소문화 팔레트를 획득하도록 구성된다.
(13) 특징 (12)의 메이크업을 위한 증강 현실 시스템으로서, 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 사용자의 얼굴을 다소 극적이게 만들기 위해 적어도 하나의 수정을 포함하는 소문화 팔레트를 사용하여 사용자의 얼굴의 가상 표현을 생성하도록 구성된다.
(14) 특징 (12) 또는 특징 (13)의 메이크업을 위한 증강 현실 시스템으로서, 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 사용자의 얼굴의 부분을 흐릿하게 함으로써 잡티들을 제거하기 위해 적어도 하나의 수정을 포함하는 소문화 팔레트를 사용하여 사용자의 얼굴의 가상 표현을 생성하도록 구성된다.
(15) 특징 (1) 내지 특징 (14) 중 임의의 특징의 메이크업을 위한 증강 현실 시스템으로서, 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 사용자의 얼굴의 가상 표현을 라이브 비디오를 위한 플랫폼으로 이전하도록 구성된다.
(16) 특징 (1) 내지 특징 (15) 중 임의의 특징의 메이크업을 위한 증강 현실 시스템으로서, 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 사용자의 얼굴의 적어도 일 부분을 포함하는 사용자의 하나 이상의 디지털 이미지들을 제2 사용자를 위한 제2 메이크업 목표 시각화 유닛으로 전송하도록 구성되고, 제2 메이크업 목표 시각화 유닛의 계산 회로부는 얼굴 부분들을 식별하기 위해 사용자의 얼굴 이미지를 분석하고, 사용자의 얼굴의 이미지에 디지털 메이크업 제품을 적용하는 제2 사용자에 의한 적어도 하나의 제스처를 추적하고 메모리에 기록하고, 사용자의 얼굴에서 문제 영역들을 추정하거나 또는 특정 얼굴 특징들에 대한 강조를 추정하기 위해 적어도 하나의 제스처를 분석하며, 커버리지, 음영 및 마무리와 함께 적용된, 추정된 문제 영역들 또는 추정된 강조된 얼굴 특징들을 메모리에 저장하도록 구성된다.
(17) 특징 (16)의 메이크업을 위한 증강 현실 시스템으로서, 제2 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 메이크업을 적용할 때 제2 사용자의 경험 수준을 수신하고, 터치 스크린상에서 하나 이상의 스와이프들을 검출하고, 스와이프들에 의해 표시된 얼굴 부분의 위치에서의 사용자의 얼굴의 이미지의 영역에서 선택된 색상을 적용하며 - 얼굴 부분은 경계를 가짐 -, 하나 이상의 스와이프들이 경계로부터 용인 양을 벗어나는지를 결정하기 위해 적용된 색상을 분석하도록 - 용인 양은 메이크업을 적용할 때 제2 사용자의 경험 수준에 기초함 - 구성된다.
(18) 특징 (16) 또는 특징 (17)의 메이크업을 위한 증강 현실 시스템으로서, 제2 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 문제 영역 강화 학습 모델을 사용하여 문제 영역들을 추정하기 위해 제스처들을 분석하도록 구성된다.
(19) 특징 (16) 내지 특징 (18) 중 임의의 특징의 메이크업을 위한 증강 현실 시스템으로서, 제2 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 최상의 특징 강화 학습 모델을 사용하여 얼굴 특징들의 강조를 추정하기 위해 제스처들을 분석하도록 구성된다.
(20) 특징 (16) 내지 특징 (19) 중 임의의 특징의 메이크업을 위한 증강 현실 시스템으로서, 제2 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 문제 영역에 대한 제스처와 강조된 얼굴 특징에 대한 제스처를 구별하기 위해 제스처 식별 기계 학습 모델을 사용하도록 구성된다.
(21) 메이크업을 위한 증강 현실 시스템으로서, 사용자 선택 가능한 메이크업 목표들의 하나 이상의 인스턴스들을 생성하고 사용자-선택 메이크업 목표 정보를 수신하도록 구성된 그래픽 사용자 인터페이스에 동작 가능하게 결합된 계산 회로부를 포함한 메이크업 목표 유닛; 메이크업 목표 유닛에 동작 가능하게 결합된 메이크업 팔레트 유닛 - 메이크업 팔레트 유닛은 디지털 메이크업 제품에 대한 적어도 하나의 디지털 메이크업 팔레트를 생성하도록 구성됨 -; 및 얼굴형, 얼굴 특징점들, 피부 톤, 머리 색, 눈 색상, 입술 형태, 눈꺼풀 형태, 헤어 스타일 및 조명 중 하나 이상을 결정하며, 사용자-선택 메이크업 목표 정보 및 사용자의 얼굴에 대한 분석에 기초하여 생성된 적어도 하나의 디지털 메이크업 팔레트에 따라 사용자에 대한 맞춤 가상 시착의 하나 이상의 인스턴스들을 자동으로 생성하도록 구성된 계산 회로부를 포함하는 메이크업 목표 시각화 유닛을 포함한다.
(22) 특징 (21)의 메이크업을 위한 증강 현실 시스템으로서, 적어도 하나의 디지털 메이크업 팔레트는 커버리지, 음영 및 마무리를 가진 복수의 색상들을 포함한다.
(23) 특징 (21) 또는 특징 (22)의 메이크업을 위한 증강 현실 시스템으로서, 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 사용자의 얼굴의 적어도 일 부분을 포함하는 사용자의 하나 이상의 디지털 이미지들을 수신하며, 얼굴 부분들을 식별하기 위해 사용자의 얼굴 이미지를 분석하도록 구성된다.
(24) 특징 (23)의 메이크업을 위한 증강 현실 시스템으로서, 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 얼굴 부분들을 명확하게 하기 위해 하나 이상의 디지털 이미지들에서 조명을 정정하도록 구성된다.
(25) 특징 (21) 내지 특징 (24) 중 임의의 특징의 메이크업을 위한 증강 현실 시스템으로서, 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 획득된 적어도 하나의 디지털 메이크업 팔레트에 기초하여 적어도 하나의 메이크업 필터를 선택하며, 적어도 하나의 메이크업 필터를 사용하여 사용자에 대한 맞춤 가상 시착을 생성하도록 구성된다.
(26) 특징 (25)의 메이크업을 위한 증강 현실 시스템으로서, 상기 적어도 하나의 메이크업 필터는 이전에 기록된 제스처들을 사용하여 형성된다.
(27) 특징 (26)의 메이크업을 위한 증강 현실 시스템으로서, 상기 적어도 하나의 메이크업 필터는 이전에 저장된 추정된 문제 영역들 및 추정된 강조된 얼굴 특징들을 사용하여 형성된다.
(28) 특징 (26) 또는 특징 (27)의 메이크업을 위한 증강 현실 시스템으로서, 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 과거 룩 선호들에 기초하여 적어도 하나의 메이크업 필터를 선택하도록 구성된다.
(29) 특징 (23) 또는 특징 (24)의 메이크업을 위한 증강 현실 시스템으로서, 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 사용자의 얼굴의 부분을 흐릿하게 함으로써 잡티들을 제거하는 것을 포함하는 사용자에 대한 맞춤 가상 시착을 생성하도록 구성된다.
(30) 특징 (21) 내지 특징 (29) 중 임의의 특징의 메이크업을 위한 증강 현실 시스템으로서, 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 하나 이상의 인스턴스들을 메모리에 저장하는 기능으로써 맞춤 가상 시착의 하나 이상의 인스턴스들을 디스플레이하도록 구성된다.
(31) 특징 (21) 내지 특징 (30) 중 임의의 특징의 메이크업을 위한 증강 현실 시스템으로서, 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 복수의 디지털 메이크업 팔레트들에 기초하여 생성되는 맞춤 가상 시착의 하나 이상의 인스턴스들을 메모리에 저장하도록 구성된다.
(32) 특징 (21) 내지 특징 (31) 중 임의의 특징의 메이크업을 위한 증강 현실 시스템으로서, 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 맞춤 가상 시착을 라이브 비디오를 제공하는 플랫폼으로 이전하도록 구성된다.
(33) 특징 (21) 내지 특징 (32) 중 임의의 특징의 메이크업을 위한 증강 현실 시스템으로서, 복수의 메이크업 필터들을 포함한 인덱스형 데이터베이스를 포함하는 추천기 시스템을 더 포함하며, 추천기 시스템은 디지털 메이크업을 적용하는 방법을 보여달라는 요청에 응답하여 인덱스형 데이터베이스로부터 하나 이상의 메이크업 필터들을 검색하고; 검색된 하나 이상의 메이크업 필터들과 얼굴 이미지를 블렌딩함으로써 한 서열의 비디오 프레임들을 생성하며; 그 서열의 비디오 프레임들을 디스플레이하도록 구성된다.
(34) 특징 (33)의 메이크업을 위한 증강 현실 시스템으로서, 인덱스형 데이터베이스는 메이크업 필터들의 복수의 카테고리들을 포함하며, 추천기 시스템은 추가로 메이크업 필터들의 복수의 카테고리들 중에서 하나의 카테고리에 대한 디지털 메이크업을 적용하라는 요청에 응답하여 인덱스형 데이터베이스로부터 하나 이상의 메이크업 필터들을 검색하도록 구성된다.
(35) 특징 (34)의 메이크업을 위한 증강 현실 시스템으로서, 메이크업 필터들의 카테고리는 소문화 메이크업 룩들이고, 메이크업 목표 유닛의 계산 회로부는 사용자 선택 가능한 메이크업 목표들의 하나 이상의 인스턴스들로서 소문화 메이크업 룩들을 생성하도록 구성되며, 메이크업 목표 시각화 유닛의 계산 회로부는 사용자-선택 소문화 메이크업 룩들에 따라 사용자에 대한 맞춤 가상 시착의 하나 이상의 인스턴스들을 자동으로 생성하도록 구성된다.
(36) 특징 (35)의 메이크업을 위한 증강 현실 시스템으로서, 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 하나 이상의 인스턴스들 중에서 맞춤 가상 시착의 인스턴스를 선택하며 선택된 맞춤 가상 시착의 인스턴스를 라이브 비디오를 제공하는 플랫폼으로 이전하도록 구성된다.
(37) 특징 (36)의 메이크업을 위한 증강 현실 시스템으로서, 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 맞춤 가상 시착의 하나 이상의 인스턴스들로서 메이크업 필터들을 생성하고, 생성된 메이크업 필터들 중에서 하나의 메이크업 필터를 선택하며, 선택된 메이크업 필터를 라이브 비디오에 적용하도록 구성된다.
(38) 특징 (37)의 증강 현실 시스템으로서, 선택된 메이크업 필터는 사용자-선택 소문화 메이크업 룩들 중에서 하나의 소문화 메이크업 룩에 대한 것이며, 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 소문화 메이크업 룩을 달성하기 위해 선택된 메이크업 필터를 라이브 비디오에 적용하도록 구성된다.

Claims (38)

  1. 메이크업을 위한 증강 현실 시스템으로서,
    사용자 선택 가능한 메이크업 목표들의 하나 이상의 인스턴스들을 생성하고 사용자-선택 메이크업 목표 정보를 수신하도록 구성된 그래픽 사용자 인터페이스에 동작 가능하게 결합된 계산 회로부를 포함하는 메이크업 목표 유닛;
    메이크업 목표 유닛에 동작 가능하게 결합된 메이크업 팔레트 유닛 - 상기 메이크업 팔레트 유닛은 사용자-선택 메이크업 목표 정보에 따라 디지털 메이크업 제품에 대한 적어도 하나의 디지털 메이크업 팔레트를 생성하도록 구성된 계산 회로부를 포함함 -; 및
    사용자-선택 메이크업 목표 정보에 따라 가상 시착의 하나 이상의 인스턴스들을 생성하도록 구성된 계산 회로부를 포함하는 메이크업 목표 시각화 유닛을 포함하는, 메이크업을 위한 증강 현실 시스템.
  2. 제1항에 있어서,
    상기 메이크업 목표 시각화 유닛의 계산 회로부는 추가로:
    사용자 얼굴의 적어도 일 부분을 포함하는 사용자의 하나 이상의 디지털 이미지들을 수신하고,
    얼굴 부분들을 식별하기 위해 상기 사용자의 얼굴 이미지를 분석하고,
    사용자의 얼굴의 이미지에 디지털 메이크업 제품을 적용하는 상기 사용자에 의한 적어도 하나의 제스처를 추적하며 메모리에 기록하고,
    사용자 얼굴에서 문제 영역들을 추정하거나 또는 특정 얼굴 특징들에 대한 강조를 추정하기 위해 상기 적어도 하나의 제스처를 분석하며,
    커버리지, 음영 및 마무리와 함께, 적용된 상기 추정된 문제 영역들 또는 추정된 강조된 얼굴 특징들을 상기 메모리에 저장하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  3. 제2항에 있어서,
    상기 메이크업 목표 시각화 유닛의 계산 회로부는 추가로:
    상기 사용자-선택 메이크업 목표 정보와 일치하는 적어도 하나의 수정을 포함하는 상기 사용자의 얼굴의 부분의 가상 표현을 생성하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  4. 제2항에 있어서,
    터치 스크린을 더 포함하며,
    상기 사용자에 의한 적어도 하나의 제스처는 상기 터치 스크린상에서 하나 이상의 스와이프들을 포함하고,
    상기 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 상기 하나 이상의 스와이프들을 검출하며 상기 사용자의 얼굴의 이미지에서의 위치에 선택된 색상을 적용하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  5. 제4항에 있어서,
    상기 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 상기 터치 스크린상에서 하나 이상의 스와이프들을 검출하며 상기 사용자의 얼굴의 이미지에서의 위치에 있는 얼굴 부분의 경계에 의해 제한된 이미지의 영역에서 상기 선택된 색상을 적용하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  6. 제2항에 있어서,
    상기 메이크업 목표 시각화 유닛의 계산 회로부는 추가로:
    메이크업을 적용할 때 사용자의 경험 수준을 수신하고,
    상기 터치 스크린상에서 하나 이상의 스와이프들을 검출하고,
    상기 스와이프들에 의해 표시된 얼굴 부분의 위치에서 상기 사용자의 얼굴의 이미지의 영역에 상기 선택된 색상을 적용하며 - 상기 얼굴 부분은 경계를 가짐 -,
    상기 하나 이상의 스와이프들이 상기 경계로부터 용인 양을 벗어나 있는지를 결정하기 위해 상기 적용된 색상을 분석하도록 - 상기 용인 양은 메이크업을 적용할 때 상기 사용자의 경험 수준에 기초함 - 구성되는, 메이크업을 위한 증강 현실 시스템.
  7. 제4항에 있어서,
    상기 터치스크린은 상기 스크린에 인가되는 압력의 양을 감지하는 3-차원 터치 스크린이고,
    상기 사용자에 의한 적어도 하나의 제스처는 상기 스크린상에서 특정한 압력으로 상기 3-차원 터치 스크린상에서의 스와이프를 포함하며,
    상기 계산 회로부는 추가로 상기 하나 이상의 스와이프들 및 상기 스와이프의 압력을 검출하며, 상기 압력에 따른 두께로 상기 사용자의 얼굴의 이미지에서의 위치에 상기 선택된 색상을 적용하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  8. 제2항에 있어서,
    상기 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 문제 영역 강화 학습 모델을 사용하여 상기 문제 영역들을 추정하기 위해 상기 제스처들을 분석하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  9. 제2항에 있어서,
    상기 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 최상의 특징 강화 학습 모델을 사용하여 얼굴 특징들의 강조를 추정하기 위해 상기 제스처들을 분석하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  10. 제2항에 있어서,
    상기 메이크업 대상 시각화 유닛의 계산 회로부는 추가로 문제 영역에 대한 제스처와 강조된 얼굴 특징에 대한 제스처를 구별하기 위해 제스처 식별 기계 학습 모델을 사용하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  11. 제2항에 있어서,
    상기 메이크업 대상 시각화 유닛의 계산 회로부는 추가로 문제 영역에 대한 제스처와 강조된 얼굴 특징에 대한 제스처를 구별하기 위해 제스처 식별 기계 학습 모델을 사용하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  12. 제1항에 있어서,
    메이크업 팔레트 유닛의 계산 회로부는 복수의 디지털 메이크업 제품들에 대한 복수의 사전-설정된 소문화 팔레트들로부터 소문화 팔레트를 획득하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  13. 제12항에 있어서,
    상기 메이크업 목표 시각화 유닛의 계산 회로부는 추가로:
    사용자의 얼굴을 다소 극적이게 만들기 위해 적어도 하나의 수정을 포함하는 상기 소문화 팔레트를 사용하여 상기 사용자의 얼굴의 가상 표현을 생성하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  14. 제12항에 있어서,
    상기 메이크업 목표 시각화 유닛의 계산 회로부는 추가로:
    사용자의 얼굴의 부분을 흐릿하게 함으로써 잡티들을 제거하기 위해 적어도 하나의 수정을 포함하는 소문화 팔레트를 사용하여 상기 사용자의 얼굴의 가상 표현을 생성하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  15. 제1항에 있어서,
    상기 메이크업 목표 시각화 유닛의 계산 회로부는 추가로:
    사용자 얼굴의 가상 표현을 라이브 비디오를 위한 플랫폼으로 이전하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  16. 제1항에 있어서,
    상기 메이크업 목표 시각화 유닛의 계산 회로부는 추가로:
    사용자의 얼굴의 적어도 일 부분을 포함하는 상기 사용자의 하나 이상의 디지털 이미지들을 제2 사용자를 위한 제2 메이크업 목표 시각화 유닛으로 전송하도록 구성되고,
    상기 제2 메이크업 목표 시각화 유닛의 계산 회로부는:
    얼굴 부분들을 식별하기 위해 상기 사용자의 얼굴 이미지를 분석하고,
    상기 사용자의 얼굴의 이미지에 상기 디지털 메이크업 제품을 적용하는 상기 제2 사용자에 의한 적어도 하나의 제스처를 추적하며 메모리에 기록하고,
    사용자 얼굴에서 문제 영역들을 추정하거나 또는 특정 얼굴 특징들에 대한 강조를 추정하기 위해 상기 적어도 하나의 제스처를 분석하며,
    커버리지, 음영 및 마무리와 함께, 적용된 상기 추정된 문제 영역들 또는 추정된 강조된 얼굴 특징들을 상기 메모리에 저장하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  17. 제16항에 있어서,
    상기 제2 메이크업 목표 시각화 유닛의 계산 회로부는 추가로:
    메이크업을 적용할 때 상기 제2 사용자의 경험 수준을 수신하고,
    상기 터치 스크린상에서 하나 이상의 스와이프들을 검출하고,
    상기 스와이프들에 의해 표시된 얼굴 부분의 위치에서 상기 사용자의 얼굴의 이미지의 영역에 상기 선택된 색상을 적용하며 - 상기 얼굴 부분은 경계를 가짐 -,
    상기 하나 이상의 스와이프들이 상기 경계로부터 용인 양을 벗어나 있는지를 결정하기 위해 상기 적용된 색상을 분석하도록 - 상기 용인 양은 메이크업을 적용할 때 상기 제2 사용자의 경험 수준에 기초함 - 구성되는, 메이크업을 위한 증강 현실 시스템.
  18. 제16항에 있어서,
    상기 제2 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 문제 영역 강화 학습 모델을 사용하여 상기 문제 영역들을 추정하기 위해 상기 제스처들을 분석하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  19. 제16항에 있어서,
    상기 제2 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 최상의 특징 강화 학습 모델을 사용하여 얼굴 특징들의 강조를 추정하기 위해 상기 제스처들을 분석하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  20. 제16항에 있어서,
    상기 제2 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 문제 영역에 대한 제스처와 강조된 얼굴 특징에 대한 제스처를 구별하기 위해 제스처 식별 기계 학습 모델을 사용하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  21. 메이크업을 위한 증강 현실 시스템으로서,
    사용자 선택 가능한 메이크업 목표들의 하나 이상의 인스턴스들을 생성하고 사용자-선택 메이크업 목표 정보를 수신하도록 구성된 그래픽 사용자 인터페이스에 동작 가능하게 결합된 계산 회로부를 포함하는 메이크업 목표 유닛;
    상기 메이크업 목표 유닛에 동작 가능하게 결합된 메이크업 팔레트 유닛 - 상기 메이크업 팔레트 유닛은 디지털 메이크업 제품에 대한 적어도 하나의 디지털 메이크업 팔레트를 생성하도록 구성된 계산 회로부를 포함함 -; 및
    얼굴형, 얼굴 특징점들, 피부 톤, 머리 색, 눈 색상, 입술 형태, 눈꺼풀 형태, 헤어 스타일 및 조명 중 하나 이상을 결정하기 위해 사용자의 얼굴을 분석하며, 상기 사용자-선택 메이크업 목표 정보 및 상기 사용자의 얼굴의 분석에 기초하여 생성된 적어도 하나의 디지털 메이크업 팔레트에 따라 사용자에 대한 맞춤 가상 시착의 하나 이상의 인스턴스들을 자동으로 생성하도록 구성된 계산 회로부를 포함하는 메이크업 목표 시각화 유닛을 포함하는, 메이크업을 위한 증강 현실 시스템.
  22. 제21항에 있어서,
    상기 적어도 하나의 디지털 메이크업 팔레트는 커버리지, 음영 및 마무리를 가진 복수의 색상들을 포함하는, 메이크업을 위한 증강 현실 시스템.
  23. 제21항에 있어서,
    상기 메이크업 목표 시각화 유닛의 계산 회로부는 추가로:
    사용자의 얼굴의 적어도 일 부분을 포함하는 상기 사용자의 하나 이상의 디지털 이미지들을 수신하며,
    얼굴 부분들을 식별하기 위해 상기 사용자의 얼굴 이미지를 분석하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  24. 제23항에 있어서,
    상기 메이크업 목표 시각화 유닛의 계산 회로부는 추가로:
    얼굴 부분들을 명료하게 하기 위해 상기 하나 이상의 디지털 이미지들에서 조명을 정정하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  25. 제21항에 있어서,
    상기 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 상기 획득된 적어도 하나의 디지털 메이크업 팔레트에 기초하여 적어도 하나의 메이크업 필터를 선택하며,
    상기 적어도 하나의 메이크업 필터를 사용하여 상기 사용자에 대한 맞춤 가상 시착을 생성하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  26. 제25항에 있어서,
    상기 적어도 하나의 메이크업 필터는 이전에 기록된 제스처들을 사용하여 형성되는, 메이크업을 위한 증강 현실 시스템.
  27. 제26항에 있어서,
    상기 적어도 하나의 메이크업 필터는 이전에 저장된 추정된 문제 영역들 및 추정된 강조된 얼굴 특징들을 사용하여 형성되는, 메이크업을 위한 증강 현실 시스템.
  28. 제26항에 있어서,
    상기 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 과거 룩 선호들에 기초하여 적어도 하나의 메이크업 필터를 선택하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  29. 제23항에 있어서,
    상기 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 상기 사용자의 얼굴의 부분을 흐릿하게 함으로써 잡티들을 제거하는 것을 포함하는 상기 사용자에 대한 맞춤 가상 시착을 생성하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  30. 제21항에 있어서,
    상기 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 상기 하나 이상의 인스턴스들을 메모리에 저장하는 기능으로써 상기 맞춤 가상 시착의 하나 이상의 인스턴스들을 디스플레이하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  31. 제21항에 있어서,
    상기 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 복수의 디지털 메이크업 팔레트들에 기초하여 생성되는 맞춤 가상 시착의 하나 이상의 인스턴스들을 메모리에 저장하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  32. 제21항에 있어서,
    메이크업 목표 시각화 유닛의 계산 회로부는 추가로 상기 맞춤 가상 시착을 라이브 비디오를 제공하는 플랫폼으로 이전하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  33. 제21항에 있어서,
    복수의 메이크업 필터들을 포함하는 인덱스형 데이터베이스를 포함하는 추천기 시스템을 더 포함하고,
    상기 추천기 시스템은:
    디지털 메이크업을 적용하는 방법을 보여 달라는 요청에 응답하여 상기 인덱스형 데이터베이스로부터 하나 이상의 메이크업 필터들을 검색하고;
    상기 검색된 하나 이상의 메이크업 필터들과 상기 얼굴 이미지를 블렌딩함으로써 한 서열의 비디오 프레임들을 생성하며;
    상기 서열의 비디오 프레임들을 디스플레이하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  34. 제33항에 있어서,
    상기 인덱스형 데이터베이스는 메이크업 필터들의 복수의 카테고리들을 포함하며,
    상기 추천기 시스템은 추가로:
    상기 메이크업 필터들의 복수의 카테고리들 중에서의 카테고리에 대한 디지털 메이크업을 적용하라는 요청에 응답하여 상기 인덱스형 데이터베이스로부터 하나 이상의 메이크업 필터들을 검색하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  35. 제34항에 있어서,
    메이크업 필터들의 카테고리는 소문화 메이크업 룩들이며,
    상기 메이크업 목표 유닛의 계산 회로부는 사용자 선택 가능한 메이크업 목표들의 하나 이상의 인스턴스들로서 상기 소문화 메이크업 룩들을 생성하도록 구성되고,
    상기 메이크업 목표 시각화 유닛의 계산 회로부는 상기 사용자-선택 소문화 메이크업 룩들에 따라 사용자에 대한 맞춤 가상 시착의 하나 이상의 인스턴스들을 자동으로 생성하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  36. 제35항에 있어서,
    상기 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 상기 하나 이상의 인스턴스들 중에서 상기 맞춤 가상 시착의 인스턴스를 선택하며 상기 선택된 맞춤 가상 시착의 인스턴스를 라이브 비디오를 제공하는 플랫폼으로 이전하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  37. 제36항에 있어서,
    상기 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 상기 맞춤 가상 시착의 하나 이상의 인스턴스들로서 메이크업 필터들을 생성하고, 상기 생성된 메이크업 필터들 중에서 메이크업 필터를 선택하며, 상기 선택된 메이크업 필터를 상기 라이브 비디오에 적용하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
  38. 제37항에 있어서,
    상기 선택된 메이크업 필터는 상기 사용자-선택 소문화 메이크업 룩들 중에서 소문화 메이크업 룩에 대한 것이며,
    상기 메이크업 목표 시각화 유닛의 계산 회로부는 추가로 상기 소문화 메이크업 룩을 달성하기 위해 상기 선택된 메이크업 필터를 상기 라이브 비디오에 적용하도록 구성되는, 메이크업을 위한 증강 현실 시스템.
KR1020237024133A 2020-12-30 2021-12-02 디지털 메이크업 팔레트 KR20230117240A (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US17/137,970 2020-12-30
US17/138,031 US20220202168A1 (en) 2020-12-30 2020-12-30 Digital makeup palette
US17/138,031 2020-12-30
US17/137,970 US11321882B1 (en) 2020-12-30 2020-12-30 Digital makeup palette
FR2107923A FR3125611A1 (fr) 2021-07-22 2021-07-22 Palette de maquillage numérique
FR2107923 2021-07-22
FR2107904 2021-07-22
FR2107904A FR3125612A1 (fr) 2021-07-22 2021-07-22 Palette de maquillage numérique
PCT/US2021/061654 WO2022146615A1 (en) 2020-12-30 2021-12-02 Digital makeup palette

Publications (1)

Publication Number Publication Date
KR20230117240A true KR20230117240A (ko) 2023-08-07

Family

ID=79164968

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237024133A KR20230117240A (ko) 2020-12-30 2021-12-02 디지털 메이크업 팔레트

Country Status (4)

Country Link
EP (1) EP4272050A1 (ko)
JP (1) JP2024506454A (ko)
KR (1) KR20230117240A (ko)
WO (1) WO2022146615A1 (ko)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908904B2 (en) * 2011-12-28 2014-12-09 Samsung Electrônica da Amazônia Ltda. Method and system for make-up simulation on portable devices having digital cameras
JP6205498B2 (ja) * 2014-01-31 2017-09-27 エンパイア テクノロジー ディベロップメント エルエルシー 対象者選択式拡張現実スキン
US20160093081A1 (en) * 2014-09-26 2016-03-31 Samsung Electronics Co., Ltd. Image display method performed by device including switchable mirror and the device
US10553006B2 (en) * 2014-09-30 2020-02-04 Tcms Transparent Beauty, Llc Precise application of cosmetic looks from over a network environment
US11315173B2 (en) * 2016-09-15 2022-04-26 GlamST LLC Applying virtual makeup products
CN112036261A (zh) * 2020-08-11 2020-12-04 海尔优家智能科技（北京）有限公司 手势识别方法、装置、存储介质、电子装置

Also Published As

Publication number Publication date
WO2022146615A1 (en) 2022-07-07
JP2024506454A (ja) 2024-02-14
EP4272050A1 (en) 2023-11-08

Similar Documents

Publication Publication Date Title
US10799010B2 (en) Makeup application assist device and makeup application assist method
TWI773096B (zh) 妝容處理方法、裝置、電子設備及儲存媒體
US20220202168A1 (en) Digital makeup palette
US8208694B2 (en) Method and system for image and video analysis, enhancement and display for communication
TWI573093B (zh) 建立虛擬彩妝資料的方法、具備建立虛擬彩妝資料之方法的電子裝置以及其非暫態電腦可讀取記錄媒體
WO2017110041A1 (ja) メイクパーツ作成装置、メイクパーツ利用装置、メイクパーツ作成方法、メイクパーツ利用方法、メイクパーツ作成プログラム、およびメイクパーツ利用プログラム
FR3053502A1 (fr) Systeme et procede de miroir de maquillage numerique
CN110612533A (zh) 用于根据表情对图像进行识别、排序和呈现的方法
US11776187B2 (en) Digital makeup artist
US11961169B2 (en) Digital makeup artist
CN111968248A (zh) 基于虚拟形象的智能化妆方法、装置、电子设备及存储介质
CN108932654A (zh) 一种虚拟试妆指导方法及装置
JP6753276B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US11321882B1 (en) Digital makeup palette
CN112083863A (zh) 图像处理方法、装置、电子设备及可读存储介质
KR20230117240A (ko) 디지털 메이크업 팔레트
Khan et al. Digital makeup from internet images
KR20230118191A (ko) 디지털 메이크업 아티스트
US20220122354A1 (en) Skin tone determination and filtering
US20230101374A1 (en) Augmented reality cosmetic design filters
KR20240037304A (ko) 증강 현실 화장품 디자인 필터
KR20220022431A (ko) 코스메틱 오브젝트의 레코멘딩을 통한 선택적 메이크업 이펙팅 적용 시스템
CN115393552A (zh) 一种提供数字化试妆、化妆方法的美妆交互平台