KR20210009373A - 메이크업 애플리케이션의 가이던스를 위한 눈 추적 기능을 갖는 메이크업 컴팩트 - Google Patents

메이크업 애플리케이션의 가이던스를 위한 눈 추적 기능을 갖는 메이크업 컴팩트 Download PDF

Info

Publication number
KR20210009373A
KR20210009373A KR1020207036379A KR20207036379A KR20210009373A KR 20210009373 A KR20210009373 A KR 20210009373A KR 1020207036379 A KR1020207036379 A KR 1020207036379A KR 20207036379 A KR20207036379 A KR 20207036379A KR 20210009373 A KR20210009373 A KR 20210009373A
Authority
KR
South Korea
Prior art keywords
eye
user
client device
change
characteristic
Prior art date
Application number
KR1020207036379A
Other languages
English (en)
Other versions
KR102460333B1 (ko
Inventor
마야 켈리
리차드 베슨
Original Assignee
로레알
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 로레알 filed Critical 로레알
Publication of KR20210009373A publication Critical patent/KR20210009373A/ko
Application granted granted Critical
Publication of KR102460333B1 publication Critical patent/KR102460333B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D33/00—Containers or accessories specially adapted for handling powdery toiletry or cosmetic substances
    • A45D33/26—Containers or accessories specially adapted for handling powdery toiletry or cosmetic substances combined with other objects
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45C—PURSES; LUGGAGE; HAND CARRIED BAGS
    • A45C11/00—Receptacles for purposes not provided for in groups A45C1/00-A45C9/00
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D33/00—Containers or accessories specially adapted for handling powdery toiletry or cosmetic substances
    • A45D33/006—Vanity boxes or cases, compacts, i.e. containing a powder receptacle and a puff or applicator
    • A45D33/008—Vanity boxes or cases, compacts, i.e. containing a powder receptacle and a puff or applicator comprising a mirror
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D40/00—Casings or accessories specially adapted for storing or handling solid or pasty toiletry or cosmetic substances, e.g. shaving soaps or lipsticks
    • A45D40/24—Casings for two or more cosmetics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45C—PURSES; LUGGAGE; HAND CARRIED BAGS
    • A45C11/00—Receptacles for purposes not provided for in groups A45C1/00-A45C9/00
    • A45C2011/002—Receptacles for purposes not provided for in groups A45C1/00-A45C9/00 for portable handheld communication devices, e.g. mobile phone, pager, beeper, PDA, smart phone
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D33/00—Containers or accessories specially adapted for handling powdery toiletry or cosmetic substances
    • A45D2033/001—Accessories
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D2200/00—Details not otherwise provided for in A45D

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 개시는 메이크업 컴팩트(100) 및 클라이언트 디바이스(115)를 포함하는 확실한 일상 메이크업을 위한 시스템에 관한 것이다. 이 시스템은 완전한 스타일을 위해 특정 얼굴 특징 또는 전체 얼굴에 적용될 수 있다. 클라이언트 디바이스는 메이크업 애플리케이션을 위한 템플릿 지침을 표시하여 대화형 사용자 경험을 제공하도록 구성된다. 템플릿 지침은 일상 메이크업에 '숫자별 색칠(paint-by-numbers)' 접근법을 제공한다. 일 실시예에서, 본 개시는 또한 눈 위치 및 눈 상태(예를 들어, 뜸 또는 감음)에 응답하여 디스플레이 투영의 조절을 가능하게 하는 눈 추적 기능에 관한 것이다.

Description

메이크업 애플리케이션의 가이던스를 위한 눈 추적 기능을 갖는 메이크업 컴팩트
관련 출원에 대한 상호 참조
본 출원은 2018년 7월 18일자로 출원된 미국 출원 번호 16/038,906과 관련되어 있으며, 그에 대한 이익을 주장하고, 그 각각의 전체 내용이 본 출원에 참조로 통합된다.
개시의 분야
본 개시는 메이크업 애플리케이션 동안 코칭을 제공하는 시스템에 관한 것이다.
소비자는 유명인의 외모를 재현하기를 열망하지만, 공식적인 훈련이 부족하여 시도할 수 있는 화장 기술의 복잡성에 한계가 있는 경우가 많다. 다수, 특히, 미용 애호가에게 비디오 강좌는 외모를 발견하고 배울 수 있는 쉽게 접근할 수 있고 유익한 방식이다. 그러나, 이러한 경험은 시간이 제한되고 효율성이 가장 중요한 일상의 일과로 쉽게 옮겨지지 않는다. 그 지루함으로 인해 소비자는 일상의 일과에서 새로운 스타일의 효율적이고 확실한 메이크업 애플리케이션에 대한 선택의 여지가 거의 없다.
최근의 발전은 일상의 일과의 일부로서 메이크업 애플리케이션을 개선하는 데 모바일 디바이스를 활용하여 효율적인 방식으로 비디오 강좌를 제공할 전망이 있다. 그러나, 일상의 화장 절차에서 소비자가 모바일 디바이스를 채택하는 데 있어 중요한 것은 화면에 표시되는 지침이 사용자의 움직임을 추적하고 화장 애플리케이션 중에 방향 상실 없이 제시되는 능력이다. 이를 위해 사용자 중심의 지침을 표시할 수 있어 복잡한 기술의 일상적인 사용을 가능하게 할 수 있는 휴대 가능하고 사용자 친화적인 메이크업 애플리케이션 시스템은 아직 개발되지 않았다.
앞서 설명한 "배경" 설명은 일반적으로 본 개시의 정황을 제시하기 위한 것이다. 이 배경기술 부분에 설명된 본 발명자의 연구 및 출원 당시에 종래 기술로 달리 적합하지 않을 수 있는 설명의 양태는 명시적으로든 암시적으로든 본 발명에 대한 종래 기술로 인정되지 않는다.
일 실시예에 따르면, 본 개시는 적어도 한 측면에서 반사성인 반투명 표면, 및 디스플레이 및 하나 이상의 센서를 갖는 클라이언트 디바이스를 보유하도록 구성된 지지부를 포함하는 장치에 관한 것으로, 반투명 표면은 디스플레이에 오버레이되고 디스플레이에 표시된 시각적 객체가 반투명 표면의 반사 측면에서 가시화될 수 있게 하는 한편, 반사 측면은 반사 측면을 보는 사용자의 반영된 모습을 동시에 보여주고, 하나 이상의 센서는 사용자의 적어도 하나의 눈의 특성과 관련된 데이터를 취득하도록 구성된다.
일 실시예에 따르면, 본 개시는 또한 표시된 시각적 객체를 조절하기 위한 방법에 관련되며, 이 방법은 처리 회로부를 통해 사용자의 적어도 하나의 눈의 특성과 관련된 데이터를 취득하는 단계, 및 처리 회로부를 통해, 사용자의 적어도 하나의 눈의 특성과 관련된 취득된 데이터에 기초하여 표시된 시각적 객체를 조절하는 단계를 포함하고, 표시된 시각적 객체는 적어도 한 측면에서 반사성인 반투명 표면에 표시되고, 표시된 시각적 객체는 반투명 표면의 반사 측면에서 가시적이며, 반사 측면은 동시에 반사 측면을 보는 사용자의 반영된 모습을 보여주고, 사용자의 적어도 하나의 눈의 특성과 관련된 데이터는 디스플레이를 갖는 클라이언트 디바이스의 하나 이상의 센서를 통해 취득되고, 클라이언트 디바이스는 지지부에 의해 보유된다.
일 실시예에 따르면, 본 개시는 또한 처리 회로부를 갖는 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금 표시된 시각적 객체를 조절하는 방법을 수행하게 하는 컴퓨터-판독 가능 명령어를 저장하는 비일시적 컴퓨터-판독 가능 저장 매체에 관한 것으로, 상기 표시된 시각적 객체를 조절하는 방법은 사용자의 적어도 하나의 눈의 특성과 관련된 데이터를 취득하는 단계 및 사용자의 적어도 하나의 눈의 특성과 관련된 취득된 데이터에 기초하여 표시된 시각적 객체를 조절하는 단계를 포함하며, 표시된 시각적 객체는 적어도 한 측면에서 반사성인 반투명 표면에 표시되고, 표시된 시각적 객체는 반투명 표면의 반사 측면에서 가시적이며, 반사 측면은 동시에 반사 측면을 보는 사용자의 반영된 모습을 보여주고, 사용자의 적어도 하나의 눈의 특성과 관련된 취득된 데이터는 디스플레이를 갖는 클라이언트 디바이스의 하나 이상의 센서를 통해 취득되고, 클라이언트 디바이스는 지지부에 의해 보유된다.
앞서 설명한 단락은 일반적인 소개로 제공되었으며, 다음 청구범위의 범위의 제한을 의도하지 않는다. 추가 이점과 함께 설명된 실시예는 첨부 도면과 함께 취해진 다음의 상세한 설명을 참조하여 가장 잘 이해될 것이다.
첨부 도면과 관련하여 고려할 때 다음의 상세한 설명을 참조하여 더 잘 이해할 수 있으므로 본 개시 및 그에 수반되는 많은 이점에 대한 보다 완전한 이해를 쉽게 얻을 수 있을 것이다.
도 1은 클라이언트 디바이스 및 메이크업 컴팩트를 포함하는 소비자 환경에서의 본 개시의 시스템의 예시적인 예시이다.
도 2a는 본 개시의 메이크업 컴팩트의 예시적인 예시이다.
도 2b는 메이크업 컴팩트 및 클라이언트 디바이스의 단계적 개략도 및 보호 커버로부터 클라이언트 디바이스를 갖는 대화형 반투명 디스플레이로의 진행의 한 양태이다.
도 2c는 메이크업 컴팩트 및 클라이언트 디바이스의 단계적 개략도 및 보호 커버로부터 클라이언트 디바이스를 갖는 대화형 반투명 디스플레이로의 진행의 양태이다.
도 2d는 메이크업 컴팩트 및 클라이언트 디바이스의 단계적 개략도 및 보호 커버로부터 클라이언트 디바이스를 갖는 대화형 반투명 디스플레이로의 진행의 양태이다.
도 3a는 클라이언트 디바이스의 예시적인 실시예이다.
도 3b는 예시적인 실시예에 따른 클라이언트 디바이스 기반 센서의 개략도이다.
도 4a는 예시적인 실시예에 따른, 코칭 모듈 동안 센서 입력의 감지 및 평가의 흐름도이다.
도 4b는 예시적인 실시예에 따른 감지 및 평가의 하위 흐름도이다.
도 4c는 예시적인 실시예에 따른 감지 및 평가의 하위 흐름도이다.
도 4d는 예시적인 실시예에 따른 감지 및 평가의 하위 흐름도이다.
도 4e는 예시적인 실시예에 따른 감지 및 평가의 하위 흐름도이다.
도 5는 예시적인 실시예에 따른, 코칭 세션 동안의 사용자 경험의 흐름도이다.
도 6a는 예시적인 실시예에 따른, 코칭 세션의 온보딩 부분 동안의 사용자 경험의 흐름도의 예시이다.
도 6b는 예시적인 실시예에 따른, 코칭 세션의 메이크업 애플리케이션 모듈 동안의 사용자 경험의 흐름도의 예시이다.
도 7은 예시적인 실시예에 따른 클라이언트 디바이스와 외부 서버 및 인터넷을 포함하는 클라우드 기반 컴퓨팅 시스템과의 관계를 예시한다.
도 8은 본 개시의 예시적인 실시예에 따른 시스템의 예시이고, 여기서, 메이크업 컴팩트는 이동중 사용 및 터치업을 위한 단일 메이크업이다.
도 9a는 본 개시의 예시적인 실시예에 따른, 시스템의 눈 추적 기능의 양태의 흐름도이다.
도 9b는 본 개시의 예시적인 실시예에 따른, 시스템의 눈 추적 기능의 양태의 흐름도이다.
도 9c는 본 개시의 예시적인 실시예에 따른, 시스템의 눈 추적 기능의 양태의 흐름도이다.
도 10a는 본 개시의 예시적인 실시예에 따른, 시스템의 눈 추적 기능의 흐름도의 양태의 예시이다.
도 10b는 본 개시의 예시적인 실시예에 따른, 시스템의 눈 추적 기능의 흐름도의 양태의 예시이다.
도 10c는 본 개시의 예시적인 실시예에 따른, 시스템의 눈 추적 기능의 흐름도의 양태의 예시이다.
도 11a는 본 개시의 예시적인 실시예에 따른 나체 코치 시스템의 단면 개략도이다.
도 11b는 본 개시의 예시적인 실시예에 따른 나체 코치 시스템의 단면 개략도이다.
도 11c는 본 개시의 예시적인 실시예에 따른 나체 코치 시스템의 사시도이다.
도 12a는 본 개시의 예시적인 실시예에 따른, 브러시 홀더 코치 시스템의 단면 개략도이다.
도 12b는 본 개시의 일 실시예에 따른 브러시 홀더 코치 시스템의 사시도이다.
본 개시는 사용자가 새로운 메이크업 스타일을 자신있게 적용, 재현, 착용하는 등을 가능하게 하는 휴대용 및 사용자 친화적인 일상 메이크업 애플리케이션 시스템에 대한 필요성을 다룬다. 더욱이, 본 개시는 눈 추적 기능의 구현을 통해 개선된 지침을 제공한다. 궁극적으로, 클라이언트 디바이스 기반 소프트웨어, 숫자별 색칠 접근법 등을 포함하는 클라이언트 디바이스와 메이크업 컴팩트를 통합함으로써, 본 개시는 소비자에게 새로운 기술의 일상적인 실험 및 숙달을 위한 확실하고 편리한 경험을 제공한다. 본 출원에 설명된 시스템은 다음 중 하나 이상을 달성하는 것을 목표로 한다:
- 클라이언트 디바이스 기반 센서를 사용한 눈 위치 및 눈 상태, 색상 및 색조를 포함하는 사용자 얼굴 특징의 포착을 통해 개인화된 사용자 경험을 제공.
- 사용 가능한 색상 팔레트에 따라 학습할 수 있는 기술 및 스타일의 카달로그를 제시.
- 사용자 지시 코칭 모듈을 통해 사용자 실험을 허용.
- 교육 유닛의 진행에 대한 청각적 명령을 활성화함으로써 클라이언트 디바이스와의 촉각적 상호작용을 제한.
- 클라이언트 디바이스 기반 센서로부터 수신 및 처리된 데이터에 따른 피드백 및 코칭을 통해 사용자 기술 숙달을 향상.
- 사용자 소셜 미디어 존재도(social media presence)와의 통합을 통해 사용자가 새로운 외모를 발견하도록 장려.
도 1은 소비자 환경에서의 본 개시의 시스템의 예시적인 예시이다. 일 실시예에서, 시스템(100)은 클라이언트 디바이스(115) 및 메이크업 컴팩트(110)를 포함한다. 반투명 디스플레이(105)가 메이크업 컴팩트(110) 상에 배치되어 클라이언트 디바이스(115)와 메이크업 컴팩트 색상 팔레트(111) 사이에 격벽을 생성한다. 일 실시예에서, 클라이언트 디바이스(115)는 시야 내에서 물체의 다양한 특성을 캡처하기 위한 센서 집합이 장착된 스마트폰이다. 메이크업 컴팩트(110)는 사용자가 원하는 색상 팔레트(111)에 따라 하나 이상의 화장품을 포함한다. 사용자가 사용할 수 있는 메이크업 유형이 클라이언트 디바이스 기반 소프트웨어에 등록되어 사용자에게 가능한 스타일 추천을 개선한다.
일 실시예에서, 하나 이상의 센서를 포함하는 센서 컴포넌트는 포트를 통해 클라이언트 디바이스(115)에 작동 가능하게 결합된다. 일 실시예에서, 하나 이상의 센서를 포함하는 센서 컴포넌트는 사용자의 적어도 하나의 눈의 특징에 관련된 정보를 검출(예를 들어, 사정, 계산, 평가, 결정, 계측, 측정, 모니터링, 정량화, 분해, 감지 등)하도록 작동 가능하다. 하나 이상의 센서의 비제한적인 예에는 음향 센서, 카메라, 전하 결합 디바이스(CCD), 상보형 금속 산화물 반도체(CMOS) 디바이스, 전자기 에너지 센서, 이미지 센서, 적외선 센서, 광학 인식 센서, 광학 센서, 포토 다이오드 어레이, 무선 주파수 컴포넌트 센서, 열 센서, 트랜스듀서 등 또는 이들의 조합을 포함한다.
일 실시예에서, 센서 컴포넌트는 USB(Universal Serial Bus) 포트를 통해 클라이언트 디바이스(115)에 작동 가능하게 결합된다. 일 실시예에서, 센서 컴포넌트는 클라이언트 디바이스(115)에 작동 가능하게(예를 들어, 용량 결합, 통신, 전기, 전자기, 유도, 자기, 광학, 초음파, 무선 등의 방식으로) 결합된다. 일 실시예에서, 원격에 위치한 센서 컴포넌트가 무선 통신을 통해 클라이언트 디바이스(115)에 작동 가능하게 결합된다.
도 2a는 본 개시의 메이크업 컴팩트의 예시적인 예시이다. 일 실시예에서, 메이크업 컴팩트(210)는 하나 이상의 화장품을 포함하는 색상 팔레트(211)를 포함한다. 원하는 경우, 메이크업용 컴팩트(210)는 표준 실시예에서 거울로 기능하며, 메이크업 컴팩트의 상부 덮개(213)와 보호 커버(201)가 들어올려지고 반투명 디스플레이(205)가 사용자에게 제시된다. 일 실시예에서, 반투명 디스플레이(205)는 단방향 거울이다. 클라이언트 디바이스 하우징(216) 내에 발광 클라이언트 디바이스가 없는 경우, 반투명 디스플레이(205)는 사용자의 관점에서 표준 거울로서 기능한다. 클라이언트 디바이스의 대화형 사용자 인터페이스를 구현하기 위해, 코칭 모듈이 활성화된 클라이언트 디바이스가 클라이언트 디바이스 하우징(216) 내에 위치된다. 사용자의 관점에서, 사용자 및 클라이언트 디바이스 생성 객체의 거울 반영을 반투명 디스플레이(205)에서 동시에 볼 수 있을 것이다. 일 실시예에서, 메이크업 컴팩트(210)의 상부 덮개(213)와 반투명 디스플레이(205) 사이의 거리는 클라이언트 디바이스의 치수에 따라 미리 결정된다. 일 실시예에서, 클라이언트 디바이스는 Apple iPhone®으로 대표되는 종류의 스마트폰이다.
도 2b, 도 2c 및 도 2d는 메이크업 컴팩트(210) 및 클라이언트 디바이스의 단계적 개략도 및 보호 커버로부터 클라이언트 디바이스를 갖는 대화형 반투명 디스플레이로의 진행이다. 도 2b에서, 메이크업 컴팩트(210)는 보호 커버(201) 및 반투명 디스플레이(205)가 메이크업 컴팩트(210)의 본체(214)에 대해 안착되어 있는 폐쇄 위치에 있다. 가요성 힌지(212)는 메이크업 컴팩트(210)의 상부 덮개(213)를 메이크업 컴팩트(210)의 본체(214)에 연결한다. 도 2c에 도시되어 있는 바와 같이, 사용자는 메이크업 컴팩트의 상부 덮개(213)를 들어올려 보호 커버(201)를 사용자에게 노출시킨다. 메이크업 컴팩트의 상부 덮개(213)는 가요성 힌지(212)를 중심으로 회전될 수 있다. 그 다음, 보호 커버(201)가 가요성 힌지(209)를 중심으로 회전될 수 있고 반투명 디스플레이(205)가 사용자에게 노출될 수 있다. 일 실시예에서, 반투명 디스플레이(206)의 기능은 광원이 클라이언트 디바이스 하우징(216)에 존재할 때에만 실현되므로, 반투명 디스플레이(205)는 클라이언트 디바이스 하우징(216) 내에 클라이언트 디바이스(215)가 없을 때 표준 거울로서 기능하도록 설계된다. 클라이언트 디바이스가 없는 경우, 반투명 디스플레이(205)는 표준 거울로서 메이크업 색상 팔레트(211)와 함께 사용자에 의해 사용될 수 있다. 대화형 사용자 경험이 요구될 때, 클라이언트 디바이스는 도 2d에 설명된 바와 같이 클라이언트 디바이스 하우징(216) 내에 위치될 수 있다. 클라이언트 디바이스(215)는 반투명 디스플레이(205)와 메이크업 컴팩트의 상부 덮개(213) 사이에 배치된 클라이언트 디바이스 하우징(216)에 삽입된다. 일 실시예에서, 클라이언트 디바이스 하우징(216)은 Apple iPhone®과 같은 클라이언트 디바이스(215)의 특정 디자인을 수용하도록 미리 결정된 깊이로 구성된다. 일 실시예에서, 클라이언트 디바이스 하우징(216)은 클라이언트 디바이스(215)의 범용 설계를 수용하도록 미리 결정된 깊이로 구성되며, 여기서 미리 결정된 깊이는 알려진 깊이이고 반투명 디스플레이(205)의 디스플레이 표면(206) 상에 적절한 표시 객체를 생성하기 위해 클라이언트 디바이스 기반 소프트웨어 내에 통합된다.
일 실시예에서, 반투명 디스플레이(205)는 클라이언트 디바이스 기반 소프트웨어에 대한 촉각 사용자 명령의 변환이 수행될 수 있도록 제조된다. 촉각 입력 검출의 비제한적인 예에는 저항, 정전용량, 적외선 그리드, 표면 음파 및 음향 펄스 인식이 포함되며 사용자 명령을 수신하기 위해 클라이언트 디바이스 기반 소프트웨어 내에 통합될 수 있다.
일 실시예에서, 보호 스크린 유사 터치 감응 필름은 클라이언트 디바이스(215)와 반투명 디스플레이(205) 사이의 촉각 감지를 가능하게 한다.
일 실시예에서, 반투명 디스플레이(205)의 두께를 통해 배치된 하나 이상의 버튼은 클라이언트 디바이스(215)와의 직접적인 사용자 상호 작용을 허용한다.
일 실시예에서, 클라이언트 디바이스 기반 센서는 손 제스처, 음성 명령 등을 포함하는 사용자로부터의 명령을 검출할 수 있다.
도 3a는 클라이언트 디바이스의 예시적인 실시예이다. 일 실시예에 따르면, 클라이언트 디바이스(315)는 Apple iPhone®로 대표되는 종류의 표준으로 고려되는 스마트폰의 특징(예를 들어, 마이크, 스피커)에 추가하여 전면 센서(323)를 포함하는 스마트폰이다. 도 3b는 예시적인 실시예에 따른 이러한 클라이언트 디바이스 기반 센서의 개략도이다. 일 실시예에서, 클라이언트 디바이스(315)의 전면 센서(323)는 적외선 카메라(317), 적외선 투광 조명기(318), 근접 센서(322), 도트 프로젝터(319), 가시광 카메라(320), 가시광 투광 조명기(321) 등 중 하나 이상을 포함한다. 앞서 설명한 전면 센서(323)의 조합은 사용자의 얼굴 특징, 피부색 및 색조의 사실적인 3차원 모델의 캡처 및 재현을 가능하게 한다. 이러한 얼굴의 깊이 의존적 디지털화는 본 출원에 참조로서 통합된 US 9582889 B2에 의해 입증된 바와 같이 본 기술 분야에서 이해된다. 일 실시예에서, 얼굴 특징의 인식은 가시광 카메라로부터 취득된 2차원 이미지의 디지털 재구성을 통해 수행된다.
본 개시의 예시적인 실시예에 따르면, 앞서 설명한 클라이언트 디바이스(315)의 전면 센서(323), 및 적외선 카메라(317), 특히, 적외선 투광 조명기(318)가 눈 추적에 사용된다. 간단히 말하면, 적외선 투광 조명기(318)에서 투사된 적외선은 사용자의 좌측 눈 또는 우측 눈에서 반사되어 적외선 카메라(317)에 수집된다. 반사되고 수집된 적외선은 클라이언트 디바이스 기반 소프트웨어 또는 원격 처리 회로부를 통해 처리되어 응시점, 눈꺼풀 위치(또는 눈 개구(eye aperture)), 머리에 대한 좌측 눈 또는 우측 눈의 움직임, 동공 확장 또는 이들의 조합을 결정한다. 본 개시의 코칭 모듈 내의 구현을 포함하는 본 개시의 눈 추적 기능의 세부 사항은 아래에서 더 설명된다.
도 4a는 예시적인 실시예에 따른, 코칭 모듈 동안 센서 입력의 감지 및 평가의 흐름도이다. 사용자가 원하는 외모를 선택한 후, 클라이언트 디바이스는 사용자에게 메이크업 컴팩트의 클라이언트 디바이스 하우징 내에 클라이언트 디바이스를 수평 또는 수직으로 배치하도록 촉구한다. 클라이언트 디바이스 기반 센서(예를 들어, 근접 센서)를 이용하여 클라이언트 디바이스 기반 소프트웨어는 클라이언트 디바이스 하우징 내의 클라이언트 디바이스의 존재를 결정하고 클라이언트 디바이스가 제자리에 있을 때 교육 유닛을 개시한다(S440). 사용자에 대한 교육 유닛의 템플릿 형상의 정확한 디스플레이 투영을 제공하기 위해, 클라이언트 디바이스 기반 센서는 사용자의 실시간 렌더링을 찾고, 캡처하고, 디지털화하기 위해 추가로 활용된다(S441). 이러한 데이터는 사용자가 선택한 운동과 통합되어 반투명 디스플레이의 표면을 비추는 디스플레이 투영을 생성하여 반투명 디스플레이를 통해 공간적으로 정확한 템플릿 형상을 사용자에게 묘사한다.
일 실시예에서, 디스플레이 투영은 사용자의 반영된 모습과 유사하게 보이도록 생성된다. 클라이언트 디바이스 기반 소프트웨어는 사용자의 깊이, 위치 및 배향과 관련된 클라이언트 디바이스 기반 센서로부터 데이터를 수신하여 반투명 디스플레이에 대한 사용자의 위치를 결정한다. 클라이언트 디바이스와 반투명 디스플레이 사이의 미리 결정된 거리에 관련하여, 이 관계는 반투명 디스플레이에 거울 유사 반영을 렌더링할 수 있게 한다. 이 관계를 이해하면 사용자가 우측으로 이동할 때 이미지를 좌측으로 병진시키거나 사용자가 반투명 디스플레이에 더 가까이 이동할 때 이미지를 더 크게 스케일링하는 등 사용자의 움직임에 반응할 수 있다.
일 실시예에서, 디스플레이 투영은 사용자의 눈 움직임 및 눈 상태에 반응한다. 클라이언트 디바이스 기반 소프트웨어는 사용자 눈의 위치, 배향 및 개구(aperture)와 관련된 클라이언트 디바이스 기반 센서(예를 들어, 적외선 카메라, 도트 프로젝터)로부터 데이터를 수신하여 눈의 특성을 결정한다. 이러한 특성을 통해 눈 위치 또는 눈 상태의 변화에 응답하여 디스플레이 투영을 수정할 수 있다. 예를 들어, 사용자가 좌측 눈꺼풀을 감고 좌측 눈 개구를 0으로 감소시키는 것에 응답하여, 디스플레이 투영은 그에 따라 우측 눈에 대한 사용자 관점에서의 이동만을 수용하도록 이동된다. 마찬가지로, 사용자가 응시점을 이동하면 디스플레이 투영이 이동되거나 다른 방식으로 사용자 관점의 변화를 수용하기 위해 변경된다.
일 실시예에 따르면, 사용자가 메이크업을 진행함에 따라 클라이언트 디바이스는 사용자 위치, 배향, 움직임 및 얼굴 특징을 능동적으로 모니터링한다(S442). 일 실시예에서, 클라이언트 디바이스 기반 소프트웨어에 의해 제어되는 클라이언트 디바이스 기반 센서는 눈 위치 및 눈 상태, 사용자 머리 배향, 사용자 깊이, 사용자 동작, 사용자 속도, 색상, 색조 등을 포함하는 사용자 얼굴 특징 중 하나 이상을 포함하는 데이터를 생성하고 취득한 데이터를 로컬 저장소, 클라우드 기반 저장소 또는 이들의 조합에 저장한다.
저장된 데이터는 이전 사례에 비해 템플릿 형상의 공간 투영을 개선하기 위해 향후 이미지의 디스플레이 투영 동안 액세스된다(S443). 이를 위해 상대적인 사용자 위치 및 배향뿐만 아니라 눈 위치 및 눈 상태와 관련된 것을 포함하는 저장된 데이터를 사용하여 사용자의 향후 위치 및 배향을 예측하여 디스플레이 투영을 보다 직관적으로 조절할 수 있어 템플릿 형상이 사용자의 윤곽, 움직임 및 특징을 따를 수 있게 한다(S444). 예를 들어, 처음에는 사용자가 얼굴의 우측을 메이크업하고 클라이언트 디바이스 디스플레이가 이에 따라 템플릿 형상을 반투명 디스플레이에 투영한다. 사용자가 얼굴의 한 부분을 더 쉽게 보기 위해 머리를 이동하면 클라이언트 디바이스 기반 소프트웨어가 움직임을 인식하고 그에 따라 디스플레이 투영을 조절한다. 일 예에서, 처음에 사용자는 사용자의 우측 눈 위를 메이크업하고 클라이언트 디바이스 디스플레이는 이에 따라 템플릿 형상을 반투명 디스플레이에 투영한다. 메이크업 애플리케이션이 사용자의 우측 눈꺼풀쪽으로 내려가면 사용자는 우측 눈을 감고 우측 눈 개구를 0으로 줄이고 양안 관점에서 단안 관점으로 전환해야 한다. 결과적으로, 클라이언트 디바이스 기반 소프트웨어는 단안 관점으로의 이동을 인식하고 그에 따라 템플릿 형상 또는 임의의 표시된 텍스트의 위치를 조절한다.
그러나, 클라이언트 디바이스 기반 소프트웨어가 디스플레이 투영을 생성함에 따라 렌더링에 지연이 존재한다. 이후 사용시, 클라이언트 디바이스 기반 소프트웨어는 유사한 동작의 향후 사례에서 호출될 수 있는 이전 사용자 동작의 라이브러리를 생성할 것이다. 이러한 방식으로, 특정 동작 및 저장된 데이터의 사례 수가 증가함에 따라 클라이언트 디바이스 기반 소프트웨어는 움직임이 발생하는 속도와 배향을 더 잘 예측할 수 있으므로 디스플레이 투영 생성의 지연 시간을 제거할 수 있다.
사용자가 교육 유닛을 완성하면, 사용자는 동작이 완료되었음을 나타내는 청각적 명령, 시각 명령, 촉각 명령 또는 이들의 조합을 제공하며, 이 시점에서 코칭 모듈을 완성하기 위해 추가 교육 유닛이 필요한지 여부를 결정한다(S445). 추가 교육 유닛이 필요한 경우, 클라이언트 디바이스 기반 소프트웨어는 다음 교육 유닛의 템플릿 형상의 지침 및 디스플레이 투영(S442)으로 진행한다. 코칭 모듈이 완성되면 클라이언트 디바이스 기반 소프트웨어는 완료(S446)로 진행한다.
일 실시예에 따르면, 클라이언트 디바이스 기반 센서로부터 생성되고 로컬 저장소, 클라우드 기반 저장소 또는 이들의 조합에 저장되는 데이터는 특정 교육 유닛에 관련하여 사용자 동작의 예측을 향상시켜 디스플레이 투영의 정확성을 개선시키기 위해 향후 코칭 모듈에서 활용된다.
일 실시예에 따르면, 클라이언트 디바이스 기반 센서에서 생성되고 로컬 저장소, 클라우드 기반 저장소 또는 이들의 조합에 저장되는 데이터는 시각적 명령, 청각적 명령, 촉각 명령 또는 이들의 조합의 형태로 사용자 성과에 대한 실시간 피드백을 사용자에게 제공하는 데 활용된다.
일 실시예에 따르면, 메이크업 애플리케이션 전, 도중 및 후에 사용자의 대략적인 시간 간격의 이미지(time-coarse images)를 사용하여 사용자 성과를 평가한다.
일 실시예에서, 적용된 기술의 원하는 결과에 대한 사용자 성과는 향후 지침에 통합된다. 예를 들어, 사용자가 양쪽 눈에 눈 메이크업 기술을 적용하기로 선택했지만 첫 번째 눈에서 원하는 결과를 얻지 못한 경우 클라이언트 디바이스 기반 센서 및 소프트웨어는 불일치를 인식하고 사용자의 얼굴 전체의 대칭성을 보장하기 위해 두 번째 눈에 관련한 지침을 수정한다.
도 4b는 일 실시예에 따른 코칭 모듈 초기화의 하위 흐름도이다. 먼저, 근접 센서를 포함한 클라이언트 디바이스 기반 센서가 사용자에 의해 활성화되고 이어서 사용자가 코칭 모듈을 선택한다(S455). 다음으로, 사용자는 클라이언트 디바이스를 클라이언트 디바이스 하우징에 배치하라는 지시를 받는다(S456). 클라이언트 디바이스 내에 수용된 근접 센서는 클라이언트 디바이스 하우징의 존재를 감지하고 신호를 클라이언트 디바이스 기반 소프트웨어로 전송하여 코칭 모듈을 시작한다(S457). 일 실시예에서, 클라이언트 디바이스 및 클라이언트 디바이스 하우징은 무선 식별 태그를 더 포함한다. 특히, 근거리 통신 디바이스를 포함한 이러한 무선 식별 태그는 사용자 온보딩 경험을 촉진하고 사용 가능한 메이크업 팔레트를 즉시 식별할 수 있는 고유한 메이크업 컴팩트 식별자를 제공한다.
도 4c는 예시적인 실시예에 따른, 클라이언트 디바이스에 의한 감지된 데이터의 수신 및 출력의 하위 흐름도이다. 먼저, 클라이언트 디바이스 기반 소프트웨어는 클라이언트 디바이스 기반 센서로부터 감지된 데이터를 수신하고(S458), 로컬 기반 및 클라우드 기반 저장소에 저장한다(S458'). 다음으로, 감지된 데이터는 클라이언트 디바이스 기반 소프트웨어에 의해 처리되고(S459), 처리된 데이터는 로컬 기반 및 클라우드 기반 저장소에 저장된다(S459'). 그 다음, 처리된 데이터가 클라이언트 디바이스 기반 소프트웨어에 의해 분석되고(S460), 클라이언트 디바이스 출력에 대한 조절이 필요한지 결정한다(S461). 조절이 필요한 경우, 클라이언트 디바이스 기반 소프트웨어가 이에 따라 클라이언트 디바이스 출력을 수정한다(S462). 그렇지 않으면, 전송된 감지된 데이터의 수동적 평가가 계속될 것이다. 예를 들어, 클라이언트 디바이스 기반 소프트웨어는 클라이언트 디바이스 기반 센서로부터 반투명 디스플레이에 대한 사용자 위치와 관련된 감지된 데이터를 수신하고(S458), 감지된 데이터를 로컬 기반 및 클라우드 기반 저장소에 저장한다(S458'). 그 다음, 감지된 데이터는 클라이언트 디바이스 기반 소프트웨어에 의해 처리되고(S459), 로컬 기반 및 클라우드 기반 저장소에 저장된다(S459'). 그 다음, 처리된 데이터는 클라이언트 디바이스 기반 소프트웨어에 의해 분석되어(S460), 반투명 디스플레이에 대한 사용자의 위치가 변경되었는지를 결정한다(S461). 상대 위치가 변경된 것으로 결정되면, 클라이언트 디바이스 기반 소프트웨어는 이에 따라 디스플레이 투영을 수정한다(S462). 반투명 디스플레이에 대한 사용자의 상대적 위치가 변경되지 않은 경우 전송된 감지된 데이터의 수동적 평가가 계속된다.
도 4d는 예시적인 실시예에 따른 클라이언트 디바이스 기반 소프트웨어에 의한 출력의 하위 흐름도이다. 감지된 데이터의 감지, 전송 및 평가 이후, 클라이언트 디바이스 기반 소프트웨어는 클라이언트 디바이스의 출력을 수정하는 것이 적절하다고 결정할 수 있고(S463), 여기서, 클라이언트 디바이스의 출력은 비디오 및 오디오 데이터를 포함한다. 예를 들어, 사용자가 코칭 모듈을 수행하고 클라이언트 디바이스 기반 소프트웨어가 감지된 데이터를 수신함에 따라 사용자 성과에 대한 시각적 피드백을 사용자에게 제공하는 것이 적절할 수 있으며, 피드백은 메이크업 애플리케이션의 자체 평가(S4645)를 가능하게 한다. 이러한 유형의 피드백은 원하는 결과와 사용자의 결과를 나란히 비교하는 것을 포함할 수 있다.
도 4e는 예시적인 실시예에 따른 클라이언트 디바이스 기반 소프트웨어에 의한 출력의 하위 흐름도이다. 감지된 데이터의 감지, 전송 및 평가 이후, 클라이언트 디바이스 기반 소프트웨어는 클라이언트 디바이스의 출력을 수정하는 것이 적절하다고 결정할 수 있고(S467), 여기서, 클라이언트 디바이스의 출력은 비디오 및 오디오 데이터를 포함한다. 사용자가 코칭 모듈을 수행하고 클라이언트 디바이스가 감지된 데이터를 수신함에 따라 사용자 성과에 대한 피드백을 사용자에게 제공하는 것이 적절할 수 있다. 일 실시예에서, 클라이언트 디바이스는 감지된 데이터의 이전 사례 또는 특정 기술에 대한 감지된 데이터의 글로벌 평균에 대한 감지된 데이터의 평가에 기초하여 코칭 제안을 제공한다(S468). 예를 들어, 클라이언트 디바이스 기반 센서 데이터는 사용자의 머리 동작이 메이크업 애플리케이션 중에 과도하게 활발할 수 있음을 나타낸다. 사용자에 대한 감지된 데이터의 글로벌 평균 또는 이전 사례와 비교할 때 클라이언트 디바이스 기반 소프트웨어는 투영된 템플릿에 비해 낮은 메이크업 성과와 과도하게 활발한 머리 움직임을 연관시킨다. 차례로, 클라이언트 디바이스는 비디오 및 오디오 출력을 통해 사용자에게 지원 피드백을 제공할 수 있으며, 향후 사용자 성과를 개선하기 위한 해결책을 추천할 수 있다(S469).
도 5는 예시적인 실시예에 따른 코칭 세션 동안의 사용자 경험의 흐름도이다. 사용자 온보딩(S530) 동안, 클라이언트 디바이스 기반 센서는 사용자의 눈, 색상 및 색조를 포함한 얼굴 특징의 3차원 디지털화(S531)를 수행하는 데 사용된다. 그 후, 클라이언트 디바이스 기반 소프트웨어가 주변 조명에 따라 이미지 및 색상 투영을 교정하도록 조절한다. 다음으로, 사용자는 집에서 사용할 수 있는 컴팩트 색상 팔레트를 선택하고(S532), 클라이언트 디바이스 기반 소프트웨어 내에서 이 정보를 식별하고 등록하여 사용 가능한 색상 팔레트에 따라 가능한 코칭 모듈의 범위를 정의한다. 일 실시예에서, 클라이언트 디바이스 기반 소프트웨어는 또한 사용자에게 가장 적절한 색상 팔레트를 추천하기 위해 눈, 색상 및 색조를 포함하는 얼굴 특징에 관한 수집된 데이터를 활용할 수 있다. 이 수집된 데이터에는 색상 팔레트 적합도의 식별을 목적으로 하는 일련의 라이프스타일 질문이 더 포함될 수 있다. 사용자가 동일한 메이크업 컴팩트 및 색상 팔레트를 사용할 수 있는 경우, 각 훈련 세션에서 사용자 프로파일 생성은 일회성 이벤트이다.
사용자 프로파일이 생성되고 메이크업 컴팩트가 식별 및 등록되고 나면 일일 코칭이 시작될 수 있다(S533). 먼저, 사용자는 메이크업 코칭 모듈을 선택한다(S534). 예를 들어, 사용자는 특정 스타일이나 관심있는 외모를 선택할 수 있다. 대안적으로, 클라이언트 디바이스 기반 소프트웨어는 사용자를 보완하는 행사 기반 영감(occasion-based inspirations)을 지능적으로 제공할 수 있다.
일 실시예에서, 클라이언트 디바이스 기반 소프트웨어는 예를 들어 일상적인 사무실, 첫 데이트, 영화의 밤 및 고급 만찬을 포함하는 다양한 스타일을 제공할 수 있다. 각 행사에 대해, 사용자에게 스타일 또는 외모가 제공된다. 이를 위해, 클라이언트 디바이스 소프트웨어는 또한 사용자의 소셜 미디어 존재도에 표시된 선호도에 기초하여 사용자에게 관심 스타일을 더 잘 알고 예측하기 위해 사용자의 사용자 프로파일과 관련된 소셜 미디어 콘텐츠를 통합할 수 있다.
일 실시예에서, 증강 현실 능력은 사용자가 외모 선택 전에 외모를 실현할 수 있게 한다. 클라이언트 디바이스 기반 센서를 활용하여, 클라이언트 디바이스는 광 필터링을 포함한 사전의, 그리고 능동적인 깊이 맵핑을 활용하여, 사용자에게 스타일이 어떻게 보일지에 대한 사실적인 렌더링을 제공한다.
일 실시예에 따르면, 사용자는 이 단계에서 사용자 프로파일 생성시 표시된 색상 팔레트 이외의 색상 팔레트를 사용 중임을 명시할 수 있다(S532'). 클라이언트 디바이스 기반 소프트웨어는 그에 따라 권장되는 행사 기반 외모를 조절하고 외모 선택을 위해 이들을 사용자에게 제시한다.
사용자가 원하는 코칭 모듈을 선택한 후, 사용자는 클라이언트 디바이스 기반 소프트웨어에 의해 클라이언트 디바이스를 메이크업 컴팩트 내의 클라이언트 디바이스 하우징에 수평 또는 수직으로 삽입하고 반투명 디스플레이가 보일 때까지 상부 덮개와 보호 커버를 조작하도록 촉구된다. 그렇게 위치되면, 클라이언트 디바이스 기반 센서(예를 들어, 근접 센서)는 메이크업 컴팩트에 대한 클라이언트 디바이스의 위치를 인식하고 코칭 모듈의 교육 유닛을 개시한다(S536). 교육 유닛은 특히, 비디오 강좌(video tutorial), 템플릿 형상의 투영 또는 이들의 조합을 포함한다. 다음으로, 사용자 제어 단계별 메이크업 애플리케이션 단계가 클라이언트 디바이스 디스플레이로부터 투영되고 반투명 디스플레이를 통해 가시화된다(S537). 교육 유닛의 제1 단계에 대한 비디오 강좌가 표시된다. 비디오 강좌에 따라 적절한 템플릿 형상이 반투명 디스플레이에 투영된다. 사용자가 클라이언트 디바이스 디스플레이에 투영된 템플릿 형상에 따라 각 메이크업 애플리케이션 단계를 완료하면, 사용자는 청각적 명령, 시각적 명령, 촉각 명령 또는 이들의 조합을 통해 클라이언트 디바이스 기반 소프트웨어에 이를 표시한다. 교육 유닛을 완료하기 위해 추가 단계가 필요한 경우(예를 들어, 교육 유닛이 하나보다 많은 화장품의 메이크업 애플리케이션을 필요로 하는 경우)(S538), 교육 유닛은 비디오 강좌의 다음 단계 및 적절한 템플릿 형상을 포함하는 다음 단계를 시작한다. 추가 단계가 필요하지 않으면(S538), 현재 교육 유닛의 메이크업 애플리케이션이 종료된다. 코칭 모듈을 완료하기 위해 추가 교육 유닛이 필요한 경우(예를 들어, 코칭 모듈이 눈 스타일만이 아니라 전체 얼굴 스타일이거나, 코칭 모듈이 하나의 눈 스타일만이 아니라 두 눈 스타일인 경우)(S538), 코칭 모듈은 다음 교육 유닛을 시작한다. 추가 교육 유닛이 필요하지 않은 경우(S538) 메이크업 애플리케이션이 종료되고 클라이언트 디바이스 기반 소프트웨어가 홈 메뉴로 돌아간다.
일 실시예에서, 클라이언트 디바이스 기반 소프트웨어는 사용자 성과를 평가하고 메이크업 애플리케이션의 개선을 위한 피드백을 제공하기 위해 클라이언트 디바이스 기반 센서로부터의 데이터를 이용한다. 피드백은 청각적 피드백, 시각적 피드백, 촉각적 피드백 또는 이들의 조합일 수 있다.
일 실시예에서, 클라이언트 디바이스 기반 소프트웨어는 예를 들어 소셜 미디어 플랫폼을 포함하는 제3자 애플리케이션에 연결되어 사용자가 스타일 또는 외모를 소셜 네트워크를 통해 홍보할 수 있게 한다. 또한, 결과를 소셜 네트워크에 게시하면 클라이언트 디바이스 기반 소프트웨어에서 제공하는 기술적 피드백 이외의 소셜 피드백이 가능해진다.
일 실시예에서, 클라이언트 디바이스 기반 소프트웨어는 사용자가 관심을 가질 향후의 스타일 및 외모를 예측하고 이러한 스타일 및 외모의 실현과 관련된 제품을 추천한다.
일 실시예에 따르면, 메이크업 컴팩트는 반투명 디스플레이를 포함하지 않고 사용자 명령 및 사용자 프롬프트가 클라이언트 디바이스 디스플레이로부터 직접 제공된다.
도 6a는 예시적인 실시예에 따른 코칭 세션의 온보딩 부분 동안 사용자 경험의 흐름도의 예시이다. 사용자 온보딩(630) 동안, 클라이언트 디바이스 기반 센서는 사용자의 눈, 색상 및 색조를 포함하는 얼굴 특징의 3차원 디지털화(631)를 수행하는 데 사용된다. 이를 위해, 사용자는 3차원 얼굴 특징, 특히 깊이 맵핑을 완전히 캡처하기 위해 그 얼굴에 대한 위치들에서 클라이언트 디바이스(615) 또는 스마트폰을 잡고 이동하도록 지시를 받는다. 예를 들어, 완전히 캡처된 3차원 얼굴 특징은 동공간 거리를 포함할 수 있다. 그 후, 클라이언트 디바이스 소프트웨어는 주변 조명에 따라 이미지 및 색상 투영을 보정하도록 조절한다. 다음으로, 사용자는 가정에서 사용 가능한 색상 팔레트를 포함하는 메이크업 컴팩트(610)를 선택하고, 클라이언트 디바이스 기반 소프트웨어 내에서 이 정보를 식별하고 등록한다. 사용 가능한 메이크업 컴팩트 및 색상 팔레트의 식별 및 등록은 가능한 스타일과 외모의 범위를 정의한다. 각 코칭 세션에서 사용자가 동일한 메이크업 컴팩트 및 색상 팔레트를 사용할 수 있는 경우, 메이크업 컴팩트와 색상 팔레트가 식별되고 등록되는 사용자 프로파일 생성은 일회성 이벤트이다.
사용자 프로파일이 생성되고 메이크업 컴팩트 및 색상 팔레트가 식별 및 등록되고 나면, 일상적인 훈련이 시작될 수 있다(633). 도 6b는 예시적인 실시예에 따른 코칭 세션의 메이크업 애플리케이션 모듈 동안의 사용자 경험의 흐름도의 예시이다. 먼저, 사용자는 현재 사용 가능한 메이크업 컴팩트 및 색상 팔레트가 사용자 프로파일 생성(632') 동안 식별되고 등록된 것과 동일한 지 확인한다. 그렇지 않은 경우, 새로운 메이크업 컴팩트 및 색상 팔레트를 식별하고 등록하여 사용 가능한 스타일과 기술을 클라이언트 디바이스 기반 소프트웨어에 알릴 수 있다. 다음으로, 사용자는 원하는 메이크업 스타일 또는 외모를 선택한다(634). 예를 들어, 이는 다가오는 이벤트 또는 특정 행사를 기반으로 할 수 있다. 또한, 클라이언트 디바이스 기반 소프트웨어는 사용자를 보완하는 행사 기반 영감을 지능적으로 제공할 수 있다.
일 실시예에서, 클라이언트 디바이스 기반 소프트웨어는 예를 들어 일상적인 사무실, 첫 데이트, 영화의 밤 및 고급 만찬을 포함하는 다양한 스타일을 제공할 수 있다. 각 행사에 대해, 사용자에게 스타일 또는 외모가 제공된다. 이를 위해, 클라이언트 디바이스 소프트웨어는 또한 사용자의 소셜 미디어 존재도에 표시된 선호도에 기초하여 사용자에게 관심 스타일을 더 잘 알고 예측하기 위해 사용자의 사용자 프로파일과 관련된 소셜 미디어 콘텐츠를 통합할 수 있다.
사용자의 스타일 및 외모 선택을 돕기 위해, 증강 현실 기능은 사용자가 외모 선택 이전에 스타일을 실현할 수 있게 한다. 클라이언트 디바이스 기반 센서를 활용하여, 클라이언트 디바이스는 광 필터링을 포함한 사전의, 그리고 능동적인 깊이 맵핑을 활용하여, 사용자에게 스타일이 어떻게 보일지에 대한 사실적인 렌더링을 제공한다(635).
사용자가 원하는 스타일 또는 외모를 선택한 후, 클라이언트 디바이스 기반 소프트웨어는 클라이언트 디바이스를 클라이언트 디바이스 하우징에 삽입(636)하도록 사용자에게 촉구한다. 사용자는 보호 커버를 들어 올리고 회전시켜 아래에 있는 반투명 디스플레이를 노출시킨다(636'). 클라이언트 디바이스는 클라이언트 디바이스 하우징에 삽입되고 반투명 디스플레이가 사용자와 클라이언트 디바이스 사이에 위치된다(636"). 적절하게 배치되면, 클라이언트 디바이스 기반 센서는 클라이언트 디바이스와 메이크업 컴팩트의 병치를 인식하고 교육 유닛을 시작한다. 다음으로, 클라이언트 디바이스 기반 소프트웨어는 교육 유닛의 제1 비디오 강좌를 재생한 다음 클라이언트 디바이스 디스플레이로부터 템플릿 형상을 투영한다(637). 도 6b에서 흰색 윤곽선으로 표시된 객체로 표시된 이러한 템플릿 형상은 사용자의 얼굴 특징에 맞게 맞춤화되고 "숫자별 색칠" 접근법과 유사하게 표시되며, 여기서, 각 형상은 특정 메이크업 화장품에 해당한다. 사용자가 교육 유닛의 각 단계를 완료한 후, 사용자는 구두 명령, 시각 명령, 촉각 명령 또는 이들의 조합을 통해 클라이언트 디바이스 기반 소프트웨어에 현재 단계가 완료되었음을 표시한다. 교육 유닛의 추가 단계 또는 코칭 모듈의 추가 교육 유닛이 필요한 경우 코칭 세션은 후속 비디오 강좌 및 템플릿 형상의 초기화로 진행한다. 그렇지 않으면 코칭 모듈과 그 안의 교육 유닛이 완료되고 사용자는 연결된 환경에서 다른 코칭 모듈 스타일과 외모를 즐겨 찾기, 공유 및 탐색하도록 초대된다. 일 실시예에서, 사용자가 기술에 만족하거나 나중에 지속적인 코칭 및 개선을 위해 기술을 저장하고자 하는 경우, 클라이언트 디바이스 소프트웨어는 사용자가 훈련을 종료하고 기술을 즐겨 찾기할 수 있게 한다. 일 실시예에서, 클라이언트 디바이스 기반 소프트웨어는 사용자가 방금 완료된 코칭 모듈 및 사용자의 소셜 미디어 선호도에 따라 새로운 기술을 탐색하도록 장려한다. 또한, 사용자는 소셜 미디어 플랫폼에서 완성된 외모를 공유하여 소셜 피드백을 얻거나 사용자의 능력과 성과를 개선시키기 위해 추가 제품을 구매하도록 초대받을 수 있다.
일 실시예에서, 교육 유닛 동안, 클라이언트 디바이스 기반 센서는 사용자 성과를 능동적으로 모니터링하고 출력 메트릭을 대응하는 기술에 대해 설정된 표준과 비교한다. 예를 들어, 사용자가 잘못된 화장품을 바르고 있다고 결정되면, 클라이언트 디바이스는 청각적 경고, 시각적 경고, 촉각적 경고 또는 이들의 조합을 통해 사용자에게 가이던스 및 장려를 제공할 수 있다. 차례로, 사용자는 경고에 응답하고 기술이 적절하게 수행되고 있다는 확신을 가지고 메이크업 애플리케이션을 계속할 수 있다.
도 7은 예시적인 실시예에 따른 클라이언트 디바이스와 외부 서버 및 인터넷을 포함하는 클라우드 기반 컴퓨팅 시스템과의 관계를 예시한다. 일 실시예에서, 예시는 메이크업 애플리케이션 코칭 도구의 예시적인 시스템(700)을 포함한다. 시스템(700)은 일 실시예에 따라 적어도 클라이언트 디바이스(715) 또는 스마트폰을 포함한다. 일 실시예에서, 시스템(700)은 클라우드 컴퓨팅 환경의 일부로서 구현되고 인터넷(749)을 통해 시스템(700)과 통신하는 하나 이상의 외부 서버(750)를 더 포함한다. 하나 이상의 외부 서버(750)는 프로토콜 및 루틴, 자습서 및 통합된 기타 제3자 서비스뿐만 아니라 메이크업 브랜드, 화장용 브러시 유형, 메이크업 컴팩트 사용 및 색상 팔레트와 관련된 제품 데이터를 포함하는 사용자 데이터를 저장할 수 있다. 코칭 모듈이 완료되면 선호하는 브랜드의 사용 가능한 제품과 관련된 정보가 사용자 인터페이스를 통해 사용자에게 표시될 수 있다. 일 실시예에서, 클라이언트 디바이스 기반 소프트웨어는 또한 새로운 스타일이나 외모를 공유할 수 있도록 사용자의 소셜 미디어 계정(예를 들어, Facebook, Twitter, Snapchat, Instagram)에 대한 액세스를 제공할 수 있다.
또한, 일 실시예에서, 사용자 인터페이스 또는 클라이언트 디바이스는 메이크업 애플리케이션의 기초에 관한 자습서를 표시하도록 구성된다. 또한, 사용자 인터페이스는 체계 또는 루틴을 위한 프로토콜을 생성하고 다운로드하도록 구성될 수 있다. 사용자 인터페이스는 훈련, 사용량 추적 및 추적된 사용량의 프로토콜, 체계 및 루틴과의 비교를 위해 구성될 수 있다. 또한, 사용자 인터페이스는 추적된 사용량을 기반으로 점수를 계산하도록 구성될 수 있다. 그 다음, 사용자 인터페이스는 점수와 코칭 소프트웨어의 추적된 사용을 클라이언트 디바이스의 메모리에 저장할 수 있다. 또한, 사용자 인터페이스를 사용하여 클라이언트 디바이스 기반 소프트웨어에 등록된 메이크업 제품뿐만 아니라 현재의 스타일, 외모 또는 향후의 실험 기술에 관련한 색상 색조, 제품 라인 및 기타 제품에 대한 추천과 관련된 임의의 제품을 구매할 수 있다.
도 8은 본 개시의 예시적인 실시예에 따른 시스템의 예시이고, 여기서, 메이크업 컴팩트는 이동중 사용 및 터치업을 위한 단일 화장용 메이크업 컴팩트이다. 도 8은 터치업 세션(826)을 위한 하나 이상의 화장품을 포함하는 컴팩트 터치업 키트(825)를 예시한다. 실시예에서, 컴팩트 터치업 키트(825)는 컴팩트 터치업 커넥터(827)를 통해 클라이언트 디바이스(815)에 연결된다. 그 다음, 클라이언트 디바이스(815)는 사용중인 컴팩트 터치업 키트(825)의 유형과 그 안의 사용 가능한 화장품을 인식한다. 따라서, 클라이언트 디바이스 기반 소프트웨어는 앞서 설명한 과정에 따라 부착된 컴팩트 터치업 키트(825)의 유형에 기초하여 스타일과 외모를 제안하거나, 클라이언트 디바이스 기반 소프트웨어의 거울 유사 사용을 통해 터치업을 허용한다. 메이크업 컴팩트와 클라이언트 디바이스의 이러한 전기적 연결은 본 출원에 참조로서 통합된 US 9692864 B1에 의해 입증된 바와 같이 본 기술 분야에서 이해된다.
일 실시예에서, 컴팩트 터치업 키트(825)는 반투명 디스플레이 및 클라이언트 디바이스 하우징 없이 사용된다. 클라이언트 디바이스(815)는 템플릿 형상을 위한 디스플레이로서 사용된다. 일 실시예에서, 컴팩트 터치업 키트(825)는 제한된 코칭 모듈 기능과 함께 사용되며, 스타일이 선택되고(예를 들어, 기초) 클라이언트 디바이스 기반 소프트웨어가 선택된 스타일에 적절한 템플릿 형상을 생성한다. 단일 스타일에 대해 생성된 템플릿 형상은 전체 코칭 세션의 교육 유닛과 유사하게 응답하여 사용자의 움직임에 적응하고 적절한 경우 피드백을 제공한다.
일 실시예에서, 메이크업 어플리케이터용 하우징은 컴팩트 터치업 키트(815) 내에 배치되어 이동중 메이크업 애플리케이션을 위한 올인원 시스템을 생성한다.
본 개시의 일 실시예에 따르면, 그리고 다시 도 3a 및 도 3b를 다시 참조하면, 도 9a, 도 9b 및 도 9c는 클라이언트 디바이스의 하나 이상의 전면 센서의 구현을 설명한다. 일반적으로, 도 9a, 도 9b 및 도 9c는 본 개시의 눈 추적 기능을 설명하고, 적외선 투광 조명기, 적외선 카메라 및 도트 프로젝터가 눈 위치 및 눈 상태를 관찰하기 위해 배치된다. 구체적으로, 도 9a, 도 9b 및 도 9c는 하나의 눈을 감아야하거나 사용자의 응시가 메이크업 컴팩트의 반투명 디스플레이로부터 전향될 때의 화장 사례에 대한 검출 및 응답 방법을 설명한다.
아래의 프로세스가 단일 눈에 대해 설명되었지만, 이러한 설명은 비제한적이며 단지 좌측 눈, 우측 눈 또는 이들의 조합에 적용되는 프로세스를 대표하는 것임을 알 수 있다. 더욱이, 아래에 설명된 적외선에 더하여, 예를 들어 정지 이미지를 포함하는 다양한 접근법이 눈 위치 및 눈 상태와 관련된 데이터의 취득에 사용될 수 있음을 알 수 있다.
일 실시예에 따르면, 도 9a는 본 개시의 눈 추적 기능과 관련된 데이터 취득을 설명한다. 먼저, 사용자가 시야에 있는 클라이언트 디바이스의 전면 센서의 적외선 투광 조명기가 적외선으로 시야를 조명한다(S960). 방출된 적외선의 일부는 사용자의 얼굴, 특히 사용자의 눈에서 반사되어 클라이언트 디바이스의 적외선 카메라로 되돌아가서(S961) 적외선 카메라에 수신된다(S962). 클라이언트 디바이스 기반 소프트웨어 및 처리 회로부는 내부에 적외선 카메라로부터 수신된 적외선 데이터를 처리하고 사용자 눈의 특성의 메트릭을 결정한다(S963). 일 실시예에서, 사용자 눈의 특성의 메트릭은 회전시 눈의 광축이 이동한 각도이다. 다른 실시예에서, 사용자의 눈의 특성의 메트릭은 눈 상태와 관련되며, 눈 상태는 뜨거나 감은 상태이다. 예에서 이 메트릭은 눈 상태를 나타내는 값이다. 더욱이, 일 실시예에서, 이 값은 도 6a에 설명된 바와 같이 사용자 온보딩 동안 결정된 초기 위치에 대한 눈꺼풀의 위치를 반영하는 눈 개구이다.
일 실시예에 따르면, 앞서 설명한 프로세스는 반복적이며, 적외선 데이터의 취득 및 처리는 시간에 따른 변화가 결정될 수 있도록 사용자 눈의 특성의 후속 메트릭을 결정하기 위해 연속적으로 수행된다.
도 9b는 본 개시의 눈 추적 기능에 응답하는 디스플레이 투영의 조절을 설명한다. 먼저, 도 9a의 메트릭 결정을 참조하면, 사용자 눈의 특성에 대한 초기 메트릭과 사용자 눈의 특성에 대한 후속 메트릭의 차이를 반영하는 델타 값이 결정된다(S970). 그 결과 델타 값과 관련하여 표시된 객체의 필요한 움직임이 계산된다(S971). 일 실시예에서, 필요한 움직임은 디스플레이 투영의 각도의 조절 또는 반투명 디스플레이의 디스플레이 표면의 평면과의 디스플레이 투영의 이동이다. 계산된, 필요한 움직임 또는 수정은 클라이언트 디바이스 기반 소프트웨어에 의해 수행된다(S972). 사용자의 응시점에 관한 본 개시의 일 실시예에서, 델타 값은 후속 메트릭과 초기 메트릭의 차이로 결정되고, 델타 값은 눈의 광축 각도의 변화를 반영한다. 일 예에서, 디스플레이 투영의 수정은 델타 값에 대한 디스플레이 투영의 재배향이다. 일 예에서, 디스플레이 투영의 수정은 델타 값에 대한 디스플레이 투영의 각도 형성이다. 일 실시예에 따르면, 위에서 설명한 프로세스는 반복적이며, 델타 값과 필요한 움직임의 취득, 처리 및 계산은 시간에 따른 변화가 추적될 수 있도록 실시간으로 완료된다.
실시예에서, 눈 추적은 사용자의 눈 중 하나를 감을 필요가 있는 화장 애플리케이션 작업 동안 중요하다. 정상적인 양안 시력에서, 사용자는 좌측 눈과 우측 눈 양자 모두로부터 받는 시각 데이터를 통합하여 2개의 관점에서 단일 이미지를 생성할 수 있다. 단일 이미지 내에서 유효 깊이 인지를 가능하게 하는 이 2개의 관점은 좌측 눈의 동공과 우측 눈의 동공 사이의 거리로 정의되는 동공 간 거리에 위치한 좌측 눈과 우측 눈에 의해 제공된다. 깊이 인지를 제공하는 동안 동공 간 거리는 시차라고 알려진 효과에 따라, 하나의 눈만 사용할 수 있는 경우 이미지 이동을 초래할 수도 있다. 이를 위해 본 개시에 관련하여, 도 9c는 사용자의 눈 중 하나가 감겨진 상태에서의, 본 개시의 눈 추적 기능의 구현을 설명한다.
처음에, 눈 위치 및 눈 상태를 포함하는 얼굴 특징은 도 6a에 설명된 바와 같이 온보딩 프로세스(S980)를 통해 평가된다. 이 온보딩 프로세스는 전체 개구에서 좌측 눈과 우측 눈의 눈 개구와 코에 대한 좌측 눈과 우측 눈의 위치 정보를 취득한다. 일 실시예에서, 클라이언트 디바이스 기반 소프트웨어는 우측 눈으로부터 좌측 눈을 결정하고 어느 한 쪽의 눈 상태 변화에 따라 디스플레이 투영을 조절하도록 구성된다. 초기 메트릭 취득 이후에, 그리고, 도 9a의 메트릭 결정을 참조하여, 사용자 눈의 특성에 대한 후속 메트릭과 사용자 눈의 특성에 대한 초기 메트릭 사이의 델타 값이 결정된다(S981). 일 예에서, 사용자 눈의 특성의 메트릭은 우측 눈의 눈 개구를 반영한다. 따라서, 델타 값을 미리 정해진 임계값과 비교하여 우측 눈의 눈 개구를 평가한다(S982). 델타 값이 미리 결정된 임계값보다 작은 것으로 결정되면 환자의 우측 눈의 눈 개구가 관찰에 충분하기 때문에 디스플레이 투영을 수정하지 않는다. 그러나, 델타 값이 미리 결정된 임계값보다 큰 것으로 결정되면, 디스플레이 투영의 수정이 이루어진다(S983). 일 실시예에 따르면, 위에서 설명한 프로세스는 반복적이며, 감은 눈에 응답하여 디스플레이 투영의 취득, 처리 및 조절이 수행되어, 눈 개구의 변화가 실시간으로 추적되고 사용자 방향 상실이 완화된다.
일 실시예에 따르면 그리고 도 9c에서 언급된 바와 같이, 디스플레이 투영의 수정은 디스플레이 투영을 사용자의 얼굴 특징에 대응하는 거리로 이동시키는 것을 포함할 수 있다. 사용자의 우측 눈이 감겨진 실시예에서, 디스플레이 투영은 미리 정해진 양만큼 좌측으로 이동된다. 사용자의 좌측 눈이 감겨진 예에서, 디스플레이 투영은 동공간 거리 또는 그 스칼라 배수에 대응하는 양만큼 우측으로 이동된다. 사용자의 좌측 눈이 감겨진 예에서, 디스플레이 투영은 눈동자 거리의 절반 또는 스칼라 배수에 해당하는 양만큼 우측으로 이동된다.
이를 위해, 도 10a, 도 10b 및 도 10c는 하나의 눈을 감은 사용자 경험의 예시이다. 예시를 위해, 도 10a를 참조하면, 사용자는 코칭 모듈에 따라 두 눈을 뜨고 화장 애플리케이션을 수행한다. 일 예에서, 화장 애플리케이션은 눈썹 뼈 메이크업(1092)이다. 템플릿(1090)은 좌측 눈(1091)에 대한 화장품의 정확한 적용에 관한 오버레이 지침을 사용자에게 제공한다. 코칭 모듈 동안, 사용자는 도 10b 및 도 10c에 도시되어 있는 바와 같이 코칭 모듈을 완료하기 위해 좌측 눈(1091)을 감아야 할 필요가 있다. 전통적으로, 도 10b에 도시되어 있는 바와 같이, 사용자가 템플릿(1090)에 따라 메이크업을 위해 좌측 눈(1091)을 감을 때, 시각적 관점이 통합된 양안 기반 위치에서 우측 눈(1093)만에 의해 정보를 얻는 단안 기반 위치로 이동함에 따라 템플릿(1090)의 인지된 위치가 이동될 것이다. 그러나, 본 개시의 일 실시예에 따르면, 앞서 설명한 시각 인지의 변화와 동시에, 클라이언트 디바이스의 전면 센서의 적외선 투광 조명기와 적외선 카메라는 눈 위치 및 눈 상태에 관한 데이터를 취득한다. 사용자가 좌측 눈(1090)을 감으면, 도 10c에 도시되어 있는 바와 같이, 클라이언트 디바이스 기반 소프트웨어는 사용자의 눈 개구의 델타 값을 결정하고, 델타 값을 미리 결정된 값과 비교하고, 디스플레이 표면 상의 디스플레이 투영을 이동시켜 인지 기반 이미지 움직임의 이동을 초래하는 사용자 방향 상실을 방지하기 위해 디스플레이 투영의 필요한 수정을 그로부터 계산한다. 그 결과, 도 10c에 도시되어 있는 바와 같이, 디스플레이 투영의 좌측 눈(1091) 및 그 안의 템플릿(1090)은 템플릿(1090)의 의도된 인지 위치를 복원하기 위해 이동된다.
일 실시예에 따라서 그리고 도 1 내지 도 6을 참조하여, 위에서 설명된 시스템은 색상 팔레트가 부착된 메이크업 컴팩트 내에 코칭 모듈을 배치하여 올인원 시스템으로 코칭 및 화장 애플리케이션을 결합한다. 반대로, 본 개시의 코칭 모듈은 또한 메이크업 컴팩트 및 부착된 색상 팔레트에 독립적으로 배치될 수 있음을 이해할 수 있다. 이를 위해, 도 11a, 도 11b, 도 11c, 도 12a 및 도 12b는 화장 애플리케이션 및 코칭을 위한 시스템의 비제한적인 예를 설명하며, 여기서 색상 팔레트는 클라이언트 디바이스 하우징과 독립적일 수 있으며, 따라서 다른 방식으로 제공될 수 있다.
도 11a, 도 11b 및 도 11c는 상부 덮개(1113), 반투명 디스플레이(1105) 및 벽(1124)을 갖는 클라이언트 디바이스 하우징(1116)을 포함하는 색상 팔레트와는 독립적인 나체 코칭 시스템(1103)의 예시이다.
원하는 경우, 나체 코칭 시스템(1103)은 표준 실시예에서 거울로서 기능하며, 나체 코칭 시스템(1103)의 상부 덮개(1113)가 들어올려지고 반투명 디스플레이(1105)가 사용자에게 제시된다. 일 실시예에서, 반투명 디스플레이(1105)는 단방향 거울이다. 클라이언트 디바이스 하우징(1116) 내에 발광 클라이언트 디바이스가 없는 경우, 반투명 디스플레이(1105)는 사용자의 관점에서 표준 거울로서 기능한다. 코칭 동안, 그리고 도 11b에 도시되어 있는 바와 같이, 가요성 힌지(1112)에 대한 상부 덮개(1113)의 회전에 따라, 클라이언트 디바이스(1115)가 클라이언트 디바이스 하우징(1116) 내에 삽입되고 코칭 모듈이 개시된다. 코칭 모듈 동안, 클라이언트 디바이스(1115)는 반투명 디스플레이(1105)의 투영 표면(1106)에 디스플레이 객체를 투영한다. 예시적인 실시예에 따른 나체 코칭 시스템(1103)을 통한 코칭 모듈의 구현은 도 5에 설명된 것을 준용하여 그와 유사하게 수행된다.
도 11c는 본 개시의 예시적인 실시예에 따른 나체 코칭 시스템(1103)의 사시도이다. 반투명 디스플레이의 투영 표면(1106)을 노출시키기 위해 상부 덮개(1113)가 가요성 힌지 주위로 회전된다. 클라이언트 디바이스 하우징 내에서 클라이언트 디바이스(1115)에 의해 투영된 디스플레이 객체는 투영 표면(1106) 상에 표시되고 코칭 모듈의 교육 유닛 동안 사용자에게 가이던스를 제공한다.
일 실시예에서, 반투명 디스플레이(1105)는 클라이언트 디바이스 기반 소프트웨어에 대한 촉각 사용자 명령의 변환이 수행될 수 있도록 제조된다. 촉각 입력 검출의 예에는 저항, 정전용량, 적외선 그리드, 표면 음파, 음향 펄스 인식 등이 포함되며 사용자 명령을 수신하기 위해 클라이언트 디바이스 기반 소프트웨어 내에 통합된다. 일 실시예에 따르면, 보호 스크린 유사 터치 감응 필름은 클라이언트 디바이스(1115)와 반투명 디스플레이(1105) 사이의 촉각 감지를 가능하게 한다.
다른 실시예에서, 반투명 디스플레이(1105)의 두께를 통해 배치된 하나 이상의 버튼은 클라이언트 디바이스(1115)와의 직접적인 사용자 상호 작용을 허용한다. 일 실시예에서, 클라이언트 디바이스 기반 센서는 손 제스처, 음성 명령 등을 포함하는 사용자로부터의 명령을 검출한다.
일 실시예에 따르면, 도 12a 및 도 12b는 반투명 디스플레이(1205), 하나 이상의 브러시(1207)를 보유하도록 구성된 브러시 홀더(1208), 및 벽(1224)을 갖는 클라이언트 디바이스 하우징(1216)을 포함하는, 색상 팔레트와 독립적인 브러시 홀더 코칭 시스템(1204)의 예시이다.
원하는 경우, 브러시 홀더 코칭 시스템(1204)은 표준 실시예에서 거울로 기능하며, 여기서, 반투명 디스플레이(1205)가 사용자에게 제시된다. 일 실시예에서, 반투명 디스플레이(1205)는 단방향 거울이다. 클라이언트 디바이스 하우징(1216) 내에 발광 클라이언트 디바이스가 없는 경우, 반투명 디스플레이(1205)는 사용자의 관점에서 표준 거울로서 기능한다. 코칭 동안, 그리고 도 12b에 도시되어 있는 바와 같이, 가요성 힌지에 대한 클라이언트 디바이스 하우징(1216)의 회전에 따라, 클라이언트 디바이스(1215)가 클라이언트 디바이스 하우징(1216) 내에 삽입되고 코칭 모듈이 개시된다. 코칭 모듈 동안, 클라이언트 디바이스(1215)는 반투명 디스플레이(1205)의 투영 표면(1206)에 디스플레이 객체를 투영한다. 예시적인 실시예에 따른 브러시 홀더 코칭 시스템(1204)을 통한 코칭 모듈의 구현은 도 5에 설명된 것을 준용하여 그와 유사하게 수행된다.
도 12b는 본 개시의 일 실시예에 따른 브러시 홀더 코칭 시스템(1204)의 사시도이다. 일 실시예에서, 클라이언트 디바이스(1215)를 갖는 클라이언트 디바이스 하우징(1216)은 반투명 디스플레이의 투영 표면(1206)을 노출시키기 위해 가요성 힌지를 중심으로 회전된다. 클라이언트 디바이스 하우징(1216) 내에서 클라이언트 디바이스(1215)에 의해 투영된 디스플레이 객체는 투영 표면(1206) 상에 표시되고 코칭 모듈의 교육 유닛 동안 사용자에게 가이던스를 제공한다. 더욱이, 하나 이상의 브러시(1207)는 브러시 홀더(1208) 내에 수용되고 클라이언트 디바이스(1215)의 코칭 모듈과 함께 또는 독립적으로 표준 거울로서 기능하는 반투명 디스플레이와 함께 사용된다.
일 실시예에서, 반투명 디스플레이(1205)는 클라이언트 디바이스 기반 소프트웨어에 대한 촉각 사용자 명령의 변환이 수행될 수 있도록 제조된다. 촉각 입력 검출의 예에는 저항, 정전용량, 적외선 그리드, 표면 음파, 음향 펄스 인식 등이 포함되며 사용자 명령을 수신하기 위해 클라이언트 디바이스 기반 소프트웨어 내에 통합된다. 일 실시예에 따르면, 보호 스크린 유사 터치 감응 필름은 클라이언트 디바이스(1215)와 반투명 디스플레이(1205) 사이의 촉각 감지를 가능하게 한다.
명백히, 상기 교시에 비추어 수많은 수정 및 변경이 가능하다. 따라서, 첨부된 청구항의 범위 내에서 본 발명은 본 출원에 구체적으로 설명된 것과 다르게 실시될 수 있음을 이해하여야 한다.
따라서, 앞서 설명한 설명은 단지 본 발명의 예시적인 실시예를 개시하고 설명한다. 본 기술 분야의 숙련자에 의해 이해되는 바와 같이, 본 발명은 그 정신 또는 본질적인 특성을 벗어나지 않고 다른 특정 형태로 구체화될 수 있다. 따라서, 본 발명의 개시는 예시적인 것으로 의도되며, 본 발명의 범위 및 다른 청구항을 제한하는 것은 아니다. 본 명세서의 교시의 임의의 용이하게 식별할 수 있는 변형을 포함하는 본 개시는 발명의 주제가 대중에게 개방되지 않도록 앞서 설명한 청구 용어의 범위를 부분적으로 정의한다.

Claims (20)

  1. 장치에 있어서,
    적어도 한 측면에서 반사성인 반투명 표면; 및
    디스플레이와 하나 이상의 센서를 갖는 클라이언트 디바이스를 보유하도록 구성된 지지부를 포함하고,
    상기 반투명 표면은 상기 디스플레이에 오버레이(overlay)되고 상기 디스플레이에 표시된 시각적 객체가 상기 반투명 표면의 상기 반사 측면에서 가시화될 수 있게 하는 한편, 상기 반사 측면은 상기 반사 측면을 보는 사용자의 반영된 모습(reflection)을 동시에 보여주고,
    상기 하나 이상의 센서는 상기 사용자의 적어도 하나의 눈의 특성과 관련된 데이터를 취득하도록 구성되는, 장치.
  2. 청구항 1에 있어서, 상기 하나 이상의 센서는 적외선 카메라를 포함하는, 장치.
  3. 청구항 1에 있어서, 상기 클라이언트 디바이스는 상기 사용자의 상기 적어도 하나의 눈의 상기 특성과 관련된 상기 취득된 데이터에 기초하여, 상기 사용자의 상기 적어도 하나의 눈의 상기 특성의 변화를 결정하고, 상기 결정된 변화에 기초하여 상기 표시된 시각적 객체를 조절하도록 구성된 처리 회로부(circuitry)를 더 포함하는, 장치.
  4. 청구항 3에 있어서, 상기 사용자의 상기 적어도 하나의 눈의 상기 특성의 상기 변화는 눈 개구(eye aperture)의 변화이고, 상기 눈 개구는 상기 적어도 하나의 눈의 개방도의 메트릭(metric)인, 장치.
  5. 청구항 4에 있어서, 상기 표시된 시각적 객체는 미리 결정된 임계값에 대한 상기 눈 개구의 상기 결정된 변화의 비교에 기초하여 조절되는, 장치.
  6. 청구항 3에 있어서, 상기 사용자의 상기 적어도 하나의 눈의 상기 특성의 상기 변화는 눈 위치의 변화이고, 상기 눈 위치의 변화는 눈의 후속 위치에 대한 상기 눈의 광축의 초기 위치의 메트릭인, 장치.
  7. 청구항 3에 있어서, 상기 사용자의 상기 적어도 하나의 눈의 상기 특성의 상기 변화는 눈 위치의 변화이고, 상기 눈 위치의 변화는 머리의 시상축(sagittal axis)에 대비한 눈의 광축의 메트릭인, 장치.
  8. 표시된 시각적 객체를 조절하는 방법이며,
    처리 회로부를 통해 사용자의 적어도 하나의 눈의 특성과 관련된 데이터를 취득하는 단계, 및
    상기 처리 회로부를 통해, 상기 사용자의 상기 적어도 하나의 눈의 상기 특성과 관련된 상기 취득된 데이터에 기초하여 상기 표시된 시각적 객체를 조절하는 단계를 포함하고,
    상기 표시된 시각적 객체는 적어도 한 측면에서 반사성인 반투명 표면에 표시되고, 상기 표시된 시각적 객체는 상기 반투명 표면의 상기 반사 측면에서 가시적이며, 상기 반사 측면은 동시에 상기 반사 측면을 보는 사용자의 반영된 모습을 보여주고,
    상기 사용자의 상기 적어도 하나의 눈의 상기 특성과 관련된 상기 취득된 데이터는 디스플레이를 갖는 클라이언트 디바이스의 하나 이상의 센서를 통해 취득되고, 상기 클라이언트 디바이스는 지지부에 의해 보유되는, 방법.
  9. 청구항 8에 있어서, 상기 하나 이상의 센서는 적외선 카메라를 포함하는, 방법.
  10. 청구항 8에 있어서, 상기 처리 회로부를 통해, 상기 사용자의 상기 적어도 하나의 눈의 상기 특성과 관련된 상기 취득된 데이터에 기초하여, 상기 사용자의 상기 적어도 하나의 눈의 상기 특성의 변화를 결정하는 단계를 더 포함하는, 방법.
  11. 청구항 10에 있어서, 상기 사용자의 상기 적어도 하나의 눈의 상기 특성의 상기 변화는 눈 개구의 변화이고, 상기 눈 개구는 상기 적어도 하나의 눈의 개방도의 메트릭인, 방법.
  12. 청구항 11에 있어서, 상기 표시된 시각적 객체는 미리 결정된 임계값에 대한 상기 눈 개구의 상기 결정된 변화의 비교에 기초하여 조절되는, 방법.
  13. 청구항 10에 있어서, 상기 사용자의 상기 적어도 하나의 눈의 상기 특성의 상기 변화는 눈 위치의 변화이고, 상기 눈 위치의 변화는 눈의 후속 위치에 대한 상기 눈의 광축의 초기 위치의 메트릭인, 방법.
  14. 청구항 10에 있어서, 상기 사용자의 상기 적어도 하나의 눈의 상기 특성의 상기 변화는 눈 위치의 변화이고, 상기 눈 위치의 변화는 머리의 시상축에 대비한 눈의 광축의 메트릭인, 방법.
  15. 처리 회로부를 갖는 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 표시된 시각적 객체를 조절하는 방법을 수행하게 하는 컴퓨터-판독 가능 명령을 저장하는 비일시적 컴퓨터-판독 가능 저장 매체이며, 상기 표시된 시각적 객체를 조절하는 방법은,
    사용자의 적어도 하나의 눈의 특성과 관련된 데이터를 취득하는 단계; 및
    상기 사용자의 상기 적어도 하나의 눈의 상기 특성과 관련된 상기 취득된 데이터에 기초하여 상기 표시된 시각적 객체를 조절하는 단계를 포함하고,
    상기 표시된 시각적 객체는 적어도 한 측면에서 반사성인 반투명 표면에 표시되고, 상기 표시된 시각적 객체는 상기 반투명 표면의 상기 반사 측면에서 가시적이며, 상기 반사 측면은 동시에 상기 반사 측면을 보는 상기 사용자의 반영된 모습을 보여주고,
    상기 사용자의 상기 적어도 하나의 눈의 상기 특성과 관련된 상기 취득된 데이터는 디스플레이를 갖는 클라이언트 디바이스의 하나 이상의 센서를 통해 취득되고, 상기 클라이언트 디바이스는 지지부에 의해 보유되는, 방법.
  16. 청구항 15에 있어서, 상기 처리 회로부는 상기 사용자의 상기 적어도 하나의 눈의 상기 특성과 관련된 상기 취득된 데이터에 기초하여 상기 사용자의 상기 적어도 하나의 눈의 상기 특성의 변화를 결정하도록 추가로 구성되는, 방법.
  17. 청구항 16에 있어서, 상기 사용자의 상기 적어도 하나의 눈의 상기 특성의 상기 변화는 눈 개구의 변화이고, 상기 눈 개구는 상기 적어도 하나의 눈의 개방도의 메트릭인, 방법.
  18. 청구항 16에 있어서, 상기 표시된 시각적 객체는 미리 결정된 임계값에 대한 상기 눈 개구의 상기 결정된 변화의 비교에 기초하여 조절되는, 방법.
  19. 청구항 16에 있어서, 상기 사용자의 상기 적어도 하나의 눈의 상기 특성의 상기 변화는 눈 위치의 변화이고, 상기 눈 위치의 변화는 눈의 후속 위치에 대한 상기 눈의 광축의 초기 위치의 메트릭인, 방법.
  20. 청구항 16에 있어서, 상기 사용자의 상기 적어도 하나의 눈의 상기 특성의 상기 변화는 눈 위치의 변화이고, 상기 눈 위치의 변화는 머리의 시상축에 대비한 눈의 광축의 메트릭인, 방법.
KR1020207036379A 2018-07-18 2019-07-18 메이크업 애플리케이션의 가이던스를 위한 눈 추적 기능을 갖는 메이크업 컴팩트 KR102460333B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/038,906 2018-07-18
US16/038,906 US10863812B2 (en) 2018-07-18 2018-07-18 Makeup compact with eye tracking for guidance of makeup application
PCT/US2019/042434 WO2020018813A1 (en) 2018-07-18 2019-07-18 Makeup compact with eye tracking for guidance of makeup application

Publications (2)

Publication Number Publication Date
KR20210009373A true KR20210009373A (ko) 2021-01-26
KR102460333B1 KR102460333B1 (ko) 2022-10-27

Family

ID=67544363

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207036379A KR102460333B1 (ko) 2018-07-18 2019-07-18 메이크업 애플리케이션의 가이던스를 위한 눈 추적 기능을 갖는 메이크업 컴팩트

Country Status (5)

Country Link
US (1) US10863812B2 (ko)
EP (1) EP3823490A1 (ko)
KR (1) KR102460333B1 (ko)
CN (1) CN112384102B (ko)
WO (1) WO2020018813A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD927069S1 (en) * 2019-09-11 2021-08-03 Hindash Cosmetics LLC Cosmetic palette
WO2021203120A1 (en) 2020-03-31 2021-10-07 Snap Inc. Augmented reality beauty product tutorials
US11676354B2 (en) * 2020-03-31 2023-06-13 Snap Inc. Augmented reality beauty product tutorials
US11423652B2 (en) 2020-06-10 2022-08-23 Snap Inc. Adding beauty products to augmented reality tutorials
KR20230070505A (ko) * 2020-09-28 2023-05-23 스냅 인코포레이티드 메시징에서의 ar 기반 메이크업 제품 세트들
US11798202B2 (en) 2020-09-28 2023-10-24 Snap Inc. Providing augmented reality-based makeup in a messaging system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030041871A1 (en) * 2001-09-05 2003-03-06 Fuji Photo Film Co., Ltd. Makeup mirror apparatus and makeup method using the same
KR200483132Y1 (ko) * 2016-08-18 2017-04-06 주식회사 이엑스쏠라 휴대폰 배터리를 이용한 조명 기능을 갖는 하이브리드 파운데이션 콤팩트 용기
US20180068449A1 (en) * 2016-09-07 2018-03-08 Valve Corporation Sensor fusion systems and methods for eye-tracking applications

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5360971A (en) 1992-03-31 1994-11-01 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
SE0102584D0 (sv) * 2001-07-23 2001-07-23 Ck Man Ab Sätt och anordning för bildpresentation
TWI227444B (en) * 2003-12-19 2005-02-01 Inst Information Industry Simulation method for make-up trial and the device thereof
US7146184B1 (en) 2005-03-28 2006-12-05 Aleko Tsitsiashvili Cellular phone with integral cosmetic pack
US7522344B1 (en) 2005-12-14 2009-04-21 University Of Central Florida Research Foundation, Inc. Projection-based head-mounted display with eye-tracking capabilities
US20120105486A1 (en) 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
US9582889B2 (en) 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
TW201132316A (en) * 2010-03-19 2011-10-01 Hon Hai Prec Ind Co Ltd Adjusting system and method for vanity mirron, vanity mirron including the same
US20120050144A1 (en) * 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
US8885877B2 (en) 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US9684374B2 (en) 2012-01-06 2017-06-20 Google Inc. Eye reflection image analysis
KR101850035B1 (ko) * 2012-05-02 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9612656B2 (en) 2012-11-27 2017-04-04 Facebook, Inc. Systems and methods of eye tracking control on mobile device
US9319662B2 (en) * 2013-01-16 2016-04-19 Elwha Llc Systems and methods for differentiating between dominant and weak eyes in 3D display technology
KR102516124B1 (ko) * 2013-03-11 2023-03-29 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
WO2014161189A1 (en) * 2013-04-03 2014-10-09 Nokia Corporation An apparatus and associated methods
US9661230B2 (en) * 2013-07-05 2017-05-23 Lg Electronics Inc. Image display apparatus and method of operating the image display apparatus
US9454699B2 (en) * 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking
CN107087431B (zh) 2014-05-09 2021-02-05 谷歌有限责任公司 用于辨别眼睛信号和连续生物识别的系统和方法
US9489739B2 (en) 2014-08-13 2016-11-08 Empire Technology Development Llc Scene analysis for improved eye tracking
US9936195B2 (en) 2014-11-06 2018-04-03 Intel Corporation Calibration for eye tracking systems
US9704038B2 (en) 2015-01-07 2017-07-11 Microsoft Technology Licensing, Llc Eye tracking
WO2016146486A1 (en) 2015-03-13 2016-09-22 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method for operating an eye tracking device for multi-user eye tracking and eye tracking device
US10521012B2 (en) 2015-03-13 2019-12-31 Apple Inc. Method for automatically identifying at least one user of an eye tracking device and eye tracking device
US20170115742A1 (en) 2015-08-01 2017-04-27 Zhou Tian Xing Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
JP2017049762A (ja) * 2015-09-01 2017-03-09 株式会社東芝 システム及び方法
JP6200483B2 (ja) 2015-12-23 2017-09-20 株式会社オプティム 画像処理システム、画像処理方法、および画像処理プログラム
JP6212533B2 (ja) 2015-12-28 2017-10-11 株式会社オプティム 画面共有システム、画面共有方法、および画面共有プログラム
US9692864B1 (en) 2016-03-14 2017-06-27 Michael Arikat Attachable cosmetics case for a cellular phone
TWI573100B (zh) 2016-06-02 2017-03-01 Zong Jing Investment Inc 自動臉部化妝方法
KR102362001B1 (ko) 2016-06-16 2022-02-14 애플 인크. 사용자 거동에 관한 눈 추적 기반 정보를 제공하기 위한 방법 및 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품
US10281980B2 (en) * 2016-09-26 2019-05-07 Ihab Ayoub System and method for eye-reactive display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030041871A1 (en) * 2001-09-05 2003-03-06 Fuji Photo Film Co., Ltd. Makeup mirror apparatus and makeup method using the same
JP2003153739A (ja) * 2001-09-05 2003-05-27 Fuji Photo Film Co Ltd 化粧鏡装置及び化粧方法
KR200483132Y1 (ko) * 2016-08-18 2017-04-06 주식회사 이엑스쏠라 휴대폰 배터리를 이용한 조명 기능을 갖는 하이브리드 파운데이션 콤팩트 용기
US20180068449A1 (en) * 2016-09-07 2018-03-08 Valve Corporation Sensor fusion systems and methods for eye-tracking applications

Also Published As

Publication number Publication date
EP3823490A1 (en) 2021-05-26
KR102460333B1 (ko) 2022-10-27
WO2020018813A1 (en) 2020-01-23
US20200022478A1 (en) 2020-01-23
CN112384102B (zh) 2024-01-02
CN112384102A (zh) 2021-02-19
US10863812B2 (en) 2020-12-15

Similar Documents

Publication Publication Date Title
KR102460333B1 (ko) 메이크업 애플리케이션의 가이던스를 위한 눈 추적 기능을 갖는 메이크업 컴팩트
US10537165B2 (en) System including a makeup compact and client device for guiding emakeup application
TWI751161B (zh) 終端設備、智慧型手機、基於臉部識別的認證方法和系統
US11068050B2 (en) Method for controlling display of virtual image based on eye area size, storage medium and electronic device therefor
US9838597B2 (en) Imaging device, imaging method, and program
US20190317594A1 (en) System and method for detecting human gaze and gesture in unconstrained environments
CN105229673B (zh) 一种装置和相关联的方法
CN107390863B (zh) 设备的控制方法及装置、电子设备、存储介质
AU2021290132C1 (en) Presenting avatars in three-dimensional environments
CN104484858B (zh) 人物图像处理方法及装置
KR20180125859A (ko) 눈썹 모습 가이드 디바이스 및 방법
EP3462375A1 (en) Body information analysis apparatus with augmented reality and eyebrow shape preview method thereof
CN111308707B (zh) 画面显示调节方法、装置、存储介质及增强现实显示设备
US10881182B2 (en) Makeup compact for utilizing client device to guide makeup application
CN112241199B (zh) 虚拟现实场景中的交互方法及装置
CN118103799A (zh) 与远程设备的用户交互
JP7179067B2 (ja) メイクアップ適用を指導するためにクライアントデバイスを利用するためのメイクアップコンパクト
CN113342157A (zh) 眼球追踪处理方法及相关装置
JP2000331190A (ja) 仮想変身装置
CN113093907A (zh) 人机交互方法、系统、设备及存储介质
CN111736692A (zh) 显示方法、显示装置、存储介质与头戴式设备
KR102574730B1 (ko) Ar 글라스를 이용한 증강 현실 화면 및 리모컨 제공 방법 및 그를 위한 장치 및 시스템
US20240005612A1 (en) Content transformations based on reflective object recognition
CN115311704A (zh) 一种图像显示方法、装置及智能化妆镜
WO2023096940A9 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant