KR102152296B1 - 블러시 가이드 장치 및 그 방법 - Google Patents

블러시 가이드 장치 및 그 방법 Download PDF

Info

Publication number
KR102152296B1
KR102152296B1 KR1020170093008A KR20170093008A KR102152296B1 KR 102152296 B1 KR102152296 B1 KR 102152296B1 KR 1020170093008 A KR1020170093008 A KR 1020170093008A KR 20170093008 A KR20170093008 A KR 20170093008A KR 102152296 B1 KR102152296 B1 KR 102152296B1
Authority
KR
South Korea
Prior art keywords
point
blush
intersection
user
blush guide
Prior art date
Application number
KR1020170093008A
Other languages
English (en)
Other versions
KR20180119085A (ko
Inventor
스용 선
민장 지
정쉬안 차이
Original Assignee
칼-콤프 빅 데이터, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 칼-콤프 빅 데이터, 인크. filed Critical 칼-콤프 빅 데이터, 인크.
Publication of KR20180119085A publication Critical patent/KR20180119085A/ko
Application granted granted Critical
Publication of KR102152296B1 publication Critical patent/KR102152296B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G06K9/00604—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Ophthalmology & Optometry (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

블러시 가이드 장치는 블러시를 그리도록 사용자에게 가이드하기 위해 제공된다. 상기 블러시 가이드 장치는 이미지 캡처 유닛, 처리 유닛 및 디스플레이 유닛을 포함한다. 이미지 캡처 유닛은 사용자의 얼굴 이미지를 캡처한다. 처리 유닛은 사용자의 얼굴 이미지를 수신하고, 사용자의 얼굴 이미지에 따라 복수 개의 얼굴 특징 포인트들을 획득한다. 처리 유닛은 적어도 하나의 블러시 가이드 블록을 획득하도록 상기 얼굴 특징 포인트들에 따라 계산을 수행한다. 디스플레이 유닛은 사용자의 얼굴 이미지 및 이에 상응하는 블러시 가이드 블록을 디스플레이하고 그리고 사용자에게 블러시 가이드 블록에 대해 메이크업을 하도록 가이드한다. 본원의 개시내용은 블러시 가이드 장치에 적합한 블러시 가이드 방법을 부가적으로 제공한다.

Description

블러시 가이드 장치 및 그 방법{Blush guide device and method thereof}
관련 출원에 대한 상호 참조
본원은 2017년 4월 24일자 출원된 중국 특허출원 제201710270472.2호를 기초로 하여 우선권을 주장한 것이다. 위에 언급한 특허출원의 전체는 이로써 인용에 의해 본원 명세서에 보완되며 본원 명세서의 일부가 된다.
기술분야
본 발명은 얼굴 특징 인식 기법에 관한 것이며, 구체적으로 기술하면, 얼굴 인식을 기반으로 하는 블러시 가이드 장치 및 그 방법에 관한 것이다.
아름다움에 대한 사랑은 여성의 본성이며, 많은 여성들이 메이크업을 통해 얼굴의 특징을 추가하게 된다. 그러나 메이크업 스킬은 타고난 것이 아니며 많은 화장 연습을 한 후에 메이크업 효과가 개선될 수 있다.
특정인이 메이크업 스킬을 학습하기를 원한다면, 학습자는 메이크업 스킬을 인터넷상의 이미지들로부터 학습할 수 있다. 그러나 인터넷상의 이미지들을 통해 학습한 메이크업 스킬은 실제로 편차가 있을 수 있다. 그러므로 어떠한 방식으로 최신 장비를 통해 메이크업 스킬을 학습해야 하는지는 제조자들에 의해 직면하게 되는 기술적인 문제이다.
본원의 개시내용은 블러시 가이드 장치 및 블러시 가이드 방법에 관한 것이며, 여기서, 블러시 가이드 블록이 사용자의 얼굴 이미지에 따라 계산 및 디스플레이되고 그럼으로써 사용자는 편리한 상호작용 메이크업 교습을 제공하도록 상기 블러시 가이드 장치에 의해 제공된 프롬프트에 따라 메이크업을 할 수 있게 된다.
본 발명의 한 실시 예는 이미지 캡처 유닛, 처리 유닛 및 디스플레이 유닛을 포함하는 블러시 가이드 장치를 제공한다. 이미지 캡처 유닛은 사용자의 얼굴 이미지를 캡처하고, 처리 유닛은 사용자의 얼굴 이미지를 수신하고, 사용자의 얼굴 이미지에 따라 복수 개의 얼굴 특징 포인트들을 획득한다. 더욱이, 처리 유닛은 적어도 하나의 블러시 가이드 블록을 획득하도록 얼굴 특징 포인트들에 따라 계산을 수행한다. 디스플레이 유닛은 사용자의 얼굴 이미지 및 이에 상응하는 블러시 가이드 블록을 디스플레이하고, 사용자에게 블러시 가이드 블록에 대해 메이크업을 하도록 가이드한다.
본 발명의 한 실시 예는 다음의 단계들을 포함하는 블러시 가이드 방법을 제공한다. 사용자의 얼굴 이미지가 캡처되고, 사용자의 얼굴 이미지에 따라 복수 개의 얼굴 특징 포인트들이 획득된다. 적어도 하나의 블러시 가이드 블록을 획득하도록 얼굴 특징 포인트들에 따라 계산이 수행되고, 사용자의 얼굴 이미지 및 이에 대응하는 블러시 가이드 블록이 디스플레이되며, 그리고 사용자가 상기 블러시 가이드 블록에 대해 메이크업을 하도록 가이드된다.
위에 언급한 내용에 의하면, 본원의 개시내용의 블러시 가이드 장치 및 블러시 가이드 방법은 사용자의 얼굴 이미지에 따라 블러시 가이드 블록을 계산 및 디스플레이할 수 있다. 그러므로 사용자는 블러시 처리될 얼굴 부위를 학습함으로써, 사용자가 메이크업 프로세스에서 블러시의 위치를 명확하게 알게 된다. 더욱이, 상기 블러시 가이드 장치는 블러시 처리하는 방법을 사용자에게 프롬프트하도록 블러시 가이드 라인을 부가적으로 제공할 수 있다. 이러한 방식으로, 심지어 사용자가 메이크업에 익숙하지 않더라도, 사용자는 편리한 상호작용 메이크업 교습들을 제공하도록 블러시 가이드 장치에 의해 제공된 프롬프트에 따라 메이크업을 여전히 할 수 있다.
위에서 언급한 본 발명의 특징들 및 이점들 그리고 다른 특징들 및 이점들을 이해하기 쉽게 하기 위해, 도면들을 첨부한 여러 대표적인 실시 예가 이하에서 상세하게 설명될 것이다.
첨부 도면들은 본 발명의 더 나은 이해를 제공하기 위해 포함된 것이며 본원 명세서에 보완되어 본원 명세서의 일부를 구성한다. 첨부 도면들은 발명의 실시 예들을 예시하며, 이들의 설명과 함께 본 발명의 원리들을 설명하는 역할을 한다.
도 1은 본원의 개시내용의 한 실시 예에 따른 블러시 가이드 장치의 디스플레이 인터페이스의 개략도이다.
도 2는 본원의 개시내용의 한 실시 예에 따른 블러시 가이드 장치의 시스템 블록도이다.
도 3은 본원의 개시내용의 한 실시 예에 따른 블러시 가이드 블록의 개략도이다.
도 4는 본원의 개시내용의 다른 한 실시 예에 따른 블러시 가이드 블록의 개략도이다.
도 5는 본원의 개시내용의 한 실시 예에 따른 블러시 가이드 라인의 개략도이다.
도 6은 본원의 개시내용의 한 실시 예에 따른 블러시 가이드 방법을 예시하는 흐름도이다.
도 7은 본원의 개시내용의 한 실시 예에 따른 블러시 가이드 블록을 획득하기 위한 구체적인 흐름도이다.
도 8은 본원의 개시내용의 다른 한 실시 예에 따른 블러시 가이드 블록을 획득하기 위한 구체적인 흐름도이다.
도 1은 본원의 개시내용의 한 실시 예에 따른 블러시 가이드 장치의 디스플레이 인터페이스의 개략도이고, 도 2는 본원의 개시내용의 한 실시 예에 따른 블러시 가이드 장치의 시스템 블록도이다. 도 1 및 도 2를 참조하면, 본 실시 예에서, 블러시 가이드 장치(100)는 이미지 캡처 유닛(110), 멀티미디어 디스플레이 유닛(120) 및 처리 유닛(130)을 포함한다.
이미지 캡처 유닛(110)은 사용자의 이미지, 특히 사용자의 얼굴 이미지를 캡처하는 데 사용된다. 이미지 캡처 유닛(110)은 예를 들면 유선 또는 무선으로 디스플레이 유닛(120) 및 처리 유닛(130)에 연결된, 내장된 카메라, 외부 이동 전화 또는 외부 카메라이며, 이는 본원의 개시내용에 의해 국한되는 것이 아니다.
상기 디스플레이 유닛(120)은 멀티미디어 정보 및 사용자의 얼굴 이미지를 실시간으로 디스플레이할 수 있다. 예를 들면, 디스플레이 유닛(120)은 사용자의 얼굴 이미지 및 사용자에 의한 선택을 위한 블러시들의 색상들 및 타입들의 옵션들을 디스플레이한다. 대표적인 본 실시 예에서, 디스플레이 유닛(120)은 반사율이 높은 물질(예를 들면, 거울) 뒤에 배치되고 유기 발광 다이오드(organic light-emitting diode; OLED)로 이루어질 수 있다. 이러한 방식으로, 사용자는 거울을 통해 자신의 얼굴을 볼 수 있고, 디스플레이 유닛(120)은 사용자가 보고 터치 선택을 하기 위해 거울 상의 관련 정보를 디스플레이할 수 있지만, 본원의 개시내용은 이에 국한되지 않는다. 본 실시 예의 블러시 가이드 장치(100)는 메이크업 테이블 상에 배치된 장치일 수 있으며, 블러시 가이드 장치(100)의 디스플레이 유닛(120)은 거울 뒤에 배치될 수 있고, 디스플레이 유닛(120)에 의해 디스플레이되는 텍스트 또는 이미지는 사용자가 보도록 거울을 통과할 수 있다. 다른 실시 예들에서, 블러시 가이드 장치(100)는 또한 스마트폰, 태블릿 PC 등과 같은 소비 가능한 전자 제품일 수도 있고 휴대용 거울과 결합된 휴대용 거울 박스일 수도 있다.
상기 처리 유닛(130)은 사용자의 얼굴 프로파일에 관련된 사용자의 복수 개의 얼굴 특징 포인트들을 획득하도록 이미지 캡처 유닛(110)에 의해 캡처된 사용자의 얼굴 이미지에 따라 계산을 수행한다. 대표적인 본 실시 예의 구현 예에서, 처리 유닛(110)은 중앙 처리 유닛(CPU), 마이크로프로세서, 주문형 집적회로(ASIC; application specific integrated circuits), 프로그램가능 로직 장치(PLD) 또는 다른 유사한 장치일 수 있다. 처리 유닛(130)은 블러시 가이드 블록을 제공하기 위한 여러 필요한 소프트웨어 프로그램 및/또는 명령어 세트를 실행하도록 구성된다. 대표적인 본 실시 예에서, 처리 유닛(130)은 Dlib 얼굴 표식을 이용한 시스템을 실행하여 사용자 얼굴의 194개의 얼굴 특징 포인트를 검출하고 분석한다. 다른 경우들에서, 사용자의 얼굴 특징 포인트들은 단지 사용자 얼굴의 119개의 얼굴 특징 포인트만을 분석하거나 그러한 얼굴 특징 포인트들을 검출하기 위한 다른 알고리즘들을 사용하여 획득될 수 있다.
본 실시 예에서, 사용자가 거울을 마주보고 메이크업을 하는 경우, 디스플레이 유닛(120)은 사용자의 얼굴 이미지를 디스플레이하고, 얼굴 특징 포인트들을 실시간으로 분석할 수 있다. 편리한 상호작용 블러시 가이드 장치를 제공하기 위해, 본원의 개시내용에서는, 디스플레이 유닛(120)이 사용자에게 블러시 처리를 하는 위치 및 방식을 프롬프트하도록 블러시 가이드 블록을 부가적으로 디스플레이한다. 이러한 방식으로, 사용자는 디스플레이 유닛(120)에 의해 디스플레이된 블러시 가이드 블록의 가이드에 따라 사용자의 얼굴 상의 상응하는 위치에 블러시를 그릴 수있다.
도 3을 참조하여 구체적으로 기술하면, 도 3은 본원의 개시내용의 한 실시 예에 따른 블러시 가이드 블록의 개략도이다. 이미지 캡처 유닛(110)이 사용자의 얼굴 이미지를 캡처한 후, 처리 유닛(130)은 사용자의 얼굴 이미지에 따라 사용자의 복수 개의 얼굴 특징 포인트들을 획득한다. 예를 들면, 사용자의 얼굴의 좌측면을 취할 경우, 처리 유닛(130)에 의해 획득된 사용자의 얼굴 특징 포인트들은 적어도 얼굴 포인트(FP0), 눈의 프론트 포인트(eye front point)(FP1)(다시 말하면, 눈물샘), 눈의 테일 포인트(eye tail point)(FP2), 노즈윙 포인트(nosewing point)(FP3)를 포함한다. 더욱이, 여기서 유념해야 할 점은 대표적인 본 실시 예의 얼굴 포인트(FP0)가 사용자의 얼굴 주변부에 위치하게 되며 눈의 테일 포인트(FP2)에 평행하다는 점이다. 예를 들면, 본 실시 예에서는, 처리 유닛(130)이 사용자의 얼굴 특징 포인트들을 획득한 후에, 처리 유닛(130)이 얼굴 특징 포인트 좌표들(x, y)을 할당하고, 얼굴 포인트(FP0) 및 눈의 테일 포인트(FP2)의 y-좌표들의 값들은 동일하다.
처리 유닛(130)에 의해 획득된 사용자의 얼굴 특징 포인트들은 이에 국한되지 않는다. 다른 실시 예들에서, 처리 유닛(130)에 의해 획득된 얼굴 특징 포인트들의 개수는 119, 194 등일 수 있다. 더욱이, 예를 들면, 194개의 얼굴 특징 포인트의 구현 예에서, 시스템은 얼굴 특징 포인트들 각각에 번호를 매길 수 있고, 예를 들면 얼굴 특징 포인트들 모두에 0-139로 번호를 매길 수 있는데, 이 경우에 얼굴 포인트(FP0)가 0번이고, 눈의 프론트 포인트(FP1)가 39번이며, 눈의 테일 포인트(FP2)가 36번이고, 그리고 노즈윙 포인트(FP3)가 88번이다. 눈 중간 포인트는 눈의 프론트 (FP1)(39번) 및 눈의 테일 포인트(FP2)(36번) 중간에 위치하게 된다. 그러나 본원의 개시내용은 이에 국한되지 않는다.
얼굴 특징 포인트들이 획득된 후에, 처리 유닛(130)은 얼굴 특징 포인트들의 위치들에 따라 사용자에게 적합한 블러시 가이드 블록(A1)을 부가적으로 설정할 수 있다. 예를 들면, 본원의 개시내용의 한 실시 예에서, 처리 유닛(130)은 눈의 프론트 포인트(FP1)와 눈의 테일 포인트(FP2)의 좌표들에 따라 눈의 프론트 포인트(FP1)와 눈의 테일 포인트(FP2)의 눈 중간 포인트(FP4)를 계산하고, 눈 중간 포인트(FP4)를 따라 눈 중간 포인트(FP4)를 통과하는 제1 수직 라인(L1)을 계산한다(다시 말하면, 제1 수직 라인(L1)의 x-좌표 값은 눈 중간 포인트(FP4)의 x-좌표 값과 동일하다). 그리고 나서 처리 유닛(130)은 노즈윙 포인트(FP3)를 따라 노즈윙 포인트(FP3)를 통과하는 제2 수평 라인(L2)을 계산한다(다시 말하면, 제2 수평 라인(L2)의 y-좌표 값이 노즈윙 포인트(FP3)의 y-좌표 값과 동일하다). 처리 유닛(130)은 제1 수직 라인(L1), 제2 수평 라인(L2) 및 얼굴 포인트(FP0) 사이에 위치하게 되는 블록 이도록 블러시 가이드 블록(A1)을 설정하고, 디스플레이 유닛(120) 상에 블러시 가이드 블록(A1)을 디스플레이한다. 즉, 도 3의 실시 예에서, 블러시 가이드 블록(A1)의 위치는 제1 수직 라인(L1)의 좌측 및 제2 수평 라인(L2)의 상부에 위치하게 되지만, 얼굴 포인트(FP0)의 위치를 초과하지는 않는다. 이러한 방식으로, 비록 메이크업에 익숙하지 않은 사용자이더라도, 블러시 가이드 블록(A1)에 상응하는 얼굴 상의 위치에 블러시를 그릴 수가 있다.
여기서 유념해야 할 점은 만약 사용자의 우측 얼굴이 일 예로서 취해질 경우, 처리 유닛(130)이 블러시 가이드 블록의 위치를 계산하도록 우측 얼굴의 노즈윙, 우측 눈의 눈의 프론트 포인트 및 눈의 테일 포인트에 따라 제1 수직 라인 및 제2 수평 라인을 계산할 수 있다는 점이다. 그러므로 블러시 가이드 블록의 위치는 제1 수직 라인의 우측과 수평 라인 위에 위치하게 되지만 얼굴 포인트의 위치를 초과하지는 않는다.
도 4는 본원의 개시내용의 다른 한 실시 예에 따른 블러시 가이드 블록의 개략도이다. 도 3과 유사한 도 4를 참조하면, 처리 유닛(130)은 눈의 프론트 포인트(FP1), 눈의 테일 포인트(FP2) 및 노즈윙 포인트(FP3)에 따라 제1 수직 라인(L1) 및 제2 수평 라인(L2)을 계산할 수 있다. 그 차이점은, 처리 유닛(130)이 얼굴 포인트(FP0)와 노즈윙 포인트(FP3)를 통과하는 제3 직선 라인(L3)과, 눈의 테일 포인트(FP2)를 통과하며 제3 직선 라인(L3)에 수직인 제4 직선 라인(L4)을 부가적으로 계산할 수 있다는 점이다. 그리고 나서, 처리 유닛(130)은 제3 직선 라인(L3)과 제1 수직 라인(L1)의 교점을 계산하고 이를 제1 교점(P1)으로 설정한다. 더욱이, 처리 유닛(130)은 또한 제4 직선 라인(L4)과 제3 직선 라인(L3)의 교점을 계산하고 이를 제2 교점(P2)으로 설정한다. 제2 교점(P2)이 획득된 후에, 처리 유닛(130)은 제2 교점(P2)과 얼굴 포인트(FP0) 간의 중간 포인트를 계산하여 제3 교점(P3)을 획득할 수 있다. 처리 유닛(130)은 제1 교점(P1), 제3 교점(P3) 및 제4 교점(P4)에 따라 타원 영역을 획득하고, 이 경우에 처리 유닛(130)은 제1 교점(P1) 및 제3 교점(P3)을 타원 영역의 장축의 2개의 단부로 취하고, 제1 교점(P1)과 제3 교점(P3)의 중간 포인트(P4)를 타원 영역의 중심으로 취하며, 그리고 제4 직선 라인(L4)의 길이를 타원 영역의 단축으로 취한다. 이러한 방식으로, 처리 유닛(130)은 제1 교점(P1), 제3 교점(P3) 및 중간 포인트(P4)에 의해 형성된 타원 영역을 블러시 가이드 블록(A2)으로 설정한다. 다시 말하면, 도 4의 실시 예에서 획득된 블러시 가이드 블록(A2)은 아래와 같은 타원 방정식
Figure 112017070483082-pat00001
을 만족한다.
상기 타원 방정식에서는 (h, k)는 중간 포인트(P4)의 (x, y) 좌표이다. "a"는 타원 장축의 절반 길이, 다시 말하면 제1 교점(P1)과 제3 교점(P3) 간의 절반 길이이다. "b"는 타원 단축의 절반 길이이다. 이러한 방식으로, 비록 메이크업에 익숙하지 않은 사용자이더라도 블러시 가이드 블록(A2)에 상응하는 얼굴 상의 위치에 블러시를 그릴 수가 있다.
사용자의 조작을 용이하게 하기 위해, 본원의 개시내용에서, 블러시 가이드 라인은 블러시를 그리는 스킬을 프롬프트하기 위해 블러시 가이드 블록에서 부가적으로 설정된다. 사용자가 디스플레이 유닛(110)에서 바람직한 블러시 그림 방식을 선택할 수도 있고 처리 유닛(130)이 사용자의 얼굴 형상에 적합한 블러시 그림 방법을 선택할 수도 있다. 도 5는 본원의 개시내용의 한 실시 예에 따른 블러시 가이드 라인의 개략도이다. 도 5에 도시된 바와 같이, 처리 유닛(130)은 사용자에 의해 블러시 가이드 블록(A)에서 선택된 블러시 가이드 라인(BL)을 디스플레이할 수 있다. 예를 들면, 본 실시 예에서, 블러시 가이드 블록(A) 내의 블러시 가이드 라인(BL)은 업-리프팅 삼각 그림(up-lifting triangular drawing) 방식이지만, 본원의 개시내용은 이에 국한되지 않는다.
도 6은 본원의 개시내용의 한 실시 예에 따른 블러시 가이드 방법을 예시한 흐름도이다. 도 2 및 도 6을 참조하면, 사용자가 블러시 가이드 장치(100)를 통해 블러시를 그리기 위한 가이드를 획득하고자 할 때, 먼저 단계 S610에서, 이미지 캡처 유닛(110)은 사용자의 얼굴 이미지를 캡처하고, 캡처된 사용자의 얼굴 이미지를 처리 유닛(130)으로 전송한다. 그리고 나서, 단계 S620에서, 처리 유닛(130)은 복수 개의 얼굴 특징 포인트들을 획득하기 위해 캡처된 사용자의 얼굴 이미지를 계산한다. 더욱이, 단계 S630에서, 처리 유닛(130)은 얼굴 특징 포인트들을 계산하여 사용자의 얼굴에 상응하는 블러시 가이드 블록을 획득한다. 마지막으로, 단계 S640에서, 처리 유닛(130)은 이미지 캡처 유닛(110)에 의해 캡처된 사용자의 얼굴 이미지 및 처리 유닛(130)에 의해 계산된 블러시 가이드 블록을 디스플레이 유닛(120)으로 전송하고, 디스플레이 유닛(120)은 사용자의 얼굴 이미지, 블러시 가이드 블록 및 블러시 가이드 라인을 디스플레이한다.
여기서 유념해야 할 점은 대표적인 본 실시 예에서 블러시 가이드 방법이 사용자의 얼굴 이미지를 캡처하고 블러시 가이드 블록을 실시간으로 계산하는 것이기 때문에 사용자가 조작을 멈출 때까지 단계 S610 내지 단계 S640이 반복 실행된다.
더욱이, 대표적인 본 실시 예의 블러시 가이드 방법은 사용자에 의해 선택된 옵션에 따라 블러시 가이드 라인의 패턴을 조정할 수 있다. 더군다나, 사용자는 디스플레이 유닛(120)에 디스플레이된 블러시의 색상 및 질감을 클릭해 선택하고 이를 디스플레이 유닛(120)을 통해 프리뷰(preview)할 수 있다. 대표적인 다른 실시 예들에서, 처리 유닛(130)은 사용자에 의해 선택된 색상 및 질감에 따라 블러시 가이드 블록을 미세 조정할 수도 있고 블러시 가이드 라인의 패턴을 변경하고 이를 디스플레이 유닛(120)에 디스플레이할 수도 있다.
도 7 및 도 8은 각각 본원의 개시내용의 다른 실시 예들에 따른 블러시 가이드 블록을 획득하기 위한 세부적인 흐름도들이다. 도 3 및 도 7을 참조하면, 대표적인 본 실시 예에서는, 단계 S630에서, 처리 유닛(130)이 블러시 가이드 블록(A1)을 획득하기 위해 얼굴 특징 포인트를 계산할 경우에, 먼저 처리 유닛(130)이 눈의 프론트 포인트(FP1) 및 눈의 테일 포인트(FP2)에 따라 눈 중간 포인트(FP4)를 계산하는 단계 S710이 수행된다. 그리고 나서, 단계 S720에서, 처리 유닛(130)은 눈 중간 포인트(FP4)에 따라 눈 중간 포인트(FP4)를 통과하는 제1 수직 라인(L1)을 부가적으로 계산한다. 단계 S730에서, 처리 유닛(130)은 노즈윙 포인트(FP3)에 따라 노즈윙 포인트(FP3)를 통과하는 제2 수평 라인(L2)을 계산한다. 단계 S740에서, 처리 유닛(130)은 제1 수직 라인(L1) 및 제2 수평 라인(L2)에 따라 블러시 가이드 블록(A1)을 계산한다. 구체적인 계산 방법이 도 3의 실시 예에서 설명되었으므로, 그의 구체적인 내용은 반복되지 않을 것이다. 도 7의 흐름도를 통해, 처리 유닛(130)은 블러시 가이드 블록(A1)을 계산할 수 있다. 그러므로 사용자는 계산된 블러시 가이드 블록(A1)을 디스플레이 유닛(120)을 통해 보고 블러시를 블러시 가이드 블록(A1)에 상응하는 얼굴 상의 위치에 블러시를 그릴 수 있다.
대표적인 다른 실시 예에서, 도 4 및 도 8을 참조하면, 단계 S630에서, 처리 유닛(130)이 블러시 가이드 블록(A2)을 획득하기 위해 얼굴 특징 포인트들을 계산할 경우에, 단계들 S710 내지 S730은 도 7의 단계들과 동일하므로, 그의 구체적인 내용은 반복되지 않을 것이다. 그 차이점은 대표적인 본 실시 예에서, 블러시 가이드 블록(A2)이 제1 수직 라인(L1) 및 제2 수평 라인(L2)을 통해 획득될 뿐만 아니라, 단계 S840에서, 처리 유닛(130)은 얼굴 포인트(FP0)와 노즈윙 포인트(FP3)를 통과하는 제3 직선 라인을 부가적으로 계산하고, 제3 직선 라인(L3) 및 제1 수직 라인(L1)의 교점을 제1 교점(P1)으로 설정한다. 단계 S850에서, 처리 유닛(130)은 눈의 테일 포인트(FP2)를 통과하며 제3 직선 라인(L3)에 수직인 제4 직선 라인(L4)을 계산하고, 제4 직선 라인(L4)과 제3 직선 라인(L3)의 교점을 제2 교점(P2)으로 설정한다. 그리고 나서, 단계 S860에서, 처리 유닛(130)은 제2 교점(P2)과 얼굴 포인트(FP0) 간의 중간 포인트를 계산하고, 이를 제3 교점(P3)으로 설정한다. 처리 유닛(130)은 제3 교점(P3)과 제1 교점(P1) 간의 중간 포인트를 제4 교점(P4)으로 설정한다. 마지막으로, 단계 S870에서, 처리 유닛(130)은 제1 교점(P1), 제3 교점(P3) 및 제4 교점(P4)에 따라 블러시 가이드 블록(A2)을 계산한다. 그의 구체적인 계산 방법은 도 4의 실시 예에서 설명되었으므로, 그의 구체적인 내용은 반복되지 않을 것이다. 도 8의 흐름도를 통해, 처리 유닛(130)은 블러시 가이드 블록(A2)을 계산할 수 있다. 그러므로 사용자는 계산된 블러시 가이드 블록(A2)을 디스플레이 유닛(120)을 통해 보고, 블러시 가이드 블록(A2)에 상응하는 얼굴 상의 위치에 블러시를 그릴 수 있다.
요약하면, 본원의 개시내용의 블러시 가이드 장치 및 블러시 가이드 방법은 블러시 가이드 블록을 계산하고 사용자의 얼굴 이미지에 따라 블러시 가이드 블록을 디스플레이할 수 있고, 그럼으로써 사용자가 블러시 처리될 얼굴 부위를 학습할 수 있게 해주며, 사용자가 메이크업 프로세스에서 블러시의 위치를 알 수 있게 해준다. 더욱이, 블러시 가이드 장치는 블러시 처리하는 방법 및 스타일을 사용자에게 프롬프트하도록 블러시 가이드 라인을 부가적으로 제공할 수 있다. 이러한 방식으로, 비록 사용자가 메이크업에 익숙하지 않더라도, 사용자는 편리한 상호작용 메이크업 교습을 제공하도록 블러시 가이드 장치에 의해 제공된 프롬프트에 따라 메이크업을 할 수가 있다.
통상의 기술자에게는 명백하겠지만, 본 발명의 범위 또는 사상을 벗어나지 않고 본 발명의 구조에 다양한 수정 및 변형이 이루어질 수 있다. 위의 내용에 비추어 볼 때, 본 발명의 수정들 및 변형들이 첨부된 청구항 및 그 등가물의 범위 내에서 이루어질 경우에 본 발명이 그러한 본 발명의 수정들 및 변형들을 포함하는 것으로 의도된다.

Claims (10)

  1. 블러시 가이드 장치에 있어서,
    상기 블러시 가이드 장치는,
    사용자의 얼굴 이미지를 캡처하는 이미지 캡처 유닛;
    사용자의 얼굴 이미지를 수신하고, 사용자의 얼굴 이미지에 따라 복수 개의 얼굴 특징 포인트들을 획득하며, 그리고 적어도 하나의 블러시 가이드 블록을 획득하도록 상기 얼굴 특징 포인트들에 따라 계산을 수행하는, 처리 유닛; 및
    사용자의 얼굴 이미지 및 이에 상응하는 블러시 가이드 블록을 디스플레이하는 디스플레이 유닛;
    을 포함하며,
    블러시 그림(blush drawing) 방식의 선택에 응답하여, 상기 처리 유닛은 상기 블러시 그림 방식에 따라 그리는 방향 및 그리는 패턴에 상응하는 블러시 가이드 라인을 획득하고, 상기 디스플레이 유닛은 상기 블러시 가이드 라인을 상기 블러시 가이드 블록에 디스플레이하여, 상기 블러시 가이드 라인에 따라 상기 블러시 가이드 블록에 대해 메이크업을 하도록 사용자에게 가이드하며,
    상기 얼굴 특징 포인트들은 적어도 노즈윙 포인트(nosewing point), 눈의 프론트 포인트(eye front point), 눈의 테일 포인트(eye tail point) 및 얼굴 포인트를 포함하며, 얼굴 포인트는 사용자의 얼굴 주변부에 위치하게 되고 눈의 테일 포인트에 평행하며,
    상기 처리 유닛은 눈의 프론트 포인트와 눈의 테일 포인트에 따라 눈 중간 포인트를 계산하고, 눈 중간 포인트에 따라 눈 중간 포인트를 통과하는 제1 수직 라인을 계산하며, 그리고 노즈윙 포인트에 따라 노즈윙 포인트를 통과하는 제2 수평 라인을 계산하고,
    상기 처리 유닛은 제1 수직 라인, 제2 수평 라인 및 얼굴 포인트 사이의 영역을 블러시 가이드 블록으로 설정하며,
    상기 처리 유닛은 얼굴 포인트와 노즈윙 포인트를 통과하는 제3 직선 라인을 획득하며, 제3 직선 라인과 제1 수직 라인의 교점은 제1 교점으로 설정되고,
    상기 처리 유닛은 눈의 테일 포인트를 통과하며 제3 직선 라인에 수직인 제4 직선 라인을 계산하며, 제4 직선 라인과 제3 직선 라인의 교점은 제2 교점으로 설정되고,
    상기 처리 유닛은 제2 교점과 얼굴 포인트 간의 중간 포인트를 계산하여 제3 교점을 획득하며, 상기 처리 유닛은 제1 교점 및 제3 교점 간의 중간 포인트를 계산하여 제4 교점을 획득하고,
    상기 처리 유닛은 제1 교점, 제3 교점 및 제4 교점에 따라 타원 영역을 획득하고, 타원 영역을 블러시 가이드 블록으로 설정하며, 제1 교점 및 제3 교점 간의 접속 라인은 타원 영역의 장축이고, 제4 교점은 타원 영역의 중심인, 블러시 가이드 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 디스플레이 유닛은 블러시 가이드 블록 내의 블러시 가이드 라인을 디스플레이하는, 블러시 가이드 장치.
  5. 제1항에 있어서,
    상기 이미지 캡처 유닛은 사용자의 얼굴 이미지를 실시간으로 캡처하고, 블러시 가이드 블록을 획득하고 사용자의 얼굴 이미지를 디스플레이하도록 얼굴 특징 포인트들을 실시간으로 계산하는, 블러시 가이드 장치.
  6. 블러시 가이드 방법에 있어서,
    상기 블러시 가이드 방법은,
    사용자의 얼굴 이미지를 캡처하는 단계;
    사용자의 얼굴 이미지에 따라 복수 개의 얼굴 특징 포인트들을 획득하는 단계;
    적어도 하나의 블러시 가이드 블록을 획득하도록 상기 얼굴 특징 포인트들에 따라 계산을 수행하는 단계; 및
    사용자의 얼굴 이미지 및 이에 상응하는 블러시 가이드 블록을 디스플레이하는 단계;
    를 포함하며,
    상기 블러시 가이드 방법은,
    블러시 그림(blush drawing) 방식의 선택에 응답하여,
    프로세서에 의해, 상기 블러시 그림 방식에 따라 그리는 방향 및 그리는 패턴에 상응하는 블러시 가이드 라인을 획득하는 것, 및
    디스플레이에 의해, 상기 블러시 가이드 라인을 상기 블러시 가이드 블록에 디스플레이하여, 상기 블러시 가이드 라인에 따라 상기 블러시 가이드 블록에 대해 메이크업을 하도록 사용자에게 가이드하는 것
    을 포함하며,
    상기 얼굴 특징 포인트들은 적어도 노즈윙 포인트(nosewing point), 눈의 프론트 포인트(eye front point), 눈의 테일 포인트(eye tail point) 및 얼굴 포인트를 포함하며, 얼굴 포인트는 사용자의 얼굴 주변부에 위치하게 되고 눈의 테일 포인트에 평행하며,
    상기 블러시 가이드 블록을 획득하도록 상기 얼굴 특징 포인트들에 따라 계산을 수행하는 단계는,
    눈의 프론트 포인트와 눈의 테일 포인트에 따라 눈 중간 포인트를 계산하고, 눈 중간 포인트에 따라 눈 중간 포인트를 통과하는 제1 수직 라인을 계산하는 단계;
    노즈윙 포인트에 따라 노즈윙 포인트를 통과하는 제2 수평 라인을 계산하는 단계; 및
    제1 수직 라인, 제2 수평 라인 및 얼굴 포인트 사이의 영역을 블러시 가이드 블록으로 설정하는 단계;를 포함하고,
    상기 블러시 가이드 방법은,
    얼굴 포인트와 노즈윙 포인트를 통과하는 제3 직선 라인을 획득하는 단계로서, 제3 직선 라인과 제1 수직 라인의 교점이 제1 교점으로 설정되는, 단계;
    눈의 테일 포인트를 통과하며 제3 직선 라인에 수직인 제4 직선 라인을 계산하는 단계로서, 제4 직선 라인과 제3 직선 라인의 교점이 제2 교점으로 설정되는, 단계;
    제2 교점과 얼굴 포인트 간의 중간 포인트를 계산하여 제3 교점을 획득하는 단계;
    제1 교점 및 제3 교점 간의 중간 포인트를 계산하여 제4 교점을 획득하는 단계; 및
    제1 교점, 제3 교점 및 제4 교점에 따라 타원 영역을 획득하고, 타원 영역을 블러시 가이드 블록으로 설정하는 단계로서, 제1 교점 및 제3 교점 간의 접속 라인은 타원 영역의 장축이고, 제4 교점은 타원 영역의 중심인, 단계;를 부가적으로 포함하는, 블러시 가이드 방법.
  7. 삭제
  8. 삭제
  9. 제6항에 있어서,
    상기 블러시 가이드 방법은,
    블러시 가이드 블록 내의 블러시 가이드 라인을 디스플레이하는 단계;를 부가적으로 포함하는, 블러시 가이드 방법.
  10. 제6항에 있어서,
    사용자의 얼굴 이미지는 실시간으로 캡처되고, 블러시 가이드 블록을 획득하고 사용자 얼굴 이미지를 디스플레이하도록 얼굴 특징 포인트들이 실시간으로 계산되는, 블러시 가이드 방법.
KR1020170093008A 2017-04-24 2017-07-21 블러시 가이드 장치 및 그 방법 KR102152296B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710270472.2A CN108734070A (zh) 2017-04-24 2017-04-24 腮红指引装置及方法
CN201710270472.2 2017-04-24

Publications (2)

Publication Number Publication Date
KR20180119085A KR20180119085A (ko) 2018-11-01
KR102152296B1 true KR102152296B1 (ko) 2020-09-07

Family

ID=59626429

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170093008A KR102152296B1 (ko) 2017-04-24 2017-07-21 블러시 가이드 장치 및 그 방법

Country Status (5)

Country Link
US (1) US10607503B2 (ko)
EP (1) EP3396586A1 (ko)
JP (1) JP6738780B2 (ko)
KR (1) KR102152296B1 (ko)
CN (1) CN108734070A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7139638B2 (ja) * 2018-03-22 2022-09-21 カシオ計算機株式会社 報知装置、報知方法及び報知プログラム
CN109949237A (zh) * 2019-03-06 2019-06-28 北京市商汤科技开发有限公司 图像处理方法及装置、图像设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009064423A (ja) * 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5261586B2 (ja) * 2007-08-10 2013-08-14 株式会社 資生堂 メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2010211308A (ja) * 2009-03-06 2010-09-24 Fujifilm Corp メイクアップアドバイス装置、メイクアップアドバイス方法及びプログラム
US8908904B2 (en) * 2011-12-28 2014-12-09 Samsung Electrônica da Amazônia Ltda. Method and system for make-up simulation on portable devices having digital cameras
JP2014023127A (ja) * 2012-07-23 2014-02-03 Sharp Corp 情報表示装置、情報表示方法、制御プログラム、および記録媒体
EP2953090A4 (en) * 2013-02-01 2016-05-25 Panasonic Ip Man Co Ltd MAKEUP AID, MAKEUP AID, MAKEUP ASSISTANCE AND MAKEUP ASSISTANCE
JP5991536B2 (ja) * 2013-02-01 2016-09-14 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
EP2981935A4 (en) * 2013-04-03 2016-12-07 Nokia Technologies Oy APPARATUS AND ASSOCIATED METHODS
EP2985732B1 (en) * 2013-04-08 2017-08-02 Panasonic Intellectual Property Corporation of America Image processing device, image processing method, and program, capable of virtual reproduction of makeup application state
CN104599297B (zh) * 2013-10-31 2018-07-10 厦门美图网科技有限公司 一种对人脸自动上腮红的图像处理方法
JP2015197710A (ja) * 2014-03-31 2015-11-09 株式会社メガチップス 化粧支援装置およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009064423A (ja) * 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム

Also Published As

Publication number Publication date
EP3396586A1 (en) 2018-10-31
US20180308384A1 (en) 2018-10-25
KR20180119085A (ko) 2018-11-01
CN108734070A (zh) 2018-11-02
JP6738780B2 (ja) 2020-08-12
US10607503B2 (en) 2020-03-31
JP2018185784A (ja) 2018-11-22

Similar Documents

Publication Publication Date Title
KR102132367B1 (ko) 눈썹 모습 가이드 디바이스 및 방법
US10095030B2 (en) Shape recognition device, shape recognition program, and shape recognition method
KR102172988B1 (ko) 아이라이너-착용 가이드 장치 및 방법
US10446052B2 (en) Lip gloss guide and method thereof
US9906778B2 (en) Calibration device, calibration program, and calibration method
WO2014128751A1 (ja) ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法
JP6731896B2 (ja) リップ・グロス案内装置及びその方法
KR102152296B1 (ko) 블러시 가이드 장치 및 그 방법
US20150381970A1 (en) Input/output device, input/output program, and input/output method
US10296098B2 (en) Input/output device, input/output program, and input/output method
US20170302904A1 (en) Input/output device, input/output program, and input/output method
JP6479836B2 (ja) 入出力装置、入出力プログラム、および入出力方法
CN113486695A (zh) 一种化妆镜的妆容辅助方法及化妆镜

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant