KR20160142742A - 메이크업 거울을 제공하는 디바이스 및 방법 - Google Patents
메이크업 거울을 제공하는 디바이스 및 방법 Download PDFInfo
- Publication number
- KR20160142742A KR20160142742A KR1020150127710A KR20150127710A KR20160142742A KR 20160142742 A KR20160142742 A KR 20160142742A KR 1020150127710 A KR1020150127710 A KR 1020150127710A KR 20150127710 A KR20150127710 A KR 20150127710A KR 20160142742 A KR20160142742 A KR 20160142742A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- makeup
- face image
- information
- user input
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 238
- 230000004044 response Effects 0.000 claims abstract description 44
- 238000004458 analytical method Methods 0.000 claims description 150
- 238000001514 detection method Methods 0.000 claims description 115
- 230000003796 beauty Effects 0.000 claims description 102
- 239000011521 glass Substances 0.000 claims description 83
- 230000033001 locomotion Effects 0.000 claims description 60
- 238000012545 processing Methods 0.000 claims description 22
- 230000002146 bilateral effect Effects 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 5
- 210000004709 eyebrow Anatomy 0.000 description 133
- 238000004590 computer program Methods 0.000 description 108
- 238000010586 diagram Methods 0.000 description 67
- 230000001815 facial effect Effects 0.000 description 54
- 230000008569 process Effects 0.000 description 47
- 239000000047 product Substances 0.000 description 47
- 238000004891 communication Methods 0.000 description 37
- 238000007726 management method Methods 0.000 description 32
- 230000008859 change Effects 0.000 description 31
- 230000006870 function Effects 0.000 description 28
- 238000012937 correction Methods 0.000 description 25
- 230000037303 wrinkles Effects 0.000 description 19
- 238000004422 calculation algorithm Methods 0.000 description 17
- 230000007613 environmental effect Effects 0.000 description 15
- 208000002874 Acne Vulgaris Diseases 0.000 description 12
- 206010000496 acne Diseases 0.000 description 12
- 208000012641 Pigmentation disease Diseases 0.000 description 11
- 230000019612 pigmentation Effects 0.000 description 11
- 239000011148 porous material Substances 0.000 description 11
- 210000001061 forehead Anatomy 0.000 description 8
- 238000005286 illumination Methods 0.000 description 8
- 230000001932 seasonal effect Effects 0.000 description 7
- 230000008021 deposition Effects 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 5
- 210000000744 eyelid Anatomy 0.000 description 5
- 239000000049 pigment Substances 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 4
- 238000007493 shaping process Methods 0.000 description 4
- 230000036555 skin type Effects 0.000 description 4
- 206010040954 Skin wrinkling Diseases 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001012 protector Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 210000000216 zygoma Anatomy 0.000 description 3
- 208000003351 Melanosis Diseases 0.000 description 2
- 238000001035 drying Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 239000000843 powder Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 240000004160 Capsicum annuum Species 0.000 description 1
- 235000008534 Capsicum annuum var annuum Nutrition 0.000 description 1
- 235000007862 Capsicum baccatum Nutrition 0.000 description 1
- 206010013786 Dry skin Diseases 0.000 description 1
- 206010014970 Ephelides Diseases 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 206010039792 Seborrhoea Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000001728 capsicum frutescens Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000037336 dry skin Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000003205 fragrance Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000037312 oily skin Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 206010036067 polydipsia Diseases 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000037307 sensitive skin Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000859 sublimation Methods 0.000 description 1
- 230000008022 sublimation Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 229940098465 tincture Drugs 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
본 개시는 사용자의 얼굴 특성에 맞는 메이크업 가이드 정보를 제공할 수 있다. 이를 위해, 디바이스는 디스플레이; 및 사용자의 얼굴 영상을 실시간으로 디스플레이하고, 메이크업 가이드 요청에 응답하여 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시하는 메이크업 거울을 실행하는 제어부를 포함할 수 있다.
Description
본 개시는 메이크업 거울을 제공하는 디바이스 및 방법에 관한 것으로서, 보다 상세하게는, 사용자의 얼굴 영상에 기초한 메이크업에 관련된 정보 또는/및 피부에 관련된 정보를 제공할 수 있는 메이크업 거울을 제공하는 디바이스 및 방법에 관한 것이다.
메이크업은 얼굴의 단점을 보완하고 장점을 부각시키기 위한 미적 행위이다. 예를 들어, 스모키 메이크업은 작은 눈을 크게 보이게 할 수 있다. 홑 꺼풀용 아이섀도 메이크업은 동양적인 눈을 부각시킬 수 있다. 컨실러 메이크업은 얼굴의 집티나 다크 서클을 가릴 수 있다.
이와 같이 얼굴에 어떤 메이크업을 하는지에 따라 다양한 스타일을 표현할 수 있기 때문에 다양한 메이크업 가이드 정보가 제공되고 있다. 예를 들어, 생기 있게 보이는 메이크업 가이드 정보, 계절별 메이크업 가이드 정보 등이 있다.
그러나 현재 제공되고 있는 메이크업 가이드 정보들은 개인의 얼굴 특성을 개인 스스로 판단하도록 되어 있으므로, 각 개인의 얼굴 특성에 맞는 메이크업 가이드 정보를 이용하기 어려울 수 있다.
또한, 개인의 메이크업 히스토리 정보 또는 개인의 피부 상태(예를 들어, 피부 상태 변화)에 관한 정보 등을 확인하기 어려울 수 있다.
따라서, 각 개인의 얼굴 특성에 맞는 메이크업 가이드 정보, 메이크업 히스토리 정보, 또는/및 각 개인의 피부 상태에 관한 정보를 효과적으로 제공할 수 있는 기술이 요구되고 있다.
전술한 배경기술은 발명자가 본 개시의 도출을 위해 보유하고 있었거나, 본 개시의 도출 과정에서 습득한 정보로서, 반드시 본 개시의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 개시의 실시 예들은, 사용자의 얼굴 특성에 맞는 메이크업 가이드 정보를 제공하기 위한 것이다.
또한, 본 개시의 실시 예들은, 사용자의 얼굴 영상에 기초하여 사용자의 메이크업 가이드 정보를 효과적으로 제공하기 위한 것이다.
또한, 본 개시의 실시 예들은 사용자의 얼굴 영상에 기초하여 사용자의 메이크업 전후에 관한 정보를 효과적으로 제공하기 위한 것이다.
또한, 본 개시의 실시 예들은 사용자의 얼굴 영상에 기초하여 사용자의 메이크업 후 관리를 효과적으로 하기 위한 것이다.
또한, 본 개시의 실시 예들은 사용자의 얼굴 영상에 기초하여 사용자의 메이크업 히스토리 정보를 효과적으로 제공하기 위한 것이다.
또한, 본 개시의 실시 예들은 사용자의 얼굴 영상에 기초하여 사용자의 피부 상태 변화에 관한 정보를 효과적으로 제공하기 위한 것이다.
또한, 본 개시의 실시 예들은 사용자의 얼굴 영상에서 잡티를 효과적으로 표시하기 위한 것이다.
또한, 본 개시의 실시 예들은 사용자의 얼굴 영상에 기초한 피부 상태 분석을 효과적으로 하기 위한 것이다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 1 측면은, 사용자의 얼굴 영상을 디스플레이 하는 디스플레이; 및 상기 사용자의 얼굴 영상을 실시간으로 디스플레이하고, 메이크업 가이드 요청에 응답하여 상기 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시하는 메이크업 거울을 실행하는 제어부를 포함하는, 메이크업 거울을 제공하는 디바이스를 제공할 수 있다.
또한, 상기 디스플레이는 복수의 가상 메이크업 영상을 디스플레이하고, 상기 디바이스는 복수의 가상 메이크업 영상중 하나를 선택하는 사용자 입력을 수신하는 사용자 입력부를 더 포함하고, 상기 제어부는, 상기 사용자 입력에 응답하여, 상기 선택된 가상 메이크업 영상에 기초한 메이크업 가이드 정보를 상기 사용자의 얼굴 영상에 표시할 수 있다.
또한, 상기 복수의 가상 메이크업 영상은 색조 기반 가상 메이크업 영상 및 테마 기반 가상 메이크업 영상 중 적어도 하나를 포함할 수 있다.
또한, 상기 디스플레이는 복수의 테마 정보를 디스플레이 하고, 상기 사용자 입력부는 복수의 테마 정보중 하나를 선택하는 사용자 입력을 수신하며, 상기 제어부는, 상기 사용자 입력에 응답하여 상기 선택된 테마 정보에 기초한 메이크업 가이드 정보를 상기 사용자의 얼굴 영상에 표시할 수 있다.
또한, 상기 디스플레이는 상기 사용자의 얼굴 영상에 좌우 대칭 메이크업 가이드 정보를 표시하고, 상기 제어부는 상기 사용자의 얼굴의 일 측에 대한 메이크업이 시작됨에 따라 상기 사용자의 얼굴 영상의 다른 일 측에 표시되고 있는 메이크업 가이드 정보를 삭제하고, 상기 사용자의 얼굴의 상기 일 측에 대한 메이크업이 완료됨에 따라 상기 사용자의 얼굴의 상기 일 측에 대한 메이크업 결과를 검출하고, 상기 검출된 메이크업 결과에 기초한 메이크업 가이드 정보를 상기 사용자의 얼굴 영상의 상기 다른 일 측에 표시할 수 있다.
또한, 상기 사용자 입력부는 메이크업 가이드 요청을 나타내는 사용자 입력을 수신하며, 상기 제어부는, 상기 사용자 입력에 응답하여 메이크업 순서 정보를 포함하는 메이크업 가이드 정보를 상기 사용자의 얼굴 영상에 표시할 수 있다.
또한, 상기 사용자 입력부는 메이크업 가이드 정보를 선택하는 사용자 입력을 수신하며, 상기 제어부는, 상기 사용자 입력에 응답하여 선택된 메이크업 가이드 정보에 대한 상세한 메이크업 가이드 정보를 상기 디스플레이에 표시할 수 있다.
또한, 상기 제어부는, 상기 사용자의 얼굴 영상에서 관심 영역을 검출하고, 상기 관심 영역을 자동으로 확대하여 상기 디스플레이에 디스플레이 할 수 있다.
또한, 상기 제어부는, 상기 사용자의 얼굴 영상에서 커버가 필요한 영역을 검출하고, 상기 커버가 필요한 영역에 대한 메이크업 가이드 정보를 상기 사용자의 얼굴 영상에 표시할 수 있다.
또한, 상기 제어부는, 조도 값을 검출하고, 상기 검출된 조도 값이 저 조도로 판단됨에 따라 상기 디스플레이의 가장 자리 영역을 화이트 레벨로 표시할 수 있다.
또한, 상기 사용자 입력부는 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상간의 비교 영상 요청을 나타내는 사용자 입력을 수신하며, 상기 제어부는 상기 사용자 입력에 응답하여 상기 메이크업 전 사용자의 얼굴 영상과 상기 현재 사용자의 얼굴 영상을 비교 형태로 상기 디스플레이에 디스플레이할 수 있다.
또한, 상기 사용자 입력부는 현재 사용자의 얼굴 영상과 가상 메이크업 얼굴 영상간의 비교 영상 요청을 나타내는 사용자 입력을 수신하며, 상기 제어부는 상기 사용자 입력에 응답하여 상기 현재 사용자의 얼굴 영상과 상기 가상 메이크업 얼굴 영상을 비교 형태로 상기 디스플레이에 디스플레이할 수 있다.
또한, 상기 사용자 입력부는 피부 분석 요청을 나타내는 사용자 입력을 수신하며, 상기 제어부는 현재 사용자의 얼굴 영상에 기초하여 피부를 분석하고, 메이크업 전 사용자의 얼굴 영상에 기초한 피부 분석 결과와 상기 현재 사용자의 얼굴 영상에 기초한 피부 분석 결과를 비교하며, 비교 결과를 제공할 수 있다.
또한, 상기 디바이스는 사용자의 얼굴 영상을 획득하는 카메라를 더 포함하고, 상기 제어부는 상기 카메라를 이용하여 주기적으로 사용자의 얼굴 영상을 획득하고, 상기 카메라를 이용하여 획득된 사용자의 얼굴 영상에 대한 메이크업 상태를 점검하며, 점검 결과, 알림이 필요하다고 판단됨에 따라 사용자에 알림을 제공할 수 있다.
또한, 상기 사용자 입력부는 사용자의 메이크업 히스토리 정보 요청을 나타내는 사용자 입력을 수신하며, 상기 제어부는 상기 사용자의 얼굴 영상에 기초한 메이크업 히스토리 정보를 상기 디스플레이에 표시할 수 있다.
또한, 상기 제어부는 메이크업 영역을 검출하고, 상기 검출된 메이크업 영역에 대한 메이크업 가이드 정보와 메이크업 제품에 관한 정보를 상기 디스플레이에 상기 사용자의 얼굴 영상에 기초하여 표시할 수 있다.
또한, 상기 사용자 입력부는 메이크업 도구에 대한 선택을 나타내는 사용자 입력을 수신하고, 상기 제어부는 상기 사용자 입력에 응답하여 메이크업 도구를 결정하고, 상기 결정된 메이크업 도구에 따른 메이크업 가이드 정보를 상기 사용자의 얼굴 영상에 표시할 수 있다.
또한, 상기 제어부는 상기 카메라를 이용하여 획득된 상기 사용자의 얼굴 영상에 기초하여 상기 사용자의 얼굴의 좌측 또는 우측 방향 움직임을 검출하고, 사용자의 얼굴의 좌측 또는 우측 방향 움직임이 검출되면, 사용자의 옆모습 얼굴 영상을 획득하며, 상기 사용자의 옆모습 얼굴 영상을 상기 디스플레이에 표시할 수 있다.
또한, 상기 사용자 입력부는 상기 사용자의 메이크업 제품에 관한 사용자 입력을 수신하며, 상기 제어부는 상기 사용자 입력에 응답하여 상기 메이크업 제품에 관한 정보를 등록하고, 상기 등록된 사용자의 메이크업 제품에 관한 정보에 기초하여 상기 메이크업 가이드 정보를 사용자의 얼굴 영상에 기초하여 표시할 수 있다.
또한, 사용자 입력부는 상기 디바이스는 피부 상태 관리 정보 요청을 나타내는 사용자 입력을 수신하며, 상기 제어부는, 상기 사용자 입력에 응답하여 상기 디스플레이에 특정 기간 동안에 상기 사용자의 피부 상태 분석 정보를 상기 사용자의 얼굴 영상에 기초하여 표시할 수 있다.
또한, 상기 제어부는 상기 디스플레이에 표시될 복수의 사용자의 얼굴 영상간에 얼굴의 특징점 정합 처리 및/또는 픽셀 단위 정합 처리를 수행할 수 있다.
상기 카메라를 이용하여 상기 사용자의 얼굴 영상을 실시간으로 획득하고, 상기 제어부는, 상기 획득되는 사용자의 얼굴 영상에 상기 메이크업 가이드 정보가 표시될 때, 상기 획득되는 사용자의 얼굴 영상에서 움직임 정보를 검출하고, 상기 검출된 움직임 정보에 따라 상기 표시되고 있는 상기 메이크업 가이드 정보를 변경할 수 있다.
또한, 상기 디바이스는, 잡티 검출 레벨 또는 뷰티 페이스 레벨을 나타내는 사용자 입력을 수신하는 사용자 입력부를 더 포함하고, 상기 제어부는, 상기 디스플레이를 제어하여, 상기 사용자 입력이 상기 잡티 검출 레벨을 나타내면, 상기 잡티 검출 레벨에 따라 상기 사용자의 얼굴 영상에서 검출된 잡티를 강조하여 표시하고, 상기 사용자 입력이 상기 뷰티 페이스 레벨을 나타내면, 상기 뷰티 페이스 레벨에 따라 상기 사용자의 얼굴 영상에서 상기 검출된 잡티를 흐릿하게 표시할 수 있다.
또한, 상기 제어부는 상기 사용자의 얼굴 영상에 대한 복수의 블러 영상을 획득하고, 상기 복수의 블러 영상간의 차 값을 구하고, 상기 차 값과 임계 값을 비교하여 상기 사용자의 얼굴 영상에서 상기 잡티를 검출할 수 있다. 상기 임계 값은 잡티 검출 레벨 또는 상기 뷰티 페이스 레벨에 대응되는 픽셀 단위의 임계 값일 수 있다. 임계 값은 가변 될 수 있다.
또한, 상기 디바이스는, 상기 사용자의 얼굴 영상중 일부 영역에 대한 피부 분석 요청을 나타내는 사용자 입력을 수신하는 사용자 입력부를 포함하고, 상기 제어부는, 상기 사용자 입력에 응답하여 상기 일부 영역에 대한 피부 상태를 분석하고, 분석된 결과를 상기 사용자의 얼굴 영상에 표시할 수 있다.
또한, 상기 디스플레이는 상기 제어부에 의해 제어됨으로써 상기 일부 영역에 피부 분석 창을 디스플레이 하고, 상기 제어부는 상기 사용자 입력에 응답하여 상기 피부 분석 창이 상기 일부 영역에 디스플레이 되도록 상기 디스플레이를 제어하고, 상기 피부 분석 창에 포함되는 상기 일부 영역에 대한 상기 피부 상태를 분석하고, 분석된 결과를 상기 피부 분석 창에 표시할 수 있다.
또한, 상기 피부 분석 창은 돋보기 창을 포함할 수 있다.
또한, 상기 사용자 입력부는 상기 피부 분석 창의 사이즈를 확대, 상기 피부 분석 창의 사이즈를 축소, 또는 상기 피부 분석 창의 디스플레이 위치를 다른 위치로 이동을 나타내는 사용자 입력을 수신하고, 상기 제어부는 상기 사용자 입력에 응답하여 상기 디스플레이에 디스플레이 되고 있는 상기 피부 분석 창의 사이즈를 확대, 상기 피부 분석 창의 사이즈를 축소, 또는 상기 피부 분석 창의 디스플레이 위치를 상기 다른 위치로 이동시킬 수 있다.
또한, 상기 사용자 입력은 상기 사용자의 얼굴 영상에 기초하여 상기 일부 영역을 지정하는 터치 기반 입력을 포함할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 2 측면은, 사용자의 얼굴 영상을 실시간으로 디바이스에 디스플레이 하는 단계; 메이크업 가이드를 요청하는 사용자 입력을 수신하는 단계; 및 상기 사용자 입력에 응답하여 상기 디스플레이 되고 있는 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시하는 단계를 포함하는 메이크업 거울 제공 방법을 제공할 수 있다.
또한, 상기 방법은, 상기 사용자의 얼굴 영상에 기초한 복수의 가상 메이크업 영상을 추천하는 단계; 상기 복수의 가상 메이크업 영상중 하나를 선택하는 사용자 입력을 수신하는 단계; 및 상기 가상 메이크업 영상을 선택하는 사용자 입력에 응답하여 상기 선택된 가상 메이크업 영상에 기초한 메이크업 가이드 정보를 상기 사용자의 얼굴 영상에 표시하는 단계를 포함할 수 있다.
또한, 상기 복수의 가상 메이크업 영상은 색조 기반 가상 메이크업 영상 및 테마 기반 가상 메이크업 영상 중 적어도 하나를 포함할 수 있다.
또한, 상기 방법은, 복수의 테마 정보를 상기 디바이스에 디스플레이 하는 단계; 상기 복수의 테마 정보중 하나를 선택하는 사용자 입력을 수신하는 단계; 상기 테마 정보를 선택하는 사용자 입력에 응답하여 상기 선택된 테마 정보에 기초한 메이크업 가이드 정보를 상기 사용자의 얼굴 영상에 표시하는 단계를 포함할 수 있다.
또한, 상기 방법은, 상기 사용자의 얼굴 영상에 좌우 대칭 메이크업 가이드 정보를 표시하는 단계; 상기 사용자의 얼굴의 일 측에 대한 메이크업이 시작됨에 따라 상기 사용자의 얼굴 영상의 다른 일 측에 표시되고 있는 메이크업 가이드 정보를 삭제하는 단계; 상기 사용자의 얼굴의 상기 일 측에 대한 메이크업이 완료됨에 따라 상기 사용자의 얼굴의 상기 일 측에 대한 메이크업 결과를 검출하는 단계; 상기 검출된 메이크업 결과에 기초한 메이크업 가이드 정보를 상기 사용자의 얼굴 영상의 상기 다른 일 측에 표시하는 단계를 포함할 수 있다.
또한, 상기 방법은, 상기 사용자 입력에 응답하여 메이크업 순서 정보를 포함하는 메이크업 가이드 정보를 상기 사용자의 얼굴 영상에 표시하는 단계를 포함할 수 있다.
또한, 상기 방법은, 상기 메이크업 가이드 정보를 선택하는 사용자 입력을 수신함에 따라 선택된 메이크업 가이드 정보에 대한 상세한 메이크업 가이드 정보를 제공하는 단계를 포함할 수 있다.
또한, 상기 방법은, 상기 디스플레이 되고 있는 사용자의 얼굴 영상에서 관심 영역을 검출하는 단계; 및 상기 관심 영역을 자동으로 확대하여 디스플레이하는 단계를 포함할 수 있다.
또한, 상기 방법은, 상기 디스플레이 되고 있는 사용자의 얼굴 영상에서 커버가 필요한 영역을 검출하는 단계: 및 상기 커버가 필요한 영역에 대한 메이크업 가이드 정보를 상기 사용자의 얼굴 영상에 표시하는 단계를 포함할 수 있다.
또한, 상기 방법은, 조도 값을 검출하는 단계; 및 상기 검출된 조도 값이 저 조도로 판단됨에 따라 상기 디바이스의 디스플레이의 가장 자리 영역을 화이트 레벨로 표시하는 단계를 포함할 수 있다.
또한, 상기 방법은, 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상간의 비교 영상 요청을 수신하는 단계; 및 상기 메이크업 전 사용자의 얼굴 영상과 상기 현재 사용자의 얼굴 영상을 비교 형태로 디스플레이하는 단계를 포함할 수 있다.
또한, 상기 방법은, 현재 사용자의 얼굴 영상과 가상 메이크업 얼굴 영상간의 비교 영상 요청을 수신하는 단계; 및 상기 현재 사용자의 얼굴 영상과 상기 가상 메이크업 얼굴 영상을 비교 형태로 디스플레이하는 단계를 포함할 수 있다.
또한, 상기 방법은, 피부 분석 요청을 나타내는 사용자 입력을 수신하는 단계; 상기 사용자 입력을 수신함에 따라 현재 사용자의 얼굴 영상에 기초하여 피부를 분석하는 단계; 메이크업 전 사용자의 얼굴 영상에 기초한 피부 분석 결과와 상기 현재 사용자의 얼굴 영상에 기초한 피부 분석 결과를 비교하는 단계; 및 상기 비교 결과를 제공하는 단계를 포함할 수 있다.
또한, 상기 방법은, 주기적으로 사용자의 얼굴 영상을 획득하는 단계; 상기 획득된 사용자의 얼굴 영상에 대한 메이크업 상태를 점검하는 단계; 및 상기 점검 결과, 알림이 필요하다고 판단됨에 따라 사용자에 알림을 제공하는 단계를 포함할 수 있다.
또한, 상기 방법은, 사용자의 메이크업 히스토리 정보 요청을 나타내는 사용자 입력을 수신하는 단계; 및 상기 사용자 입력을 수신함에 따라 상기 사용자의 메이크업 히스토리 정보를 상기 디바이스에 표시하는 단계를 포함할 수 있다.
또한, 상기 방법은, 메이크업 영역을 검출하는 단계; 및 상기 검출된 메이크업 영역에 대한 메이크업 가이드 정보와 메이크업 제품에 관한 정보를 상기 사용자의 얼굴 영상에 기초하여 상기 디바이스에 표시하는 단계를 포함할 수 있다.
또한, 상기 방법은, 메이크업 도구에 대한 선택을 나타내는 사용자 입력이 수신됨에 따라 메이크업 도구를 결정하는 단계; 및 상기 결정된 메이크업 도구에 따른 메이크업 가이드 정보를 상기 사용자의 얼굴 영상에 기초하여 상기 디바이스에 표시하는 단계를 포함할 수 있다.
또한, 상기 방법은, 카메라를 이용하여 획득된 상기 사용자의 얼굴 영상에 기초하여 상기 사용자의 얼굴의 좌측 또는 우측 방향 움직임을 검출하는 단계; 사용자의 얼굴의 좌측 또는 우측 방향 움직임이 검출되면, 사용자의 옆모습 얼굴 영상을 획득하는 단계; 및 상기 사용자의 옆모습 얼굴 영상을 상기 디스플레이 표시하는 단계를 포함할 수 있다.
또한, 상기 방법은, 사용자의 메이크업 제품에 관한 사용자 입력이 수신됨에 따라 상기 메이크업 제품에 관한 정보를 등록하는 단계; 상기 등록된 사용자의 메이크업 제품에 관한 정보에 기초하여 메이크업 가이드 정보를 사용자의 얼굴 영상에 기초하여 상기 디바이스에 표시하는 단계를 포함할 수 있다.
또한, 상기 방법은 피부 상태 관리 정보 요청을 나타내는 사용자 입력이 수신됨에 따라 특정 기간 동안에 상기 사용자의 피부 상태 분석 정보를 상기 사용자의 얼굴 영상에 기초하여 상기 디바이스에 표시하는 단계를 포함할 수 있다.
또한, 상기 방법은, 상기 디바이스에 표시될 복수의 사용자의 얼굴 영상간에 얼굴의 특징점 정합 처리 및/또는 픽셀 단위 정합 처리를 수행하는 단계를 포함할 수 있다.
또한, 상기 방법은, 상기 사용자의 얼굴 영상에 상기 메이크업 가이드 정보가 표시될 때, 실시간으로 획득되는 사용자의 얼굴 영상들에서 움직임 정보를 검출하는 단계; 및 상기 검출된 움직임 정보에 따라 상기 표시되고 있는 상기 메이크업 가이드 정보를 변경하는 단계를 포함할 수 있다.
또한, 상기 방법은, 잡티 검출 레벨 또는 뷰티 페이스 레벨을 나타내는 사용자 입력을 수신하는 단계; 상기 사용자 입력이 상기 잡티 검출 레벨을 나타내면, 상기 잡티 검출 레벨에 따라 상기 사용자의 얼굴 영상에서 검출된 잡티를 강조하여 표시하는 단계; 및 상기 사용자 입력이 상기 뷰티 페이스 레벨을 나타내면, 상기 뷰티 페이스 레벨에 따라 상기 사용자의 얼굴 영상에서 상기 검출된 잡티를 흐릿하게 표시하는 단계를 포함할 수 있다.
또한, 상기 방법은, 상기 사용자의 얼굴 영상에 대한 복수의 블러 영상을 획득하는 단계; 상기 복수의 블러 영상간의 차 값을 구하는 단계; 상기 차 값과 임계 값을 비교하여 상기 사용자의 얼굴 영상에서 상기 잡티를 검출하는 단계를 더 포함할 수 있다.
임계 값은 상기 잡티 검출 레벨 또는 상기 뷰티 페이스 레벨에 대응되는 픽셀 단위의 임계 값일 수 있다. 임계 값은 가변 될 수 있다.
또한, 상기 방법은, 상기 사용자의 얼굴 영상 중 일부 영역에 대한 피부 분석 요청을 나타내는 사용자 입력을 수신하는 단계; 상기 사용자 입력에 응답하여 상기 일부 영역에 대한 피부 상태를 분석하는 단계; 및 분석된 결과를 상기 사용자의 얼굴 영상에 표시하는 단계를 더 포함할 수 있다.
또한, 상기 방법은, 상기 피부 분석 요청을 나타내는 사용자 입력에 응답하여 상기 일부 영역에 피부 분석 창을 디스플레이하는 단계; 상기 피부 상태를 분석하는 단계는, 상기 피부 분석 창에 포함되는 상기 일부 영역에 대한 피부 상태를 분석하는 단계를 포함하고, 상기 분석된 결과를 표시하는 단계는, 상기 분석된 결과를 상기 피부 분석 창에 표시하는 단계를 포함할 수 있다.
또한, 상기 방법은, 상기 피부 분석 창의 사이즈를 확대, 상기 피부 분석 창의 사이즈를 축소, 또는 상기 피부 분석 창의 디스플레이 위치를 다른 위치로 이동을 나타내는 사용자 입력을 수신하는 단계; 및 상기 피부 분석 창에 대한 상기 사용자 입력에 응답하여 상기 디스플레이되고 있는 상기 피부 분석 창의 사이즈를 확대, 상기 피부 분석 창의 사이즈를 축소, 또는 상기 피부 분석 창의 디스플레이 위치를 다른 위치로 이동시키는 단계를 더 포함할 수 있다.
또한, 상기 피부 분석 요청을 나타내는 사용자 입력은 상기 사용자의 얼굴 영상에 기초하여 상기 일부 영역을 지정하는 터치 기반 입력을 포함할 수 있다.
본 개시의 제 3 측면은, 제 2 측면의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
도 1(a) 및 도 1(b)는 일부 실시 예에 따른 디바이스가 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시하는 메이크업 거울의 일례를 도시하는 도면이다.
도 2는 일부 실시 예에 따른 얼굴형에 기초한 눈썹 메이크업 가이드 정보 테이블의 일례를 도시하는 도면이다.
도 3은 일부 실시 예에 따른 디바이스가 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 4는 일부 실시 예에 따른 디바이스가 메이크업 순서 정보를 포함하는 메이크업 가이드 정보를 표시하는 메이크업 거울의 일례를 도시하는 도면이다.
도 5(a), 도 5(b), 및 도 5(c)는 일부 실시 예에 따른 디바이스가 상세한 눈썹 메이크업 가이드 정보를 이미지 형태로 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 6(a), 도 6(b), 및 도 6(c)는 일부 실시 예에 따른 디바이스가 사용자의 왼쪽 눈썹 메이크업이 완료된 후, 사용자의 얼굴 영상에 기초한 메이크업 가이드 정보를 표시하는 메이크업 거울의 일례들을 도시하는 도면이다.
도 7(a) 및 도 7(b)는 일부 실시 예에 따른 디바이스가 상세한 눈썹 메이크업 가이드 정보를 편집하는 메이크업 거울의 일례를 도시하는 도면이다.
도 8은 일부 실시 예에 따른 디바이스가 제공하는 상세한 눈썹 메이크업 가이드 정보를 텍스트 형태로 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 9(a) 내지 도 9(e)는 일부 실시 예에 따른 디바이스가 메이크업 진행 상태에 따라 메이크업 가이드 정보를 변경하는 메이크업 거울의 일례를 도시하는 도면이다.
도 10(a) 및 도 10(b)는 일부 실시 예에 따른 디바이스가 메이크업 순서를 변경하는 메이크업 거울의 일례를 도시하는 도면이다.
도 10(c)는 일부 실시 예에 따른 디바이스가 다른 디바이스로부터 수신된 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시하는 메이크업 거울의 일례를 도시하는 도면이다.
도 11은 일부 실시 예에 따른 디바이스가 사용자의 얼굴 영상에 기초한 복수의 가상 메이크업 영상을 추천하여 메이크업 가이드 정보를 제공하는 메이크업 거울 제공 방법의 흐름도이다.
도 12(a) 및 도 12(b)는 일부 실시 예에 따른 디바이스가 색조 기반의 복수의 가상 메이크업 영상을 추천하는 메이크업 거울의 일례를 도시하는 도면이다.
도 13(a) 및 도 13(b)는 일부 실시 예에 따른 디바이스가 색조 기반의 가상 메이크업 영상을 메뉴 정보에 기초하여 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 14(a) 및 도 14(b)는 일부 실시 예에 따른 디바이스가 4개의 색조 기반의 가상 메이크업 영상을 화면 분할 방식으로 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 15(a) 및 도 15(b)는 일부 실시 예에 따른 디바이스가 테마 기반의 가상 메이크업 영상의 타입에 관한 정보를 제공하는 메이크업 거울의 일 예를 도시하는 도면이다.
도 16(a) 및 도 16(b)는 일부 실시 예에 따른 디바이스가 복수의 테마 기반 가상 메이크업 영상의 타입을 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 17(a) 및 도 17(b)는 일부 실시 예에 따라 디바이스가 테마 기반 가상 메이크업 영상 타입에 관한 정보를 텍스트 형태로 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 18는 일부 실시 예에 따라 디바이스가 복수의 테마 기반의 가상 메이크업 영상 타입에 관한 정보를 제공하는 메이크업 거울의 일례를 설명하기 위한 도면이다.
도 19(a) 및 도 19(b)는 일부 실시 예에 따라 디바이스가 선택된 테마 기반의 가상 메이크업 영상에 관한 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 20은 일부 실시 예에 따른 디바이스가 사용자의 얼굴 특성과 환경 정보에 기초하여 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 21(a), 도 21(b), 및 도 21(c)는 일부 실시 예에 따른 디바이스가 색조 기반의 메이크업 영상에 기초한 메이크업 가이드 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 22(a), 도 22(b), 및 도 22(c)는 일부 실시 예에 따른 디바이스가 테마 기반의 가상 메이크업 영상에 기초한 메이크업 가이드 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 23은 일부 실시 예에 따른 디바이스가 사용자의 얼굴 특성과 사용자 정보에 기초하여 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 24(a), 도 24(b), 및 도 24(c)는 일부 실시 예에 따라 디바이스가 테마 기반 가상 메이크업 영상을 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 25는 일부 실시 예에 따라 디바이스가 사용자의 얼굴 특성, 환경 정보 및 사용자 정보에 기초하여 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 26은 일부 실시 예에 따른 디바이스가 테마 기반 메이크업 가이드 정보를 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 27(a) 및 도 27(b)는 일부 실시 예에 따른 디바이스가 선택된 테마 정보에 기초하여 메이크업 가이드 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 28(a) 및 도 28(b)는 일부 실시 예에 따른 디바이스가 테마 트레이에 기초한 테마 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 29는 일부 실시 예에 따른 디바이스가 테마 기반 가상 메이크업 영상에 기초한 메이크업 가이드 정보를 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 30은 일부 실시 예에 따른 디바이스가 사용자의 얼굴 영상의 좌우 대칭 메이크업 가이드 정보를 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 31(a), 도 31(b), 및 도 31(c)는 일부 실시 예에 따라 디바이스가 좌우 대칭 기준선에 기초하여 좌우 대칭 메이크업 가이드 정보를 표시하는 메이크업 거울의 일례를 도시하는 도면이다.
도 32은 일부 실시 예에 따른 디바이스가 사용자의 얼굴 영상에서 관심 영역을 검출하고 확대하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 33(a) 및 도 33(b)는 일부 실시 예에 따라 디바이스가 사용자의 얼굴 영상에서 관심 영역을 확대하는 메이크업 거울의 일례를 도시하는 도면이다.
도 34는 일부 실시 예에 따른 디바이스가 사용자의 얼굴 영상에서 커버가 필요한 영역에 대한 메이크업 가이드 정보를 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 35(a) 및 도 35(b)는 일부 실시 예에 따라 디바이스가 사용자의 얼굴 영상에서 커버가 필요한 영역에 대한 메이크업 가이드 정보를 표시하는 메이크업 거울의 일례를 도시한 도면이다.
도 36(a) 및 도 36(b)는 일부 실시 예에 따라 디바이스가 사용자의 얼굴 영상에서 커버가 필요한 영역에 대한 상세한 메이크업 가이드 정보에 기초한 메이크업 결과를 표시하는 메이크업 거울의 일례를 도시한 도면이다.
도 37은 일부 실시 예에 따른 디바이스가 저 조도 환경을 보정하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 38(a) 및 도 38(b)는 일부 실시 예에 따라 디바이스가 디스플레이의 가장 자리 영역을 화이트 레벨로 표시하는 메이크업 거울의 일례를 도시하는 도면이다.
도 39(a) 내지 도 39(h)는 일부 실시 예에 따라 디바이스가 디스플레이의 가장 자리의 화이트 레벨 표시 영역을 조정하는 메이크업 거울의 일례를 도시하는 도면이다.
도 40은 일부 실시 예에 따른 디바이스가 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상간의 비교 영상을 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 41(a) 내지 도 41(e)는 일부 실시 예에 따라 디바이스가 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상간의 비교 영상을 표시하는 메이크업 거울의 일례를 도시하는 도면이다.
도 42는 일부 실시 예에 따른 디바이스가 현재 사용자의 얼굴 영상과 가상 메이크업 영상간의 비교 영상을 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 43은 일부 실시 예에 따라 디바이스가 현재 사용자의 얼굴 영상과 가상 메이크업 영상간의 비교 영상을 표시하는 메이크업 거울의 일례를 도시하는 도면이다.
도 44는 일부 실시 예에 따른 디바이스가 피부 분석 결과를 제공하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 45(a) 및 도 45(b)는 일부 실시 예에 따라 디바이스가 피부 비교 분석 결과 정보를 표시하는 일례를 도시하는 도면이다.
도 46은 일부 실시 예에 따른 디바이스가 사용자가 자각하지 못하는 동안에 사용자의 메이크업 상태를 관리하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 47(a) 내지 도 47(d)는 일부 실시 예에 따라 디바이스가 사용자가 자각하지 못하는 동안에 사용자의 메이크업 상태를 점검하여 메이크업 가이드 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 48(a)는 일부 실시 예에 따른 디바이스가 사용자의 메이크업 히스토리 정보를 제공하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 48(b)는 일부 실시 예에 따른 디바이스가 사용자의 다른 메이크업 히스토리 정보를 제공하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 48(c) 내지 도 48(e)는 일부 실시 예에 따른 디바이스가 사용자의 메이크업 히스토리 정보를 제공하는 메이크업 거울의 예이다.
도 49는 일부 실시 예에 따른 디바이스가 사용자의 메이크업 영역에 기초하여 메이크업 가이드 정보 및 제품에 관한 정보를 제공하는 메이크업 거울 제공 방법의 흐름도이다.
도 50은 일부 실시 예에 따라 디바이스가 메이크업 영역에 대한 메이크업 가이드 정보와 메이크업 제품에 관한 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 51은 일부 실시 예에 따른 디바이스가 메이크업 도구 결정에 따른 메이크업 가이드 정보를 제공하는 메이크업 거울 제공 방법의 흐름도이다.
도 52(a) 및 도 52(b)는 일부 실시 예에 따라 디바이스가 메이크업 도구를 결정함에 따른 메이크업 가이드 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 53은 일부 실시 예에 따른 디바이스가 사용자가 볼 수 없는 사용자의 옆 얼굴 영상을 제공하는 메이크업 거울 제공 방법의 흐름도이다.
도 54(a) 및 도 54(b)는 일부 실시 예에 따라 디바이스가 사용자가 볼 수 없는 옆 모습 얼굴 영상을 제공하는 메이크업 거울의 일례를 도시한 도면이다.
도 55는 일부 실시 예에 따른 디바이스가 사용자의 뒷 모습 영상을 제공하는 메이크업 거울 제공 방법의 흐름도이다.
도 56(a) 및 도 56(b)는 일부 실시 예에 따라 디바이스가 사용자의 뒷 모습 영상을 제공하는 메이크업 거울의 일례를 도시한 도면이다.
도 57은 일부 실시 예에 따른 디바이스가 사용자가 등록한 메이크업 제품에 기초한 메이크업 가이드 정보를 제공하는 메이크업 거울 제공 방법의 흐름도이다.
도 58(a), 도 58(b), 및 도 58(c)는 일부 실시 예에 따라 디바이스가 사용자의 메이크업 제품에 관한 정보 등록 과정을 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 59는 일부 실시 예에 따른 디바이스가 사용자의 피부 상태 관리 정보를 제공하는 메이크업 거울 제공 방법의 흐름도이다.
도 60(a) 내지 도 60(e)는 일부 실시 예에 따라 디바이스가 사용자의 피부 상태 관리 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 61은 일부 실시 예에 따른 디바이스가 획득되는 사용자의 얼굴 영상의 움직임에 따라 메이크업 가이드 정보를 변경하는 메이크업 거울 제공 방법의 흐름도이다.
도 62는 일부 실시 예에 따른 디바이스가 사용자의 얼굴 영상에서 검출된 움직임 정보에 따라 메이크업 가이드 정보를 변경하는 메이크업 거울의 일례를 도시하는 도면이다.
도 63은 일부 실시 예에 따른 디바이스가 사용자 입력에 따라 사용자의 얼굴 영상에서 잡티를 표시하는 메이크업 거울 제공 방법의 흐름도이다.
도 64는 일부 실시 예에 따른 디바이스에 설정된 잡티 검출 레벨 및 뷰티 페이스 레벨과 그에 대응되는 메이크업 거울의 일례를 도시하는 도면이다.
도 65(a) 내지 도 65(d)는 일부 실시 예에 따른 디바이스가 잡티 검출 레벨 또는/및 뷰티 페이스 레벨을 표현한 예이다.
도 66은 일부 실시 예에 따른 디바이스가 잡티를 검출하는 방법의 동작 흐름도이다.
도 67은 일부 실시 예에 따른 디바이스가 사용자의 얼굴 영상과 블러 영상간의 차에 기초하여 잡티를 검출하는 관계를 나타내는 도면이다.
도 68은 일부 실시 예에 따른 디바이스가 사용자의 얼굴 영상에서 일부 영역에 대한 피부 분석 결과를 제공하는 동작 흐름도이다.
도 69(a) 내지 도 69(d)는 일부 실시 예에 따른 디바이스가 돋보기 창을 표시하는 메이크업 거울의 예를 도시하는 예이다.
도 70은 일부 실시 예에 따른 디바이스가 피부를 분석하기 위한 일부 영역을 표시하는 메이크업 거울의 예를 도시하는 예이다.
도 71은 본 개시의 실시 예들에서 언급되는 메이크업 거울 애플리케이션의 소프트웨어 구성의 일례를 도시한 도면이다.
도 72는 일부 실시 예에 따른 디바이스를 포함하는 시스템의 구성도이다.
도 73 및 도 74는 본 발명의 일 실시 예에 따른 디바이스의 블록도이다.
도 2는 일부 실시 예에 따른 얼굴형에 기초한 눈썹 메이크업 가이드 정보 테이블의 일례를 도시하는 도면이다.
도 3은 일부 실시 예에 따른 디바이스가 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 4는 일부 실시 예에 따른 디바이스가 메이크업 순서 정보를 포함하는 메이크업 가이드 정보를 표시하는 메이크업 거울의 일례를 도시하는 도면이다.
도 5(a), 도 5(b), 및 도 5(c)는 일부 실시 예에 따른 디바이스가 상세한 눈썹 메이크업 가이드 정보를 이미지 형태로 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 6(a), 도 6(b), 및 도 6(c)는 일부 실시 예에 따른 디바이스가 사용자의 왼쪽 눈썹 메이크업이 완료된 후, 사용자의 얼굴 영상에 기초한 메이크업 가이드 정보를 표시하는 메이크업 거울의 일례들을 도시하는 도면이다.
도 7(a) 및 도 7(b)는 일부 실시 예에 따른 디바이스가 상세한 눈썹 메이크업 가이드 정보를 편집하는 메이크업 거울의 일례를 도시하는 도면이다.
도 8은 일부 실시 예에 따른 디바이스가 제공하는 상세한 눈썹 메이크업 가이드 정보를 텍스트 형태로 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 9(a) 내지 도 9(e)는 일부 실시 예에 따른 디바이스가 메이크업 진행 상태에 따라 메이크업 가이드 정보를 변경하는 메이크업 거울의 일례를 도시하는 도면이다.
도 10(a) 및 도 10(b)는 일부 실시 예에 따른 디바이스가 메이크업 순서를 변경하는 메이크업 거울의 일례를 도시하는 도면이다.
도 10(c)는 일부 실시 예에 따른 디바이스가 다른 디바이스로부터 수신된 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시하는 메이크업 거울의 일례를 도시하는 도면이다.
도 11은 일부 실시 예에 따른 디바이스가 사용자의 얼굴 영상에 기초한 복수의 가상 메이크업 영상을 추천하여 메이크업 가이드 정보를 제공하는 메이크업 거울 제공 방법의 흐름도이다.
도 12(a) 및 도 12(b)는 일부 실시 예에 따른 디바이스가 색조 기반의 복수의 가상 메이크업 영상을 추천하는 메이크업 거울의 일례를 도시하는 도면이다.
도 13(a) 및 도 13(b)는 일부 실시 예에 따른 디바이스가 색조 기반의 가상 메이크업 영상을 메뉴 정보에 기초하여 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 14(a) 및 도 14(b)는 일부 실시 예에 따른 디바이스가 4개의 색조 기반의 가상 메이크업 영상을 화면 분할 방식으로 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 15(a) 및 도 15(b)는 일부 실시 예에 따른 디바이스가 테마 기반의 가상 메이크업 영상의 타입에 관한 정보를 제공하는 메이크업 거울의 일 예를 도시하는 도면이다.
도 16(a) 및 도 16(b)는 일부 실시 예에 따른 디바이스가 복수의 테마 기반 가상 메이크업 영상의 타입을 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 17(a) 및 도 17(b)는 일부 실시 예에 따라 디바이스가 테마 기반 가상 메이크업 영상 타입에 관한 정보를 텍스트 형태로 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 18는 일부 실시 예에 따라 디바이스가 복수의 테마 기반의 가상 메이크업 영상 타입에 관한 정보를 제공하는 메이크업 거울의 일례를 설명하기 위한 도면이다.
도 19(a) 및 도 19(b)는 일부 실시 예에 따라 디바이스가 선택된 테마 기반의 가상 메이크업 영상에 관한 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 20은 일부 실시 예에 따른 디바이스가 사용자의 얼굴 특성과 환경 정보에 기초하여 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 21(a), 도 21(b), 및 도 21(c)는 일부 실시 예에 따른 디바이스가 색조 기반의 메이크업 영상에 기초한 메이크업 가이드 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 22(a), 도 22(b), 및 도 22(c)는 일부 실시 예에 따른 디바이스가 테마 기반의 가상 메이크업 영상에 기초한 메이크업 가이드 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 23은 일부 실시 예에 따른 디바이스가 사용자의 얼굴 특성과 사용자 정보에 기초하여 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 24(a), 도 24(b), 및 도 24(c)는 일부 실시 예에 따라 디바이스가 테마 기반 가상 메이크업 영상을 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 25는 일부 실시 예에 따라 디바이스가 사용자의 얼굴 특성, 환경 정보 및 사용자 정보에 기초하여 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 26은 일부 실시 예에 따른 디바이스가 테마 기반 메이크업 가이드 정보를 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 27(a) 및 도 27(b)는 일부 실시 예에 따른 디바이스가 선택된 테마 정보에 기초하여 메이크업 가이드 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 28(a) 및 도 28(b)는 일부 실시 예에 따른 디바이스가 테마 트레이에 기초한 테마 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 29는 일부 실시 예에 따른 디바이스가 테마 기반 가상 메이크업 영상에 기초한 메이크업 가이드 정보를 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 30은 일부 실시 예에 따른 디바이스가 사용자의 얼굴 영상의 좌우 대칭 메이크업 가이드 정보를 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 31(a), 도 31(b), 및 도 31(c)는 일부 실시 예에 따라 디바이스가 좌우 대칭 기준선에 기초하여 좌우 대칭 메이크업 가이드 정보를 표시하는 메이크업 거울의 일례를 도시하는 도면이다.
도 32은 일부 실시 예에 따른 디바이스가 사용자의 얼굴 영상에서 관심 영역을 검출하고 확대하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 33(a) 및 도 33(b)는 일부 실시 예에 따라 디바이스가 사용자의 얼굴 영상에서 관심 영역을 확대하는 메이크업 거울의 일례를 도시하는 도면이다.
도 34는 일부 실시 예에 따른 디바이스가 사용자의 얼굴 영상에서 커버가 필요한 영역에 대한 메이크업 가이드 정보를 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 35(a) 및 도 35(b)는 일부 실시 예에 따라 디바이스가 사용자의 얼굴 영상에서 커버가 필요한 영역에 대한 메이크업 가이드 정보를 표시하는 메이크업 거울의 일례를 도시한 도면이다.
도 36(a) 및 도 36(b)는 일부 실시 예에 따라 디바이스가 사용자의 얼굴 영상에서 커버가 필요한 영역에 대한 상세한 메이크업 가이드 정보에 기초한 메이크업 결과를 표시하는 메이크업 거울의 일례를 도시한 도면이다.
도 37은 일부 실시 예에 따른 디바이스가 저 조도 환경을 보정하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 38(a) 및 도 38(b)는 일부 실시 예에 따라 디바이스가 디스플레이의 가장 자리 영역을 화이트 레벨로 표시하는 메이크업 거울의 일례를 도시하는 도면이다.
도 39(a) 내지 도 39(h)는 일부 실시 예에 따라 디바이스가 디스플레이의 가장 자리의 화이트 레벨 표시 영역을 조정하는 메이크업 거울의 일례를 도시하는 도면이다.
도 40은 일부 실시 예에 따른 디바이스가 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상간의 비교 영상을 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 41(a) 내지 도 41(e)는 일부 실시 예에 따라 디바이스가 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상간의 비교 영상을 표시하는 메이크업 거울의 일례를 도시하는 도면이다.
도 42는 일부 실시 예에 따른 디바이스가 현재 사용자의 얼굴 영상과 가상 메이크업 영상간의 비교 영상을 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 43은 일부 실시 예에 따라 디바이스가 현재 사용자의 얼굴 영상과 가상 메이크업 영상간의 비교 영상을 표시하는 메이크업 거울의 일례를 도시하는 도면이다.
도 44는 일부 실시 예에 따른 디바이스가 피부 분석 결과를 제공하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 45(a) 및 도 45(b)는 일부 실시 예에 따라 디바이스가 피부 비교 분석 결과 정보를 표시하는 일례를 도시하는 도면이다.
도 46은 일부 실시 예에 따른 디바이스가 사용자가 자각하지 못하는 동안에 사용자의 메이크업 상태를 관리하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 47(a) 내지 도 47(d)는 일부 실시 예에 따라 디바이스가 사용자가 자각하지 못하는 동안에 사용자의 메이크업 상태를 점검하여 메이크업 가이드 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 48(a)는 일부 실시 예에 따른 디바이스가 사용자의 메이크업 히스토리 정보를 제공하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 48(b)는 일부 실시 예에 따른 디바이스가 사용자의 다른 메이크업 히스토리 정보를 제공하는 메이크업 거울 제공 방법에 대한 흐름도이다.
도 48(c) 내지 도 48(e)는 일부 실시 예에 따른 디바이스가 사용자의 메이크업 히스토리 정보를 제공하는 메이크업 거울의 예이다.
도 49는 일부 실시 예에 따른 디바이스가 사용자의 메이크업 영역에 기초하여 메이크업 가이드 정보 및 제품에 관한 정보를 제공하는 메이크업 거울 제공 방법의 흐름도이다.
도 50은 일부 실시 예에 따라 디바이스가 메이크업 영역에 대한 메이크업 가이드 정보와 메이크업 제품에 관한 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 51은 일부 실시 예에 따른 디바이스가 메이크업 도구 결정에 따른 메이크업 가이드 정보를 제공하는 메이크업 거울 제공 방법의 흐름도이다.
도 52(a) 및 도 52(b)는 일부 실시 예에 따라 디바이스가 메이크업 도구를 결정함에 따른 메이크업 가이드 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 53은 일부 실시 예에 따른 디바이스가 사용자가 볼 수 없는 사용자의 옆 얼굴 영상을 제공하는 메이크업 거울 제공 방법의 흐름도이다.
도 54(a) 및 도 54(b)는 일부 실시 예에 따라 디바이스가 사용자가 볼 수 없는 옆 모습 얼굴 영상을 제공하는 메이크업 거울의 일례를 도시한 도면이다.
도 55는 일부 실시 예에 따른 디바이스가 사용자의 뒷 모습 영상을 제공하는 메이크업 거울 제공 방법의 흐름도이다.
도 56(a) 및 도 56(b)는 일부 실시 예에 따라 디바이스가 사용자의 뒷 모습 영상을 제공하는 메이크업 거울의 일례를 도시한 도면이다.
도 57은 일부 실시 예에 따른 디바이스가 사용자가 등록한 메이크업 제품에 기초한 메이크업 가이드 정보를 제공하는 메이크업 거울 제공 방법의 흐름도이다.
도 58(a), 도 58(b), 및 도 58(c)는 일부 실시 예에 따라 디바이스가 사용자의 메이크업 제품에 관한 정보 등록 과정을 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 59는 일부 실시 예에 따른 디바이스가 사용자의 피부 상태 관리 정보를 제공하는 메이크업 거울 제공 방법의 흐름도이다.
도 60(a) 내지 도 60(e)는 일부 실시 예에 따라 디바이스가 사용자의 피부 상태 관리 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 61은 일부 실시 예에 따른 디바이스가 획득되는 사용자의 얼굴 영상의 움직임에 따라 메이크업 가이드 정보를 변경하는 메이크업 거울 제공 방법의 흐름도이다.
도 62는 일부 실시 예에 따른 디바이스가 사용자의 얼굴 영상에서 검출된 움직임 정보에 따라 메이크업 가이드 정보를 변경하는 메이크업 거울의 일례를 도시하는 도면이다.
도 63은 일부 실시 예에 따른 디바이스가 사용자 입력에 따라 사용자의 얼굴 영상에서 잡티를 표시하는 메이크업 거울 제공 방법의 흐름도이다.
도 64는 일부 실시 예에 따른 디바이스에 설정된 잡티 검출 레벨 및 뷰티 페이스 레벨과 그에 대응되는 메이크업 거울의 일례를 도시하는 도면이다.
도 65(a) 내지 도 65(d)는 일부 실시 예에 따른 디바이스가 잡티 검출 레벨 또는/및 뷰티 페이스 레벨을 표현한 예이다.
도 66은 일부 실시 예에 따른 디바이스가 잡티를 검출하는 방법의 동작 흐름도이다.
도 67은 일부 실시 예에 따른 디바이스가 사용자의 얼굴 영상과 블러 영상간의 차에 기초하여 잡티를 검출하는 관계를 나타내는 도면이다.
도 68은 일부 실시 예에 따른 디바이스가 사용자의 얼굴 영상에서 일부 영역에 대한 피부 분석 결과를 제공하는 동작 흐름도이다.
도 69(a) 내지 도 69(d)는 일부 실시 예에 따른 디바이스가 돋보기 창을 표시하는 메이크업 거울의 예를 도시하는 예이다.
도 70은 일부 실시 예에 따른 디바이스가 피부를 분석하기 위한 일부 영역을 표시하는 메이크업 거울의 예를 도시하는 예이다.
도 71은 본 개시의 실시 예들에서 언급되는 메이크업 거울 애플리케이션의 소프트웨어 구성의 일례를 도시한 도면이다.
도 72는 일부 실시 예에 따른 디바이스를 포함하는 시스템의 구성도이다.
도 73 및 도 74는 본 발명의 일 실시 예에 따른 디바이스의 블록도이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시 예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에서 메이크업 거울은 사용자의 얼굴 영상에 기초한 다양한 메이크업 가이드 정보를 제공할 수 있는 사용자 인터페이스를 말한다. 본 개시에서 메이크업 거울은 사용자의 얼굴 영상에 기초한 메이크업 히스토리 정보를 제공할 수 있는 사용자 인터페이스를 말한다. 본 개시에서 메이크업 거울은 사용자의 얼굴 영상에 기초한 사용자의 피부 상태(예를 들어, 피부 상태 변화)에 관한 정보를 제공할 수 있는 사용자 인터페이스를 말한다. 상술한 다양한 정보를 제공함에 따라 본 개시의 메이크업 거울은 스마트 메이크업 거울이라고 말할 수 있다.
본 개시에서 메이크업 거울은 실시간으로 사용자의 얼굴 영상을 디스플레이 할 수 있다. 본 개시에서 메이크업 거울은 디바이스에 포함된 디스플레이의 전 화면 또는 일부 화면을 이용하여 제공될 수 있다.
본 개시에서 메이크업 가이드 정보는 메이크업 전, 메이크업 중, 또는 메이크업 후에 사용자의 얼굴 영상에 표시될 수 있다. 본 개시에서 메이크업 가이드 정보는 사용자의 얼굴 영상에 인접한 위치에 표시될 수 있다. 본 개시에서 메이크업 가이드 정보는 사용자의 메이크업 진행 상태에 따라 변경될 수 있다. 사용자가 사용자의 얼굴 영상에 표시되는 메이크업 가이드 정보를 보면서 메이크업을 할 수 있도록 본 개시에서 메이크업 가이드 정보는 제공될 수 있다.
본 개시에서 메이크업 가이드 정보는 메이크업 영역을 나타내는 정보를 포함할 수 있다. 본 개시에서 메이크업 가이드 정보는 메이크업 순서를 나타내는 정보를 포함할 수 있다. 본 개시에서 메이크업 가이드 정보는 메이크업 도구(예를 들어, 스폰지, 펜슬, 눈썹용 브러쉬, 아이 쉐도우 브러쉬, 아이라이너 브러쉬, 립 브러쉬, 파우더 브러쉬, 퍼프, 칼, 가위, 또는 뷰러 등)에 관한 정보를 포함할 수 있다.
본 개시에서 메이크업 가이드 정보는 동일한 메이크업 영역에 대해 메이크업 도구에 따라 다른 정보를 포함할 수 있다. 예를 들어, 아이 쉐도우 브러쉬에 따른 눈에 대한 메이크업 가이드 정보와 팁 브러쉬에 따른 눈에 대한 메이크업 가이드 정보는 다를 수 있다.
본 개시에서 메이크업 가이드 정보는 실시간으로 획득되는 사용자의 얼굴 영상이 변경됨에 따라 디스플레이 형태가 변경될 수 있다.
본 개시에서 메이크업 가이드 정보는 이미지, 텍스트, 및 오디오 중 적어도 하나의 형태로 제공될 수 있다. 본 개시에서 메이크업 가이드 정보는 메뉴 형태로 표시될 수 있다. 본 개시에서 메이크업 가이드 정보는 메이크업 방향(예를 들어, 볼 터치 방향, 아이 쉐도우 브러쉬 터치 방향)을 나타내는 정보를 포함할 수 있다.
본 개시에서 사용자의 피부 분석 정보는 사용자의 피부 상태 변화에 관한 정보를 포함할 수 있다. 본 개시에서 사용자의 피부 상태 변화에 관한 정보는 사용자의 피부 히스토리 정보라고 말할 수 있다. 본 개시에서 사용자의 피부 분석 정보는 잡티에 관한 정보를 포함할 수 있다. 본 개시에서 사용자의 피부 분석 정보는 사용자의 얼굴 영상에서 일부 영역에 대한 피부 상태를 분석한 정보를 포함할 수 있다.
본 개시에서 메이크업에 관련된 정보는 상술한 메이크업 가이드 정보, 또는/및 상술한 메이크업 히스토리 정보를 포함할 수 있다. 본 개시에서 피부에 관련된 정보는 상술한 피부 분석 정보, 또는/및 상술한 피부 상태 변화에 관한 정보를 포함할 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세하게 설명하기로 한다.
도 1(a) 및 도 1(b)는 일부 실시 예에 따른 디바이스(100)가 사용자의 얼굴 영상을 디스플레이 하고, 디스플레이 되고 있는 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시하는 메이크업 거울의 일례를 도시하는 도면이다.
도 1(a)를 참조하면, 디바이스(100)는 사용자의 얼굴 영상을 디스플레이 할 수 있다. 상술한 사용자의 얼굴 영상은 디바이스(100)에 포함된 카메라를 이용하여 실시간으로 획득될 수 있으나 이로 제한되지 않는다. 예를 들어, 사용자의 얼굴 영상은 디바이스(100)에 연결된 디지털 카메라, 웨어러블 디바이스(예를 들어, 스마트 시계), 스마트 거울, 또는 IoT(Internet of Things) 네트워크 기반 디바이스(이하, IoT 디바이스라고 약함) 등을 이용하여 획득될 수 있다. 웨어러블 디바이스, 스마트 거울, 및 IoT 디바이스는 카메라 기능과 통신 기능을 포함할 수 있다.
또한, 도 1(a)를 참조하면, 디바이스(100)는 메이크업 가이드 버튼(101)을 사용자의 얼굴 영상과 함께 제공할 수 있다. 메이크업 가이드 버튼(101)에 대한 선택을 나타내는 사용자 입력이 수신되면, 도 1(b)에 도시된 바와 같이, 디바이스(100)는 디스플레이되고 있는 사용자의 얼굴 영상에 메이크업 가이드 정보(102 ~ 108)를 표시할 수 있다. 이에 따라 사용자는 사용자의 얼굴 영상에 기초한 메이크업 가이드 정보를 볼 수 있다. 상술한 메이크업 가이드 버튼(101)은 메이크업 가이드 정보(102 ~ 108)를 요청하는 사용자 입력을 수신할 수 있는 사용자 인터페이스라고 말할 수 있다.
디바이스(100)는 사용자의 음성 신호에 기초하여 메이크업 가이드 정보(102 ~ 108)를 사용자의 얼굴 영상에 표시할 수 있다. 디바이스(100)는 음성 인식 기능을 이용하여 사용자의 음성 신호를 수신할 수 있다.
또한, 디바이스(100)는 도 1(a)에서 객체 영역(사용자의 얼굴 영상이 디스플레이되고 있는 영역) 또는 배경 영역(사용자의 얼굴 영상 이외의 영역)에 대한 터치 기반 사용자 입력에 기초하여 메이크업 가이드 정보(102 ~ 108)를 사용자의 얼굴 영상에 표시할 수 있다. 터치 기반 사용자 입력은, 예를 들어, 하나의 지점을 롱 터치한 후, 하나 이상의 방향(예를 들어, 일직선 방향, 꺽쇠 방향, 또는 지그재그 방향 등)으로 드래그하는 사용자 입력을 포함할 수 있으나 터치 기반 사용자 입력은 상술한 바로 제한되지 않는다.
상술한 사용자의 음성 신호 또는 터치 기반 사용자 입력에 기초하여 메이크업 가이드 정보(102 ~ 108)가 표시될 경우에, 도 1(a)에서, 디바이스(100)는 메이크업 가이드 버튼(101)을 디스플레이하지 않을 수 있다.
또한, 메이크업 가이드 버튼(101)이 디스플레이되고 상술한 사용자의 음성 신호 또는 상술한 터치 기반 사용자 입력에 대한 수신이 가능할 경우에, 상술한 사용자의 음성 신호 또는 터치 기반 사용자 입력이 수신되면, 디바이스(100)는 도 1(a)에서 디스플레이되고 있는 메이크업 가이드 버튼(101)을 하이라이트 할 수 있다. 이에 따라 사용자는 디바이스(100)가 메이크업 가이드 정보(102 ~ 108)에 대한 사용자의 요청을 수신하였음을 확인할 수 있다.
도 1(b)에서의 메이크업 가이드 정보(102 ~ 108)는 사용자의 얼굴 영상에 기초한 메이크업 영역을 나타낼 수 있다. 도 1(b)에서 메이크업 영역은 메이크업 제품 도포 영역을 말한다. 메이크업 제품 도포 영역은 메이크업 보정 영역을 포함할 수 있다.
도 1(b)에서의 메이크업 가이드 정보(102 ~ 108)는 사용자의 얼굴 영상에 관한 정보와 기준 메이크업 가이드 정보에 기초하여 제공될 수 있으나 이로 제한되지 않는다.
예를 들어, 도 1(b)에 도시된 메이크업 가이드 정보(102 ~ 108)는 사용자의 얼굴 영상에 관한 정보와 사전에 설정된 조건 정보(예를 들어, if 문에 기초한 조건 정보)에 기초하여 제공될 수 있다.
기준 메이크업 가이드 정보는 기준 얼굴 영상에 기초할 수 있다. 기준 얼굴 영상은 사용자의 얼굴 영상과 관계없는 얼굴 영상을 포함할 수 있다. 예를 들어, 기준 얼굴 영상은 계란형 얼굴 영상이 될 수 있으나 본 개시에서 기준 얼굴 영상은 이로 제한되지 않는다.
예를 들어, 기준 얼굴 영상은 역삼각형 얼굴 영상, 네모형 얼굴 영상, 또는 둥근형 얼굴 영상이 될 수 있다. 상술한 기준 얼굴 영상은 디바이스(100)에 디폴트로 설정될 수 있다. 디바이스(100)에 디폴트로 설정된 기준 얼굴 영상은 사용자에 의해 변경될 수 있다. 본 개시에서 기준 얼굴 영상은 그림 영상으로 표현될 수 있다.
도 1(b)에서와 같이, 눈썹, 눈, 볼, 및 입술에 관한 메이크업 가이드 정보(102 ~ 108)가 제공될 경우에, 기준 메이크업 가이드 정보는 적어도 기준 얼굴 영상에 포함된 눈썹, 눈, 볼, 및 입술에 관한 기준 메이크업 가이드 정보를 포함할 수 있으나 이로 제한되지 않는다.
예를 들어, 본 개시에서 기준 메이크업 가이드 정보는 기준 얼굴 영상에 포함된 코에 관한 메이크업 가이드 정보를 포함할 수 있다. 본 개시에서 기준 메이크업 가이드 정보는 기준 얼굴 영상에 포함된 턱에 관한 메이크업 가이드 정보를 포함할 수 있다. 본 개시에서 기준 메이크업 가이드 정보는 기준 얼굴 영상에 포함된 이마에 관한 메이크업 가이드 정보를 포함할 수 있다.
눈썹, 눈, 볼, 및 입술에 관한 기준 메이크업 가이드 정보는 눈썹, 눈, 볼, 및 입술에 관한 기준 메이크업 영역을 나타낼 수 있다. 기준 메이크업 영역은 기준 메이크업 제품 도포 영역을 말한다. 눈썹, 눈, 볼, 및 입술에 관한 기준 메이크업 가이드 정보는 2차원 좌표 정보 형태로 표현될 수 있다. 눈썹, 눈, 볼, 및 입술에 관한 기준 메이크업 가이드 정보는 기준 얼굴 영상의 눈썹, 눈, 볼, 및 입술에 관한 기준 메이크업 가이드 파라미터(parameter)라고 말할 수 있다.
눈썹, 눈, 볼, 및 입술에 관한 기준 메이크업 가이드 정보는 기준 얼굴 영상의 얼굴형에 대한 2차원 좌표 정보, 기준 얼굴 영상에 포함된 눈썹 형태의 2차원 좌표 정보, 기준 얼굴 영상에 포함된 눈의 형태에 대한 2차원 좌표 정보, 기준 얼굴 영상에 포함된 볼의 형태(또는 광대뼈의 형태)에 대한 2차원 좌표 정보, 또는/및 기준 얼굴 영상에 포함된 입술의 형태에 대한 2차원 좌표 정보에 기초하여 결정될 수 있다. 본 개시에서 상술한 눈썹, 눈, 볼 및 입술에 관한 기준 메이크업 가이드 정보에 대한 결정은 상술한 바로 제한되지 않는다.
본 개시에서 기준 메이크업 가이드 정보는 디바이스(100)에 연결된 외부 디바이스로부터 제공될 수 있다. 상술한 외부 디바이스는, 예를 들어, 메이크업 가이드 서비스를 제공하는 서버를 포함할 수 있다. 본 개시에서 외부 디바이스는 상술한 바로 제한되지 않는다.
디바이스(100)는 사용자의 얼굴 영상이 디스플레이되면, 얼굴 인식 알고리즘을 이용하여 디스플레이되고 있는 사용자의 얼굴 영상에 관한 정보를 검출할 수 있다.
도 1(b)에서와 같이, 눈썹, 눈, 볼, 및 입술에 관한 메이크업 가이드 정보(102 ~ 108)가 제공될 경우에, 디바이스(100)에 의해 검출되는 사용자의 얼굴 영상에 관한 정보는 사용자의 얼굴형에 대한 2차원 좌표 정보, 사용자의 얼굴 영상에 포함되는 눈썹의 형태에 대한 2차원 좌표 정보, 사용자의 눈의 형태에 대한 2차원 좌표 정보, 사용자의 얼굴 영상에 포함되는 볼의 형태(예를 들어, 광대뼈의 형태)에 대한 2차원 좌표 정보, 및 사용자의 얼굴 영상에 포함되는 입술의 형태에 대한 2차원 좌표 정보를 포함할 수 있으나 본 개시에서 사용자의 얼굴 영상에 관한 정보는 상술한 바로 제한되지 않는다.
예를 들어, 본 개시에서 사용자의 얼굴 영상에 관한 정보는 사용자의 얼굴 영상에 포함되는 코의 형태에 대한 2차원 좌표 정보를 포함할 수 있다. 상술한 사용자의 얼굴 영상에 관한 정보는 사용자의 얼굴 영상에 포함되는 턱의 형태에 대한 2차원 좌표 정보를 포함할 수 있다. 상술한 사용자의 얼굴 영상에 관한 정보는 사용자의 얼굴 영상에 포함되는 이마의 형태에 대한 2차원 좌표 정보를 포함할 수 있다. 본 개시에서 사용자의 얼굴 영상에 관한 정보는 사용자의 얼굴 영상에 관한 파라미터라고 말할 수 있다.
도 1(b)에 도시된 메이크업 가이드 정보(102 ~ 108)를 제공하기 위하여, 디바이스(100)는 검출된 사용자의 얼굴 영상에 관한 정보와 기준 메이크업 가이드 정보를 비교할 수 있다.
사용자의 얼굴 영상에 관한 정보와 기준 메이크업 가이드 정보간을 비교함에 따라, 디바이스(100)는 기준 얼굴 영상과 사용자의 얼굴 영상간의 차 값을 검출할 수 있다. 상술한 차 값은 얼굴 영상에 포함되어 있는 각 부위별로 검출될 수 있다. 예를 들어, 상술한 차 값은 턱 선에 대한 차 값을 포함할 수 있다. 상술한 차 값은 눈썹에 대한 차 값을 포함할 수 있다. 상술한 차 값은 눈에 대한 차 값을 포함할 수 있다. 상술한 차 값은 코에 대한 차 값을 포함할 수 있다. 상술한 차 값은 입술에 대한 차 값을 포함할 수 있다. 상술한 차 값은 볼에 대한 차 값을 포함할 수 있다. 본 개시에서 차 값은 상술한 바로 제한되지 않는다.
기준 얼굴 영상과 사용자의 얼굴 영상간의 차 값이 검출되면, 디바이스(100)는 검출된 차 값을 기준 메이크업 가이드 정보에 적용하여 메이크업 가이드 정보를 생성할 수 있다.
예를 들어, 디바이스(100)는 기준 메이크업 가이드 정보에 포함되어 있는 각 부위의 기준 메이크업 영역의 2차원 좌표 정보에 상술한 검출된 차 값을 적용하여 메이크업 가이드 정보를 생성할 수 있다. 이에 따라, 도 1(b)에서 제공되는 메이크업 가이드 정보(102 ~ 108)는 사용자의 얼굴 영상에 기초하여 조정 또는 변경된 기준 메이크업 가이드 정보라고 말할 수 있다.
도 1(b)에서와 같이, 디바이스(100)는 디스플레이되고 있는 사용자의 얼굴 영상에 생성된 메이크업 가이드 정보(102 ~ 108)를 표시할 수 있다. 디바이스(100)는 이미지 중첩 알고리즘을 이용하여 메이크업 가이드 정보(102 ~ 108)를 사용자의 얼굴 영상에 표시할 수 있다. 이에 따라, 메이크업 가이드 정보(102 ~ 108)는 사용자의 얼굴 영상에 중첩된다고 말할 수 있다.
본 개시에서 메이크업 가이드 정보는 도 1(b)에 도시된 바로 제한되지 않는다. 예를 들어, 본 개시에서 메이크업 가이드 정보는 이마에 대한 메이크업 가이드 정보를 포함할 수 있다. 본 개시에서 메이크업 가이드 정보는 콧등에 대한 메이크업 가이드 정보를 포함할 수 있다. 본 개시에서 메이크업 가이드 정보는 턱 선에 대한 메이크업 가이드 정보를 포함할 수 있다.
도 1(b)를 참조하면, 디바이스(100)는 디스플레이되고 있는 사용자의 얼굴 영상을 가리지 않도록 메이크업 가이드 정보(102 ~ 108)를 표시할 수 있다. 디바이스(100)는 도 1(b)에서와 같이 점선 형태로 메이크업 가이드 정보(102 ~ 108)를 표시할 수 있으나 본 개시에서 메이크업 가이드 정보의 표시 형태는 상술한 바로 제한되지 않는다. 예를 들어, 디바이스(100)는 다양한 칼라(예를 들어, 빨간 색, 파란 색, 또는 노란 색 등)의 실선 또는 점선으로 구성된 메이크업 가이드 정보(102 ~ 108)를 사용자의 얼굴 영상에 표시할 수 있다.
한편, 도 1(b)의 메이크업 가이드 정보(102 ~ 108)를 생성하기 위해 이용될 수 있는 조건 정보는, 예를 들어, 사용자의 얼굴 영상의 얼굴형을 판단할 수 있는 정보를 포함할 수 있다. 상술한 조건 정보는 눈썹의 형태를 판단할 수 있는 정보를 포함할 수 있다. 상술한 조건 정보는 눈의 형태를 판단할 수 있는 정보를 포함할 수 있다. 상술한 조건 정보는 입술의 형태를 판단할 수 있는 정보를 포함할 수 있다. 상술한 조건 정보는 광대뼈의 위치를 판단할 수 있는 정보를 포함할 수 있다. 본 개시에서 조건 정보는 상술한 바로 제한되지 않는다.
디바이스(100)는 사용자의 얼굴 영상의 얼굴형에 관한 2차원 좌표 정보와 조건 정보를 비교할 수 있다. 비교 결과, 사용자의 얼굴 영상의 얼굴형이 역삼각형으로 판단되면, 디바이스(100)는 역삼각형 얼굴형을 키워드로 하여 눈썹 모양에 대한 메이크업 가이드 정보를 획득할 수 있다.
디바이스(100)는 디바이스(100)에 저장된 메이크업 가이드 정보로부터 눈썹 모양에 대한 메이크업 가이드 정보를 획득할 수 있으나 본 개시에서 메이크업 가이드 정보를 획득하는 것은 상술한 바로 제한되지 않는다. 예를 들어, 디바이스(100)는 외부 디바이스로부터 눈썹 모양에 대한 메이크업 가이드 정보를 수신할 수 있다. 상술한 외부 디바이스는, 예를 들어, 메이크업 가이드 정보 제공 서버, 웨어러블 디바이스, 스마트 거울, 또는 IoT 디바이스 등이 될 수 있으나 본 개시에서 외부 디바이스는 상술한 바로 제한되지 않는다. 외부 디바이스는 디바이스(100)와 연결되고, 메이크업 가이드 정보를 저장할 수 있다.
디바이스(100)에 저장된 눈썹 메이크업 가이드 정보 테이블과 외부 디바이스에 저장된 눈썹 메이크업 가이드 정보 테이블은 동일한 정보를 포함할 수 있다. 이러한 경우에, 디바이스(100)는 디바이스(100)와 외부 디바이스간의 우선 순위에 따라 디바이스(100)에 저장된 눈썹 메이크업 가이드 정보 테이블과 외부 디바이스에 저장된 눈썹 메이크업 가이드 정보 테이블 중 하나를 선택하여 사용할 수 있다.
예를 들어, 외부 디바이스가 디바이스(100)보다 높은 우선 순위를 가지면, 디바이스(100)는 외부 디바이스에 저장된 눈썹 메이크업 가이드 정보 테이블을 사용할 수 있다. 디바이스(100)가 외부 디바이스보다 높은 우선 순위를 가지면, 디바이스(100)는 디바이스에 저장된 눈썹 메이크업 가이드 정보 테이블을 사용할 수 있다.
디바이스(100)에 저장된 눈썹 메이크업 가이드 정보 테이블과 외부 디바이스에 저장된 눈썹 메이크업 가이드 정보 테이블은 서로 다른 정보를 포함할 수 있다. 이러한 경우에, 디바이스(100)는 디바이스(100)와 외부 디바이스에 각각 저장된 눈썹 메이크업 가이드 정보 테이블을 모두 사용할 수 있다.
디바이스(100)에 저장된 눈썹 메이크업 가이드 정보 테이블과 외부 디바이스에 저장된 눈썹 메이크업 가이드 정보 테이블은 일부 동일한 정보를 포함할 수 있다. 이러한 경우에, 디바이스(100)는 디바이스(100)와 외부 디바이스간의 우선 순위에 따라 디바이스(100)에 저장된 눈썹 메이크업 가이드 정보 테이블과 외부 디바이스에 저장된 눈썹 메이크업 가이드 정보 테이블중 하나를 선택하여 사용하거나 모두 사용할 수 있다.
도 2는 일부 실시 예에 따른 얼굴형에 기초한 눈썹 메이크업 가이드 정보 테이블의 일례를 도시하는 도면이다.
디바이스(100)에 의해 사용자의 얼굴형이 역삼각형으로 판단되고, 얼굴형에 기초한 눈썹 메이크업 가이드 정보 테이블이 도 2와 같으면, 디바이스(100)는 도 2의 정보 테이블로부터 역삼각형에 대응되는 눈썹 메이크업 가이드 정보를 획득할 수 있다. 디바이스(100) 또는/및 디바이스(100)에 연결된 적어도 하나의 외부 디바이스는 눈썹 메이크업 가이드 정보 테이블을 저장할 수 있다.
눈썹 메이크업 가이드 정보가 획득되면, 도 1(b)에서와 같이, 디바이스(100)는 사용자의 얼굴 영상에 포함되어 있는 눈썹에 획득된 눈썹 메이크업 가이드 정보(102, 103)를 표시할 수 있다.
눈썹 메이크업 가이드 정보(102, 103)를 사용자의 얼굴 영상에 포함되어 있는 눈썹에 표시하기 위하여, 디바이스(100)는 사용자의 얼굴 영상에 포함되어 있는 눈썹에 대한 2차원 좌표 정보를 사용할 수 있으나 본 개시에서 눈썹 메이크업 가이드 정보(102, 103)를 표시하기 위해 사용하는 정보는 상술한 바로 제한되지 않는다.
디바이스(100)는, 도 1(b)에 도시된 눈 메이크업 가이드 정보(104, 105)를 상술한 눈썹 메이크업 가이드 정보(102, 103)와 같이 획득하여 사용자의 얼굴 영상에 표시할 수 있다. 디바이스(100) 또는/및 디바이스(100)에 연결된 적어도 하나의 외부 디바이스는 눈 메이크업 가이드 정보 테이블을 저장할 수 있다.
디바이스(100)에 저장된 눈 메이크업 가이드 정보 테이블과 외부 디바이스에 저장된 눈 메이크업 가이드 정보 테이블은 동일한 정보를 포함할 수 있다. 이러한 경우에, 디바이스(100)는 디바이스(100)와 외부 디바이스간의 우선 순위에 따라 디바이스(100)에 저장된 눈 메이크업 가이드 정보 테이블과 외부 디바이스에 저장된 눈 메이크업 가이드 정보 테이블 중 하나를 선택하여 사용할 수 있다.
예를 들어, 외부 디바이스가 디바이스(100)보다 높은 우선 순위를 가지면, 디바이스(100)는 외부 디바이스에 저장된 눈 메이크업 가이드 정보 테이블을 사용할 수 있다. 디바이스(100)가 외부 디바이스보다 높은 우선 순위를 가지면, 디바이스(100)는 디바이스에 저장된 눈 메이크업 가이드 정보 테이블을 사용할 수 있다.
디바이스(100)에 저장된 눈 메이크업 가이드 정보 테이블과 외부 디바이스에 저장된 눈 메이크업 가이드 정보 테이블은 서로 다른 정보를 포함할 수 있다. 이러한 경우에, 디바이스(100)는 디바이스(100)와 외부 디바이스에 각각 저장된 눈 메이크업 가이드 정보 테이블을 모두 사용할 수 있다.
디바이스(100)에 저장된 눈 메이크업 가이드 정보 테이블과 외부 디바이스에 저장된 눈 메이크업 가이드 정보 테이블은 일부 동일한 정보를 포함할 수 있다. 이러한 경우에, 디바이스(100)는 디바이스(100)와 외부 디바이스간의 우선 순위에 따라 디바이스(100)에 저장된 눈 메이크업 가이드 정보 테이블과 외부 디바이스에 저장된 눈 메이크업 가이드 정보 테이블 중 하나를 선택하여 사용하거나 모두 사용할 수 있다.
본 개시에서 눈 메이크업 가이드 정보 테이블은 눈 모양(예를 들어, 쌍꺼풀, 속쌍꺼풀(또는 홑꺼풀), 또는/및 외꺼풀)에 기초한 눈 메이크업 가이드 정보를 포함할 수 있다. 상술한 눈 메이크업 가이드 정보는 눈 메이크업 순서에 따른 정보를 포함할 수 있다. 예를 들어, 눈 메이크업 가이드 정보는 쉐도우 베이스 과정, 아이 라인 과정, 언더 과정, 및 마스카라 과정을 포함할 수 있다. 본 개시에서 눈 메이크업 가이드 정보에 포함되는 정보는 상술한 바로 제한되지 않는다.
눈 메이크업 가이드 정보(104, 105)를 사용자의 얼굴 영상에 포함되어 있는 눈에 표시하기 위하여, 디바이스(100)는 사용자의 얼굴 영상에 포함되어 있는 눈에 대한 2차원 좌표 정보를 사용할 수 있으나 본 개시에서 눈 메이크업 가이드 정보(104, 105)를 표시하기 위해 사용되는 정보는 상술한 바로 제한되지 않는다.
디바이스(100)는, 도 1(b)에 도시된 볼 메이크업 가이드 정보(106, 107)를 상술한 눈썹 메이크업 가이드 정보(102, 103)와 같이 획득하여 사용자의 얼굴 영상에 표시할 수 있다. 디바이스(100) 또는 디바이스(100)에 연결된 적어도 하나의 외부 디바이스는 볼 메이크업 가이드 정보 테이블을 저장할 수 있다.
디바이스(100) 또는 상술한 외부 디바이스에 각각 저장된 볼 메이크업 가이드 정보 테이블은 동일한 정보를 포함할 수 있다. 이러한 경우에, 디바이스(100)는 디바이스(100)와 외부 디바이스간의 우선 순위에 따라 디바이스(100)에 저장된 볼 메이크업 가이드 정보 테이블과 외부 디바이스에 저장된 볼 메이크업 가이드 정보 테이블 중 하나를 선택하여 사용할 수 있다.
디바이스(100) 또는 상술한 외부 디바이스에 각각 저장된 볼 메이크업 가이드 정보 테이블은 서로 다른 정보를 포함할 수 있다. 이러한 경우에, 디바이스(100)는 디바이스(100)에 저장된 볼 메이크업 가이드 정보 테이블과 외부 디바이스에 저장된 볼 메이크업 가이드 정보 테이블을 모두 사용할 수 있다.
디바이스(100) 또는 상술한 외부 디바이스에 각각 저장된 볼 메이크업 가이드 정보 테이블은 일부 동일한 정보를 포함할 수 있다. 이러한 경우에, 디바이스(100)는 디바이스(100)와 외부 디바이스간의 우선 순위에 따라 디바이스(100)에 저장된 볼 메이크업 가이드 정보 테이블과 외부 디바이스에 저장된 볼 메이크업 가이드 정보 테이블 중 하나를 선택하여 사용하거나 모두 사용할 수 있다.
볼 메이크업 가이드 정보 테이블은 얼굴형, 쉐이딩 과정, 하이라이터 과정, 및 볼 블러쉬 과정을 포함할 수 있다. 본 개시에서 볼 메이크업 가이드 정보에 포함되는 정보는 상술한 바로 제한되지 않는다.
볼 메이크업 가이드 정보(106, 107)를 사용자의 얼굴 영상에 포함되어 있는 볼에 표시하기 위하여, 디바이스(100)는 사용자의 얼굴 영상에 포함되어 있는 볼에 대한 2차원 좌표 정보를 사용할 수 있으나 본 개시에서 볼 메이크업 가이드 정보(106, 107)를 표시하기 위해 사용하는 정보는 상술한 바로 제한되지 않는다.
디바이스(100)는, 도 1(b)에 도시된 입술 메이크업 가이드 정보(108)를 상술한 눈썹 메이크업 가이드 정보(102, 103)와 같이 획득하여 사용자의 얼굴 영상에 표시할 수 있다. 디바이스(100) 또는 디바이스(100)에 연결된 적어도 하나의 외부 디바이스에 입술 메이크업 가이드 정보 테이블을 저장할 수 있다.
디바이스(100) 또는 상술한 외부 디바이스에 각각 저장된 입술 메이크업 가이드 정보 테이블은 동일한 정보를 포함할 수 있다. 이러한 경우에, 디바이스(100)는 디바이스(100)와 외부 디바이스간의 우선 순위에 따라 디바이스(100)에 저장된 입술 메이크업 가이드 정보 테이블과 외부 디바이스에 저장된 입술 메이크업 가이드 정보 테이블 중 하나를 선택하여 사용할 수 있다.
디바이스(100) 또는 상술한 외부 디바이스에 각각 저장된 입술 메이크업 가이드 정보 테이블은 서로 다른 정보를 포함할 수 있다. 이러한 경우에, 디바이스(100)는 디바이스(100)에 저장된 입술 메이크업 가이드 정보 테이블과 외부 디바이스에 저장된 입술 메이크업 가이드 정보 테이블을 모두 사용할 수 있다.
디바이스(100) 또는 상술한 외부 디바이스에 각각 저장된 입술 메이크업 가이드 정보 테이블은 일부 동일한 정보를 포함할 수 있다. 이러한 경우에, 디바이스(100)는 디바이스(100)와 외부 디바이스간의 우선 순위에 따라 디바이스(100)에 저장된 입술 메이크업 가이드 정보 테이블과 외부 디바이스에 저장된 입술 메이크업 가이드 정보 테이블 중 하나를 선택하여 사용하거나 모두 사용할 수 있다.
입술 메이크업 가이드 정보 테이블은 얼굴형과 입술 라인 과정, 립 제품 도포 과정, 및 립 브러쉬 과정을 포함할 수 있으나 본 개시에서 입술 메이크업 가이드 정보에 포함되는 정보는 상술한 바로 제한되지 않는다.
입술 메이크업 가이드 정보(108)를 사용자의 얼굴 영상에 포함되어 있는 입술에 표시하기 위하여, 디바이스(100)는 사용자의 얼굴 영상에 포함되어 있는 입에 대한 2차원 좌표 정보를 사용할 수 있으나 본 개시에서 입술 메이크업 가이드 정보(108)를 표시하기 위해 사용되는 정보는 상술한 바로 제한되지 않는다.
디바이스(100)는 사전에 설정된 디스플레이 타입에 따라 메이크업 가이드 정보(102 ~ 108)를 사용자의 얼굴 영상에 표시할 수 있다. 예를 들어, 디스플레이 타입이 점선으로 설정된 경우에, 도 1(b)에서와 같이, 디바이스(100)는 사용자의 얼굴 영상에 메이크업 가이드 정보(102 ~ 108)를 점선으로 표시할 수 있다. 또한 디스플레이 타입이 빨간색 실선으로 설정된 경우에, 도 1(b)에서, 디바이스(100)는 사용자의 얼굴 영상에 메이크업 가이드 정보(102 ~108)를 빨간색 실선으로 표시할 수 있다.
메이크업 가이드 정보(102 ~ 108)에 대한 디스플레이 타입은 디바이스(100)에 디폴트로 설정될 수 있으나 본 개시는 이로 제한되지 않는다. 예를 들어, 메이크업 가이드 정보(102 ~ 108)에 대한 디스플레이 타입은 디바이스(100)의 사용자에 의해 설정되거나 변경될 수 있다.
도 3은 일부 실시 예에 따른 디바이스(100)가 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트 하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S301에서, 디바이스(100)는 사용자의 얼굴 영상을 디스플레이한다. 이에 따라 사용자는 디바이스(100)를 통해 사용자의 얼굴 영상을 볼 수 있다. 디바이스(100)는 사용자의 얼굴 영상을 실시간으로 디스플레이할 수 있다. 디바이스(100)는 디바이스(100)에 포함되어 있는 카메라 애플리케이션을 실행하여 사용자의 얼굴 영상을 획득하고, 획득된 사용자의 얼굴 영상을 디스플레이할 수 있다. 본 개시에서 사용자의 얼굴 영상을 획득하는 방법은 상술한 바로 제한되지 않는다.
예를 들어, 디바이스(100)는 카메라 기능을 갖는 외부 디바이스(예를 들어, 스마트 시계와 같은 웨어러블 디바이스, 스마트 거울, 스마트 폰, 디지털 카메라, IoT 디바이스(예를 들어, 스마트 텔레비전, 스마트 오븐))와 통신 채널을 설정할 수 있다. 디바이스(100)는 설정된 통신 채널을 이용하여 외부 디바이스의 카메라 기능을 활성화시킬 수 있다. 디바이스(100)는 외부 디바이스에서 활성화된 카메라 기능을 이용하여 획득된 사용자의 얼굴 영상을 수신할 수 있다. 디바이스(100)는 수신된 사용자의 얼굴 영상을 디스플레이할 수 있다. 이러한 경우에, 사용자는 디바이스(100)와 외부 디바이스를 통해 사용자의 얼굴 영상을 동시에 볼 수 있다.
사용자가 메이크업을 하기 전일 때, 도 1(a) 및 도 1(b)와 같이 디바이스(100)에 디스플레이되고 있는 사용자의 얼굴 영상은 사용자에 의해 선택된 얼굴 영상일 수 있다. 사용자는 디바이스(100)에 저장된 사용자의 얼굴 영상중 하나를 선택할 수 있다. 사용자는 디바이스(100)에 연결된 적어도 하나의 외부 디바이스에 저장된 사용자의 얼굴 영상중 하나를 선택할 수 있다. 외부 디바이스는 다른 디바이스라고 말할 수 있다.
디바이스(100)는 사용자의 얼굴 영상이 획득되면, 단계 S301를 실행할 수 있다. 디바이스(100)는 사용자의 얼굴 영상이 수신되면, 단계 S301를 실행할 수 있다. 예를 들어, 디바이스(100)가 락 상태에서 다른 디바이스로부터 사용자의 얼굴 영상이 수신되면, 디바이스(100)는 락 상태를 해제하고, 단계 S301을 실행할 수 있다. 디바이스(100)의 락 상태는 디바이스(100)의 화면 잠금 상태를 말한다.
디바이스(100)는 디바이스(100)에서 하나의 사용자의 얼굴 영상이 선택되면, 단계 S301를 실행할 수 있다. 일부 실시 예에 따른 디바이스(100)가 메이크업 거울 애플리케이션을 실행함에 따라 디바이스(100)는 상술한 사용자의 얼굴 영상을 획득하거나 사용자의 얼굴 영상을 수신할 수 있다. 메이크업 거울 애플리케이션은 본 개시의 실시 예들에서 언급되는 메이크업 거울을 제공하는 애플리케이션을 말한다.
단계 S302에서, 디바이스(100)는 디스플레이되고 있는 사용자의 얼굴 영상에 대한 메이크업 가이드를 요청하는 사용자 입력을 수신한다. 사용자 입력은 도 1(a)에서 설명한 바와 같이 디스플레이되고 있는 사용자의 얼굴 영상과 함께 디스플레이되고 있는 메이크업 가이드 버튼(101)에 기초하여 수신될 수 있다. 사용자 입력은 도 1(a)에서 설명한 바와 같이 사용자의 음성 신호에 기초하여 수신될 수 있다. 사용자 입력은 도 1(a)에서 설명한 바와 같이 터치에 기초하여 수신될 수 있다.
또한, 메이크업 가이드를 요청하는 사용자 입력은 디바이스(100)와 관련된 동작에 기초할 수 있다. 상술한 디바이스(100)와 관련된 동작은, 예를 들어, 디바이스(100)가 메이크업용 거치대에 놓이는 것을 포함할 수 있다. 즉, 디바이스(100)가 메이크업 거치대에 놓이면, 디바이스(100)는 메이크업 가이드를 요청하는 사용자 입력이 수신된 것으로 인식할 수 있다. 디바이스(100)가 메이크업 거치대에 놓이는 것은 디바이스(100)에 포함된 센서를 이용하여 감지될 수 있으나 본 개시는 상술한 바로 제한되지 않는다. 디바이스(100)가 메이크업 거치대에 놓이는 것은 메이크업 거치대에 부착되는 것으로 표현될 수 있다.
또한, 메이크업 가이드 요청은 디바이스(100)에 연결된 외부 디바이스(예를 들어, 스마트 워치와 같은 웨어러블 디바이스)를 이용한 사용자 입력에 기초할 수 있다.
단계 S303에서, 디바이스(100)는 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시할 수 있다. 디바이스(100)는 도 1(b)에서와 같이 점선 형태로 메이크업 가이드 정보를 사용자의 얼굴 영상에 표시할 수 있다. 이에 따라 사용자는 메이크업 가이드 정보에 의해 가려지지 않은 사용자의 얼굴 영상을 보면서 메이크업 가이드 정보를 볼 수 있다.
단계 S303에서, 디바이스(100)는 도 1(b)에서 설명한 바와 같이 메이크업 가이드 정보를 생성할 수 있다.
도 4는 일부 실시 예에 따른 디바이스(100)가 디스플레이 되고 있는 사용자의 얼굴 영상에 메이크업 순서 정보(①, ②, ③)를 포함하는 메이크업 가이드 정보를 표시하는 메이크업 거울의 일례를 도시하는 도면이다.
도 1(a)에서 설명한 바와 같이 메이크업 가이드 요청을 나타내는 사용자 입력이 수신되면, 디바이스(100)는, 도 4에 도시된 바와 같이, 사용자의 얼굴 영상에 메이크업 순서 정보(①, ②, ③, ④)를 포함하는 메이크업 가이드 정보를 표시할 수 있다. 이에 따라 사용자는 사용자의 얼굴 영상에 기초한 메이크업 순서와 메이크업 영역을 볼 수 있다.
도 4에서 메이크업 순서 정보(①)에 대한 선택을 나타내는 사용자 입력이 수신되면, 디바이스(100)는 상세한 눈썹 메이크업 가이드 정보를 제공할 수 있다.
도 5(a), 도 5(b), 및 도 5(c)는 일부 실시 예에 따른 디바이스(100)가 상세한 눈썹 메이크업 가이드 정보를 이미지 형태로 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 4에서 메이크업 순서 정보(①)에 대한 선택을 나타내는 사용자 입력이 수신되면, 디바이스(100)는 도 5(a)에서와 같은 상세한 눈썹 메이크업 가이드 정보를 제공할 수 있으나 본 개시는 이로 제한되지 않는다. 예를 들어, 디바이스(100)는 도 5(a)에 도시된 상세한 눈썹 메이크업 가이드 정보 보다 더 많거나 더 적은 상세한 눈썹 메이크업 가이드 정보를 제공할 수 있다.
예를 들어, 도 4에서 메이크업 순서 정보(①)에 대한 선택을 나타내는 사용자 입력이 수신되면, 디바이스(100)는 도 5(c)에서와 같이 도 2의 눈썹 메이크업 정보 테이블에 포함된 상세한 정보를 사용자의 눈썹에 인접한 위치에 표시할 수 있다. 도 5(c)를 참조하면, 디바이스(100)는 상세한 정보를 팝업 창 형태로 제공한다. 본 개시에서 상세한 정보를 제공하는 형태를 도 5(c)에 도시된 바로 제한되지 않는다.
또한, 도 4에서 메이크업 순서 정보(①)에 대한 선택을 나타내는 사용자 입력이 수신되면, 디바이스(100)는 도 5(a)에 도시된 상세한 눈썹 메이크업 가이드 정보를 제공하는 과정을 스킵하고 사전에 설정된 순서에 따라 상세한 눈썹 메이크업 가이드 정보를 사용자의 얼굴 영상에 기초하여 제공할 수 있다.
도 5(a)를 참조하면, 디바이스(100)는 도 4에서 제공된 눈썹 메이크업 가이드 정보(103)에 대한 이미지(501), 및 이미지(501)에 대응되는 상세한 눈썹 메이크업 가이드 정보에 대한 이미지들(502, 503, 504)을 제공할 수 있다. 상세한 눈썹 메이크업 가이드 정보에 대한 이미지들(502, 503, 504)은 메이크업 순서에 기초하여 배열될 수 있으나 본 개시에서 이미지들(502, 503, 504)의 배열은 메이크업 순서로 제한되지 않는다.
예를 들어, 도 5(a)에 도시된 상세한 눈썹 메이크업 가이드 정보에 대한 이미지들(502, 503, 504)은 도 5(b)에서와 같이 메이크업 순서와 관계없이 랜덤하게 배열될 수 있다. 상세한 눈썹 메이크업 가이드 정보에 대한 이미지들(502, 503, 504)이 도 5(b)에서와 같이 랜덤하게 배열될 경우에, 사용자는 상세한 눈썹 메이크업 가이드 정보에 대한 이미지들(502, 503, 504)에 포함된 메이크업 순서 정보(예를 들어, 1, 2, 3)에 기초하여 메이크업 순서를 알 수 있다.
도 5(a) 및 도 5(b)를 참조하면, 상세한 눈썹 메이크업 가이드 정보에 대한 이미지들(502, 503, 504)은 메이크업 순서를 나타내는 정보(예를 들어, 1, 2, 3 등)와 대표 이미지를 포함할 수 있으나 본 개시에서 눈썹 메이크업 가이드 정보에 대한 이미지들(502, 503, 504)에 포함되는 정보는 상술한 바로 제한되지 않는다.
대표 이미지는 메이크업 과정을 나타내는 이미지를 포함할 수 있다. 예를 들어, 이미지(502)는 눈썹 칼로 눈썹 다듬기를 나타내는 이미지를 포함할 수 있다. 이미지(503)는 눈썹용 빗으로 눈썹 다듬기를 나타내는 이미지를 포함할 수 있다. 이미지(504)는 눈썹 브러쉬로 눈썹 그리기를 나타내는 이미지를 포함할 수 있다.
사용자는 대표 이미지를 보고, 메이크업 과정을 쉽게 알 수 있다. 대표 이미지는 사용자의 얼굴 영상과 관계없는 이미지를 포함할 수 있다. 본 개시에서 대표 이미지는 상술한 바로 제한되지 않는다. 예를 들어, 눈썹 칼로 눈썹 다듬기를 나타내는 이미지는 눈썹 가위로 눈썹 다듬기를 나타내는 이미지로 대체될 수 있다.
이미지(501)는 도 4에서 사용자의 얼굴 영상에서 눈썹에 기초한 일부 영역을 캡쳐한 이미지일 수 있으나 본 개시에서 이미지(501)는 상술한 바로 제한되지 않는다. 예를 들어, 이미지(501)는 사용자의 얼굴 영상과 관계없는 이미지를 포함할 수 있다. 즉, 이미지(501)는 도 4에서 사용자의 얼굴 영상의 눈썹에 표시된 메이크업 가이드 정보로 구성될 수 있다.
도 5(a)에서와 같이 상세한 눈썹 메이크업 가이드 정보가 제공될 때, 도 5(a)에서 선택 완료 버튼(505)을 선택하는 사용자 입력이 수신되면, 도 5(a)에 도시된 상세 눈썹 메이크업 순서에 따라 디바이스(100)는 눈썹에 대한 상세한 메이크업 가이드 정보를 순차적으로 사용자의 얼굴 영상에 표시할 수 있다.
예를 들어, 선택 완료 버튼(505)을 선택하는 사용자 입력이 수신되면, 디바이스(100)는 이미지(502)에 기초한 상세한 눈썹 메이크업 가이드 정보를 사용자의 얼굴 영상에 기초하여 제공할 수 있다. 이미지(502)에 기초한 눈썹 메이크업 과정이 완료되면, 디바이스(100)는 이미지(503)에 기초한 상세한 눈썹 메이크업 가이드 정보를 사용자의 얼굴 영상에 기초하여 제공할 수 있다. 이미지(503)에 기초한 눈썹 메이크업 과정이 완료되면, 디바이스(100)는 이미지(504)에 기초한 눈썹 메이크업 가이드 정보를 사용자의 얼굴 영상에 기초하여 제공할 수 있다. 이미지(504)에 기초한 눈썹 메이크업 과정이 완료되면, 디바이스(100)는 사용자의 눈썹 메이크업 과정이 완료된 것으로 인식할 수 있다.
또한, 도 1(b)에 도시된 메이크업 가이드 정보(102 ~ 108)중 하나에 대한 선택을 나타내는 사용자 입력이 수신됨에 따라 디바이스(100)는 도 5(a), 도 5(b), 또는 도 5(c)에서 언급된 상세한 메이크업 가이드 정보를 제공할 수 있다.
도 6(a), 도 6(b), 및 도 6(c)는 일부 실시 예에 따른 디바이스(100)가 사용자의 왼쪽 눈썹 메이크업이 완료된 후, 사용자의 얼굴 영상에 기초한 메이크업 가이드 정보를 표시하는 메이크업 거울의 일례들을 도시하는 도면이다.
사용자의 왼쪽 눈썹 메이크업이 완료된 것으로 인식되면, 디바이스(100)는 도 4와 같은 화면을 다시 제공할 수 있으나 본 개시는 이로 제한되지 않는다.
예를 들어, 도 5(a) 또는 도 5(b)에 기초하여 사용자의 왼쪽 눈썹에 대한 메이크업이 완료되면, 디바이스(100)는 도 6(a), 도 6(b), 또는 도 6(c)에서와 같이 왼쪽 눈썹에 대한 메이크업 가이드 정보를 삭제한 메이크업 가이드 정보를 사용자의 얼굴 영상에 표시할 수 있다.
도 6(a)를 참조하면, 디바이스(100)는 왼쪽 눈썹에 대한 메이크업이 완료되어 왼쪽 눈썹에 대한 메이크업 가이드 정보를 삭제하면서, 왼쪽 메이크업 가이드 정보에 할당되었던 메이크업 순서 정보(①)를 오른쪽 눈썹에 대한 메이크업 가이드 정보에 표시할 수 있다. 이에 따라 사용자는 다음 메이크업 순서로 오른쪽 눈썹에 대한 메이크업을 할 수 있다.
도 6(b)를 참조하면, 디바이스(100)는 왼쪽 눈썹에 대한 메이크업 가이드 정보를 사용자의 얼굴 영상에서 삭제할 때, 오른쪽 눈썹에 대한 메이크업 가이드 정보를 함께 삭제할 수 있다. 이에 따라 사용자는 오른쪽 눈썹에 대한 메이크업을 하지 않은 상태에서 다음 메이크업 순서로 왼쪽 눈에 대한 메이크업을 할 수 있다.
도 6(c)를 참조하면, 디바이스(100)는 왼쪽 눈썹에 대한 메이크업 가이드 정보를 사용자의 얼굴 영상에서 삭제할 때, 왼쪽 메이크업 가이드 정보에 할당되었던 순서 정보(①)를 삭제하고, 사용자의 얼굴 영상에 표시되고 있는 오른쪽 눈썹에 대한 메이크업 가이드 정보를 유지할 수 있다. 이에 따라 사용자는 왼쪽 눈썹에 대한 메이크업은 완료되었으나 오른쪽 눈썹에 대해 메이크업이 되지 않음을 인식하면서 다음 메이크업 순서로 왼쪽 눈에 대한 메이크업을 할 수 있다.
도 7(a) 및 도 7(b)은 일부 실시 예에 따른 디바이스(100)가 도 5(a)에서 제공되는 상세한 눈썹 메이크업 가이드 정보를 편집하는 메이크업 거울의 일례를 도시하는 도면이다.
도 7(a)를 참조하면, 이미지들(502, 503, 504)중에서 적어도 하나의 이미지(503)를 삭제하는 사용자 입력이 수신되면, 디바이스(100)는 도 7(b)에서와 같이 이미지(503)를 삭제할 수 있다. 적어도 하나의 이미지(503)를 삭제하는 사용자 입력은 이미지(503)를 제공하는 영역을 터치한 후 왼쪽 또는 오른쪽으로 드래그하는 터치 기반 입력을 포함할 수 있으나 이로 제한되지 않는다.
예를 들어, 적어도 하나의 이미지(503)를 삭제하는 사용자 입력은 이미지(503)를 디스플레이하는 영역을 롱 터치하는 터치 기반 입력을 포함할 수 있다. 또한, 적어도 하나의 이미지(503)를 삭제하는 사용자 입력은 이미지들(502, 503, 504)에 포함되어 있는 식별 정보를 기반으로 할 수 있다. 이미지들(502, 503, 504)은 상세한 눈썹 메이크업 가이드 아이템으로 표현될 수 있다.
도 7(a)에서 이미지(503)에 대한 삭제를 나타내는 사용자 입력이 수신되면, 도 7(b)에서와 같이, 디바이스(100)는 이미지(502)와 이미지(504)에 대응되는 상세한 눈썹 메이크업 가이드 정보를 제공할 수 있다. 사용자는 도 7(b)에 도시된 화면을 보면서, 이미지(502)와 이미지(504)에 대응되는 상세한 눈썹 메이크업 가이드 정보가 제공되는 것을 예측할 수 있다.
도 7(b)에서, 선택 완료 버튼(505)에 대한 선택을 나타내는 사용자 입력이 수신되면, 디바이스(100)는 사용자의 얼굴 영상에 이미지(502)와 이미지(504)에 대응되는 상세한 눈썹 메이크업 가이드 정보를 표시할 수 있다.
도 8은 일부 실시 예에 따른 디바이스(100)가 제공하는 상세한 눈썹 메이크업 가이드 정보를 텍스트 형태로 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 4에서 눈썹 메이크업 가이드 정보 또는 눈썹 메이크업 가이드 정보의 순서 정보(①)에 대한 선택을 나타내는 사용자 입력이 수신되면, 디바이스(100)는 도 8에서와 같이 텍스트 형태의 상세한 눈썹 메이크업 가이드 정보(801, 802, 803)를 제공할 수 있다.
도 8에서 상세한 눈썹 메이크업 가이드 정보(801, 802, 803)중에서 하나의 정보(802)에 대한 삭제를 나타내는 사용자 입력이 수신되고, 선택 완료 버튼(505)에 대한 선택을 나타내는 사용자 입력이 수신되면, 디바이스(100)는 눈썹 칼로 눈썹 다듬기 아이템과 눈썹 그리기 아이템에 기초한 상세한 눈썹 메이크업 가이드 정보를 사용자의 얼굴 영상에 표시할 수 있다.
도 9(a) 내지 도 9(e)는 일부 실시 예에 따른 디바이스(100)가 메이크업 진행 상태에 따라 메이크업 가이드 정보를 변경하는 메이크업 거울의 일례를 도시하는 도면이다.
도 9(a)에 도시된 바와 같이 사용자의 얼굴 영상에 메이크업 가이드 정보(102 ~ 108)가 표시될 때, 눈썹에 대한 선택을 나타내는 사용자 입력이 수신되면, 디바이스(100)는 도 9(b)에 도시된 바와 같이 눈썹에 대한 메이크업 가이드 정보(102, 103)만 사용자의 얼굴 영상에 표시할 수 있다. 이에 따라 사용자는 눈썹에 대한 메이크업 가이드 정보(102, 103)에 기초하여 눈썹에 대한 메이크업을 할 수 있다.
눈썹에 대한 메이크업이 완료되면, 디바이스(100)는, 도 9(c)에 도시된 바와 같이, 눈에 대한 메이크업 가이드 정보(104, 105)를 사용자의 얼굴 영상에 표시할 수 있다. 이에 따라 사용자는 눈에 대한 메이크업 가이드 정보(104, 105)에 기초하여 눈에 대한 메이크업을 할 수 있다.
눈에 대한 메이크업이 완료되면, 디바이스(100)는, 도 9(d)에 도시된 바와 같이, 볼에 대한 메이크업 가이드 정보(106, 107)를 사용자의 얼굴 영상에 표시할 수 있다. 이에 따라 사용자는 볼에 대한 메이크업 가이드 정보(106, 107)에 기초하여 볼에 대한 메이크업을 할 수 있다.
볼에 대한 메이크업이 완료되면, 디바이스(100)는 도 9(e)에 도시된 바와 같이, 입에 대한 메이크업 가이드 정보(108)를 사용자의 얼굴 영상에 표시할 수 있다. 이에 따라 사용자는 입술에 대한 메이크업 가이드 정보(108)에 기초하여 입술에 대한 메이크업을 할 수 있다.
디바이스(100)는 메이크업 추적 기능을 이용하여 눈썹, 눈, 볼, 및 입술에 대한 메이크업 완료 여부를 판단할 수 있다. 메이크업 추적 기능은 실시간으로 사용자의 얼굴 영상의 메이크업 상태를 검출할 수 있다. 메이크업 추적 기능은 사용자의 얼굴 영상을 실시간으로 획득하고, 이전의 사용자의 얼굴 영상과 현재의 사용자의 얼굴 영상을 비교하면서 사용자의 얼굴 영상에 대한 메이크업 상태를 검출할 수 있으나 본 개시에서 메이크업 추적 기능은 상술한 바로 제한되지 않는다. 예를 들어, 디바이스(100)는 사용자의 얼굴 영상에 기초한 움직임 검출 알고리즘을 이용하여 메이크업 추적 기능을 수행할 수 있다. 움직임 검출 알고리즘은 사용자의 얼굴 영상에서 메이크업 도구의 위치 이동을 검출할 수 있다.
디바이스(100)는 각 메이크업 과정의 완료를 나타내는 사용자 입력이 수신됨에 따라 눈썹, 눈, 볼, 및 입술에 대한 메이크업 완료 여부를 판단할 수 있다.
도 10(a) 및 도 10(b)는 일부 실시 예에 따른 디바이스(100)가 메이크업 순서를 변경하는 메이크업 거울의 일례를 도시하는 도면이다.
도 10(a)에 도시된 바와 같이 디바이스(100)가 메이크업 순서 정보(①, ②, ③, ④)를 포함하는 메이크업 가이드 정보(102 ~ 108)를 사용자의 얼굴 영상에 표시할 때, 메이크업 순서 정보(①)를 터치하고, 메이크업 순서 정보(②)가 표시되고 있는 지점으로 드래그하는 사용자 입력이 수신되면, 도 10(b)에 도시된 바와 같이 디바이스(100)는 눈에 대한 메이크업 순서와 눈썹에 대한 메이크업 순서를 변경할 수 있다.
이에 따라 디바이스(100)는 눈 -> 눈썹 -> 볼 -> 입술 순으로 메이크업 가이드 정보를 사용자의 얼굴 영상에 기초하여 제공할 수 있다. 본 개시에서 메이크업 순서를 변경하기 위한 사용자 입력은 상술한 바로 제한되지 않는다.
도 10(c)는 일부 실시 예에 따른 디바이스(100)가 다른 디바이스(1000)로부터 수신된 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시하는 메이크업 거울의 일례를 도시한 도면이다.
도 10(c)를 참조하면, 디바이스(100)는 다른 디바이스(1000)로부터 사용자의 얼굴 영상을 수신할 수 있다. 다른 디바이스(1000)는 디바이스(100)와 연결될 수 있다. 다른 디바이스(1000)와 디바이스(100)간의 연결은 무선 또는 유선으로 연결될 수 있다.
도 10(c)에 도시된 다른 디바이스(1000)는, 예를 들어, 스마트 거울일 수 있다. 다른 디바이스(1000)는 스마트 거울 기능을 갖는 IoT 디바이스(예를 들어, 스마트 티브이)일 수 있다. 다른 디바이스(1000)는 카메라 기능을 포함할 수 있다.
디바이스(100)와 다른 디바이스(1000)간의 통신 채널이 설정된 후, 다른 디바이스(1000)는 획득된 사용자의 얼굴 영상을 다른 디바이스(1000)에 디스플레이 하면서 디바이스(100)로 전송할 수 있다.
디바이스(100)는 다른 디바이스(1000)로부터 사용자의 얼굴 영상이 수신되면, 수신된 사용자의 얼굴 영상을 디스플레이할 수 있다. 이에 따라 사용자는 디바이스(100)와 다른 디바이스(1000)를 통해 사용자의 얼굴 영상을 볼 수 있다.
디바이스(100)는 사용자의 얼굴 영상을 디스플레이한 후, 디바이스(100)가 메이크업 거치대(1002)에 놓이면, 도 10(c)에 도시된 바와 같이 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시할 수 있다.
메이크업 거치대(1002)는 휴대폰 거치대와 유사하게 구성될 수 있다. 예를 들어, 메이크업 거치대(1002)가 자석 볼 기반으로 구성되면, 디바이스(100)는 자석 탈부착 감지 센서를 이용하여 디바이스(100)가 메이크업 거치대(1002)에 놓였는지 여부를 판단할 수 있다. 메이크업 거치대(1002)가 충전 거치대로 구성되면, 디바이스(100)는 디바이스(100)의 커넥터와 메이크업 거치대(1002)의 충전 단자간의 연결 여부에 따라 디바이스(100)가 메이크업 거치대(1002)에 놓였는지 여부를 판단할 수 있다.
디바이스(100)는 사용자의 얼굴 영상에 표시한 메이크업 가이드 정보를 다른 디바이스(1000)로 전송할 수 있다. 이에 따라 다른 디바이스(1000)는 디바이스(100)와 같이 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시할 수 있다. 디바이스(100)는 메이크업이 진행됨에 따라 획득되는 정보를 다른 디바이스(1000)로 전송할 수 있다. 다른 디바이스(1000)는 사용자의 얼굴 영상을 실시간으로 획득하고, 획득된 결과를 디바이스(100)로 전송할 수 있다.
도 11은 일부 실시 예에 따른 디바이스(100)가 사용자의 얼굴 영상에 기초한 복수의 가상 메이크업 영상을 추천하여 메이크업 가이드 정보를 제공하는 메이크업 거울 제공 방법의 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S1101에서, 디바이스(100)는 사용자의 얼굴 영상에 기초한 복수의 가상 메이크업 영상을 추천한다. 사용자의 얼굴 영상은 도 1(a)에서 설명한 바와 같이 획득될 수 있다. 가상 메이크업 영상은 사용자의 얼굴 영상에 가상적으로 메이크업을 완성한 영상을 말한다. 추천되는 복수의 가상 메이크업 영상은 색조 기반일 수 있으나 이로 제한되지 않는다. 예를 들어, 추천되는 복수의 가상 메이크업 영상은 테마 기반일 수 있다.
색조 기반의 복수의 메이크업 영상은 핑크 색조, 브라운 색조, 블루 색조, 그린 색조, 또는 바이올렛 색조 등과 같은 색조 기반의 메이크업 영상을 포함할 수 있으나 이로 제한되지 않는다.
테마 기반의 복수의 메이크업 영상은 계절(예를 들어, 봄, 여름, 가을, 또는/및 겨울) 기반 메이크업 영상을 포함할 수 있다. 테마 기반의 복수의 메이크업 영상은 인기(예, 사용자의 선호, 지인의 선호, 현재 가장 인기, 또는 현재 가장 인기 있는 블러그의 핫) 기반의 메이크업 영상을 포함할 수 있다.
테마 기반의 복수의 메이크업 영상은 연예인 기반의 메이크업 영상을 포함할 수 있다. 테마 기반의 복수의 메이크업 영상은 직장 기반의 메이크업 영상을 포함할 수 있다. 테마 기반의 복수의 메이크업 영상은 데이트 기반의 메이크업 영상을 포함할 수 있다. 테마 기반의 복수의 메이크업 영상은 파티 기반의 메이크업 영상을 포함할 수 있다.
테마 기반의 복수의 메이크업 영상은 여행지(예를 들어, 바다, 산, 유적지 등) 기반의 메이크업 영상을 포함할 수 있다. 테마 기반의 복수의 메이크업 영상은 새로움(또는 가장 최근) 기반의 메이크업 영상을 포함할 수 있다. 테마 기반의 복수의 메이크업 영상은 관상(예를 들어, 재물 운, 승진 운, 인기 운, 취업 운, 시험 운, 또는/및 결혼 운 등) 기반의 메이크업 영상을 포함할 수 있다.
테마 기반의 복수의 메이크업 영상은 청순 기반의 메이크업 영상을 포함할 수 있다. 테마 기반의 복수의 메이크업 영상은 성숙 기반의 메이크업 영상을 포함할 수 있다. 테마 기반의 복수의 메이크업 영상은 포인트(예를 들어, 눈, 코, 입, 및/또는 볼) 기반의 메이크업 영상을 포함할 수 있다. 테마 기반의 복수의 메이크업 영상은 드라마 기반의 메이크업 영상을 포함할 수 있다.
테마 기반의 복수의 메이크업 영상은 영화 기반의 메이크업 영상을 포함할 수 있다. 테마 기반의 복수의 메이크업 영상은 성형(예를 들어, 눈매 교정, 턱 교정, 입술 교정, 코 교정, 및/또는 볼 교정 등) 기반의 메이크업 영상을 포함할 수 있다. 본 개시에서 테마 기반의 복수의 메이크업 영상은 상술한 바로 제한되지 않는다.
디바이스(100)는 사용자의 얼굴 영상에 관한 정보와 복수의 가상 메이크업 가이드 정보를 이용하여 복수의 가상 메이크업 영상을 생성할 수 있다.
디바이스(100)는 복수의 가상 메이크업 가이드 정보를 저장할 수 있으나 본 개시는 이로 제한되지 않는다. 예를 들어, 디바이스(100)에 연결된 적어도 하나의 외부 디바이스는 복수의 가상 메이크업 가이드 정보를 저장할 수 있다.
외부 디바이스에 복수의 가상 메이크업 가이드 정보가 저장된 경우에, 디바이스(100)의 요청에 따라 외부 디바이스는 저장된 복수의 가상 메이크업 가이드 정보를 제공할 수 있다.
외부 디바이스로부터 복수의 가상 메이크업 가이드 정보를 수신할 경우에, 디바이스(100)는 가상 메이크업 가이드 정보 요청을 나타내는 정보를 외부 디바이스로 전송할 수 있다. 이에 따라 외부 디바이스는 저장하고 있는 모든 가상 메이크업 가이드 정보를 디바이스(100)로 제공할 수 있다.
디바이스(100)는 하나의 가상 메이크업 가이드 정보를 외부 디바이스로 요청할 수 있다. 이 경우에, 디바이스(100)는 수신을 원하는 가상 메이크업 가이드 정보를 나타내는 정보(예를 들어, 블루 색조)를 외부 디바이스로 전송할 수 있다. 이에 따라 외부 디바이스는 저장하고 있는 복수의 가상 메이크업 가이드 정보 중에서 블루 색조 기반의 가상 메이크업 가이드 정보를 디바이스(100)로 제공할 수 있다.
가상 메이크업 가이드 정보는 타겟 얼굴 영상(예를 들어, 연예인 A의 얼굴 영상)의 메이크업 정보를 포함할 수 있다. 가상 메이크업 가이드 정보는 얼굴 인식 알고리즘을 이용하여 타겟 얼굴 영상에서 메이크업 정보를 검출할 수 있다. 타겟 얼굴 영상은 사용자의 얼굴 영상을 포함할 수 있다. 가상 메이크업 가이드 정보는 상술한 메이크업 가이드 정보와 유사한 정보를 포함할 수 있다.
한편, 디바이스(100)와 외부 디바이스는 각각 복수의 가상 메이크업 가이드 정보를 저장할 수 있다. 디바이스(100)와 외부 디바이스에 각각 저장된 복수의 가상 메이크업 가이드 정보는 서로 동일할 수 있다. 디바이스(100)와 외부 디바이스에 각각 저장된 복수의 가상 메이크업 가이드 정보는 일부 동일할 수 있다. 디바이스(100)와 외부 디바이스에 각각 저장된 복수의 가상 메이크업 가이드 정보는 서로 다를 수 있다.
단계 S1102에서, 디바이스(100)는 복수의 가상 메이크업 영상 중에서 하나의 가상 메이크업 영상에 대한 선택을 나타내는 사용자 입력을 수신할 수 있다. 사용자 입력은 터치 기반 사용자 입력, 사용자의 음성 신호 기반 사용자 입력, 또는 디바이스(100)에 연결된 외부 디바이스(예를 들어, 웨어러블 디바이스)로부터 수신되는 사용자 입력을 포함할 수 있으나 본 개시에서 사용자 입력은 상술한 바로 제한되지 않는다. 예를 들어, 사용자 입력은 사용자의 제스처를 포함할 수 있다.
단계 S1103에서, 디바이스(100)는 선택된 가상 메이크업 영상에 기초한 메이크업 가이드 정보를 사용자의 얼굴 영상에 표시할 수 있다. 이 때 표시되는 메이크업 가이드 정보는 도 3의 단계 S303에서 표시되는 메이크업 가이드 정보와 유사할 수 있다. 이에 따라 사용자는 사용자가 원하는 메이크업 영상에 기초한 메이크업 가이드 정보를 사용자의 얼굴 영상에 기초하여 볼 수 있다.
도 12(a) 및 도 12(b)는 일부 실시 예에 따른 디바이스(100)가 색조 기반의 복수의 가상 메이크업 영상을 추천하는 메이크업 거울의 일례를 도시하는 도면이다.
도 12(a)를 참조하면, 디바이스(100)는 사용자의 얼굴 영상에 바이올렛 색조 기반의 가상 메이크업 영상을 디스플레이한다. 도 12(a)에서 디바이스(100)는 디바이스(100)의 화면의 한 지점을 터치하고, 우측 또는 좌측으로 드래그하는 사용자 입력을 수신할 수 있다.
도 12(a)에서, 상술한 사용자 입력을 수신함에 따라, 도 12(b)에서와 같이, 디바이스(100)는 다른 색조 기반의 가상 메이크업 영상을 디스플레이할 수 있다. 도 12(b)에서 디스플레이되고 있는 다른 색조 기반의 가상 메이크업 영상은 예를 들어, 핑크 색조 기반의 가상 메이크업 영상일 수 있으나 본 개시에서 디스플레이 될 수 있는 다른 색조 기반의 가상의 메이크업 영상은 핑크 색조 기반으로 제한되지 않는다.
도 12(b)에서, 디바이스(100)는 디바이스(100)의 화면의 한 지점을 터치하고 좌측 또는 우측으로 드래그하는 사용자 입력을 수신할 수 있다.
도 12(b)에서 상술한 사용자 입력을 수신함에 따라, 디바이스(100)는 도 12(b)에 도시된 색조 기반의 가상 메이크업 영상과 다른 색조 기반의 가상 메이크업 영상을 디스플레이할 수 있다.
디바이스(100)에 의해 제공되는 색조 기반의 가상 메이크업 영상이 도 12(a) 및 도 12(b)에 도시된 2개인 경우에, 도 12(a)에서 한 지점을 터치하고 우측으로 드래그하는 사용자 입력이 수신되면, 디바이스(100)는 도 12(b)에서와 같은 색조 기반의 메이크업 영상을 디스플레이할 수 있다. 또한, 도 12(a)에서 한 지점을 터치하고 좌측으로 드래그하는 사용자 입력이 수신되면, 디바이스(100)는 도 12(b)에서와 같은 색조 기반의 가상 메이크업 영상을 디스플레이할 수 있다.
디바이스(100)에 의해 제공되는 색조 기반의 가상 메이크업 영상이 도 12(a) 및 도 12(b)에 도시된 2개인 경우에, 도 12(b)에서 한 지점을 터치하고 좌측으로 드래그 하는 사용자 입력이 수신되면, 디바이스(100)는 도 12(a)에서와 같은 색조 기반의 메이크업 영상을 디스플레이할 수 있다. 또한, 도 12(b)에서 한 지점을 터치하고 우측으로 드래그하는 사용자 입력이 수신되면, 디바이스(100)는 도 12(a)에서와 같은 색조 기반의 가상 메이크업 영상을 디스플레이할 수 있다.
도 13(a) 및 도 13(b)는 일부 실시 예에 따른 디바이스(100)가 색조 기반의 가상 메이크업 영상을 메뉴 정보에 기초하여 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 13(a)을 참조하면, 디바이스(100)는 제공 가능한 색조 기반의 가상 메이크업 영상에 관한 메뉴 정보를 제공한다. 도 13(a)에서, 핑크 아이템에 대한 선택을 나타내는 사용자 입력이 수신되면, 디바이스(100)는 도 13(b)에서와 같은 핑크 색조 기반 가상 메이크업 영상을 제공할 수 있다.
도 14(a) 및 도 14(b)는 일부 실시 예에 따른 디바이스(100)가 4개의 색조 기반의 가상 메이크업 영상을 화면 분할 방식으로 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 14(a)를 참조하면, 디바이스(100)는 4개의 색조 기반의 가상 메이크업 영상을 제공한다. 도 14(a)에서 각 가상 메이크업 영상은 식별 정보(예를 들어, 1, 2, 3, 4)를 포함하나 이로 제한되지 않는다. 예를 들어, 각 가상 메이크업 영상은 식별 정보를 포함하지 않을 수 있다. 각 가상 메이크업 영상에 관한 식별 정보는 상술한 바로 제한되지 않는다. 예를 들어, 각 가상 메이크업 영상에 관한 식별 정보는 각 가상 메이크업 영상을 상징하는 상징어(예를 들어, 브라운, 핑크, 바이올렛, 또는 블루 등)로 표현될 수 있다.
도 14(a)에서, 하나의 가상 메이크업 영상(예를 들어, 식별 번호 “2”가 할당된 가상 메이크업 영상)을 터치하는 사용자 입력이 수신되면, 디바이스(100)는 도 14(b)에서와 같이 선택된 가상 메이크업 영상을 확대하여 하나의 화면을 통해 제공할 수 있다.
도 14(a)에서 제공되는 복수의 가상 메이크업 영상은 사용자의 얼굴 영상과 관계없는 이미지를 포함할 수 있다. 도 14(b)에서 제공되는 가상 메이크업 영상은 사용자의 얼굴 영상에 기초한다. 이에 따라 사용자는 메이크업하기 전에 사용자가 선택한 색조 기반의 가상 메이크업을 적용한 사용자의 얼굴 영상을 확인할 수 있다.
도 15(a) 및 도 15(b)는 일부 실시 예에 따른 디바이스(100)가 테마 기반의 가상 메이크업 영상 타입에 관한 정보를 제공하는 메이크업 거울의 일 예를 도시하는 도면이다.
도 15(a)를 참조하면, 테마 기반의 가상 메이크업 영상 타입은 계절, 새로움, 연예인, 인기, 직장, 데이트, 및 파티를 포함한다.
도 15(a)에서 페이지 전환을 나타내는 사용자 입력이 수신되면, 디바이스(100)는 도 15(b)에서와 같이 다른 테마 기반의 가상 메이크업 영상 타입에 관한 정보를 제공할 수 있다. 도 15(b)를 참조하면, 다른 테마 기반의 가상 메이크업 영상 타입에 관한 정보는 성형, 관상, 여행지, 드라마, 청순, 포인트, 및 성숙을 포함한다.
도 15(b)에서 페이지 전환을 나타내는 사용자 입력이 수신되면, 디바이스(100)는 또 다른 테마 기반의 가상 메이크업 영상 타입에 관한 정보를 제공할 수 있다.
상술한 페이지 전환을 나타내는 사용자 입력은 다른 테마 기반의 가상 메이크업 영상 타입에 관한 정보 요청이라고 말할 수 있다. 본 개시에서 다른 테마 기반의 가상 메이크업 영상 타입에 관한 정보 요청을 나타내는 사용자 입력은 상술한 페이지 전환을 나타내는 사용자 입력으로 제한되지 않는다. 예를 들어, 상술한 다른 테마 기반의 가상 메이크업 영상 타입에 관한 정보 요청을 나타내는 사용자 입력은 디바이스(100)를 흔들기와 같은 디바이스(100) 기반의 제스처를 포함할 수 있다.
페이지 전환을 나타내는 사용자 입력은 한 지점을 터치하고 한쪽 방향으로 드래그하는 터치 기반 사용자 입력을 포함할 수 있으나 본 개시에서 페이지 전환을 나타내는 사용자 입력은 상술한 바로 제한되지 않는다.
도 15(a) 또는 도 15(b)에서 하나의 테마 기반 가상 메이크업 영상 타입을 선택하는 사용자 입력이 수신되면, 디바이스(100)는 선택된 테마 기반 가상 메이크업 영상에 기초한 메이크업 가이드 정보를 제공할 수 있다.
선택된 테마 기반 가상 메이크업 영상 타입(예를 들어, 계절)은 하위 계층에 복수의 테마 기반 가상 메이크업 영상 타입(예를 들어, 봄, 여름, 가을, 겨울)을 포함할 수 있다.
도 16(a) 및 도 16(b)는 일부 실시 예에 따른 디바이스(100)가 선택된 테마 기반 가상 메이크업 영상 타입의 하위 계층에 등록되어 있는 복수의 테마 기반 가상 메이크업 영상 타입을 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 15(a)에서, 계절 아이템에 대한 선택을 나타내는 사용자 입력이 수신됨에 따라 디바이스(100)는 도 16(a)에서와 같은 복수의 가상 메이크업 영상 타입을 제공할 수 있다. 도 16(a)에서, 디바이스(100)는 봄, 여름, 가을, 및 겨울에 대한 가상 메이크업 영상 타입을 화면 분할 형태로 제공한다.
도 16(a)에서, 여름 아이템을 선택하는 사용자 입력이 수신되면, 디바이스(100)는, 도 14(b)에 도시된 바와 같은, 사용자의 얼굴 영상에 기초한 가상 메이크업 영상을 제공할 수 있다. 여름 아이템을 선택하는 사용자 입력은 여름 아이템에 대한 가상 메이크업 영상 타입이 표시되는 영역에 대한 롱 터치를 포함할 수 있으나 본 개시에서 여름 아이템을 선택하는 사용자 입력은 상술한 바로 제한되지 않는다.
도 15(b)에서 관상 아이템에 대한 선택을 나타내는 사용자 입력이 수신됨에 따라 디바이스(100)는 도 16(b)에서와 같은 복수의 가상 메이크업 영상 타입을 제공할 수 있다. 도 16(b)에서, 디바이스(100)는 재물, 승진, 인기, 및 취업에 대한 가상 메이크업 영상의 타입을 화면 분할 형태로 제공한다.
도 16(b)에서, 재물 아이템을 선택하는 사용자 입력이 수신되면, 디바이스(100)는, 도 14(b)에 도시된 바와 같은, 사용자의 얼굴 영상에 기초한 가상 메이크업 영상을 제공할 수 있다. 재물 아이템을 선택하는 사용자 입력은 재물에 대한 가상 메이크업 영상 타입이 표시되는 영역에 대한 롱 터치를 포함할 수 있으나 본 개시에서 사용자 입력은 상술한 바로 제한되지 않는다.
도 16(a) 및 도 16(b)에서 디바이스(100)는 가상 메이크업 영상 타입을 사용자의 얼굴 영상과 관계없는 이미지에 기초하여 제공할 수 있으나 본 개시에서 가상 메이크업 영상 타입을 제공하는 방식은 상술한 바로 제한되지 않는다. 예를 들어, 도 16(a) 및 도 16(b)에서 디바이스(100)는 사용자의 얼굴 영상에 기초한 이미지를 제공할 수 있다. 이 때, 제공되는 이미지는 실시간으로 획득된 사용자의 얼굴 영상을 포함할 수 있으나 본 개시에서 제공되는 이미지는 상술한 바로 제한되지 않는다. 예를 들어, 본 개시에서 제공되는 이미지는 사전에 저장된 사용자의 얼굴 영상을 포함할 수 있다.
도 17(a) 및 도 17(b)는 일부 실시 예에 따라 디바이스(100)가 테마 기반 가상 메이크업 영상 타입에 관한 정보를 텍스트 형태(또는 리스트 형태, 또는 메뉴 형태)로 제공하는 메이크업 거울의 일례를 도시한 도면이다.
도 17(a)에서, 리스트에 기초한 스크롤 업을 나타내는 사용자 입력이 수신되면, 디바이스(100)는, 도 17(b)에 도시된 바와 같이, 테마 기반 가상 메이크업 영상 타입에 관한 정보를 변경하면서 제공할 수 있다.
도 18는 일부 실시 예에 따라 디바이스(100)가 하나의 테마 기반 가상 메이크업 영상 타입에 관한 정보를 선택함에 따라 하위 계층에 등록되어 있는 복수의 테마 기반의 가상 메이크업 영상 타입에 관한 정보를 제공하는 메이크업 거울의 일례를 설명하는 도면이다.
도 18를 참조하면, 디바이스(100)는 계절 아이템을 선택하는 사용자 입력을 수신한다. 사용자 입력은 계절 아이템이 디스플레이되고 있는 영역에서의 터치 & 드래그를 포함할 수 있으나 본 개시에서 계절 아이템을 선택하는 사용자 입력은 상술한 바로 제한되지 않는다. 계절 아이템을 선택하는 사용자 입력이 수신되면, 디바이스(100)는 도 16(a)에서와 같이 하위 계층에 등록되어 있는 복수의 테마 기반의 가상 메이크업 영상 타입에 관한 정보(예를 들어, 봄, 여름, 가을, 겨울)을 제공할 수 있다.
도 16(a)에서 여름 아이템을 선택하는 사용자 입력이 수신되면, 디바이스(100)는 여름 기반의 가상 메이크업 영상을 제공할 수 있다. 도 16(a)에서 제공되는 가상 메이크업 영상 타입은 사용자의 얼굴 영상과 관계없는 이미지를 포함할 수 있다. 도 16(a)에서 제공되는 가상 메이크업 영상 타입은 사용자의 얼굴 영상을 포함할 수 있다. 도 16(a)에서 여름 아이템을 선택하는 사용자 입력이 수신됨에 따라 디바이스(100)에 의해 제공되는 여름 기반의 가상 메이크업 영상은 사용자의 얼굴 영상에 기초할 수 있다.
도 19(a) 및 도 19(b)는 일부 실시 예에 따라 디바이스(100)가 하나의 테마 기반 가상 메이크업 영상 타입에 관한 정보를 선택함에 따라 선택된 테마 기반의 가상 메이크업 영상에 관한 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 19(a)에서, 직장 아이템을 선택하는 사용자 입력이 수신되면, 디바이스(100)는 도 19(b)에서와 같은 직장 기반 가상 메이크업 영상을 제공할 수 있다. 도 19(b)에서, 디바이스(100)는 사용자의 얼굴 영상에 기초한 직장 기반 가상 메이크업 영상을 제공할 수 있다.
도 19(a)에서, 직장 아이템은 하위 계층에 복수의 테마 기반 가상 메이크업 영상 타입이 등록되지 않은 경우이나 본 개시에서 직장 아이템에 대한 하위 계층은 상술한 바로 제한되지 않는다. 예를 들어, 본 개시에서 직장 아이템의 하위 계층에 복수의 테마 기반 가상 메이크업 영상 타입이 등록될 수 있다. 예를 들어, 직장 아이템의 하위 계층에 직무에 따른 복수의 타입(예를 들어, 사무직, 영업직 등)이 등록될 수 있다.
도 20은 일부 실시 예에 따른 디바이스(100)가 사용자의 얼굴 특성과 환경 정보에 기초하여 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S2001에서, 디바이스(100)는 사용자의 얼굴 영상을 디스플레이할 수 있다. 이에 따라 사용자는 디바이스(100)를 이용하여 사용자의 얼굴 영상을 볼 수 있다. 디바이스(100)는 실시간으로 획득된 사용자의 얼굴 영상을 디스플레이할 수 있다. 디바이스(100)는 디바이스(100)에 포함되어 있는 카메라 애플리케이션을 실행하여 사용자의 얼굴 영상을 획득하고, 획득된 사용자의 얼굴 영상을 디스플레이할 수 있다.
또한, 디바이스(100)는 카메라 기능을 갖는 외부 디바이스(예를 들어, 스마트 시계와 같은 웨어러블 디바이스, 스마트 거울, 스마트 폰, 디지털 카메라, IoT 디바이스(예를 들어, 스마트 텔레비전, 스마트 오븐))와 통신 채널을 설정할 수 있다. 디바이스(100)는 설정된 통신 채널을 이용하여 외부 디바이스의 카메라 기능을 활성화시킬 수 있다. 디바이스(100)는 외부 디바이스에서 활성화된 카메라 기능을 이용하여 획득된 사용자의 얼굴 영상을 수신할 수 있다. 디바이스(100)는 수신된 사용자의 얼굴 영상을 디스플레이 할 수 있다. 이러한 경우에, 사용자는 디바이스(100)와 외부 디바이스를 통해 사용자의 얼굴 영상을 동시에 볼 수 있다.
사용자가 메이크업을 하기 전일 때, 도 1(a) 및 도 1(b)와 같이 디바이스(100)에 디스플레이되고 있는 사용자의 얼굴 영상은 사용자에 의해 선택된 얼굴 영상일 수 있다. 사용자는 디바이스(100)에 저장된 사용자의 얼굴 영상 중 하나를 선택할 수 있다. 사용자는 디바이스(100)에 연결된 적어도 하나의 외부 디바이스에 저장된 사용자의 얼굴 영상 중 하나를 선택할 수 있다. 외부 디바이스는 다른 디바이스라고 말할 수 있다.
디바이스(100)는 사용자의 얼굴 영상이 획득되면, 단계 S2001를 실행할 수 있다. 디바이스(100)는 사용자의 얼굴 영상이 수신되면, 단계 S2001를 실행할 수 있다. 예를 들어, 디바이스(100)가 락 상태에서 다른 디바이스로부터 사용자의 얼굴 영상이 수신되면, 디바이스(100)는 락 상태를 해제하고, 단계 S2001를 실행할 수 있다.
디바이스(100)는 디바이스(100)에서 하나의 사용자의 얼굴 영상이 선택되면, 단계 S2001를 실행할 수 있다. 일부 실시 예에 따른 디바이스(100)가 메이크업 거울 애플리케이션을 실행함에 따라 디바이스(100)는 상술한 사용자의 얼굴 영상을 획득하거나 사용자의 얼굴 영상을 수신할 수 있다.
단계 S2002에서, 디바이스(100)는 디스플레이되고 있는 사용자의 얼굴 영상에 대한 메이크업 가이드를 요청하는 사용자 입력을 수신할 수 있다. 사용자 입력은 도 1(a)에서 설명한 바와 같이 디스플레이되고 있는 사용자의 얼굴 영상과 함께 디스플레이 되고 있는 메이크업 가이드 버튼(101)에 기초하여 수신될 수 있다. 사용자 입력은 도 1(a)에서 설명한 바와 같이 사용자의 음성 신호에 기초하여 수신될 수 있다. 사용자 입력은 도 1(a)에서 설명한 바와 같이 터치 기반으로 수신될 수 있다.
또한, 메이크업 가이드를 요청하는 사용자 입력은 디바이스(100)와 관련된 동작에 기초할 수 있다. 상술한 디바이스(100)와 관련된 동작은, 예를 들어, 디바이스(100)가 메이크업 거치대(1002)에 놓이는 것을 포함할 수 있다. 즉, 디바이스(100)가 메이크업 거치대(1002)에 놓이면, 디바이스(100)는 메이크업 가이드를 요청하는 사용자 입력이 수신된 것으로 인식할 수 있다.
또한, 메이크업 가이드 요청은 디바이스(100)에 연결된 외부 디바이스(예를 들어, 스마트 워치와 같은 웨어러블 디바이스)를 이용한 사용자 입력에 기초할 수 있다.
단계 S2003에서, 디바이스(100)는 사용자의 얼굴 영상에 기초한 사용자의 얼굴 특성 정보를 검출할 수 있다. 디바이스(100)는 이미지에 기초한 얼굴 인식 알고리즘을 이용하여 사용자의 얼굴 특성 정보를 검출할 수 있다. 디바이스(100)는 피부 분석 알고리즘을 이용하여 사용자의 얼굴 특성 정보를 검출할 수 있다.
검출되는 사용자의 얼굴 특성 정보는 사용자의 얼굴형에 관한 정보를 포함할 수 있다. 상술한 검출되는 사용자의 얼굴 특성 정보는 사용자의 눈썹의 형태에 관한 정보를 포함할 수 있다. 상술한 검출되는 사용자의 얼굴 특성 정보는 사용자의 눈의 형태에 관한 정보를 포함할 수 있다.
또한, 상술한 검출되는 사용자의 얼굴 특성 정보는 사용자의 코의 형태에 관한 정보를 포함할 수 있다. 상술한 검출되는 사용자의 얼굴 특성 정보는 사용자의 입술의 형태에 관한 정보를 포함할 수 있다. 상술한 검출되는 사용자의 얼굴 특성 정보는 볼의 형태에 관한 정보를 포함할 수 있다. 상술한 검출되는 사용자의 얼굴 특성 정보는 이마의 형태에 관한 정보를 포함할 수 있다.
본 개시에서 검출되는 사용자의 얼굴 특성 정보는 상술한 바로 제한되지 않는다. 예를 들어, 검출되는 사용자의 얼굴 특성 정보는 사용자의 피부 타입 정보(예를 들어, 건성, 중성, 또는/및 지성 등)를 포함할 수 있다. 검출되는 사용자의 얼굴 특성 정보는 사용자의 피부 상태 정보(예를 들어, 피부 톤, 모공, 여드름, 색소 침착, 다크 서클, 또는 주름에 관한 정보 등)를 포함할 수 있다.
본 개시에서 환경 정보는 계절 정보를 포함할 수 있다. 상술한 환경 정보는 날씨 정보(예를 들어, 맑음, 흐림, 비, 또는/및 눈 등)를 포함할 수 있다. 상술한 환경 정보는 기온 정보를 포함할 수 있다. 상술한 환경 정보는 습도 정보(건조도 정보)를 포함할 수 있다. 상술한 환경 정보는 강수량 정보를 포함할 수 있다. 상술한 환경 정보는 바람의 세기 정보를 포함할 수 있다.
상술한 환경 정보는 디바이스(100)에 설치된 환경 정보 애플리케이션을 통해 제공될 수 있으나 본 개시에서 환경 정보는 상술한 바로 제한되지 않는다. 본 개시에서 환경 정보는 디바이스(100)에 연결된 외부 디바이스에 의해 제공될 수 있다. 외부 디바이스는 환경 정보 제공 서버, 웨어러블 디바이스, IoT 디바이스, 또는 앱세서리를 포함할 수 있으나 본 개시에서 외부 디바이스는 상술한 바로 제한되지 않는다. 앱세서리는 디바이스(100)에 설치된 애플리케이션을 실행하여 제어할 수 있는 디바이스(예를 들어, 습도기)를 말한다.
단계 S2004에서, 디바이스(100)는 사용자의 얼굴 특성 정보 및 환경 정보에 기초한 메이크업 가이드 정보를 사용자의 얼굴 영상에 표시할 수 있다. 디바이스(100)는 도 1(b)에서와 같이 점선 형태로 메이크업 가이드 정보를 사용자의 얼굴 영상에 표시할 수 있다. 이에 따라 사용자는 메이크업 가이드 정보에 의해 가려지지 않은 사용자의 얼굴 영상을 보면서 메이크업 가이드 정보를 볼 수 있다.
단계 S2004에서, 디바이스(100)는 사용자의 얼굴 특성 정보 및 환경 정보와 도 1(a)에서 설명한 기준 메이크업 가이드 정보에 기초하여 메이크업 가이드 정보를 생성할 수 있다.
도 21(a), 도 21(b), 및 도 21(c)는 일부 실시 예에 따라 환경 정보가 봄인 경우에, 디바이스(100)가 색조 기반의 메이크업 영상에 기초한 메이크업 가이드 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 21(a)를 참조하면, 디바이스(100)는 환경 정보가 봄이므로, 봄 기반의 색조 기반 가상 메이크업 영상 타입에 대한 메뉴(또는 리스트)를 제공한다. 도 21(a)에서 핑크 아이템을 선택하는 사용자 입력이 수신되면, 디바이스(100)는 도 21(b)에서와 같이 사용자의 얼굴 영상에 기초한 핑크 색조 기반의 가상의 메이크업 영상을 제공할 수 있다.
도 21(b)에서 선택 완료 버튼(2101)을 선택하는 사용자 입력이 수신되면, 디바이스(100)는 도 21(b)에서 제공된 가상의 메이크업 영상에 기초한 메이크업 가이드 정보를 도 21(c)에서와 같이 사용자의 얼굴 영상에 표시할 수 있다.
도 22(a), 도 22(b), 및 도 22(c)는 일부 실시 예에 따라 환경 정보가 봄인 경우에 디바이스(100)가 테마 기반의 가상 메이크업 영상에 기초한 메이크업 가이드 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 22(a)를 참조하면, 환경 정보가 봄이므로, 디바이스(100)는 봄 기반의 테마 기반 가상 메이크업 영상 타입에 대한 메뉴(또는 리스트)를 제공한다. 도 22(a)에서 봄 아이템을 선택하는 사용자 입력이 수신되면, 디바이스(100)는 도 22(b)에서와 같이 사용자의 얼굴 영상에 핑크 색조 기반의 가상의 메이크업 영상을 표시할 수 있다. 디바이스(100)는 도 22(a)와 도 22(b) 사이에 도 21(a)에서와 같은 색조 기반의 메이크업 영상 타입에 관한 정보를 제공할 수 있다.
도 22(b)에서, 선택 완료 버튼(2101)을 선택하는 사용자 입력이 수신되면, 디바이스(100)는 도 22(b)에서 제공된 가상의 메이크업 영상에 기초한 메이크업 가이드 정보를 도 22(c)에서와 같이 사용자의 얼굴 영상에 표시할 수 있다.
도 23은 일부 실시 예에 따른 디바이스(100)가 사용자의 얼굴 특성과 사용자 정보에 기초하여 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S2301에서, 디바이스(100)는 사용자의 얼굴 영상을 디스플레이할 수 있다. 이에 따라 사용자는 디바이스(100)를 이용하여 사용자의 얼굴 영상을 볼 수 있다. 디바이스(100)는 실시간으로 획득된 사용자의 얼굴 영상을 디스플레이할 수 있다.
디바이스(100)는 디바이스(100)에 포함되어 있는 카메라 애플리케이션을 실행하여 사용자의 얼굴 영상을 획득하고, 획득된 사용자의 얼굴 영상을 디스플레이할 수 있다. 본 개시에서 사용자의 얼굴 영상을 획득하는 방법은 상술한 바로 제한되지 않는다.
예를 들어, 디바이스(100)는 카메라 기능을 갖는 외부 디바이스(예를 들어, 스마트 시계와 같은 웨어러블 디바이스, 스마트 거울, 스마트 폰, 디지털 카메라, 또는 IoT 디바이스(예를 들어, 스마트 텔레비전, 스마트 오븐))와 통신 채널을 설정할 수 있다. 디바이스(100)는 설정된 통신 채널을 이용하여 외부 디바이스의 카메라 기능을 활성화시킬 수 있다. 디바이스(100)는 외부 디바이스에서 활성화된 카메라 기능을 이용하여 획득된 사용자의 얼굴 영상을 수신할 수 있다. 디바이스(100)는 수신된 사용자의 얼굴 영상을 디스플레이할 수 있다. 이러한 경우에, 사용자는 디바이스(100)와 외부 디바이스를 통해 사용자의 얼굴 영상을 동시에 볼 수 있다.
사용자가 메이크업을 하기 전일 때, 도 1(a) 및 도 1(b)와 같이 디바이스(100)에 디스플레이되고 있는 사용자의 얼굴 영상은 사용자에 의해 선택된 얼굴 영상일 수 있다. 사용자는 디바이스(100)에 저장된 사용자의 얼굴 영상중 하나를 선택할 수 있다. 사용자는 디바이스(100)에 연결된 적어도 하나의 외부 디바이스에 저장된 사용자의 얼굴 영상중 하나를 선택할 수 있다. 외부 디바이스는 다른 디바이스라고 말할 수 있다.
디바이스(100)는 사용자의 얼굴 영상이 획득되면, 단계 S2301를 실행할 수 있다. 디바이스(100)는 사용자의 얼굴 영상이 수신되면, 단계 S2301를 실행할 수 있다. 예를 들어, 디바이스(100)가 락 상태에서 다른 디바이스로부터 사용자의 얼굴 영상이 수신되면, 디바이스(100)는 락 상태를 해제하고, 단계 S2301을 실행할 수 있다.
디바이스(100)는 디바이스(100)에서 하나의 사용자의 얼굴 영상이 선택되면, 단계 S2301를 실행할 수 있다. 일부 실시 예에 따른 디바이스(100)가 메이크업 거울 애플리케이션을 실행함에 따라 디바이스(100)는 상술한 사용자의 얼굴 영상을 획득하거나 사용자의 얼굴 영상을 수신할 수 있다.
단계 S2302에서, 디바이스(100)는 디스플레이되고 있는 사용자의 얼굴 영상에 대한 메이크업 가이드를 요청하는 사용자 입력을 수신할 수 있다. 사용자 입력은 도 1(a)에서 설명한 바와 같이 디스플레이되고 있는 사용자의 얼굴 영상과 함께 디스플레이 되고 있는 메이크업 가이드 버튼(101)을 이용할 수 있다. 사용자 입력은 도 1(a)에서 설명한 바와 같이 사용자의 음성 신호를 이용할 수 있다. 사용자 입력은 도 1(a)에서 설명한 바와 같이 터치 기반 사용자 입력을 이용할 수 있다.
또한, 메이크업 가이드를 요청하는 사용자 입력은 디바이스(100)와 관련된 동작에 기초할 수 있다. 상술한 디바이스(100)와 관련된 동작은, 예를 들어, 디바이스(100)가 메이크업 거치대(1002)에 놓이는 것을 포함할 수 있다. 즉, 디바이스(100)가 메이크업 거치대(1002)에 놓이면, 디바이스(100)는 메이크업 가이드를 요청하는 사용자 입력이 수신된 것으로 인식할 수 있다.
또한, 메이크업 가이드 요청은 디바이스(100)에 연결된 외부 디바이스(예를 들어, 스마트 워치와 같은 웨어러블 디바이스)를 이용한 사용자 입력에 기초할 수 있다.
단계 S2303에서, 디바이스(100)는 사용자의 얼굴 영상에 기초한 사용자의 얼굴 특성 정보를 검출한다. 디바이스(100)는 이미지에 기초한 얼굴 인식 알고리즘을 이용하여 사용자의 얼굴 특성 정보를 검출할 수 있다. 디바이스(100)는 피부 분석 알고리즘을 이용하여 사용자의 얼굴 특성 정보를 검출할 수 있다.
검출되는 사용자의 얼굴 특성 정보는 사용자의 얼굴형에 관한 정보를 포함할 수 있다. 상술한 검출되는 사용자의 얼굴 특성 정보는 사용자의 눈썹의 형태에 관한 정보를 포함할 수 있다. 상술한 검출되는 사용자의 얼굴 특성 정보는 사용자의 눈의 형태에 관한 정보를 포함할 수 있다.
또한, 상술한 검출되는 사용자의 얼굴 특성 정보는 사용자의 코의 형태에 관한 정보를 포함할 수 있다. 상술한 검출되는 사용자의 얼굴 특성 정보는 사용자의 입술의 형태에 관한 정보를 포함할 수 있다. 상술한 검출되는 사용자의 얼굴 특성 정보는 볼의 형태에 관한 정보를 포함할 수 있다. 상술한 검출되는 사용자의 얼굴 특성 정보는 이마의 형태에 관한 정보를 포함할 수 있다.
본 개시에서 사용자의 얼굴 특성 정보는 상술한 바로 제한되지 않는다. 예를 들어, 본 개시에서 사용자의 얼굴 특성 정보는 사용자의 피부 타입 정보(예를 들어, 건성, 중성, 또는/및 지성 등)를 포함할 수 있다. 본 개시에서 사용자의 얼굴 특성 정보는 사용자의 피부 상태 정보(예를 들어, 피부 톤, 모공, 여드름, 색소 침착, 다크 서클, 또는/및 주름에 관한 정 등)를 포함할 수 있다.
본 개시에서 사용자 정보는 사용자의 나이 정보를 포함할 수 있다. 상술한 사용자 정보는 사용자의 성별 정보를 포함할 수 있다. 상술한 사용자 정보는 사용자의 인종 정보를 포함할 수 있다. 상술한 사용자 정보는 사용자에 의해 입력된 사용자의 피부 정보를 포함할 수 있다. 상술한 사용자 정보는 사용자의 취미에 관한 정보를 포함할 수 있다.
또한, 본 개시에서 사용자 정보는 사용자의 선호도에 관한 정보를 포함할 수 있다. 상술한 사용자 정보는 사용자의 직업에 관한 정보를 포함할 수 있다. 상술한 사용자 정보는 사용자의 스케줄 정보를 포함할 수 있다. 상술한 사용자의 스케줄 정보는 사용자의 운동 시간 정보를 포함할 수 있다. 상술한 사용자의 스케줄 정보는 사용자의 피부과 방문 시간과 피부과 방문 시 치료 내용에 관한 정보를 포함할 수 있다. 본 개시에서 사용자의 스케줄 정보는 상술한 바로 제한되지 않는다.
본 개시에서 사용자 정보는 디바이스(100)에 설치된 사용자 정보 관리 애플리케이션을 통해 제공될 수 있으나 본 개시에서 사용자 정보를 제공하는 방법은 상술한 바로 제한되지 않는다. 상술한 사용자 정보 관리 애플리케이션은 라이프 로그 애플레이션을 포함할 수 있다. 상술한 사용자 정보 관리 애플리케이션은 PIMS(Personal Information Management System)에 대응되는 애플리케이션을 포함할 수 있다. 상술한 사용자 정보 관리 애플리케이션은 상술한 바로 제한되지 않는다.
본 개시에서 사용자 정보는 디바이스(100)에 연결된 외부 디바이스에 의해 제공될 수 있다. 외부 디바이스는 사용자 정보 관리 서버, 웨어러블 디바이스, IoT 디바이스, 또는 앱세서리를 포함할 수 있으나 본 개시에서 외부 디바이스는 상술한 바로 제한되지 않는다.
단계 S2304에서, 디바이스(100)는 사용자의 얼굴 특성 정보 및 환경 정보에 기초한 메이크업 가이드 정보를 사용자의 얼굴 영상에 표시할 수 있다. 디바이스(100)는 도 1(b)에서와 같이 점선 형태로 메이크업 가이드 정보를 사용자의 얼굴 영상에 표시할 수 있다. 이에 따라 사용자는 메이크업 가이드 정보에 의해 가려지지 않은 사용자의 얼굴 영상을 보면서 메이크업 가이드 정보를 볼 수 있다.
단계 S2304에서, 디바이스(100)는 사용자의 얼굴 특성 정보 및 사용자 정보와 도 1(a)에서 설명한 기준 메이크업 가이드 정보에 기초하여 메이크업 가이드 정보를 생성할 수 있다.
단계 S2304에서, 디바이스(100)는 사용자가 남자인 경우와 여자인 경우에 다른 메이크업 가이드 정보를 제공할 수 있다. 사용자가 남자인 경우에, 디바이스(100)는 사용자의 얼굴 영상에 피부 개선 기반 메이크업 가이드 정보를 표시할 수 있다.
도 24(a), 도 24(b), 및 도 24(c)는 일부 실시 예에 따라 디바이스(100)가 사용자가 학생인 경우에 테마 기반 가상 메이크업 영상을 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 24(a)를 참조하면, 사용자의 직업이 학생이므로, 디바이스(100)는 직장 아이템 대신 학교 아이템을 포함하는 테마 기반 가상 메이크업 영상 타입에 관한 메뉴 정보를 제공할 수 있다.
도 24(a)에서 학교 아이템을 선택하는 사용자 입력이 수신되면, 디바이스(100)는 도 24(b)에서와 같이 사용자의 얼굴 영상에 메이크업을 거의 하지 않은 가상의 메이크업 영상을 제공할 수 있다. 도 24(b)에서, 디바이스(100)는 피부 개선 메이크업 영상을 제공할 수 있다.
도 24(b)에서, 선택 완료 버튼(2101)을 선택하는 사용자 입력이 수신되면, 디바이스(100)는 도 24(b)에서 제공된 가상의 메이크업 영상에 기초한 메이크업 가이드 정보를 도 24(c)에서와 같이 사용자의 얼굴 영상에 표시할 수 있다.
도 25는 일부 실시 예에 따른 디바이스(100)가 사용자의 얼굴 특성, 환경 정보 및 사용자 정보에 기초하여 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트 하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S2501에서, 디바이스(100)는 사용자의 얼굴 영상을 디스플레이할 수 있다. 이에 따라 사용자는 디바이스(100)를 이용하여 사용자의 얼굴 영상을 볼 수 있다. 디바이스(100)는 실시간으로 획득된 사용자의 얼굴 영상을 디스플레이할 수 있다. 디바이스(100)는 디바이스(100)에 포함되어 있는 카메라 애플리케이션을 실행하여 사용자의 얼굴 영상을 획득하고, 획득된 사용자의 얼굴 영상을 디스플레이할 수 있다. 본 개시에서 사용자의 얼굴 영상을 획득하는 방법은 상술한 바로 제한되지 않는다.
예를 들어, 디바이스(100)는 카메라 기능을 갖는 외부 디바이스(예를 들어, 스마트 시계와 같은 웨어러블 디바이스, 스마트 거울, 스마트 폰, 디지털 카메라, 또는 IoT 디바이스(예를 들어, 스마트 텔레비전, 스마트 오븐))와 통신 채널을 설정할 수 있다. 디바이스(100)는 설정된 통신 채널을 이용하여 외부 디바이스의 카메라 기능을 활성화시킬 수 있다. 디바이스(100)는 외부 디바이스에서 활성화된 카메라 기능을 이용하여 획득된 사용자의 얼굴 영상을 수신할 수 있다. 디바이스(100)는 수신된 사용자의 얼굴 영상을 디스플레이할 수 있다. 이러한 경우에, 사용자는 디바이스(100)와 외부 디바이스를 통해 사용자의 얼굴 영상을 동시에 볼 수 있다.
사용자가 메이크업을 하기 전일 때, 도 1(a) 및 도 1(b)와 같이 디바이스(100)에 디스플레이되고 있는 사용자의 얼굴 영상은 사용자에 의해 선택된 얼굴 영상일 수 있다. 사용자는 디바이스(100)에 저장된 사용자의 얼굴 영상 중 하나를 선택할 수 있다. 사용자는 디바이스(100)에 연결된 적어도 하나의 외부 디바이스에 저장된 사용자의 얼굴 영상중 하나를 선택할 수 있다. 외부 디바이스는 다른 디바이스라고 말할 수 있다.
디바이스(100)는 사용자의 얼굴 영상이 획득되면, 단계 S2501를 실행할 수 있다. 디바이스(100)는 사용자의 얼굴 영상이 수신되면, 단계 S2501를 실행할 수 있다. 예를 들어, 디바이스(100)가 락 상태에서 다른 디바이스로부터 사용자의 얼굴 영상이 수신되면, 디바이스(100)는 락 상태를 해제하고, 단계 S2501을 실행할 수 있다.
디바이스(100)는 디바이스(100)에서 하나의 사용자의 얼굴 영상이 선택되면, 단계 S2501를 실행할 수 있다. 일부 실시 예에 따른 디바이스(100)가 메이크업 거울 애플리케이션을 실행함에 따라 디바이스(100)는 상술한 사용자의 얼굴 영상을 획득하거나 사용자의 얼굴 영상을 수신할 수 있다.
단계 S2502에서, 디바이스(100)는 디스플레이되고 있는 사용자의 얼굴 영상에 대한 메이크업 가이드를 요청하는 사용자 입력을 수신할 수 있다. 사용자 입력은 도 1(a)에서 설명한 바와 같이 디스플레이되고 있는 사용자의 얼굴 영상과 함께 디스플레이 되고 있는 메이크업 가이드 버튼(101)에 기초하여 수신될 수 있다. 사용자 입력은 도 1(a)에서 설명한 바와 같이 사용자의 음성 신호에 기초하여 수신될 수 있다. 사용자 입력은 도 1(a)에서 설명한 바와 같이 터치에 기초하여 수신될 수 있다.
또한, 메이크업 가이드를 요청하는 사용자 입력은 디바이스(100)와 관련된 동작에 기초할 수 있다. 상술한 디바이스(100)와 관련된 동작은, 예를 들어, 디바이스(100)가 메이크업 거치대(1002)에 놓이는 것을 포함할 수 있다. 즉, 디바이스(100)가 메이크업 거치대(1002)에 놓이면, 디바이스(100)는 메이크업 가이드를 요청하는 사용자 입력이 수신된 것으로 인식할 수 있다.
또한, 메이크업 가이드 요청은 디바이스(100)에 연결된 외부 디바이스(예를 들어, 스마트 워치와 같은 웨어러블 디바이스)를 이용한 사용자 입력에 기초할 수 있다.
단계 S2503에서, 디바이스(100)는 사용자의 얼굴 영상에 기초한 사용자의 얼굴 특성 정보를 검출할 수 있다. 디바이스(100)는 이미지에 기초한 얼굴 인식 알고리즘을 이용하여 사용자의 얼굴 특성 정보를 검출할 수 있다.
상술한 검출되는 사용자의 얼굴 특성 정보는 사용자의 얼굴형에 관한 정보를 포함할 수 있다. 상술한 검출되는 사용자의 얼굴 특성 정보는 사용자의 눈썹의 형태에 관한 정보를 포함할 수 있다. 상술한 검출되는 사용자의 얼굴 특성 정보는 사용자의 눈의 형태에 관한 정보를 포함할 수 있다.
또한, 상술한 검출되는 사용자의 얼굴 특성 정보는 사용자의 코의 형태에 관한 정보를 포함할 수 있다. 상술한 검출되는 사용자의 얼굴 특성 정보는 사용자의 입술의 형태에 관한 정보를 포함할 수 있다. 상술한 검출되는 사용자의 얼굴 특성 정보는 볼의 형태에 관한 정보를 포함할 수 있다. 상술한 검출되는 사용자의 얼굴 특성 정보는 이마의 형태에 관한 정보를 포함할 수 있다.
본 개시에서 상술한 검출되는 사용자의 얼굴 특성 정보는 상술한 바로 제한되지 않는다. 예를 들어, 상술한 검출되는 사용자의 얼굴 특성 정보는 사용자의 피부 타입 정보(예를 들어, 건성, 중성, 또는/및 지성 등)를 포함할 수 있다. 상술한 검출되는 사용자의 얼굴 특성 정보는 사용자의 피부 상태 정보(예를 들어, 피부 톤, 모공, 여드름, 색소 침착, 다크 서클, 또는/및 주름에 관한 정보 등)를 포함할 수 있다.
본 개시에서 환경 정보는 계절 정보를 포함할 수 있다. 상술한 환경 정보는 날씨 정보(예를 들어, 맑음, 흐림, 비, 또는 눈 등)를 포함할 수 있다. 상술한 환경 정보는 기온 정보를 포함할 수 있다. 상술한 환경 정보는 습도 정보(건조도 정보)를 포함할 수 있다. 환경 정보는 강수량 정보를 포함할 수 있다. 상술한 환경 정보는 바람의 세기 정보를 포함할 수 있다.
본 개시에서 환경 정보는 디바이스(100)에 설치된 환경 정보 애플리케이션을 통해 제공될 수 있으나 본 개시에서 환경 정보를 제공하는 방식은 상술한 바로 제한되지 않는다. 본 개시에서 환경 정보는 디바이스(100)에 연결된 외부 디바이스에 의해 제공될 수 있다. 외부 디바이스는 환경 정보 제공 서버, 웨어러블 디바이스, IoT 디바이스, 또는 앱세서리를 포함할 수 있으나 본 개시에서 외부 디바이스는 상술한 바로 제한되지 않는다.
본 개시에서 사용자 정보는 사용자의 나이 정보를 포함할 수 있다. 본 개시에서 사용자 정보는 사용자의 성별 정보를 포함할 수 있다. 본 개시에서 사용자 정보는 사용자의 인종 정보를 포함할 수 있다. 본 개시에서 사용자 정보는 사용자에 의해 입력된 사용자의 피부 정보를 포함할 수 있다. 본 개시에서 사용자 정보는 사용자의 취미에 관한 정보를 포함할 수 있다. 본 개시에서 사용자 정보는 사용자의 선호도에 관한 정보를 포함할 수 있다. 본 개시에서 사용자 정보는 사용자의 직업에 관한 정보를 포함할 수 있다.
본 개시에서 사용자 정보는 디바이스(100)에 설치된 사용자 정보 관리 애플리케이션을 통해 제공될 수 있으나 본 개시에서 사용자 정보는 상술한 바로 제한되지 않는다. 사용자 정보 관리 애플리케이션은 라이프 로그 애플리케이션을 포함할 수 있다. 사용자 정보 관리 애플리케이션은 PIMS(Personal Information Management System)에 대응되는 애플리케이션을 포함할 수 있다. 사용자 정보 관리 애플리케이션은 상술한 바로 제한되지 않는다.
본 개시에서 사용자 정보는 디바이스(100)에 연결된 외부 디바이스에 의해 제공될 수 있다. 본 개시에서 외부 디바이스는 사용자 정보 관리 서버, 웨어러블 디바이스, IoT 디바이스, 또는 앱세서리를 포함할 수 있으나 본 개시에서 외부 디바이스는 상술한 바로 제한되지 않는다.
단계 S2504에서, 디바이스(100)는 사용자의 얼굴 특성 정보, 환경 정보, 및 사용자 정보에 기초한 메이크업 가이드 정보를 사용자의 얼굴 영상에 표시할 수 있다. 디바이스(100)는 도 1(b)에서와 같이 점선 형태로 메이크업 가이드 정보를 사용자의 얼굴 영상에 표시할 수 있다. 이에 따라 사용자는 메이크업 가이드 정보에 의해 가려지지 않은 사용자의 얼굴 영상을 보면서 메이크업 가이드 정보를 볼 수 있다.
단계 S2504에서, 디바이스(100)는 사용자의 얼굴 특성 정보, 환경 정보 및 사용자 정보와 도 1(a)에서 설명한 기준 메이크업 가이드 정보에 기초하여 메이크업 가이드 정보를 생성할 수 있다.
도 26은 일부 실시 예에 따른 디바이스(100)가 테마 기반 메이크업 가이드 정보를 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트 하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S2601에서, 디바이스(100)는 테마 정보를 제공한다. 테마 정보는 디바이스(100)에 사전에 설정될 수 있다. 테마 정보는 계절 정보(예를 들어, 봄, 여름, 가을, 또는/및 겨울)를 포함할 수 있다. 테마 정보는 인기(예를 들어, 사용자의 선호, 사용자의 지인이 선호, 현재 가장 인기, 또는 현재 가장 인기 있는 블러그의 핫) 정보를 포함할 수 있다.
또한, 본 개시에서 테마 정보는 연예인 정보를 포함할 수 있다. 본 개시에서 테마 정보는 직장 정보를 포함할 수 있다. 본 개시에서 테마 정보는 데이트 정보를 포함할 수 있다. 본 개시에서 테마 정보는 파티 정보를 포함할 수 있다.
본 개시에서 테마 정보는 여행지(예를 들어, 바다, 산, 또는/및 유적지 등) 정보를 포함할 수 있다. 본 개시에서 테마 정보는 새로움(또는 가장 최근) 정보를 포함할 수 있다. 본 개시에서 테마 정보는 관상 정보(예를 들어, 재물 운, 승진 운, 인기 운, 취업 운, 시험 운, 또는/및 결혼 운 등)를 포함할 수 있다.
본 개시에서 테마 정보는 청순 정보를 포함할 수 있다. 본 개시에서 테마 정보는 성숙 정보를 포함할 수 있다. 본 개시에서 테마 정보는 포인트(예를 들어, 눈, 코, 입, 및/또는 볼) 정보를 포함할 수 있다. 본 개시에서 테마 정보는 드라마 정보를 포함할 수 있다.
본 개시에서 테마 정보는 영화 정보를 포함할 수 있다. 본 개시에서 테마 정보는 성형(예를 들어, 눈매 교정, 턱 교정, 입술 교정, 코 교정, 및/또는 볼 교정 등) 정보를 포함할 수 있다. 본 개시에서 테마 정보는 상술한 바로 제한되지 않는다.
본 개시에서 테마 정보는 텍스트 기반 리스트로 제공될 수 있다. 본 개시에서 테마 정보는 이미지 기반 리스트로 제공될 수 있다. 본 개시에서 테마 정보에 포함되는 이미지는 아이콘, 대표 이미지, 또는 썸네일 이미지로 구성될 수 있으나 본 개시에서 테마 정보에 포함되는 이미지는 상술한 바로 제한되지 않는다.
디바이스(100)에 연결된 외부 디바이스는 테마 정보를 디바이스(100)로 제공할 수 있다. 디바이스(100)의 요청에 따라 외부 디바이스는 테마 정보를 디바이스(100)로 제공할 수 있다. 디바이스(100)의 요청과 관계없이 외부 디바이스는 테마 정보를 디바이스(100)로 제공할 수 있다.
디바이스(100)의 센싱 결과(예를 들어, 사용자의 얼굴 영상에 대한 디스플레이가 감지됨)를 외부 디바이스로 전송함에 따라 외부 디바이스는 테마 정보를 디바이스(100)로 제공할 수 있다. 본 개시에서 테마 정보가 제공되는 조건은 상술한 바로 제한되지 않는다.
단계 S2602에서, 디바이스(100)는 테마 정보 선택을 나타내는 사용자 입력을 수신할 수 있다. 상술한 사용자 입력은 터치 기반 사용자 입력을 포함할 수 있다. 상술한 사용자 입력은 사용자 음성 신호 기반 사용자 입력을 포함할 수 있다. 상술한 사용자 입력은 외부 디바이스 기반 사용자 입력을 포함할 수 있다. 상술한 사용자 입력은 사용자의 제스처 기반 사용자 입력을 포함할 수 있다. 상술한 사용자 입력은 디바이스(100)의 동작 기반 사용자 입력을 포함할 수 있다.
단계 S2603에서, 디바이스(100)는 선택된 테마 정보에 따른 메이크업 가이드 정보를 사용자의 얼굴 영상에 표시할 수 있다.
도 27(a) 및 도 27(b)는 일부 실시 예에 따라 디바이스(100)가 테마 정보를 제공하고, 선택된 테마 정보에 기초하여 메이크업 가이드 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 27(a)를 참조하면, 디바이스(100)는 사용자의 얼굴 영상이 디스플레이되고 있는 화면에 테마 트레이(2701)를 오픈한다. 테마 트레이(2701)는 사용자 입력에 따라 오픈 될 수 있다. 테마 트레이(2701)를 오픈 하기 위한 사용자 입력은 디바이스(100)의 최 좌측하단 모서리를 터치하고 우측방향으로 드래그하는 것을 포함할 수 있다. 또는, 상술한 테마 트레이(2701)를 오픈 하기 위한 사용자 입력은 디바이스(100)의 최 하단의 한 지점을 터치하고 디바이스(100)의 상단 방향으로 드래그하는 것을 포함할 수 있다. 또는, 상술한 테마 트레이(2701)를 오픈 하기 위한 사용자 입력은 디바이스(100)의 최 우측하단 모서리를 터치하고 좌측방향으로 드래그하는 것을 포함할 수 있다. 본 개시에서 테마 트레이(2701)를 오픈 하기 위한 사용자 입력은 상술한 바로 제한되지 않는다.
테마 트레이(2701)를 통해 디바이스(100)는 도 26의 단계 S2601에서 설명한 테마 정보를 제공할 수 있다. 오픈 된 테마 트레이(2701)의 한 지점을 터치한 후, 좌측 또는 우측으로 드래그하는 사용자 입력이 수신됨에 따라 디바이스(100)는 테마 트레이(2701)에 포함된 테마 정보를 좌측 또는 우측으로 스크롤하면서 테마 트레이(2701)에 포함되어 있는 테마 정보들을 표시할 수 있다. 이에 따라 사용자는 다양한 테마 정보를 볼 수 있다.
도 27(a)에서, 직장 아이템에 대한 선택을 나타내는 사용자 입력이 수신되면, 디바이스(100)는 도 27(b)에서와 같은 직장 기반의 메이크업 가이드 정보를 사용자의 얼굴 영상에 표시할 수 있다.
도 28(a) 및 도 28(b)는 일부 실시 예에 따라 디바이스(100)가 테마 트레이(2701)에 기초한 테마 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 28(a)와 같이 오픈 된 테마 트레이(2701)를 터치한 상태에서 디바이스(100)의 상단으로 드래그하는 사용자 입력이 수신되면, 디바이스(100)는 도 28(b)에서와 같이 테마 트레이(2701)의 오픈 영역을 확대시키면서 다른 테마 정보를 더 표시할 수 있다. 본 개시에서 테마 정보는 테마 아이템으로 표현할 수 있다.
도 29는 일부 실시 예에 따른 디바이스(100)가 테마 기반 가상 메이크업 영상에 기초한 메이크업 가이드 정보를 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트 하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S2901에서, 디바이스(100)는 테마 정보를 제공할 수 있다. 상술한 테마 정보는 디바이스(100)에 사전에 설정될 수 있다. 상술한 테마 정보는 계절 정보(예를 들어, 봄, 여름, 가을, 또는/및 겨울)를 포함할 수 있다. 상술한 테마 정보는 인기(예를 들어, 사용자의 선호, 사용자의 지인이 선호, 현재 가장 인기, 또는 현재 가장 인기 있는 블러그의 핫) 정보를 포함할 수 있다.
또한, 상술한 테마 정보는 연예인 정보를 포함할 수 있다. 상술한 테마 정보는 직장 정보를 포함할 수 있다. 상술한 테마 정보는 데이트 정보를 포함할 수 있다. 상술한 테마 정보는 파티 정보를 포함할 수 있다.
또한, 상술한 테마 정보는 여행지(예를 들어, 바다, 산, 또는/및 유적지 등) 정보를 포함할 수 있다. 상술한 테마 정보는 새로움(또는 가장 최근) 정보를 포함할 수 있다. 상술한 테마 정보는 관상 정보(예를 들어, 재물 운, 승진 운, 인기 운, 취업 운, 시험 운, 또는/및 결혼 운 등)를 포함할 수 있다.
또한, 상술한 테마 정보는 청순 정보를 포함할 수 있다. 상술한 테마 정보는 성숙 정보를 포함할 수 있다. 상술한 테마 정보는 포인트(예를 들어, 눈, 코, 입, 및/또는 볼) 정보를 포함할 수 있다. 상술한 테마 정보는 드라마 정보를 포함할 수 있다.
또한, 상술한 테마 정보는 영화 정보를 포함할 수 있다. 상술한 테마 정보는 성형(예를 들어, 눈매 교정, 턱 교정, 입술 교정, 코 교정, 및/또는 볼 교정 등) 정보를 포함할 수 있다. 본 개시에서 테마 정보는 상술한 바로 제한되지 않는다.
본 개시에서 테마 정보는 텍스트 기반 리스트로 제공될 수 있다. 본 개시에서 테마 정보는 이미지 기반 리스트로 제공될 수 있다. 본 개시에서 테마 정보에 포함되는 이미지는 아이콘, 대표 이미지, 또는 썸네일 이미지로 구성될 수 있다.
단계 S2902에서, 디바이스(100)는 테마 정보 선택을 나타내는 사용자 입력을 수신할 수 있다. 상술한 사용자 입력은 터치 기반 사용자 입력을 포함할 수 있다. 상술한 사용자 입력은 사용자 음성 신호 기반 사용자 입력을 포함할 수 있다. 상술한 사용자 입력은 외부 디바이스 기반 사용자 입력을 포함할 수 있다. 상술한 사용자 입력은 사용자의 제스처 기반 사용자 입력을 포함할 수 있다. 상술한 사용자 입력은 디바이스(100)의 동작 기반 사용자 입력을 포함할 수 있다.
단계 S2903에서, 디바이스(100)는 선택된 테마 정보에 따른 가상 메이크업 영상을 디스플레이할 수 있다. 가상 메이크업 영상은 사용자의 얼굴 영상에 기초할 수 있다.
단계 S2904에서, 디바이스(100)는 선택 완료를 나타내는 사용자 입력을 수신할 수 있다. 상술한 선택 완료를 나타내는 사용자 입력은 디바이스(100)의 화면상에 표시되는 버튼에 대한 터치 기반일 수 있다. 상술한 선택 완료를 나타내는 사용자 입력은 사용자의 음성 신호 기반일 수 있다. 상술한 선택 완료를 나타내는 사용자 입력은 사용자의 제스처 기반일 수 있다. 상술한 선택 완료를 나타내는 사용자 입력은 디바이스(100)의 동작 기반일 수 있다.
단계 S2905에서, 디바이스(100)는 단계 S2904에서 사용자 입력이 수신됨에 따라 가상 메이크업 영상에 기초한 메이크업 가이드 정보를 사용자의 얼굴 영상에 표시할 수 있다.
도 30은 일부 실시 예에 따른 디바이스(100)가 사용자의 얼굴 영상의 좌우 대칭 메이크업 가이드 정보를 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S3001에서, 디바이스(100)는 사용자의 얼굴 영상에 기초한 좌우 대칭 기준선(이하 기준선이라 약함)에 따른 좌우 대칭 메이크업 가이드 정보를 사용자의 얼굴 영상에 표시할 수 있다. 상술한 기준선은 사용자의 코 끝을 기준으로 사용자의 이마에서 턱 선까지 일직선으로 표현될 수 있으나 본 개시에서 기준선은 상술한 바로 제한되지 않는다. 본 개시에서 기준선은 사용자의 얼굴 영상에 표시될 수 있으나 이로 제한되지 않는다. 예를 들어, 본 개시에서 기준선은 사용자의 얼굴 영상에 표시되지 않고, 디바이스(100)에 의해 관리될 수 있다.
디바이스(100)는 사용자 입력에 따라 기준선에 대한 표시 여부를 결정할 수 있다. 예를 들어, 디스플레이 되고 있는 사용자의 얼굴 영상에 포함된 코에 대한 터치 기반 사용자 입력이 수신되면, 디바이스(100)는 기준선을 표시할 수 있다. 디스플레이 되고 있는 사용자의 얼굴 영상에 기준선이 표시되고 있는 상태에서, 기준선에 대한 터치 기반 사용자 입력이 수신되면, 디바이스(100)는 기준선을 표시하지 않을 수 있다. 기준선을 표시하지 않는 것은 기준선을 가리는 것이라고 말할 수 있다.
단계 S3002에서, 사용자의 좌측 얼굴에 메이크업이 시작되면, 단계 S3003에서, 디바이스(100)는 디스플레이 되고 있는 사용자의 우측 얼굴 영상에 표시되고 있는 메이크업 가이드 정보를 삭제할 수 있다.
디바이스(100)는 실시간으로 획득되거나 수신되는 사용자의 얼굴 영상에서 메이크업 도구의 움직임을 검출하여 사용자의 좌측 얼굴에 대한 메이크업 시작 여부를 판단할 수 있으나 본 개시에서 사용자의 좌측 얼굴에 대한 메이크업 시작 여부를 판단하는 방식은 상술한 바로 제한되지 않는다.
예를 들어, 디바이스(100)는 실시간으로 획득되거나 수신되는 사용자의 얼굴 영상에서 메이크업 도구의 끝 부분을 검출함에 따라 사용자의 좌측 얼굴에 대한 메이크업 시작 여부를 판단할 수 있다.
또한, 디바이스(100)는 실시간으로 획득되거나 수신되는 사용자의 얼굴 영상에서 메이크업 도구의 끝 부분 검출 및 메이크업 도구의 움직임 검출에 기초하여 사용자의 좌측 얼굴에 대한 메이크업 시작 여부를 판단할 수 있다.
또한, 디바이스(100)는 실시간으로 획득되거나 수신되는 사용자의 얼굴 영상에서 손가락 끝 부분 검출 및 움직임 검출에 기초하여 사용자의 좌측 얼굴에 대한 메이크업 시작 여부를 판단할 수 있다.
단계 S3004에서, 사용자의 좌측 얼굴에 대한 메이크업이 완료되면, 단계 S3005에서 디바이스(100)는 사용자의 좌측 얼굴에 대한 메이크업 결과를 검출할 수 있다.
예를 들어, 디바이스(100)는 카메라를 이용하여 실시간으로 획득되는 사용자의 얼굴 영상에서 기준선에 기초하여 좌측 얼굴 영상과 우측 얼굴 영상을 비교할 수 있다. 디바이스(100)는 비교 결과에 따라 좌측 얼굴에 대한 메이크업 결과를 검출할 수 있다. 좌측 얼굴에 대한 메이크업 결과는 픽셀단위의 색차 정보에 기초한 메이크업 영역 정보를 포함할 수 있다. 본 개시에서 좌측 얼굴에 대한 메이크업 결과를 검출하는 방식은 상술한 바로 제한되지 않는다.
단계 S3006에서, 디바이스(100)는 단계 S3005에서 검출된 좌측 얼굴에 대한 메이크업 결과에 기초하여 사용자의 우측 얼굴 영상에 메이크업 가이드 정보를 표시할 수 있다. 단계 S3006에서, 디바이스(100)는 단계 S3005에서 검출된 좌측 얼굴에 대한 메이크업 결과를 사용자의 우측 얼굴 영상에 맞게 조정할 수 있다. 상술한 단계 S3005에서 검출된 좌측 얼굴에 대한 메이크업 결과를 사용자의 우측 얼굴 영상에 맞게 조정하는 것은 좌측 얼굴에 대한 메이크업 결과를 사용자의 우측 얼굴 영상의 메이크업 가이드 정보로 변환하는 것을 말할 수 있다.
단계 S3006에서, 디바이스(100)는 단계 S3005에서 검출된 좌측 얼굴에 대한 메이크업 결과에 기초하여 사용자의 우측 얼굴 영상의 메이크업 가이드 정보를 생성할 수 있다.
사용자는 디바이스(100)에 의해 디스플레이 되고 있는 사용자의 우측 얼굴 영상에 표시되고 있는 메이크업 가이드 정보에 기초하여 우측 얼굴에 대한 메이크업을 할 수 있다.
도 30은 사용자의 우측 얼굴에 대한 메이크업 결과에 기초하여 사용자의 좌측 얼굴 영상의 메이크업 가이드 정보를 표시하도록 변형될 수 있다.
도 31(a), 도 31(b), 및 도 31(c)는 일부 실시 예에 따라 디바이스(100)가 좌우 대칭 기준선(이하 기준선이라 약함)에 기초하여 좌우 대칭 메이크업 가이드 정보를 표시하는 메이크업 거울의 일례를 도시한 도면이다.
도 31(a)에서 디바이스(100)는 디스플레이 되고 있는 사용자의 얼굴 영상에 대해 기준선(3101)에 기초하여 좌측 메이크업 가이드 정보와 우측 메이크업 가이드 정보를 사용자의 얼굴 영상에 표시한다. 도 31(a)에서 좌측과 우측은 디바이스(100)를 바라보는 사용자를 기준으로 한다. 기준선(3101)은 사용자의 얼굴 영상에 표시되지 않을 수 있다.
도 31(b)에서와 같이, 메이크업 도구(예를 들어, 눈썹 브러쉬)(3102)의 끝 또는/및 메이크업 도구의 움직임이 사용자의 좌측 얼굴 영상에서 검출되면, 디바이스(100)는 사용자의 좌측 얼굴 영상에 표시되고 있는 메이크업 가이드 정보에 대한 표시 상태를 유지하고, 사용자의 우측 얼굴 영상에 표시되고 있는 메이크업 가이드 정보를 삭제할 수 있다.
사용자의 좌측 얼굴에 대한 메이크업이 완료되면, 디바이스(100)는 도 31(c)에서와 같이 기준선(3101)에 기초하여 사용자의 좌측 얼굴 영상으로부터 좌측 얼굴에 대한 메이크업 정보를 검출할 수 있다. 디바이스(100)는 검출된 좌측 얼굴에 대한 메이크업 정보를 사용자의 우측 얼굴 영상에 대한 메이크업 가이드 정보로 변경할 수 있다. 디바이스(100)는 사용자의 우측 얼굴 영상에 대한 메이크업 가이드 정보를 사용자의 우측 얼굴 영상에 표시할 수 있다.
도 32는 일부 실시 예에 따른 디바이스(100)가 사용자의 얼굴 영상에서 관심 영역을 검출하고 확대하는 메이크업 거울 제공 방법에 대한 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트 하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S3201에서, 디바이스(100)는 사용자의 얼굴 영상을 디스플레이할 수 있다. 단계 S3201에서, 디바이스(100)는 도 1(b)에서와 같이 메이크업 가이드 정보가 표시된 사용자의 얼굴 영상을 디스플레이할 수 있다. 단계 S3201에서 디바이스(100)는 메이크업 가이드 정보가 표시되지 않은 사용자의 얼굴 영상을 디스플레이할 수 있다.
또한, 단계 S3201에서, 디바이스(100)는 실시간으로 획득되거나 수신되는 사용자의 얼굴 영상을 디스플레이할 수 있다. 단계 S3201에서, 디바이스(100)는 메이크업 전의 사용자의 얼굴 영상을 디스플레이할 수 있다. 단계 S3201에서, 디바이스(100)는 메이크업 중인 사용자의 얼굴 영상을 디스플레이할 수 있다. 단계 S3201에서, 디바이스(100)는 메이크업 후의 사용자의 얼굴 영상을 디스플레이할 수 있다. 단계 S3201에서 디스플레이되고 있는 사용자의 얼굴 영상을 상술한 바로 제한하지 않는다.
단계 S3202에서, 디바이스(100)는 디스플레이되고 있는 사용자의 얼굴 영상에서 관심 영역을 검출할 수 있다. 상술한 관심 영역은 사용자의 얼굴 영상에서 사용자가 보다 자세하게 보기 원하는 영역이라고 말할 수 있다. 상술한 관심 영역은, 예를 들어, 현재 메이크업이 수행되고 있는 영역을 포함할 수 있다. 상술한 관심 영역은 예를 들어, 사용자가 확인하기 원하는 영역(예를 들어, 사용자의 치아)을 포함할 수 있다.
디바이스(100)는 실시간으로 획득되는 또는 수신되는 사용자의 얼굴 영상을 이용하여 상술한 관심 영역을 검출할 수 있다. 디바이스(100)는 사용자의 얼굴 영상에서 손가락의 끝의 위치 정보, 메이크업 도구의 끝의 위치 정보, 또는/및 움직임이 많은 영역의 위치 정보를 검출할 수 있다. 디바이스(100)는 검출된 위치 정보에 기초하여 상술한 관심 영역을 검출할 수 있다.
상술한 손가락의 끝의 위치 정보를 검출하기 위하여, 디바이스(100)는 사용자의 얼굴 영상에서 손 영역을 검출할 수 있다. 디바이스(100)는 피부색 검출 방식과 움직임 발생 영역 검출 방식을 이용하여 손 영역을 검출할 수 있다. 디바이스(100)는 검출된 손 영역에서 손 중심을 검출할 수 있다. 디바이스(100)는 손 영역의 2차원 좌표 값에 기초한 거리 변환 행렬(Distance Transform Matrix)을 이용하여 손의 중심 지점(또는 손의 중심)을 검출할 수 있다.
디바이스(100)는 검출된 손의 중심 지점에서 손가락 끝 지점 후보를 검출할 수 있다. 디바이스(100)는 검출된 손 영역의 윤곽선에서 곡률의 변화가 큰 부분, 또는 타원형 형태를 갖는 부분을 검출(손가락 첫 마디의 타원 근사화 모델과의 유사성 판단)하는 등의 손에 대한 종합적인 검출 정보를 이용하여 손가락 끝 지점 후보를 검출할 수 있다.
디바이스(100)는 검출된 손가락 끝 지점 후보에서 손 끝 지점을 검출할 수 있다. 디바이스(100)는 검출된 손 끝 후보 중에서 손 중심과의 거리 및 각도, 또는/및 콘벡스(convex) 특성 등을 고려하여 손 끝 지점과 디바이스(100)의 화면상에서의 손 끝 지점의 위치 정보를 검출할 수 있다.
상술한 메이크업 도구의 끝의 위치 정보를 검출하기 위하여, 디바이스(100)는 움직임이 발생하는 영역을 검출할 수 있다. 디바이스(100)는 검출된 영역 중에서 사용자의 얼굴 영상의 색과 다른 색을 가진 영역을 검출할 수 있다. 디바이스(100)는 사용자의 얼굴 영상의 색과 다른 색을 가진 영역을 메이크업 도구 영역으로 판단할 수 있다.
디바이스(100)는 검출된 메이크업 도구 영역의 윤곽선에서 곡률의 변화가 큰 부분을 메이크업 도구의 끝 지점으로 검출하고, 메이크업 도구의 끝 지점의 위치 정보를 검출할 수 있다. 디바이스(100)는 손 영역과 거리가 가장 먼 끝 지점을 메이크업 도구의 끝 지점으로서 검출하고, 메이크업 도구의 끝 지점의 위치 정보를 검출할 수 있다.
디바이스(100)는 검출된 사용자의 얼굴 영상에서 손가락의 끝 지점의 위치 정보, 메이크업 도구의 끝 지점의 위치 정보, 또는/및 움직임이 많은 영역의 위치 정보와 사용자의 얼굴 영상에 포함된 각 부위(예를 들어, 눈썹, 눈, 코, 입, 또는 볼 등)의 위치 정보를 이용하여 관심 영역을 검출할 수 있다. 관심 영역은 손가락 끝 지점 또는/및 메이크업 도구의 끝 지점과 사용자의 얼굴 영상에 포함된 적어도 한 부위를 포함할 수 있다.
단계 S3203에서, 디바이스(100)는 검출된 관심 영역을 자동적으로 확대하여 디스플레이 할 수 있다. 디바이스(100)는 검출된 관심 영역이 한 화면을 채우도록 디스플레이 할 수 있으나 본 개시에서 관심 영역에 대한 확대는 상술한 바로 제한되지 않는다.
예를 들어, 디바이스(100)는 검출된 관심 영역의 중심 지점과 화면의 중심 지점을 대응시킨다. 디바이스(100)는 관심 영역의 가로 길이 및 세로 길이간의 비와 화면의 가로 길이 및 세로 길이간의 비를 고려하여 관심 영역에 대한 확대 비를 결정한다. 디바이스(100)는 결정된 확대비에 기초하여 관심 영역을 확대시킬 수 있다.
디바이스(100)는 관심 영역에 포함되는 정보보다 더 적은 정보를 포함하는 이미지를 확대된 관심 영역으로서 디스플레이할 수 있다. 디바이스(100)는 관심 영역에 포함되는 정보보다 더 많은 정보를 포함하는 이미지를 확대된 관심 영역으로서 디스플레이할 수 있다.
도 33(a) 및 도 33(b)는 일부 실시 예에 따라 디바이스(100)가 사용자의 얼굴 영상에서 관심 영역을 확대하는 메이크업 거울의 일례를 도시하는 도면이다.
도 33(a)에서, 디바이스(100)는 디스플레이되고 있는 사용자의 얼굴 영상에서 메이크업 도구(3301)의 끝 지점(3302)과 끝 지점(3302)의 위치 정보를 검출할 수 있다. 검출된 메이크업 도구(3301)의 끝 지점(3302)의 위치 정보에 기초하여 디바이스(100)는 관심 영역(3303)을 검출할 수 있다. 관심 영역(3303)은 메이크업 도구(3301)의 끝 지점(3302)의 위치 정보와 사용자의 얼굴 영상에 포함된 각 부위의 위치 정보(도 33(a)에서 눈썹과 눈의 위치 정보)에 기초하여 검출될 수 있다. 본 개시에서 관심 영역을 검출하기 위해 사용되는 정보는 상술한 바로 제한되지 않는다. 예를 들어, 디바이스(100)는 디바이스(100)의 화면 사이즈(예를 들어, 5.6인치)를 더 고려하여 관심 영역을 검출할 수 있다.
또한, 도 33(a)에 도시된 바와 같이 메이크업 가이드 정보가 사용자의 얼굴 영상에 표시되고 있는 경우에, 디바이스(100)는 메이크업 도구(3301)의 끝 지점(3302)의 위치 정보와 메이크업 가이드 정보의 위치 정보를 사용하여 관심 영역(3303)을 검출할 수 있다.
관심 영역이 검출되면, 디바이스(100)는 도 33(b)에 도시된 바와 같이 검출된 관심 영역을 자동으로 확대하여 디스플레이할 수 있다. 이에 따라 사용자는 확대된 관심 영역을 보면서 메이크업을 꼼꼼하게 할 수 있다.
도 33(c) 및 도 33(d)는 일부 실시 예에 따라 디바이스(100)가 사용자의 얼굴 영상에서 관심 영역을 확대하는 메이크업 거울의 다른 일례를 도시하는 도면이다.
도 33(c)에서, 디바이스(100)는 사용자의 얼굴 영상에서 사용자의 손가락 끝 지점(3306)을 검출하고, 검출된 손가락 끝 지점(3306)의 위치 정보와 사용자의 얼굴 영상에 포함된 입술의 위치 정보를 이용하여 관심 지점(3307)을 검출할 수 있다. 디바이스(100)는 도 33(a)에서 설명한 바와 같이 디바이스(100)의 화면 사이즈를 추가로 고려하여 관심 지점(3307)을 검출할 수 있다.
관심 지점(3307)이 검출되면, 디바이스(100)는 도 33(d)에 도시된 바와 같이 관심 지점을 확대하여 디스플레이 할 수 있다. 이에 따라 사용자는 보고 싶은 부분을 상세하게 볼 수 있다.
도 34는 일부 실시 예에 따른 디바이스(100)가 사용자의 얼굴 영상에서 커버가 필요한 영역에 대한 메이크업 가이드 정보를 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S3401에서, 디바이스(100)는 사용자의 얼굴 영상을 디스플레이 할 수 있다. 단계 S3401에서, 디바이스(100)는 메이크업이 완료된 사용자의 얼굴 영상을 디스플레이 할 수 있으나 본 개시는 이로 제한되지 않는다.
예를 들어, 단계 S3401에서, 디바이스(100)는 메이크업 전의 사용자의 얼굴 영상을 디스플레이 할 수 있다. 단계 S3401에서, 디바이스(100)는 색조 메이크업을 하지 않은 사용자의 얼굴 영상을 디스플레이 할 수 있다. 단계 S3401에서, 디바이스(100)는 실시간으로 획득된 사용자의 얼굴 영상을 디스플레이 할 수 있다.
단계 S3401에서, 디바이스(100)는 메이크업 중인 사용자의 얼굴 영상을 디스플레이 할 수 있다. 단계 S3401에서, 디바이스(100)는 메이크업 후의 사용자의 얼굴 영상을 디스플레이 할 수 있다.
단계 S3402에서, 디바이스(100)는 디스플레이되고 있는 사용자의 얼굴 영상에서 커버가 필요한 영역을 검출할 수 있다. 사용자의 얼굴 영상에서 커버가 필요한 영역은 메이크업으로 보완이 필요한 영역을 말한다. 본 개시에서 커버가 필요한 영역은 여드름이 난 영역을 포함할 수 있다. 본 개시에서 커버가 필요한 영역은 잡티(예를 들어, 점, 색소 침착(예를 들어 기미), 주근깨) 영역을 포함할 수 있다. 본 개시에서 커버가 필요한 영역은 주름이 있는 영역을 포함할 수 있다. 본 개시에서 커버가 필요한 영역은 모공이 늘어난 영역을 포함할 수 있다. 본 개시에서 커버가 필요한 영역은 다크 서클 영역을 포함할 수 있다. 본 개시에서 커버가 필요한 영역은 상술한 바로 제한되지 않는다. 예를 들어, 본 개시에서 커버가 필요한 영역은 피부가 거칠어진 영역을 포함할 수 있다.
디바이스(100)는 사용자의 얼굴 영상에서 피부 색상의 차이에 기초하여 커버가 필요한 영역을 검출할 수 있다. 예를 들어, 디바이스(100)는 사용자의 얼굴 영상에서 주변 피부 색상보다 어두운 피부 색상을 갖는 영역을 커버가 필요한 영역으로서 검출할 수 있다. 이를 위하여, 디바이스(100)는 사용자의 얼굴 영상에 대해 픽셀 단위로 색상 정보를 검출하는 피부 색상 검출 알고리즘을 사용할 수 있다.
디바이스(100)는 복수의 블러 영상간의 차 영상(또는 차 값)을 사용하여 사용자의 얼굴 영상에서 커버가 필요한 영역을 검출할 수 있다. 복수의 블러 영상은 단계 S3401에서 디스플레이되고 있는 사용자의 얼굴 영상에 대해 서로 다른 강도로 블러링 된 영상을 말한다. 복수의 블러 영상은, 예를 들어, 사용자의 얼굴 영상을 높은 강도로 블러링한 영상과 사용자의 얼굴 영상을 낮은 강도로 블러링한 영상을 포함할 수 있으나 본 개시에서 복수의 블러 영상은 상술한 바로 제한되지 않는다. 본 개시에서 복수의 블러 영상은 N개의 블러 영상을 포함할 수 있다. N의 2이상의 자연수이다.
디바이스(100)는 복수의 블러 영상간을 비교하여 상술한 복수의 블러 영상간의 차 영상을 검출할 수 있다. 디바이스(100)는 검출된 차 영상을 픽셀 단위의 임계 값과 비교하여 상술한 커버가 필요한 영역을 검출할 수 있다. 임계 값은 사전에 설정된 값을 사용할 수 있으나 본 개시는 상술한 바로 제한되지 않는다. 예를 들어, 임계 값은 주변 픽셀의 픽셀 값에 따라 가변적으로 설정될 수 있다. 주변 픽셀은 타겟 픽셀을 중심으로 사전에 설정된 범위(예를 들어 8×8 픽셀, 또는 16×16 픽셀 등)에 포함되는 픽셀을 포함할 수 있으나 본 개시에서 주변 픽셀은 상술한 바로 제한되지 않는다. 또한, 임계 값은 주변 픽셀의 픽셀 값에 따라 결정된 값(예를 들어, 평균값, 중간 값, 또는 하위 30%에 해당되는 값 등)과 사전에 설정된 임계 값을 결합하여 설정될 수 있다.
또한, 디바이스(100)는 사용자의 얼굴 영상에 대해 픽셀 단위의 경사(gradient) 값을 이용하여 사용자의 얼굴 영상에서 커버가 필요한 영역을 검출할 수 있다. 디바이스(100)는 사용자의 얼굴 영상에 대한 영상 필터링에 의해 픽셀단위의 경사 값을 검출할 수 있다.
또한, 디바이스(100)는 사용자의 얼굴 영상에서 주름 영역을 검출하기 위하여, 얼굴 특징 정보 검출 알고리즘을 사용할 수 있다.
단계 S3403에서, 디바이스(100)는 검출된 커버가 필요한 영역에 대한 메이크업 가이드 정보를 사용자의 얼굴 영상에 표시할 수 있다.
도 35(a) 및 도 35(b)는 일부 실시 예에 따라 디바이스(100)가 사용자의 얼굴 영상에서 커버가 필요한 영역에 대한 메이크업 가이드 정보를 표시하는 메이크업 거울의 일례를 도시하는 도면이다.
도 35(a)에서, 디바이스(100)는 디스플레이 되고 있는 사용자의 얼굴 영상에서 점의 위치를 검출함에 따라 도 35(b)에서와 같이 점 위치에 대한 메이크업 가이드 정보들(3501, 3502, 3503)을 표시할 수 있다.
이에 따라 사용자가 색조 메이크업을 하지 않는 남자의 경우에, 디바이스(100)는 커버가 필요한 영역에 대한 메이크업(예를 들어 컨실러 기반 메이크업) 가이드 정보를 제공할 수 있다. 또한, 사용자가 남자이고, 전날 밤 과음으로 피부가 거칠어진 경우에, 디바이스(100)는 거칠어진 피부에 대한 메이크업 가이드 정보를 제공할 수 있다.
도 36(a) 및 도 36(b)는 일부 실시 예에 따라 디바이스(100)가 사용자의 얼굴 영상에서 커버가 필요한 영역에 대한 상세한 메이크업 가이드 정보에 기초한 메이크업 결과를 표시하는 메이크업 거울의 일례를 도시하는 도면이다.
도 36(a)에서, 디스플레이되고 있는 사용자의 얼굴 영상의 점 위치에 대한 메이크업 가이드 정보들(3501, 3502, 3503)이 표시될 때, 하나의 메이크업 가이드 정보(3503)에 대한 선택을 나타내는 사용자 입력을 수신하면, 디바이스(100)는 상세한 메이크업 가이드 정보를 제공할 수 있다.
상술한 상세한 메이크업 가이드 정보는 메이크업 제품(예를 들어, 컨실러)에 대한 정보를 포함할 수 있다. 도 36(a)의 경우에, 상세한 메이크업 가이드 정보를 팝업 창을 이용하여 제공한다. 본 개시에서 상세한 메이크업 가이드 정보를 제공하는 방식은 도 36(a)에 도시된 바로 제한되지 않는다.
본 개시에서 상세한 메이크업 가이드 정보는 메이크업 제품에 기초한 메이크업 방법(예를 들어, 리퀴드 컨실러를 해당 지점에 콕 찍은 후, 손가락으로 똑똑 치면서 펴주세요)에 대한 정보를 포함할 수 있다.
도 36(a)에서 제공되는 상세한 메이크업 가이드 정보에 기초하여 사용자는 원하는 부분만 메이크업 할 수 있다. 즉, 사용자가 도 36(a)에서 제공되는 메이크업 가이드 정보들(3501, 3502, 3503)중 메이크업 가이드 정보들(3502, 3503)에 대응되는 점에 대해 커버 메이크업을 수행하고, 메이크업 가이드 정보(3501)에 대응되는 점에 대해 커버 메이크업을 수행하지 않을 수 있다.
상술한 바와 같이 메이크업 가이드 정보(3501)에 대응되는 점에 대해 커버 메이크업을 수행하지 않은 상태에서, 메이크업 완료를 나타내는 사용자 입력이 수신되면, 디바이스(100)는 도 36(b)에서와 같이 커버가 필요한 영역중 일부 영역에 대한 커버 메이크업을 수행하지 않은 사용자의 얼굴 영상을 디스플레이할 수 있다. 이와 같이 사용자는 디바이스(100)에 의해 제공되는 커버 영역에 대한 메이크업 가이드 정보 중 커버 메이크업을 원하지 않은 영역에 대한 메이크업을 수행하지 않을 수 있다. 커버 메이크업을 원하지 않은 영역은 사용자가 매력 포인트로 생각하는 영역일 수 있다.
도 37은 일부 실시 예에 따른 디바이스(100)가 저 조도 환경을 보정하는 메이크업 거울 제공 방법에 대한 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S3701에서, 디바이스(100)는 사용자의 얼굴 영상을 디스플레이 할 수 있다. 단계 S3701에서, 디바이스(100)는 메이크업 전의 사용자의 얼굴 영상을 디스플레이할 수 있다. 단계 S3701에서, 디바이스(100)는 메이크업 중의 사용자의 얼굴 영상을 디스플레이할 수 있다. 단계 S3701에서, 디바이스(100)는 메이크업 후의 사용자의 얼굴 영상을 디스플레이할 수 있다. 단계 S3701에서, 디바이스(100)는 메이크업 과정과 관계없이 실시간으로 획득되거나 수신되는 사용자의 얼굴 영상을 디스플레이 할 수 있다.
단계 S3702에서, 디바이스(100)는 사용자의 얼굴 영상에 기초하여 조도 레벨을 검출할 수 있다. 사용자의 얼굴 영상에 기초하여 조도 레벨을 검출하는 방식은 사용자의 얼굴 영상의 밝기 레벨에 기초하여 수행될 수 있으나 본 개시에서 조도 레벨을 검출하는 방식은 상술한 바로 제한되지 않는다.
단계 S3702에서, 디바이스(100)는 디바이스(100)에 포함되어 있는 조도 센서를 이용하여 사용자의 얼굴 영상을 획득할 때 주변의 광량을 검출하고, 검출된 주변의 광량을 조도 값으로 변환하여 조도 값을 검출할 수 있다.
단계 S3703에서, 디바이스(100)는 검출된 조도 값과 기준 값을 비교하여 검출된 조도 값이 저 조도를 나타내는 지를 판단할 수 있다. 저 조도는 광량의 레벨이 낮은 상태(또는 빛이 어두운 상태)를 말한다. 기준 값은 사용자가 사용자의 얼굴 영상을 선명하게 볼 수 있는 광량에 기초하여 설정될 수 있다. 디바이스(100)는 기준 값을 사전에 설정할 수 있다.
단계 S3703에서, 조도 값이 저 조도로 판단되면, 단계 S3704에서 디바이스(100)는 디바이스(100)의 디스플레이의 가장자리 영역을 화이트 레벨로 표시할 수 있다. 이에 따라 사용자는 디바이스(100)의 디스플레이의 가장자리 영역으로부터 발산되는 빛으로 인해 주변의 광량이 증가된 것을 느낄 수 있고, 보다 선명한 사용자의 얼굴 영상을 볼 수 있다. 화이트 레벨은 디스플레이의 색 레벨이 흰색인 것을 나타낸다. 디스플레이의 색상 모델에 따라 색 레벨을 화이트 레벨로 만드는 기술은 상이할 수 있다. 색상 모델은 그레이(Gray) 모델, RGB 모델, HSV(Hue Station Value) 모델, 또는 YUV(YCbCr) 모델 등을 포함할 수 있으나 본 개시에서 색상 모델은 상술한 바로 제한되지 않는다.
디바이스(100)는 화이트 레벨로 표시될 디스플레이의 가장 자리 영역을 사전에 설정할 수 있다. 디바이스(100)는 사전에 설정된 디스플레이의 가장 자리 영역에 관한 정보를 사용자 입력에 따라 변경할 수 있다. 디바이스(100)는 디스플레이의 가장자리 영역을 화이트 레벨로 표시한 후, 사용자 입력에 따라 화이트 레벨 표시 영역을 조정할 수 있다.
한편, 단계 S3703에서 판단한 결과, 검출된 조도 값이 저 조도가 아닌 경우에, 디바이스(100)의 동작은 다음 조도 값 검출에 대한 대기 상태일 수 있으나 본 개시는 이로 제한되지 않는다. 예를 들어, 단계 S3703에서 판단한 결과, 검출된 조도 값이 저 조도가 아닌 경우에, 디바이스(100)는 사용자의 얼굴 영상을 디스플레이하는 단계로 리턴 될 수 있다. 조도 값 검출은 I(Intra) 프레임 단위로 수행될 수 있다. 본 개시에서 조도 값을 검출하는 단위는 상술한 바로 제한되지 않는다.
도 38(a) 및 도 38(b)는 일부 실시 예에 따라 디바이스(100)가 디스플레이의 가장 자리 영역을 화이트 레벨로 표시하는 메이크업 거울의 일례를 도시하는 도면이다.
도 38(a)에서와 같이 사용자의 얼굴 영상이 디스플레이될 때, 디바이스(100)에 의해 조도 값이 저 조도로 판단되면, 디바이스(100)는 도 38(b)에서와 같이 디바이스(100)의 가장 자리에 화이트 레벨 표시 영역(3801)을 표시할 수 있다.
도 39(a) 내지 도 39(h)는 일부 실시 예에 따라 디바이스(100)가 디스플레이의 가장 자리에 화이트 레벨 표시 영역(3801)을 조정하는 메이크업 거울의 일례를 도시하는 도면이다.
디바이스(100)의 디스플레이의 가장 자리에 화이트 레벨 표시 영역(3801)이 표시될 때, 도 39(a)에 도시된 화이트 레벨 표시 영역(3801)의 하단 영역에 기초한 사용자 입력에 따라 도 39(b)에 도시된 바와 같이 디바이스(100)는 하단 영역이 삭제된 화이트 레벨 표시 영역(3802)을 표시할 수 있다.
디바이스(100)의 디스플레이 가장 자리에 화이트 레벨 표시 영역(3801)이 표시될 때, 도 39(c)에 도시된 화이트 레벨 표시 영역(3801)의 우측 영역에 기초한 사용자 입력에 따라 도 39(d)에 도시된 바와 같이 디바이스(100)는 우측 영역이 삭제된 화이트 레벨 표시 영역(3803)을 표시할 수 있다.
디바이스(100)의 디스플레이 가장 자리에 화이트 레벨 표시 영역(3801)이 표시될 때, 도 39(e)에 도시된 화이트 레벨 표시 영역(3801)의 우측 영역에 기초한 사용자 입력에 따라 도 39(f)에 도시된 바와 같이 디바이스(100)는 우측 영역을 확장한 화이트 레벨 표시 영역(3804)을 표시할 수 있다.
디바이스(100)의 디스플레이 가장 자리에 화이트 레벨 표시 영역(3801)이 표시될 때, 도 39(g)에 도시된 디바이스(100)의 4 모서리 중 적어도 하나에 기초한 사용자 입력에 따라 도 39(h)에 도시된 바와 같이 디바이스(100)는 4면이 확장된 화이트 레벨 표시 영역(3805)을 표시할 수 있다. 디바이스(100)는 4면이 확장된 화이트 레벨 표시 영역(3805)에 따라 도 39(h)에 도시된 바와 같이 사용자의 얼굴 영상이 디스플레이 되고 있는 영역을 축소시킬 수 있다.
또한, 도 39(h)에 도시된 바와 같이 4면의 확장된 화이트 레벨 표시 영역(3805)을 표시할 때, 디바이스(100)는 사용자의 얼굴 영상이 디스플레이되고 있는 영역을 축소하지 않고 그대로 유지할 수 있다. 이러한 경우에, 디바이스(100)는 4면이 확장된 화이트 레벨 표시 영역(3805)이 사용자의 얼굴 영상 위에 표시될 수 있도록 4면이 확장된 화이트 레벨 표시 영역(3805)을 사용자의 얼굴 영상에 중첩시킬 수 있다.
도 40은 일부 실시 예에 따른 디바이스(100)가 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상간의 비교 영상을 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다. 현재 사용자의 얼굴 영상은 현재까지 메이크업 된 사용자의 얼굴 영상을 말할 수 있다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S4001에서, 디바이스(100)는 비교 영상 요청을 나타내는 사용자 입력을 수신할 수 있다. 비교 영상 요청은 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상간의 비교 영상을 요청하는 사용자 입력을 말한다. 비교 영상 요청을 나타내는 사용자 입력은 디바이스(100)를 이용하여 입력될 수 있다. 본 개시에서 비교 영상 요청을 나타내는 사용자 입력은 상술한 바로 제한되지 않는다. 예를 들어, 비교 영상 요청을 나타내는 사용자 입력은 디바이스(100)에 연결된 외부 디바이스로부터 수신될 수 있다.
상술한 메이크업 전 사용자의 얼굴 영상은 현재 수행되고 있는 메이크업 과정에서 디바이스(100)에 처음 디스플레이된 사용자의 얼굴 영상을 포함할 수 있다. 상술한 메이크업 전 사용자의 얼굴 영상은 하루 중 디바이스(100)에 처음 디스플레이된 사용자의 얼굴 영상을 포함할 수 있다. 상술한 현재 사용자의 얼굴 영상은 메이크업중인 사용자의 얼굴 영상을 포함할 수 있다. 상술한 현재 사용자의 얼굴 영상은 메이크업 후 사용자의 얼굴 영상을 포함할 수 있다. 상술한 현재 사용자의 얼굴 영상은 실시간으로 획득되거나 수신된 사용자의 얼굴 영상을 포함할 수 있다.
단계 S4002에서, 디바이스(100)는 메이크업 전 사용자의 얼굴 영상을 디바이스(100)의 메모리로부터 읽어올 수 있다. 메이크업 전 사용자의 얼굴 영상이 다른 디바이스에 저장된 경우에, 디바이스(100)는 다른 디바이스로 메이크업 전 사용자의 얼굴 영상 제공을 요청하고, 다른 디바이스로부터 메이크업 전 사용자의 얼굴 영상을 수신할 수 있다.
상술한 메이크업 전 사용자의 얼굴 영상은 디바이스(100)와 외부 디바이스에 각각 저장될 수 있다. 이러한 경우에, 디바이스(100)는 디바이스(100)에 저장된 메이크업 전 사용자의 얼굴 영상과 외부 디바이스에 저장된 메이크업 전 사용자의 얼굴 영상을 선택적으로 리드하여 사용할 수 있다.
디바이스(100)는 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상을 각각 표시할 수 있다. 예를 들어, 디바이스(100)는 화면 분할 방식을 이용하여 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상을 하나의 화면에 디스플레이 할 수 있다. 또한, 디바이스(100)는 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상을 각각 다른 페이지 화면을 통해 디스플레이할 수 있다. 이러한 경우에, 페이지 스위칭을 나타내는 사용자 입력에 따라 디바이스(100)는 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상을 사용자에게 각각 제공할 수 있다.
단계 S4002에서, 디바이스(100)는 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상에 대해 얼굴의 특징점 정합 처리 및/또는 픽셀 단위 정합처리를 수행하여 디스플레이할 수 있다. 상술한 정합 처리를 수행함에 따라, 예를 들어, 메이크업 전 사용자의 얼굴 영상을 획득할 때 카메라의 촬영 각도와 현재 사용자의 얼굴 영상을 획득할 때 카메라의 촬영 각도간에 차이가 있어도 디바이스(100)는 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상을 마치 동일한 촬영 각도에서 획득된 영상처럼 표시할 수 있다. 이에 따라 사용자는 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상간을 쉽게 비교할 수 있다.
또한, 상술한 정합 처리를 수행함에 따라, 예를 들어, 메이크업 전 사용자의 얼굴 영상의 디스플레이 사이즈와 현재 사용자의 얼굴 영상의 디스플레이 사이즈간에 차이가 있어도 디바이스(100)는 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상을 마치 동일한 디스플레이 사이즈를 갖는 영상처럼 표시할 수 있다. 이에 따라 사용자는 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상간을 쉽게 비교할 수 있다.
상술한 얼굴의 특징점을 이용한 복수 영상들간의 정합 처리를 수행하기 위하여, 디바이스(100)는 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상 각각에서 얼굴의 특징점을 고정시킬 수 있다. 디바이스(100)는 고정된 특징점에 맞추어 사용자의 얼굴 영상을 변형(warping)시킬 수 있다.
메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상 각각에서 얼굴의 특징점을 고정시키는 것은, 예를 들어, 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상 각각에 포함되어 있는 눈, 코, 입의 표시 위치를 일치시키는 것을 말할 수 있다. 본 개시에서 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상은 복수의 사용자의 얼굴 영상으로 언급될 수 있다.
상술한 픽셀 단위의 복수 영상들간의 정합 처리를 수행하기 위하여, 디바이스(100)는 하나의 영상에 포함된 p 픽셀에 대응되는 픽셀(예를 들어, q픽셀)을 다른 영상에서 추정할 수 있다. 하나의 영상이 메이크업 전 사용자의 얼굴 영상이면, 다른 영상이 현재 사용자의 얼굴 영상일 수 있다.
디바이스(100)는 각 픽셀에 대한 정보를 나타내는 디스크립터 벡터(descriptor vector)를 이용하여 다른 영상에서 p 픽셀과 유사한 정보를 가진 q 픽셀을 추정할 수 있다.
좀더 상세하게 설명하면, 디바이스(100)는 하나의 영상에 포함되어 있는 p 픽셀의 디스크립터 벡터와 유사한 정보를 갖는 q 픽셀을 다른 영상으로부터 검출할 수 있다. q 픽셀이 p 픽셀의 디스크립터 벡터와 유사한 정보를 갖는다는 것은 q 픽셀의 디스크립터 벡터와 p 픽셀의 디스크립터 벡터간의 차가 작은 것을 의미한다.
다른 영상으로부터 q픽셀이 검출되면, 디바이스(100)는 다른 영상에서 q 픽셀의 표시 위치가 하나의 영상에서 p 픽셀의 표시 위치와 유사한지 판단할 수 있다. q 픽셀의 표시 위치와 p 픽셀의 표시 위치가 유사하면, 디바이스(100)는 q 픽셀에 인접한 픽셀과 대응되는 픽셀이 p 픽셀에 인접한 픽셀에 포함되어 있는지를 판단할 수 있다.
상술한 인접한 픽셀은 주변 픽셀을 말한다. 본 개시에서 인접한 픽셀은 q 픽셀을 둘러싼 적어도 8개의 픽셀을 포함할 수 있다. 예를 들어, q 픽셀의 표시 위치 정보가 (x1, y1)일 때, 상술한 8개의 픽셀의 표시 위치 정보는 (x1-1, y1-1), (x1-1, y1), (x1-1, y1+1), (x1, y1-1), (x1, y1+1), (x1+1, y1-1), (x1+1, y1), 및 (x1+1, y1+1)를 포함할 수 있다. 본 개시에서 인접한 픽셀의 표시 위치 정보는 상술한 바로 제한되지 않는다.
q 픽셀에 인접한 픽셀과 대응되는 픽셀이 p 픽셀에 인접한 픽셀에 포함되어 있는 것으로 판단되면, 디바이스(100)는 q 픽셀을 p 픽셀에 대응되는 픽셀로 결정할 수 있다.
q 픽셀의 디스크립터 벡터와 p 픽셀의 디스크립터 벡터가 유사하여도 다른 영상에서 q 픽셀의 표시 위치와 하나의 영상에서의 p 픽셀의 표시 위치간의 차가 크면, 디바이스(100)는 q 픽셀을 p 픽셀에 대응되지 않는 픽셀로 판단할 수 있다. 상술한 표시 위치간의 차가 큰지 여부를 판단하기 위한 기준 값은 사전에 설정될 수 있다. 상술한 기준 값은 사용자의 입력에 따라 설정될 수 있다.
또한, q 픽셀에 인접한 픽셀과 대응되는 픽셀이 p 픽셀에 인접한 픽셀에 포함되어 있지 않으면, q 픽셀의 디스크립터 벡터와 p 픽셀의 디스크립터 벡터가 유사하고, 다른 영상에서의 q 픽셀의 표시 위치와 하나의 영상에서의 p 픽셀의 표시 위치간의 차가 크지 않아도, 디바이스(100)는 q 픽셀을 p 픽셀에 대응되지 않는 픽셀로 판단할 수 있다.
본 개시에서 픽셀 단위의 정합 처리는 상술한 바로 제한되지 않는다.
도 41(a) 내지 도 41(e)는 일부 실시 예에 따라 디바이스(100)가 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상간의 비교 영상을 표시하는 메이크업 거울의 일례를 도시하는 도면이다.
도 41(a)는 도 40의 단계 S4002에서 설명한 화면 분할 방식으로 비교 영상을 표시한 일례이다. 도 41(a)를 참조하면, 디바이스(100)는 분할된 화면의 일측 표시 영역(예를 들어, 왼쪽 표시 영역)에 메이크업 전 사용자의 얼굴 영상을 표시하고, 분할된 화면의 다른 일측 표시 영역(예를 들어, 오른쪽 표시 영역)에 현재 사용자의 얼굴 영상을 표시한다.
도 41(a)에 도시된 바와 같이 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상을 표시할 때, 디바이스(100)는 상술한 도 40의 단계 S4002에서 설명한 바와 같이 상술한 두 얼굴 영상에 대해 얼굴의 특징점 정합 처리 및/또는 픽셀 단위 정합 처리를 수행할 수 있다. 이에 따라 디바이스(100)는 동일한 촬영 각도 또는/및 동일한 디스플레이 사이즈를 갖는 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상을 표시할 수 있다.
도 41(b)는, 도 40의 단계 S4002에서 설명한 화면 분할 방식으로 비교 영상을 표시하는 다른 일례이다. 도 41(b)를 참조하면, 디바이스(100)는 분할된 화면의 일측 표시 영역(예를 들어, 왼쪽 표시 영역)에 메이크업 전 사용자의 왼쪽 얼굴 영상을 표시하고, 분할된 화면의 다른 일측 표시 영역(예를 들어, 오른쪽 표시 영역)에 현재 사용자의 오른쪽 얼굴 영상을 표시할 수 있다.
도 41(b)에 도시된 바와 같이 분할된 각 표시 영역에 사용자의 반쪽 얼굴 영상들을 표시하기 위하여, 디바이스(100)는 도 31(a)에서 언급된 기준선(3101)에 따라 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상을 각각 반으로 나눌 수 있다. 디바이스(100)는 나누어진 사용자의 반쪽 얼굴 영상에서 디스플레이 할 영상을 결정할 수 있다.
도 41(b)에 도시된 바와 같이 사용자의 얼굴 영상을 표시하기 위하여, 디바이스(100)는 메이크업 전 사용자의 얼굴 영상에서 왼쪽 얼굴 영상을 디스플레이할 영상으로 결정하고, 현재 사용자의 얼굴 영상에서 오른쪽 얼굴 영상을 디스플레이할 영상으로 결정할 수 있다.
디스플레이할 영상을 결정하는 것은 디바이스(100)에 사전에 설정된 기준에 따라 수행될 수 있다. 본 개시에서 디스플레이할 영상을 결정하는 것은 상술한 바로 제한되지 않는다. 예를 들어, 디스플레이할 영상은 사용자 입력에 따라 결정될 수 있다.
디바이스(100)는 결정된 메이크업 전 사용자의 반쪽 얼굴 영상과 현재 사용자의 반쪽 얼굴 영상에 대해 상술한 단계 S4002에서 언급된 얼굴의 특징 점 정합 처리 및/또는 픽셀 단위 정합처리를 수행한 후, 표시할 수 있다. 이에 따라 사용자는 분할된 화면을 통해 표시되는 메이크업 전 사용자의 반쪽 얼굴 영상과 현재 사용자의 반쪽 얼굴 영상을 마치 하나의 사용자의 얼굴 영상처럼 볼 수 있다.
도 41(c)는, 도 40의 단계 S4002에서 설명한 화면 분할 방식으로 비교 영상을 표시하는 또 다른 일례이다. 도 41(c)를 참조하면, 디바이스(100)는 분할된 화면의 일측 표시 영역(예를 들어, 왼쪽 표시 영역)에 메이크업 전 사용자의 왼쪽 얼굴 영상을 표시하고, 분할된 화면의 다른 일측 표시 영역(예를 들어, 오른쪽 표시 영역)에 현재 사용자의 왼쪽 얼굴 영상을 표시한다. 이에 따라 사용자는 얼굴 영상에서 동일한 면의 얼굴 영상간을 비교할 수 있다.
도 41(c)에 도시된 바와 같이 분할된 각 표시 영역에 사용자의 반쪽 얼굴 영상들을 표시하기 위하여, 디바이스(100)는 도 41(b)에서 언급된 바와 같이 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상을 각각 기준선(3101)에 기초하여 반으로 분할할 수 있다. 디바이스(100)는 반으로 분할된 사용자의 얼굴 영상에서 표시할 사용자의 얼굴 영상을 결정할 수 있다. 디바이스(100)는 결정된 사용자의 얼굴 영상에 대해 얼굴의 특점점 정합 처리 및/또는 픽셀 단위 정합 처리를 수행한 후, 표시할 수 있다.
도 41(d)는 도 40의 단계 S4002에서 설명한 화면 분할 방식으로 사용자의 얼굴 영상에서 관심 영역에 대한 비교 영상을 표시하는 일례이다.
도 41(d)를 참조하면, 디바이스(100)는 메이크업 전 사용자의 얼굴 영상에서 도 32에서 언급된 관심 영역(예를 들어, 왼쪽 눈을 포함하는 영역)을 검출하고, 현재 사용자의 얼굴 영상에서 동일한 영역(예를 들어, 왼쪽 눈을 포함하는 영역)을 검출하여 분할된 화면에 각각 표시할 수 있다.
도 41(d)에 도시된 관심 영역을 검출하기 위하여, 디바이스(100)는 얼굴의 특징 점의 표시 위치 정보를 이용할 수 있으나 본 개시에서 관심 영역을 검출하는 방식은 상술한 바로 제한되지 않는다. 예를 들어, 디바이스(100)에 디스플레이되고 있는 사용자의 얼굴 영상에서 하나의 지점을 선택하는 사용자 입력이 수신되면, 디바이스(100)는 상술한 선택된 지점을 중심으로 사전에 설정된 영역을 관심 영역으로서 검출할 수 있다.
상술한 사전에 설정된 영역은 사각형일 수 있으나 이로 제한되지 않는다. 예를 들어, 사전에 설정된 영역은 원형, 오각형, 또는 삼각형이 될 수 있다. 디바이스(100)는 검출된 관심 영역을 미리 보기로 표시할 수 있다. 이에 따라 사용자는 비교 영상을 보기 전에 검출된 관심 영역을 확인할 수 있다.
본 개시에서 관심 영역은 상술한 눈을 포함하는 영역으로 제한되지 않는다. 예를 들어, 관심 영역은 코 영역, 입 영역, 볼 영역, 또는 이마 영역을 포함할 수 있으나 본 개시에서 관심 영역은 상술한 바로 제한되지 않는다.
또한, 도 41(d)에 도시된 비교 영상은, 디바이스(100)에 메이크업중인 사용자의 얼굴 영상이 디스플레이되고 있는 상태에서 제공될 수 있다. 이러한 경우에, 디바이스(100)는 메이크업 중인 사용자의 얼굴 영상의 표시 계층을 도 41(d)에 도시된 비교 영상의 표시 계층보다 낮은 계층으로 관리할 수 있다.
디바이스(100)는 검출된 관심 영역에 대해 상술한 얼굴의 특징점 정합 처리 및/또는 픽셀 단위 정합 처리를 수행한 후, 표시할 수 있다. 디바이스(100)는 관심 영역을 검출하기 전에 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상에 대해 상술한 얼굴의 특징점 정합 처리 및/또는 픽셀 단위 정합 처리를 수행할 수 있다.
도 41(e)는 도 40의 단계 S4002에서 설명한 화면 분할 방식으로 사용자의 얼굴 영상에서 각 부위별 영역에 대한 비교 영상을 표시하는 일례이다. 도 41(e)를 참조하면, 디바이스(100)는 메이크업 전의 사용자의 얼굴 영상에 포함된 왼쪽 눈 영역과 현재 사용자의 얼굴 영상에 포함된 왼쪽 눈 영역간의 비교 영상, 메이크업 전의 사용자의 얼굴 영상에 포함된 오른쪽 눈 영역과 현재 사용자의 얼굴 영상에 포함된 오른쪽 눈 영역간의 비교 영상, 및 메이크업 전의 사용자의 얼굴 영상에 포함된 입술 영역과 현재 사용자의 얼굴 영상에 포함된 입술 영역간의 비교 영상을 각각 분할된 화면을 통해 표시한다.
도 41(e)에 도시된 바와 같이 비교 영상을 표시하기 위하여, 디바이스(100)는 화면을 6개의 영역으로 분할할 수 있다. 본 개시에서 각 부위별 영역에 대한 비교 영상을 표시하는 것은 도 41(e)에 도시된 바로 제한되지 않는다.
또한, 사용자의 얼굴 영상에서 각 부위별 영역에 대한 비교 영상을 표시하기 위하여, 디바이스(100)는 얼굴의 특징점에 기초하여 사용자의 얼굴 영상으로부터 각 부위별 영역을 검출하고, 각 부위별 영역에 대응되는 영상에 대해 상술한 얼굴 특징 점 정합 처리 또는/및 픽셀단위 정합 처리를 수행한 후 표시할 수 있다. 디바이스(100)는 각 부위별 영역을 검출하기 전에 각 얼굴 영상에 대해 상술한 얼굴 특징점 정합 처리 또는/및 픽셀단위 정합 처리를 수행할 수 있다.
도 42는 일부 실시 예에 따른 디바이스(100)가 현재 사용자의 얼굴 영상과 가상 메이크업 영상간의 비교 영상을 표시하는 메이크업 거울 제공 방법에 대한 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S4201에서, 디바이스(100)는 비교 영상 요청을 나타내는 사용자 입력을 수신할 수 있다. 단계 S4201에서의 비교 영상 요청은 현재 사용자의 얼굴 영상과 가상 메이크업 영상간의 비교 영상을 요청하는 사용자 입력을 말한다. 비교 영상을 요청하는 사용자 입력은 디바이스(100)를 이용하여 입력될 수 있으나 디바이스(100)에 연결된 외부 디바이스로부터 수신될 수 있다.
본 개시에서 현재 사용자의 얼굴 영상은 메이크업중인 사용자의 얼굴 영상을 포함할 수 있다. 본 개시에서 현재 사용자의 얼굴 영상은 메이크업 후의 사용자의 얼굴 영상을 포함할 수 있다. 본 개시에서 현재 사용자의 얼굴 영상은 메이크업 전의 사용자의 얼굴 영상을 포함할 수 있다. 본 개시에서 현재 사용자의 얼굴 영상은 실시간으로 획득되거나 수신된 사용자의 얼굴 영상을 포함할 수 있다.
가상 메이크업 영상은 사용자에 의해 선택된 가상 메이크업이 적용된 사용자의 얼굴 영상을 말한다. 사용자에 의해 선택된 가상 메이크업은 상술한 색조 기반 가상 메이크업 또는 테마 기반 가상 메이크업을 포함할 수 있으나 본 개시에서 가상 메이크업은 상술한 바로 제한되지 않는다.
단계 S4202에서, 디바이스(100)는 현재 사용자의 얼굴 영상과 가상 메이크업 영상을 각각 표시할 수 있다. 디바이스(100)는 가상 메이크업 영상을 디바이스(100)의 메모리로부터 읽어올 수 있다. 디바이스(100)는 다른 디바이스로부터 가상 메이크업 영상을 수신할 수 있다. 디바이스(100)는 디바이스(100)에 저장된 가상 메이크업 영상과 다른 디바이스에 저장된 가상 메이크업 영상을 선택적으로 사용할 수 있다.
단계 S4202에서, 디바이스(100)는 화면 분할 방식을 이용하여 현재 사용자의 얼굴 영상과 가상 메이크업 영상을 한 화면에 표시할 수 있다. 단계 S4202에서, 디바이스(100)는 서로 다른 페이지 화면에 현재 사용자의 얼굴 영상과 가상 메이크업 영상을 각각 표시할 수 있다. 이러한 경우에, 페이지 스위칭을 나타내는 사용자 입력이 수신됨에 따라 디바이스(100)는 현재 사용자의 얼굴 영상과 가상 메이크업 영상을 각각 사용자에게 제공할 수 있다.
단계 S4202에서, 디바이스(100)는 현재 사용자의 얼굴 영상과 가상 메이크업 영상에 대해 도 40에서 언급된 얼굴의 특징점 정합 처리 및/또는 픽셀 단위 정합처리를 수행한 후, 표시할 수 있다. 상술한 정합 처리를 수행함에 따라, 예를 들어, 현재 사용자의 얼굴 영상을 획득할 때 카메라의 촬영 각도와 가상 메이크업 영상에 포함된 사용자의 얼굴 영상을 획득할 때 카메라의 촬영 각도간에 차이가 있어도 디바이스(100)는 동일한 촬영 각도에서 획득된 영상처럼 현재 사용자의 얼굴 영상과 가상 메이크업 영상을 표시할 수 있다.
또한, 상술한 정합 처리를 수행함에 따라, 예를 들어, 현재 사용자의 얼굴 영상의 디스플레이 사이즈와 가상 메이크업 영상에 포함된 사용자의 얼굴 영상의 디스플레이 사이즈간에 차이가 있어도 디바이스(100)는 현재 사용자의 얼굴 영상과 가상 메이크업 영상을 동일한 디스플레이 사이즈를 갖는 영상으로 표시할 수 있다. 이에 따라 사용자는 가상 메이크업 영상과 현재 사용자의 얼굴 영상을 쉽게 비교할 수 있다.
도 43은 일부 실시 예에 따라 디바이스(100)가 현재 사용자의 얼굴 영상과 가상 메이크업 영상간의 비교 영상을 표시하는 메이크업 거울의 일례를 도시하는 도면이다. 도 43을 참조하면, 디바이스(100)는 화면 분할 방식을 이용하여 현재 사용자의 얼굴 영상과 가상 메이크업 영상을 모두 제공한다.
본 개시에서 현재 사용자의 얼굴 영상과 가상 메이크업 영상간의 비교 영상은 도 43에 도시된 바로 제한되지 않는다. 예를 들어, 디바이스(100)는 상술한 도 41(b) 내지 도 41(e)중 적어도 하나에 기초하여 현재 사용자의 얼굴 영상과 가상 메이크업 영상간의 비교 영상을 표시할 수 있다.
도 44는 일부 실시 예에 따른 디바이스(100)가 피부 분석 결과를 제공하는 메이크업 거울 제공 방법에 대한 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S4401에서, 디바이스(100)는 피부 분석 요청을 나타내는 사용자 입력을 수신할 수 있다. 사용자 입력은 디바이스(100)를 이용하여 수신될 수 있으나 디바이스(100)와 연결된 외부 디바이스로부터 수신될 수 있다.
단계 S4402에서, 디바이스(100)는 현재 사용자의 얼굴 영상에 기초한 피부 분석을 수행할 수 있다. 피부 분석은 사용자의 얼굴 영상에 기초한 피부 아이템 분석 기술을 이용할 수 있다. 피부 아이템은, 예를 들어, 피부톤, 여드름, 주름, 색소 침착(또는 피부 침착), 또는/및 모공을 포함할 수 있으나 본 개시에서 피부 아이템은 이로 제한되지 않는다.
단계 S4403에서, 디바이스(100)는 메이크업 전 사용자의 얼굴 영상에 기초한 피부 분석 결과와 현재 사용자의 얼굴 영상에 기초한 피부 분석 결과를 비교할 수 있다. 디바이스(100)는 디바이스(100)의 메모리에 저장된 메이크업 전 사용자의 얼굴 영상에 기초한 피부 분석 결과를 읽어서 사용할 수 있다.
본 개시에서 메이크업 전 사용자의 얼굴 영상에 기초한 피부 분석 결과는 상술한 바로 제한되지 않는다. 예를 들어, 디바이스(100)는 디바이스(100)에 연결된 외부 디바이스로부터 메이크업 전 사용자의 얼굴 영상에 기초한 피부 분석 결과를 수신할 수 있다. 디바이스(100)와 상술한 외부 디바이스에 각각 메이크업 전 사용자의 얼굴 영상에 기초한 피부 분석 결과가 저장되어 있으면, 디바이스(100)는 디바이스(100)에 저장된 상술한 피부 분석 결과와 외부 디바이스에 저장된 상술한 피부 분석 결과를 선택적으로 사용할 수 있다.
단계 S4404에서, 디바이스(100)는 비교 결과를 제공할 수 있다. 비교 결과는 디바이스(100)의 디스플레이를 통해 디스플레이 될 수 있다. 비교 결과는 디바이스(100)에 연결된 외부 디바이스(예를 들어, 스마트 거울)로 전송되어 디스플레이 될 수 있다. 이에 따라 사용자는 디바이스(100)를 통해 현재까지 메이크업 된 사용자의 얼굴 영상을 보면서, 스마트 거울을 통해 피부 비교 분석 결과 정보를 볼 수 있다.
도 45(a) 및 도 45(b)는 일부 실시 예에 따라 디바이스(100)가 피부 비교 분석 결과 정보를 표시하는 일례를 도시하는 도면이다.
도 45(a)를 참조하면, 디바이스(100)는 피부 톤의 개선도(예를 들어, 30%), 여드름 커버도(예를 들어, 20%), 주름 커버도(예를 들어, 40%), 색소 침착 커버도(예를 들어, 90%), 및 모공 커버도(예를 들어, 80%)를 포함하는 피부 분석 결과 정보를 표시할 수 있으나 본 개시는 이로 제한되지 않는다.
예를 들어, 디바이스(100)는 피부 톤의 개선도를 피부 분석 결과 정보로서 표시할 수 있다. 디바이스(100)는 여드름 커버도를 피부 분석 결과 정보로서 표시할 수 있다. 디바이스(100)는 주름 커버도를 피부 분석 결과 정보로서 표시할 수 있다. 디바이스(100)는 색소 침착 커버도를 피부 분석 결과 정보로서 표시할 수 있다. 디바이스(100)는 모공 커버도를 피부 분석 결과 정보로서 표시할 수 있다.
디바이스(100)는 도 45(a)에서와 같이 분석 결과에 대한 종합 평가 정보(예를 들어, 메이크업 완성도 87%)를 포함하는 피부 분석 결과 정보를 표시할 수 있다.
디바이스(100)는 도 45(b)에서와 같이 상세한 종합 평가 정보를 포함하는 피부 분석 결과 정보를 표시할 수 있다. 상세한 종합 평가 정보는, 예를 들어, 눈썹 산의 위치가 오른쪽으로 치우침, 아래 입술 라인에 대한 보정이 필요함, 여드름 보완이 필요함, 등과 같은 알림 메시지를 포함할 수 있다. 상세한 종합 평가 정보는 질의어와 보완 메이크업 가이드 정보를 포함할 수 있다. 질의어는 메이크업을 보완할지 여부를 질의하기 위한 것일 수 있으나 본 개시에서 질의어는 상술한 바로 제한되지 않는다. 디바이스(100)는 메이크업 보완이 필요하다고 판단된 경우에, 상술한 질의어를 제공할 수 있다. 디바이스(100)는 상술한 질의어에 기초하여 보완을 원하는 사용자 입력이 수신되면, 상술한 보완 메이크업 가이드 정보를 제공할 수 있다.
도 46은 일부 실시 예에 따른 디바이스(100)가 사용자가 자각하지 못하는 동안에 사용자의 메이크업 상태를 관리하는 메이크업 거울 제공 방법에 대한 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트 하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S4601에서, 디바이스(100)는 주기적으로 사용자의 얼굴 영상을 획득할 수 있다. 단계 S4601에서, 디바이스(100)는 사용자가 자각하지 못하는 동안에 사용자의 얼굴 영상을 획득할 수 있다. 단계 S4601에서, 디바이스(100)는 저전력 상시 센싱 기능을 이용할 수 있다. 디바이스(100)는 사용자가 디바이스(100)를 사용하는 것으로 감지될 때마다 사용자의 얼굴 영상을 획득할 수 있다. 디바이스(100)가 스마트 폰 일 때, 사용자가 디바이스(100)를 사용하는 것은 사용자가 디바이스(100)를 보고 있는 것으로 판단될 수 있는 조건을 포함할 수 있다. 본 개시에서 사용자가 디바이스(100)를 사용하는 것은 상술한 바로 제한되지 않는다.
단계 S4602에서, 디바이스(100)는 주기적으로 획득되는 사용자의 얼굴 영상에 대한 메이크업 상태를 점검할 수 있다. 디바이스(100)는 메이크업 완료 직후의 사용자의 얼굴 영상과 현재 획득되는 사용자의 얼굴 영상을 비교하여 사용자의 얼굴 영상에 대한 메이크업 상태를 점검할 수 있다.
본 개시에서 디바이스(100)의 메이크업 상태를 점검하는 범위는 메이크업으로 한정되지 않는다. 예를 들어 사용자의 얼굴 영상에 대한 메이크업 상태 점검 결과, 디바이스(100)는 사용자의 얼굴 영상에서 눈곱을 검출할 수 있다. 사용자의 얼굴 영상에 대한 메이크업 상태 점검 결과, 디바이스(100)는 사용자의 얼굴 영상에서 코털을 검출할 수 있다. 사용자의 얼굴 영상에 대한 메이크업 상태 점검 결과, 디바이스(100)는 사용자의 얼굴 영상에서 고추 가루, 밥 풀과 같은 이물질을 검출할 수 있다.
단계 S4602에서, 사용자의 얼굴 영상에 대한 메이크업 상태를 점검한 결과, 사용자의 얼굴 영상에서 이상 상태가 검출되면, 단계 S4603에서 디바이스(100)는 알림이 필요하다고 판단할 수 있다. 이상 상태는 메이크업 보완 상태(예를 들어, 메이크업 번짐, 또는 메이크업 지워짐 등), 상술한 이물질이 사용자의 얼굴 영상에서 검출된 상태, 사용자의 얼굴 영상에서 코털, 눈곱 등이 검출된 상태를 포함할 수 있으나 본 개시에서 이상 상태는 상술한 바로 제한되지 않는다.
이에 따라 단계 S4604에서, 디바이스(100)는 사용자에게 알림을 제공할 수 있다. 알림은 팝업 창 형태로 제공될 수 있으나 본 개시에서 알림의 형태는 상술한 바로 제한되지 않는다. 예를 들어 알림은 특정 알림 음 또는 특정 사운드 메시지 형태로 제공될 수 있다.
단계 S4602에서, 사용자의 얼굴 영상에 대한 메이크업 상태를 점검한 결과, 사용자의 얼굴 영상에서 이상 상태가 검출되지 않으면, 단계 S4603에서 디바이스(100)는 알림이 필요하지 않은 것으로 판단할 수 있다. 이에 따라 디바이스(100)는 단계 S4601로 리턴되어 주기적으로 사용자의 얼굴 영상의 메이크업 상태를 점검할 수 있다.
도 47(a) 내지 도 47(d)는 일부 실시 예에 따라 디바이스(100)가 사용자가 자각하지 못하는 동안에 사용자의 메이크업 상태를 점검하여 메이크업 가이드 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 47(a)에서, 사용자가 디바이스(100)를 사용하고 있는 것으로 인식되는 동안에 디바이스(100)는 주기적으로 사용자의 얼굴 영상을 획득하고, 획득된 사용자의 얼굴 영상의 메이크업 상태를 점검할 수 있다. 점검결과, 메이크업 보정이 필요하다고 판단됨에 따라 디바이스(100)는 도 47(b)에 도시된 바와 같은 메이크업 보정 알림(4701)을 제공할 수 있다. 본 개시에서 알림은 사용자의 얼굴 영상에서 이물질이 검출된 경우에도 제공될 수 있다.
디바이스(100)는 도 47(b)에 도시된 바와 같은 메이크업 보정 알림(4701)을 제공할 수 있다. 본 개시에서 제공되는 메이크업 보정 알림(4701)은 도 47(b)에 도시된 바로 제한되지 않는다. 알림을 제공할 때, 디바이스(100)는 애플리케이션을 실행하고 있을 수 있으나 이로 제한되지 않는다. 알림을 제공할 때, 디바이스(100)는 락 상태일 수 있다. 알림을 제공할 때, 디바이스(100)는 화면 꺼짐 상태일 수 있다. 메이크업 보정 알림(4701)은 팝업 창의 형태로 제공될 수 있다.
도 47(b)에서 메이크업 보정을 원하는 사용자 입력이 수신되면, 디바이스(100)는 도 47(c)에 도시된 바와 같이 메이크업 가이드 정보(4702, 4703)를 제공할 수 있다. 도 47(c)에서 제공된 메이크업 가이드 정보(4702, 4703)에 대한 상세 정보를 요청하는 사용자 입력이 수신되면, 디바이스(100)는 도 47(d)에 도시된 바와 같이 상세한 메이크업 가이드 정보(4704)를 제공할 수 있다.
도 48(a)는 일부 실시 예에 따른 디바이스(100)가 사용자의 메이크업 히스토리 정보를 제공하는 메이크업 거울 제공 방법에 대한 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트 하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S4801에서, 디바이스(100)는 사용자의 메이크업 히스토리 정보 요청을 나타내는 사용자 입력을 수신할 수 있다. 사용자의 메이크업 히스토리 정보 요청을 나타내는 사용자 입력은 디바이스(100)를 사용하여 입력될 수 있다. 사용자의 메이크업 히스토리 정보 요청을 나타내는 사용자 입력은 디바이스(100)에 연결된 외부 디바이스로부터 수신될 수 있다.
단계 S4802에서, 디바이스(100)는 사용자에 의해 선택되었던 메이크업 가이드 정보를 분석할 수 있다. 단계 S4803에서, 디바이스(100)는 사용자의 메이크업 완성도를 분석할 수 있다. 메이크업 완성도는 도 45에서 설명되고 있는 피부 분석 결과에 의해 얻을 수 있다. 단계 S4804에서, 디바이스(100)는 단계 S4802 및 단계 S4803에서 분석한 결과에 따라 사용자의 메이크업 히스토리 정보를 제공할 수 있다.
도 48(b)는 일부 실시 예에 따른 디바이스(100)가 사용자의 다른 메이크업 히스토리 정보를 제공하는 메이크업 거울 제공 방법에 대한 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트 하고, 저장 매체로부터 리드하여 사용할 수 있다.
도 48(b)를 참조하면, 단계 S4811에서, 디바이스(100)는 사용자의 메이크업 히스토리 정보 요청을 나타내는 사용자 입력을 수신할 수 있다. 사용자의 메이크업 히스토리 정보 요청을 나타내는 사용자 입력은 디바이스(100)를 사용하여 입력될 수 있다. 사용자의 메이크업 히스토리 정보 요청을 나타내는 사용자 입력은 디바이스(100)에 연결된 외부 디바이스로부터 수신될 수 있다.
단계 S4812에서, 디바이스(100)는 메이크업 후 사용자의 얼굴 영상을 기간별로 제공한다. 단계 S4812에서, 디바이스(100)는 사용자가 원하는 기간을 설정하는 과정을 수행할 수 있다. 예를 들어, 디바이스(100)는 달력 정보에 기초하여 사용자가 원하는 기간을 설정하는 과정을 수행할 수 있다. 예를 들어, 디바이스(100)는 주 단위(월요일부터 일요일까지), 요일 단위(예를 들어, 월요일), 월 단위, 또는 일 단위로 사용자가 원하는 기간을 설정하는 과정을 수행할 수 있다. 본 개시에서 사용자가 설정할 수 있는 기간은 상술한 바로 제한되지 않는다.
도 48(c)는 일부 실시 예에 따른 디바이스(100)가 사용자의 메이크업 히스토리 정보를 제공하는 메이크업 거울의 예이다. 도 48(c)는 주단위로 메이크업 히스토리 정보를 제공하는 예이다. 디바이스(100)는 도 48(c)에 도시된 메이크업 히스토리 정보를 사용자 입력에 관계없이 파노라마 형태로 제공할 수 있다.
도 48(c)를 참조하면, 디바이스(100)는 메이크업 후 사용자의 얼굴 영상을 요일 별로 제공한다. 도 48(c)를 참조하면, 우측 방향의 터치 & 드래그 입력(또는 페이지 전환 입력)이 수신되면, 디바이스(100)는 오늘의 메이크업 후 사용자의 얼굴 영상(목요일의 메이크업 후 사용자의 얼굴 영상)부터 그 전날의 메이크업 후 사용자의 얼굴 영상(수요일의 메이크업 후 사용자의 얼굴 영상), 그 전전날의 메이크업 후 사용자의 얼굴 영상(화요일의 메이크업 후 사용자의 얼굴 영상) 순으로 메이크업 후 사용자의 얼굴 영상을 제공한다.
도 48(d)는 일부 실시 예에 따른 디바이스(100)가 사용자의 메이크업 히스토리 정보를 제공하는 메이크업 거울의 예이다. 도 48(d)는 특정 요일(예를 들어, 목요일)단위로 메이크업 히스토리 정보를 제공하는 예이다. 디바이스(100)는 도 48(d)에 도시된 메이크업 히스토리 정보를 사용자 입력에 관계없이 파노라마 형태로 제공할 수 있다.
도 48(d)를 참조하면, 우측 방향의 터치 & 드래그 입력(또는 페이지 전환 입력)이 수신되면, 디바이스(100)는 최근 목요일(2015년 3월 19일)의 메이크업 후 사용자의 얼굴 영상부터 매주 목요일의 메이크업 후 사용자의 얼굴 영상을 순차적으로 제공한다.
도 48(e)는 일부 실시 예에 따른 디바이스(100)가 사용자의 메이크업 히스토리 정보를 제공하는 메이크업 거울의 예이다. 도 48(e)는 월 단위로 메이크업 히스토리 정보를 제공하는 예이다. 디바이스(100)는 도 48(e)에 도시된 메이크업 히스토리 정보를 사용자 입력에 관계없이 파노라마 형태로 제공할 수 있다.
도 48(e)를 참조하면, 우측 방향의 터치 & 드래그 입력(또는 페이지 전환 입력)이 수신되면, 디바이스(100)는 매월 첫날의 메이크업 후 사용자의 얼굴 영상을 순차적으로 제공한다.
본 개시에서 제공 가능한 메이크업 히스토리 정보는 도 48(a) 내지 도 48(e)에서 언급된 바로 한정되지 않는다. 예를 들어, 디바이스(100)는 사용자가 주로 선택한 메이크업 가이드 정보에 기초한 메이크업 히스토리 정보를 제공할 수 있다.
제공 가능한 메이크업 히스토리 정보 타입이 복수개인 경우에, 디바이스(100)는 제공 가능한 메이크업 히스토리 정보 타입을 사용자에게 제공할 수 있다. 사용자에 의해 하나의 메이크업 히스토리 정보 타입이 선택되면, 디바이스(100)는 사용자에 의해 선택된 메이크업 히스토리 정보 타입에 따른 메이크업 히스토리 정보를 제공할 수 있다. 사용자에 의해 선택된 메이크업 히스토리 정보 타입에 따라 디바이스(100)는 서로 다른 메이크업 히스토리 정보를 제공할 수 있다.
도 49는 일부 실시 예에 따른 디바이스(100)가 사용자의 메이크업 영역에 기초하여 메이크업 가이드 정보 및 제품에 관한 정보를 제공하는 메이크업 거울 제공 방법의 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S4901에서, 디바이스(100)는 사용자의 메이크업 영역을 검출할 수 있다. 디바이스(100)는 상술한 관심 영역 검출과 같은 방식으로 사용자의 메이크업 영역을 검출할 수 있다.
단계 S4902에서, 디바이스(100)는 검출된 메이크업 영역에 대한 메이크업 가이드 정보를 사용자의 얼굴 영상에 표시하면서, 메이크업 제품에 관한 정보를 제공할 수 있다. 메이크업 제품에 관한 정보는 사용자에 의해 등록된 제품을 포함할 수 있다. 메이크업 제품에 관한 정보는 디바이스(100)에 연결된 외부 디바이스로부터 제공될 수 있다. 메이크업 제품에 관한 정보는 디바이스(100)에 연결된 외부 디바이스로부터 수신되는 정보에 따라 실시간으로 업데이트 될 수 있다.
도 50은 일부 실시 예에 따라 디바이스(100)가 메이크업 영역에 대한 메이크업 가이드 정보들(5001, 5002)과 메이크업 제품에 관한 정보(5003)를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 50을 참조하면, 디바이스(100)는 눈 길이에 맞추어 눈꼬리를 그리는 메이크업 가이드 정보(5001)를 제공할 수 있다. 또한, 디바이스(100)는 언더 3 등분에 기초하여 앞머리 3분의 1, 중간 부분 3분의 1, 및 뒷머리 3분의 1에 대한 메이크업 가이드 정보(5002)를 제공할 수 있다. 디바이스(100)는 메이크업 가이드 정보들(5001, 5002)과 관련 있는 메이크업 제품에 관한 정보(5003)를 제공할 수 있다. 도 50의 경우에, 디바이스(100)는 아이라인 펜슬을 메이크업 제품에 관한 정보(5003)로서 제공한다.
사용자 입력에 따라 메이크업 제품에 관한 정보(5003)가 다른 메이크업 제품에 관한 정보(예를 들어, 아이라인 리퀴드)로 변경되면, 디바이스(100)에 의해 제공되는 메이크업 가이드 정보들(5001, 5002)은 변경될 수 있다.
도 51은 일부 실시 예에 따른 디바이스(100)가 메이크업 도구 결정에 따른 메이크업 가이드 정보를 제공하는 메이크업 거울 제공 방법의 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트 하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S5101에서, 디바이스(100)는 메이크업 도구를 결정할 수 있다. 메이크업 도구는 사용자 입력에 따라 결정될 수 있다. 예를 들어, 디바이스(100)는 사용 가능한 복수의 메이크업 도구에 관한 정보를 표시할 수 있다. 표시되고 있는 복수의 메이크업 도구에 관한 정보중에서 하나의 정보를 선택하는 사용자 입력이 수신되면, 디바이스(100)는 사용자 입력에 따라 선택된 메이크업 도구를 사용할 메이크업 도구로서 결정할 수 있다.
단계 S5102에서, 디바이스(100)는 결정된 메이크업 도구에 따른 메이크업 가이드 정보를 사용자의 얼굴 영상에 표시할 수 있다.
도 52(a) 및 도 52(b)는 일부 실시 예에 따라 디바이스(100)가 메이크업 도구를 결정함에 따른 메이크업 가이드 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 52(a)를 참조하면, 디바이스(100)는 눈 메이크업 영역과 눈 메이크업 영역에서 사용 가능한 아이라인 펜슬(5201), 아이라인 젤(5202), 및 아이라인 리퀴드(5203)를 포함하는 복수의 메이크업 도구에 관한 정보를 제공할 수 있다.
도 52(a)에서 펜슬(5201)을 선택하는 사용자 입력이 수신되면, 디바이스(100)는 눈 메이크업에 사용할 메이크업 제품으로서 아이라인 펜슬을 결정할 수 있다.
이에 따라 디바이스(100)는 도 52(b)에서와 같이 아이라인 펜슬(5201)에 대응되는 이미지(5204)와 메이크업 가이드 정보(5205, 5206)를 사용자의 얼굴 영상에 표시할 수 있다.
도 53은 일부 실시 예에 따른 디바이스(100)가 사용자가 볼 수 없는 사용자의 옆 얼굴 영상을 제공하는 메이크업 거울 제공 방법의 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트 하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S5301에서, 디바이스(100)는 사용자의 얼굴의 좌측 방향 또는 우측 방향 움직임을 검출할 수 있다. 디바이스(100)는 실시간으로 획득 또는 수신되는 사용자의 얼굴 영상간을 비교하여 사용자의 얼굴의 움직임을 검출할 수 있다. 디바이스(100)는 얼굴 포즈 추정(head pose estimation) 기술을 이용하여 미리 설정된 각도에 기초하여 사용자의 얼굴의 좌측 방향 또는 우측 방향 움직임을 검출할 수 있다.
단계 S5302에서, 디바이스(100)는 사용자의 얼굴 영상을 획득할 수 있다. 디바이스(100)는 얼굴 포즈 추정 기술에 의해 미리 설정된 각도만큼 사용자의 얼굴이 좌측 방향 또는 우측 방향으로의 움직임이 검출되면, 사용자의 옆모습 얼굴 영상을 획득할 수 있다.
단계 S5303에서, 디바이스(100)는 획득된 사용자의 옆 모습 얼굴 영상을 제공할 수 있다. 단계 S5303에서, 디바이스(100)는 사용자의 옆 모습 얼굴 영상을 저장할 수 있다. 저장 요청을 나타내는 사용자 입력에 따라 디바이스(100)는 사용자의 옆모습 얼굴 영상을 저장할 수 있다. 디바이스(100)는 사용자 요청에 따라 저장된 사용자의 옆 모습 얼굴 영상을 제공할 수 있다. 이에 따라 사용자는 사용자의 옆모습을 하나의 메이크업 거울을 사용하여 쉽게 볼 수 있다.
도 54(a) 및 도 54(b)는 일부 실시 예에 따라 디바이스(100)가 사용자가 볼 수 없는 옆 모습 얼굴 영상을 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 54(a)를 참조하면, 디바이스(100)는 실시간으로 획득되는 사용자의 얼굴 영상들과 얼굴 포즈 추정 기술을 이용하여 사용자의 얼굴이 좌측 또는 우측방향으로 움직이는지 여부를 검출할 수 있다.
도 54(a)에서와 같이, 디바이스(100)를 바라보는 사용자를 기준으로 사용자의 얼굴이 좌측 방향(5401)으로 사전에 설정된 각도만큼 움직이면, 디바이스(100)는 사용자의 얼굴 영상을 획득할 수 있다. 디바이스(100)는 도 54(b)에서와 같이 사용자의 옆모습 얼굴 영상을 제공할 수 있다. 도 54(b)의 경우에, 사전에 설정된 각도는 약 45도인 경우이나 본 개시에서 사전에 설정된 각도는 이로 제한되지 않는다. 예를 들어, 사전에 설정된 각도는 약 30도일 수 있다. 상술한 각도는 사용자 입력에 따라 변경될 수 있다.
각도 정보 변경을 요청하는 사용자 입력이 수신되면, 디바이스(100)는 설정 가능한 각도 정보를 표시할 수 있다. 각도 정보를 표시할 때, 디바이스(100)는 각 각도 별로 제공 가능한 가상의 옆모습 얼굴 영상을 제공할 수 있다. 이에 따라 사용자는 가상의 옆모습 얼굴 영상에 기초하여 원하는 각도 정보를 설정할 수 있다.
또한, 디바이스(100)에 복수개의 각도 정보가 설정될 수 있다. 복수개의 각도 정보가 설정된 경우에, 디바이스(100)는 복수개의 각도에서 사용자의 얼굴 영상을 획득할 수 있다. 디바이스(100)는 복수개의 각도에서 획득된 사용자의 얼굴 영상들을 화면 분할 방식으로 제공할 수 있다. 디바이스(100)는 복수개의 각도에서 획득된 사용자의 얼굴 영상들을 복수 페이지에 기초하여 제공할 수 있다. 디바이스(100)는 복수개의 각도에서 획득된 사용자의 얼굴 영상들을 파노라마 형태로 제공할 수 있다.
도 55는 일부 실시 예에 따른 디바이스(100)가 사용자의 뒷모습 영상을 제공하는 메이크업 거울 제공 방법의 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S5501에서, 디바이스(100)는 실시간으로 사용자의 얼굴에 기초한 사용자의 영상을 획득할 수 있다. 디바이스(100)는 실시간으로 획득되는 사용자의 영상을 비교할 수 있다. 비교 결과, 단계 S5502에서 사용자의 뒷모습 영상으로 판단되는 영상이 획득되면, 단계 S5503에서 디바이스(100)는 획득된 사용자의 뒷모습 영상을 제공할 수 있다. 이에 따라 사용자는 하나의 메이크업 거울을 사용하여 사용자의 뒷모습을 쉽게 볼 수 있다.
디바이스(100)는 사용자의 요청에 따라 사용자의 뒷모습 영상을 제공할 수 있다. 단계 S5503에서, 디바이스(100)는 획득된 사용자의 뒷모습 영상을 저장할 수 있다. 저장 요청을 나타내는 사용자 입력이 수신됨에 따라 디바이스(100)는 사용자의 뒷모습을 저장할 수 있다.
도 56(a) 및 도 56(b)는 일부 실시 예에 따라 디바이스(100)가 사용자의 뒷모습 영상을 제공하는 메이크업 거울의 일례를 도시한 도면이다.
도 56(a)에서와 같이 디바이스(100)는 실시간으로 사용자의 얼굴 영상을 획득할 수 있다. 획득된 사용자의 얼굴 영상을 비교한 결과, 도 56(b)에서와 같이 사용자의 뒷모습 영상으로 판단되는 영상이 획득되면, 디바이스(100)는 획득된 사용자의 뒷모습 영상을 제공할 수 있다.
도 57은 일부 실시 예에 따른 디바이스(100)가 사용자가 등록한 메이크업 제품에 기초한 메이크업 가이드 정보를 제공하는 메이크업 거울 제공 방법의 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트 하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S5701에서, 디바이스(100)는 사용자의 메이크업 제품에 관한 정보를 등록할 수 있다. 디바이스(100)는 사용자의 메이크업 제품에 관한 정보를 각 단계별, 사용자의 얼굴 부위별로 등록할 수 있다. 이를 위하여 디바이스(100)는 각 단계별(예를 들어, 기초, 클렌징, 또는 메이크업 등), 사용자의 얼굴 부위별(예를 들어, 눈썹, 눈, 볼, 또는 입술 등)로 메이크업 제품 정보를 입력할 수 있는 안내 정보를 제공할 수 있다.
단계 S5702에서, 디바이스(100)는 사용자의 얼굴 영상을 디스플레이할 수 있다. 디바이스(100)는 도 3의 단계 S301에서와 같이 획득되거나 수신되는 사용자의 얼굴 영상을 디스플레이할 수 있다.
단계 S5703에서, 메이크업 가이드를 요청하는 사용자 입력이 수신되면, 디바이스(100)는 등록된 사용자의 메이크업 제품에 관한 정보에 기초한 메이크업 가이드 정보를 사용자의 얼굴 영상에 표시할 수 있다. 예를 들어, 단계 S5701에서 볼 메이크업에 관한 제품이 등록되지 않은 경우에, 단계 S5704에서 디바이스(100)는 볼에 관한 메이크업 가이드 정보를 사용자의 얼굴 영상에 표시하지 않을 수 있다.
도 58(a), 도 58(b), 및 도 58(c)는 일부 실시 예에 따라 디바이스(100)가 사용자의 메이크업 제품에 관한 정보 등록 과정을 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 58(a)에서와 같은 메이크업 제품에 관한 정보 등록하기 메시지(5801)에 기초하여 메이크업 제품에 관한 정보를 등록하기 위한 사용자 입력이 수신되면, 디바이스(100)는 도 58(b)에서와 같은 각 단계별 안내 정보(기초 아이템(5802), 클렌징 아이템(5803), 및 메이크업 아이템(5804))를 제공할 수 있다. 본 개시에서 각 단계별 안내 정보는 도 58(b)에 도시된 바로 제한되지 않는다.
도 58(b)에서 메이크업 아이템(5804)에 대한 선택을 나타내는 사용자 입력이 수신되면, 디바이스(100)는 도 58(c)에서와 같이 각 얼굴 부위별 안내 정보(눈썹(5805), 눈(5806), 볼(5807), 및 입술(5808))를 제공할 수 있다.
디바이스(100)는 메이크업 제품에 관한 정보를 등록하기 위한 안내 정보를 이미지 형태로 제공할 수 있다.
도 59는 일부 실시 예에 따른 디바이스(100)가 사용자의 피부 상태 관리 정보를 제공하는 메이크업 거울 제공 방법의 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트 하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S5901에서, 디바이스(100)는 사용자의 피부 상태 관리 정보 요청을 나타내는 사용자 입력을 수신한다. 상술한 사용자 입력은 디바이스(100)에 기초한 터치 기반 사용자 입력, 디바이스(100)의 사용자 음성 신호에 기초한 사용자 입력, 또는 디바이스(100)에 기초한 제스처 기반 사용자 입력을 포함할 수 있다. 상술한 사용자 입력은 디바이스(100)에 연결된 외부 디바이스로부터 제공될 수 있다.
단계 S5901에서 사용자 입력이 수신되면, 단계 S5902에서 디바이스(100)는 사용자의 피부 상태 분석 정보를 디바이스(100)에 포함된 메모리로부터 리드한다. 상술한 사용자의 피부 상태 분석 정보는 디바이스(100)에 연결된 외부 디바이스에 저장될 수 있다. 상술한 사용자의 피부 상태 분석 정보는 디바이스(100)에 포함된 메모리 또는 상술한 외부 디바이스에 저장될 수 있다. 이러한 경우에, 디바이스(100)는 디바이스(100)에 포함된 메모리에 저장된 피부 상태 분석 정보와 외부 디바이스에 저장된 피부 상태 분석 정보를 선택적으로 사용할 수 있다.
상술한 피부 상태 분석 정보는 도 44에서 언급된 피부 상태 분석 결과를 포함할 수 있다. 디바이스(100)는 상술한 피부 상태 분석 정보를 주기적으로 획득할 수 있다.
단계 S5902에서, 디바이스(100)는 사용자가 원하는 기간 정보를 수신하는 과정을 수행할 수 있다. 사용자는 상술한 도 48(b)의 단계 S4802에서와 같이 기간 정보를 설정할 수 있다. 사용자가 원하는 기간 정보를 수신하면, 디바이스(100)는 수신된 기간 정보에 기초하여 사용자의 피부 상태 분석 정보를 리드할 수 있는 범위를 결정할 수 있다.
예를 들어, 수신된 기간 정보가 매주 토요일을 나타내면, 디바이스(100)는 매주 토요일에 사용자의 피부 상태 분석 정보를 디바이스(100)에 포함된 메모리 또는 상술한 외부 디바이스로부터 리드할 수 있다. 리드되는 사용자의 피부 상태 분석 정보는 피부 상태 분석 정보가 적용된 사용자의 얼굴 영상을 포함할 수 있다.
단계 S5903에서, 디바이스(100)는 리드된 사용자의 피부 상태 분석 정보를 표시한다. 디바이스(100)는 사용자의 피부 상태 분석 정보를 수치적인 정보의 형태로 표시할 수 있다. 디바이스(100)는 사용자의 피부 상태 분석 정보를 사용자의 얼굴 영상에 기초하여 표시할 수 있다. 디바이스(100)는 사용자의 피부 상태 분석 정보를 사용자의 얼굴 영상과 수치적인 정보를 함께 표시할 수 있다. 이에 따라 사용자는 시간적으로 사용자의 피부 상태 변화를 쉽게 확인할 수 있다.
단계 S5903에서, 사용자의 얼굴 영상에 기초하여 사용자의 피부 상태 분석 정보를 표시할 때, 디바이스(100)는 표시될 사용자의 얼굴 영상들간에 상술한 도 40의 단계 S4002에서 언급된 얼굴의 특징 점 정합 처리 또는/및 픽셀 단위 정합 처리를 수행할 수 있다.
도 60(a) 내지 도 60(e)는 일부 실시 예에 따라 디바이스(100)가 사용자의 피부 상태 관리 정보를 제공하는 메이크업 거울의 일례를 도시하는 도면이다.
도 60(a) 내지 도 60(d)에 도시된 사용자의 피부 상태 관리 정보는 사용자 입력에 관계없이 파노라마 형태로 제공될 수 있다. 도 60(a) 내지 도 60(d)는 색소 침착에 기초한다. 본 개시에서 제공 가능한 피부 상태 관리 정보는 색소 침착으로 제한되지 않는다. 예를 들어, 본 개시에서 제공 가능한 피부 상태 관리 정보는 상술한 도 45(a)에 도시된 항목별로 제공될 수 있다. 본 개시에서 제공 가능한 피부 상태 관리 정보는 상술한 도 45(a)에 도시된 항목들중 적어도 2항목에 기초할 수 있다.
도 60(a)를 참조하면, 디바이스(100)는 토요일 단위로 사용자의 얼굴 영상으로부터 검출된 색소 침착에 관한 정보를 사용자의 얼굴 영상에 기초하여 표시한다. 도 60(a)에 도시된 바와 같은 터치 & 드래그 사용자 입력이 수신됨에 따라 디바이스(100)는 색소 침착에 관한 정보가 적용된 사용자의 얼굴 영상을 이동시키면서 표시한다. 이에 따라 사용자는 사용자의 얼굴 영상에서 색소 침착의 변화를 쉽게 확인할 수 있다.
도 60(b)를 참조하면, 사용자의 얼굴 영상이 표시되고 있는 영역에 기초한 터치 & 드래그 사용자 입력이 수신되면, 도 60(c)에 도시된 바와 같이 디바이스(100)는 각 사용자의 얼굴 영상에 대응되는 색소 침착에 관한 수치적인 정보를 표시할 수 있다.
도 60(b)를 참조하면, 사용자의 얼굴 영상이 표시되고 있는 영역에 기초한 터치 & 드래그 사용자 입력이 수신되면, 도 60(d)에 도시된 바와 같이 디바이스(100)는 사용자의 얼굴 영상에서 색소 침착이 4% 개선되었다는 상세 정보를 표시할 수 있다.
도 60(e)를 참조하면, 디바이스(100)는 특정 기간(예를 들어, 6월에서 8월 사이)에 측정된 피부 분석 항목(예를 들어, 피부 톤, 여드름, 주름, 색소 침착, 모공 등) 각각에 대한 분석 결과 값을 표시한다.
도 60(e)에 기초하여, 사용자는 피부톤이 화사하게 개선되었고, 여드름이 증가하였으며, 주름은 개선되지 않았고, 색소 침착은 개선되었고, 모공은 증가하였음을 확인할 수 있다.
도 61은 일부 실시 예에 따른 디바이스(100)가 획득되는 사용자의 얼굴 영상의 움직임에 따라 메이크업 가이드 정보를 변경하는 메이크업 거울 제공 방법의 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트 하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S6101에서, 디바이스(100)는 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시한다. 디바이스(100)는 상술한 도 3에서와 같이 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시할 수 있다.
단계 S6102에서, 디바이스(100)는 사용자의 얼굴 영상에서 움직임 정보를 검출한다. 디바이스(100)는 획득되는 사용자의 얼굴 영상 프레임들간의 차영상을 검출하는 방식으로 사용자의 얼굴 영상에서 움직임 정보를 검출할 수 있다. 상술한 사용자의 얼굴 영상은 실시간으로 획득될 수 있다. 본 개시에서 사용자의 얼굴 영상에서 움직임 정보를 검출하는 것은 상술한 바로 제한되지 않는다. 예를 들어, 디바이스(100)는 사용자의 얼굴 영상에서 특징 점들의 움직임 정보를 검출하여 사용자의 얼굴 영상에서 움직임 정보를 검출할 수 있다. 상술한 움직임 정보는 움직임 방향 및 움직임 량을 포함할 수 있으나 본 개시에서 움직임 정보는 상술한 바로 제한되지 않는다.
단계 S6102에서, 사용자의 얼굴 영상에서 움직임 정보가 검출되면, 단계 S6103에서, 디바이스(100)는 상술한 검출된 움직임 정보에 따라 사용자의 얼굴 영상에 표시되고 있는 메이크업 가이드 정보를 변경한다.
도 62는 일부 실시 예에 따른 디바이스(100)가 사용자의 얼굴 영상에서 검출된 움직임 정보에 따라 메이크업 가이드 정보를 변경하는 메이크업 거울의 일례를 도시하는 도면이다.
도 62를 참조하면, 디바이스(100)는 화면(6200)에 도시된 바와 같이 획득된 사용자의 얼굴 영상에 메이크업 가이드 정보가 표시되고 있을 때, 실시간으로 획득되는 사용자의 얼굴 영상들에 기초하여 사용자의 얼굴이 우측 방향으로 움직이는 것을 나타내는 움직임 정보가 검출되면, 디바이스(100)는, 화면(6210)에 도시된 바와 같이, 검출된 움직임 정보에 따라 표시되고 있는 메이크업 가이드 정보를 변경할 수 있다.
또한, 도 62를 참조하면, 실시간으로 획득되는 사용자의 얼굴 영상들에 기초하여 사용자의 얼굴이 좌측 방향으로 움직이는 것을 나타내는 움직임 정보가 검출되면, 디바이스(100)는, 화면(6220)에 도시된 바와 같이, 검출된 움직임 정보에 따라 표시되고 있는 메이크업 가이드 정보를 변경할 수 있다.
본 개시에서 획득되는 사용자의 얼굴 영상에서 검출된 움직임 정보에 따라 표시되고 있는 메이크업 가이드 정보를 변경하는 것은 도 62에 도시된 바로 제한되지 않는다. 예를 들어, 움직임 정보에 포함되어 있는 움직임 방향이 상측 방향이면, 디바이스(100)는 검출된 상측 방향의 움직임 량에 따라 메이크업 가이드 정보를 변경할 수 있다. 또한, 움직임 정보에 포함되어 있는 움직임 방향이 하측 방향이면, 디바이스(100)는 검출된 하측 방향의 움직임 량에 따라 메이크업 가이드 정보를 변경할 수 있다.
도 63은 일부 실시 예에 따른 디바이스(100)가 사용자 입력에 따라 사용자의 얼굴 영상에서 잡티를 표시하는 메이크업 거울 제공 방법의 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S6301에서, 디바이스(100)는 사용자의 얼굴 영상을 디스플레이한다. 디바이스(100)는 실시간으로 획득된 사용자의 얼굴 영상을 디스플레이할 수 있다. 디바이스(100)는 사용자 입력에 따라 디바이스(100)에 저장된 사용자의 얼굴 영상 중 하나를 선택하여 디스플레이할 수 있다. 디바이스(100)는 외부 디바이스로부터 수신된 사용자의 얼굴 영상을 디스플레이할 수 있다. 외부 디바이스로부터 수신된 사용자의 얼굴 영상은 외부 디바이스에서 실시간으로 획득된 사용자의 얼굴 영상일 수 있다. 외부 디바이스로부터 수신된 사용자의 얼굴 영상은 외부 디바이스에 저장된 사용자의 얼굴 영상일 수 있다.
단계 S6302에서, 디바이스(100)는 잡티 검출 레벨 또는 뷰티 페이스 레벨을 나타내는 사용자 입력을 수신한다. 잡티는 점, 기미, 또는 주근깨를 포함할 수 있다. 잡티는 여드름을 포함할 수 있다. 잡티는 주름을 포함할 수 있다. 잡티 검출 레벨은 상술한 잡티를 강조하여 표시하는 임계 값으로 표현될 수 있다. 뷰티 페이스 레벨은 상술한 잡티를 흐릿하게 표시하는 임계 값으로 표현될 수 있다.
임계 값은 사전에 설정될 수 있다. 임계 값은 가변적으로 설정될 수 있다. 임계 값이 가변적으로 설정된 경우에, 임계 값은 사전에 설정된 범위(예를 들어, 상술한 도 34에서 언급된 사전에 설정된 범위)에 포함되는 주변 픽셀의 픽셀 값에 따라 결정될 수 있다. 임계 값은 사전에 설정된 값과 상술한 주변 픽셀의 픽셀 값에 기초하여 가변적으로 설정될 수 있다.
잡티 검출 레벨 및 뷰티 페이스 레벨은 단계 S6301에서 디스플레이되고 있는 사용자의 얼굴 영상을 기준으로 표현될 수 있다. 예를 들어, 디바이스(100)는 단계 S6301에서 디스플레이되고 있는 사용자의 얼굴 영상을 ‘0’레벨로 표현하고, ‘-(음)수(예를 들어, -1, -2, …)’를 잡티 검출 레벨로 표현하고, ‘+(양)수(예를 들어, +1, +2, …)’를 뷰티 페이스 레벨로 표현할 수 있다.
상술한 바와 같이 잡티 검출 레벨과 뷰티 페이스 레벨을 표현할 경우에, 디바이스(100)는 음수가 작아질수록 사용자의 얼굴 영상에서 잡티를 강조하여 표시할 수 있다. 예를 들어, 잡티 검출 레벨이 ‘-1‘일 때보다 잡티 검출 레벨이 ‘-2’일 때, 디바이스(100)는 사용자의 얼굴 영상에서 잡티를 더 강조하여 표시할 수 있다. 따라서, 음수가 작아질수록, 디바이스(100)는 사용자의 얼굴 영상에서 더 많은 잡티를 더 강조하여 표시할 수 있다.
디바이스(100)는 양수가 커질수록, 사용자의 얼굴 영상에서 잡티를 흐릿하게 표시할 수 있다. 예를 들어, 뷰티 페이스 레벨이 ‘+1’일 때보다 뷰티 페이스 레벨이 ‘+2’일 때, 디바이스(100)는 사용자의 얼굴 영상에서 잡티를 더 흐릿하게 표시할 수 있다. 따라서, 양수가 커질수록, 디바이스(100)는 사용자의 얼굴 영상에서 더 많은 잡티를 더 흐릿하게 표시할 수 있다. 또한, 양수가 커질수록, 디바이스(100)는 사용자의 얼굴 영상을 밝게 표시할 수 있다. 양수가 큰 값일 때, 디바이스(100)는 전혀 잡티가 없는 사용자의 얼굴 영상을 표시할 수 있다.
상술한 바와 같이 사용자의 얼굴 영상에 잡티를 흐릿하게 표시하거나 사용자의 얼굴 영상을 밝게 표시하기 위하여, 디바이스(100)는 사용자의 얼굴 영상을 블러링 할 수 있다. 사용자의 얼굴 영상에 대한 블러링 강도는 상술한 뷰티 페이스 레벨에 기초하여 결정될 수 있다. 예를 들어, 뷰티 페이스 레벨이 ‘+1’ 일 때보다 ‘+2’일 때, 사용자의 얼굴 영상에 대한 블러링 강도는 높을 수 있다.
상술한 뷰티 페이스 레벨은 사용자의 얼굴 영상에서 잡티를 제거하기 위한 임계 값으로 표현될 수 있다. 이에 따라 뷰티 페이스 레벨은 잡티 검출 레벨에 포함될 수 있다. 잡티 검출 레벨에 뷰티 페이스 레벨이 포함될 경우에, 디바이스(100)는 잡티 검출 레벨이 양수이고, 양수가 커질수록 사용자의 얼굴 영상에서 잡티를 흐릿하게(또는 제거하여) 표시한다고 말할 수 있다.
본 개시에서 잡티 검출 레벨 및 뷰티 페이스 레벨에 대한 표현은 상술한 바로 제한되지 않는다. 예를 들어, 디바이스(100)는 ‘-(음)수‘를 뷰티 페이스 레벨로 표현하고, ‘+(양)수’를 잡티 검출 레벨로 표현할 수 있다.
상술한 바와 같이 잡티 검출 레벨과 뷰티 페이스 레벨을 표현할 경우에, 디바이스(100)는 음수가 작아질수록 사용자의 얼굴 영상에서 잡티를 흐릿하게 표시할 수 있다. 예를 들어, 뷰티 페이스 레벨이 ‘-1‘일 때보다 뷰티 페이스 레벨이 ‘-2’일 때, 디바이스(100)는 사용자의 얼굴 영상에서 잡티를 더 흐릿하게 표시할 수 있다. 따라서, 음수가 작아질수록, 디바이스(100)는 사용자의 얼굴 영상에서 더 많은 잡티를 더 흐릿하게 표시할 수 있다.
또한, 잡티 검출 레벨이 ‘+1‘일 때보다 잡티 검출 레벨이 ‘+2’일 때, 디바이스(100)는 사용자의 얼굴 영상에서 잡티를 더 강조하여 표시할 수 있다. 따라서, 양수가 커질수록, 디바이스(100)는 사용자의 얼굴 영상에서 더 많은 잡티를 더 강조하여 표시할 수 있다.
또한, 본 개시에서 잡티 검출 레벨 및 뷰티 페이스 레벨은 칼라 값으로 표현될 수 있다. 예를 들어, 디바이스(100)는 어두운 칼라일수록 잡티를 더 강조하여 표시하도록 잡티 검출 레벨을 표현할 수 있다. 디바이스(100)는 밝은 칼라일수록 잡티를 더 흐릿하게 표시하도록 뷰티 페이스 레벨을 표현할 수 있다. 잡티 검출 레벨 및 뷰티 페이스 레벨에 대응되는 칼라 값은 그라데이션 칼라로 표현될 수 있다.
또한, 본 개시에서 잡티 검출 레벨 및 뷰티 페이스 레벨은 막대 그래프의 크기에 기초하여 표현될 수 있다. 예를 들어, 디바이스(100)는 단계 S6301에서 디스플레이되고 있는 사용자의 얼굴 영상을 기준으로 막대 그래프의 크기가 커질수록 잡티를 더 강조하여 표시하도록 잡티 검출 레벨을 표현할 수 있다. 디바이스(100)는 단계 S6301에서 디스플레이되고 있는 사용자의 얼굴 영상을 기준으로 막대 그래프의 크기가 커질수록 잡티를 더 흐릿하게 표시하도록 뷰티 페이스 레벨을 표현할 수 있다.
상술한 바와 같이 디바이스(100)는 복수개의 잡티 검출 레벨과 복수개의 뷰티 페이스 레벨을 설정할 수 있다. 복수개의 잡티 검출 레벨과 복수개의 뷰티 페이스 레벨은 픽셀단위의 색상 정보(또는 픽셀 값)에 따라 구분될 수 있다.
복수개의 잡티 검출 레벨에 대응되는 색상 정보는 복수개의 뷰티 페이스 레벨에 대응되는 색상 정보보다 작은 값을 가질 수 있다. 복수개의 잡티 검출 레벨에 대응되는 색상 정보는 사용자의 얼굴 영상의 피부 색에 대응되는 색상 정보 보다 작은 값을 가질 수 있다. 복수개의 뷰티 페이스 레벨 중 일부 레벨에 대응되는 색상 정보는 사용자의 얼굴 영상의 피부 색에 대응되는 색상 정보보다 작을 값을 가질 수 있다. 복수개의 뷰티 페이스 레벨 중 일부 레벨에 대응되는 색상 정보는 사용자의 얼굴 영상의 피부 색에 대응되는 색상 정보와 동일하거나 큰 값을 가질 수 있다.
잡티를 더 강조하여 표시하는 잡티 검출 레벨일수록 픽셀 단위의 색상 정보는 작을 수 있다, 예를 들어, ‘-2’잡티 검출 레벨에 대응되는 픽셀 단위의 색상 정보는 ‘-1’잡티 검출 레벨에 대응되는 픽셀 단위의 색상 정보보다 더 작을 수 있다.
잡티를 더 흐릿하게 표시하는 뷰티 페이스 레벨일수록 픽셀 단위의 색상 정보가 클 수 있다. 예를 들어, ‘+2’뷰티 페이스 레벨에 대응되는 픽셀 단위의 색상 정보는 ‘+1’ 뷰티 페이스 레벨에 대응되는 픽셀 단위의 색상 정보보다 클 수 있다.
디바이스(100)는 사용자의 얼굴 영상의 피부 색과 색상 차이가 적은 잡티 또는/및 굵기가 가는 주름을 사용자의 얼굴 영상에서 검출할 수 있도록 상술한 잡티 검출 레벨을 설정할 수 있다. 디바이스(100)는 사용자의 얼굴 영상의 피부 색과 색상 차이가 많은 잡티 또는 굵기가 굵은 주름을 사용자의 얼굴 영상에서 제거할 수 있도록 상술한 뷰티 페이스 레벨을 설정할 수 있다.
단계 S6303에서, 디바이스(100)는 사용자 입력에 따라 디스플레이되고 있는 사용자의 얼굴 영상에 잡티를 표시한다.
단계 S6302에서 수신된 사용자 입력이 잡티 검출 레벨을 나타내면, 단계 S6303에서 디바이스(100)는 잡티 검출 레벨에 따라 단계 S6301에서 디스플레이되고 있는 사용자의 얼굴 영상에서 검출된 잡티를 강조하여 표시한다.
단계 S6302에서 수신된 사용자 입력이 뷰티 페이스 레벨을 나타내면, 단계 S6303에서 디바이스(100)는 뷰티 페이스 레벨에 따라 단계 S6301에서 디스플레이 되고 있는 사용자의 얼굴 영상에서 검출된 잡티를 흐릿하게 표시한다. 단계 S6303에서, 디바이스(100)는 뷰티 페이스 레벨에 따라 전혀 잡티가 없는 사용자의 얼굴 영상을 표시할 수 있다.
예를 들어, 디바이스(100)는 ‘+3’뷰티 페이스 레벨이 수신되면, 수신된 ‘+3’ 뷰티 페이스 레벨에 대응되는 픽셀 단위의 색상 정보에 기초하여 단계 S6301에서 디스플레이되고 있는 사용자의 얼굴 영상에서 잡티를 검출하고, 검출된 잡티를 표시할 수 있다. ‘+3’뷰티 페이스 레벨에 대응되는 픽셀 단위의 색상 정보는 ‘+1’뷰티 페이스 레벨에 대응되는 픽셀 단위의 색상 정보보다 큰 값을 가질 수 있다. 이에 따라 “+3’뷰티 페이스 레벨에서 검출되는 잡티는 “+1’뷰티 페이스 레벨에서 검출되는 잡티보다 더 작을 수 있다.
도 64는 일부 실시 예에 따른 디바이스(100)에 설정된 잡티 검출 레벨 및 뷰티 페이스 레벨과 그에 대응되는 메이크업 거울의 일례를 도시하는 도면이다.
도 64를 참조하면, 디바이스(100)는 단계 S6301에서 디스플레이되고 있는 사용자의 얼굴 영상을 ‘0’레벨로 표현한다. 디바이스(100)는 잡티 검출 레벨을 음수로 표현한다, 디바이스(100)는 뷰티 페이스 레벨을 양수로 표현한다.
도 64를 참조하면, 디바이스(100)는 잡티 검출 레벨에 기초하여 사용자의 얼굴 영상을 제공하는 잡티 검출 기능을 제공할 수 있다. 도 64를 참조하면, 디바이스(100)는 뷰티 페이스 레벨에 기초하여 사용자의 얼굴 영상을 제공하는 뷰티 페이스 기능을 제공할 수 있다.
도 64의 (6410)에서, 디바이스(100)는 상술한 단계 S6301에서 언급된 사용자의 얼굴 영상을 디스플레이하는 메이크업 거울을 제공한다. 도 64의 (6410)를 참조하면, 디스플레이되고 있는 사용자의 얼굴 영상에 잡티가 포함되어 있다.
도 64의 (6420)에서, 디바이스(100)는 ‘-5’잡티 검출 레벨에 따른 사용자의 얼굴 영상을 디스플레이하는 메이크업 거울을 제공한다. 도 64의 (6420)를 참조하면, 사용자의 얼굴 영상에 포함되는 잡티의 수 및 면적이 도 64의 (6410)에서 디스플레이되고 있는 사용자의 얼굴 영상에 포함되는 잡티의 수 및 면적보다 더 늘어난 것을 확인할 수 있다.
도 64의 (6420)에서 디바이스(100)는 잡티들의 색상과 사용자의 얼굴 영상의 피부 색상간의 차에 기초하여 잡티들을 다르게 표시될 수 있다. 도 64의 (6420)에서 잡티들을 다르게 표시할 경우에, 디바이스(100)는 잡티들에 대한 안내 정보를 제공할 수 있다.
예를 들어, 디바이스(100)는 도 64의 (6420)에서 표시되는 잡티들의 색상과 사용자의 얼굴 영상의 피부 색상간의 차를 검출한다. 디바이스(100)는 검출된 차와 기준치를 비교하여 도 64의 (6420)에 표시되는 잡티들을 그룹핑한다. 상술한 기준치는 사전에 설정될 수 있으나 사용자 입력에 따라 설정되거나 가변 될 수 있다. 디바이스(100)는 영상 경사 값을 검출하는 알고리즘을 이용하여 상술한 차를 검출할 수 있다. 상술한 기준치가 1개인 경우에. 디바이스(100)는 상술한 잡티들을 그룹 1과 그룹 2로 나눈다. 상술한 기준치가 2개인 경우에, 디바이스(100)는 상술한 잡티들을 그룹 1, 그룹 2, 및 그룹 3로 나눌 수 있다. 본 개시에서 상술한 기준치의 개수는 상술한 바로 제한되지 않는다. 예를 들어, 상술한 기준치가 N개인 경우에, 디바이스(100)는 상술한 잡티들을 N+1개로 그룹핑할 수 있다. N은 양의 정수이다.
상술한 잡티들을 그룹 1과 그룹 2로 나누고, 상술한 차가 상술한 기준치 이상인 잡티를 그룹 1에 포함시킨 경우에, 디바이스(100)는 그룹 1에 포함되는 잡티들에 하이라이트 표시할 수 있다. 이러한 경우에, 디바이스(100)는 하이라이트 표시된 잡티들에 대한 안내 정보(예를 들어, 하이라이트 표시된 잡티들은 색상의 침착이 심한 잡티)를 제공할 수 있다. 또한, 디바이스(100)는 하이라이트 표시된 잡티들과 하이라이트 표시되지 않는 잡티들에 대한 안내 정보를 제공할 수 있다.
도 64의 (6430)에서, 디바이스(100)는 ‘+5’뷰티 페이스 레벨에 따른 사용자의 얼굴 영상을 디스플레이하는 메이크업 거울을 제공한다. 도 64의 (6430)을 참조하면, 디바이스(100)는 도 64의 (6410)에 디스플레이되고 있는 사용자의 얼굴 영상에 표시된 잡티를 모두 제거한 사용자의 얼굴 영상을 디스플레이한다.
도 65(a) 내지 도 65(d)는 일부 실시 예에 따른 디바이스(100)가 잡티 검출 레벨 또는/및 뷰티 페이스 레벨을 표현하는 예이다.
도 65(a)를 참조하면, 디바이스(100)는 잡티 검출 레벨과 뷰티 페이스 레벨에 관한 정보를 독립된 영역에 표시한다. 디바이스(100)는 메이크업 거울을 통해 디스플레이 되고 있는 사용자의 얼굴 영상에 대응되는 레벨을 화살표(6501)로 표시한다. 화살표(6501)를 터치한 후 좌 방향 또는 우 방향으로 이동시키는 사용자 입력이 수신되면, 디바이스(100)는 설정된 잡티 검출 레벨 또는 뷰티 페이스 레벨을 변경할 수 있다.
본 개시에서 설정된 잡티 검출 레벨 또는 뷰티 페이스 레벨을 변경하는 것은 상술한 사용자 입력으로 제한되지 않는다. 예를 들어, 잡티 검출 레벨과 뷰티 페이스 레벨에 관한 정보가 표시된 영역에 대한 터치 기반 사용자 입력이 수신되면, 디바이스(100)는 설정된 잡티 검출 레벨 또는 뷰티 페이스 레벨을 변경할 수 있다. 설정된 잡티 검출 레벨 또는 뷰티 페이스 레벨이 변경됨에 따라 디바이스(100)는 메이크업 거울을 통해 디스플레이되고 있는 사용자의 얼굴 영상을 변경할 수 있다.
도 65(b)를 참조하면, 디바이스(100)는 표시 창(6502)에 기초하여 현재 설정된 잡티 검출 레벨 또는 뷰티 페이스 레벨을 표시할 수 있다. 표시 창(6502)에 기초한 상 방향 또는 하 방향의 터치 앤 드래그 사용자 입력이 수신되면, 디바이스(100)는 표시 창(6502)에 표시되고 있는 잡티 검출 레벨 또는 뷰티 페이스 레벨을 변경할 수 있다. 표시 창(6502)에 표시되고 있는 잡티 검출 레벨 또는 뷰티 페이스 레벨이 변경됨에 따라 디바이스(100)는 메이크업 거울을 통해 디스플레이되고 있는 사용자의 얼굴 영상을 변경할 수 있다.
도 65(c)를 참조하면, 디바이스(100)는 잡티 검출 레벨 또는 뷰티 페이스 레벨에 따라 표시 바를 다르게 표시한다. 디바이스(100)는 설정된 잡티 검출 레벨 또는 뷰티 페이스 레벨과 설정되지 않은 잡티 검출 레벨 또는 뷰티 페이스 레벨을 다른 색으로 표시할 수 있다. 도 64(c)에서, 잡티 검출 레벨과 뷰티 페이스 레벨에 관한 정보가 표시된 영역에 대한 터치 기반 사용자 입력이 수신되면, 디바이스(100)는 설정된 잡티 검출 레벨 또는 뷰티 페이스 레벨을 변경할 수 있다. 설정된 잡티 검출 레벨 또는 뷰티 페이스 레벨이 변경됨에 따라 디바이스(100)는 메이크업 거울을 통해 디스플레이되고 있는 사용자의 얼굴 영상을 변경할 수 있다.
도 65(d)를 참조하면, 디바이스(100)는 그라데이션 칼라에 기초하여 잡티 검출 레벨 또는 뷰티 페이스 레벨을 표시한다. 도 65(d)에서 디바이스(100)는 잡티 검출 레벨로 갈수록 어두운 칼라를 제공한다. 도 65(d)에서, 디바이스(100)는 현재 설정된 잡티 검출 레벨 또는 뷰티 페이스 레벨을 나타내는 화살표(6503)를 표시할 수 있다.
도 66은 일부 실시 예에 따른 디바이스(100)가 잡티를 검출하는 방법의 동작 흐름도이다. 도 66에 도시된 동작 흐름도는 상술한 도 63의 단계 S6303에 포함될 수 있다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S6601에서, 디바이스(100)는 단계 S6301에서 디스플레이되고 있는 사용자의 얼굴 영상에 대한 블러(blur) 영상을 획득한다. 블러 영상은 사용자의 얼굴 영상에서 피부 영역을 블러링(blurring)한 영상을 말한다.
단계 S6602에서, 디바이스(100)는 단계 S6301에서 디스플레이되고 있는 사용자의 얼굴 영상과 블러 영상간의 차 값을 구한다. 디바이스(100)는 디스플레이되고 있는 사용자의 얼굴 영상과 블러 영상간의 차 절대값을 구할 수 있다.
단계 S6603에서, 디바이스(100)는 검출된 차 값과 임계 값을 비교하여 사용자의 얼굴 영상에서 잡티를 검출한다. 상술한 임계 값은 상술한 단계 S6302에서 수신된 사용자 입력에 따라 결정될 수 있다. 예를 들어, 단계 S6302에서 수신된 사용자 입력이 ‘-3’잡티 검출 레벨이면, 디바이스(100)는 ‘-3’잡티 검출 레벨에 대응되는 픽셀 단위의 색상 정보를 임계 값으로 결정할 수 있다. 이에 따라, 단계 S6603에서 디바이스(100)는 사용자의 얼굴 영상에서 -3’ 잡티 검출 레벨에 대응되는 픽셀 단위의 색상 정보 이상의 값을 갖는 픽셀을 검출할 수 있다.
상술한 단계 S6303에서, 디바이스(100)는 검출된 픽셀을 디스플레이되고 있는 사용자의 얼굴 영상에 잡티로서 표시할 수 있다. 이에 따라 상술한 픽셀 검출은 잡티 검출이라고 말할 수 있다.
도 67은 일부 실시 예에 따른 디바이스(100)가 사용자의 얼굴 영상과 블러 영상간의 차에 기초하여 잡티를 검출하는 관계를 나타내는 도면이다.
도 67의 (6710)는 단계 S6301에서 디바이스(100)에 디스플레이되고 있는 사용자의 얼굴 영상이다. 도 67의 (6720)는 단계 S6601에서 디바이스(100)에 의해 획득된 블러 영상이다. 도 67의 (6730)은 단계 S6603에서 디바이스(100)에 의해 검출된 잡티이다. 디바이스(100)는 도 67의 (6710)과 도 67의 (6720)간의 차를 검출하여, 도 67의 (6730)에 도시된 잡티를 검출할 수 있다.
상술한 단계 S6303에서, 디바이스(100)는 잡티를 사용자의 얼굴 영상의 피부 색상보다 어둡게 표시할 수 있다. 디바이스(100)는 검출된 픽셀의 차 절대 값과 상술한 임계 값간의 차에 따라 잡티를 다르게 표시할 수 있다. 예를 들어, 디바이스(100)는 검출된 픽셀의 차 절대 값과 임계 값간의 차가 큰 잡티일수록 더 강조하여(예를 들어, 어둡게 또는 하이라이트) 표시할 수 있다.
상술한 단계 S6303에서, 디바이스(100)는 잡티 검출 레벨에 따라 사용자의 얼굴 영상에서 검출된 잡티를 다른 색상으로 표시할 수 있다. 예를 들어, 디바이스(100)는 ‘-1’잡티 검출 레벨에서 사용자의 얼굴 영상에서 검출된 잡티를 노란색으로 표시하고, ‘-2’잡티 검출 레벨에서 사용자의 얼굴 영상에서 검출된 잡티를 주황색으로 표시할 수 있다.
도 66은 복수의 블러 영상을 획득하고, 획득된 복수의 블러 영상간의 차 값을 구하고, 구한 차 값을 임계 값과 비교하여 사용자의 얼굴 영상에서 잡티를 검출하도록 변형될 수 있다.
복수의 블러 영상은 도 34에서 언급된 복수의 블러 영상과 같을 수 있다. 복수의 블러 영상은 다단계의 블러 영상이라고 말할 수 있다. 상술한 다단계는 블러 강도에 대응될 수 있다. 예를 들어, 다단계가 저 단계, 중 단계, 및 고 단계를 포함할 경우에, 저 단계는 낮은 블러 강도에 대응될 수 있고, 중 단계는 중간 블러 강도에 대응될 수 있고, 고 단계는 높은 블러 강도에 대응될 수 있다.
또한, 디바이스(100)는 임계 값을 사전에 설정할 수 있으나, 도 34에서 언급한 바와 같이 가변적으로 설정할 수 있다.
또한, 디바이스(100)는 영상 경사 값 검출 알고리즘을 이용하여 사용자의 얼굴 영상에서 잡티를 검출할 수 있다. 디바이스(100)는 피부 분석 알고리즘을 이용하여 사용자의 얼굴 영상에서 잡티를 검출할 수 있다.
도 68은 일부 실시 예에 따른 디바이스(100)가 사용자의 얼굴 영상에서 일부 영역에 대한 피부 분석 결과를 제공하는 동작 흐름도이다. 상술한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 예를 들어, 상술한 방법은 디바이스(100)에 인스톨된 메이크업 거울 애플리케이션에 의해 수행될 수 있다. 상술한 컴퓨터 프로그램은 디바이스(100)에 설치된 운영 시스템(Operation System) 환경에서 동작될 수 있다. 디바이스(100)는 상술한 컴퓨터 프로그램을 저장 매체에 라이트하고, 저장 매체로부터 리드하여 사용할 수 있다.
단계 S6801에서, 디바이스(100)는 사용자의 얼굴 영상을 디스플레이한다. 디바이스(100)는 실시간으로 획득된 사용자의 얼굴 영상을 디스플레이할 수 있다. 디바이스(100)는 사용자 입력에 따라 디바이스(100)에 저장된 사용자의 얼굴 영상을 디스플레이할 수 있다. 디바이스(100)는 외부 디바이스로부터 수신된 사용자의 얼굴 영상을 디스플레이할 수 있다. 디바이스(100)는 잡티가 제거된 사용자의 얼굴 영상을 디스플레이할 수 있다.
단계 S6802에서, 디바이스(100)는 돋보기 창 실행을 나타내는 사용자 입력을 수신한다. 돋보기 창 실행을 나타내는 사용자 입력은 사용자의 얼굴 영상 중 일부 영역에 대한 피부 분석 요청을 나타내는 사용자 입력이라고 말할 수 있다. 이에 따라 돋보기 창은 피부 분석 창이라고 말할 수 있다.
디바이스(100)는 디스플레이되고 있는 사용자의 얼굴 영상의 일부 영역에 대한 롱 터치를 상술한 돋보기 창 실행을 나타내는 사용자 입력으로 수신할 수 있다. 디바이스(100)는 메뉴 창에 포함된 돋보기 창 실행 아이템에 대한 선택을 나타내는 사용자 입력을 상술한 돋보기 창 실행을 나타내는 사용자 입력으로 수신할 수 있다.
돋보기 창 실행을 나타내는 사용자 입력이 수신되면, 단계 S6803에서, 디바이스(100)는 돋보기 창을 사용자의 얼굴 영상에 디스플레이한다. 예를 들어, 돋보기 창 실행을 나타내는 사용자 입력이 상술한 롱 터치인 경우에, 디바이스(100)는 상술한 롱 터치된 지점을 중심으로 돋보기 창을 디스플레이할 수 있다. 돋보기 창 실행을 나타내는 사용자 입력이 상술한 메뉴 창에 기초하여 수신되면, 디바이스(100)는 디폴트로 설정된 위치를 중심으로 돋보기 창을 디스플레이할 수 있다.
단계 S6803에서, 디바이스(100)는 사용자 입력에 따라 디스플레이되고 있는 돋보기 창의 사이즈를 확대, 돋보기 창의 사이즈를 축소, 또는 돋보기 창의 디스플레이 위치를 이동시킬 수 있다.
단계 S6804에서, 디바이스(100)는 돋보기 창에 포함되는 사용자의 얼굴 영상에 대한 피부 상태를 분석한다. 디바이스(100)는 돋보기 창에 설정된 확대비에 기초하여 돋보기 창에 포함되는 사용자의 얼굴 영역 중 피부 상태를 분석할 영역을 결정할 수 있다. 상술한 확대비는 디바이스(100)에 사전에 설정될 수 있다. 상술한 확대비는 사용자 입력에 따라 설정되거나 가변 될 수 있다.
디바이스(100)는, 상술한 단계 S4402에서 수행된 바와 같이, 상술한 결정된 사용자의 얼굴 영역에 기초한 피부 아이템 분석 기술을 수행할 수 있다. 피부 아이템은, 예를 들어, 피부톤, 여드름, 주름, 색소 침착(또는 피부 침착), 모공(또는 모공의 크기), 피부 타입(예를 들어, 건성 피부, 민감성 피부, 지성 피부) 또는/및 각질을 포함할 수 있으나 본 개시에서 피부 아이템은 상술한 바로 제한되지 않는다.
돋보기 창 또는/및 돋보기 창에 설정된 확대비에 기초하여 사용자의 얼굴 영상에 대한 피부 분석을 수행함에 따라 디바이스(100)는 피부 분석에 따른 계산 량을 감소시킬 수 있다.
디바이스(100)는 돋보기 창을 확대, 축소, 이동하면서 사용자의 얼굴 영상을 분석하고, 분석된 결과를 제공함에 따라 돋보기 창을 돋보기 UI(User Interface)라고 말할 수 있다.
또한, 단계 S6801에서 잡티가 제거된 사용자의 얼굴 영상이 디스플레이될 경우에, 디바이스(100)는 잡티가 제거되기 전의 사용자의 얼굴 영상에 돋보기 창을 적용하여 피부 분석을 수행할 수 있다. 잡티가 제거되기 전의 사용자의 얼굴 영상은 디바이스(100)에 저장된 영상일 수 있다.
단계 S6804에서, 돋보기 창에 포함되는 사용자의 얼굴 영상에 대한 피부 분석 결과는 확대된 피부 상태 이미지를 포함할 수 있다.
단계 S6805에서, 디바이스(100)는 분석된 결과를 돋보기 창을 통해 제공한다. 예를 들어, 디바이스(100)는 확대된 이미지(또는 확대된 피부 상태 이미지)를 돋보기 창에 표시할 수 있다. 예를 들어, 상술한 확대비가 3으로 설정된 경우에, 디바이스(100)는 실제 크기보다 약 3배 확대된 이미지를 돋보기 창에 표시할 수 있다. 예를 들어, 상술한 확대비가 1로 설정된 경우에, 디바이스(100)는 실제 크기와 동일한 피부 상태 이미지를 돋보기 창에 표시할 수 있다. 디바이스(100)는 돋보기 창을 통해 텍스트 형태의 분석된 결과를 제공할 수 있다.
돋보기 창을 통해 제공되는 분석된 결과가 이미지 형태일 때, 분석된 결과에 대한 상세 정보를 요청하는 사용자 입력이 수신되면, 디바이스(100)는 상세 정보를 제공하는 페이지를 제공할 수 있다. 상세 정보를 제공하는 페이지는 팝업 형태로 제공될 수 있다. 상세 정보를 제공하는 페이지는 사용자의 얼굴 영상이 디스플레이되고 있는 페이지와 독립된 페이지일 수 있다. 상세 정보를 요청하는 사용자 입력은 돋보기 창에 기초한 터치 기반 입력을 포함할 수 있다. 본 개시에서 상세 정보를 요청하는 사용자 입력은 상술한 바로 제한되지 않는다.
도 69(a) 내지 도 69(d)는 일부 실시 예에 따른 디바이스(100)가 돋보기 창을 표시하는 메이크업 거울의 예를 도시하는 예이다.
도 69(a)를 참조하면, 디바이스(100)는 사용자의 얼굴 영상의 일부 영역에 돋보기 창(6901)을 디스플레이한다. 사용자의 얼굴 영상에서 상술한 일부 영역에 대한 터치 기반 사용자 입력이 수신되면, 디바이스(100)는 사용자 입력이 수신된 위치를 중심으로 돋보기 창(6901)을 표시할 수 있다. 사용자의 얼굴 영상은 도 64의 (6430)과 같이 잡티가 제거된 사용자의 얼굴 영상일 수 있다. 사용자의 얼굴 영상은 실시간으로 획득된 사용자의 얼굴 영상일 수 있다.
돋보기 창(6901)을 통해 피부 상태 분석 결과를 제공할 때, 디바이스(100)는 상술한 단계 S6805에서와 같이 실제 크기보다 약 3배 이상 확대된 이미지를 제공할 수 있다.
도 69(b)를 참조하면, 디바이스(100)는 도 69(a)에 도시된 돋보기 창(6901)의 사이즈를 확대한 돋보기 창(6902)을 제공할 수 있다. 디바이스(100)는 돋보기 창(6901)에 기초한 핀치 아웃(Pinch out)에 의해 사이즈를 확대한 돋보기 창(6902)을 제공할 수 있다. 핀치 아웃은 두 손가락을 화면 위에 터치한 상태에서 서로 다른 방향으로 움직이는 제스처이다. 돋보기 창(6901)의 사이즈를 확대하기 위한 사용자 입력은 상술한 핀치 아웃으로 제한되지 않는다.
도 69(b)에 도시된 돋보기 창(6902)이 제공될 경우에, 디바이스(100)는 도 69(a)에 도시된 돋보기 창(6901)보다 넓은 영역에 대한 피부 상태를 분석할 수 있다.
또한, 도 69(b)에 도시된 돋보기 창(6902)이 제공될 경우에, 디바이스(100)는 도 69(a)에 도시된 돋보기 창(6901)보다 확대된 피부 상태 이미지를 제공할 수 있다. 예를 들어, 디바이스(100)가 도 69(a)에 도시된 돋보기 창(6901)을 통해 1.5배 확대된 피부 상태 이미지를 제공할 경우에, 도 69(b)에 도시된 돋보기 창(6902)을 통해 2배 확대된 피부 상태 이미지를 제공할 수 있다.
도 69(c)를 참조하면, 디바이스(100)는 도 69(a)에 도시된 돋보기 창(6901)의 사이즈를 축소한 돋보기 창(6903)을 제공할 수 있다. 디바이스(100)는 돋보기 창(6901)에 기초한 핀치 인(Pinch in)에 의해 사이즈를 축소한 돋보기 창(6903)을 제공할 수 있다. 핀치 인은 두 손가락을 화면 위에 터치한 상태에서 서로 다른 방향으로 움직이는 제스처이다. 돋보기 창(6901)의 사이즈를 축소하기 위한 사용자 입력은 상술한 핀치 인으로 제한되지 않는다.
도 69(c)에 도시된 돋보기 창(6903)이 제공될 경우에, 디바이스(100)는 도 69(a)에 도시된 돋보기 창(6901)보다 좁은 영역에 대한 피부 상태를 분석할 수 있다.
또한, 도 69(c)에 도시된 돋보기 창(6903)이 제공될 경우에, 디바이스(100)는 도 69(a)에 도시된 돋보기 창(6901)보다 축소된 피부 상태 이미지를 제공할 수 있다. 예를 들어, 디바이스(100)가 도 69(a)에 도시된 돋보기 창(6901)을 통해 1.5배 확대된 피부 상태 이미지를 제공할 경우에, 도 69(c)에 도시된 돋보기 창(6903)을 통해 확대되지 않은 실제 피부 상태 이미지를 제공할 수 있다.
도 69(d)를 참조하면, 디바이스(100)는 도 69(a)에 도시된 돋보기 창(6901)의 디스플레이 위치를 다른 위치로 이동한 돋보기 창(6904)을 제공할 수 있다. 디바이스(100)는 돋보기 창(6901)에 기초한 터치 앤 드래그에 의해 다른 위치로 이동한 돋보기 창(6904)을 제공할 수 있다. 돋보기 창(6901)의 디스플레이 위치를 다른 위치로 이동하기 위한 사용자 입력은 상술한 터치 앤 드래그로 제한되지 않는다.
도 70은 일부 실시 예에 따른 디바이스(100)가 피부를 분석하기 위한 일부 영역을 표시하는 메이크업 거울의 예를 도시하는 예이다.
도 70을 참조하면, 디바이스(100)는 터치 기반 사용자 입력에 기초하여 형성된 도형에 따라 피부 분석 창(또는 피부 분석 영역)(7001)을 설정할 수 있다. 도 70에서 디바이스(100)는 터치 기반 사용자 입력에 기초하여 동그라미 도형을 형성한 예이다. 본 개시에서 터치 기반 사용자 입력에 기초하여 형성될 수 있는 도형은 상술한 동그라미로 제한되지 않는다. 예를 들어, 터치 기반 사용자 입력에 기초하여 형성될 수 있는 도형은 네모, 세모, 하트, 또는 정해지지 않은 형태 등 다양한 형태로 설정될 수 있다.
터치 기반 사용자 입력에 기초하여 형성된 도형에 기초하여, 디바이스(100)는 사용자의 얼굴 영상의 일부 영역에 대한 피부를 분석하고, 분석한 결과를 피부 분석 창(7001)을 통해 제공할 수 있다. 디바이스(100)는 피부 분석 창(7001)과 다른 창 또는 다른 페이지를 통해 상술한 피부를 분석한 결과를 제공할 수 있다.
디바이스(100)는 사용자 입력에 따라 도 70에 도시된 피부 분석 창(7001)을 상술한 돋보기 창(6901)과 같이 확대하거나 축소하거나 디스플레이 위치를 이동시킬 수 있다.
도 71은 본 개시의 실시 예들에서 언급되는 메이크업 거울 애플리케이션(7100)의 소프트웨어 구성의 일례를 도시한 도면이다.
도 71을 참조하면, 메이크업 거울 애플리케이션(7100)은 최상단에 메이크업 전 아이템, 메이크업 중 아이템, 메이크업 직후 아이템, 또는/및 메이크업 이후 아이템을 포함할 수 있다.
메이크업 전 아이템은 메이크업 가이드 정보 제공 아이템, 또는/및 메이크업 가이드 정보 추천 아이템을 포함할 수 있다.
메이크업 가이드 정보 제공 아이템은 사용자의 얼굴 영상 특성 기반 아이템, 환경 정보 기반 아이템, 사용자 정보 기반 아이템, 색조 기반 아이템, 테마 기반 아이템, 또는/및 사용자 등록 메이크업 제품 기반 아이템을 포함할 수 있다.
메이크업 가이드 정보 추천 아이템은 색조 기반 가상 메이크업 영상 아이템, 또는/및 테마 기반 가상 메이크업 영상 아이템을 포함할 수 있다.
메이크업 중 아이템은 스마트 거울 아이템, 또는/및 메이크업 가이드 아이템을 포함할 수 있다.
스마트 거울 아이템은 관심 영역 자동 확대 아이템, 옆 모습/뒷모습 확인 아이템, 조도 보정 아이템을 포함할 수 있다.
메이크업 가이드 아이템은 메이크업 순서 가이드 아이템, 사용자 얼굴 영상 기반 메이크업 도포 영역 표시 아이템, 좌우 대칭 메이크업 가이드 아이템, 또는/및 커버 영역 표시 아이템을 포함할 수 있다.
메이크업 직후 아이템은 메이크업 전후 비교 아이템, 메이크업 결과 정보 제공 아이템, 및/또는 피부 상태 관리 정보 제공 아이템을 포함할 수 있다. 피부 상태 관리 정보 제공 아이템은 메이크업 전 아이템에 포함될 수 있다.
메이크업 이후 아이템은 무자각 센싱 관리 아이템, 또는/및 메이크업 히스토리 관리 아이템을 포함할 수 있다.
도 71에서 언급되는 아이템은 기능이라고 말할 수 있다. 도 71은 메이크업 거울 애플리케이션의 환경 설정에서 제공될 수 있는 메뉴로 이용될 수 있다. 메이크업 거울 애플리케이션의 환경 설정에서 제공되는 메뉴가 도 71에 도시된 구성에 기초할 경우에, 각 기능에 대한 상세한 조건(예를 들어 기능 온/오프, 또는/및 제공 정보 수 설정 등)을 설정하기 위해 디바이스(100)는 도 71에 도시된 아이템들을 이용할 수 있다.
본 개시에서 메이크업 거울 애플리케이션(7100)의 소프트웨어 구성은 도 71에 도시된 바로 제한되지 않는다. 예를 들어, 본 개시에서 메이크업 거울 애플리케이션(7100)은 도 64에서 언급된 잡티 검출 레벨 또는/및 뷰티 페이스 레벨에 기초하여 잡티를 검출하는 아이템을 포함할 수 있다. 잡티를 검출하는 아이템은 메이크업 전 아이템, 메이크업 후 아이템, 메이크업 직후 아이템, 또는 메이크업 이후 아이템과 관계없이 수행될 수 있다.
또한, 본 개시에서 메이크업 거울 애플리케이션(7100)은 도 68에서 언급된 돋보기 창에 기초하여 사용자의 얼굴 영상 중 일부 영역에 대해 피부를 분석하는 아이템을 포함할 수 있다. 돋보기 창에 기초한 피부 분석 아이템은 메이크업 전 아이템, 메이크업 후 아이템, 메이크업 직후 아이템, 또는 메이크업 이후 아이템과 관계없이 수행될 수 있다.
도 72는 일부 실시 예에 따른 디바이스(100)를 포함하는 시스템(7200)의 구성도이다.
도 72를 참조하면, 시스템(7200)은 디바이스(100), 네트워크(7201), 서버(7202), 스마트 티브이(7203), 스마트 시계(7204), 스마트 거울(7205), 및 IoT 네트워크 기반 디바이스(7206)를 포함할 수 있다. 본 개시에서 시스템(7200)은 도 72에 도시된 바로 제한되지 않는다. 예를 들어, 시스템(7200)은 도 72에 도시된 구성 요소보다 더 적은 구성 요소를 포함할 수 있다. 시스템(7200)은 도 72에 도시된 구성 요소보다 더 많은 구성 요소를 포함할 수 있다.
디바이스(100)가 휴대 가능한 디바이스인 경우에, 디바이스(100)는 스마트 폰(Smart Phone), 노트북(Notebook), 스마트 보드(Smart Board), 태블릿(Tablet) PC(Personal Computer), 핸드헬드(handheld) 디바이스, 핸드헬드 컴퓨터, 미디어 플레이어, 전자북 디바이스, 및 PDA(Personal Digital Assistant) 등과 같은 디바이스중 적어도 하나를 포함할 수 있으나 본 개시에서 디바이스(100)는 상술한 바로 제한되지 않는다.
디바이스(100)가 웨어러블 디바이스인 경우에, 디바이스(100)는 스마트 안경, 스마트 시계, 스마트 밴드(예를 들어, 스마트 허리 밴드, 및 스마트 헤어 밴드 등), 각종 스마트 장신구(예를 들어, 스마트 반지, 스마트 팔지, 스마트 발지. 스마트 헤어 핀, 스마트 클립, 및 스마트 목거리 등), 각종 스마트 신체 보호대(예를 들어, 스마트 무릎 보호대, 및 스마트 팔꿈치 보호대). 스마트 신발, 스마트 장갑, 스마트 의류, 스마트 모자, 스마트 의족, 또는 스마트 의수 등과 같은 디바이스중 적어도 하나를 포함할 수 있으나 본 개시에서 디바이스(100)는 상술한 바로 제한되지 않는다.
디바이스(100)는 M2M(Machine to Machine) 또는 IoT(Internet of Things) 네트워크 기반의 거울 디스플레이, 자동차, 및 자동차용 내비게이션 디바이스 등과 같은 디바이스를 포함할 수 있으나 본 개시에서 디바이스(100)는 상술한 바로 제한되지 않는다
네트워크(7201)는 유선 또는/및 무선 네트워크를 포함할 수 있다. 네트워크(7201)는 근거리 통신 네트워크 또는/및 원거리 통신 네트워크를 포함할 수 있다.
서버(7202)는 메이크업 거울 서비스(예를 들어, 사용자의 메이크업 히스토리 관리, 사용자의 피부상태 관리, 또는/및 최근 메이크업 트랜드 등)를 제공하는 서버를 포함할 수 있다. 서버(7202)는 사용자 정보를 관리하는 서버(예를 들어, 프라이빗 클라우드 서버)를 포함할 수 있다. 서버(7202)는 소셜 네트워크 서비스 서버를 포함할 수 있다. 서버(7202)는 사용자의 피부과 정보를 관리할 수 있는 의료 기관 서버를 포함할 수 있다. 본 개시에서 서버(7202)는 상술한 바로 제한되지 않는다.
서버(7202)는 디바이스(100)로 메이크업 가이드를 위한 정보를 제공할 수 있다.
스마트 티브이(7203)는 본 개시의 실시 예들에서 언급되고 있는 스마트 거울 또는 거울 디스플레이 기능을 포함할 수 있다. 이에 따라 스마트 티브이(7203)는 카메라 기능을 포함할 수 있다.
스마트 티브이(7203)는 디바이스(100)의 요청에 따라 메이크업 전 사용자의 얼굴 영상과 메이크업 중 사용자의 얼굴 영상을 비교하는 화면을 디스플레이 할 수 있다. 또한, 스마트 티브이(7203)는 디바이스(100)의 요청에 따라 메이크업 전 사용자의 얼굴 영상과 메이크업 직후 사용자의 얼굴 영상을 비교하는 영상을 디스플레이 할 수 있다.
또한, 스마트 티브이(7203)는 복수의 가상 메이크업 영상을 추천하는 영상을 디스플레이 할 수 있다. 또한, 스마트 티브이(7203)는 사용자에 의해 선택된 가상 메이크업 영상과 메이크업 전의 사용자의 얼굴 영상을 비교하는 영상을 디스플레이 할 수 있다. 또한, 스마트 티브이(7203)는 사용자에 의해 선택된 가상 메이크업 영상과 메이크업 직 후의 사용자의 얼굴 영상을 비교하는 영상을 디스플레이 할 수 있다. 또한 스마트 티브이(7203)는 디바이스(100)와 함께 사용자의 메이크업 과정 영상을 실시간으로 디스플레이할 수 있다.
상술한 도 65에 도시된 바와 같이 디바이스(100)가 잡티 검출 레벨 또는 뷰티 페이스 레벨을 설정할 수 있을 때, 디바이스(100)는 잡티 검출 레벨 또는/및 뷰티 페이스 레벨에 관한 정보를 디스플레이하고, 스마트 티브이(7203)는 디바이스(100)에 의해 설정된 잡티 검출 레벨 또는 뷰티 페이스 레벨에 따른 사용자의 얼굴 영상을 디스플레이할 수 있다. 이러한 경우에, 디바이스(100)는 설정된 잡티 검출 레벨 또는 설정된 뷰티 페이스 레벨에 관한 정보를 스마트 티브이(7203)로 전송할 수 있다.
스마트 티브이(7203)는 디바이스(100)로부터 수신된 정보에 기초하여 상술한 도 65(a) 내지 도 65(d)에 도시된 바와 같이 잡티 검출 레벨과 뷰티 페이스 레벨에 관한 정보를 디스플레이할 수 있다. 이 때, 스마트 티브이(7203)는 사용자의 얼굴 영상을 상술한 잡티 검출 레벨 및 뷰티 페이스 레벨과 함께 디스플레이 할 수 있으나 사용자의 얼굴 영상을 디스플레이하지 않을 수 있다.
사용자의 얼굴 영상을 디스플레이할 경우에, 스마트 티브이(7203)는 디바이스(100)로부터 수신된 사용자의 얼굴 영상을 디스플레이할 수 있으나 이로 제한되지 않는다. 예를 들어, 스마트 티브이(7203)는 스마트 티브이(7203)에 포함된 카메라를 이용하여 획득된 사용자의 얼굴 영상을 표시할 수 있다.
잡티 검출 레벨과 뷰티 페이스 레벨에 관한 정보가 디스플레이될 경우에, 스마트 티브이(7203)는 스마트 티브이(7203)의 동작을 제어하는 리모콘을 통해 수신되는 사용자 입력에 기초하여 잡티 검출 레벨 또는 뷰티 페이스 레벨을 설정할 수 있다. 스마트 티브이(7203)는 설정된 잡티 검출 레벨 또는 뷰티 페이스 레벨에 관한 정보를 디바이스(100)로 전송할 수 있다.
또한, 상술한 도 68에 도시된 바와 같이 돋보기 창을 이용하여 사용자의 얼굴 영상의 일부 영역에 대한 피부를 분석할 경우에, 디바이스(100)는 사용자의 얼굴 영상에 돋보기 창을 표시하여 피부를 분석하고, 스마트 티브이(7203)는 상세한 분석 결과를 표시할 수 있다. 이러한 경우에, 디바이스(100)는 상술한 상세한 분석 결과에 관한 정보를 스마트 티브이(7203)로 전송할 수 있다.
스마트 시계(7204)는 디바이스(100)에 의해 메이크업 가이드 정보를 제공하기 위한 다양한 사용자 입력을 수신하고, 디바이스(100)로 전송할 수 있다. 스마트 시계(7204)에 의해 수신될 수 있는 사용자 입력은 디바이스(100)에 포함된 사용자 입력부에 의해 수신될 수 있는 사용자 입력과 유사할 수 있다.
스마트 시계(7204)는 디바이스(100)에 디스플레이되고 있는 잡티 검출 레벨과 뷰티 페이스 레벨을 설정하기 위한 사용자 입력을 수신하고, 수신된 사용자 입력을 디바이스(100)로 전송할 수 있다. 스마트 시계(7204)를 통해 수신되는 사용자 입력은 설정하기 원하는 잡티 검출 레벨 또는 뷰티 페이스 레벨의 식별 정보(예를 들어, -1, +1) 형태를 가질 수 있으나 본 개시에서 스마트 시계(7204)를 통해 수신되는 사용자 입력은 상술한 바로 제한되지 않는다.
스마트 시계(7204)는 디바이스(100)와 스마트 티브이(7203)간 통신, 디바이스(100)와 서버(7202)간의 통신, 또는 서버(7202)와 스마트 티브이(7203)간의 통신을 제어할 수 있는 사용자 입력을 디바이스(100) 및 스마트 티브이(7203)로 전송할 수 있다.
스마트 시계(7204)는 사용자 입력에 기초한 디바이스(100) 또는 스마트 티브이(7203)의 동작을 제어하기 위한 제어 신호를 디바이스(100) 또는 스마트 티브이(7203)로 전송할 수 있다.
예를 들어, 스마트 시계(7203)는 메이크업 거울 애플리케이션의 실행을 요청하는 신호를 디바이스(100)로 전송할 수 있다. 이에 따라 디바이스(100)는 메이크업 거울 애플리케이션을 실행할 수 있다. 스마트 시계(7203)는 디바이스(100)와 동기화를 요청하는 신호를 스마트 티브이(7203)로 전송할 수 있다. 이에 따라 스마트 티브이(7203)는 디바이스(100)와 통신 채널을 설정하고, 디바이스(100)에 디스플레이 되고 있는 사용자의 얼굴 영상, 메이크업 가이드 정보, 또는/및 피부 분석 결과 등과 같이 메이크업 거울 애플리케이션의 실행에 따른 정보를 디바이스(100)로부터 수신하여 디스플레이 할 수 있다.
스마트 거울(7205)은, 도 10(c)에 도시된 다른 디바이스(1000)와 같이, 디바이스(100)와 통신 채널을 설정하고, 메이크업 거울 애플리케이션 실행에 따른 정보를 디스플레이할 수 있다. 스마트 거울(7205)은 카메라를 이용하여 사용자의 얼굴 영상을 실시간으로 획득할 수 있다.
디바이스(100)가 상술한 바와 같이 거울 디스플레이일 때, 스마트 거울(7205)은 디바이스(100)에 디스플레이되고 있는 사용자의 얼굴 영상과 다른 각도의 사용자의 얼굴 영상을 디스플레이할 수 있다. 예를 들어, 디바이스(100)가 사용자의 얼굴 영상의 정면을 디스플레이할 때, 스마트 거울(7205)은 사용자의 얼굴 영상의 45도 각도 측면을 디스플레이할 수 있다.
IoT 네트워크 기반 디바이스(7206)는 IoT 네트워크 기반 센서를 포함할 수 있다. IoT 네트워크 기반 디바이스(7206)는 스마트 거울(7205)에 인접한 위치에 설치되어 사용자가 스마트 거울(7205)에 접근하는지를 감지할 수 있다. IoT 네트워크 기반 디바이스(7206)는 사용자가 스마트 거울(7205)에 접근하는 것으로 판단되면, 메이크업 거울 애플리케이션 실행을 요청하는 신호를 스마트 거울(7205)로 전송할 수 있다. 이에 따라 스마트 거울(7205)은 메이크업 거울 애플리케이션을 실행하여, 본 개시에서 언급되는 실시 예들중 적어도 하나를 실행할 수 있다.
스마트 거울(7205)은 스마트 거울(7205)에 포함된 센서에 기초하여 사용자의 접근 여부를 감지하고, 메이크업 거울 애플리케이션을 실행할 수 있다.
도 73은 본 발명의 일 실시 예에 따른 디바이스(100)의 블록도이다.
도 73을 참조하면, 본 발명의 일 실시 예에 따른 디바이스(100)는 카메라(7310), 사용자 입력부(7320), 제어부(7330), 디스플레이(7340), 및 메모리(7350)를 포함한다.
카메라(7310)는 사용자의 얼굴 영상을 실시간으로 획득할 수 있다. 따라서 카메라(7310)는 이미지 센서 또는 영상 획득부라고 말할 수 있다. 카메라(7310)는 디바이스(100)의 전면에 장착될 수 있다. 카메라(7310)는 사진이나 동영상을 촬영하기 위한 렌즈 및 광학 소자들을 포함한다.
사용자 입력부(7320)는 디바이스(100)에 대한 사용자 입력을 수신할 수 있다. 사용자 입력부(7320)는 메이크업 가이드 요청을 나타내는 사용자 입력을 수신할 수 있다. 사용자 입력부(7320)는 복수의 가상 메이크업 영상중 하나를 선택하는 사용자 입력을 수신할 수 있다.
또한, 사용자 입력부(7320)는 복수의 테마 정보중 하나를 선택하는 사용자 입력을 수신할 수 있다. 또한, 사용자 입력부(7320)는 메이크업 가이드 정보를 선택하는 사용자 입력을 수신할 수 있다. 사용자 입력부(7320)는 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상간의 비교 영상 요청을 나타내는 사용자 입력을 수신할 수 있다. 사용자 입력부(7320)는 현재 사용자의 얼굴 영상과 가상 메이크업 영상간의 비교 영상 요청을 나타내는 사용자 입력을 수신할 수 있다. 사용자 입력부(7320)는 사용자의 피부 상태 관리 정보 요청을 나타내는 사용자 입력을 수신할 수 있다.
또한, 사용자 입력부(7320)는 피부 분석 요청을 나타내는 사용자 입력을 수신할 수 있다. 사용자 입력부(7320)는 사용자의 메이크업 히스토리 정보 요청을 나타내는 사용자 입력을 수신할 수 있다. 사용자 입력부(7320)는 사용자의 메이크업 제품을 등록하기 위한 사용자 입력을 수신할 수 있다.
사용자 입력부(7320)는 잡티 검출 레벨 또는 뷰티 페이스 레벨을 나타내는 사용자 입력을 수신할 수 있다. 사용자 입력부(7320)는 사용자의 얼굴 영상 중 일부 영역에 대한 피부 분석 요청을 나타내는 사용자 입력을 수신할 수 있다. 사용자 입력부(7320)는 돋보기 창의 사이즈를 확대, 돋보기 창의 사이즈를 축소, 또는 돋보기 창의 디스플레이 위치를 다른 위치로 이동을 나타내는 사용자 입력을 수신할 수 있다. 사용자 입력부(7320)는 사용자의 얼굴 영상에 기초하여 상술한 일부 영역을 지정하는 터치 기반 입력을 수신할 수 있다. 사용자 입력부(7320)는, 예를 들어, 터치 스크린을 포함할 수 있으나, 본 개시에서 사용자 입력부(7320)는 상술한 바로 제한되지 않는다.
디스플레이(7340)는 사용자의 얼굴 영상을 실시간으로 디스플레이할 수 있다. 디스플레이(7340)는 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시할 수 있다. 따라서 디스플레이(7340)는 메이크업 거울 디스플레이라고 말할 수 있다.
디스플레이(7340)는 복수의 가상 메이크업 영상을 디스플레이할 수 있다. 디스플레이(7340)는 색조 기반 가상 메이크업 영상 또는/및 테마 기반 가상 메이크업 영상을 디스플레이할 수 있다. 디스플레이(7340)는 복수의 가상 메이크업 영상을 하나의 페이지 또는 복수의 페이지에 디스플레이할 수 있다.
또한, 디스플레이(7340)는 복수의 테마 정보를 디스플레이할 수 있다. 디스플레이(7340)는 사용자의 얼굴 영상에 좌우 대칭 메이크업 가이드 정보를 표시할 수 있다.
또한, 디스플레이(7340)는 제어부(7330)에 의해 제어됨으로써, 사용자의 얼굴 영상을 실시간으로 디스플레이할 수 있다. 디스플레이(7340)는, 제어부(7330)에 의해 제어됨으로써, 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시할 수 있다. 디스플레이(7340)는, 제어부(7330)에 의해 제어됨으로써, 복수의 가상 메이크업 영상, 복수의 테마 정보, 또는 좌우 대칭 메이크업 가이드 정보를 디스플레이할 수 있다.
디스플레이(7340)는, 제어부(7330)에 의해 제어됨으로써, 사용자의 얼굴 영상의 일부에 돋보기 창을 디스플레이할 수 있다. 디스플레이(7340)는, 제어부(7330)에 의해 제어됨으로써, 사용자의 얼굴 영상에서 검출된 잡티를 다양한 형태 또는 다양한 레벨(또는 다양한 계층)로 표시할 수 있다. 상술한 다양한 형태 또는 다양한 레벨은 잡티의 색상 정보와 사용자의 얼굴 영상의 피부 색상 정보간의 차에 따라 구별될 수 있다. 본 개시에서 상술한 다양한 형태 또는 다양한 레벨은 상술한 색상 정보간의 차로 제한되지 않는다. 예를 들어, 상술한 다양한 형태 또는 다양한 레벨은 주름의 굵기에 따라 구별될 수 있다. 상술한 다양한 형태 또는 다양한 레벨은 서로 다른 칼라로 표현될 수 있다.
디스플레이(7340)는, 제어부(7330)에 의해 제어됨으로써, 사용자의 얼굴 영상에서 검출된 잡티를 복수 회에 걸쳐 제거하는 뷰티 페이스 영상을 제공할 수 있다. 상술한 뷰티 페이스 영상은 도 63에서 언급된 뷰티 페이스 레벨에 기초한 영상을 말한다.
또한, 디스플레이(7340)는, 예를 들어, 터치 스크린을 포함할 수 있으나, 본 개시는 디스플레이(7340)의 구성을 상술한 바로 제한하지 않는다.
디스플레이(7340)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 또는 전기영동 디스플레이(electrophoretic display, EPD)를 포함할 수 있다.
메모리(7350)는, 디바이스(100)가 메이크업 가이드 정보를 포함하는 메이크업 거울을 제공하기 위하여 이용되는 정보(예를 들어, 색조 기반의 가상 메이크업 영상에 관한 정보, 테마 기반의 가상 메이크업 영상에 관한 정보, 도 2에서의 테이블 등)를 저장할 수 있다. 또한, 메모리(7350)는, 사용자의 메이크업 히스토리 정보를 저장할 수 있다.
메모리(7350)는 제어부(7330)의 처리 및 제어를 위한 프로그램을 저장할 수 있다. 메모리(7350)에 저장되는 프로그램은 OS(Operating System) 프로그램 및 각종 애플리케이션 프로그램을 포함할 수 있다. 각종 애플리케이션 프로그램은 본 개시의 실시 예들에 따른 메이크업 거울 애플리케이션, 카메라 애플리케이션 등을 포함할 수 있다.
메모리(7350)는 애플리케이션 프로그램에 의해 관리되는 정보(예를 들어, 사용자의 메이크업 히스토리 정보)를 저장할 수 있다.
메모리(7350)는 사용자의 얼굴 영상을 저장할 수 있다. 메모리(7350)는 잡티 검출 레벨 또는/및 뷰티 페이스 레벨에 대응되는 픽셀단위의 임계 값들을 저장할 수 있다. 메모리(7350)는 사용자의 얼굴 영상에서 검출된 잡티를 그룹핑 하기 위한 적어도 하나의 기준치에 관한 정보를 저장할 수 있다.
메모리(7350)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있다. 복수개의 모듈들은, 예를 들어, 이동 통신 모듈, Wi-Fi 모듈, 블루투스 모듈, DMB 모듈, 카메라 모듈, 센서 모듈, GPS 모듈, 동영상 재생 모듈, 오디오 재생 모듈, 전원 모듈, 터치 스크린 모듈, UI 모듈, 또는/및 어플리케이션 모듈을 포함할 수 있다.
메모리(7350)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 또는 광디스크 타입의 저장매체를 포함할 수 있다.
제어부(7330)는 디바이스(100)의 동작을 제어하는 프로세서라고 말할 수 있다. 제어부(7330)는 카메라(7310), 사용자 입력부(7320), 디스플레이(7340), 및 메모리(7350)를 제어함으로써, 디바이스(100)가 사용자의 얼굴 영상을 실시간으로 디스플레이하고, 디스플레이되고 있는 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시할 수 있도록 한다.
구체적으로, 제어부(7330)는 카메라(7310)를 제어하여 실시간으로 사용자의 얼굴 영상을 획득할 수 있다. 제어부(7330)는 카메라(7310)와 디스플레이(7340)를 제어하여 실시간으로 획득된 사용자의 얼굴 영상을 디스플레이할 수 있다.
또한, 제어부(7330)는, 사용자 입력부(7320)를 통해 메이크업 가이드 요청을 나타내는 사용자 입력을 수신함에 따라, 디스플레이(7340)에 디스플레이되고 있는 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시할 수 있다. 이에 따라 사용자는 메이크업 전 또는 메이크업 중에 메이크업이 진행되고 있는 사용자의 얼굴 영상을 보면서 메이크업 가이드 정보를 볼 수 있고, 메이크업 완성도를 확인할 수 있다.
제어부(7330)는 사용자 입력부(7320)를 통해 메이크업 가이드 요청을 나타내는 사용자 입력을 수신함에 따라, 디스플레이(7340)에 디스플레이되고 있는 사용자의 얼굴 영상에 메이크업 순서 정보를 포함하는 메이크업 가이드 정보를 표시할 수 있다. 이에 따라 사용자는 메이크업 순서 정보에 기초하여 메이크업을 할 수 있다.
또한, 제어부(7330)는, 사용자 입력부(7320)를 통해 복수의 가상 메이크업 영상에서 하나를 선택하는 사용자 입력을 수신함에 따라, 디스플레이(7340)에 디스플레이 되고 있는 사용자의 얼굴 영상에 선택된 가상 메이크업 영상에 기초한 메이크업 가이드 정보를 표시할 수 있다.
제어부(7330)는, 사용자 입력부(7320)를 통해 복수의 테마 정보에서 하나를 선택하는 사용자 입력을 수신함에 따라, 선택된 테마 정보에 기초한 메이크업 가이드 정보를 디스플레이(7340)에 디스플레이되고 있는 사용자의 얼굴 영상에 표시할 수 있다.
디스플레이(7340)에 디스플레이되고 있는 사용자의 얼굴 영상에 좌우 대칭 메이크업 가이드 정보가 표시된 후, 제어부(7330)는 카메라(7310)를 이용하여 실시간으로 획득된 사용자의 얼굴 영상에 기초하여 사용자의 얼굴의 일 측에 대한 메이크업이 시작되는 지를 판단할 수 있다.
사용자의 일 측에 대한 메이크업이 시작되는 것으로 판단됨에 따라 제어부(7330)는 사용자의 얼굴 영상의 다른 일 측에 표시되고 있는 메이크업 가이드 정보를 삭제할 수 있다.
카메라(7310)를 이용하여 실시간으로 획득된 사용자의 얼굴 영상에 기초하여 제어부(7330)는 사용자의 얼굴의 일 측에 대한 메이크업이 완료되었는지를 판단할 수 있다.
사용자의 일 측에 대한 메이크업이 완료되었다고 판단됨에 따라, 제어부(7330)는 카메라(7310)를 통해 획득된 사용자의 얼굴 영상에 기초하여 사용자의 얼굴의 일 측에 대한 메이크업 결과를 검출할 수 있다.
제어부(7330)는 사용자의 얼굴의 일 측에 대한 메이크업 결과에 기초한 메이크업 가이드 정보를 디스플레이(7340)에 디스플레이되고 있는 사용자의 얼굴 영상의 다른 일 측에 표시할 수 있다.
제어부(7330)는, 사용자 입력부(7320)를 통해 디스플레이(7340)에 표시되고 있는 메이크업 가이드 정보 중 적어도 하나를 선택하는 사용자 입력을 수신함에 따라, 선택된 메이크업 가이드 정보에 대한 상세 메이크업 가이드 정보를 메모리(7350)로부터 읽어 디스플레이(7340)로 제공할 수 있다.
제어부(7330)는, 카메라(7310)를 이용하여 실시간으로 획득되는 사용자의 얼굴 영상에 기초하여 사용자의 얼굴 영상에서 관심 영역을 검출할 수 있다. 관심 영역이 검출되면, 제어부(7330)는 검출된 관심 영역을 자동적으로 확대시켜 디스플레이(7340)에 디스플레이 할 수 있다.
제어부(730)는, 카메라(7310)를 이용하여 실시간으로 획득되는 사용자의 얼굴 영상에 기초하여 사용자의 얼굴 영상에서 커버가 필요한 영역을 검출할 수 있다. 커버가 필요한 영역이 검출되면, 제어부(7330)는 디스플레이(7340)에 디스플레이 되고 있는 사용자의 얼굴 영상에 커버가 필요한 영역에 대한 메이크업 가이드 정보를 표시할 수 있다.
제어부(7330)는 카메라(7310)를 이용하여 획득되는 사용자의 얼굴 영상 또는 사용자의 얼굴 영상 획득 시 검출되는 광량에 기초하여 조도 값을 검출할 수 있다. 제어부(7330)는 검출된 조도 값과 사전에 저장된 기준 조도 값을 비교하여 검출된 조도 값이 저 조도인지를 판단할 수 있다. 검출된 조도 값이 저 조도로 판단되면, 제어부(7330)는 디스플레이(7340)의 가장 자리 영역을 화이트 레벨로 표시할 수 있다.
제어부(7330)는, 사용자 입력부(7320)를 통해 비교 영상 요청을 나타내는 사용자 입력을 수신하면, 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상을 비교 형태로 디스플레이(7340)에 디스플레이할 수 있다. 메이크업 전 사용자의 얼굴 영상은 메모리(7350)로부터 읽어 올 수 있으나 본 개시는 이로 제한되지 않는다.
제어부(7330)는, 사용자 입력부(7320)를 통해 비교 영상 요청을 나타내는 사용자 입력을 수신하면, 현재 사용자의 얼굴 영상과 가상 메이크업 영상을 비교 형태로 디스플레이(7340)에 디스플레이할 수 있다. 가상 메이크업 영상은 메모리(7350)로부터 읽어 올 수 있으나 본 개시는 이로 제한되지 않는다.
제어부(7330)는, 사용자 입력부(7320)를 통해 피부 분석 요청을 나타내는 사용자 입력을 수신하면, 현재 사용자의 얼굴 영상에 기초하여 피부를 분석하고, 메이크업 전 사용자의 얼굴 영상에 기초한 피부 분석 결과와 상기 현재 사용자의 얼굴 영상에 기초한 피부 분석 결과를 비교하며, 비교 결과를 디스플레이(7340)를 통해 제공할 수 있다.
제어부(7330)는, 디바이스(100)의 사용자의 무자각 상태에서 카메라(7310)를 통해 주기적으로 사용자의 얼굴 영상을 획득할 수 있다. 제어부(7330)는 획득된 사용자의 얼굴 영상에 대한 메이크업 상태를 점검하며, 점검 결과에 따라 알림이 필요한지를 판단할 수 있다. 알림이 필요하다고 판단되면, 제어부(7330)는 디스플레이(7340)를 통해 사용자에게 알림을 제공할 수 있다. 본 개시에서 알림을 제공하는 방식은 디스플레이(7340)를 이용하는 것으로 제한되지 않는다.
제어부(7330)는, 사용자 입력부(7320)를 통해 메이크업 히스토리 정보 요청을 나타내는 사용자 입력을 수신하면, 메모리(7350)에 저장된 사용자의 메이크업 히스토리 정보를 읽어 디스플레이(7340)를 통해 제공할 수 있다. 제어부(7330)는 메모리(7350)로부터 읽은 사용자의 메이크업 히스토리 정보를 사용자에게 제공하기 위한 정보 포맷(예를 들어, 기간 단위 히스토리 정보, 또는 사용자의 선호 등)에 따라 가공할 수 있다. 사용자에게 제공하기 위한 정보 포맷에 관한 정보는 사용자 입력부(7320)를 통해 수신될 수 있다.
제어부(7330)는, 사용자 입력부(7320)를 통해 수신되는 사용자 입력 또는 카메라(7310)를 통해 실시간으로 획득되는 사용자의 얼굴 영상에 기초하여, 디스플레이(7340)에 디스플레이되고 있는 사용자의 얼굴 영상에서 메이크업 영역을 검출할 수 있다. 메이크업 영역이 검출되면, 제어부(7330)는 검출된 메이크업 영역에 대한 메이크업 가이드 정보와 메이크업 제품에 관한 정보를 디스플레이(7340)에 디스플레이되고 있는 사용자의 얼굴 영상에 표시할 수 있다. 메이크업 제품에 관한 정보는 메모리(7350)로부터 읽어 올 수 있으나 본 개시에서 메이크업 제품에 관한 정보는 외부 디바이스(7202, 7203, 7204)로부터 수신할 수 있다.
제어부(7330)는, 사용자 입력부(7320)를 통해 수신되는 사용자 입력에 따라 메이크업 도구를 결정할 수 있다. 메이크업 도구가 결정되면, 제어부(7330)는 결정된 메이크업 도구에 따른 메이크업 가이드 정보를 디스플레이(7340)에 디스플레이 되고 있는 사용자의 얼굴 영상에 표시할 수 있다.
제어부(7330)는, 카메라(7310)를 통해 실시간으로 획득되는 사용자의 얼굴 영상과 사전에 설정된 각도 정보(도 53에서 설명한 각도 정보)를 이용하여 사용자의 얼굴의 좌측 방향 또는 우측 방향 움직임을 검출할 수 있다. 사용자의 얼굴의 좌측 방향 또는 우측 방향 움직임이 검출되면, 제어부(7330)는 카메라(7310)를 통해 획득된 사용자의 옆모습 얼굴 영상을 디스플레이(7340)에 디스플레이할 수 있다. 이 때, 제어부(7330)는 획득된 사용자의 옆모습 얼굴 영상을 메모리(7350)에 저장할 수 있다.
제어부(7330)는, 사용자 입력부(7320)를 통해 수신되는 사용자 입력에 기초하여, 사용자의 메이크업 제품을 등록할 수 있다. 등록된 사용자의 메이크업 제품은 메모리(7350)에 저장될 수 있다. 제어부(7330)는 등록된 사용자의 메이크업 제품에 기초한 메이크업 가이드 정보를 디스플레이(7340)에 디스플레이되고 있는 사용자의 얼굴 영상에 표시할 수 있다.
제어부(7330)는, 사용자 입력부(7320)를 통해 수신되는 사용자 입력에 기초하여, 메이크업 후 사용자의 얼굴 영상을 기간 별로 제공할 수 있다. 기간에 관한 정보는 사용자 입력부(7320)를 통해 수신될 수 있으나 본 개시에서 기간에 관한 정보 입력은 상술한 바로 제한되지 않는다. 예를 들어, 기간에 관한 정보는 외부 디바이스로부터 수신될 수 있다.
제어부(7330)는, 사용자 입력부(7320)를 통해 수신되는 사용자의 피부 상태 관리 정보 요청에 따라 메모리(7350) 또는 외부 디바이스로부터 사용자의 피부 상태 분석 정보를 리드할 수 있다. 사용자의 피부 상태 분석 정보가 리드되면, 제어부(7330)는 리드된 사용자의 피부 상태 분석 정보를 디스플레이(7340)에 표시할 수 있다.
제어부(7330)는 사용자 입력부(7320)를 통해 잡티 검출 레벨을 나타내는 사용자 입력이 수신되면, 수신된 잡티 검출 레벨에 따라 디스플레이(7340)에 디스플레이되고 있는 사용자의 얼굴 영상에서 검출된 잡티를 강조하여 표시하도록 디스플레이(7340)를 제어할 수 있다.
디바이스(100)는 사용자에 의해 설정된 잡티 검출 레벨에 따라 디스플레이(7340)를 통해 제공되는 사용자의 얼굴 영상에 기초하여 사용자의 피부 색상과 색상 차이가 적은 잡티부터 색상 차이가 큰 잡티까지 표시할 수 있다. 디바이스(100)는 사용자의 얼굴 영상의 피부 색상과 색상 차이가 적은 잡티와 색상 차이가 큰 잡티를 구별되게 표시할 수 있다. 이에 따라 사용자는 사용자의 얼굴 영상의 피부 색상과 색상 차이가 적은 잡티와 색상 차이가 큰 잡티를 쉽게 확인할 수 있다.
또한, 디바이스(100)는 사용자에 의해 설정된 잡티 검출 레벨에 따라 디스플레이(7340)를 통해 제공되는 사용자의 얼굴 영상에 기초하여 굵기가 가는 주름부터 굵기가 굵은 주름까지 표시할 수 있다. 디바이스(100)는 굵기가 가는 주름과 굵기가 굵은 주름을 구별되게 표시할 수 있다. 예를 들어, 디바이스(100)는 굵기가 가는 주름은 밝은 칼라로 표시하고, 굵기가 굵은 주름은 어두운 칼라로 표시할 수 있다. 이에 따라 사용자는 굵기가 가는 주름과 굵기가 굵은 주름을 쉽게 확인할 수 있다.
제어부(7330)는 사용자 입력부(7320)를 통해 뷰티 페이스 레벨을 나타내는 사용자 입력이 수신되면, 수신된 뷰티 페이스 레벨에 따라 디스플레이(7340)에 디스플레이되고 있는 사용자의 얼굴 영상에서 검출된 잡티를 흐릿하게 표시하도록 디스플레이(7340)를 제어할 수 있다.
디바이스(100)는 사용자에 의해 설정된 뷰티 페이스 레벨에 따라 디스플레이(7340)를 통해 제공되는 사용자의 얼굴 영상에 기초하여 사용자의 피부 색상과 색상 차이가 적은 잡티부터 색상 차이가 큰 잡티까지 순차적으로 제거할 수 있다. 이에 따라 사용자는 뷰티 페이스 레벨에 따라 사용자의 얼굴 영상에서 잡티가 제거되는 과정을 확인할 수 있다.
제어부(7330)는 사용자의 얼굴 영상에서 잡티를 검출하기 위해 사용자의 얼굴 영상에 대한 적어도 하나의 블러 영상을 획득할 수 있다. 제어부(7330)는 사용자의 얼굴 영상과 블러 영상간의 차 값(또는 차 절대값)을 구할 수 있다. 제어부(7330)는 차 값과 잡티 검출 레벨 또는 뷰티 페이스 레벨에 대응하는 픽셀 단위의 임계 값을 비교하여 사용자의 얼굴 영상에서 잡티를 검출할 수 있다.
사용자의 얼굴 영상에 대해 복수의 블러 영상을 획득한 경우에, 제어부(7330)는 복수의 블러 영상간의 차 값을 검출할 수 있다. 제어부(7330)는 검출된 복수의 블러 영상간의 차 값을 임계 값과 비교하여 사용자의 얼굴 영상에서 잡티를 검출할 수 있다. 상술한 임계 값은 사전에 설정될 수 있다. 상술한 임계 값은 상술한 도 34에서 설명한 바와 같이 가변 될 수 있다.
제어부(7330)는 영상 경사 값 알고리즘을 이용하여 사용자의 얼굴 영상에서 픽셀 단위의 영상 경사 값을 검출할 수 있다. 제어부(7330)는 검출된 영상 경사 값이 높은 부분을 사용자의 얼굴 영상에서 잡티가 있는 부분으로 검출할 수 있다. 제어부(7330)는 사전에 설정된 기준치를 이용하여 영상 경사 값이 높은 부분을 검출할 수 있다. 사전에 설정된 기준치는 사용자에 의해 변경될 수 있다.
제어부(7330)는 사용자 입력부(7320)를 통해 사용자의 얼굴 영상 중 일부 영역에 대한 피부 분석 요청을 나타내는 사용자 입력이 수신되면, 디스플레이(7340)를 통해 상술한 일부 영역에 돋보기 창(6901)을 디스플레이할 수 있다. 제어부(7330)는 상술한 돋보기 창(6901)에 포함되는 사용자의 얼굴 영상에 대한 피부를 분석할 수 있다. 제어부(7330)는 분석된 결과를 상술한 돋보기 창(6901)을 통해 제공할 수 있다.
제어부(7330)는 사용자 입력부(7320)를 통해 돋보기 창(6901)의 사이즈를 확대, 돋보기 창의 사이즈를 축소 또는 돋보기 창의 디스플레이 위치를 다른 위치로 이동시키는 사용자 입력이 수신되면, 디스플레이(7340)에 디스플레이되고 있는 돋보기 창(6901)의 사이즈를 확대, 돋보기 창(6901)의 사이즈를 축소, 또는 돋보기 창(6901)의 디스플레이 위치를 다른 위치로 이동시키도록 디스플레이(7340)를 제어할 수 있다.
제어부(7330)는, 상술한 도 70에 도시된 바와 같이, 사용자 입력부(7330)를 통해 사용자의 얼굴 영상에 기초하여 상술한 일부 영역(또는 피부 분석 창)을 지정하는 터치 기반 입력을 수신할 수 있다.
제어부(7330)는 상술한 터치 기반 입력에 따라 설정된 피부 분석 창(7001)에 포함되는 영역에 대한 피부를 분석할 수 있다. 제어부(7330)는 분석된 결과를 설정된 피부 분석 창(7001)을 통해 제공할 수 있다. 제어부(7330)는 상술한 분석된 결과를 피부 분석 창(7001)과 독립된 창 또는 독립된 페이지를 통해 제공할 수 있다.
제어부(7330)는 상술한 터치 기반 입력에 따라 설정된 피부 분석 창(7001)을 통해 이미지 또는 텍스트 형태의 분석된 결과를 제공할 수 있다.
도 74는 본 발명의 다른 일 실시 예에 따른 디바이스(100)의 블록도이다. 디바이스(100)는 도 74에서와 같은 디바이스(예를 들어, 휴대 디바이스)일 수 있다.
도 74를 참조하면, 디바이스(100)는 제어부(7420), 사용자 인터페이스부(7430), 메모리(7440), 통신부(7450), 센서부(7460), 영상 처리부(7470), 오디오 출력부(7480), 및 카메라(7490)를 포함한다.
디바이스(100)는 배터리를 포함할 수 있다. 배터리는 내장형으로 디바이스(100)에 포함되거나 착탈이 가능한 형태로 디바이스(100)에 포함될 수 있다. 배터리는 디바이스(100)에 포함된 모든 구성 요소로 전원을 공급할 수 있다. 디바이스(100)는 통신부(7450)를 통해 외부 전원장치(미 도시됨)로부터 전원을 공급 받을 수 있다. 디바이스(100)는 외부 전원 장치와 연결될 수 있는 커넥터를 더 포함할 수 있다.
도 74에 도시된 제어부(7420), 사용자 인터페이스부(7430)에 포함된 디스플레이(7431) 및 사용자 입력부(7432), 메모리(7440), 및 카메라(7490)는 도 73에 도시된 카메라(7310), 사용자 입력부(7320), 제어부(7330), 디스플레이(7340), 및 메모리(7350)와 유사하거나 동일한 구성요소로 언급될 수 있다.
메모리(7440)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류될 수 있다. 예를 들어, 메모리(7440)에 저장되는 프로그램들은 UI 모듈(7441), 알림 모듈(7442), 및 애플리케이션 모듈(7443) 등으로 분류될 수 있으나 본 개시는 이로 한정되지 않는다. 예를 들어, 메모리(7440)에 저장되는 프로그램들은 도 74의 메모리(7450)에서 언급된 바와 같이 복수개의 모듈들로 분류될 수 있다.
UI 모듈(7441)은 바람직한 실시 예에서 언급되는 메이크업 가이드 정보를 사용자의 얼굴 영상에 표시하기 위한 GUI 정보, 가상 메이크업 영상에 기초한 메이크업 가이드 정보를 사용자의 얼굴 영상에 표시하기 위한 GUI 정보, 각종 알림 정보를 제공하기 위한 GUI 정보, 돋보기 창(6901)을 제공하기 위한 GUI 정보, 피부 분석 창(7001)을 제공하기 위한 GUI 정보, 또는 잡티 검출 레벨 또는 뷰티 페이스 레벨을 제공하기 위한 GUI 정보를 제어부(7420)로 제공할 수 있다. UI 모듈(7441)은, 디바이스(100)에 설치된 각 애플리케이션에 대해 특화된 UI, 또는/및 GUI 등을 제어부(7420)로 제공할 수 있다.
알림 모듈(7442)은 디바이스(100)의 메이크업 상태 점검에 따른 알림을 발생할 수 있으나 알림 모듈(7442)에 의해 발생되는 알림은 이로 제한되지 않는다.
알림 모듈(7442)은 디스플레이(7431)를 통해 비디오 신호 형태로 알림 신호를 출력할 수 있고, 오디오 출력부(7480)를 통해 오디오 신호 형태로 알림 신호를 출력할 수 있으나 이로 한정되지 않는다.
애플리케이션 모듈(7443)은 본 개시의 실시 예들에서 언급되고 있는 메이크업 거울 애플리케이션을 비롯한 다양한 애플리케이션을 포함할 수 있다.
통신부(7450)는 디바이스(100와 적어도 하나의 외부 디바이스(예를 들어, 서버(7202), 스마트 티브이(7203), 스마트 시계(7204), 스마트 거울(7205), 또는/및 IoT 네트워크 기반 디바이스(7205))간의 통신을 위한 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(7450)는, 근거리 통신기(7451), 이동 통신기(7452), 및 방송 수신기(7453)중 적어도 하나를 포함할 수 있으나 통신부(7450)에 포함되는 구성 요소는 이로 제한되지 않는다.
근거리 통신기(short-range wireless communicator)(7451)는, 블루투스 통신 모듈, BLE(Bluetooth Low Energy) 통신 모듈, 근거리 무선 통신(Near Field Communication unit, RFID) 모듈, WLAN(와이파이) 통신 모듈, 지그비(Zigbee) 통신 모듈, Ant+ 통신 모듈, WFD(Wi-Fi Direct) 통신 모듈, 비콘 통신 모듈, 또는 UWB(ultra wideband) 통신 모듈을 포함할 수 있으나 이로 제한되지 않는다. 예를 들어, 근거리 통신기(7451)는 적외선(IrDA, infrared Data Association) 통신 모듈을 포함할 수 있다.
이동 통신기(7452)는 이동 통신망 상에서 기지국, 외부 디바이스, 서버 중 적어도 하나와 무선 신호를 송수신할 수 있다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신기(7453)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신할 수 있다. 방송 채널은 위성 채널, 지상파 채널, 및 라디오 채널중 적어도 하나를 포함할 수 있으나 이로 제한되지 않는다.
통신부(7450)는 바람직한 일 실시 예에 따라 디바이스(100)에 의해 생성된 적어도 하나의 정보를 적어도 하나의 외부 디바이스로 전송하거나 적어도 하나의 외부 디바이스로부터 전송되는 정보를 수신할 수 있다.
센서부(7460)는 디바이스(100)에 사용자의 접근 여부를 감지하는 근접 센서(7461), 디바이스(100) 주변의 조명을 감지하는 조도 센서(7462)(또는 광 센서, LED 센서), 디바이스(100)의 사용자의 음성을 인식하는 마이크로 폰(7463), 디바이스(100)의 사용자의 무드(mood)를 감지하는 무드스코프 센서(7464), 활동성(activity)을 감지하는 동작 감지 센서(7465), 디바이스(100)의 위치를 검출하기 위한 위치 센서(Position Sensor, 예를 들어, GPS(Global Positioning System) 수신기)(7466), 디바이스(100)의 방위각을 측정하는 자이로스코프 센서(7467), 지표면을 중심으로 디바이스(100)의 기울기 및 가속도 등을 측정하는 가속도(Accelerometer) 센서(7468), 또는/및 디바이스(100)를 기준으로 동서남북 방위를 감지하는 지자기 센서(7469) 등을 포함할 수 있으나 본 개시는 이로 제한되지 않는다.
예를 들어, 센서부(7460)는 온/습도 센서, 중력 센서, 고도(Altitude) 센서, 화학적 센서(예를 들어, 냄새 센서(Odorant sensor)), 기압 센서, 미세 먼지 측정 센서, 자외선 센서, 오존도 센서, 이산화 탄소(CO2) 센서, 또는/및 네트워크 센서(예를 들어 WiFi, Bluetooth, 3G, LTE(Long Term Evolution), 또는/및 NFC(Near Field Communication) 등에 기초한 네트워크 센서) 등을 포함할 수 있으나 이로 제한되지 않는다.
센서부(7460)는 압력 센서(예를 들어, 터치 센서, 압전 센서, 물리적인 버튼 등), 상태 센서(예를 들어, 이어폰 단자, DMB(Digital Multimedia Broadcasting) 안테나, 표준 단자(예를 들어, 충전 진행 여부를 인식할 수 있는 단자, PC(Personal Computer) 연결 여부를 인식할 수 있는 단자, 독(dock) 연결 여부를 인식할 수 있는 단자), 타임 센서, 또는/및 헬스 센서(예를 들어 바이오 센서, 심박동 센서, 혈류량 센서, 당뇨 센서, 혈압 센서, 스트레스 센서 등) 등을 포함할 수 있으나 이로 제한되지 않는다.
마이크로 폰(7463)은 디바이스(100)의 외부로부터 입력되는 오디오 신호를 수신하고, 수신된 오디오 신호를 전기적인 오디오 신호로 변환하여 제어부(7420)로 전송할 수 있다. 마이크로 폰(7463)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘에 기초한 동작을 수행하도록 구성될 수 있다. 마이크로 폰(7463)은 오디오 입력부로 언급될 수 있다.
센서부(7460)에 의해 감지된 결과는 제어부(7420)로 전송된다.
제어부(7420)는 센서부(7460)로부터 수신되는 센싱 값(예를 들어, 조도 센서(7462))에 기초하여 조도 값을 검출할 수 있다.
제어부(7420)는 디바이스(100)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(7420)는 메모리(7440)에 저장된 프로그램들을 실행함으로써, 센서부(7460), 메모리(7440), 사용자 인터페이스부(7430), 영상 처리부(7470), 오디오 출력부(7480), 카메라(7490), 또는/및 통신부(7450) 등을 전반적으로 제어할 수 있다.
제어부(7420)는 도 73의 제어부(7330)와 같이 동작할 수 있다. 제어부(7330)에서 메모리(7350)로부터 데이터를 리드하는 동작에 대해, 제어부(7420)는 통신부(7450)를 통해 외부 디바이스로부터 데이터를 수신하는 동작을 수행할 수 있다. 제어부(7430)에서 메모리(7450)에 데이터를 쓰는 동작에 대해, 제어부(7420)는 통신부(7450)를 통해 외부 디바이스로 전송하는 동작을 수행할 수 있다.
제어부(7420)는 상술한 도 1(a) 내지 도 70에서 언급되고 있는 적어도 하나의 동작을 수행할 수 있다. 제어부(7420)는 상술한 동작을 수행하는 프로세서라고 말할 수 있다.
영상 처리부(7470)는 통신부(7450)로부터 수신되거나 메모리(7440)에 저장된 영상 데이터를 디스플레이(7431)에 표시할 수 있도록 처리한다.
오디오 출력부(7480)는 통신부(7450)로부터 수신되거나 메모리(7440)에 저장된 오디오 데이터를 출력할 수 있다. 오디오 출력부(7480)는 디바이스(100)에 의해 수행되는 기능과 관련된 음향 신호(예를 들어, 알림 음)를 출력할 수 있다. 오디오 출력부(7480)는 사용자의 무 자각 상태에서 메이크업 보정을 알리는 알림 음을 출력할 수 있다.
오디오 출력부(7480)에는 스피커(speaker), 또는 버저(Buzzer) 등이 포함될 수 있으나 이로 제한되지 않는다.
본 개시의 일 실시 예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (50)
- 메이크업 거울을 제공하는 디바이스에 있어서,
사용자의 얼굴 영상을 디스플레이 하는 디스플레이; 및
상기 사용자의 얼굴 영상을 실시간으로 디스플레이하고,
메이크업 가이드 요청에 응답하여 상기 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시하는 상기 메이크업 거울을 실행하는 제어부를 포함하는 디바이스. - 제 1 항에 있어서,
상기 디스플레이는 복수의 가상 메이크업 영상을 디스플레이 하고,
상기 디바이스는 상기 복수의 가상 메이크업 영상중 하나를 선택하는 사용자 입력을 수신하는 사용자 입력부를 더 포함하고,
상기 제어부는,
상기 사용자 입력에 응답하여, 상기 선택된 가상 메이크업 영상에 기초한 메이크업 가이드 정보를 상기 사용자의 얼굴 영상에 표시하는 디바이스. - 제 2 항에 있어서, 상기 복수의 가상 메이크업 영상은 색조 기반 가상 메이크업 영상 및 테마 기반 가상 메이크업 영상 중 적어도 하나를 포함하는 디바이스.
- 제 1 항에 있어서,
상기 디스플레이는 복수의 테마 정보를 디스플레이 하고,
상기 디바이스는 복수의 테마 정보중 하나를 선택하는 사용자 입력을 수신하는 사용자 입력부를 더 포함하고,
상기 제어부는,
상기 사용자 입력에 응답하여 상기 선택된 테마 정보에 기초한 메이크업 가이드 정보를 상기 사용자의 얼굴 영상에 표시하는 디바이스. - 제 1 항에 있어서,
상기 디스플레이는 상기 사용자의 얼굴 영상에 좌우 대칭 메이크업 가이드 정보를 표시하고,
상기 제어부는
상기 사용자의 얼굴의 일 측에 대한 메이크업이 시작됨에 따라 상기 사용자의 얼굴 영상의 다른 일 측에 표시되고 있는 메이크업 가이드 정보를 삭제하고,
상기 사용자의 얼굴의 상기 일 측에 대한 메이크업이 완료됨에 따라 상기 사용자의 얼굴의 상기 일 측에 대한 메이크업 결과를 검출하고,
상기 검출된 메이크업 결과에 기초한 메이크업 가이드 정보를 상기 사용자의 얼굴 영상의 상기 다른 일 측에 표시하는 디바이스. - 제 1 항에 있어서,
상기 디바이스는 상기 메이크업 가이드 요청을 나타내는 사용자 입력을 수신하는 사용자 입력부를 더 포함하고,
상기 제어부는,
상기 사용자 입력에 응답하여 메이크업 순서 정보를 포함하는 메이크업 가이드 정보를 상기 사용자의 얼굴 영상에 표시하는 디바이스. - 제 1 항에 있어서,
상기 디바이스는 상기 메이크업 가이드 정보를 선택하는 사용자 입력을 수신하는 사용자 입력부를 더 포함하고,
상기 제어부는,
상기 사용자 입력에 응답하여 선택된 메이크업 가이드 정보에 대한 상세한 메이크업 가이드 정보를 상기 디스플레이에 표시하는 디바이스. - 제 1 항에 있어서,
상기 제어부는,
상기 사용자의 얼굴 영상에서 관심 영역을 검출하고,
상기 관심 영역을 자동으로 확대하여 상기 디스플레이에 디스플레이 하는 디바이스. - 제 1 항에 있어서,
상기 제어부는,
상기 사용자의 얼굴 영상에서 커버가 필요한 영역을 검출하고,
상기 커버가 필요한 영역에 대한 메이크업 가이드 정보를 상기 사용자의 얼굴 영상에 표시하는 디바이스. - 제 1 항에 있어서,
상기 제어부는,
조도 값을 검출하고,
상기 검출된 조도 값이 저 조도로 판단됨에 따라 상기 디스플레이의 가장 자리 영역을 화이트 레벨로 표시하는 디바이스. - 제 1 항에 있어서, 상기 디바이스는 메이크업 전 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상간의 비교 영상 요청을 나타내는 사용자 입력을 수신하는 사용자 입력부를 더 포함하고,
상기 제어부는,
상기 사용자 입력에 응답하여 상기 메이크업 전 사용자의 얼굴 영상과 상기 현재 사용자의 얼굴 영상을 비교 형태로 상기 디스플레이에 표시하는 디바이스. - 제 1 항에 있어서, 상기 디바이스는 가상 메이크업 사용자의 얼굴 영상과 현재 사용자의 얼굴 영상간의 비교 영상 요청을 나타내는 사용자 입력을 수신하는 사용자 입력부를 더 포함하고,
상기 제어부는,
상기 사용자 입력에 응답하여 상기 가상 메이크업 사용자의 얼굴 영상과 상기 현재 사용자의 얼굴 영상을 비교 형태로 상기 디스플레이에 표시하는 디바이스. - 제 1 항에 있어서, 상기 디바이스는 메이크업 히스토리 정보 요청을 나타내는 사용자 입력을 수신하는 사용자 입력부를 더 포함하고,
상기 제어부는,
상기 사용자 입력에 응답하여 상기 사용자의 얼굴 영상에 기초한 메이크업 히스토리 정보를 상기 디스플레이에 표시하는 디바이스. - 제 1 항에 있어서, 상기 디바이스는 피부 상태 관리 정보 요청을 나타내는 사용자 입력을 수신하는 사용자 입력부를 더 포함하고,
상기 제어부는,
상기 사용자 입력에 응답하여 상기 디스플레이에 특정 기간 동안에 상기 사용자의 피부 상태 분석 정보를 상기 사용자의 얼굴 영상에 기초하여 표시하는 디바이스. - 제 1 항에 있어서, 상기 디바이스는 피부 분석 요청을 나타내는 사용자 입력을 수신하는 사용자 입력부를 더 포함하고,
상기 제어부는,
상기 사용자 입력에 응답하여 현재 사용자의 얼굴 영상에 기초하여 피부를 분석하고,
메이크업 전 사용자의 얼굴 영상에 기초한 피부 분석 결과와 상기 현재 사용자의 얼굴 영상에 기초한 피부 분석 결과를 비교하며,
비교 결과를 상기 디스플레이에 표시하는 디바이스. - 제 11 항 내지 제 15 항중 어느 한 항에 있어서,
상기 제어부는 상기 디스플레이에 표시될 복수의 사용자의 얼굴 영상간에 얼굴의 특징점 정합 처리 및/또는 픽셀 단위 정합 처리를 수행하는 디바이스. - 제 1 항에 있어서, 상기 디바이스는,
상기 사용자의 얼굴 영상을 획득하는 카메라를 더 포함하고,
상기 제어부는,
상기 카메라를 통해 주기적으로 사용자의 얼굴 영상을 획득하고,
상기 획득된 사용자의 얼굴 영상에 대한 메이크업 상태를 점검하며,
점검 결과, 알림이 필요하다고 판단됨에 따라 상기 디스플레이를 통해 상기 사용자에 알림을 제공하는 디바이스. - 제 1 항에 있어서, 상기 제어부는,
상기 사용자의 얼굴 영상에서 메이크업 영역을 검출하고,
상기 검출된 메이크업 영역에 대한 메이크업 가이드 정보와 메이크업 제품에 관한 정보를 상기 디스플레이에 상기 사용자의 얼굴 영상에 기초하여 표시하는 디바이스. - 제 1 항에 있어서, 상기 디바이스는 메이크업 도구에 대한 선택을 나타내는 사용자 입력을 수신하는 사용자 입력부를 더 포함하고,
상기 제어부는,
상기 사용자 입력에 응답하여 상기 메이크업 도구를 결정하고,
상기 결정된 메이크업 도구에 따른 메이크업 가이드 정보를 상기 사용자의 얼굴 영상에 기초하여 표시하는 디바이스. - 제 1 항에 있어서, 상기 디바이스는,
상기 사용자의 얼굴 영상을 획득하는 카메라를 더 포함하고,
상기 제어부는,
상기 카메라를 이용하여 획득된 사용자의 얼굴 영상에 기초하여 상기 사용자의 얼굴의 좌측 또는 우측 방향 움직임을 검출하고,
상기 사용자의 얼굴의 좌측 또는 우측 방향 움직임이 검출되면, 사용자의 옆모습 얼굴 영상을 획득하며,
상기 사용자의 옆모습 얼굴 영상을 상기 디스플레이에 표시하는 디바이스. - 제 1 항에 있어서, 상기 디바이스는,
상기 사용자의 메이크업 제품에 관한 사용자 입력을 수신하는 사용자 입력부를 더 포함하고,
상기 제어부는,
상기 사용자 입력에 응답하여 상기 메이크업 제품에 관한 정보를 등록하고, 상기 등록된 사용자의 메이크업 제품에 관한 정보에 기초하여 상기 메이크업 가이드 정보를 상기 사용자의 얼굴 영상에 표시하는 디바이스. - 제 1 항에 있어서, 상기 디바이스는,
상기 사용자의 얼굴 영상을 실시간으로 획득하는 카메라를 더 포함하고,
상기 제어부는,
상기 카메라를 이용하여 획득되는 사용자의 얼굴 영상에 상기 메이크업 가이드 정보가 표시될 때, 상기 획득되는 사용자의 얼굴 영상에서 움직임 정보를 검출하고, 상기 검출된 움직임 정보에 따라 상기 표시되고 있는 상기 메이크업 가이드 정보를 변경하는 디바이스. - 제 1 항에 있어서,
상기 디바이스는, 잡티 검출 레벨 또는 뷰티 페이스 레벨을 나타내는 사용자 입력을 수신하는 사용자 입력부를 더 포함하고,
상기 제어부는, 상기 디스플레이를 제어하여,
상기 사용자 입력이 상기 잡티 검출 레벨을 나타내면, 상기 잡티 검출 레벨에 따라 상기 사용자의 얼굴 영상에서 검출된 잡티를 강조하여 표시하고,
상기 사용자 입력이 상기 뷰티 페이스 레벨을 나타내면, 상기 뷰티 페이스 레벨에 따라 상기 사용자의 얼굴 영상에서 상기 검출된 잡티를 흐릿하게 표시하는 디바이스. - 제 23 항에 있어서, 상기 제어부는
상기 사용자의 얼굴 영상에 대한 복수의 블러 영상을 획득하고,
상기 복수의 블러 영상간의 차 값을 구하고,
상기 차 값과 임계 값을 비교하여 상기 사용자의 얼굴 영상에서 상기 잡티를 검출하고,
상기 임계 값은 상기 잡티 검출 레벨 또는 상기 뷰티 페이스 레벨에 대응되는 픽셀 단위의 임계 값인 것을 특징으로 하는 디바이스. - 제 1 항에 있어서,
상기 디바이스는, 상기 사용자의 얼굴 영상중 일부 영역에 대한 피부 분석 요청을 나타내는 사용자 입력을 수신하는 사용자 입력부를 포함하고,
상기 제어부는,
상기 사용자 입력에 응답하여 상기 일부 영역에 대한 피부 상태를 분석하고,
분석된 결과를 상기 사용자의 얼굴 영상에 표시하는 디바이스. - 제 25 항에 있어서,
상기 디스플레이는 상기 제어부에 의해 제어됨으로써 상기 일부 영역에 피부 분석 창을 디스플레이 하고,
상기 제어부는 상기 사용자 입력에 응답하여 상기 피부 분석 창이 상기 일부 영역에 디스플레이 되도록 상기 디스플레이를 제어하고,
상기 피부 분석 창에 포함되는 상기 일부 영역에 대한 상기 피부 상태를 분석하고,
분석된 결과를 상기 피부 분석 창에 표시하는 디바이스. - 제 26 항에 있어서,
상기 피부 분석 창은 돋보기 창을 포함하는 디바이스. - 제 26 항에 있어서,
상기 사용자 입력부는 상기 피부 분석 창의 사이즈를 확대, 상기 피부 분석 창의 사이즈를 축소, 또는 상기 피부 분석 창의 디스플레이 위치를 다른 위치로 이동을 나타내는 사용자 입력을 수신하고,
상기 제어부는 상기 사용자 입력에 응답하여 상기 디스플레이에 디스플레이 되고 있는 상기 피부 분석 창의 사이즈를 확대, 상기 피부 분석 창의 사이즈를 축소, 또는 상기 피부 분석 창의 디스플레이 위치를 상기 다른 위치로 이동시키는 디바이스. - 제 26 항에 있어서,
상기 사용자 입력은 상기 사용자의 얼굴 영상에 기초하여 상기 일부 영역을 지정하는 터치 기반 입력을 포함하는 디바이스. - 사용자의 얼굴 영상을 실시간으로 디바이스에 디스플레이 하는 단계;
메이크업 가이드를 요청하는 사용자 입력을 수신하는 단계; 및
상기 사용자 입력에 응답하여 상기 디스플레이 되고 있는 사용자의 얼굴 영상에 메이크업 가이드 정보를 표시하는 단계를 포함하는 메이크업 거울 제공 방법. - 제 30 항에 있어서, 상기 방법은,
상기 사용자의 얼굴 영상에 기초한 복수의 가상 메이크업 영상을 추천하는 단계;
상기 복수의 가상 메이크업 영상중 하나를 선택하는 사용자 입력을 수신하는 단계; 및
상기 가상 메이크업 영상을 선택하는 사용자 입력에 응답하여 상기 선택된 가상 메이크업 영상에 기초한 메이크업 가이드 정보를 상기 사용자의 얼굴 영상에 표시하는 단계를
더 포함하고,
상기 복수의 가상 메이크업 영상은 색조 기반 가상 메이크업 영상 및 테마 기반 가상 메이크업 영상 중 적어도 하나를 포함하는 메이크업 거울 제공 방법. - 제 30 항에 있어서, 상기 방법은,
복수의 테마 정보를 상기 디바이스에 디스플레이 하는 단계;
상기 복수의 테마 정보중 하나를 선택하는 사용자 입력을 수신하는 단계;
상기 테마 정보를 선택하는 사용자 입력에 응답하여 상기 선택된 테마 정보에 기초한 메이크업 가이드 정보를 상기 사용자의 얼굴 영상에 표시하는 단계를 더 포함하는 메이크업 거울 제공 방법. - 제 30 항에 있어서, 상기 방법은,
상기 사용자의 얼굴 영상에 좌우 대칭 메이크업 가이드 정보를 표시하는 단계;
상기 사용자의 얼굴의 일 측에 대한 메이크업이 시작됨에 따라 상기 사용자의 얼굴 영상의 다른 일 측에 표시되고 있는 메이크업 가이드 정보를 삭제하는 단계;
상기 사용자의 얼굴의 상기 일 측에 대한 메이크업이 완료됨에 따라 상기 사용자의 얼굴의 상기 일 측에 대한 메이크업 결과를 검출하는 단계;
상기 검출된 메이크업 결과에 기초한 메이크업 가이드 정보를 상기 사용자의 얼굴 영상의 상기 다른 일 측에 표시하는 단계를 더 포함하는 메이크업 거울 제공 방법. - 제 30 항에 있어서, 상기 방법은,
상기 사용자 입력에 응답하여 메이크업 순서 정보를 포함하는 메이크업 가이드 정보를 상기 사용자의 얼굴 영상에 표시하는 단계를 더 포함하는 메이크업 거울 제공 방법. - 제 30 항에 있어서, 상기 방법은,
상기 메이크업 가이드 정보를 선택하는 사용자 입력을 수신함에 따라 선택된 메이크업 가이드 정보에 대한 상세한 메이크업 가이드 정보를 제공하는 단계를 더 포함하는 메이크업 거울 제공 방법. - 제 30 항에 있어서, 상기 방법은,
상기 디스플레이 되고 있는 사용자의 얼굴 영상에서 관심 영역을 검출하는 단계; 및
상기 관심 영역을 자동으로 확대하여 상기 디바이스에 디스플레이 하는 단계를 더 포함하는 메이크업 거울 제공 방법. - 제 30 항에 있어서, 상기 방법은,
상기 디스플레이 되고 있는 사용자의 얼굴 영상에서 커버가 필요한 영역을 검출하는 단계: 및
상기 커버가 필요한 영역에 대한 메이크업 가이드 정보를 상기 사용자의 얼굴 영상에 표시하는 단계를 더 포함하는 메이크업 거울 제공 방법. - 제 30 항에 있어서, 상기 방법은,
조도 값을 검출하는 단계; 및
상기 검출된 조도 값이 저 조도로 판단됨에 따라 상기 디바이스의 디스플레이의 가장 자리 영역을 화이트 레벨로 표시하는 단계를 더 포함하는 메이크업 거울 제공 방법. - 제 30 항에 있어서, 상기 방법은,
메이크업 히스토리 정보 요청을 나타내는 사용자 입력을 수신함에 따라 상기 사용자의 얼굴 영상에 기초한 메이크업 히스토리 정보를 상기 디바이스에 표시하는 단계를 더 포함하는 메이크업 거울 제공 방법. - 제 30 항에 있어서, 상기 방법은,
피부 상태 관리 정보 요청을 나타내는 사용자 입력을 수신함에 따라 특정 기간 동안에 상기 사용자의 피부 상태 분석 정보를 상기 사용자의 얼굴 영상에 기초하여 상기 디바이스에 표시하는 단계를 더 포함하는 메이크업 거울 제공 방법. - 제 30 항 내지 제 40 항중 어느 한 항에 있어서, 상기 방법은,
상기 디바이스에 표시될 복수의 사용자의 얼굴 영상간에 얼굴의 특징점 정합 처리 또는/및 픽셀 단위 정합 처리를 수행하는 단계를 더 포함하는 메이크업 거울 제공 방법. - 제 30 항에 있어서, 상기 방법은,
상기 사용자의 얼굴 영상에 상기 메이크업 가이드 정보가 표시될 때, 실시간으로 획득되는 사용자의 얼굴 영상들에서 움직임 정보를 검출하는 단계; 및
상기 검출된 움직임 정보에 따라 상기 표시되고 있는 상기 메이크업 가이드 정보를 변경하는 단계를 더 포함하는 메이크업 거울 제공 방법. - 제 30 항에 있어서, 상기 방법은,
잡티 검출 레벨 또는 뷰티 페이스 레벨을 나타내는 사용자 입력을 수신하는 단계;
상기 사용자 입력이 상기 잡티 검출 레벨을 나타내면, 상기 잡티 검출 레벨에 따라 상기 사용자의 얼굴 영상에서 검출된 잡티를 강조하여 표시하는 단계; 및
상기 사용자 입력이 상기 뷰티 페이스 레벨을 나타내면, 상기 뷰티 페이스 레벨에 따라 상기 사용자의 얼굴 영상에서 상기 검출된 잡티를 흐릿하게 표시하는 단계를 포함하는 메이크업 거울 제공 방법. - 제 43 항에 있어서, 상기 방법은,
상기 사용자의 얼굴 영상에 대한 복수의 블러 영상을 획득하는 단계;
상기 복수의 블러 영상간의 차 값을 구하는 단계;
상기 차 값과 임계 값을 비교하여 상기 사용자의 얼굴 영상에서 상기 잡티를 검출하는 단계를 더 포함하고,
상기 임계 값은 상기 잡티 검출 레벨 또는 상기 뷰티 페이스 레벨에 대응되는 픽셀 단위의 임계 값인 것을 특징으로 하는 메이크업 거울 제공 방법. - 제 30 항에 있어서, 상기 방법은,
상기 사용자의 얼굴 영상 중 일부 영역에 대한 피부 분석 요청을 나타내는 사용자 입력을 수신하는 단계;
상기 사용자 입력에 응답하여 상기 일부 영역에 대한 피부 상태를 분석하는 단계; 및
분석된 결과를 상기 사용자의 얼굴 영상에 표시하는 단계를 더 포함하는 메이크업 거울 제공 방법. - 제 45 항에 있어서, 상기 방법은,
상기 피부 분석 요청을 나타내는 사용자 입력에 응답하여 상기 일부 영역에 피부 분석 창을 디스플레이 하는 단계;
상기 피부 상태를 분석하는 단계는, 상기 피부 분석 창에 포함되는 상기 일부 영역에 대한 피부 상태를 분석하는 단계를 포함하고,
상기 분석된 결과를 표시하는 단계는, 상기 분석된 결과를 상기 피부 분석 창에 표시하는 단계를 포함하는 메이크업 거울 제공 방법. - 제 46 항에 있어서, 상기 피부 분석 창은 돋보기 창을 포함하는 메이크업 거울 제공 방법.
- 제 46 항에 있어서, 상기 방법은,
상기 피부 분석 창의 사이즈를 확대, 상기 피부 분석 창의 사이즈를 축소, 또는 상기 피부 분석 창의 디스플레이 위치를 다른 위치로 이동을 나타내는 사용자 입력을 수신하는 단계; 및
상기 피부 분석 창에 대한 상기 사용자 입력에 응답하여 상기 디스플레이 되고 있는 상기 피부 분석 창의 사이즈를 확대, 상기 피부 분석 창의 사이즈를 축소, 또는 상기 피부 분석 창의 디스플레이 위치를 다른 위치로 이동시키는 단계를 더 포함하는 메이크업 거울 제공 방법. - 제 46 항에 있어서,
상기 피부 분석 요청을 나타내는 사용자 입력은 상기 사용자의 얼굴 영상에 기초하여 상기 일부 영역을 지정하는 터치 기반 입력을 포함하는 메이크업 거울 제공 방법. - 제 30 항 내지 제 43 항, 및 제 45 항중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/169,005 US20160357578A1 (en) | 2015-06-03 | 2016-05-31 | Method and device for providing makeup mirror |
| PCT/KR2016/005090 WO2016195275A1 (ko) | 2015-06-03 | 2016-06-01 | 메이크업 거울을 제공하는 방법 및 디바이스 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20150078776 | 2015-06-03 | ||
| KR1020150078776 | 2015-06-03 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20160142742A true KR20160142742A (ko) | 2016-12-13 |
Family
ID=57575269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150127710A KR20160142742A (ko) | 2015-06-03 | 2015-09-09 | 메이크업 거울을 제공하는 디바이스 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20160142742A (ko) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190068146A (ko) * | 2017-12-08 | 2019-06-18 | 주식회사 매직내니 | 스마트 미러 디스플레이 장치 |
| KR20190099227A (ko) * | 2016-12-20 | 2019-08-26 | 가부시키가이샤 시세이도 | 도포 제어 장치, 도포 제어 방법, 프로그램 및 기록매체 |
| KR20190100515A (ko) * | 2018-02-07 | 2019-08-29 | 주식회사 콜라주 | IoT 뷰티 디바이스를 이용하여 인공지능 화장보조 서비스를 제공하는 시스템 |
| KR20190141848A (ko) | 2018-06-15 | 2019-12-26 | 신한대학교 산학협력단 | 사용자화장품을 이용한 메이크업 정보제공시스템 및 그 방법 |
| KR102055084B1 (ko) * | 2019-03-19 | 2020-01-14 | (주)인시스 | 피부 측정을 이용한 메이크업 가이드 방법 및 시스템 |
| WO2020142238A1 (en) * | 2019-01-04 | 2020-07-09 | The Procter & Gamble Company | Method and system for guiding a user to use an applicator |
| CN111557644A (zh) * | 2020-04-22 | 2020-08-21 | 深圳市锐吉电子科技有限公司 | 一种基于智能镜面设备的护肤方法、装置及护肤设备 |
| CN111767756A (zh) * | 2019-03-29 | 2020-10-13 | 丽宝大数据股份有限公司 | 自动检测脸部瑕疵的方法 |
| CN111860154A (zh) * | 2020-06-12 | 2020-10-30 | 歌尔股份有限公司 | 一种基于视觉的额头检测方法、装置和电子设备 |
| KR20210018399A (ko) * | 2020-02-20 | 2021-02-17 | 주식회사 엘지생활건강 | 이동 단말기 및 화장품 자동인식 시스템 |
| KR20210026404A (ko) * | 2019-08-30 | 2021-03-10 | 엘지전자 주식회사 | 멀티미디어 디바이스 제어 방법 및 멀티미디어 디바이스 |
| KR20210039226A (ko) * | 2019-10-01 | 2021-04-09 | 동국대학교 경주캠퍼스 산학협력단 | 안면 혈자리 자극 시스템 및 이를 이용한 안면 혈자리 자극 방법 |
| WO2021172791A1 (ko) * | 2020-02-25 | 2021-09-02 | 삼성전자 주식회사 | 전자 장치 및 이를 이용한 시각적 효과 제공 방법 |
| CN113837016A (zh) * | 2021-08-31 | 2021-12-24 | 北京新氧科技有限公司 | 一种化妆进度检测方法、装置、设备及存储介质 |
| KR20220019610A (ko) * | 2020-08-10 | 2022-02-17 | 주식회사 타키온비앤티 | 유저의 페이셜 인식을 통한 선택적 메이크업 이펙팅 적용 시스템 |
| CN114187649A (zh) * | 2020-08-24 | 2022-03-15 | 华为技术有限公司 | 护肤辅助方法、设备及存储介质 |
| CN114241732A (zh) * | 2021-12-20 | 2022-03-25 | 浙江吉利控股集团有限公司 | 化妆行为预警处理方法、装置、服务器及存储介质 |
| KR20220051328A (ko) * | 2021-02-08 | 2022-04-26 | 주식회사 엘지생활건강 | 이동 단말기 및 화장품 자동인식 시스템 |
| KR20220163430A (ko) * | 2020-04-01 | 2022-12-09 | 스냅 인코포레이티드 | 메시징 시스템에서의 증강 현실 경험을 위한 물리적 제품들의 식별 |
| WO2023054736A1 (ko) * | 2021-09-28 | 2023-04-06 | 주식회사 타키온비앤티 | 유저의 페이셜 인식을 통한 선택적 메이크업 이펙팅 적용 시스템 |
-
2015
- 2015-09-09 KR KR1020150127710A patent/KR20160142742A/ko unknown
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190099227A (ko) * | 2016-12-20 | 2019-08-26 | 가부시키가이샤 시세이도 | 도포 제어 장치, 도포 제어 방법, 프로그램 및 기록매체 |
| US11501456B2 (en) | 2016-12-20 | 2022-11-15 | Shiseido Company, Ltd. | Application control device, application control method, program and storage medium that naturally conceal a local difference in brightness on skin |
| KR20190068146A (ko) * | 2017-12-08 | 2019-06-18 | 주식회사 매직내니 | 스마트 미러 디스플레이 장치 |
| KR20190100515A (ko) * | 2018-02-07 | 2019-08-29 | 주식회사 콜라주 | IoT 뷰티 디바이스를 이용하여 인공지능 화장보조 서비스를 제공하는 시스템 |
| KR20190141848A (ko) | 2018-06-15 | 2019-12-26 | 신한대학교 산학협력단 | 사용자화장품을 이용한 메이크업 정보제공시스템 및 그 방법 |
| WO2020142238A1 (en) * | 2019-01-04 | 2020-07-09 | The Procter & Gamble Company | Method and system for guiding a user to use an applicator |
| KR102055084B1 (ko) * | 2019-03-19 | 2020-01-14 | (주)인시스 | 피부 측정을 이용한 메이크업 가이드 방법 및 시스템 |
| CN111767756A (zh) * | 2019-03-29 | 2020-10-13 | 丽宝大数据股份有限公司 | 自动检测脸部瑕疵的方法 |
| KR20210026404A (ko) * | 2019-08-30 | 2021-03-10 | 엘지전자 주식회사 | 멀티미디어 디바이스 제어 방법 및 멀티미디어 디바이스 |
| KR20210039226A (ko) * | 2019-10-01 | 2021-04-09 | 동국대학교 경주캠퍼스 산학협력단 | 안면 혈자리 자극 시스템 및 이를 이용한 안면 혈자리 자극 방법 |
| KR20210018399A (ko) * | 2020-02-20 | 2021-02-17 | 주식회사 엘지생활건강 | 이동 단말기 및 화장품 자동인식 시스템 |
| WO2021172791A1 (ko) * | 2020-02-25 | 2021-09-02 | 삼성전자 주식회사 | 전자 장치 및 이를 이용한 시각적 효과 제공 방법 |
| KR20220163430A (ko) * | 2020-04-01 | 2022-12-09 | 스냅 인코포레이티드 | 메시징 시스템에서의 증강 현실 경험을 위한 물리적 제품들의 식별 |
| CN111557644A (zh) * | 2020-04-22 | 2020-08-21 | 深圳市锐吉电子科技有限公司 | 一种基于智能镜面设备的护肤方法、装置及护肤设备 |
| CN111860154A (zh) * | 2020-06-12 | 2020-10-30 | 歌尔股份有限公司 | 一种基于视觉的额头检测方法、装置和电子设备 |
| CN111860154B (zh) * | 2020-06-12 | 2024-05-28 | 歌尔股份有限公司 | 一种基于视觉的额头检测方法、装置和电子设备 |
| KR20220019610A (ko) * | 2020-08-10 | 2022-02-17 | 주식회사 타키온비앤티 | 유저의 페이셜 인식을 통한 선택적 메이크업 이펙팅 적용 시스템 |
| CN114187649A (zh) * | 2020-08-24 | 2022-03-15 | 华为技术有限公司 | 护肤辅助方法、设备及存储介质 |
| KR20220051328A (ko) * | 2021-02-08 | 2022-04-26 | 주식회사 엘지생활건강 | 이동 단말기 및 화장품 자동인식 시스템 |
| CN113837016A (zh) * | 2021-08-31 | 2021-12-24 | 北京新氧科技有限公司 | 一种化妆进度检测方法、装置、设备及存储介质 |
| WO2023054736A1 (ko) * | 2021-09-28 | 2023-04-06 | 주식회사 타키온비앤티 | 유저의 페이셜 인식을 통한 선택적 메이크업 이펙팅 적용 시스템 |
| CN114241732A (zh) * | 2021-12-20 | 2022-03-25 | 浙江吉利控股集团有限公司 | 化妆行为预警处理方法、装置、服务器及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20160142742A (ko) | 메이크업 거울을 제공하는 디바이스 및 방법 | |
| US11678050B2 (en) | Method and system for providing recommendation information related to photography | |
| US20160357578A1 (en) | Method and device for providing makeup mirror | |
| CN110929651A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| KR102314370B1 (ko) | 이동 단말기 | |
| AU2014275189B2 (en) | Manipulation of virtual object in augmented reality via thought | |
| KR102624635B1 (ko) | 메시징 시스템에서의 3d 데이터 생성 | |
| US20220368824A1 (en) | Scaled perspective zoom on resource constrained devices | |
| CN108780389A (zh) | 用于计算设备的图像检索 | |
| KR20160140221A (ko) | 화면 출력 방법 및 이를 지원하는 전자 장치 | |
| CN110414428A (zh) | 一种生成人脸属性信息识别模型的方法 | |
| CN104221359A (zh) | 用于色彩片段的色彩调节器 | |
| WO2023197780A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| US10261749B1 (en) | Audio output for panoramic images | |
| CN103985087A (zh) | 基于智能信息终端的镜像显示及信息处理方法 | |
| US10732989B2 (en) | Method for managing data, imaging, and information computing in smart devices | |
| US20160189341A1 (en) | Systems and methods for magnifying the appearance of an image on a mobile device screen using eyewear | |
| CN104902318A (zh) | 播放控制方法及终端设备 | |
| CN112083863A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| WO2021003646A1 (en) | Method for operating electronic device in order to browse through photos | |
| KR101720607B1 (ko) | 영상 촬영 장치 및 그 동작 방법 | |
| KR20150111199A (ko) | 이동 단말기 및 그것의 제어방법 | |
| CN114040098B (zh) | 用于获得图像的方法和执行该方法的电子设备 | |
| CN110941974B (zh) | 虚拟对象的控制方法和装置 | |
| CN117351105A (zh) | 图像编辑方法、终端和电子设备 |