KR102554361B1 - 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치 - Google Patents
피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치 Download PDFInfo
- Publication number
- KR102554361B1 KR102554361B1 KR1020200154841A KR20200154841A KR102554361B1 KR 102554361 B1 KR102554361 B1 KR 102554361B1 KR 1020200154841 A KR1020200154841 A KR 1020200154841A KR 20200154841 A KR20200154841 A KR 20200154841A KR 102554361 B1 KR102554361 B1 KR 102554361B1
- Authority
- KR
- South Korea
- Prior art keywords
- skin
- image
- diagnosis
- skin diagnosis
- customized recommendation
- Prior art date
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 277
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000036555 skin type Effects 0.000 claims abstract description 96
- 230000001815 facial effect Effects 0.000 claims abstract description 84
- 230000004044 response Effects 0.000 claims abstract description 43
- 239000002537 cosmetic Substances 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 20
- 230000037303 wrinkles Effects 0.000 claims description 20
- 239000011148 porous material Substances 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 15
- 230000035945 sensitivity Effects 0.000 claims description 13
- 230000019612 pigmentation Effects 0.000 claims description 10
- 210000002374 sebum Anatomy 0.000 claims description 10
- 230000007717 exclusion Effects 0.000 claims description 9
- 210000004709 eyebrow Anatomy 0.000 claims description 9
- 230000028327 secretion Effects 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 15
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 235000006694 eating habits Nutrition 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 239000008406 cosmetic ingredient Substances 0.000 description 4
- 239000004615 ingredient Substances 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000035882 stress Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 208000002874 Acne Vulgaris Diseases 0.000 description 1
- 206010013786 Dry skin Diseases 0.000 description 1
- 206010039792 Seborrhoea Diseases 0.000 description 1
- 241000405217 Viola <butterfly> Species 0.000 description 1
- 206010000496 acne Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000009223 counseling Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 230000037336 dry skin Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 239000003205 fragrance Substances 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000036571 hydration Effects 0.000 description 1
- 238000006703 hydration reaction Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000037311 normal skin Effects 0.000 description 1
- 230000037312 oily skin Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000036578 sleeping time Effects 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 230000037072 sun protection Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0203—Market surveys; Market polls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G06T5/004—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
- G06T5/75—Unsharp masking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Game Theory and Decision Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치가 개시된다. 본 발명의 일 측면에 따른 피부 진단 기반 맞춤형 추천 서비스 방법은, 맞춤형 추천 서버가, 사용자 단말기로부터 사용자의 얼굴과 기준 색조표를 촬영한 피부 진단용 이미지 및 피부타입 설문지에 대한 설문조사 응답 데이터를 수신하는 단계, 상기 맞춤형 추천 서버가, 상기 피부 진단용 이미지로부터 얼굴 영역을 검출하고, 상기 얼굴 영역으로부터 얼굴 랜드마크를 검출하는 단계, 상기 맞춤형 추천 서버가, 상기 피부 진단용 이미지에 포함된 상기 기준 색조표를 기반으로 상기 피부 진단용 이미지의 색상을 보정하는 단계, 상기 맞춤형 추천 서버가, 상기 검출된 얼굴 랜드마크에 기초하여 상기 보정된 피부 진단용 이미지로부터 얼굴 피부 영역 마스크를 생성하는 단계, 상기 얼굴 피부 영역 마스크 및 상기 설문조사 응답 데이터에 기초하여 사용자의 피부 타입을 진단하는 단계를 포함한다.
Description
본 발명은 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치에 관한 것으로서, 보다 상세하게는 사용자의 피부 타입을 진단하고, 그 피부 타입에 적합한 맞춤형 화장품 정보를 추천할 수 있는 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치를 제공하는 것이다.
최근 뷰티 산업의 발전에 따라 화장품의 종류가 매우 다양해졌다. 구체적으로, 피부 타입에 따라 건성 피부용, 중성 피부용 및 지성 피부용 등의 화장품이 있고, 피부 색상에 따라 베이지색, 핑크 베이지색 등의 화장품이 있고, 기능에 따라 미백용, 주름 개선용 및 자외선 차단용 등의 화장품이 다양하게 존재하고 있다.
그러나, 사용자마다 서로 다른 피부 특성 또는 피부 고민 등을 가지고 있기 때문에 다양한 화장품의 제공만으로는 모든 사용자의 요구를 맞추기에는 한계가 있다. 즉, 사용자마다 각 사용자의 피부 상태에 따라 필요로 하는 화장품 재료의 성분과 함량이 다를 수 있어, 모든 사용자의 요구를 충족시키는 화장품을 제공하는데 어려움이 있다.
본 발명의 배경기술은 대한민국 등록특허공보 제1738945의 '피부 측정 센서를 구비한 화장품 사용 가이드 시스템'에 개시되어 있다.
본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 본 발명의 목적은 사용자의 피부 타입을 진단하고, 그 피부 타입에 적합한 맞춤형 화장품 정보를 추천하고 제공할 수 있도록 하는 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치를 제공하는 것이다.
본 발명의 다른 목적은 사용자의 피부 타입에 적합한 생활습관 및 식습관을 추천할 수 있도록 하는 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 사용자들이 휴대하면서 간단히 자신의 피부상태를 확인하고 진단할 수 있도록 하는 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따른 피부 진단 기반 맞춤형 추천 서비스 방법은, 맞춤형 추천 서버가, 사용자 단말기로부터 사용자의 얼굴과 기준 색조표를 촬영한 피부 진단용 이미지 및 피부타입 설문지에 대한 설문조사 응답 데이터를 수신하는 단계, 상기 맞춤형 추천 서버가, 상기 피부 진단용 이미지로부터 얼굴 영역을 검출하고, 상기 얼굴 영역으로부터 얼굴 랜드마크를 검출하는 단계, 상기 맞춤형 추천 서버가, 상기 피부 진단용 이미지에 포함된 상기 기준 색조표를 기반으로 상기 피부 진단용 이미지의 색상을 보정하는 단계, 상기 맞춤형 추천 서버가, 상기 검출된 얼굴 랜드마크에 기초하여 상기 보정된 피부 진단용 이미지로부터 얼굴 피부 영역 마스크를 생성하는 단계, 상기 얼굴 피부 영역 마스크 및 상기 설문조사 응답 데이터에 기초하여 사용자의 피부 타입을 진단하는 단계를 포함한다.
본 발병은 상기 사용자의 피부 타입을 진단하는 단계 이후, 상기 피부 타입에 따른 화장품 추천 정보, 생활 습관 추천 정보 및 식품 추천 정보 중 적어도 하나의 정보를 상기 사용자 단말기에 제공하는 단계를 더 포함할 수 있다.
본 발명에서 상기 피부 진단용 이미지의 색상을 보정하는 단계는, 상기 맞춤형 추천 서버가 상기 피부 진단용 이미지로부터 상기 기준 색조표를 검출하는 단계, 상기 맞춤형 추천 서버가 상기 기준 색조표의 색상 왜곡 정도를 나타내는 색상 왜곡 정보를 생성하는 단계, 상기 맞춤형 추천 서버가 상기 색상 왜곡 정보에 기초하여 상기 피부 진단용 이미지의 색상 왜곡을 보정하는 단계를 포함할 수 있다.
본 발명은 상기 색상 왜곡 정보를 생성하는 단계에서, 상기 맞춤형 추천 서버는, 기준 광원 하에서 상기 기준 색조표를 촬영한 기준 이미지에서 상기 기준 색조표의 제1 채도/명도와 상기 피부 진단용 이미지에 포함된 상기 기준 색조표의 제2 채도/명도 간의 차이 값인 채도/명도 차이를 색상 왜곡 정보로 생성할 수 있다.
본 발명은 상기 피부 진단용 이미지의 색상 왜곡을 보정하는 단계에서, 상기 맞춤형 추천 서버는, 상기 피부 진단용 이미지의 기준 색조표의 채도/명도가 상기 제1 채도/명도와 동일하게 되도록 상기 피부 진단용 이미지의 채도/명도를 보정함으로써 피부 진단용 보정 이미지를 생성할 수 잇다.
본 발명에서 상기 얼굴 피부 영역 마스크를 생성하는 단계는, 상기 맞춤형 추천 서버가 상기 보정된 피부 진단용 이미지의 얼굴 랜드마크에서 눈썹 영역, 눈 영역, 콧구멍 영역 및 입 영역 중 적어도 하나를 포함하는 선별 제외 영역을 인식하는 단계, 상기 맞춤형 추천 서버가 상기 얼굴 영역에서 상기 선별 제외 영역을 제외한 영역을 얼굴 피부 영역 마스크로 생성하는 단계를 포함할 수 있다.
본 발명에서 상기 사용자의 피부 타입을 진단하는 단계는, 상기 맞춤형 추천 서버가, 상기 얼굴 피부 영역 마스크로부터 기 설정된 진단 항목별 제1 점수를 산출하고, 상기 설문조사 응답 데이터로부터 상기 진단 항목별 제2 점수를 산출하는 단계, 상기 맞춤형 추천 서버가, 상기 진단 항목별 제1 점수 및 제2 점수에 기초하여 상기 사용자의 피부 타입을 진단하는 단계를 포함할 수 있다.
본 발명은 상기 진단 항목별 제2 점수를 산출하는 단계에서, 상기 맞춤형 추천 서버는, 상기 얼굴 피부 영역 마스크 및 상기 설문조사 응답 데이터에 기초하여 모공의 크기, 모공의 개수, 트러블 정도, 트러블 크기, 색소 침착 여부, 주름의 크기, 주름의 깊이, 탄력도, 민감도, 자외선 노출 정도, 피지 분비량, 유수분 밸런스, 피부 톤, 유해 환경 노출 및 화장품 사용 습관에 따른 피부 스트레스 정도 중 적어도 하나를 판단하고, 그 판단결과에 기초하여 상기 진단항목별 제1 점수 및 제2 점수를 산출할 수 있다.
본 발명의 다른 측면에 따른 피부 진단 기반 맞춤형 추천 장치는, 사용자의 얼굴과 기준 색조표를 촬영하는 촬영부, 상기 촬영부로부터 상기 사용자의 얼굴과 기준 색조표를 포함하는 피부 진단용 이미지를 입력받고, 상기 피부 진단용 이미지로부터 얼굴 영역 및 얼굴 랜드마크를 검출하며, 상기 피부 진단용 이미지에 포함된 기준 색조표를 기반으로 피부 진단용 이미지의 색상을 보정하고, 상기 얼굴 랜드마크에 기초하여 보정된 피부 진단용 이미지로부터 얼굴 피부 영역 마스크를 생성하는 이미지 획득 제어부, 피부타입 설문지에 대한 응답을 입력받아 설문조사 응답 데이터를 수신하는 설문 조사 처리부, 상기 얼굴 피부 영역 마스크 및 상기 설문조사 응답 데이터에 기초하여 사용자의 피부 타입을 진단하는 진단부를 포함한다.
본 발명은 상기 피부 타입에 따른 화장품 추천 정보, 생활 습관 추천 정보 및 식품 추천 정보 중 적어도 하나의 정보를 제공하는 추천부를 더 포함할 수 있다.
본 발명에서 상기 이미지 획득 제어부는, 상기 피부 진단용 이미지로부터 상기 기준 색조표를 검출하고, 상기 기준 색조표의 색상 왜곡 정도를 나타내는 색상 왜곡 정보를 생성하며, 상기 색상 왜곡 정보에 기초하여 상기 피부 진단용 이미지의 색상 왜곡을 보정할 수 있다.
본 발명에서 상기 이미지 획득 제어부는, 기준 광원 하에서 상기 기준 색조표를 촬영한 기준 이미지에서 상기 기준 색조표의 제1 채도/명도와 상기 피부 진단용 이미지에 포함된 상기 기준 색조표의 제2 채도/명도 간의 차이 값인 채도/명도 차이를 색상 왜곡 정보로 생성할 수 있다.
본 발명에서 상기 이미지 획득 제어부는, 상기 피부 진단용 이미지의 기준 색조표의 채도/명도가 상기 제1 채도/명도와 동일하게 되도록 상기 피부 진단용 이미지의 채도/명도를 보정함으로써 피부 진단용 보정 이미지를 생성할 수 있다.
본 발명에서 상기 이미지 획득 제어부는, 상기 보정된 피부 진단용 이미지의 얼굴 랜드마크에서 눈썹 영역, 눈 영역, 콧구멍 영역 및 입 영역 중 적어도 하나를 포함하는 선별 제외 영역을 인식하고, 상기 얼굴 영역에서 상기 선별 제외 영역을 제외한 영역을 얼굴 피부 영역 마스크로 생성할 수 있다.
본 발명에서 상기 진단부는, 상기 얼굴 피부 영역 마스크로부터 기 설정된 진단 항목별 제1 점수를 산출하고, 상기 설문조사 응답 데이터로부터 상기 진단 항목별 제2 점수를 산출하며, 상기 진단 항목별 제1 점수 및 제2 점수에 기초하여 상기 사용자의 피부 타입을 진단할 수 있다.
본 발명에서 상기 진단부는, 상기 얼굴 피부 영역 마스크 및 상기 설문조사 응답 데이터에 기초하여 모공의 크기, 모공의 개수, 트러블 정도, 트러블 크기, 색소 침착 여부, 주름의 크기, 주름의 깊이, 탄력도, 민감도, 자외선 노출 정도, 피지 분비량, 유수분 밸런스, 피부 톤, 유해 환경 노출 및 화장품 사용 습관에 따른 피부 스트레스 정도 중 적어도 하나를 판단하고, 그 판단결과에 기초하여 상기 진단항목별 제1 점수 및 제2 점수를 산출할 수 있다.
본 발명의 일 실시예에 따른 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치는 사용자의 피부 타입에 적합한 화장품 및 화장품 성분에 대한 정보를 추천함으로써, 사용자는 피부 관리에 도움을 받을 수 있다.
본 발명의 일 실시예에 따른 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치는 사용자의 피부 타입에 적합한 생활습관 및 식습관을 추천함으로써, 피부관리는 물론, 신체의 건강 개선의 효과를 획득할 수 있다.
본 발명의 일 실시예에 따른 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치는, 사용자들이 자신의 단말기를 이용하여 간단히 자신의 피부상태를 확인하고 진단할 수 있다.
한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.
도 1은 본 발명의 일 실시예에 따른 피부 진단 기반 맞춤형 추천 서비스 시스템을 설명하기 위함 도면이다.
도 2는 본 발명의 일 실시예에 따른 사용자 단말기의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 맞춤형 추천 서버를 설명하기 위한 블록도이다.
도 4는 도 3에 도시된 이미지 처리부를 구체적으로 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 피부 진단 기반 맞춤형 추천 서비스 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 피부 진단용 이미지를 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 기준 색조표를 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 피부 진단 기반 맞춤형 추천 서비스 방법을 설명하기 위한 화면 예시도이다.
도 9는 본 발명의 다른 실시예에 따른 맞춤형 추천 장치를 설명하기 위한 블록도이다.
도 10은 본 발명의 다른 실시예에 따른 맞춤형 추천 장치가 피부 진단 기반 맞춤형 추천 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 사용자 단말기의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 맞춤형 추천 서버를 설명하기 위한 블록도이다.
도 4는 도 3에 도시된 이미지 처리부를 구체적으로 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 피부 진단 기반 맞춤형 추천 서비스 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 피부 진단용 이미지를 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 기준 색조표를 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 피부 진단 기반 맞춤형 추천 서비스 방법을 설명하기 위한 화면 예시도이다.
도 9는 본 발명의 다른 실시예에 따른 맞춤형 추천 장치를 설명하기 위한 블록도이다.
도 10은 본 발명의 다른 실시예에 따른 맞춤형 추천 장치가 피부 진단 기반 맞춤형 추천 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명의 일 실시예에 따른 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치를 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
도 1은 본 발명의 일 실시예에 따른 피부 진단 기반 맞춤형 추천 서비스 시스템을 설명하기 위함 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 피부 진단 기반 맞춤형 추천 서비스 시스템은 사용자 단말기(100) 및 맞춤형 추천 서버(200)를 포함할 수 있고, 이들은 통신망을 통해 데이터를 송수신할 수 있다.
사용자 단말기(100)는 맞춤형 추천 서버(200)가 제공하는 맞춤형 추천 서비스 어플리케이션 또는 맞춤형 추천 서비스 사이트를 실행 또는 표시할 수 있으며, 사용자 단말기(100)를 통하여 사용자의 접속 식별 정보(ID) 및 패스워드를 수신한 맞춤형 추천 서버(200)는 맞춤형 추천 서비스 어플리케이션 또는 맞춤형 추천 서비스 사이트에 대한 사용자 인증을 수행할 수 있다.
사용자 단말기(100)는 촬영부(120)를 구비하고, 촬영부(120)를 통해 사용자의 얼굴과 기준 색조표(300)를 함께 촬영한 피부 진단용 이미지를 맞춤형 추천 서버(200)로 전송하여, 피부 타입 진단에 이용되도록 할 수 있다. 즉, 사용자 단말기(100)는 맞춤형 추천 서비스 어플리케이션 또는 맞춤형 추천 서비스 사이트를 통해 사용자의 얼굴과 기준 색조표(300)를 함께 촬영한 피부 진단용 이미지 및 피부타입 설문지에 대한 설문조사 응답 데이터를 맞춤형 추천 서버(200)로 전송할 수 있다. 사용자 단말기(100)는 맞춤형 추천 서비스 어플리케이션 또는 맞춤형 추천 서비스 사이트를 통해 사용자의 피부 타입에 따른 맞춤형 추천 정보를 맞춤형 추천 서버(200)로부터 제공받을 수 있다. 여기서, 맞춤형 추천 정보는 화장품 추천 정보, 생활 습관 추천 정보 및 식품 추천 정보 중 적어도 하나를 포함할 수 있고, 화장품 추천 정보는 화장품 종류, 화장품 성분, 화장품 성분에 대한 함량, 및 향료 중 적어도 하나를 포함할 수 있다.
이러한 사용자 단말기(100)는 PC, 노트북, 스마트폰(smart phone), 태블릿(tablet), 웨어러블 컴퓨터(wearable computer) 등으로, 맞춤형 추천 서버(200)가 제공하는 서비스(이하, 피부 진단 서비스)를 위하여, 피부 진단 서비스와 관련된 웹/모바일 사이트의 접속 또는 전용 어플리케이션의 설치 및 실행이 가능한 모든 단말 장치를 의미할 수 있다. 이에, 사용자 단말기(100)는 웹/모바일 사이트 또는 전용 어플리케이션의 제어 하에 서비스 화면 구성, 데이터 입력, 데이터 송수신, 데이터 저장 등 서비스 전반의 동작을 수행할 수 있다. 특히, 사용자 단말기(100)는 사용자의 얼굴을 촬영할 수 있는 촬영부(120)를 구비함으로써, 촬영부(120)를 통해 사용자의 얼굴과 기준 색조표(300)를 함께 또는 따로 촬영한 피부 진단용 이미지를 맞춤형 추천 서버(200)로 전송하여, 피부 타입 진단에 이용되도록 할 수 있다.
맞춤형 추천 서버(200)는 사용자 단말기(100)로부터 사용자의 얼굴과 기준 색조표(300)를 포함하는 피부 진단용 이미지 및 피부타입 설문지에 대한 설문조사 응답 데이터를 수신하고, 피부 진단용 이미지 및 설문조사 응답 데이터에 기초하여 사용자의 피부 타입을 진단할 수 있다.
맞춤형 추천 서버(200)는 사용자의 피부 타입에 따른 맞춤형 추천 정보를 사용자 단말기(100)에 제공할 수 있다.
맞춤형 추천 서버(200)는 기계학습(machine learning) 또는 딥러닝(Deep learning)을 수행함으로써, 점진적으로 사용자에 맞는 최적의 정보(화장품 정보, 생활습관, 및 음식 등)를 제공할 수 있다.
상술한 바와 같이 맞춤형 추천 서버(200)는 사용자 단말기(100)로부터 피부 진단용 이미지를 수신하고, 피부 진단용 이미지를 이용하여 피부 타입을 진단하며, 피부 타입에 따른 맞춤형 화장품을 추천함으로써, 사용자 피부 타입에 적합한 화장품의 사용을 통해 사용자의 효과적인 피부 개선이 이루어지도록 할 수 있다.
이러한 맞춤형 추천 서버(200)는 맞춤형 추천 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 맞춤형 추천 서버(200)는 적어도 하나의 정보 제공 서버(미도시)로부터 공공 데이터, 기상 데이터, 성분 데이터, 화장품 데이터, 및 소셜미디어 데이터를 포함하는 로우 데이터(Raw Data)를 수집하고, 수집한 데이터를 기반으로 빅데이터를 구축하는 서버일 수 있다. 또한, 맞춤형 추천 서버(200)는 피부 타입과 화장품 제품, 성분 등을 연관시켜 학습시키는 서버일 수 있다.
또한 맞춤형 추천 서버(200)는 피부 진단 서비스를 사용자 단말기(100)에 제공하는 주체로서, 사용자 단말기(100)와 통신망을 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 이 때, 맞춤형 추천 서버(200)는 피부 진단 서비스를 제공하는 서버의 플랫폼에 포함되는 형태로 구현되어, 클라이언트(client)인 사용자 단말기(100)로 피부 진단 서비스를 제공할 수 있다. 그리고 맞춤형 추천 서버(200)는 적어도 일부의 구성 요소 또는 전체의 구성 요소가 사용자 단말기(100) 상에 설치되는 어플리케이션의 형태로 구현되거나, 혹은 클라이언트-서버 환경에서 서비스를 제공하는 플랫폼에 포함되는 형태로 구현되는 것 또한 가능하다.
도 2는 본 발명의 일 실시예에 따른 사용자 단말기의 구성을 설명하기 위한 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 사용자 단말기(100)는 입력부(110), 촬영부(120), 저장부(130), 통신부(140), 표시부(150) 및 제어부(160)를 포함할 수 있다.
입력부(110)는 피부 타입 진단에 필요한 데이터를 입력하는 신호를 수신할 수 있다. 입력부(110)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등을 포함할 수 있다.
촬영부(120)는 사용자의 피부 타입 진단에 필요한 영역을 촬영할 수 있다. 예를 들어, 촬영부(120)는 사용자의 얼굴과 기준 색조표(300)를 함께 촬영할 수 있다. 또한, 촬영부(120)는 사용자 얼굴과 기준 색조표(300)를 따로 촬영할 수 있다.
저장부(130)는 사용자 단말기(100)의 동작과 관련된 데이터들을 저장하는 구성이다. 여기서 저장부(130)는 공지된 저장매체를 이용할 수 있으며, 예를 들어, ROM, PROM, EPROM, EEPROM, RAM 등과 같이 공지된 저장매체 중 어느 하나 이상을 이용할 수 있다. 특히, 저장부(130)에는 맞춤형 추천 서비스 프로그램(애플리케이션 또는 애플릿) 등이 저장될 수 있으며, 저장되는 정보들은 필요에 따라 제어부(160)에 의해 취사 선택될 수 있다.
통신부(140)는 통신망을 통해 맞춤형 추천 서버(200)와 통신을 위한 구성으로, 촬영부(120)를 통해 획득된 피부 진단용 이미지 등 다양한 정보를 송수신할 수 있다. 이때, 통신부(140)는 근거리 통신모듈, 무선 통신모듈, 이동통신 모듈, 유선 통신모듈 등 다양한 형태로 구현될 수 있다.
표시부(150)는 사용자 단말기(100)의 동작과 관련된 다양한 정보를 표시하는 구성이다. 특히, 표시부(150)는 맞춤형 추천 서비스 프로그램(애플리케이션 또는 애플릿) 실행 시, 촬영 화면을 디스플레이할 수 있고, 피부타입 설문지를 디스플레이할 수 있다. 또한, 표시부(150)는 피부 타입의 진단 결과를 표시할 수 있다. 또한 표시부(150)는 피부 상태를 문진 방식으로 진단하는 경우 질문 내용 및 응답 내용을 표시할 수 있다. 표시부(150)는 피부 타입의 진단 결과에 따라 추천된 맞춤형 화장품에 관한 정보를 표시할 수 있다. 이러한 표시부(150)는 사용자로부터 정보를 입력받기 위한 입력부(110)로도 동작할 수 있다.
제어부(160)는 저장부(130)에 저장된 맞춤형 추천 서비스 프로그램(애플리케이션 또는 애플릿)이 실행되면, 촬영부(120)를 구동시키고, 촬영부(120)를 통해 촬영된 피부 진단용 이미지를 맞춤형 추천 서버(200)로 전송할 수 있다. 이때, 제어부(160)는 촬영부(120)를 통해 촬영된 사용자의 얼굴 및 기준 색조표(300)가 피부 진단에 적격한 이미지인지를 판단할 수 있다. 예를 들면, 제어부(160)는 촬영된 사용자의 얼굴 및 기준 색조표(300)가 피부 진단을 위해 설정된 기준 조건을 만족하는지를 이용하여 피부 진단에 적용 가능한 이미지인지를 판단할 수 있다. 촬영된 사용자의 얼굴 및 기준 색조표(300)가 피부 진단에 적절한 이미지이면, 제어부(160)는 피부 진단용 이미지를 생성하여 맞춤형 추천 서버(200)로 전송할 수 있다. 여기서, 피부 진단용 이미지는 사용자가 현재 위치한 장소에서 촬영된 이미지일 수 있고, 사용자의 얼굴과 기준 색조표(300)를 함께 촬영한 이미지일 수 있다. 또한, 피부 진단용 이미지는 사용자가 현재 위치한 장소에서 따로 촬영한 사용자의 얼굴 이미지와 기준 색조표 이미지를 포함하는 이미지일 수 있다.
피부 진단용 이미지에 포함된 사용자 얼굴 또는 사용자 얼굴 이미지는 사용자의 정면 안면사진일 수 있으며, 정면 안면사진은 사용자의 안면 정면 방향에서 머리카락을 뒤로 묶고 촬영한 사용자 안면의 이마 부위, 양 눈 부위, 코 부위, 양 볼 부위, 양 볼과 양귀 사이의 부위, 입 부위, 턱 부위를 노출시켜 촬영된 안면사진을 포함할 수 있다.
또한, 기준 색조표(300)는 사용자의 얼굴 피부의 색상을 보정하기 위한 기준이 되는 물체로서, 복수의 색상으로 구성된 색띠, 색표, 및 패치 등일 수 있고, 하나의 색상으로 구성된 색상 물체일 수도 있다.
또한, 피부 진단용 이미지는 기준 색조표(300)를 사용자가 손에 들고 촬영하거나, 사용자 얼굴 근처의 위치에 배치한 후 촬영하는 방식으로 획득될 수도 있다.
예컨대, 기준 색조표(300)는 적어도 하나의 하나 색상을 가지는 복수의 영역으로 구성되는데, 이에 대해서는 도 7을 참조하여 후술한다.
한편, 이와 같이 사용자의 얼굴과 기준 색조표(300)를 함께 촬영하여 피부 진단용 이미지를 생성하는 이유는 사용자 얼굴을 촬영한 장소의 환경(특히, 조명 환경)에 따라 사용자 얼굴의 색상이 왜곡될 수 있기 때문이다.
예컨대, 피부 진단을 원하는 사용자가 자신의 가정집에서 형광등을 켜놓고 얼굴을 촬영한 경우와 카페에서 얼굴을 촬영한 경우에는 실제로 사용자 얼굴의 색상에 변함이 없는 경우라도 색상이 다를 수 있다. 따라서, 이와 같은 색상 왜곡을 보정해야 할 필요성이 있어 기준 색조표(300)를 함께 촬영한 피부 진단용 이미지를 생성하는 것이다.
또한, 제어부(160)는 피부 진단용 이미지의 촬영이 완료되면, 피부 타입 설문지를 표시부(150)에 디스플레이할 수 있고, 입력부(110)를 통해 피부타입 설문지에 대한 응답을 수신하여, 설문조사 응답 데이터를 통신부(140)를 통해 맞춤형 추천 서버(200)로 전송할 수 있다.
이러한 제어부(160)는 적어도 하나의 연산 장치를 포함할 수 있는데, 여기서 상기 연산 장치는 범용적인 중앙연산장치(CPU), 특정 목적에 적합하게 구현된 프로그래머블 디바이스 소자(CPLD, FPGA), 주문형 반도체 연산장치(ASIC) 또는 마이크로 컨트롤러 칩일 수 있다.
한편, 상기와 같이 구성된 사용자 단말기(100)는 촬영부(120)를 통해 주변 환경의 촬영이 가능하고, 다양한 유무선 환경에 적용될 수 있는 전자 기기일 수 있다. 예컨대, 단말장치(100)는 PDA(Personal Digital Assistant), 스마트폰, 셀룰러폰, PCS(Personal Communication Service)폰, GSM(Global System for Mobile)폰, W-CDMA(Wideband CDMA)폰, CDMA-2000폰, MBS(Mobile Broadband System)폰 등을 포함한다. 여기서 사용자 단말기(100)는 휴대용 소형기기를 나타낼 수 있지만, 캠코더 또는 랩탑 컴퓨터 등을 포함하는 경우에는 이동통신단말기로 지칭될 수 있으므로, 본 발명의 실시예에서는 이에 특별히 한정하지는 않을 것이다.
도 3은 본 발명의 일 실시예에 따른 맞춤형 추천 서버를 설명하기 위한 블록도, 도 4는 도 3에 도시된 이미지 처리부를 구체적으로 나타낸 블록도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 맞춤형 추천 서버(200)는, 통신부(220), 데이터베이스(220), 이미지 처리부(230), 진단부(240), 추천부(250), 학습부(260) 및 제어부(270)를 포함할 수 있다.
통신부(220)는 통신망과 연동하여 맞춤형 추천 서버(200)와 사용자 단말기(100) 간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공할 수 있다. 나아가, 통신부(220)는 사용자 단말기(100)로부터 피부 진단용 이미지를 수신할 수 있고, 피부 타입 설문지를 사용자 단말기(100)에 전송하여 설문조사 응답 데이터를 회신할 수 있다. 또한, 통신부(220)는 진단부(240)에서 진단된 사용자의 피부타입 진단 결과 및 추천부(250)에서 추천된 맞춤형 추천 정보를 사용자 단말기(100)에 제공할 수 있다. 여기서 통신망이라 함은, 맞춤형 추천 서버(200)와 사용자 단말기(100)를 연결하는 역할을 수행하는 매개체로써, 사용자 단말기(100)가 맞춤형 추천 서버(200)에 접속한 후 정보를 송수신할 수 있도록 접속 경로를 제공하는 경로를 포함할 수 있다. 또한, 통신부(220)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다. 또한, 통신부(220)는 근거리 통신모듈, 무선 통신모듈, 이동통신 모듈, 유선 통신모듈 등 다양한 형태로 구현될 수 있다.
데이터베이스(220)는 사용자 정보, 맞춤형 화장품 정보, 맞춤형 생활 습관 정보 및 맞춤형 식습관 정보 중 적어도 하나의 정보를 저장할 수 있다. 따라서, 데이터베이스(220)는 사용자 정보가 정보가 저장된 사용자 데이터베이스(미도시), 맞춤형 화장품 정보가 저장된 맞춤형 화장품 데이터베이스(미도시), 맞춤형 생활 습관 정보가 저장된 맞춤형 생활 습관 데이터베이스(미도시), 및 맞춤형 식습관 정보가 저장된 맞춤형 식습관 데이터베이스(미도시) 중 적어도 하나를 포함할 수 있다.
여기서, 사용자 정보는 사용자에 대한 인적정보(일 예로, 이름, 나이, 전화번호, 아이디, 주소 등), 피부 타입에 관한 정보, 피부 생활 패턴에 관한 정보, 이전 피부 진단 결과에 관한 정보, 이전에 추천된 맞춤형 화장품에 관한 정보 등을 포함할 수 있다. 피부 타입에 관한 정보는 중성, 지성, 건성, 복합성, 민감성, 여드름성, 피부톤, 노화 정도 중 적어도 하나에 관한 정보를 포함할 수 있다. 피부 생활 패턴에 관한 정보는 고객의 주거지, 활동 공간, 실내/실외 활동 시간(빈도), 수면 시간, 피부 관리 습관, 화장 습관, 화장품 사용 빈도나 사용 습관, 음주/흡연 습관, 운동 습관, 자외선 등의 유해환경 노출 정도에 따른 피부 스트레스, 부작용 여부 중 적어도 하나에 관한 정보를 포함할 수 있으나 이에 한정하지 않는다. 데이터베이스(220)에 저장된 사용자 정보를 이용하여, 제어부(270)는 사용자를 식별할 수 있고 식별된 사용자에 대한 피부 상태 이력을 추적 관리할 수 있다.
맞춤형 화장품 데이터베이스는 피부 타입과 이에 대응하는 맞춤형 화장품 정보를 축적한 데이터베이스(220)일 수 있다. 맞춤형 화장품 데이터베이스는 피부 타입의 진단 결과를 수신할 때마다 피부 타입의 진단 결과 및 이에 대응하는 맞춤형 화장품을 저장하여, 맞춤형 화장품 정보를 관리할 수 있다.
이미지 처리부(230)는 통신부(220)를 통해 수신한 피부 진단용 이미지로부터 얼굴 영역 및 얼굴 랜드마크를 검출하고, 피부 진단용 이미지에 포함된 기준 색조표(300)를 기반으로 피부 진단용 이미지의 색상을 보정하며, 얼굴 랜드마크에 기초하여 보정된 피부 진단용 이미지로부터 얼굴 피부 영역 마스크를 생성할 수 있다.
이러한 이미지 처리부(230)는 도 4에 도시된 바와 같이, 얼굴 영역 검출부(232), 얼굴 랜드마크 검출부(234), 보정부(236) 및 얼굴 피부 영역 마스크 생성부(238)를 포함할 수 있다.
얼굴 영역 검출부(232)는 사용자의 얼굴과 기준 색조표(300)를 포함하는 피부 진단용 이미지로부터 얼굴 영역을 검출할 수 있다. 즉, 얼굴 영역 검출부(232)는 피부 진단용 이미지에서 사용자의 얼굴 영역과 배경을 구분하여 얼굴 혹은 얼굴 영역을 검출할 수 있다. 이때, 얼굴 영역 검출부(232)는 아다부스트(Adaboost: Adaptive Boosting) Classifier를 이용하는 Viola의 얼굴 검출기 또는 딥 러닝(Deep Learning) 기반의 얼굴 검출기 등을 이용하여 얼굴 영역을 검출할 수 있다. 또한 얼굴 영역 검출부(232)는 칼만 필터(Kalman Filter) 또는 파티클 필터(Particle Filter) 등을 사용하여 얼굴 영역을 검출할 수도 있다.
얼굴 랜드마크 검출부(234)는 얼굴 영역 검출부(232)에서 검출된 얼굴 영역으로부터 얼굴 랜드마크를 검출할 수 있다. 이때, 얼굴 랜드마크 검출부(234)는 얼굴의 외곽선, 얼굴을 구성하는 눈썹, 눈 모양, 코, 입 모양, 미간 등 얼굴 내 주요 랜드마크들을 검출할 수 있다. 얼굴 랜드마크는 미리 설정되고 선택될 수 있다.
얼굴 랜드마크 검출부(234)는 CLNF(Constrained Local Neural Fields) 또는 딥 러닝 기반의 검출기를 이용하여 얼굴 영역에서 얼굴 랜드마크들을 검출할 수 있다. 예컨대, 얼굴 랜드마크 검출부(234)는 ASM(Active Shape Model), AAM(Active Appearance Model, ESM(Explicit Shape Model) 또는 SDM(Supervised Descebt Model) 등을 이용하여 얼굴 랜드마크를 검출할 수 있다.
보정부(236)는 피부 진단용 이미지에 포함된 기준 색조표(300)를 기반으로 피부 진단용 이미지의 색상을 보정할 수 있다.
즉, 보정부(236)는 피부 진단용 이미지로부터 기준 색조표(300)를 검출하고, 기준 색조표(300)의 색상 왜곡 정도를 나타내는 색상 왜곡 정보를 생성하며, 색상 왜곡 정보에 기초하여 피부 진단용 이미지의 색상 왜곡을 보정할 수 있다. 이때, 보정부(236)는 색조표 검출용 알고리즘을 이용하여 피부 진단용 이미지로부터 기준 색조표(300)를 검출할 수 있다. 또한, 보정부(236)는 사전에 설정된 화면 위치 정보를 기반으로 기준 색조표(300)를 검출할 수 있다.
색상 왜곡 정보는 피부 진단용 이미지가 촬영된 환경의 조도, 피부 진단용 이미지를 촬영한 사용자 단말기(100)의 촬영 관련 설정 값(조리개 값, 셔터 스피드, ISO 등), 사용자 단말기(100)에 탑재된 렌즈에 대한 렌즈 수차 등에 기초하여 생성될 수 있다.
예컨대, 색상 왜곡 정보는 채도/명도를 기반으로 하는 정보일 수 있다. 이 경우, 보정부(236)는 미리 저장된 기준 광원 하에서 기준 색조표(300)를 촬영한 기준 이미지에서의 기준 색조표(300)의 채도/명도인 제1 채도/명도와 피부 진단용 이미지에 포함된 기준 색조표(300)의 채도/명도인 제2 채도/명도 간의 차이 값인 채도/명도 차이 정보를 색상 왜곡 정보로서 생성할 수 있다. 여기서, 기준 광원은 특정 색온도(5600K 또는 3200K)를 기준으로 하는 가상의 광원일 수도 있고, 미리 설정된 광원일 수 있다.
예를 들어, 기준 색조표(300)가 도 7과 같다면 특정 채도/명도를 기준으로 하는 광원 하에서 기준 색조표(300)를 촬영한 기준 이미지에서의 그 기준 색조표(300)에 대한 채도/명도인 제1 채도/명도 값을 이미 알고 있기 때문에, 보정부(236)는 제1 채도/명도 값과 피부 진단용 이미지에 포함된 기준 색조표(300)의 채도/명도인 제2 채도/명도 간의 차이 값인 색온도 차이 정보를 생성함으로써 색상 왜곡 정보를 생성할 수 있다. 이 경우에, 맞춤형 추천 서버(200)는 기준 이미지를 미리 저장해두는 대신 그 기준 색조표(300)에 대한 제1 채도/명도 값만을 미리 저장해둘 수도 있다.
상기와 같이 색상 왜곡 정보가 생성되면, 보정부(236)는 색상 왜곡 정보에 기초하여 피부 진단용 이미지의 색상 왜곡을 보정할 수 있다. 이때, 보정부(236)는 피부 진단용 이미지의 기준 색조표(300)의 채도/명도가 제1 채도/명도와 동일하게 되도록 피부 진단용 이미지의 채도/명도를 보정함으로써 피부 진단용 보정 이미지를 생성할 수 있다.
또한, 보정부(236)는 피부 진단용 이미지의 기준 색조표(300)에 포함된 색상들 각각에 대한 RGB 화소 값에서 기준 광원하의 기준 색조표(300) 색상들 각각에 대한 RGB 화소 값을 차감하여 RGB 화소 차이 값을 산출한 후, 그 산출된 RGB 화소 차이 값을 피부 진단용 이미지에 포함된 화소들 각각의 RGB 화소 값에 가산하는 방식으로 피부 진단용 보정 이미지를 생성할 수 있다. 이때, 보정부(236)는 피부 진단용 이미지의 기준 색조표(300)에 포함된 색상들 각각의 화소값을 기준 광원하의 기준 색상표 색상들 각각의 화소값과 비교하고. 그 비교결과에 근거하여 색상 왜곡 정보를 생성할 수 있다.
얼굴 피부 영역 마스크 생성부(238)는 얼굴 랜드마크에 기초하여 보정된 피부 진단용 이미지로부터 얼굴 피부 영역 마스크를 생성할 수 있다. 여기서, 얼굴 피부 영역 마스크는 피부 진단을 위해 입력되는 피부 이미지일 수 있다.
이에, 얼굴 피부 영역 마스크 생성부(238)는 보정된 피부 진단용 이미지의 얼굴 영역에서 눈썹 영역, 눈 영역, 콧구멍 영역 및 입 영역 중 적어도 하나를 포함하는 선별 제외 영역을 인식하고, 얼굴 영역에서 선별 제외 영역을 제외한 영역을 얼굴 피부 영역 마스크로 생성할 수 있다. 피부 진단용 이미지에서 눈, 입 등은 피부타입 진단의 대상이 아니므로, 피부 진단용 이미지에서 색상이 상이한 눈, 입 등의 부위를 미리 제외함으로써 보다 유의미한 진단 결과가 도출되도록 할 수 있다.
얼굴 피부 영역 마스크 생성부(238)는 보정된 피부 진단용 이미지의 얼굴 영역에서 얼굴 랜드마크를 제외한 영역을 얼굴 피부 영역 마스크로 생성할 수 있다. 얼굴 피부 영역 마스크는 피부 진단을 위해 피부 영역만을 포함하는 이미지일 수 있다.
진단부(240)는 얼굴 피부 영역 마스크 및 설문조사 응답 데이터에 기초하여 사용자의 피부 타입을 진단할 수 있다.
즉, 진단부(240)는 얼굴 피부 영역 마스크로부터 기 설정된 진단 항목별 제1 점수를 산출하고, 설문조사 응답 데이터로부터 진단 항목별 제2 점수를 산출하며, 제1 점수 및 제2 점수에 기초하여 사용자의 피부 타입을 진단할 수 있다.
진단부(240)는 얼굴 피부 영역 마스크로부터 사용자 피부의 진단 항목별 제1 점수를 산출할 수 있다. 여기서, 진단 항목은 민감성, 멜라닌, 피부톤, 모공, 표피면, 탄력, 주름, 수분, 유분, 피지 및 색소침착 등을 포함할 수 있으나, 이에 한정되지 않는다. 따라서, 진단부(240)는 얼굴 피부 영역 마스크를 분석하여 민감성, 멜라닌, 피부톤, 모공, 표피면, 탄력, 주름, 수분, 유분, 피지 및 색소침착 중 적어도 하나의 항목에 관한 점수(또는 수치값)를 각각 검출할 수 있다.
예를 들면, 진단부(240)는 얼굴 피부 영역 마스크에서 민감성에 관한 수치값으로서, 예컨대 색상(예컨대, Blue, Yellow, Red)별 퍼센트를 검출할 수 있다. 또한, 진단부(240)는 얼굴 피부 영역 마스크에서 복수의 소정 각도 각각에 대하여 선형 텍스트 이미지를 추출하고, 선형 텍스트 이미지에서 소정 각도마다 선형 성분 강도를 추출하여 피부의 주름 수, 및 주름 감도 등과 같은 주름에 관한 수치값을 검출할 수 있다. 또한, 진단부(240)는 얼굴 피부 영역 마스크를 분석하여 모공의 크기, 모공의 개수, 트러블 정도, 트러블 크기, 색소 침착 여부, 주름의 크기, 주름의 깊이, 탄력도, 민감도, 피지 분비량, 유수분 밸런스, 및 피부 톤의 레벨을 이용하여 민감성, 멜라닌, 피부톤, 모공, 표피면, 탄력, 주름, 수분, 유분, 피지 및 색소침착에 대한 수치화된 점수를 산출할 수 있다.
진단부(240)는 이미지분석수단과 AI를 이용하여 진단 항목별 제1 점수를 산출할 수 있다.
또한, 진단부(240)는 설문조사 응답 데이터에 기초하여 사용자 피부의 진단 항목별 제2 점수를 산출할 수 있다. 여기서, 진단 항목은 민감성, 멜라닌, 피부톤, 모공, 표피면, 탄력, 주름, 수분, 유분, 피지 및 색소침착 등을 포함할 수 있으나, 이에 한정되지 않는다.
진단부(240)는, 사용자 단말기(100)로 피부타입 설문지를 전송하고, 사용자 단말기(100)로부터 피부타입 설문지에 대한 설문조사 응답 데이터를 수신할 수 있다. 여기서, 피부타입 설문지는 피부 타입 진단에 필요한 피부 관련 질문 내용을 포함하는 설문지일 수 있다. 예컨대, 피부타입 설문지는 유분지표로 지성(Oily) 또는 건성(Dry), 민감지표로 민감한(Sensitive) 또는 민감하지 않은(Non-sensitive), 수분지표로 수분이 부족한(Dehydrated) 또는 수분이 충분한(Hydrated) 유무를 평가하여 8가지로 분류된 피부 타입 중 본인의 피부 타입을 파악할 수 있도록 주요 3가지 지표에 의해 피부타입을 분류하는 것을 목적으로 하는 설문지일 수 있다.
피부타입 설문지는 객관식의 형태로 구성될 수 있고, 진단부(240)는 질문사항에 대한 답변을 수치화할 수 있으며, 각 항목에 대한 수치로 평가하여 제2 진단 결과(제2 점수)를 산출할 수 있다. 예를 들면, 진단부(240)는 피부타입 설문지의 각 질문사항에 대한 객관식 답변을 수치화하여 이를 점수로 산출될 수 있다.
진단부(240)는 AI 등을 이용하여, 질문사항의 답변 중 중심치에서 크게 벗어난 것에 대해서는 추출하고, 이중 문제가 되는 것에 대해서는 정형화된 문구로 제시함으로써 제2 진단결과를 수치와 함께 문구로 나타낼 수 있다.
진단부(240)는 설문조사 응답 데이터를 분석하여 민감성, 멜라닌, 피부톤, 모공, 표피면, 탄력, 주름, 수분, 유분, 피지 및 색소침착 중 적어도 하나의 항목에 관한 점수(또는 수치값)를 각각 검출할 수 있다.
진단부(240)는 진단 항목별 제1 점수(제1 진단결과) 및 제2 점수(제2 진단결과)를 종합하여 사용자의 피부 타입을 진단할 수 있다.
진단부(240)는 진단 항목별 제1 점수 및 제2 점수를 퍼지 알고리즘 등을 이용하여 타회원들의 피부 상태 통계정보와 상대적으로 비교하고, 그 비교결과에 기초하여 사용자의 피부 타입을 진단할 수 있다. 또한, 진단부(240)는 진단 항목별 제1 점수 및 제2 점수에 기계학습을 적용하여 사용자의 피부 타입을 진단할 수도 있다.
사용자의 피부 타입은 예를 들면, 8개로 분류될 수 있고, 분류 인자는 지성(Oily), 건성(Dry), 민감성(Sensitive), 저항성(Resistant), 수분 부족(Dehydrated), 및 수분 충분(Hydrated) 등을 포함할 수 있다.
따라서, 사용자의 피부 타입은 제1타입 내지 제8타입으로 분류될 수 있다. 제1타입은 지성, 민감성, 및 수분 부족 타입, 제2타입은 지성, 저항성, 및 수분 부족 타입, 제3타입은 지성, 민감성, 수분 충분, 제4타입은 지성, 저항성, 수분 충분 타입, 제5타입은 건성, 민감성, 및 수분 충분, 제6타입은 건성, 저항성, 및 수분 충분 타입, 제7타입은 건성, 민감성, 및 수분 부족 타입, 제8타입은 건성, 저항성, 및 수분 부족 타입일 수 있다.
따라서, 사용자의 피부 타입은 제1타입 내지 제8타입으로 분류될 수 있다. 제1타입은 지성, 민감성, 및 수분 부족 타입, 제2타입은 지성, 저항성, 및 수분 부족 타입, 제3타입은 지성, 민감성, 수분 충분, 제4타입은 지성, 저항성, 수분 충분 타입, 제5타입은 건성, 민감성, 및 수분 충분, 제6타입은 건성, 저항성, 및 수분 충분 타입, 제7타입은 건성, 민감성, 및 수분 부족 타입, 제8타입은 건성, 저항성, 및 수분 부족 타입일 수 있다.
추천부(250)는 진단부(240)에서 진단된 피부 타입에 따른 맞춤형 추천 정보를 사용자 단말기(100)에 제공할 수 있다. 여기서, 맞춤형 추천 정보는 화장품 추천 정보, 생활 습관 추천 정보 및 식품 추천 정보 중 적어도 하나를 포함할 수 있다.
또한, 추천부(250)는 사용자 최종 피부 분석 결과를 사용자 단말기(100)에 제공할 수 있다. 여기서, 사용자 최종 피부 분석 결과는 전체 피부 점수, 피부 나이, 피부 나이 백분율(예를 들어, "상위 0.1%"), 종합적인 피부 상태, 피부 상태 종합 설명 및 해설, 동일나이 평균 점수와 나의 점수를 비교해주는 방사형 그래프, 사용자의 피부 타입 (그래프 상 어디에 위치하는지 표시), 피부 항목(주름, 탄력, 수분, 모공, 색소, 피부톤, 민감)별 상세 비교 결과(점수에 따라 위험, 주의, 보통, 양호, 우수로 평가), 피부 고민에 대한 카운셀링(추천 성분과 생활습관 Tip) 등을 포함할 수 있다.
학습부(260)는 사용자들의 피부 상태를 분석하여 축적한 복수의 이력 데이터로부터 생성된 복수의 학습 데이터를 지정된 인공지능모듈에 대입하여 학습시킬 수 있다.
한편, 이미지 처리부(230), 진단부(240), 추천부(250), 및 학습부(260)는 컴퓨팅 장치상에서 프로그램을 실행하기 위해 필요한 프로세서 등에 의해 각각 구현될 수 있다. 이처럼 이미지 처리부(230), 진단부(240), 추천부(250), 및 학습부(260)는 물리적으로 독립된 각각의 구성에 의해 구현될 수도 있고, 하나의 프로세서 내에서 기능적으로 구분되는 형태로 구현될 수도 있다.
제어부(270)는 통신부(220), 데이터베이스(220), 이미지 처리부(230), 진단부(240), 추천부(250), 및 학습부(260)를 포함하는 서비스 서버(200)의 다양한 구성부들의 동작을 제어하는 구성으로, 적어도 하나의 연산 장치를 포함할 수 있는데, 여기서 상기 연산 장치는 범용적인 중앙연산장치(CPU), 특정 목적에 적합하게 구현된 프로그래머블 디바이스 소자(CPLD, FPGA), 주문형 반도체 연산장치(ASIC) 또는 마이크로 컨트롤러 칩일 수 있다.
도 5는 본 발명의 일 실시예에 따른 피부 진단 기반 맞춤형 추천 서비스 방법을 설명하기 위한 도면, 도 6은 본 발명의 일 실시예에 따른 피부 진단용 이미지를 설명하기 위한 예시도, 도 7은 본 발명의 일 실시예에 따른 기준 색조표(300)를 설명하기 위한 예시도, 도 8은 본 발명의 일 실시예에 따른 피부 진단 기반 맞춤형 추천 서비스 방법을 설명하기 위한 화면 예시도이다.
도 5를 참조하면, 사용자 단말기(100)는 맞춤형 추천 서버(200)에 접속하여(S502), 사용자의 얼굴과 기준 색조표(300)를 촬영한다(S504). 즉, 사용자 단말기(100)는 맞춤형 추천 서비스 애플리케이션이 실행되면, 촬영부(120)를 구동시키고, 촬영부(120)를 통해 사용자의 얼굴과 기준 색조표(300)를 함께 촬영하거나 따로 촬영할 수 있다. 이때, 사용자는 실시간으로 제공하는 촬영 가이드 라인에 따라 피부 진단용 이미지를 촬영하게 된다.
예컨대, 사용자 단말기(100)는 사용자가 너무 가까이 있으면 조금 뒤로 물러나라는 메시지를 표시할 수 있다. 이때, 사용자 단말기(100)는 표시부(150) 또는 음성을 통해 촬영 가이드 라인을 제공하여, 초점이 맞춰진 이미지를 촬영할 수 있도록 할 수도 있다. 이때, 사용자는 도 6에 도시된 바와 같이 기준 색조표(300)를 턱 아래로 들고, 촬영할 수 있다.
한편, 피부 진단을 위한 기준 색조표(300)는 개인마다 다른 촬영부(120)의 성능차이와 주위환경에 의해 생기는 촬영 이미지의 색상 왜곡을 보정하고, 초점이 맞는 이미지를 촬영하기 위한 보조 도구로 사용되는 것으로, 적어도 하나의 색상을 가지는 복수의 영역으로 구성될 수 있다. 따라서, 기준 색조표(300)는 적어도 하나의 색상을 가지는 색 영역(310), 사방 표시(320) 및 그립(grip) 영역(330)으로 구성될 수 있다. 색 영역(310)은 피부 진단용 이미지의 색상을 보정하기 위한 기준으로 이용될 수 있고, 사방 영역(320)은 AI 자동 인식을 위한 표시로 이용될 수 있으며, 그립 영역(330)은 피부 촬영 시 사용자가 잡는 영역일 수 있다. 또한, 기준 색조표(300)는 사용자의 얼굴과 함께 촬영되어야 하므로, 사용자의 신체 부위(예컨대, 얼굴) 보다 작은 임의의 크기일 수 있다. 예컨대, 기준 색조표(300)는 5*5cm 정사각형일 수 있다. 또한, 기준 색조표(300)는 직사각형, 원형, 및 타원형 등 다양한 형상일 수 있다.
한편 본 발명의 실시예에서는 사각형의 기준 색조표(300)를 도시하고 있다. 기준 색조표(300)는 제1 색상(312)을 기준으로 제2 색상(314) 및 제3 색상(316)이 배치되는 형태일 수 있다. 기준 색조표(300)의 색 영역은 다양한 형태로 구성될 수 있다. 사방 영역(320)은 별 모양으로 도시하였으나, 점, 및 하트 등 다양한 모양으로 구현될 수 있다.
S504 단계가 수행되면, 사용자 단말기(100)는 사용자의 얼굴과 기준 색조표(300)를 촬영한 피부 진단용 이미지를 맞춤형 추천 서버(200)로 전송한다(S506).
S506 단계가 수행되면, 맞춤형 추천 서버(200)는 피부타입 설문지를 사용자 단말기(100)에 제공하고(S508), 사용자 단말기(100)는 피부타입 설문지에 대한 응답을 입력받아 설문조사 응답 데이터를 맞춤형 추천 서버(200)로 전송한다(S510).
S510 단계가 수행되면, 맞춤형 추천 서버(200)는 피부 진단용 이미지로부터 얼굴 영역 및 얼굴 랜드마크를 검출한다(S512). 즉, 맞춤형 추천 서버(200)는 피부 진단용 이미지에서 사용자의 얼굴 영역과 배경을 구분하여 얼굴 영역을 검출할 수 있다. 그런 후 맞춤형 추천 서버(200)는 얼굴 영역으로부터 얼굴 랜드마크를 검출할 수 있다. 이때, 맞춤형 추천 서버(200)는 얼굴의 외곽선, 얼굴을 구성하는 눈썹, 눈 모양, 코, 입 모양, 미간 등 얼굴 내 주요 랜드마크들을 검출할 수 있다.
S512 단계가 수행되면, 맞춤형 추천 서버(200)는 기준 색조표(300)를 기준으로 피부 진단용 이미지를 보정한다(S514). 즉, 맞춤형 추천 서버(200)는 피부 진단용 이미지로부터 기준 색조표(300)를 검출하고, 기준 색조표(300)의 색상 왜곡 정도를 나타내는 색상 왜곡 정보를 생성하며, 색상 왜곡 정보에 기초하여 피부 진단용 이미지의 색상 왜곡을 보정할 수 있다. 이때, 맞춤형 추천 서버(200)는 미리 저장된 기준 광원 하에서 기준 색조표(300)를 촬영한 기준 이미지에서의 기준 색조표(300)의 채도/명도인 제1 채도/명도와 피부 진단용 이미지에 포함된 기준 색조표(300)의 채도/명도인 제2 채도/명도 간의 차이 값인 채도/명도 차이 정보를 색상 왜곡 정보로 생성하고, 피부 진단용 이미지의 기준 색조표(300)의 채도/명도가 제1 채도/명도와 동일하게 되도록 피부 진단용 이미지의 채도/명도를 보정할 수 있다. 또한, 맞춤형 추천 서버(200)는 피부 진단용 이미지의 기준 색조표(300)에 포함된 색상들 각각에 대한 RGB 화소 값에서 기준 광원하의 기준 색조표(300) 색상들 각각에 대한 RGB 화소 값을 차감하여 RGB 화소 차이 값을 산출한 후, 그 산출된 RGB 화소 차이 값을 피부 진단용 이미지에 포함된 화소들 각각의 RGB 화소 값에 가산하는 방식으로 피부 진단용 이미지를 보정할 수도 있다. .
S514 단계가 수행되면, 맞춤형 추천 서버(200)는 검출된 얼굴 랜드마크에 기초하여 보정된 피부 진단용 이미지로부터 얼굴 피부 영역 마스크를 생성한다(S516). 즉, 맞춤형 추천 서버(200)는 보정된 피부 진단용 이미지의 얼굴 영역에서 얼굴 랜드마크를 제외한 영역을 얼굴 피부 영역 마스크로 생성할 수 있다.
예를 들어, 맞춤형 추천 서버(200)가 얼굴 피부 영역 마스크를 생성하는 방법에 대해 도 8을 참조하여 설명하기로 한다. 도 8을 참조하면, 맞춤형 추천 서버(200)는 (a)와 같은 피부 진단용 이미지에서 (b)와 같이 얼굴 영역(A) 및 얼굴 랜드마크(B)를 검출할 수 있다. 또한, 맞춤형 서버는 (a)의 피부 진단용 이미지를 (c)와 같이 보정을 할 수 있다. 그런 후, 맞춤형 서버는 (c)의 이미지에서 얼굴 랜드마크를 제외한 피부 영역으로 구성된 얼굴 피부 영역 마스크를 생성할 수 있다. 얼굴 피부 영역 마스크는 (d)와 같이 피부 영역으로만 구성될 수 있다.
S516 단계가 수행되면, 맞춤형 추천 서버(200)는 얼굴 피부 영역 마스크 및 설문조사 응답 데이터에 기초하여 사용자의 피부 타입을 진단하고(S518), 피부타입에 따른 맞춤형 추천 정보를 사용자 단말기(100)에 제공한다(S520). 즉, 맞춤형 추천 서버(200)는 얼굴 피부 영역 마스크로부터 기 설정된 진단 항목별 제1 점수를 산출하여 제1 진단결과를 산출할 수 있고, 설문조사 응답 데이터로부터 진단 항목별 제2 점수를 산출하여 제2 진단결과를 산출할 수 있다. 맞춤형 추천 서버(200)는 제1 점수 및 제2 점수(제1 진단결과 및 제2 진단결과)에 기초하여 사용자의 피부 타입을 진단할 수 있다. 맞춤형 추천 서버(200)는 진단된 피부 타입에 따른 화장품 추천 정보, 생활 습관 추천 정보 및 식품 추천 정보 중 적어도 하나를 사용자 단말기(100)에 제공할 수 있다.
도 9는 본 발명의 다른 실시예에 따른 맞춤형 추천 장치를 설명하기 위한 블록도이다.
도 9을 참조하면, 본 발명의 다른 실시예에 따른 맞춤형 추천 장치(900)는 입력부(910), 촬영부(920), 저장부(930), 표시부(940), 이미지 획득 제어부(950), 설문조사 처리부(960), 진단부(970), 추천부(980), 및 제어부(990)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수 구성 요소인 것은 아니다. 도시된 구성 요소보다 많은 구성 요소에 의해 맞춤형 추천 장치(900)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 맞춤형 추천 장치(900)는 구현될 수 있다.
입력부(910)는 피부 타입 진단에 필요한 데이터를 입력하는 신호를 수신할 수 있다. 입력부(910)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등을 포함할 수 있다.
촬영부(920)는 사용자의 얼굴과 기준 색조표(300)를 함께 촬영할 수 있다. 촬영부(920)에는 미리 결정된 촬영 파라미터가 설정되어 있을 수 있다. 미리 결정된 촬영 파라미터는 예를 들면, 조리개 값, 플래시 발광 여부, 화이트밸런스 조건 등을 포함할 수 있다.
저장부(930)는 맞춤형 추천 장치(900)의 동작과 관련된 데이터들을 저장하는 구성이다. 여기서 저장부(930)는 공지된 저장매체를 이용할 수 있으며, 예를 들어, ROM, PROM, EPROM, EEPROM, RAM 등과 같이 공지된 저장매체 중 어느 하나 이상을 이용할 수 있다. 특히, 저장부(930)에는 맞춤형 추천 서비스 프로그램(애플리케이션 또는 애플릿) 등이 저장될 수 있으며, 저장되는 정보들은 필요에 따라 제어부(990)에 의해 취사 선택될 수 있다. 또한, 저장부(930)에는 이미지 획득 제어부(950)가 색상 왜곡 정보를 생성하기 위한 기준인 기준 색상의 화소값이 저장되어 있다.
표시부(940)는 사용자 단말기(100)의 동작과 관련된 다양한 정보를 표시하는 구성이다. 특히, 표시부(940)는 맞춤형 추천 서비스 프로그램(애플리케이션 또는 애플릿) 실행 시, 촬영 화면을 디스플레이할 수 있고, 피부타입 설문지를 디스플레이할 수 있다. 또한, 표시부(940)는 피부 타입의 진단 결과를 표시할 수 있다. 또한 표시부(940)는 피부 상태를 문진 방식으로 진단하는 경우 질문 내용 및 응답 내용을 표시할 수 있다. 표시부(940)는 피부 타입의 진단 결과에 따라 추천된 맞춤형 화장품에 관한 정보를 표시할 수 있다. 이러한 표시부(940)는 사용자로부터 정보를 입력받기 위한 입력부(910)로도 동작할 수 있다. 이러한 표시부(940)는 LCD, LED 등을 포함하는 다양한 디스플레이 장치를 통해 구현될 수 있다. 표시부(940)는 입력부(910)와 일체를 이루는 터치 스크린의 형태로도 구현될 수 있다.
이미지 획득 제어부(950)는 맞춤형 추천 서비스 애플리케이션이 실행되면, 촬영부(920)를 자동으로 구동시키고, 이미지 촬영 전에 촬영부(920)를 통해 표시되는 이미지를 실시간으로 분석하여 기준 색조표(300)를 검출하고, 기준 색조표(300)가 검출된 시점의 이미지를 자동으로 촬영할 수 있다. 이때, 촬영된 이미지가 피부 진단용 이미지일 수 있다.
즉, 이미지 획득 제어부(950)는 이미지 촬영 전에 촬영부(920)를 통해 표시되는 이미지를 실시간으로 분석하고, 에지 검출 알고리즘을 이용하여 기준 색조표(300)의 각 색 영역에 대한 에지를 검출할 수 있다. 이미지 획득 제어부(950)는 기준 색조표(300)의 색 영역에 대한 에지가 검출되면, 초점이 맞는 이미지라고 판단하여, 그 시점의 이미지를 자동으로 촬영하도록 촬영부(920)를 제어할 수 있다. 또한, 이미지 획득 제어부(950)는 기준 색조표(300)의 색 영역에 대한 에지가 검출되면, 검출된 에지가 이미지의 일정 범위 내에 존재하는지 판단하여, 일정 범위 내에 존재하는 경우 초점이 맞는 이미지라고 판단하고, 그 시점의 이미지를 자동으로 촬영하도록 촬영부(920)를 제어할 수도 있다.
이처럼, 이미지 획득 제어부(950)는 초점이 맞춰진 상태에서 사용자의 얼굴과 기준 색조표(300)를 함께 촬영하도록 제어할 수 있다.
본 실시예에 따르면, 피부 진단용 이미지를 촬영하기 위해, 사용자가 촬영 버튼을 눌러야 하는 등의 특별한 조작이 없어도, 피부 진단용 이미지를 촬영할 수 있다.
이미지 획득 제어부(950)는 촬영부(920)를 통해 촬영된 피부 진단용 이미지로부터 얼굴 영역 및 얼굴 랜드마크를 검출하고, 피부 진단용 이미지에 포함된 기준 색조표(300)를 기반으로 피부 진단용 이미지의 색상을 보정하며, 얼굴 랜드마크에 기초하여 보정된 피부 진단용 이미지로부터 얼굴 피부 영역 마스크를 생성할 수 있다. 이미지 획득 제어부(950)는 도 4에 도시된 이미지 처리부(230)와 동일하므로 그 상세한 설명은 생략하기로 한다.
설문 조사 처리부(960)는 피부타입 설문지를 표시부(940)를 통해 디스플레이하고, 사용자로부터 피부타입 설문지에 대한 응답을 입력받아 설문조사 응답 데이터를 수신할 수 있다.
진단부(970)는 얼굴 피부 영역 마스크 및 설문조사 응답 데이터에 기초하여 사용자의 피부 타입을 진단할 수 있다. 즉, 진단부(970)는 이미지 획득 제어부(950)로부터 얼굴 피부 영역 마스크를 입력받고, 설문 조사 처리부(960)로부터 설문조사 응답 데이터를 입력받을 수 있다. 진단부(970)는 얼굴 피부 영역 마스크로부터 기 설정된 진단 항목별 제1 점수를 산출하고, 설문조사 응답 데이터로부터 진단 항목별 제2 점수를 산출하며, 제1 점수 및 제2 점수에 기초하여 사용자의 피부 타입을 진단할 수 있다.
진단부(970)는 이미지분석수단과 AI를 이용하여 진단 항목별 제1 점수 및 제2 점수를 산출할 수 있다.
추천부(980)는 피부 타입에 따른 화장품 추천 정보, 생활 습관 추천 정보 및 식품 추천 정보 중 적어도 하나에 대한 정보를 표시부(940)를 통해 디스플레이할 수 있다.
한편, 이미지 획득 제어부(950), 진단부(970), 및 추천부(980)는 컴퓨팅 장치상에서 프로그램을 실행하기 위해 필요한 프로세서 등에 의해 각각 구현될 수 있다. 이처럼 이미지 획득 제어부(950), 진단부(970), 및 추천부(980)는 물리적으로 독립된 각각의 구성에 의해 구현될 수도 있고, 하나의 프로세서 내에서 기능적으로 구분되는 형태로 구현될 수도 있다.
제어부(990)는 입력부(910), 촬영부(920), 저장부(930), 표시부(940), 이미지 획득 제어부(950), 설문조사 처리부(960), 진단부(970), 및 추천부(980)를 포함하는 맞춤형 추천 장치(900)의 다양한 구성부들의 동작을 제어하는 구성으로, 적어도 하나의 연산 장치를 포함할 수 있는데, 여기서 상기 연산 장치는 범용적인 중앙연산장치(CPU), 특정 목적에 적합하게 구현된 프로그래머블 디바이스 소자(CPLD, FPGA), 주문형 반도체 연산장치(ASIC) 또는 마이크로 컨트롤러 칩일 수 있다.
한편, 상기와 같이 구성된 맞춤형 추천 장치(900)는 사용자의 이미지를 촬영할 수 있는 촬영 기능을 구비하고, 피부 진단 서비스와 관련된 웹/모바일 사이트의 접속 또는 전용 어플리케이션의 설치 및 실행이 가능한 모든 단말 장치를 의미할 수 있다. 이러한 맞춤형 추천 장치(900)는 스마트폰(smart phone), 태블릿(tablet), 웨어러블 컴퓨터(wearable computer) 등 사용자가 사용하는 장치일 수 있다.
도 10은 본 발명의 다른 실시예에 따른 맞춤형 추천 장치가 피부 진단 기반 맞춤형 추천 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
도 10을 참조하면, 맞춤형 추천 장치(900)는 맞춤형 추천 서비스 애플리케이션을 실행시키고, 사용자의 얼굴과 기준 색조표(300)를 촬영하여 피부 진단용 이미지를 생성한다(S1002). 즉, 맞춤형 추천 장치(900)는 맞춤형 추천 서비스 애플리케이션이 실행되면, 촬영부(920)를 구동시키고, 촬영부(920)를 통해 사용자의 얼굴과 기준 색조표(300)를 함께 촬영하거나 따로 촬영할 수 있다. 이때, 맞춤형 추천 장치(900)는, 촬영된 사용자의 얼굴 및 기준 색조표(300)가 피부 진단에 적격한 이미지인지를 판단할 수 있다. 예를 들면, 맞춤형 추천 장치(900)는 촬영된 사용자의 얼굴 및 기준 색조표(300)가 피부 진단을 위해 설정된 기준 조건을 만족하는지를 이용하여 피부 진단에 적용 가능한 이미지인지를 판단할 수 있다. 촬영된 사용자의 얼굴 및 기준 색조표(300)가 피부 진단에 적절한 이미지이면, 맞춤형 추천 장치(900)는 피부 진단용 이미지를 생성할 수 있다.
S1002 단계가 수행되면, 맞춤형 추천 장치(900)는 피부타입 설문지를 디스플레이하고, 피부타입 설문지에 대한 설문조사 응답 데이터를 수신한다(S1004).
S1004 단계가 수행되면, 맞춤형 추천 장치(900)는 피부 진단용 이미지로부터 얼굴 영역 및 얼굴 랜드마크를 검출한다(S1006). 즉, 맞춤형 추천 장치(900)는 피부 진단용 이미지에서 사용자의 얼굴 영역과 배경을 구분하여 얼굴 영역을 검출할 수 있다. 그런 후 맞춤형 추천 장치(900)는 얼굴 영역으로부터 얼굴 랜드마크를 검출할 수 있다.
S1006 단계가 수행되면, 맞춤형 추천 장치(900)는 기준 색조표(300)를 기준으로 피부 진단용 이미지를 보정한다(S1008).
S1008 단계가 수행되면, 맞춤형 추천 장치(900)는 검출된 얼굴 랜드마크에 기초하여 보정된 피부 진단용 이미지로부터 얼굴 피부 영역 마스크를 생성한다(1010). 즉, 맞춤형 추천 장치(900)는 보정된 피부 진단용 이미지의 얼굴 영역에서 얼굴 랜드마크를 제외한 영역을 얼굴 피부 영역 마스크로 생성할 수 있다.
S1010 단계가 수행되면, 맞춤형 추천 장치(900)는 얼굴 피부 영역 마스크 및 설문조사 응답 데이터에 기초하여 사용자의 피부 타입을 진단하고(S1012), 피부타입에 따른 맞춤형 추천 정보를 사용자 단말기(100)에 제공한다(S1014).
상술한 바와 같이, 본 발명의 일 실시예에 따른 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치는 사용자의 피부 타입에 적합한 화장품 및 화장품 성분에 대한 정보를 추천함으로써, 사용자는 피부 개선의 효과를 획득할 수 있다.
본 발명의 일 실시예에 따른 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치는 사용자의 피부 타입에 적합한 생활습관 및 식습관을 추천함으로써, 피부관리는 물론, 신체의 건강 개선의 효과를 획득할 수 있다.
본 발명의 일 실시예에 따른 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치는, 사용자들이 자신의 단말기를 이용하여 간단히 자신의 피부상태를 확인하고 진단할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
100 : 사용자 단말기
110 : 입력부
120 : 촬영부
130 : 저장부
140, 210 : 통신부
150 : 표시부
160, 270 : 제어부
200 : 맞춤형 추천 서버
220 : 데이터베이스
230 : 이미지 처리부
240 : 진단부
250 : 추천부
260 : 학습부
300 : 기준 색조표
110 : 입력부
120 : 촬영부
130 : 저장부
140, 210 : 통신부
150 : 표시부
160, 270 : 제어부
200 : 맞춤형 추천 서버
220 : 데이터베이스
230 : 이미지 처리부
240 : 진단부
250 : 추천부
260 : 학습부
300 : 기준 색조표
Claims (16)
- 맞춤형 추천 서버가, 사용자 단말기로부터 사용자의 얼굴과 기준 색조표를 촬영한 피부 진단용 이미지 및 피부타입 설문지에 대한 설문조사 응답 데이터를 수신하는 단계;
상기 맞춤형 추천 서버가, 상기 피부 진단용 이미지로부터 얼굴 영역을 검출하고, 상기 얼굴 영역으로부터 얼굴 랜드마크를 검출하는 단계;
상기 맞춤형 추천 서버가, 상기 피부 진단용 이미지에 포함된 상기 기준 색조표를 기반으로 상기 피부 진단용 이미지의 색상을 보정하는 단계;
상기 맞춤형 추천 서버가, 상기 검출된 얼굴 랜드마크에 기초하여 상기 보정된 피부 진단용 이미지로부터 얼굴 피부 영역 마스크를 생성하는 단계; 및
상기 얼굴 피부 영역 마스크 및 상기 설문조사 응답 데이터에 기초하여 사용자의 피부 타입을 진단하는 단계를 포함하고,
상기 기준 색조표는,
피부 진단용 이미지의 색상을 보정하기 위한 기준으로 이용되며, 적어도 하나의 색상을 가지는 색 영역;
AI(Artificial Intelligence) 자동 인식을 위한 표시로 이용되는 사방 영역; 및
상기 사용자가 잡는 영역을 나타내는 그립 영역을 포함하고,
상기 사용자 단말기는, 맞춤형 추천 서비스 애플리케이션 실행되면, 촬영부를 자동으로 구동시키고, 이미지 촬영 전에 상기 촬영부를 통해 표시되는 이미지에서 상기 기준 색조표의 사방 영역을 검출하며, 상기 검출된 사방 영역이 이미지의 일정 범위 내에 존재하는 경우 초점이 맞는 이미지라고 판단하여 그 시점의 이미지를 상기 피부 진단용 이미지로 촬영하는 것을 특징으로 하는, 피부 진단 기반 맞춤형 추천 서비스 방법. - 제1항에 있어서,
상기 사용자의 피부 타입을 진단하는 단계 이후,
상기 피부 타입에 따른 화장품 추천 정보, 생활 습관 추천 정보 및 식품 추천 정보 중 적어도 하나의 정보를 상기 사용자 단말기에 제공하는 단계를 더 포함하는 것을 특징으로 하는 피부 진단 기반 맞춤형 추천 서비스 방법.
- 제1항에 있어서,
상기 피부 진단용 이미지의 색상을 보정하는 단계는,
상기 맞춤형 추천 서버가 상기 피부 진단용 이미지로부터 상기 기준 색조표를 검출하는 단계;
상기 맞춤형 추천 서버가 상기 기준 색조표의 색상 왜곡 정도를 나타내는 색상 왜곡 정보를 생성하는 단계; 및
상기 맞춤형 추천 서버가 상기 색상 왜곡 정보에 기초하여 상기 피부 진단용 이미지의 색상 왜곡을 보정하는 단계를 포함하는 것을 특징으로 하는 피부 진단 기반 맞춤형 추천 서비스 방법.
- 제3항에 있어서,
상기 색상 왜곡 정보를 생성하는 단계에서,
상기 맞춤형 추천 서버는, 기준 광원 하에서 상기 기준 색조표를 촬영한 기준 이미지에서 상기 기준 색조표의 제1 채도/명도와 상기 피부 진단용 이미지에 포함된 상기 기준 색조표의 제2 채도/명도 간의 차이 값인 채도/명도 차이를 색상 왜곡 정보로 생성하는 것을 특징으로 하는 피부 진단 기반 맞춤형 추천 서비스 방법.
- 제4항에 있어서,
상기 피부 진단용 이미지의 색상 왜곡을 보정하는 단계에서,
상기 맞춤형 추천 서버는, 상기 피부 진단용 이미지의 기준 색조표의 채도/명도가 상기 제1 채도/명도와 동일하게 되도록 상기 피부 진단용 이미지의 채도/명도를 보정함으로써 피부 진단용 보정 이미지를 생성하는 것을 특징으로 하는 피부 진단 기반 맞춤형 추천 서비스 방법.
- 제1항에 있어서,
상기 얼굴 피부 영역 마스크를 생성하는 단계는,
상기 맞춤형 추천 서버가 상기 보정된 피부 진단용 이미지의 얼굴 랜드마크에서 눈썹 영역, 눈 영역, 콧구멍 영역 및 입 영역 중 적어도 하나를 포함하는 선별 제외 영역을 인식하는 단계; 및
상기 맞춤형 추천 서버가 상기 얼굴 영역에서 상기 선별 제외 영역을 제외한 영역을 얼굴 피부 영역 마스크로 생성하는 단계를 포함하는 것을 특징으로 하는 피부 진단 기반 맞춤형 추천 서비스 방법.
- 제1항에 있어서,
상기 사용자의 피부 타입을 진단하는 단계는,
상기 맞춤형 추천 서버가, 상기 얼굴 피부 영역 마스크로부터 기 설정된 진단 항목별 제1 점수를 산출하고, 상기 설문조사 응답 데이터로부터 상기 진단 항목별 제2 점수를 산출하는 단계; 및
상기 맞춤형 추천 서버가, 상기 진단 항목별 제1 점수 및 제2 점수에 기초하여 상기 사용자의 피부 타입을 진단하는 단계를 포함하는 것을 특징으로 하는 피부 진단 기반 맞춤형 추천 서비스 방법.
- 제7항에 있어서,
상기 진단 항목별 제2 점수를 산출하는 단계에서,
상기 맞춤형 추천 서버는, 상기 얼굴 피부 영역 마스크 및 상기 설문조사 응답 데이터에 기초하여 모공의 크기, 모공의 개수, 트러블 정도, 트러블 크기, 색소 침착 여부, 주름의 크기, 주름의 깊이, 탄력도, 민감도, 자외선 노출 정도, 피지 분비량, 유수분 밸런스, 피부 톤, 유해 환경 노출 및 화장품 사용 습관에 따른 피부 스트레스 정도 중 적어도 하나를 판단하고, 그 판단결과에 기초하여 상기 진단항목별 제1 점수 및 제2 점수를 산출하는 것을 특징으로 하는 피부 진단 기반 맞춤형 추천 서비스 방법.
- 사용자의 얼굴과 기준 색조표를 촬영하는 촬영부;
상기 촬영부로부터 상기 사용자의 얼굴과 기준 색조표를 포함하는 피부 진단용 이미지를 입력받고, 상기 피부 진단용 이미지로부터 얼굴 영역 및 얼굴 랜드마크를 검출하며, 상기 피부 진단용 이미지에 포함된 기준 색조표를 기반으로 피부 진단용 이미지의 색상을 보정하고, 상기 얼굴 랜드마크에 기초하여 보정된 피부 진단용 이미지로부터 얼굴 피부 영역 마스크를 생성하는 이미지 획득 제어부;
피부타입 설문지에 대한 응답을 입력받아 설문조사 응답 데이터를 수신하는 설문 조사 처리부; 및
상기 얼굴 피부 영역 마스크 및 상기 설문조사 응답 데이터에 기초하여 사용자의 피부 타입을 진단하는 진단부를 포함하고,
상기 기준 색조표는,
피부 진단용 이미지의 색상을 보정하기 위한 기준으로 이용되며, 적어도 하나의 색상을 가지는 색 영역;
AI 자동 인식을 위한 표시로 이용되는 사방 영역; 및
상기 사용자가 잡는 영역을 나타내는 그립 영역을 포함하고,
상기 이미지 획득 제어부는, 맞춤형 추천 서비스 애플리케이션 실행되면, 상기 촬영부를 자동으로 구동시키고, 이미지 촬영 전에 상기 촬영부를 통해 표시되는 이미지에서 상기 기준 색조표의 사방 영역을 검출하며, 상기 검출된 사방 영역이 이미지의 일정 범위 내에 존재하는 경우 초점이 맞는 이미지라고 판단하여 그 시점의 이미지를 상기 피부 진단용 이미지로 촬영하도록 상기 촬영부를 제어하는 것을 특징으로 하는 피부 진단 기반 맞춤형 추천 장치. - 제9항에 있어서,
상기 피부 타입에 따른 화장품 추천 정보, 생활 습관 추천 정보 및 식품 추천 정보 중 적어도 하나의 정보를 제공하는 추천부를 더 포함하는 것을 특징으로 하는 피부 진단 기반 맞춤형 추천 장치.
- 제9항에 있어서,
상기 이미지 획득 제어부는,
상기 피부 진단용 이미지로부터 상기 기준 색조표를 검출하고, 상기 기준 색조표의 색상 왜곡 정도를 나타내는 색상 왜곡 정보를 생성하며, 상기 색상 왜곡 정보에 기초하여 상기 피부 진단용 이미지의 색상 왜곡을 보정하는 것을 특징으로 하는 피부 진단 기반 맞춤형 추천 장치.
- 제11항에 있어서,
상기 이미지 획득 제어부는,
기준 광원 하에서 상기 기준 색조표를 촬영한 기준 이미지에서 상기 기준 색조표의 제1 채도/명도와 상기 피부 진단용 이미지에 포함된 상기 기준 색조표의 제2 채도/명도 간의 차이 값인 채도/명도 차이를 색상 왜곡 정보로 생성하는 것을 특징으로 하는 피부 진단 기반 맞춤형 추천 장치.
- 제12항에 있어서,
상기 이미지 획득 제어부는,
상기 피부 진단용 이미지의 기준 색조표의 채도/명도가 상기 제1 채도/명도와 동일하게 되도록 상기 피부 진단용 이미지의 채도/명도를 보정함으로써 피부 진단용 보정 이미지를 생성하는 것을 특징으로 하는 피부 진단 기반 맞춤형 추천 장치.
- 제11항에 있어서,
상기 이미지 획득 제어부는,
상기 보정된 피부 진단용 이미지의 얼굴 랜드마크에서 눈썹 영역, 눈 영역, 콧구멍 영역 및 입 영역 중 적어도 하나를 포함하는 선별 제외 영역을 인식하고, 상기 얼굴 영역에서 상기 선별 제외 영역을 제외한 영역을 얼굴 피부 영역 마스크로 생성하는 것을 특징으로 하는 피부 진단 기반 맞춤형 추천 장치.
- 제11항에 있어서,
상기 진단부는,
상기 얼굴 피부 영역 마스크로부터 기 설정된 진단 항목별 제1 점수를 산출하고, 상기 설문조사 응답 데이터로부터 상기 진단 항목별 제2 점수를 산출하며, 상기 진단 항목별 제1 점수 및 제2 점수에 기초하여 상기 사용자의 피부 타입을 진단하는 것을 특징으로 하는 피부 진단 기반 맞춤형 추천 장치.
- 제15항에 있어서,
상기 진단부는,
상기 얼굴 피부 영역 마스크 및 상기 설문조사 응답 데이터에 기초하여 모공의 크기, 모공의 개수, 트러블 정도, 트러블 크기, 색소 침착 여부, 주름의 크기, 주름의 깊이, 탄력도, 민감도, 자외선 노출 정도, 피지 분비량, 유수분 밸런스, 피부 톤, 유해 환경 노출 및 화장품 사용 습관에 따른 피부 스트레스 정도 중 적어도 하나를 판단하고, 그 판단결과에 기초하여 상기 진단항목별 제1 점수 및 제2 점수를 산출하는 것을 특징으로 하는 피부 진단 기반 맞춤형 추천 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200154841A KR102554361B1 (ko) | 2020-11-18 | 2020-11-18 | 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200154841A KR102554361B1 (ko) | 2020-11-18 | 2020-11-18 | 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220068330A KR20220068330A (ko) | 2022-05-26 |
| KR102554361B1 true KR102554361B1 (ko) | 2023-07-12 |
Family
ID=81809772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200154841A KR102554361B1 (ko) | 2020-11-18 | 2020-11-18 | 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102554361B1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023249145A1 (ko) * | 2022-06-23 | 2023-12-28 | ㈜인코돈바이오코스메틱 | 화장품 사용 및 피부 관리 비대면 컨설팅 시스템 |
| KR102502944B1 (ko) * | 2022-06-24 | 2023-02-23 | (주)인코돈바이오코스메틱 | 화장품 사용 및 피부 관리 비대면 컨설팅 시스템 |
| KR102445752B1 (ko) * | 2022-07-01 | 2022-09-21 | 주식회사 룰루랩 | 주름 검출을 통해 질환을 예측하는 방법 및 장치 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101998595B1 (ko) * | 2017-10-13 | 2019-07-11 | 아주대학교산학협력단 | 이미지 기반 황달 진단 방법 및 장치 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220087567A (ko) * | 2016-12-01 | 2022-06-24 | 주식회사 엘지생활건강 | 맞춤형 화장품 제공 시스템 및 그의 동작 방법 |
| KR20180064963A (ko) * | 2016-12-06 | 2018-06-15 | 주식회사 엘지생활건강 | 맞춤형 화장품 제공 방법 및 장치 |
| KR20180124482A (ko) * | 2017-05-12 | 2018-11-21 | 주식회사 고운세상코스메틱 | 피부 관리 정보 제공 장치 및 그 동작 방법 |
-
2020
- 2020-11-18 KR KR1020200154841A patent/KR102554361B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101998595B1 (ko) * | 2017-10-13 | 2019-07-11 | 아주대학교산학협력단 | 이미지 기반 황달 진단 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220068330A (ko) | 2022-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102554361B1 (ko) | 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치 | |
| CN106469302B (zh) | 一种基于人工神经网络的人脸肤质检测方法 | |
| US11748980B2 (en) | Makeup evaluation system and operating method thereof | |
| US10617301B2 (en) | Information processing device and information processing method | |
| US9525867B2 (en) | Systems, devices, and methods for analyzing skin images | |
| US20220344044A1 (en) | User-customized skin diagnosis system and method | |
| US8705815B2 (en) | Systems and methods for automatic skin-based identification of people using digital images | |
| CN110235169B (zh) | 化妆评价系统及其动作方法 | |
| US20140275948A1 (en) | Information terminal device | |
| KR20130082115A (ko) | 컬러 이미지로부터 미용 및 영양 요법을 제공하는 웹 사이트 | |
| KR20150072463A (ko) | 안면 영상을 이용하는 건강 상태 판단 장치 및 건강 상태 판단 방법 | |
| KR20210084102A (ko) | 전자 장치, 두피 케어 시스템 및 그들의 제어 방법 | |
| KR101952804B1 (ko) | 감정인식 인터페이스 장치 | |
| US10984281B2 (en) | System and method for correcting color of digital image based on the human sclera and pupil | |
| JP2019048026A (ja) | 生体情報解析装置及び手肌解析方法 | |
| KR102364929B1 (ko) | 피부 변화를 추적하는 전자 장치, 서버, 및 시스템 | |
| KR20210049396A (ko) | 광을 이용한 마스크형 피부 미용 장치 및 그 제어 방법 | |
| JP2016202286A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| KR102585229B1 (ko) | 대상체의 피부 타입에 관련된 정보를 제공하는 전자 장치 및 방법 | |
| CN109147911A (zh) | 病症信息显示方法及装置、计算机可读存储介质 | |
| KR102066892B1 (ko) | 메이크업 평가 시스템 및 그의 동작 방법 | |
| KR20180061629A (ko) | 영상을 이용한 피부 상태 평가 방법 및 영상을 이용한 피부 상태 평가 장치 | |
| KR20220075984A (ko) | 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템 | |
| KR20200006157A (ko) | 메이크업 평가 시스템 및 그의 동작 방법 | |
| KR20220120807A (ko) | 탈모 진단 보조 정보를 계산하기 위한 두피 이미지의 선택 방법 및 이를 수행하는 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |