KR20220170466A - 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치 및 방법 - Google Patents
이미지 분석 기반 피부 관리를 위한 서비스 제공 장치 및 방법 Download PDFInfo
- Publication number
- KR20220170466A KR20220170466A KR1020210081325A KR20210081325A KR20220170466A KR 20220170466 A KR20220170466 A KR 20220170466A KR 1020210081325 A KR1020210081325 A KR 1020210081325A KR 20210081325 A KR20210081325 A KR 20210081325A KR 20220170466 A KR20220170466 A KR 20220170466A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- cosmetic
- cosmetics
- skin
- user
- Prior art date
Links
- 238000010191 image analysis Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims abstract description 24
- 239000002537 cosmetic Substances 0.000 claims abstract description 397
- 230000036555 skin type Effects 0.000 claims abstract description 91
- 238000004458 analytical method Methods 0.000 claims abstract description 26
- 238000004891 communication Methods 0.000 claims description 32
- 239000004615 ingredient Substances 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 abstract description 13
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 230000002159 abnormal effect Effects 0.000 description 22
- 230000005808 skin problem Effects 0.000 description 9
- 230000005856 abnormality Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000001965 increasing effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 239000006071 cream Substances 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 239000004909 Moisturizer Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000001333 moisturizer Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000002874 Acne Vulgaris Diseases 0.000 description 1
- 206010000496 acne Diseases 0.000 description 1
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000036074 healthy skin Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치 및 방법에 관한 것으로서, 더욱 상세히는 화장품의 용기를 카메라로 촬영하여 얻어진 이미지를 딥러닝 기반으로 분석하여 사용 중인 화장품을 식별하고, 사용 중인 화장품을 딥러닝 기반으로 분석하여 사용자의 피부 타입을 예측한 후 사용자의 피부 타입에 적합한 화장품을 추천하는 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치 및 방법에 관한 것이다. 본 발명은 사용자가 보유한 화장품의 용기를 촬영하는 것만으로 사용자가 보유한 화장품을 식별할 수 있어 사용자의 보유 화장품 입력에 대한 편의성을 높일 수 있음과 아울러, 사용자가 보유한 화장품을 딥러닝 기반의 인공지능으로 분석하여 사용자의 피부 타입을 예측한 후 해당 예측된 피부 타입에 따라 사용자가 보유한 화장품 중에서 사용자의 피부 타입에 적합한 화장품을 자동 선별하여 제공할 수 있으므로, 피부 관리에 대한 사용자의 편의성 및 만족도를 높일 수 있을 뿐만 아니라 사용자의 피부 타입에 적합한 화장품 선택에 소요되는 시간과 비용을 절감시키는 효과가 있다.
Description
본 발명은 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치 및 방법에 관한 것으로서, 더욱 상세히는 화장품의 용기를 카메라로 촬영하여 얻어진 이미지를 딥러닝 기반으로 분석하여 사용 중인 화장품을 식별하고, 사용 중인 화장품을 딥러닝 기반으로 분석하여 사용자의 피부 타입을 예측한 후 사용자의 피부 타입에 적합한 화장품을 추천하는 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치 및 방법에 관한 것이다.
최근 오염 물질이 포함된 대기 환경으로부터 피부를 보호하고 건강한 피부를 유지하기 위한 피부 관리에 대한 관심이 증대되고 있으며, 지속적인 외부 환경 변화로 인해 피부 트러블의 종류 또한 다양해지고 있어 이러한 피부 트러블을 미연에 방지하기 위한 화장품 개발 역시 지속되고 있다.
그러나, 사용자가 자신의 피부 타입을 분석하는데 어려움이 있을 뿐만 아니라, 이로 인해 다양한 화장품 중에서 자신의 피부 타입에 적합한 화장품을 선별하기가 상당히 어려운 문제가 있다.
이에 따라, 사용자가 자신의 피부에 적합하지 않은 화장품을 선택하여 사용함으로써 피부 트러블을 오히려 악화시킬 수 있으며, 자신의 피부에 적합한 화장품을 선별하는 과정에서 피부와 맞지 않은 화장품까지 구매해야 하므로 사용자의 비용 부담이 상당한 문제가 있다.
본 발명은 사용자로부터 사용자가 사용 중인 화장품의 용기를 촬영한 이미지를 수신하고 화장품 식별을 위한 용도로 학습된 모델에 해당 이미지를 적용하여 사용자가 사용 중인 화장품을 식별하고, 사용 중인 화장품을 딥러닝 기반으로 분석하여 사용자의 피부 타입을 예측한 후 사용자의 피부 타입에 적합한 화장품을 추천하여 피부 상태 개선을 위한 화장품 선택에 소요되는 사용자의 시간과 비용을 최소화하는데 그 목적이 있다.
본 발명의 실시예에 따른 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치는, 사용자 단말로부터 사용 중인 하나 이상의 화장품별로 용기를 촬영한 상기 화장품별 용기 이미지를 포함하는 의뢰 정보를 수신하는 통신부와, 복수의 서로 다른 화장품 각각에 대한 화장품 정보와 복수의 서로 다른 피부 타입별 화장품 선택 기준에 대한 기준 정보가 저장된 저장부와, 상기 화장품의 용기 이미지와 상기 화장품에 대응되는 화장품 식별 정보 사이의 상관 관계가 학습되어 미리 설정된 제 1 학습 모델에 상기 의뢰 정보에 포함된 상기 화장품별 용기 이미지를 적용하여 상기 의뢰 정보에 대응되는 하나 이상의 화장품 식별 정보를 획득하는 용기 분석부와, 화장품을 구성하는 성분과 피부 타입 사이의 상관 관계가 학습된 제 2 학습 모델을 포함하는 피부 타입 분석부 및 상기 통신부를 통해 상기 의뢰 정보 수신시 상기 용기 분석부를 통해 상기 의뢰 정보에 대응되는 하나 이상의 화장품 식별 정보를 획득하고, 상기 획득된 하나 이상의 화장품 식별 정보를 기초로 상기 저장부를 검색하여 상기 획득된 하나 이상의 화장품 식별 정보와 각각 대응되는 하나 이상의 화장품 정보를 각각 사용자의 보유 화장품 정보로 획득하며, 상기 하나 이상의 보유 화장품 정보 각각으로부터 성분 정보를 추출한 후 상기 추출된 하나 이상의 성분 정보를 상기 피부 타입 분석부와의 연동을 통해 상기 제 2 학습 모델에 적용하여 상기 사용자에 대해 예측되는 예상 피부 타입을 결정하고, 상기 예상 피부 타입에 대응되는 상기 기준 정보를 기초로 상기 하나 이상의 보유 화장품 정보별로 상기 예상 피부 타입에 적합한지 여부와 기피가 필요한 기피 대상 성분 정보의 포함 여부를 판단한 판단 결과 정보를 상기 사용자 단말에 제공하는 제어부를 포함할 수 있다.
본 발명과 관련된 일 예로서, 상기 제어부는 상기 판단 결과 정보를 기초로 상기 하나 이상의 보유 화장품 정보 중 사용자에게 적합하면서 기피 대상 성분이 포함되지 않은 화장품 정보를 사용 대상 화장품 정보로 설정하고, 하나 이상의 상기 사용 대상 화장품 정보 각각에 포함된 용량과 사용법 및 다른 카테고리에 속한 화장품과의 조합 사용 방법 중 적어도 하나를 기초로 상기 하나 이상의 사용 대상 화장품 정보에 대한 사용 스케쥴 관련 스케쥴 정보를 생성하여 상기 사용자 단말에 전송하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 저장부는 복수의 화장품 정보 중 적어도 하나와 각각 매칭되는 하나 이상의 화장 도구 정보가 저장되고, 상기 제어부는 상기 사용 대상 화장품 정보를 기초로 상기 저장부를 검색하여 상기 사용 대상 화장품 정보에 매칭되는 특정 화장 도구 정보가 존재하면, 상기 특정 화장 도구 정보를 상기 스케쥴 정보에서 상기 특정 화장 도구 정보와 매칭되는 화장품 정보와 매칭하여 상기 스케쥴 정보에 포함시키는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 의뢰 정보는 피부 트러블이 발생한 특정 신체 부위의 피부 상태를 촬영한 제 1 이미지 또는 피부 트러블이 발생하지 않은 상기 특정 신체 부위의 피부 상태를 촬영한 제 2 이미지를 포함하면서 피부 트러블 발생 여부를 포함하는 피부 상태 정보와 상기 특정 신체 부위에 사용 중인 하나 이상의 화장품별로 용기를 촬영한 상기 화장품별 용기 이미지 및 상기 특정 신체 부위를 지칭하는 명칭에 대한 신체 부위 정보를 포함하고, 상기 서비스 제공 장치는 상기 제 2 이미지가 포함된 의뢰 정보만을 대상으로 상기 제 2 이미지 및 상기 신체 부위 정보와 상기 용기 분석부를 통해 얻어진 하나 이상의 화장품 식별 정보를 상호 매칭하여 미리 설정된 제 3 학습 모델에 학습시키는 학습부를 더 포함하며, 상기 제어부는 상기 의뢰 정보 수신시 상기 학습부와 연동하여 상기 의뢰 정보에 포함된 상기 제 1 이미지 및 제 2 이미지 중 어느 하나와 상기 신체 부위 정보를 상기 제 3 학습 모델에 적용하여 상기 제 3 학습 모델을 통해 사용자의 피부 타입과 유사한 피부 타입에 대해 사용이 예측되는 하나 이상의 화장품별 화장품 식별 정보를 포함하는 출력 정보를 산출하고, 상기 출력 정보에 포함된 하나 이상의 화장품 식별 정보를 기초로 상기 저장부를 검색하여 상기 출력 정보에 대응되는 하나 이상의 화장품 정보를 포함하는 화장품 추천 정보를 생성한 후 상기 사용자 단말에 전송하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 제어부는 상기 제 2 이미지가 포함된 의뢰 정보로부터 추출한 상기 제 2 이미지에 대응되는 하나 이상의 신규 화장품에 대한 화장품 조합 정보를 상기 통신부를 통해 수신하고, 상기 제 2 이미지에 대응되는 의뢰 정보로부터 추출한 신체 부위 정보와 상기 제 2 이미지 및 상기 화장품 조합 정보를 상호 매칭하여 상기 제 3 학습 모델에 학습시키는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 제어부는 상기 화장품 추천 정보를 수신한 상기 사용자 단말로부터 상기 화장품 추천 정보에 포함된 추천 화장품 중 상기 사용자에 의해 사용된 하나 이상의 사용 화장품별 화장품 식별 정보를 포함하는 피드백 정보를 수신하면, 상기 피드백 정보에 대응되는 의뢰 정보로부터 상기 제 1 이미지 또는 제 2 이미지와 신체 부위 정보를 추출한 후 상기 피드백 정보에 포함된 사용 화장품별 화장품 식별 정보와 매칭하여 학습 데이터를 생성하고, 상기 학습부와 연동하여 상기 피드백 정보에 대응되는 상기 학습 데이터를 상기 제 3 학습 모델에 학습시키는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 제어부는 상기 피드백 정보에 따른 추천 점수를 확인하여 추천 점수가 미리 설정된 기준치 이상인 경우에만 상기 피드백 정보를 기초로 상기 학습 데이터를 생성하여 상기 제 3 학습 모델에 학습시키는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 제어부는 상기 의뢰 정보에 대응되는 하나 이상의 보유 화장품 정보를 상기 사용자 단말에 대응되는 사용자의 회원 정보와 매칭하여 상기 저장부에 누적 저장하고, 상기 누적 저장된 보유 화장품 정보를 기초로 상기 사용자에 대한 선호 정보를 생성하며, 상기 화장품 추천 정보 생성시 상기 선호 정보를 반영하여 상기 화장품 추천 정보에 포함될 하나 이상의 추천 화장품을 선택하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 선호 정보는 화장품 카테고리별로 사용자가 선호하는 브랜드, 가격대 및 성분 중 적어도 하나를 포함하는 것을 특징으로 할 수 있다.
본 발명과 관련된 일 예로서, 상기 용기 이미지는 화장품 용기의 라벨, 화장품 용기의 모양, 화장품 용기의 크기, 화장품 용기의 색상 및 화장품 용기의 바코드 중 적어도 하나에 대한 이미지 데이터를 포함하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 따른 이미지 분석 기반 피부 관리를 위한 서비스 제공 방법은, 서비스 제공 장치가 사용자 단말로부터 사용 중인 하나 이상의 화장품별로 용기를 촬영한 상기 화장품별 용기 이미지를 포함하는 의뢰 정보를 수신하는 단계와, 상기 서비스 제공 장치가 상기 화장품의 용기 이미지와 상기 화장품에 대응되는 화장품 식별 정보 사이의 상관 관계가 학습되어 미리 설정된 제 1 학습 모델에 상기 의뢰 정보에 포함된 상기 화장품별 용기 이미지를 적용하여 상기 의뢰 정보에 대응되는 하나 이상의 화장품 식별 정보를 획득하는 단계와, 상기 서비스 제공 장치가 상기 하나 이상의 화장품 식별 정보를 기초로 복수의 서로 다른 화장품 각각에 대한 화장품 정보와 복수의 서로 다른 피부 타입별 화장품 선택 기준에 대한 기준 정보가 저장된 상기 서비스 제공 장치의 저장부를 검색하여 상기 하나 이상의 화장품 식별 정보와 각각 대응되는 하나 이상의 화장품 정보를 각각 사용자의 보유 화장품 정보로 획득하는 단계와, 상기 서비스 제공 장치가 상기 하나 이상의 보유 화장품 정보 각각으로부터 성분 정보를 추출한 후 화장품을 구성하는 성분과 피부 타입 사이의 상관 관계가 학습되어 미리 설정된 제 2 학습 모델에 상기 추출된 하나 이상의 성분 정보를 적용하여 상기 사용자에 대해 예측되는 예상 피부 타입을 결정하는 단계 및 상기 서비스 제공 장치가 상기 예상 피부 타입에 대응되는 상기 기준 정보를 기초로 상기 하나 이상의 보유 화장품 정보별로 상기 예상 피부 타입에 적합한지 여부와 기피가 필요한 기피 대상 성분 정보의 포함 여부를 판단한 판단 결과 정보를 생성하여 상기 사용자 단말에 제공하는 단계를 포함할 수 있다.
본 발명은 사용자가 보유한 화장품의 용기를 촬영하는 것만으로 사용자가 보유한 화장품을 식별할 수 있어 사용자의 보유 화장품 입력에 대한 편의성을 높일 수 있음과 아울러, 사용자가 보유한 화장품을 딥러닝 기반의 인공지능으로 분석하여 사용자의 피부 타입을 예측한 후 해당 예측된 피부 타입에 따라 사용자가 보유한 화장품 중에서 사용자의 피부 타입에 적합한 화장품을 자동 선별하여 제공할 수 있으므로, 피부 관리에 대한 사용자의 편의성 및 만족도를 높일 수 있을 뿐만 아니라 사용자의 피부 타입에 적합한 화장품 선택에 소요되는 시간과 비용을 절감시키는 효과가 있다.
또한, 본 발명은 피부 관리를 위한 추천 화장품을 요청하는 사용자들을 피부 트러블이 발생한 이상 발생 사용자와 피부 트러블이 없는 정상 사용자로 구분하여 최초에는 정상 사용자의 피부 상태에 대한 이미지와 보유 화장품으로 학습 모델을 학습시킨 후 해당 학습 모델을 통해 이상 발생 사용자와 유사한 피부 타입을 가진 정상 사용자들 사이에 선호되는 화장품을 이상 발생 사용자에게 추천하여 이상 발생 사용자가 자신과 피부 타입이 유사한 정상 사용자들의 선호 화장품을 사용하도록 유도함으로써 이상 발생 사용자의 피부 트러블이 개선되도록 지원할 수 있으며, 추후 추천된 화장품이 피부 트러블 개선에 효과가 있는 경우 이상 발생 사용자로부터 피드백 정보를 수신하여 이상 발생 사용자가 최초 전송한 피부 트러블이 발생한 이미지와 피드백 정보에 따른 피부 트러블 개선에 사용된 추천 화장품을 학습 모델에 학습시킴으로써 피부 트러블이 발생하여 화장품 추천을 요청하는 신규 사용자에 대해 학습 모델을 기초로 신규 사용자와 유사한 피부 트러블을 겪었던 경험자들을 더욱 정확하게 선별하여 해당 경험자들이 추천하는 화장품을 신규 사용자에게 추천할 수 있어, 피부 트러블을 개선시킬 수 있는 화장품 추천에 대한 정확도 및 신뢰도를 증가시킬 수 있다.
더하여, 본 발명은 피부 트러블이 없는 정상 사용자의 화장품 추천 요청에 대해 학습 모델을 통해 정상 사용자와 유사한 피부 타입을 가진 다른 정상 사용자들 사이에 가장 선호되는 화장품을 추천함으로써, 피부 트러블이 없는 사용자에 대해서도 사용자의 피부 개선에 다수의 사용자 의견이 반영된 화장품 추천이 이루어지도록 지원함으로써 피부 트러블이 있는 사용자와 피부 트러블이 없는 사용자 모두를 만족시킬 수 있는 화장품 추천 기능을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치의 구성 환경도.
도 2는 본 발명의 실시예에 따른 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치의 구성도.
도 3은 본 발명의 실시예에 따른 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치의 동작 예시도.
도 4은 본 발명의 다른 실시예에 따른 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치의 동작 예시도.
도 5는 본 발명의 실시예에 따른 이미지 분석 기반 피부 관리를 위한 서비스 제공 방법에 대한 순서도.
도 2는 본 발명의 실시예에 따른 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치의 구성도.
도 3은 본 발명의 실시예에 따른 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치의 동작 예시도.
도 4은 본 발명의 다른 실시예에 따른 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치의 동작 예시도.
도 5는 본 발명의 실시예에 따른 이미지 분석 기반 피부 관리를 위한 서비스 제공 방법에 대한 순서도.
이하, 도면을 참고하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치(100)(이하, 서비스 제공 장치)의 구성 환경도이다.
도시된 바와 같이, 서비스 제공 장치(100)는 통신망을 통해 복수의 사용자 단말과 통신할 수 있다.
이때, 본 발명에서 설명하는 통신망은 유/무선 통신망을 포함할 수 있으며, 이러한 무선 통신망의 일례로 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), 5G 이동통신 서비스, 블루투스(Bluetooth), LoRa(Long Range), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신망으로는 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.
또한, 상기 사용자 단말은 통신 기능을 구비한 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA) 등과 같은 다양한 단말기를 포함할 수 있다.
또한, 상기 서비스 제공 장치(100)는 서비스 서버로 구성될 수 있다.
상술한 구성에 따라, 상기 서비스 제공 장치(100)는 상기 사용자 단말로부터 사용자가 보유한 하나 이상의 화장품별로 화장품 용기를 촬영하여 생성된 하나 이상의 화장품별 화장품 용기 이미지를 포함하며 피부 관리를 위한 화장품 분석 또는 추천을 요청하는 의뢰 정보를 수신할 수 있으며, 미리 설정된 딥러닝(Deep learning) 기반의 인공지능 분석을 통해 상기 의뢰 정보에 대응되는 사용자의 피부 타입을 분석하고 해당 피부 타입을 근거로 사용자가 보유한 화장품 중에서 사용자에게 적합하지 않은 상품을 배제하도록 하기 위한 정보를 제공하면서 사용자의 피부 개선을 위한 보유 화장품을 대상으로 하는 사용 스케쥴에 대한 정보를 제공할 수 있는데, 이를 상세히 설명한다.
우선, 도 2에 도시된 바와 같이, 상기 서비스 제공 장치(100)는 상기 사용자 단말과 통신망을 통해 통신하는 통신부(110)와, 각종 정보를 저장하는 저장부(120), 딥러닝 기반으로 화장품 용기에 대한 화장품 용기 이미지(이하, 용기 이미지)로부터 화장품을 식별하는 용기 분석부(130), 딥러닝 기반으로 피부 타입을 분석하는 피부 타입 분석부(140) 및 상기 서비스 제공 장치(100)의 전반적인 제어 기능을 수행하는 제어부(160)를 포함할 수 있다.
이때, 상기 저장부(120)는 DB로 구성될 수 있다.
또한, 상기 통신부(110), 저장부(120), 용기 분석부(130), 피부 타입 분석부(140) 및 이하에서 설명하는 학습부(150) 중 적어도 하나의 구성부가 상기 제어부(160)에 포함되어 구성될 수도 있다.
또한, 상기 제어부(160)는 상기 저장부(120)에 저장된 프로그램 및 데이터를 이용하여 상기 서비스 제공 장치(100)의 전반적인 제어 기능을 수행하며, 제어부(160)는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다.
상술한 구성을 토대로, 도 3을 참고하여 서비스 제공 장치(100)의 동작 예시를 설명한다.
우선, 상기 통신부(110)는 상기 사용자 단말로부터 사용자가 사용 중인 하나 이상의 화장품별로 화장품 용기를 촬영하여 생성된 상기 화장품별 용기 이미지를 포함하는 의뢰 정보를 수신할 수 있다.
이때, 상기 용기 이미지는 화장품 용기의 라벨, 화장품 용기의 모양, 화장품 용기의 크기, 화장품 용기의 색상, 화장품 용기의 바코드(bar code) 등에 대한 이미지 데이터를 포함할 수 있다.
또한, 상기 의뢰 정보는 화장품 추천 또는 분석을 요청하기 위한 정보일 수 있다.
또한, 상기 저장부(120)는 복수의 서로 다른 화장품 각각에 대한 화장품 정보와 복수의 서로 다른 피부 타입별 화장품 선택 기준에 대한 기준 정보가 저장되는 화장품 DB(121)를 포함할 수 있다.
또한, 상기 용기 분석부(130)는 상기 화장품의 용기 이미지와 상기 화장품에 대응되는 화장품 식별 정보가 상호 매칭되어 학습된 제 1 학습 모델을 포함하여 구성될 수 있다.
이때, 상기 제 1 학습 모델은 복수의 서로 다른 화장품별로 용기 이미지와 화장품 식별 정보가 상호 매칭되어 학습되어, 상기 용기 이미지와 상기 화장품 식별 정보 사이의 상관 관계가 학습될 수 있다.
이에 따라, 상기 용기 분석부(130)는 상기 의뢰 정보에 포함된 상기 화장품별 용기 이미지를 상기 제 1 학습 모델에 적용할 수 있으며, 상기 제 1 학습 모델을 통해 상기 의뢰 정보에 포함되는 용기 이미지별로 용기 이미지에 대응되는(용기 이미지와의 상관도(상관 계수)가 가장 높은) 화장품 식별 정보를 산출할 수 있다.
이를 통해, 상기 용기 분석부(130)는 상기 의뢰 정보에 포함된 하나 이상의 용기 이미지와 각각 대응되는 하나 이상의 화장품 식별 정보를 상기 제 1 학습 모델을 통해 획득할 수 있다.
또한, 상기 피부 타입 분석부(140)는 화장품을 구성하는 성분과 피부 타입 사이의 상관 관계가 학습된 제 2 학습 모델을 포함할 수 있다.
이때, 상기 제 2 학습 모델에 학습되는 복수의 피부 타입은 건성(Dry), 중성(Normal), 지성(Oily), 복합성(Combination), 예민성(Sensitive) 등과 같은 다양한 피부 타입이 설정되어 학습될 수 있다.
또한, 상기 제 1 학습 모델 및 제 2 학습 모델은 딥러닝(Deep Learning) 알고리즘으로 구성될 수 있으며, 상기 딥러닝 알고리즘은 하나 이상의 신경망 모델로 구성될 수 있다.
또한, 본 발명에서 설명하는 신경망 모델(또는 신경망)은 입력층(Input Layer), 하나 이상의 은닉층(Hidden Layers) 및 출력층(Output Layer)으로 구성될 수 있으며, 상기 신경망 모델에는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), CNN(Convolutional Neural Network) 등과 같은 다양한 종류의 신경망이 적용될 수 있다.
상술한 구성에 따라, 상기 제어부(160)는 상기 통신부(110)를 통해 상기 의뢰 정보 수신시 상기 용기 분석부(130)를 통해(상기 용기 분석부(130)와 연동하여) 상기 의뢰 정보에 대응되는 하나 이상의 화장품 식별 정보를 획득할 수 있다.
또한, 상기 제어부(160)는 상기 의뢰 정보에 대응되며 상기 용기 분석부(130)를 통해 얻어진 하나 이상의 화장품 식별 정보를 기초로 상기 저장부(120)를 검색하여 상기 하나 이상의 화장품 식별 정보와 각각 대응되는 하나 이상의 화장품 정보를 각각 사용자의 보유 화장품 정보로 획득할 수 있다.
또한, 상기 제어부(160)는, 상기 하나 이상의 보유 화장품 정보 각각으로부터 성분 정보를 하나 이상 추출한 후 상기 추출된 하나 이상의 성분 정보를 상기 피부 타입 분석부(140)와의 연동을 통해 상기 제 2 학습 모델에 적용하여 상기 사용자에 대해 예측되는 예상 피부 타입을 산출하고, 상기 예상 피부 타입을 사용자의 피부 타입으로 결정할 수 있다.
또한, 상기 제어부(160)는, 상기 예상 피부 타입에 대응되는 화장품 선택 기준에 대한 기준 정보를 상기 저장부(120)로부터 추출할 수 있다.
또한, 상기 제어부(160)는 상기 예상 피부 타입에 대응되는 상기 기준 정보를 기초로 상기 사용자가 보유한 하나 이상의 보유 화장품과 각각 대응되는 하나 이상의 상기 보유 화장품 정보 각각을 대상으로 상기 예상 피부 타입에 적합한지 여부와 기피가 필요한 기피 대상 성분 정보의 포함 여부를 판단한 판단 결과 정보를 생성할 수 있다.
이때, 상기 판단 결과 정보는 하나 이상의 보유 화장품 정보를 포함하면서, 상기 하나 이상의 보유 화장품 정보별로 상기 예상 피부 타입에 적합한지 여부 및 기피가 필요한 기피 대상 성분 정보의 포함 여부에 대해 판단한 판단 정보가 포함될 수 있다.
또한, 상기 제어부(160)는 상기 판단 결과 정보를 상기 사용자 단말에 상기 통신부(110)를 통해 전송할 수 있다.
상술한 구성에 따라, 상기 사용자 단말은 상기 서비스 제공 장치(100)로부터 수신한 상기 판단 결과 정보를 표시하여 사용자에게 사용자가 기피해야 하는 성분이 포함된 화장품, 사용자의 피부 타입에 적합하지 않은 화장품에 대한 정보를 제공할 수 있음다.
한편, 상기 제어부(160)는 상기 판단 결과 정보를 기초로 상기 하나 이상의 보유 화장품 정보 중 사용자에게 적합하면서 기피 대상 성분이 포함되지 않은 화장품 정보를 사용 대상 화장품 정보 또는 추천 화장품 정보로 설정할 수 있다.
또한, 상기 제어부(160)는 하나 이상의 상기 사용 대상 화장품 정보 각각에 포함된 용량과 사용법 및 다른 카테고리에 속한 화장품과의 조합 사용 방법 중 적어도 하나를 기초로 상기 하나 이상의 사용 대상 화장품 정보에 대한 사용 스케쥴 관련 스케쥴 정보를 생성하여 상기 사용자 단말에 전송할 수 있다.
예를 들어, 상기 제어부(160)는 상기 판단 결과 정보를 기초로 사용자에게 적합하면서 기피 대상 성분이 포함되지 않은 클렌저(cleanser), 아이 크림(eye cream), 모이스처라이저(moisturizer)가 각각 사용 대상 화장품으로 결정된 경우, 해당 사용 대상 화장품별 화장품 정보에 포함된 용량, 사용법 및 다른 카테고리에 속한 화장품과의 조합 사용 방법에 따라 일주일간 클렌저, 아이크림 및 모이스처라이저 각각의 사용량, 사용횟수, 사용 주기 및 사용 순서를 결정할 수 있으며, 이때 클렌저의 사용량, 사용 횟수, 사용 주기 및 사용 순서를 기준으로 클렌저의 화장품 정보에 포함된 아이 크림과의 조합 사용 방법에 따른 미리 설정된 비율로 아이크림의 사용량, 사용 횟수, 사용 주기 및 사용 순서를 결정하여 상기 스케쥴 정보를 생성할 수 있다.
이를 통해, 상기 제어부(160)는 사용자가 보유한 하나 이상의 사용 대상 화장품을 효율적으로 사용할 수 있는 스케쥴을 자동 작성하여 제공할 수 있을 뿐만 아니라, 사용자의 피부 관리에 적합한 사용 대상 화장품별 사용 방법을 제공할 수 있다.
한편, 상기 저장부(120)에는 복수의 화장품 정보 중 적어도 하나와 각각 매칭되는 하나 이상의 화장 도구 정보가 저장될 수 있으며, 상기 화장 도구 정보는 상기 저장부(120)의 화장품 DB(121)에 저장될 수 있다.
이에 따라, 상기 제어부(160)는 상기 사용 대상 화장품 정보를 기초로 상기 저장부(120)를 검색하여 상기 사용 대상 화장품 정보에 매칭되는 특정 화장 도구 정보가 존재하면, 상기 특정 화장 도구 정보를 상기 스케쥴 정보에서 상기 특정 화장 도구 정보와 매칭되는 화장품 정보와 매칭하여 상기 스케쥴 정보에 포함시킬 수 있다.
즉, 상기 제어부(160)는 사용자의 사용 대상 화장품의 사용에 적합한 화장 도구를 사용자에게 추천할 수 있다.
상술한 구성을 통해, 본 발명은 사용자가 보유한 화장품의 용기를 촬영하는 것만으로 사용자가 보유한 화장품을 식별할 수 있어 사용자의 보유 화장품 입력에 대한 편의성을 높일 수 있음과 아울러, 사용자가 보유한 화장품을 딥러닝 기반의 인공지능으로 분석하여 사용자의 피부 타입을 예측한 후 해당 예측된 피부 타입에 따라 사용자가 보유한 화장품 중에서 사용자의 피부 타입에 적합한 화장품을 자동 선별하여 제공할 수 있으므로, 피부 관리에 대한 사용자의 편의성 및 만족도를 높일 수 있을 뿐만 아니라 사용자의 피부 타입에 적합한 화장품 선택에 소요되는 시간과 비용을 절감시킬 수 있다.
한편, 본 발명은 특정 신체 부위에 피부 트러블이 발생하여 피부 트러블 해결을 목적으로 상품 추천을 요청하는 사용자인 이상 발생 사용자와, 피부 트러블이 발생하지 않아 피부 트러블 해결이 목적이 아닌 인기가 많거나 신상품과 같은 상품 추천을 목적으로 상품 추천을 요청하는 사용자인 정상 사용자를 구분하고, 정상 사용자의 특정 신체 부위에 대해 촬영한 피부 상태 관련 이미지와 정상 사용자의 보유 화장품을 매칭 학습하여 다양한 신체 부위별 및 다양한 피부 타입별로 다수의 정상 사용자 사이에 선호도가 높은 화장품이 학습된 학습 모델을 구축하며, 해당 학습 모델을 통해 상품 추천을 목적으로 하는 정상 사용자에게 인기 상품을 추천하면서, 피부 트러블 해결이 목적인 이상 발생 사용자에 대해서는 해당 이상 발생 사용자의 피부 상태와 유사한 피부 상태를 가지면서 피부 트러블이 발생하지 않은 정상 사용자들이 선호하는 화장품 목록을 상기 학습 모델을 통해 산출한 후 상기 이상 발생 사용자에게 추천하여 이상 발생 사용자의 피부 트러블을 해결할 수 있는 화장품을 추천하는 복수의 서로 다른 목적을 하나의 학습 모델을 통해 모두 충족시킬 수 있는 상품 추천 서비스를 제공할 수 있는데, 이를 상술한 구성을 토대로 도 4를 참고하여 상세히 설명한다.
상술한 구성을 위해, 상기 통신부(110)는 상기 사용자 단말로부터 상기 의뢰 정보를 수신할 수 있다.
이때, 상기 의뢰 정보는 피부 트러블이 발생한 특정 신체 부위의 피부 상태를 촬영한 제 1 이미지 또는 피부 트러블이 발생하지 않은 상기 특정 신체 부위의 피부 상태를 촬영한 제 2 이미지를 포함하면서 피부 트러블 발생 여부를 포함하는 피부 상태 정보와, 상기 특정 신체 부위에 사용 중인 하나 이상의 화장품별로 용기를 상기 사용자 단말의 카메라부를 통해 촬영하여 생성된 상기 화장품별 용기 이미지 및 상기 특정 신체 부위를 지칭하는 명칭에 대한 신체 부위 정보를 포함할 수 있다.
이때, 상기 특정 신체 부위의 일례로, 사용자의 얼굴 중 볼(뺨)이나 이마, 목, 팔, 다리 등과 같은 다양한 신체 부위 중 어느 하나를 포함할 수 있다.
또한, 본 발명에서 설명하는 피부 트러블(skin trouble)은 피부에 생기는 각종 이상 증세. 여드름, 종기 등을 포함할 수 있다.
상기 의뢰 정보의 생성에 대한 일례로, 상기 제어부(160)는 상기 통신부(110)를 통해 화장품 추천을 위한 의뢰 정보를 입력할 수 있는 사용자 인터페이스 관련 데이터를 상기 사용자 단말에 전송할 수 있다.
이에 따라, 상기 사용자 단말에 구성되어 상기 사용자 단말의 전반적인 제어 기능을 수행하는 단말 제어부는 상기 사용자 단말에 구성된 단말 통신부를 통해 상기 서비스 제공 장치(100)로부터 수신된 상기 사용자 인터페이스 관련 데이터를 기초로 상기 의뢰 정보의 생성을 위한 사용자 인터페이스를 상기 사용자 단말에 구성된 표시부를 통해 표시할 수 있다.
또한, 상기 단말 제어부는 상기 사용자 단말에 구성된 카메라부를 통해 화장품 추천이 필요한 상기 사용자의 특정 신체 부위를 촬영하여 생성된 특정 이미지를 상기 사용자 인터페이스에 입력하고, 상기 특정 신체 부위에 사용자가 사용 중인 하나 이상의 보유 화장품별로 상기 카메라부를 통해 화장품 용기를 촬영하여 생성된 화장품별 용기 이미지를 상기 사용자 인터페이스에 입력할 수 있다.
또한, 상기 단말 제어부는 상기 사용자 단말에 구성된 입력부를 통해 상기 사용자 인터페이스에 입력된 사용자 입력을 기초로 상기 특정 신체 부위에 피부 트러블이 발생했는지 여부에 대한 이상 발생 여부 정보를 상기 사용자 인터페이스에 입력할 수 있으며, 상기 이상 발생 여부 정보에 따라 상기 특정 신체 부위에 피부 트러블이 발생한 상태인 경우 상기 특정 신체 부위를 촬영하여 생성된 상기 특정 이미지를 제 1 이미지로 설정하고, 상기 특정 신체 부위에 피부 트러블이 발생하지 않은 상태인 경우 상기 특정 이미지를 제 2 이미지로 설정할 수 있다.
또한, 상기 단말 제어부는 상기 사용자 인터페이스를 통한 사용자 입력을 기초로 상기 특정 신체 부위를 지칭하는 신체 부위의 명칭에 대한 신체 부위 정보를 생성할 수 있다.
이에 따라, 상기 단말 제어부는, 상기 제 1 이미지 또는 제 2 이미지를 포함하면서 상기 이상 발생 여부 정보를 포함하는 피부 상태 정보와, 상기 하나 이상의 화장품별 용기 이미지를 포함하는 화장품 목록 정보와, 상기 신체 부위 정보 등을 포함하는 의뢰 정보를 생성할 수 있다.
이때, 상기 단말 제어부는 상기 의뢰 정보에 상기 사용자 단말의 사용자를 식별하기 위한 사용자 식별 정보 또는 단말 식별 정보를 포함시킬 수 있으며, 상기 사용자 식별 정보는 사용자의 회원 식별 정보일 수도 있다.
한편, 상기 서비스 제공 장치(100)는 피부 트러블이 발생하지 않은 피부에 대한 상기 제 2 이미지가 포함된 의뢰 정보만을 대상으로 의뢰 정보에 포함된 상기 제 2 이미지 및 상기 신체 부위 정보와 상기 용기 분석부(130)를 통해 상기 의뢰 정보에 대응되도록 얻어진 하나 이상의 화장품 식별 정보를 상호 매칭하여 미리 설정된 제 3 학습 모델에 학습시키는 학습부(150)를 더 포함할 수 있다.
이때, 상기 서비스 제공 장치(100)의 제어부(160) 또는 학습부(150)는 상기 의뢰 정보에 포함된 이상 발생 여부 정보를 기초로 상기 제 2 이미지가 포함된 의뢰 정보를 식별하여, 상기 학습부(150)의 제 3 학습 모델에 학습시킬 수 있다.
또한, 상기 제 3 학습 모델 역시 상기 제 1 및 제 2 학습 모델과 마찬가지로 딥러닝 알고리즘으로 구성될 수 있으며, 상기 학습부(150)에 상기 제 3 학습 모델이 포함될 수 있다.
이에 따라, 상기 제 3 학습 모델에는 상기 제 2 이미지 및 신체 부위 정보를 포함하는 피부 정보와 화장품 식별 정보 사이의 상관관계가 학습될 수 있다.
이때, 본 발명에서 설명하는 화장품 식별 정보는 화장품 고유 번호, 화장품 명칭 등과 같은 화장품 식별을 위한 다양한 정보를 포함할 수 있다.
또한, 상기 제어부(160)는 상기 사용자 단말로부터 통신부(110)를 통해 의뢰 정보 수신시 상기 의뢰 정보를 상기 저장부(120)에 저장할 수 있다.
이때, 상기 저장부(120)는 사용자의 회원 정보가 저장되는 회원 DB(122) 및 상기 의뢰 정보가 저장되는 학습 DB(123)를 더 포함할 수 있다.
이에 따라, 상기 제어부(160)는 상기 의뢰 정보 수신시 상기 의뢰 정보를 상기 학습 DB(123)에 저장할 수 있으며, 상기 학습부(150)는 상기 제어부(160)의 제어에 따라 상기 학습 DB(123)에 저장된 의뢰 정보 중 피부 트러블이 발생하지 않은 피부 상태가 설정된 이상 발생 여부 정보가 포함된 정상 사용자의 의뢰 정보만을 학습 대상으로 설정하고, 학습 대상인 의뢰 정보로부터 제 2 이미지와 신체 부위 정보를 추출하여 피부 정보를 생성하고, 상기 용기 분석부(130)와 연동하여 상기 학습 대상인 의뢰 정보에 대응되는 하나 이상의 화장품 식별 정보를 획득한 후 상기 피부 정보와 매칭하여 학습 데이터를 생성할 수 있으며, 상기 학습 데이터를 상기 제 3 학습 모델에 학습시킬 수 있다.
상술한 구성에서, 상기 제어부(160)는 상기 의뢰 정보를 상기 회원 DB(122)에서 상기 의뢰 정보를 전송한 사용자 단말에 대응되는 사용자의 회원 정보와 매칭하여 누적 저장할 수도 있다.
한편, 상기 학습부(150)(또는 제 3 학습 모델)의 학습이 완료되면, 상기 제어부(160)는 이상 발생 사용자 또는 정상 사용자의 상기 사용자 단말로부터 화장품 추천 요청을 위한 의뢰 정보 수신시 상기 학습부(150)와 연동하여 상기 의뢰 정보에 포함된 상기 제 1 이미지 및 제 2 이미지 중 어느 하나와 상기 신체 부위 정보를 상기 제 3 학습 모델에 적용할 수 있다.
즉, 상기 제어부(160)는 상기 의뢰 정보에 포함된 상기 제 1 이미지 및 제 2 이미지 중 어느 하나와 상기 신체 부위 정보를 입력 정보로 상기 제 3 학습 모델에 적용할 수 있다.
또한, 상기 제어부(160)는 상기 제 3 학습 모델을 통해 입력 정보에 포함되는 제 1 이미지 및 제 2 이미지 중 어느 하나와 신체 부위 정보에 따른 사용자의 피부 타입과 유사한 피부 타입에 대해 사용이 예측되는 하나 이상의 화장품별 화장품 식별 정보를 포함하는 출력 정보를 상기 입력 정보에 대응되도록 생성할 수 있다.
즉, 상기 제 3 학습 모델은 입력 정보로 입력되는 특정 신체 부위의 피부와 관련하여 촬영된 피부 트러블이 발생한 제 1 이미지 또는 피부 트러블이 발생하지 않은 제 2 이미지에 따른 피부의 피부 타입과 유사한 상기 특정 신체 부위의 피부에 대한 피부 타입을 가진 학습된 이미지들을 선별하고, 해당 학습된 이미지들과 상관도가 높은 하나 이상의 화장품 식별 정보를 출력 정보로 출력할 수 있다.
이때, 상기 제어부(160)는 상기 출력 정보에 포함된 하나 이상의 화장품 식별 정보를 기초로 상기 저장부(120)를 검색하여 상기 출력 정보에 포함된 하나 이상의 화장품 식별 정보와 각각 대응되는 하나 이상의 화장품 정보를 상기 저장부(120)로부터 추출하고, 상기 출력 정보를 기초로 상기 저장부(120)에서 추출된 하나 이상의 화장품 정보를 포함하는 분석 결과 정보를 생성할 수 있다.
또한, 상기 제어부(160)는 상기 출력 정보에 포함된 하나 이상의 화장품 식별 정보 각각에 대해 상기 제 3 학습 모델을 통해 산출된 상관 계수를 확인하여, 상기 상관계수가 미리 설정된 기준치 이상인 하나 이상의 화장품 식별 정보만을 선택하고, 상기 출력 정보에서 상관 계수를 기초로 선택된 하나 이상의 화장품 식별 정보와 각각 대응되는 하나 이상의 화장품 정보를 포함하는 분석 결과 정보를 생성할 수도 있다.
이때, 상기 제어부(160)는 상기 분석 결과 정보에 포함된 하나 이상의 화장품 정보 중 동일 카테고리에 속한 화장품 정보가 복수인 경우 상기 동일 카테고리에 속한 복수의 화장품 정보와 각각 대응되는 복수의 화장품 식별 정보별 상관 계수를 확인하여, 상기 분석 결과 정보에 포함된 동일 카테고리에 속한 복수의 화장품 정보 중 상관계수가 가장 높은 화장품 정보만을 상기 분석 결과 정보에 포함시키고 나머지 화장품 정보는 상기 분석 결과 정보에서 삭제할(제외시킬) 수 있다.
상술한 바와 같이, 상기 제어부(160)는 피부 트러블이 있는 이상 발생 사용자의 사용자 단말로부터 수신된 상기 의뢰 정보에 포함되는 피부 트러블이 발생한 이상 발생 사용자의 피부 상태에 대한 제 1 이미지 및 해당 피부 상태가 나타난 특정 신체 부위에 대한 신체 부위 정보를 상기 제 3 학습 모델에 적용하면, 상기 제 3 학습 모델을 통해 상기 특정 신체 부위에서 피부 트러블이 발생한 이상 발생 사용자의 피부 타입과 유사하며 상기 특정 신체 부위에 피부 트러블이 없는 피부 상태를 가진 타 사용자들에 대해 학습된 타 사용자들이 선호하는 하나 이상의 화장품별 화장품 정보를 포함하는 분석 결과 정보를 산출할 수 있다.
또한, 상기 제어부(160)는 피부 트러블이 없는 정상 사용자의 사용자 단말로부터 수신된 상기 의뢰 정보에 포함되는 정상 사용자의 특정 신체 부위에 대한 피부 상태 관련 제 2 이미지 및 해당 특정 신체 부위에 대한 신체 부위 정보를 상기 제 3 학습 모델에 적용하면, 상기 특정 신체 부위에서 상기 정상 사용자의 피부 타입과 유사하며 피부 트러블이 없는 피부 상태를 가진 타 사용자들이 선호하는 하나 이상의 화장품별 화장품 정보를 포함하는 분석 결과 정보를 산출할 수 있다.
다시 말해, 상기 제어부(160)는 상기 제 3 학습 모델을 통해 피부 트러블이 발생한 이상 발생 사용자에 대해서는 이상 발생 사용자의 피부 타입과 유사한 피부 타입을 가지지만 피부 트러블이 발생하지 않은 정상 사용자들이 선호하는 화장품에 대한 목록을 분석 결과 정보로 산출할 수 있고, 피부 트러블이 없는 정상 사용자에 대해서는 정상 사용자의 피부 타입과 유사한 피부 타입을 가진 다른 정상 사용자들이 선호하는 화장품을 정상 사용자에게 추천하기 위한 목록을 분석 결과 정보로 산출할 수 있다.
한편, 상기 제어부(160)는 상기 분석 결과 정보가 산출되면, 상기 분석 결과 정보를 기초로 화장품 추천 정보를 생성한 후 상기 통신부(110)를 통해 상기 사용자 단말에 전송할 수 있다. 이때, 상기 제어부(160)는 상기 분석 결과 정보에 포함된 하나 이상의 화장품 정보 각각을 추천 화장품 정보로 설정하여 상기 하나 이상의 추천 화장품 정보를 포함하는 화장품 추천 정보를 생성할 수 있다.
이때, 상기 제어부(160)는 상기 분석 결과 정보를 화장품 추천 정보로 상기 통신부(110)를 통해 상기 사용자 단말에 전송할 수 있다.
또한, 상기 제어부(160)는 상기 의뢰 정보를 기초로 상기 용기 분석부(130)와 연동하여 하나 이상의 보유 화장품 정보를 포함하는 사용자의 보유 화장품에 대한 보유 목록 정보를 생성한 후 상기 분석 결과 정보와 상호 비교할 수 있으며, 상기 보유 목록 정보에 포함되지만 상기 분석 결과 정보에 포함되지 않는 하나 이상의 화장품 정보를 각각 사용 중지 대상 화장품으로 선택하고, 하나 이상의 상기 사용 중지 대상 화장품별 화장품 정보를 포함하는 사용 중지 권고 정보를 생성하여 상기 사용자 단말에 전송하거나 상기 사용자 단말에 전송되는 화장품 추천 정보에 상기 사용 중지 권고 정보를 포함시켜 전송할 수 있다.
한편, 상기 제어부(160)는 상기 제 2 이미지가 포함된 의뢰 정보로부터 추출한 상기 제 2 이미지에 대응되는 하나 이상의 신규 화장품별 화장품 식별 정보에 대한 화장품 조합 정보를 외부 장치로부터 상기 통신부(110)를 통해 수신할 수 있으며, 상기 제 2 이미지와 신체 부위 정보 및 상기 화장품 조합 정보를 상기 제 3 학습 모델에 학습시킬 수 있다.
즉, 상기 제어부(160)는 화장품을 판매하는 관리자의 외부 장치에 학습 대상인 의뢰 정보로부터 추출한 정상 사용자의 피부 상태에 대한 제 2 이미지를 전송할 수 있으며, 해당 관리자의 외부 장치로부터 상기 제 2 이미지에 따른 피부 상태에 사용하기 적합한 신상품인 하나 이상의 신규 화장품별 화장품 식별 정보를 포함하는 화장품 조합 정보를 수신하고, 해당 화장품 조합 정보를 상기 제 2 이미지 및 신체 부위 정보와 매칭하여 상기 제 3 학습 모델에 학습시킴으로써, 제 3 학습 모델에 신규 화장품이 반영되도록 할 수 있다.
한편, 상기 서비스 제공 장치(100)는 화장품 추천 정보를 사용자 단말에 전송하여 사용자 단말로부터 화장품 추천 정보에서 사용자에 의해 사용된 화장품에 대한 피드백(feedback) 정보를 수신할 수 있으며, 상기 피드백 정보를 상기 사용자의 화장품 추천 의뢰(요청)시 의뢰 정보에 포함시켜 전송한 이미지와 함께 상기 제 3 학습 모델에 학습시켜 피부 트러블이 발생한 피부 상태에 효과가 좋은 화장품이 제 3 학습 모델에 학습되도록 하면서 다수의 사용자들이 선호하는 화장품을 제 3 학습 모델에 지속적으로 갱신시킬 수 있는데, 이를 상세히 설명한다.
우선, 상기 제어부(160)는 상기 화장품 추천 정보를 수신한 상기 사용자 단말로부터 상기 추천 정보에 포함된 추천 화장품 중 상기 사용자에 의해 사용된 하나 이상의 사용 화장품별 화장품 식별 정보를 포함하는 피드백 정보를 수신할 수 있다.
이때, 피드백 정보는 사용자 식별 정보(또는 단말 식별 정보), 피드백 정보에 대응되는 의뢰 정보의 식별을 위한 부가 정보 등을 포함할 수 있다.
또한, 상기 제어부(160)는 상기 피드백 정보에 대응되는 의뢰 정보를 상기 회원 DB(122)에서 확인할 수 있으며, 상기 피드백 정보에 대응되는 의뢰 정보로부터 상기 제 1 이미지 또는 제 2 이미지와 신체 부위 정보를 추출한 후 상기 피드백 정보에 포함된 하나 이상의 사용 화장품별 화장품 식별 정보와 매칭하여 학습 데이터를 생성할 수 있으며, 상기 피드백 정보에 대응되도록 생성된 학습 데이터를 학습부(150)와의 연동을 통해 상기 제 3 학습 모델에 학습시킬 수 있다.
이때, 상기 제어부(160)는 상기 피드백 정보에 따른 추천 점수를 확인하여 추천 점수가 미리 설정된 기준치 이상인 경우에만 상기 피드백 정보를 기초로 학습 데이터를 생성하여 상기 제 3 학습 모델에 학습시킬 수 있다.
이를 통해, 상기 제어부(160)는 피부 트러블이 발생한 사용자의 제 1 이미지도 제 3 학습 모델에 학습시키되 피부 트러블이 발생한 피부에 대한 제 1 이미지에 대해서는 피부 트러블에 효과가 좋은 화장품이 존재할 때에만 해당 화장품 식별 정보를 제 1 이미지와 매칭하여 학습시킴으로써, 추후 피부 트러블이 발생한 타 사용자에 대한 화장품 추천시 피부 트러블이 발생한 타 사용자의 피부 상태 및 피부 타입과 유사하며 피부를 가지면서 피부 트러블이 발생한 이상 발생 사용자들을 정확하게 파악하여 해당 이상 발생 사용자들이 추천하는 화장품을 타 사용자에게 추천함으로써 타 사용자의 피부 트러블 해결 기능을 가지도록 제 3 학습 모델을 발전시킬 수 있다.
한편, 상술한 구성에서, 상기 제어부(160)는 상기 의뢰 정보에 대응되는 하나 이상의 보유 화장품 정보를 상기 사용자 단말에 대응되는 사용자의 회원 정보와 매칭하여 상기 저장부(120)의 회원 DB(122)에 누적 저장할 수 있다.
이에 따라, 상기 제어부(160)는 상기 누적 저장된 보유 화장품 정보를 기초로 사용자에 대한 선호 정보를 생성하며, 상기 화장품 추천 정보 생성시 상기 선호 정보를 반영하여 상기 화장품 추천 정보에 포함될 하나 이상의 추천 화장품을 선택할 수 있다.
이때, 상기 선호 정보는 화장품 카테고리별로 사용자가 선호하는 브랜드, 가격대 및 성분 중 적어도 하나를 포함할 수 있다.
상술한 바와 같이, 본 발명은 피부 관리를 위한 추천 화장품을 요청하는 사용자들을 피부 트러블이 발생한 이상 발생 사용자와 피부 트러블이 없는 정상 사용자로 구분하여 최초에는 정상 사용자의 피부 상태에 대한 이미지와 보유 화장품으로 학습 모델을 학습시킨 후 해당 학습 모델을 통해 이상 발생 사용자와 유사한 피부 타입을 가진 정상 사용자들 사이에 선호되는 화장품을 이상 발생 사용자에게 추천하여 이상 발생 사용자가 자신과 피부 타입이 유사한 정상 사용자들의 선호 화장품을 사용하도록 유도함으로써 이상 발생 사용자의 피부 트러블이 개선되도록 지원할 수 있으며, 추후 추천된 화장품이 피부 트러블 개선에 효과가 있는 경우 이상 발생 사용자로부터 피드백 정보를 수신하여 이상 발생 사용자가 최초 전송한 피부 트러블이 발생한 이미지와 피드백 정보에 따른 피부 트러블 개선에 사용된 추천 화장품을 학습 모델에 학습시킴으로써 피부 트러블이 발생하여 화장품 추천을 요청하는 신규 사용자에 대해 학습 모델을 기초로 신규 사용자와 유사한 피부 트러블을 겪었던 경험자들을 더욱 정확하게 선별하여 해당 경험자들이 추천하는 화장품을 신규 사용자에게 추천할 수 있어, 피부 트러블을 개선시킬 수 있는 화장품 추천에 대한 정확도 및 신뢰도를 증가시킬 수 있다.
또한, 본 발명은 피부 트러블이 없는 정상 사용자의 화장품 추천 요청에 대해 학습 모델을 통해 정상 사용자와 유사한 피부 타입을 가진 다른 정상 사용자들 사이에 가장 선호되는 화장품을 추천함으로써, 피부 트러블이 없는 사용자에 대해서도 사용자의 피부 개선에 다수의 사용자 의견이 반영된 화장품 추천이 이루어지도록 지원함으로써 피부 트러블이 있는 사용자와 피부 트러블이 없는 사용자 모두를 만족시킬 수 있는 화장품 추천 기능을 제공할 수 있다.
도 5는 본 발명의 실시예에 따른 서비스 제공 장치(100)의 이미지 분석 기반 피부 관리를 위한 서비스 제공 방법에 대한 순서도이다.
우선, 서비스 제공 장치(100)는 사용자 단말로부터 사용 중인 하나 이상의 화장품별로 용기를 촬영한 상기 화장품별 용기 이미지를 포함하는 의뢰 정보를 수신할 수 있다(S1).
또한, 상기 서비스 제공 장치(100)는 상기 화장품의 용기 이미지와 상기 화장품에 대응되는 화장품 식별 정보 사이의 상관 관계가 학습되어 미리 설정된 제 1 학습 모델에 상기 의뢰 정보에 포함된 상기 화장품별 용기 이미지를 적용하여 상기 의뢰 정보에 대응되는 하나 이상의 화장품 식별 정보를 획득할 수 있다(S2).
또한, 상기 서비스 제공 장치(100)는 상기 하나 이상의 화장품 식별 정보를 기초로 복수의 서로 다른 화장품 각각에 대한 화장품 정보와 복수의 서로 다른 피부 타입별 화장품 선택 기준에 대한 기준 정보가 저장된 상기 서비스 제공 장치(100)의 저장부(120)를 검색하여 상기 하나 이상의 화장품 식별 정보와 각각 대응되는 하나 이상의 화장품 정보를 각각 사용자의 보유 화장품 정보로 획득할 수 있다(S3).
또한, 상기 서비스 제공 장치(100)는 상기 하나 이상의 보유 화장품 정보 각각으로부터 성분 정보를 추출한 후 화장품을 구성하는 성분과 피부 타입 사이의 상관 관계가 학습된 제 2 학습 모델에 상기 추출된 하나 이상의 성분 정보를 적용하여 상기 사용자에 대해 예측되는 예상 피부 타입을 결정할 수 있다(S4).
또한, 상기 서비스 제공 장치(100)는 상기 예상 피부 타입에 대응되는 상기 기준 정보를 기초로 상기 하나 이상의 보유 화장품 정보별로 상기 예상 피부 타입에 적합한지 여부와 기피가 필요한 기피 대상 성분 정보의 포함 여부를 판단한 판단 결과 정보를 생성하여 상기 사용자 단말에 제공할 수 있다(S5).
본 발명의 실시예들에서 설명된 구성요소는, 예를 들어, 메모리 등의 저장부(120), 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서 등의 하드웨어, 명령어 세트를 포함하는 소프트웨어 내지 이들의 조합 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 서비스 제공 장치
110: 통신부
120: 저장부 130: 용기 분석부
140: 피부 타입 분석부 150: 학습부
160: 제어부
120: 저장부 130: 용기 분석부
140: 피부 타입 분석부 150: 학습부
160: 제어부
Claims (11)
- 사용자 단말로부터 사용 중인 하나 이상의 화장품별로 용기를 촬영한 상기 화장품별 용기 이미지를 포함하는 의뢰 정보를 수신하는 통신부;
복수의 서로 다른 화장품 각각에 대한 화장품 정보와 복수의 서로 다른 피부 타입별 화장품 선택 기준에 대한 기준 정보가 저장된 저장부;
상기 화장품의 용기 이미지와 상기 화장품에 대응되는 화장품 식별 정보 사이의 상관 관계가 학습되어 미리 설정된 제 1 학습 모델에 상기 의뢰 정보에 포함된 상기 화장품별 용기 이미지를 적용하여 상기 의뢰 정보에 대응되는 하나 이상의 화장품 식별 정보를 획득하는 용기 분석부;
화장품을 구성하는 성분과 피부 타입 사이의 상관 관계가 학습된 제 2 학습 모델을 포함하는 피부 타입 분석부; 및
상기 통신부를 통해 상기 의뢰 정보 수신시 상기 용기 분석부를 통해 상기 의뢰 정보에 대응되는 하나 이상의 화장품 식별 정보를 획득하고, 상기 획득된 하나 이상의 화장품 식별 정보를 기초로 상기 저장부를 검색하여 상기 획득된 하나 이상의 화장품 식별 정보와 각각 대응되는 하나 이상의 화장품 정보를 각각 사용자의 보유 화장품 정보로 획득하며, 상기 하나 이상의 보유 화장품 정보 각각으로부터 성분 정보를 추출한 후 상기 추출된 하나 이상의 성분 정보를 상기 피부 타입 분석부와의 연동을 통해 상기 제 2 학습 모델에 적용하여 상기 사용자에 대해 예측되는 예상 피부 타입을 결정하고, 상기 예상 피부 타입에 대응되는 상기 기준 정보를 기초로 상기 하나 이상의 보유 화장품 정보별로 상기 예상 피부 타입에 적합한지 여부와 기피가 필요한 기피 대상 성분 정보의 포함 여부를 판단한 판단 결과 정보를 상기 사용자 단말에 제공하는 제어부
를 포함하는 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치.
- 청구항 1에 있어서,
상기 제어부는 상기 판단 결과 정보를 기초로 상기 하나 이상의 보유 화장품 정보 중 사용자에게 적합하면서 기피 대상 성분이 포함되지 않은 화장품 정보를 사용 대상 화장품 정보로 설정하고, 하나 이상의 상기 사용 대상 화장품 정보 각각에 포함된 용량과 사용법 및 다른 카테고리에 속한 화장품과의 조합 사용 방법 중 적어도 하나를 기초로 상기 하나 이상의 사용 대상 화장품 정보에 대한 사용 스케쥴 관련 스케쥴 정보를 생성하여 상기 사용자 단말에 전송하는 것을 특징으로 하는 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치.
- 청구항 1에 있어서,
상기 저장부는 복수의 화장품 정보 중 적어도 하나와 각각 매칭되는 하나 이상의 화장 도구 정보가 저장되고,
상기 제어부는 상기 사용 대상 화장품 정보를 기초로 상기 저장부를 검색하여 상기 사용 대상 화장품 정보에 매칭되는 특정 화장 도구 정보가 존재하면, 상기 특정 화장 도구 정보를 상기 스케쥴 정보에서 상기 특정 화장 도구 정보와 매칭되는 화장품 정보와 매칭하여 상기 스케쥴 정보에 포함시키는 것을 특징으로 하는 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치.
- 청구항 1에 있어서,
상기 의뢰 정보는 피부 트러블이 발생한 특정 신체 부위의 피부 상태를 촬영한 제 1 이미지 또는 피부 트러블이 발생하지 않은 상기 특정 신체 부위의 피부 상태를 촬영한 제 2 이미지를 포함하면서 피부 트러블 발생 여부를 포함하는 피부 상태 정보와 상기 특정 신체 부위에 사용 중인 하나 이상의 화장품별로 용기를 촬영한 상기 화장품별 용기 이미지 및 상기 특정 신체 부위를 지칭하는 명칭에 대한 신체 부위 정보를 포함하고,
상기 제 2 이미지가 포함된 의뢰 정보만을 대상으로 상기 제 2 이미지 및 상기 신체 부위 정보와 상기 용기 분석부를 통해 얻어진 하나 이상의 화장품 식별 정보를 상호 매칭하여 미리 설정된 제 3 학습 모델에 학습시키는 학습부를 더 포함하며,
상기 제어부는 상기 의뢰 정보 수신시 상기 학습부와 연동하여 상기 의뢰 정보에 포함된 상기 제 1 이미지 및 제 2 이미지 중 어느 하나와 상기 신체 부위 정보를 상기 제 3 학습 모델에 적용하여 상기 제 3 학습 모델을 통해 사용자의 피부 타입과 유사한 피부 타입에 대해 사용이 예측되는 하나 이상의 화장품별 화장품 식별 정보를 포함하는 출력 정보를 산출하고, 상기 출력 정보에 포함된 하나 이상의 화장품 식별 정보를 기초로 상기 저장부를 검색하여 상기 출력 정보에 대응되는 하나 이상의 화장품 정보를 포함하는 화장품 추천 정보를 생성한 후 상기 사용자 단말에 전송하는 것을 특징으로 하는 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치.
- 청구항 4에 있어서,
상기 제어부는 상기 제 2 이미지가 포함된 의뢰 정보로부터 추출한 상기 제 2 이미지에 대응되는 하나 이상의 신규 화장품에 대한 화장품 조합 정보를 상기 통신부를 통해 수신하고, 상기 제 2 이미지에 대응되는 의뢰 정보로부터 추출한 신체 부위 정보와 상기 제 2 이미지 및 상기 화장품 조합 정보를 상호 매칭하여 상기 제 3 학습 모델에 학습시키는 것을 특징으로 하는 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치.
- 청구항 4에 있어서,
상기 제어부는 상기 화장품 추천 정보를 수신한 상기 사용자 단말로부터 상기 화장품 추천 정보에 포함된 추천 화장품 중 상기 사용자에 의해 사용된 하나 이상의 사용 화장품별 화장품 식별 정보를 포함하는 피드백 정보를 수신하면, 상기 피드백 정보에 대응되는 의뢰 정보로부터 상기 제 1 이미지 또는 제 2 이미지와 신체 부위 정보를 추출한 후 상기 피드백 정보에 포함된 사용 화장품별 화장품 식별 정보와 매칭하여 학습 데이터를 생성하고, 상기 학습부와 연동하여 상기 피드백 정보에 대응되는 상기 학습 데이터를 상기 제 3 학습 모델에 학습시키는 것을 특징으로 하는 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치.
- 청구항 6에 있어서,
상기 제어부는 상기 피드백 정보에 따른 추천 점수를 확인하여 추천 점수가 미리 설정된 기준치 이상인 경우에만 상기 피드백 정보를 기초로 상기 학습 데이터를 생성하여 상기 제 3 학습 모델에 학습시키는 것을 특징으로 하는 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치.
- 청구항 4에 있어서,
상기 제어부는 상기 의뢰 정보에 대응되는 하나 이상의 보유 화장품 정보를 상기 사용자 단말에 대응되는 사용자의 회원 정보와 매칭하여 상기 저장부에 누적 저장하고, 상기 누적 저장된 보유 화장품 정보를 기초로 상기 사용자에 대한 선호 정보를 생성하며, 상기 화장품 추천 정보 생성시 상기 선호 정보를 반영하여 상기 화장품 추천 정보에 포함될 하나 이상의 추천 화장품을 선택하는 것을 특징으로 하는 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치.
- 청구항 8에 있어서,
상기 선호 정보는 화장품 카테고리별로 사용자가 선호하는 브랜드, 가격대 및 성분 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치.
- 청구항 1에 있어서,
상기 용기 이미지는 화장품 용기의 라벨, 화장품 용기의 모양, 화장품 용기의 크기, 화장품 용기의 색상 및 화장품 용기의 바코드 중 적어도 하나에 대한 이미지 데이터를 포함하는 것을 특징으로 하는 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치.
- 서비스 제공 장치가 사용자 단말로부터 사용 중인 하나 이상의 화장품별로 용기를 촬영한 상기 화장품별 용기 이미지를 포함하는 의뢰 정보를 수신하는 단계;
상기 서비스 제공 장치가 상기 화장품의 용기 이미지와 상기 화장품에 대응되는 화장품 식별 정보 사이의 상관 관계가 학습되어 미리 설정된 제 1 학습 모델에 상기 의뢰 정보에 포함된 상기 화장품별 용기 이미지를 적용하여 상기 의뢰 정보에 대응되는 하나 이상의 화장품 식별 정보를 획득하는 단계;
상기 서비스 제공 장치가 상기 하나 이상의 화장품 식별 정보를 기초로 복수의 서로 다른 화장품 각각에 대한 화장품 정보와 복수의 서로 다른 피부 타입별 화장품 선택 기준에 대한 기준 정보가 저장된 상기 서비스 제공 장치의 저장부를 검색하여 상기 하나 이상의 화장품 식별 정보와 각각 대응되는 하나 이상의 화장품 정보를 각각 사용자의 보유 화장품 정보로 획득하는 단계;
상기 서비스 제공 장치가 상기 하나 이상의 보유 화장품 정보 각각으로부터 성분 정보를 추출한 후 화장품을 구성하는 성분과 피부 타입 사이의 상관 관계가 학습되어 미리 설정된 제 2 학습 모델에 상기 추출된 하나 이상의 성분 정보를 적용하여 상기 사용자에 대해 예측되는 예상 피부 타입을 결정하는 단계; 및
상기 서비스 제공 장치가 상기 예상 피부 타입에 대응되는 상기 기준 정보를 기초로 상기 하나 이상의 보유 화장품 정보별로 상기 예상 피부 타입에 적합한지 여부와 기피가 필요한 기피 대상 성분 정보의 포함 여부를 판단한 판단 결과 정보를 생성하여 상기 사용자 단말에 제공하는 단계;
를 포함하는 이미지 분석 기반 피부 관리를 위한 서비스 제공 방법.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210081325A KR20220170466A (ko) | 2021-06-23 | 2021-06-23 | 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치 및 방법 |
| US17/752,691 US20220415015A1 (en) | 2021-06-23 | 2022-05-24 | Service providing apparatus and method for skin care based on image analysis |
| CN202210644806.9A CN115510314A (zh) | 2021-06-23 | 2022-06-08 | 基于图像分析的皮肤管理服务提供装置以及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210081325A KR20220170466A (ko) | 2021-06-23 | 2021-06-23 | 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220170466A true KR20220170466A (ko) | 2022-12-30 |
Family
ID=84500719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210081325A KR20220170466A (ko) | 2021-06-23 | 2021-06-23 | 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치 및 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220415015A1 (ko) |
| KR (1) | KR20220170466A (ko) |
| CN (1) | CN115510314A (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200117251A (ko) | 2019-04-03 | 2020-10-14 | 강형진 | 피부 타입에 맞는 화장품을 추천하는 장치 및 방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11113511B2 (en) * | 2017-02-01 | 2021-09-07 | Lg Household & Health Care Ltd. | Makeup evaluation system and operating method thereof |
| US11461946B2 (en) * | 2020-12-30 | 2022-10-04 | L'oreal | Digital makeup artist |
-
2021
- 2021-06-23 KR KR1020210081325A patent/KR20220170466A/ko not_active Application Discontinuation
-
2022
- 2022-05-24 US US17/752,691 patent/US20220415015A1/en active Pending
- 2022-06-08 CN CN202210644806.9A patent/CN115510314A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200117251A (ko) | 2019-04-03 | 2020-10-14 | 강형진 | 피부 타입에 맞는 화장품을 추천하는 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115510314A (zh) | 2022-12-23 |
| US20220415015A1 (en) | 2022-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220344044A1 (en) | User-customized skin diagnosis system and method | |
| US20180260871A1 (en) | System and Method for Adjusting Custom Topical Agents | |
| US12039732B2 (en) | Digital imaging and learning systems and methods for analyzing pixel data of a scalp region of a users scalp to generate one or more user-specific scalp classifications | |
| US11734823B2 (en) | Digital imaging systems and methods of analyzing pixel data of an image of a user's body for determining a user-specific skin irritation value of the user's skin after removing hair | |
| US11455747B2 (en) | Digital imaging systems and methods of analyzing pixel data of an image of a user's body for determining a user-specific skin redness value of the user's skin after removing hair | |
| KR20140098551A (ko) | 스마트 화장대 및 스마트 화장대를 이용한 스마트 화장 방법 | |
| KR102572069B1 (ko) | 피부진단 및 추천 기능을 갖는 화장품 무인 자동판매시스템 및 이를 이용한 화장품 무인 자동판매방법 | |
| KR101807233B1 (ko) | 피부 분석기를 이용한 피부 분석 서비스 시스템 및 방법 | |
| CN118215431A (zh) | 基于肤色和皮肤状态扫描的匹配化妆品和皮肤护理产品 | |
| US11861672B2 (en) | Method, system, and non-transitory computer-readable medium for a digital personal care platform | |
| EP4248424A1 (en) | Digital imaging and learning systems and methods for analyzing pixel data of an image of a hair region of a user's head to generate one or more user-specific recommendations | |
| KR20210123872A (ko) | 영상 분석 기반 패션 정보 제공을 위한 서비스 제공 장치 및 방법 | |
| US11896385B2 (en) | Digital imaging systems and methods of analyzing pixel data of an image of a shaving stroke for determining pressure being applied to a user's skin | |
| KR102531457B1 (ko) | 빅데이터를 이용한 개인별 맞춤형 화장품 추천 서비스를 제공하기 위한 방법 및 시스템 | |
| KR20220170466A (ko) | 이미지 분석 기반 피부 관리를 위한 서비스 제공 장치 및 방법 | |
| KR102402684B1 (ko) | 비대면 환경에서 빅데이터 기반의 자가 피부 수분 상태 정보 제공 방법 | |
| US20210201492A1 (en) | Image-based skin diagnostics | |
| US20230187055A1 (en) | Skin analysis system and method implementations | |
| US20230196550A1 (en) | Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining body contour | |
| KR102621581B1 (ko) | 빅데이터 기반의 사용자 맞춤형 타블렛기초화장품제 처방 장치 및 방법 | |
| US20230196551A1 (en) | Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin roughness | |
| US20230196552A1 (en) | Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin oiliness | |
| WO2023114752A1 (en) | Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining dark eye circles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |