KR20210042966A - 각질 표면의 특성을 결정하기 위한 방법과 시스템 및 상기 각질 표면을 처리하기 위한 방법과 시스템 - Google Patents
각질 표면의 특성을 결정하기 위한 방법과 시스템 및 상기 각질 표면을 처리하기 위한 방법과 시스템 Download PDFInfo
- Publication number
- KR20210042966A KR20210042966A KR1020217007390A KR20217007390A KR20210042966A KR 20210042966 A KR20210042966 A KR 20210042966A KR 1020217007390 A KR1020217007390 A KR 1020217007390A KR 20217007390 A KR20217007390 A KR 20217007390A KR 20210042966 A KR20210042966 A KR 20210042966A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- hair
- user
- machine learning
- keratin surface
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 100
- 102000011782 Keratins Human genes 0.000 title claims abstract description 23
- 108010076876 Keratins Proteins 0.000 title claims abstract description 23
- 238000010801 machine learning Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 14
- 239000000126 substance Substances 0.000 claims abstract description 9
- 210000004209 hair Anatomy 0.000 claims description 160
- 210000004761 scalp Anatomy 0.000 claims description 36
- 239000002537 cosmetic Substances 0.000 claims description 21
- 239000000203 mixture Substances 0.000 claims description 19
- 210000003491 skin Anatomy 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 7
- 230000003803 hair density Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 210000000434 stratum corneum Anatomy 0.000 claims description 4
- 208000001840 Dandruff Diseases 0.000 claims description 3
- 230000003695 hair diameter Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- XVOYSCVBGLVSOL-REOHCLBHSA-N L-cysteic acid Chemical compound OC(=O)[C@@H](N)CS(O)(=O)=O XVOYSCVBGLVSOL-REOHCLBHSA-N 0.000 claims description 2
- 210000001061 forehead Anatomy 0.000 claims description 2
- 230000003595 spectral effect Effects 0.000 claims description 2
- 238000001429 visible spectrum Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 19
- 230000037308 hair color Effects 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 8
- 238000004043 dyeing Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 230000003796 beauty Effects 0.000 description 6
- 239000000835 fiber Substances 0.000 description 5
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000013145 classification model Methods 0.000 description 4
- 239000000118 hair dye Substances 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 239000000975 dye Substances 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004061 bleaching Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000003694 hair properties Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000006071 cream Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000004519 grease Substances 0.000 description 1
- 230000003779 hair growth Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000007800 oxidant agent Substances 0.000 description 1
- 230000001590 oxidative effect Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008470 skin growth Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/448—Hair evaluation, e.g. for hair disorder diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Dermatology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
본 출원은 사용자의 각질 표면의 적어도 하나의 물리적 및/또는 화학적 특성을 결정하기 위한 방법 및 시스템에 관한 것이고, 방법은, - 각질 표면의 적어도 하나의 이미지에 대응하는 데이터를 수신하는 단계, - 적어도 하나의 기계 학습 모델을 이미지에 적용함으로써 상기 이미지를 처리하는 단계, - 결정될 각질 표면의 특성의 등급에 대응하는 적어도 하나의 수치값을 반환하는 단계를 포함한다.
Description
본 발명은 각질 표면의 적어도 하나의 특성을 결정하기 위한 방법과 시스템 및 상기 각질 표면을 처리하기 위한 방법과 시스템에 관한 것이다.
본 방법은 인간 모발의 평가 및 처리, 더 구체적으로, 예를 들어, 문서 제WO2004002300A2호 및 제US9316580B2호에 개시된 바와 같은 모발을 탈색하거나 또는 염색하기 위한 방법과 시스템에 관한 것이다.
건강 및 미용 산업은 기술의 발전을 활용하여 제품과 서비스를 통해 소비자의 경험을 개선한다. 사용자의 요구에 맞춰 특정한 특성에 맞는 제품을 제공하는 경향이 짙다. 이러한 경향은 일반적으로 "개인 맞춤화(personalization)"라고 불린다.
"개인 맞춤화"는 임의의 신체 부위와 관련될 수 있지만 얼굴(화장품 또는 케어 제품, 특히 파운데이션)과 두피/모발(예를 들어, 케어 또는 염색 제품)과 같은 노출된 신체 부위에 특히 관심이 있다.
사용자 피부의 적어도 하나의 특성에 기초하여 파운데이션 메이크업 제품을 제공하고 추천하는 것이 알려져 있다(예컨대, (등록상표)의 "Le Teint Particulier"(등록상표)). 모발의 일부 특성에 기초하여 모발 제품을 제공하고 추천하는 것이 또한 알려져 있다.
"개인 맞춤화"는 사용자의 전용 범주에 각각 대응하는 다소 광범위한 제품을 제공하는 것 이상이고, 종종 개인 특성에 따라 가장 적절한 제품을 관련 사용자에게 추천할 수 있는 것이 과제이다.
일반적으로, "개인 맞춤화"는 상기 사용자에게 특정한 데이터를 획득하는 것을 목표로 하는 제1 진단 단계를 포함하고, 그 다음 데이터는 사용자 관련 신체 부위에 적용될 적절한 후속 처리 및/또는 제품(들)을 결정하는 데 사용된다.
최근까지, 일부 또는 모든 단계는 미용사 또는 미용 고문과 같은 전문가에 의해 손으로 또는 시각적으로 수행되도록 종종 사용되었다. 예를 들어, 사용자에게 특정 질문지를 제공하고, 질문지의 응답이 가장 적합한 제품을 결정하는 데 사용되는 것이 알려져 있다(예를 들어, 제US-A1-2014/0216492호). 물론, 이러한 방법은 매우 가변적이고 주관적이며 일반적으로 제품 추천의 관련성과 신뢰성 둘 다를 개선할 필요가 있다.
제품 추천의 관련성 및 신뢰성을 개선하기 위해, 일부 또는 모든 단계가 도구와 디바이스를 사용하여 수행될 수 있고 심지어 자동화될 수도 있다.
예를 들어, 사용자의 관련 신체 부위로부터 데이터를 획득하는 것은 적절한 처리 또는 제품을 결정하기 위해 살펴보는 하나 이상의 특정 특징을 획득하기 위해 적절한 측정 디바이스("판독기"로 불림)를 사용한 측정을 통해 행해질 수 있다. 이러한 디바이스의 예는 X-RITE에서 판매하는 CAPSURE 판독기가 있고, 사용자 피부의 색상 데이터 코드를 반환할 수 있다.
수집된 데이터는 다양한 규칙의 세트에 따라 가장 적합한 제품을 결정하는 데 도움이 되는 컴퓨팅 장치에 (가능하게는 다른 부가적인 데이터와 함께) 공급될 수 있다.
수집된 데이터에 따라 결정되는 후속 처리 또는 제품은 카탈로그로부터 또는 데이터베이스에서(예컨대, 매칭되는 파운데이션 제품을 찾기 위한 방법을 개시하는 문서 제US5478238호 또는 제US9519927호에서) 선택되는 기성 제품 또는 개인 맞춤 제품일 수 있고, 제품의 조성은 이전에 획득된 데이터에 기초하여 결정되었다.
이어서 사용자는 추천되는 제품을 구입할 수 있거나 주문할 수 있다. 개인 맞춤 제품(또는 맞춤-제작 제품)의 경우에, 상기 개인 맞춤 제품은 맞춤형 조성물에 따라 구성요소를 혼합할 수 있고 상기 조성물을 디스펜싱할 수 있는 디바이스에 의해 현장에서, 직접적으로 매장에서 또는 미용실/미장원에서 제작될 수 있다. 사용자는 또한 개인 맞춤 제품을 나중에 배송하도록 주문할 수 있다.
이러한 시스템의 전체 예로서, 위에서 언급된 문서 제US9316580B2호는 모발의 스펙트럼을 획득하도록 구성된 광학 판독기를 사용하는 진단 단계를 포함하는 각질 섬유의 맞춤형 처리를 수행하는 방법을 개시하고, 상기 스펙트럼은 후속의 모발 처리 조성물을 계산하도록 사용되고, 이어서 적절한 조성물이 대응하는 디바이스에 의해 제작되고 디스펜싱된다. 문서 제WO2011024160A1호를 또한 참조할 수 있다.
위에서 언급된 바와 같이, 사용자로부터 신뢰할 수 있고, 객관적이며 관련 있는 데이터를 획득하는 것은 특히 어려울 수 있다. 특히 모발 또는 두피의 경우 특정한 질감과 환경 때문에 그러하다.
찾고자 하는 원하는 정보에 따라, 상이한 기법이 사용될 수 있다:
문서 제KR-A1-101456942호는 모발 또는 두피 상태를 진단한 진단 신호에 기초하여 이전에 저장된 모발 또는 두피 샘플을 비교함으로써 사용자의 모발 또는 두피 상태를 객관적으로 진단하기 위한 센서 장치를 포함하는 모발 및 두피 상태 진단 디바이스를 개시한다. 특히, 이 디바이스는 두피 영역의 이미지를 획득하기 위한 이미지 센서를 포함할 수 있다. 이어서 획득된 이미지는 모발의 일부 특성, 예컨대, 모발의 수, 직경 등을 결정하기 위해 예를 들어, 광 강도 인식, 색상 인식 또는 콘트라스트 분석을 사용하는 이미지 분석 모듈을 통해 처리될 수 있다. 이 문서에서는 모발 및 두피가 선명하게 대비되고 따라서 이미지에서 서로 분명하게 구별될 수 있다고 명시하고 있지만, 모발이 함유한 멜라닌의 수준에 따라 모발이 적어도 부분적으로 반투명하기 때문에 실제로 그렇지 않은 경우가 종종 있다. 이것은 특히 얇은 모발, 백발, 금발에서 특히 그러하고, 이러한 모발은 식별하고 세기가 가장 어렵다.
본 출원인의 이름으로 출원된 문서 제WO2017207455호는 모발의 검출을 개선하고 광과 백발을 더 잘 드러내기 위해, 상이한 조명 조건(백색광 및 UV-청색광)하에서 촬영하는 단계를 포함하는 두피 및/또는 모발의 상태를 분석하기 위한 방법을 제안한다. 이어서 이미지는 즉, 상호 보완적인 방식으로 콘트라스트 분석을 통해 처리된다.
문서 제US2012253203호는 피부 및 모발 성장 상태를 결정하기 위해 두피 영역과 같은, 모발을 나타내는 피부 표면을 이미징하는 방법을 개시한다. 방법은 상이한 시야각하에서 관련 표면을 촬영하는 단계를 포함하고, 이어서 상기 사진은 특성, 예컨대, 피부 표면으로부터 돌출된 모발의 수, 모발의 두께, 모발의 직경 또는 단면 형상, 표면으로부터 돌출된 모발의 길이를 결정하기 위해 컴퓨터 분석에 의해 잠재적으로 처리된다.
문서 제US2009036800호는 모발 밀도계에 관한 것이다. 밀도계는 두피 영역을 확대 촬영함으로써 작동한다. 이미지에서 보이는 모발은 기술자에 의해 또는 임의의 적합한 자동화 시스템에 의해 계수될 수 있고 측정될 수 있다.
결정될 특정 특징에 따라, 특정 알고리즘이 이미지를 처리하기 위해 개발되어야 한다. 이러한 알고리즘은 높은 계산력을 필요로 할 수 있고 알고리즘이 특정 특징에 대한 작업에 전용이기 때문에 다용성이 부족하다. 모발 특성 측정의 특정 영역에서, 모발의 바로 그 특성은 특히 알고리즘을 설계하는 것을 어렵게 만든다.
또한, 모발 염색 또는 탈색의 특정 영역에서, 원래의 모발 색상이 획득될 최종 색상에 강한 영향을 미치기 때문에 원래의 모발 색상의 신뢰성 있고 참된 진단이 무엇보다 중요하다. 보통, 이것은 미용사의 전문 지식 및 상이한 모발 톤과 모발 색상을 나타내는 스케일의 도움에 따라 전문가, 예컨대, 사용자의 미용사에 의해 시각적으로 행해진다.
2003년 초에, 현재 L'OREAL' 그룹의 일부인 COLORIGHT사는 사용자의 모발의 색상에 기초하여 모발 염색 조성물을 결정하고 준비하는 시스템을 제안했다. 색상 데이터는 분광 광도계를 사용함으로써 관행에 따라 획득되고, 이의 스펙트럼은 적절한 모발 염색 조성물을 계산하고 최종 염색 결과를 예측하도록 사용된다. COLOIGHT의 적용에 대한 부가적인 정보에 대해, 이전에 인용된 문서 제WO2004002300호 및 후속 적용을 참조할 수 있다. 나중에 이전에 인용된 특허 제US9316580B2호는 또한 글로벌 시스템의 설명과 관련이 있다.
사용자의 모발 색상의 측정에 관한 수개의 문서가 존재한다.
색도계를 사용하여 모발 색상을 정확하게 식별하기 위한 방법을 개시하는 문서 제US6067504호를 참조할 수 있다. 방법은 모발의 Hunter L, a, b 값을 또한 사용하고 이것을 사용하여 미리 규정된 데이터베이스로부터 원하는 모발 톤을 달성할 수 있는 적절한 착색제를 제안한다.
모발 색상을 측정하기 위해 분광 광도계를 사용할 때 특히 문제가 되는 것은 분광 광도계가 전체 측정 영역의 스펙트럼을 취한다는 것이고, 상기 영역은 두피의 피부 및 모발을 포함한다. 분광 광도계가 높은 정확도로 물체 색상을 측정할 수 있지만, 분광 광도계는 보통 약 1㎠의 전체 측정 영역에 걸친 값을 평균한다. 따라서, 스펙트럼으로부터 실제로 획득된 색상은 사용자의 모발의 실제 색상과 정확히 대응하지 않고 정정이 필요할 수 있다.
모발 색상 측정의 특정 맥락에서, 분광 광도계는 분광 광도계가 전체 영역을 평균하여, 모발과 두피 값을 혼합하고 측정되는 정확한 영역에 크게 의존하므로 뿌리 측정을 위해 두피 근처에서 사용될 수 없다.
게다가, 분광 광도계 또는 색도계는 색상 측정에 전용이고 부가적인 관련 데이터, 예컨대, 모발의 밀도 등을 획득하는 것은 불가능하거나 또는 부가적인 센서 또는 부가적인 전용 디바이스를 필요로 한다.
측정의 신뢰성을 개선시키기 위해, 문서 제US7508508호는 스펙트럼 분석 장치와 이미지 장치의 결합 사용을 개시하고, 상기 이미지 장치가 측정된 영역의 이미지를 디스플레이하도록 사용되어 조작자로 하여금 측정된 영역을 정밀히 제어하게 하고 상호 보완적인 시각적 평가를 수행하게 한다. 이러한 해결책은 여전히 복잡하고 완전히 만족스럽지 못하다.
카메라 센서에 의한 획득을 통해 모발과 같은 3차원 물체의 색상을 분석하고 다수의 화장품 색상의 상대적 가중치에 의한 화장품 색상 결정을 생성하는 화장품 색상 분석 시스템을 설명하는 문서 제US7151851호를 또한 참조할 수 있다. 그러나, 이 시스템은 두피와 모발 환경을 고려하지 않는다.
또 다른 방식에서, 문서 제US8428382호는 이미지 처리를 사용하여 모발 스타일링을 평가하기 위해 모발 부위의 이미지를 디스플레이하는 방법 및 장치를 제안한다.
그러나, 다양한 실험에도 불구하고, 모발 진단의 변형을 성공시키는 기능성 디바이스는 여전히 어려운 주제이다.
시스템을 더 개발하고 두피 및 모발 데이터의 다목적성, 신뢰성 있고 객관적인 수집을 허용하는 것이 필요하다. 또한, 모발 색상 및 모발 밀도가 관련된 유일한 매개변수는 아니며 사용자에 특정한 다른 매개변수를 수집하길 원할 수 있다.
이를 위해, 개인 맞춤 제품 추천 시스템과 함께 또는 개인 맞춤화된 디스펜싱 또는 조성물 제작 시스템에서 사용될 수 있는, 사용자에 특정한 신뢰할 수 있는 데이터를 획득하기 위해 피부, 두피 및/또는 모발의 상태를 진단하기 위한 개선된 방법이 필요하다.
본 출원은 위에서 언급된 한계의 적어도 일부에 대한 해결책을 제안하고 사용자의 각질 표면의 적어도 하나의 물리적 및/또는 화학적 특성을 결정하기 위한 방법에 관한 것이고, 방법은,
- 각질 표면의 적어도 하나의 이미지(입력 이미지)에 대응하는 데이터를 수신하는 단계,
- 적어도 하나의 기계 학습 모델을 상기 이미지에 적용함으로써 이미지를 처리하는 단계,
- 결정될 각질 표면의 특성의 등급에 대응하는 적어도 하나의 수치값을 반환하는 단계를 포함한다.
적절한 트레이닝 세트를 사용하여 트레이닝된 후, 사용자의 피부 이미지에 적용된 기계 학습 모델이 측정될 각질 표면의 물리적 및/또는 화학적 특성을 평가하고 등급을 매길 때 우수한 결과를 제공할 수 있다는 것은 정말로 놀라운 일이다.
이미지 기반(기계 시각)이고 특정 센서를 필요로 하지 않기 때문에 사용 및 구현이 간단하지만, 기계 학습 모델을 사용함으로써 이미지를 분석하는 것은 육안, 심지어 전문가 눈으로 평가하기가 상당히 어렵거나 또는 평가가 불가능한 특성을 평가하는 데 도움이 될 수 있다는 것이 또한 발견되었다.
(분류 모델에 의해 예측된 라벨과는 상이한) 수치값을 반환하거나 출력함으로써, 제안된 방법은 원하는 특성을 정량적으로 결정한다. 이어서 정량적 값은 추가의 계산 및 변환에서 입력 데이터로서 사용될 수 있다. 이것은 범주 라벨이 숫자를 사용할 수 있더라도 분류 또는 범주가 반환되는 단순한 분류를 넘어선다.
더 정확하게, 반환된 수치값은 실수값, 예컨대, 정수 또는 부동 소수점 값인 연속 출력 변수이다. 이것은 종종 수량, 예컨대, 양 및 크기이다.
기계 학습 모델은 회귀 모델이다. 대안적으로, 기계 학습 모델은 라벨이 순서 관계를 갖는 분류 모델(이산화 모델)이고, 상기 라벨은 추정될 물리적/화학적 특성에 대응하는 연속 범위로 순서화된다.
분류 모델이 연속값을 예측할 수 있지만, 상기 값이 클래스 라벨의 확률 형태라는 점에 유의하는 것이 중요하다. 회귀 모델이 이산값을 예측할 수 있지만, 상기 이산값은 정수량 형태이다.
바람직하게는, 이미지는 고해상도 이미지이다.
바람직하게는, 이미지는 각질 표면의 매크로 이미지이다. 일반적으로 이해되는 바와 같이, 매크로 이미지는 1:1 이상의 확대 비율의 이미지 샷이다. 바람직하게는, 각각의 픽셀이 10㎛의 최대 크기를 가져서 모발 한 가닥의 직경을 따라 수개의 픽셀을 갖는다.
이미지 데이터는 알려진 이미지 센서, 예컨대, CMOS 또는 CCD 이미지 센서를 통해 획득될 수 있다. 또한, 이 이미지는 유리하게는 시차가 없다.
유리하게는, 방법은 사전-처리 이미지 세분화 단계를 포함하고, 기계 학습 모델은 적어도 하나의 식별된 세그먼트에 적용된다. 이미지 세분화는 결정될 특성과 연관된 중요한 물체를 추출하는 것을 목표로 한다. 이미지 세분화는 디지털 이미지를 픽셀의 다수의 세그먼트 또는 세트로 분할하여 이미지 표현을 더 의미 있고 더 분석하기 쉬운 것으로 단순화하고/하거나 변경하는 과정이다. 이미지 세분화는 일반적으로 이미지에서 물체 및 경계(선, 곡선 등)를 찾도록 사용된다. 이러한 사전-처리 단계는 이미지 데이터에서 특정 물체를 강조 표시함으로써 기계 학습 모델에 의해 이루어진 예측을 향상시킬 것이다. 예를 들어, 두피의 이미지는 모발일 가능성이 높은 픽셀을 식별하도록 세분화될 수 있다. 이어서 기계 학습 모델은 더 우수한 예측을 위해 특정 세그먼트에 적용될 수 있다.
제1 실시형태에 따르면, 세분화 단계는 콘트라스트 분석에 의해 수행된다. 제2 실시형태에 따르면, 세분화 단계는 기계 학습 모델, 즉 분류 모델을 이미지에 적용함으로써 수행된다.
색상 보정 및 정정과 같은 다른 사전-처리 단계가 영상 데이터에 대해 수행될 수 있다.
바람직하게는, 이미지는 RGB 이미지이다. 대안적으로, 이미지는 CMYK 이미지일 수 있거나 또는 또 다른 색상 공간에 인코딩될 수 있다. 대안적으로, 이미지는 380㎚ 내지 700㎚의 가시 스펙트럼 대역, 300 내지 380㎚의 UV 대역(또는 심지어 200 내지 380㎚의 근 UV 대역) 및 700 내지 1500㎚의 IR 대역 중 선택된 적어도 하나의 스펙트럼 대역을 포함하는 다중 스펙트럼 이미지이다. 이미지는 또한 적외선 이미지일 수 있다.
특정한 실시형태에서, 방법은 각질 표면의 제2 특성을 결정하기 위해 반복되며, 방법은 바람직하게는 동일한 이미지 데이터를 사용하여 반복된다. 실제로, 적절한 모델을 로딩함으로써, 또 다른 특성에 대한 추정값을 획득하기 위해 동일한 이미지를 처리하는 것은 간단하다. 바람직하게는, 방법은 상이한 기계 학습 모델이 적용될 때에도 단일의 이미지의 데이터를 사용하고, 모델은 동일한 단일의 이미지에 적용된다.
유리하게, 방법은 실수값 특성(들) 중 적어도 일부에 기초하여 화장품을 추천하는 후속 단계를 포함한다. 알려진 대로, 제품은 나열된 특성에 따라 데이터베이스에서 선택될 수 있다.
본 출원에 따르면, ≪화장품≫ 또는 ≪화장품 조성물≫은 2009년 11월 30일에 유럽 의회 및 의회 규정 1223/2009에 정의된 화장품과 관련된 제품을 의미하는 것으로 이해된다.
특정한 실시형태에서, 방법은 실수값 특성(들)의 적어도 일부에 기초하여 추천되는 화장품 조성물을 결정하는 후속 단계를 포함한다.
물론, 상이한 방식(측정, 설문지, 이미지 분석)을 통해 획득된 부가적인 매개변수 및 특성은 추천되는 제품 및 조성물을 결정할 때와 조합하여 고려될 수 있다.
유리하게는, 방법은 추천된 조성물에 따라 화장품을 제작하고 디스펜싱하는 후속 단계를 포함한다. 특히, 방법은 혼합 장치에서 구성요소의 적어도 일부를 혼합하는 단계를 포함한다. 모발 염색의 특정한 경우에, 방법은 적어도 하나의 모발 염색제(바람직하게는 비드 또는 태블릿처럼 고체 형태임)를 모발 염색 산화 염기제(바람직하게는 액체 또는 크림의 형태임)에 디스펜싱하는 단계를 포함한다.
바람직하게는, 이미지에 표시된 각질 표면은 사용자의 피부 영역이다. 제1 실시형태에서, 이미지에 표시된 피부 영역은 사용자의 얼굴 영역, 바람직하게는 사용자의 뺨 및/또는 이마 영역이다. 대안적으로, 이미지에 표시된 피부 영역은 사용자의 두피 영역이다. 가장 바람직한 실시형태에서, 이미지에 표시된 피부 영역은 모발을 포함한다.
유리하게는, 이미지에 표시된 영역은 사용자의 모발-뿌리 부위이다. 모발의 뿌리(즉, 두피로부터 제1 센티미터 이격됨)는 우리에게 모발 염색 또는 환경 조건으로 인해 색상 변화를 겪지 않은 깨끗한 모발 섬유 부분을 제공한다. 그러므로, 이것은 사람의 기본 모발 특성의 척도이다.
본 출원에 따르면, 결정될 특성은 모발 톤, 모발 직경, 모발 밀도, 백발의 비율, 길이 색상, 뿌리 색상, 모발 광택, 두피 건조도, 비듬도, 모발 색조, 모발 스펙트럼, 을라민 수준(Eulamin level), 페오멜라닌 수준(Pheomelanin level), 인공 염료 수준, 수분, 시스테인산 수준, 손상 수준, 리프트 수준 중에서 선택되고, 기계 학습 모델이 이에 따라 훈련되어 상기 특성을 평가한다.
바람직하게는, 기계 학습 모델은 사전-훈련된 컨볼루션 신경망이다.
제1 특정한 실시형태에서, 방법은 사용자의 천연 모발 톤의 결정에 관한 것이고, 방법은 다음의 단계를 포함한다:
- 사용자의 두피 표면의 이미지에 대응하는 데이터를 수신하는 단계로서, 상기 이미지는 바람직하게는 이미지의 중간선을 따라 나뉜 모발을 포함하는, 데이터를 수신하는 단계,
- 가능한 모발에 대응하는 픽셀의 세트를 추출하도록 이미지를 세분화는 단계,
- 세분화된 모발 픽셀의 색상 공간값을 CIELAB 색상 공간으로 변환하는 단계,
- 세분화된 모발 픽셀의 중간 명도값에 기초하여 실수값의 모발 톤 추정치를 반환하는 단계.
제2 특정한 실시형태에서, 방법은 사용자의 천연 모발 톤의 결정에 관한 것이고, 방법은 다음의 단계를 포함한다:
- 사용자의 두피 표면의 이미지에 대응하는 데이터를 수신하는 단계로서, 상기 이미지는 바람직하게는 이미지의 중간선을 따라 나뉜 모발을 포함하는, 데이터를 수신하는 단계,
- 사전-훈련된 컨볼루션 신경망을 적용함으로써 실수값의 모발 톤 추정치를 반환하는 단계. 가능하지만, 이 방법은 적절하게 사전-훈련된 CNN이 우수한 결과를 제공하기 위해 세분화를 필요로 하지 않는 것처럼 보이기 때문에 세분화 단계를 필요로 하지 않다.
본 출원은 또한 컴퓨팅 디바이스에 의해 사용될 때, 컴퓨팅 디바이스가 본 발명에 따라 방법을 수행하게 하는 컴퓨터-사용 가능한 명령어를 저장하는 하나 이상의 비일시적 컴퓨터 저장 매체에 관한 것이다.
본 출원은 또한 본 발명에 따른 방법을 구현하기 위한 시스템, 더 정확하게는, 사용자의 각질 표면의 적어도 하나의 물리적 및/또는 화학적 특성을 결정하기 위한 시스템에 관한 것이고, 상기 시스템은 각질 표면의 이미지를 획득하기 위해 그리고 이미지 데이터를 프로세서로 전송하도록 구성된 이미지 센서를 포함하고, 상기 프로세서는 본 발명의 방법에 따라 이미지 데이터를 처리하도록 구성된다.
위에서 언급된 바와 같이, 이미지 센서는 기술에 알려진 센서, 예컨대, CCD 센서 또는 CMOS 센서일 수 있다. 원하는 이미지에 따라, 센서는 또한 다중 스펙트럼 센서일 수 있고/있거나 필터, 예컨대, 적외선 이미지를 획득하기 위한 적외선 필터를 사용할 수 있다.
유리하게는, 시스템은 휴대용 카메라 디바이스에 적어도 부분적으로 통합된다.
바람직하게는, 시스템은 이미지 센서를 포함하는 카메라 디바이스를 포함하고, 상기 카메라 디바이스는 이미지 데이터를 원격의 처리 디바이스로 무선으로 전송하도록 구성된다.
대안적으로, 카메라 디바이스는 또한 처리 장치를 포함할 수 있고 반환된 특성값을 직접적으로 출력할 수 있다. 이 방식으로 카메라 디바이스는 쉽게 휴대할 수 있고 독립형 디바이스로서 사용할 수 있는 자율 진단 장치를 형성한다.
본 출원은 또한 본 발명에 따른 특성 결정 시스템(바람직하게는 장치, 즉, 휴대용) 및 특성 결정 시스템으로부터 획득된 특성에 따라 화장품을 전달하도록 구성된 디스펜싱 장치를 포함하는, 개인 맞춤 화장품, 특히, 모발 케어 또는 모발 착색 제품을 제작하기 위한 시스템에 관한 것이다. 유리하게는, 특성 결정 시스템은 실수값 데이터를 디스펜싱 장치로 무선으로 전송할 수 있다. 더 정확하게, 특성 결정 장치는 입력으로서 실수값 특성을 적합한 출력 제품 또는 조성물을 결정하는 컴퓨팅 장치(추천 장치)로 전송할 것이다. 이어서 추천 장치가 입력 명령어를 혼합 및 전달 장치로 전송하여 사용자에게 추천된 제품 또는 조성물을 제공할 수 있다.
본 출원의 주제는 첨부된 도면을 참조하는 다음의 상세한 설명을 고려하여 더 잘 이해될 것이다:
도 1은 일반적으로 본 발명에 따라 사용자의 천연 모발 톤을 결정하기 위한 다양한 순차적인 단계를 예시한다.
도 2는 일반적으로 적용될 기계 학습 모델을 획득할 때 수반되는 트레이닝 과정을 예시한다.
도 3은 색도 모델의 사용을 위한 단계 파이프라인을 도시한다.
도 4는 획득된 두피 이미지에 적용되는 다양한 층을 예시한다.
도 1은 일반적으로 본 발명에 따라 사용자의 천연 모발 톤을 결정하기 위한 다양한 순차적인 단계를 예시한다.
도 2는 일반적으로 적용될 기계 학습 모델을 획득할 때 수반되는 트레이닝 과정을 예시한다.
도 3은 색도 모델의 사용을 위한 단계 파이프라인을 도시한다.
도 4는 획득된 두피 이미지에 적용되는 다양한 층을 예시한다.
본 출원이 특히 두피와 모발 진단 및 모발 특성 측정과 관련이 있지만, 이러한 각질 표면에 국한되지 않으며 더 일반적인 피부 표면 특성화 및 측정에서 적용될 수 있다.
위에서 언급된 바와 같이, 이 디지털 시대에 많은 도전에 직면한 분야는 모발 케어 및 헤어 착색이다. 모발의 복합적인 특성과 모발 염색 과정에 기인하여, 정확한 모발 진단은 고객에게 개인 맞춤 모발 케어 및 착색 제품을 제공하기 위해 중요하다.
모발 관련 특성은 신뢰할 수 있는 방식으로 획득하기 가장 어려운 것이고, 다음의 설명이 모발 측정에 대해 예시된다. 그러나, 언급된 바와 같이, 본 방법은 모발 측정에 국한되지 않으며 다른 피부 적용을 찾을 수 있다.
현재 미용실에서, 임의의 모발 착색 제품을 도포하거나 또는 모발 처리를 추천하기 전에 필요한 제1 단계는 모발 진단이다. 미용사가 추정해야 할 중요한 특징으로는 모발 톤, 백발 비율, 모발 직경 및 밀도가 있다.
모발의 뿌리는 일반적으로 천연/인공 색소와 같은, 외부 요인에 의해 변경되지 않는 모발에 접근할 수 있는 유일한 부위이다. 이 부위는 천연 모발 색상과 백발 비율뿐만 아니라 모발 밀도를 측정할 수 있는 부위이다.
모발의 뿌리(즉, 두피로부터 이격된 제1 센티미터)는 모발 염색 또는 환경 조건으로 인해 색상 변화를 겪지 않은 깨끗한 모발 섬유 부분을 우리에게 제공한다. 그러므로, 이것은 사람의 기본 모발 특성의 척도이다.
뿌리 부위에서 획득된 이미지는 모발뿐만 아니라 두피에도 색상, 기름기, 비듬 함량이 매우 다양할 수 있는 것을 보여준다. 또한, 특히 뿌리 부분에서, 모발 섬유 자체가 반투명하여, 두피 배경에 대한 색 의존성을 유발하고, 색상과 두께 둘 다에서 특정한 자연적 가변성을 갖는다. 이 진단은 현재 미용사가 수동으로 수행하며, 미용사의 전문 지식과 트레이닝에도 불구하고, 특히 미용실의 비표준 조명 조건에서, 미용사가 이러한 모든 특징을 항상 정확하게 추정할 수 있는 것은 아니다.
뿌리에서 정확한 모발 진단을 확립하는 것은 모발 착색, 미용 개인 맞춤화 및 임상 평가에 극적인 영향을 미치는 중요한 과제이다.
본 출원에 따른 방법이 모발 톤 측정(특히 천연 모발 톤 측정)에 대한 상세사항으로 설명될 것이지만, 이 방법은 모델이 트레이닝된 특성에 따라 다른 물리적 또는 화학적 특성을 결정하기 위해 더 일반적으로 사용될 수 있다.
천연 모발 톤은 모발 명도/어두움의 시각적 속성이며 모발 멜라닌 농도와 관련된다. 이와 같이, 천연 모발 톤은 자연에 존재하는 모발 색상의 색상 공간에 얽매여 있다. 천연 모발 톤은 전통적으로 매우 어두운 모발의 경우 1부터 시작하여 매우 밝은 금발의 경우 10까지 로그 스케일을 사용하여 측정된다.
모발 톤이 10가지 범주로 분리되므로, 이 문제를 분류 문제로서 다룰 수 있다. 그러나, 색상 전문가는 1/4의 모발 톤의 정밀도로 톤을 평가해 왔기 때문에, 1 내지 10개의 클래스를 고려한다면 클래스 라벨에서 이러한 정확성을 잃게 될 것이다. 결과적으로 이 문제는 회귀 문제로 해결되었으며, 이는 모발 톤 값 사이의 순서와 연속성을 가정한다. 결과적으로, 이 방법은 실수값의 모발 톤을 추정하고 반환한다.
모발 특성을 가치화하는 본 방법에 대해, 중요한 점은 모발 톤 스케일이 클래스 자체(분류)가 아닌 수치값(예측)을 반환하는 본 방법과 함께 사용하는 데 적합한 지각적 선형 스케일 표기법이라는 것이다.
본 출원에 따르면, 사용자의 천연 모발 톤을 결정하는 것은 다음의 단계를 포함하고, 단계의 일반적인 순서가 도 1에 도시된다.
먼저, 모발 뿌리(11)에서의 사용자의 두피(10)의 이미지(I)는 진단 장치를 형성하는 카메라 디바이스(20)를 사용하여 촬영된다. 카메라 디바이스(20)는 바람직하게는 휴대용이다. 이미지(I)는 약 12 × 17㎜의 물체(두피) 영역에 대응한다. 이미지(I)는 2000 × 1200 RGB CMOS 센서에 의해 획득되지만, 다른 종류의 고해상도 센서가 사용될 수 있다.
획득 전에, 선이 피험자의 머리 위에서 나눠져서 모발 뿌리(11)에 방해받지 않는 시야를 갖는다. 그 결과, 사진은 중앙을 중심으로 축대칭되고, 따라서 일반적으로 두피(10)가 중앙에 있고 더 많은 모발이 상단부 및 하단부에 있게, 지향된다.
방법은 바이어싱되지 않은 모발 톤 값(h)을 추정하도록 사용된다. 그러나, 이 모발 톤(h)은 모발(11)과 두피(10)가 혼합되어 있기 때문에 획득된 이미지(I)로부터 직접적으로 판독할 수 없다. 게다가, 모발의 투명성 때문에, 두피 색상은 눈에 보이는 모발 픽셀에 영향을 줄 수 있다.
따라서, 이미지(I) 데이터는 정확한 모발 톤(h)을 획득하기 위한 특정한 목적으로 처리되어야 한다. 본 발명에 따르면, 이미지 데이터는 수치적 실수값의 모발 톤을 반환하기 전에 기계 학습 모델을 상기 이미지에 적용함으로써 처리된다.
이후에 설명되는 기계 학습 모델은 407명의 피험자에 대해 촬영한 11175개의 사진을 포함하는 트레이닝 세트를 사용하여 통계적으로 트레이닝되었다. 각각의 사진이 평가되었고 원하는 특성의 실제값으로 라벨 표시되었다(트레이닝 과정은 일반적으로 도 2에 도시된다).
모발 톤 추정은 다음의 두가지 방식, 즉, 색도 모델 및 컨볼루션 신경망(convolutional neural network: CNN)에 기초한 심화 학습 모델을 사용하여 수행되었다.
색도 모델
이 방식의 이면의 아이디어는 이미징 디바이스를 모발의 표준 색상 값을 제공할 수 있고 이것을 모발 톤의 지각적 특성과 관련시킬 수 있는 색도 디바이스로 변환하는 것이다. 이 방식의 완전한 파이프라인은 도 3에 도시된 다음의 3개의 단계로 분리된다.
먼저, 획득된 이미지(I)는 세분화 단계(S)를 통해 전처리된다. 더 정확하게, 관심 있는 모발 픽셀이 이미지로부터 세분화된다. 이어서, 세분화된 모발 픽셀의 RGB 값은 CIELAB 색상 공간으로 변환되고 피팅된 색도 모델(M)은 모발의 중간 L* 값으로부터 모발 톤을 추정한다. 이와 같이, 이 색도 방식은 이미지 데이터에 연속적으로 적용된 2개의 독립적인 기계 학습 모델의 사용을 수반한다: 첫째로, 기계 학습 모델이 색상 공간 변환을 수행하도록 적용되고, 둘째로, 제2 기계 학습 모델이 중간 모발 L*로부터 모발 톤 추정을 위해 적용된다.
모발 세분화(S)는 제1 전처리 단계이다. 이 단계의 주 목적은 모발 픽셀의 상이한 RGB 값을 단일 적분 L*a*b* 값으로 변환하는 것이다. 따라서, 이상치를 도입할 수 있는, 이미지 내 모든 모발 픽셀을 세분화하는 대신, 특이성 및 다른 아티팩트를 피하여 적절한 수의 모발 픽셀을 견고히 세분화하는 것이 바람직하다. 세분화 방법은 두피 영역으로부터 모발을 크게 세분화하기 위해 적합 문턱값 설정에 기초한다. 문턱값 설정 전에, 가우시안 필터는 이미지 내 노이즈를 감소시키도록 적용된다. 마지막으로, 결과적으로 발생된 모발 부위는 모발로서 잘못 세분화된 특이성 또는 다른 아티팩트가 될 수 있는 작은 검출된 영역을 제거하기 위해 연결된 구성요소 분석을 사용하여 크기를 기준으로 순위가 매겨진다.
이어서 RGB 값은 기계 학습 모델을 적용함으로써 CIELab 색상 공간으로 변환된다. 더 구체적으로, 카메라 디바이스는 디바이스-의존 RGB 값을 디바이스-독립적인 색상 공간으로 변환하기 위해 보정되어야 한다. CIELAB 색상 공간은 이것이 상대적으로 지각적으로 균일하고 업계에서 폭넓게 사용되고 있기 때문에 이러한 변환을 위해 선택되었다.
문헌에는 모발의 L*a*b* 측정을 제공하는 다양한 방법이 있다. 보정 과정에 대해, 다음의 모델을 사용하여, 으로서 표현된 각각의 RGB 픽셀의 L*a*b* 값 을 추정하는 것이 제안된다:
여기서 φ(x)는 RGB 픽셀 값(x)의 3차 다항식(N = 20)이고 Cr은 K개의 트레이닝 쌍의 세트에서 기계 학습 모델에 의해 통계적으로 학습된, 대응하는 계수이다. 이러한 쌍은 측정된 L*a*b* 값 ri를 사용하여 미리 규정된 색상 패치의 이미지를 획득함으로써 획득되었다. 디바이스에 의해 획득된 각각의 패치 x i 에 대해 회귀 문제를 해결하기 위해 중간 RGB 픽셀을 취한다:
일단 관심 모발 픽셀이 세분화된다면, 이의 RGB 값이 CIELAB 공간으로 변환되고 중간 L*a*b* 값이 유지된다. 상이한 모발 톤 간에서 가장 현저하게 변화하는 지각적 값은 명도라는 것을 알아챘다. 모델을 단순하게 유지하고 데이터에 대한 오버-피팅을 방지하기 위해, L* 값은 모발 톤과 가장 상관 관계가 높은 값으로 선택된다. 트레이닝 세트를 사용하여 1차원 입방 평활 스플라인 는 각각 로 표기되는, 모발 톤 값과 L*의 M개의 쌍 간에 피팅된다. 이러한 L*의 쌍 및 모발 톤 값은 한명의 참가자의 모든 대응하는 사진을 평균함으로써 계산되었다. 발명자는 다음의 조건이 충족되도록 스플라인 매듭의 수를 최소수로 자동으로 선택한다:
평활 인자(σ)가 모발 톤 범위[1; 10]에 따른 작은 변동을 무시하도록 0.35로 설정되었다.
결론적으로, 모발 톤은 단일 입력 이미지(I)로부터 예측된다. 발명자는 I에서 강력한 모발 픽셀(x)의 하위 세트를 세분화한다. 이어서, 를 사용하여 각각의 픽셀(x)을 L*a*b* 공간으로 변환한 후, 발명자는 이 픽셀의 중간 L* 값 을 계산한다. 마지막으로, 모발 톤은 다음과 같이 기계 학습 모델을 적용함으로써 제공된다:
컨볼루션 신경망
이러한 방식의 이면의 아이디어는 추출할 패턴에 대한 사전 가정 없이, 이미지의 어떤 패턴이 모발 톤과 관련되는지를 학습하는 것이다. 모발 픽셀의 명도에 초점을 맞추도록 설계되는 이전의 색도 모델과 달리, 이 제2 모델은 문제에 대한 사전 지식을 갖지 않는다. 최적화 과정은 순수하게 통계적이며 정확한 모발 톤 를 추정하기 위해 이미지(I)의 패턴을 자율적으로 학습한다.
CNN 이면의 기본 아이디어는 3×3 컨볼루션과 같은, 연속적인 선형 연산을 이들 간의 비선형 함수뿐만 아니라 이미지 표현의 공간 치수를 감소시키는 연산과 함께 적용하는 것이다. 이것은 이미지의 특징 맵을 생성하고, 이는 시각적 패턴으로 표현된다. 연속적인 회귀 후에, 이러한 표현은 단일 실수값의 출력으로 감소되며, 이는 결국 트레이닝 과정에서 라벨(hi)에 매핑될 것이다.
이 모든 작동은 발명자가 본 모발 톤 적용에 대해 제안하는 네트워크에 대해 도 4에 도시된 연속적인 층으로 표현된다. 최첨단 CNN 모델에 비해, 컨볼루션 층이 적다: 이것은 발명자가 에지 및 얇은 섬유와 같은 더 단순한 패턴을 찾고 있다는 사실에 의해 동기가 부여되어, 네트워크로 표현될 더 적은 연속 컨볼루션을 필요로 한다.
발명자가 1차원 출력 을 갖기 때문에 최종적인 고밀도 층이 또한 감소된다. 게다가, 잔여 연결은 최적화를 용이하게 하고 - 연결을 역 전파로 지향시키고 - 더 간단한 패턴으로 모델 표현을 확장하기 위해 이 아키텍처에 추가되었다.
이 목적을 위해, 발명자는 일부 층의 출력을 나중의 층에 추가하는데, 이는 부가적인 가중치를 필요로 하지 않는 필요하지 않은 가벼운 작동이다. 속도를 향상시키기 위해, 발명자는 규칙적인 2D 컨볼루션에 대한 더 가벼운 대안으로서 분리 가능한 2D 컨볼루션을 사용한다. 이들은 학습할 매개변수가 적고 계산도 덜 필요하다. 이 아이디어는 먼저 채널별로(또한 깊이에 걸쳐) 3 × 3 컨볼루션 채널을 적용하고, 따라서 전체 컨볼루션보다 가볍고, 이어서 결과적으로 발생된 채널을 1 × 1 전체 컨볼루션으로 결합하는 것이다. 이 컨볼루션의 변형은 디바이스의 내장된 예측뿐만 아니라 트레이닝 과정을 가속화할 것이다.
발명자는 이제 신경망이 우리의 문제에 대한 관련 패턴을 학습하는 방법에 대한 일부 직관을 제공하기 위해 이러한 모델의 최적화 과정을 간략히 설명한다. 발명자가 연속 작동으로부터 물러선다면, 발명자는 발명자의 추정된 모발 톤이 다음과 같이 작성될 수 있다는 것을 안다
여기서 g는 신경망의 모든 연속적인 작동을 나타내며, 는 모든 가변적인 매개변수, 즉, 컨볼루션 및 고밀도 층 가중치를 재분류하는 벡터이다. 에 대한 적절한 값을 찾기 위해서, 발명자는 실측 자료(h)로부터 먼 예측 을 불리하게 하는 손실 함수 를 규정한다. 이 경우에서, 발명자는 모든 이미지(I i ) 및 데이터세트의 모발 톤(h i )에 대한 평균 제곱 에러 를 최소화한다:
여기서 는 학습 속도이고 은 전체 데이터 세트의 기울기의 근사치이다. 실제로, 이 완전한 기울기 는 각각의 업데이트를 위해 계산하기에 너무 길다. 역 전파를 사용하여, 기울기는 크기 m 이미지의 미니배치에 대해 효율적으로 계산될 수 있다. 따라서 는 각각의 미니배치에서 기울기의 이동 평균을 고려함으로써 업데이트된다
따라서 가중치의 각각의 미니배치 업데이트는 기울기의 이력에 기초하고 뿐만 아니라 미니배치를 통해 높은 변동을 나타내는, 미니배치 기울기 에 기초한다. 실제로, 발명자는 =10-4의 학습 속도를 사용하여 그리고 λ= 0:9의 모멘텀을 사용하여 데이터 세트의 모든 샘플에 대해 800회를 통과했다. 마지막으로, 매개변수 를 더 조정하기 위해, 발명자는 학습 속도를 10으로 나눈 데이터 세트에서 20회를 더 통과했다. 각각의 통과 동안, 각각의 이미지(Ii)는 인위적으로 데이터 세트를 증가시키기 위해 수평으로 그리고 수직으로 랜덤으로 플립핑된다. 연속적인 층과 최적화 과정에 대해, 발명자는 텐서플로우 백-엔드(Tensorflow back-end)에 기초한 케라스(Keras)의 구현을 사용했다.
두가지 기계 학습 모델(색도 모델 및 컨볼루션 신경망 모델)로 예시되지만, 다른 기계 학습 기법이 사용될 수 있고, 본 출원의 주요 양상은 관련 매개변수를 직접적으로 추출하고 측정을 실제로 수행하는 이미지 분석 기법을 사용하는 고전적인 계량 대신에 통계적 기계 학습 모델을 사용하는 것이다.
이어서 반환된 실수값 특성은 추가 계산 또는 단계를 위한 매개변수로서 사용될 수 있다.
제1 가능성으로, 실수값 특성이 추천자에게 사용될 수 있고, 방법은 상기 실수값 특성에 기초하여 화장품을 추천하는 후속 단계를 포함한다.
제2 가능성으로, 기존 제품을 추천하는 대신, 실수값 특성은 원하는 효과 또는 결과에 기초하여 화장품의 조성물을 계산하거나 또는 결정하도록 사용될 수 있다. 다 구체적으로, 방법은 원하는 결과를 달성하기 위해 실수값 특성의 변화력에 기초하여 구성요소의 비율 및/또는 양을 계산하는 단계를 포함할 수 있다. 예를 들어, 사용자가 5의 모발 톤에 도달하기 위해 모발을 염색하길 원하고 사용자의 초기 모발 톤이 7인 경우에, 이 방법은 이 결과에 도달하기 위해 필요한 산화제의 양을 계산하는 단계를 포함할 것이다.
이어서 결정된 조성물은 현장에서 또는 외부에서 제작될 수 있고, 이에 따라 사용자에게 디스펜싱될 수 있거나 또는 전달될 수 있다.
이해될 바와 같이, 본 발명의 양상은 시스템, 방법 또는 컴퓨터 프로그램 제품으로 구체화될 수 있다. 따라서, 본 발명의 양상은 완전한 하드웨어 실시형태, 완전한 소프트웨어 실시형태(펌웨어, 레지던트 소프트웨어, 마이크로코드 등을 포함함) 또는 소프트웨어 양상과 하드웨어 양상을 결합한 실시형태의 형태를 취할 수 있다. 게다가, 본 발명의 양상은 컴퓨터 판독 가능한 프로그램 코드가 구현되는 하나 이상의 컴퓨터 판독 가능한 매체(들)로 구현된 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
하나 이상의 컴퓨터 판독 가능한 매체(들)의 임의의 조합이 활용될 수 있다. 컴퓨터 판독 가능한 매체는 예를 들어, 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 디바이스 또는 전술한 것의 임의의 적절한 조합일 수 있지만 이들로 제한되지 않는다. 컴퓨터 판독 가능한 저장 매체의 더 구체적인 예(전체적이지 않은 목록)는 하나 이상의 와이어를 가진 전기 연결부, 휴대용 컴퓨터 디스켓, 하드 디스크, 솔리드 스테이트 디스크, 랜덤 액세스 메모리(random access memory: RAM), 판독-전용 메모리(read-only memory: ROM), 소거 가능한 프로그래밍 가능 판독-전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 콤팩트 디스크 판독-전용 메모리(compact disc read-only memory: CD-ROM), 광저장 디바이스, 자기 저장 디바이스, 상변화 메모리 저장 디바이스, 또는 전술한 것의 임의의 적절한 조합을 포함할 것이다. 이 문서의 맥락에서, 컴퓨터 판독 가능한 저장 매체는 명령어 실행 시스템, 장치 또는 디바이스와 관련하여 또는 이것에 의해 사용되는 프로그램을 포함할 수 있거나 또는 저장할 수 있는 임의의 유형 매체일 수 있다.
본 발명의 양상에 대한 작동을 수행하기 위한 컴퓨터 프로그램 코드는 하나 이상의 프로그래밍 언어, 예를 들어, 객체 지향 프로그래밍 언어, 예컨대, Java, Smalltalk, C++ 등, 또는 종래의 절차적 프로그래밍 언어, 예컨대, "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어의 임의의 조합으로 작성될 수 있다. 프로그램 코드는 전적으로 사용자의 컴퓨터에서, 부분적으로 사용자의 컴퓨터에서, 독립형 소프트웨어 패키지로서, 부분적으로 사용자의 컴퓨터에서 그리고 부분적으로 원격 컴퓨터에서 또는 전적으로 원격 컴퓨터 또는 서버에서 실행될 수 있다. 후자의 시나리오에서, 원격 컴퓨터는 근거리 통신망(Local Area Network: LAN) 또는 원거리 통신망(Wide Area Network: WAN)을 포함하는, 임의의 유형의 네트워크를 통해 사용자의 컴퓨터에 연결될 수 있나 또는 외부 컴퓨터에 (예를 들어, 인터넷 서비스 공급자를 사용하여 인터넷을 통해) 연결될 수 있다. 본 발명의 실시형태의 컴퓨터 시스템용 소프트웨어가 도면에 예시된 흐름도 및 사양에 포함된 기능 설명에 기초하여 컴퓨터 기술의 당업자에 의해 개발될 수 있음이 이해된다. 게다가, 다양한 기능을 수행하는 소프트웨어에 대한 본 명세서의 임의의 언급은 일반적으로 소프트웨어 제어 하에서 이러한 기능을 수행하는 컴퓨터 시스템 또는 프로세서를 참조한다.
컴퓨터 시스템의 다양한 기능은 임의의 수량의 소프트웨어 모듈 또는 장치, 처리 또는 컴퓨터 시스템 및/또는 회로망 간에 임의의 방식으로 배포될 수 있으며, 컴퓨터 또는 처리 시스템은 서로 국부적으로 또는 원격으로 배치될 수 있거나 또는 임의의 적합한 통신 매체(예를 들어, LAN, WAN, 인트라넷, 인터넷, 하드와이어, 모뎀 연결, 무선 등)를 통해 통신할 수 있다.
더 정확하게, 위의 상세한 방법은 사용자의 각질 표면의 적어도 하나의 물리적 및/또는 화학적 특성을 결정하기 위한 시스템에서 구현되고, 상기 시스템은 타깃된 각질 표면의 이미지를 획득하기 위해 구성된 이미지 센서를 포함하고, 이미지 데이터는 위에서 설명된 방법에 따라, 즉, 기계 학습 모델을 적용함으로써 이미지 데이터를 처리하고 특성의 실수값 추정치를 반환하도록 구성된 프로세서로 전송된다. 이러한 시스템은 진단 장치를 형성한다.
시스템은 휴대용 카메라 디바이스에 통합된다. 제1 실시형태에서, 카메라 디바이스는 이미지 센서를 포함하고 이미지 데이터는 원격의 처리 장치 내 카메라 디바이스의 외부에서 처리됩니다. 유리하게는, 이미지 데이터는 무선으로 전송된다. 대안적인 실시형태에서, 시스템은 휴대용 디바이스에 완전히 통합되고, 이는 카메라 디바이스가 또한 처리 장치를 포함한다는 것을 의미한다. 이러한 방식으로, 카메라 디바이스는 실수값 특성을 직접적으로 출력하는 자율 및/또는 실시간 진단 장치로서 사용될 수 있다.
시스템은 예를 들어, 개인 맞춤 화장품, 특히, 모발 제품, 즉, 모발 착색 제품을 제작하기 위한 시스템을 형성하기 위해 부가적인 구성요소를 포함할 수 있다. 이를 위해, 시스템은 위에서 설명된 바와 같은 진단 장치 및 진단 장치로부터 획득된 특성에 따라 화장품을 전달하도록 구성된 디스펜싱 장치를 포함한다. 디스펜싱 장치의 상세한 설명에 대해, 이전에 인용된 문서 제US9316580호를 참조할 수 있으며, 이 문서의 내용은 본 명세서에 완전히 통합된다.
따라서 본 출원에서 설명된 시스템 및 방법은 개인 맞춤화 과정의 전반적인 자동화를 개선한다. 모발 처리, 특히, 모발 염색 처리에 대해, 과정의 자동화는 미용사의 생활을 편하게 하고 정밀성과 견고성 및 효율성을 보장하는 도구를 갖추기 위해서 필수적이다. 게다가, 이러한 디바이스를 사용하여, 인간의 시각적 인지를 넘을 수 있고 미용사 및 조건에 따라 달라지지 않는 객관적 표시법-다른 용어로, 표준 표시법-을 제공할 수 있다.
전술한 예는 본 발명의 실시형태의 특정 기능에 대한 설명이고 제한하고자 의도되지 않는다. 실제로, 다른 기능 및 다른 가능한 용도는 본 개시내용을 검토한 당업자에게 분명할 것이다.
Claims (23)
- 사용자의 각질 표면의 적어도 하나의 물리적 및/또는 화학적 특성을 결정하기 위한 방법으로서,
- 상기 각질 표면의 적어도 하나의 이미지에 대응하는 데이터를 수신하는 단계,
- 적어도 하나의 기계 학습 모델을 상기 이미지에 적용함으로써 상기 이미지를 처리하는 단계,
- 결정될 상기 각질 표면의 상기 특성의 등급에 대응하는 적어도 하나의 수치값을 반환하는 단계를 포함하는, 방법. - 제1항에 있어서, 전처리 세분화 단계를 포함하되, 상기 기계 학습 모델은 적어도 하나의 식별된 세그먼트에 적용되는 것을 특징으로 하는 방법.
- 제2항에 있어서, 상기 세분화 단계는 콘트라스트 분석에 의해 수행되는 것을 특징으로 하는 방법.
- 제2항에 있어서, 상기 세분화 단계는 기계 학습 모델을 상기 이미지에 적용함으로써 수행되는 것을 특징으로 하는 방법.
- 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 이미지는 RGB 이미지인 것을 특징으로 하는 방법.
- 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 이미지는 380㎚ 내지 700㎚의 가시 스펙트럼 대역, 300 내지 380㎚의 UV 대역 및 700 내지 1500㎚의 IR 대역 중 선택된 적어도 하나의 스펙트럼 대역을 포함하는 다중 스펙트럼 이미지인 것을 특징으로 하는 방법.
- 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 이미지는 적외선 이미지인 것을 특징으로 하는 방법.
- 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 방법은 상기 각질 표면의 제2 특성을 결정하도록 반복되고, 바람직하게는 동일한 이미지 데이터를 사용하여 반복되는 것을 특징으로 하는 방법.
- 제1항 내지 제8항 중 어느 한 항에 있어서, 실수값 특성(들) 중 적어도 일부에 기초하여 화장품을 추천하는 후속 단계를 포함하는 것을 특징으로 하는 방법.
- 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 실수값 특성(들) 중 적어도 일부에 기초하여 추천된 화장품 조성물을 결정하는 후속 단계를 포함하는 것을 특징으로 하는 방법.
- 제10항에 있어서, 상기 추천된 조성물에 따라 화장품을 제작하고 디스펜싱하는 후속 단계를 포함하는 것을 특징으로 하는 방법.
- 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 이미지에 표시된 상기 각질 표면은 사용자의 피부 영역인 것을 특징으로 하는 방법.
- 제12항에 있어서, 상기 이미지에 표시된 상기 피부 영역은 상기 사용자의 얼굴 영역, 바람직하게는 상기 사용자의 뺨 및/또는 이마 영역인 것을 특징으로 하는 방법.
- 제12항에 있어서, 상기 이미지에 표시된 상기 피부 영역은 상기 사용자의 두피 영역인 것을 특징으로 하는 방법.
- 제12항 내지 제14항 중 어느 한 항에 있어서, 상기 이미지에 표시된 상기 피부 영역은 모발을 포함하는 것을 특징으로 하는 방법.
- 제15항에 있어서, 상기 이미지에 표시된 상기 영역은 상기 사용자의 모발-뿌리 부위인 것을 특징으로 하는 방법.
- 제1항 내지 제16항 중 어느 한 항에 있어서, 결정될 상기 특성은 모발 톤, 모발 직경, 모발 밀도, 백발의 비율, 길이 색상, 뿌리 색상, 모발 광택, 두피 건조도, 비듬도, 모발 색조, 모발 스펙트럼, 을라민 수준(Eulamin level), 페오멜라닌 수준(Pheomelanin level), 인공 염료 수준, 수분, 시스테인산 수준, 손상 수준, 리프트 수준 중에서 선택되고, 상기 기계 학습 모델이 이에 따라 훈련되어 상기 특성을 평가하는 것을 특징으로 하는 방법.
- 제1항 내지 제17항 중 어느 한 항에 있어서, 상기 기계 학습 모델은 사전-훈련된 컨볼루션 신경망인 것을 특징으로 하는 방법.
- 컴퓨팅 디바이스에 의해 사용될 때, 상기 컴퓨팅 디바이스가 제1항 내지 제18항 중 어느 한 항에 따른 방법을 수행하게 하는, 컴퓨터-사용 가능한 명령어를 저장하는 비일시적 컴퓨터 저장 매체.
- 사용자의 각질 표면의 적어도 하나의 물리적 및/또는 화학적 특성을 결정하기 위한 시스템으로서, 상기 시스템은 상기 각질 표면의 이미지를 획득하기 위해 그리고 이미지 데이터를 프로세서로 전송하도록 구성된 이미지 센서를 포함하고, 상기 프로세서는 제1항 내지 제8항 중 어느 한 항에 따른 방법에 따라 상기 이미지 데이터를 처리하도록 구성되는, 시스템.
- 제20항에 있어서, 상기 시스템은 휴대용 카메라 디바이스에 적어도 부분적으로 통합되는 것을 특징으로 하는 시스템.
- 제20항에 있어서, 상기 시스템은 상기 이미지 센서를 포함한 카메라 디바이스를 포함하고, 상기 카메라 디바이스는 상기 이미지 데이터를 원격의 처리 디바이스로 무선으로 전송하도록 구성되는 것을 특징으로 하는 시스템.
- 제20항 내지 제22항 중 어느 한 항에 따른 특성 결정 시스템 및 상기 특성 결정 시스템으로부터 획득된 특성에 따라 화장품을 전달하도록 구성된 디스펜싱 장치를 포함하는, 개인 맞춤 화장품을 제작하기 위한 시스템.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18195776.2A EP3627444B1 (en) | 2018-09-20 | 2018-09-20 | Method and system for determining a characteristic of a keratinous surface and method and system for treating said keratinous surface |
EP18195776.2 | 2018-09-20 | ||
PCT/EP2019/069047 WO2020057803A1 (en) | 2018-09-20 | 2019-07-15 | Method and system for determining a characteristic of a keratinous surface and method and system for treating said keratinous surface |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210042966A true KR20210042966A (ko) | 2021-04-20 |
KR102670274B1 KR102670274B1 (ko) | 2024-05-30 |
Family
ID=63832171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020217007390A KR102670274B1 (ko) | 2018-09-20 | 2019-07-15 | 각질 표면의 특성을 결정하기 위한 방법과 시스템 및 상기 각질 표면을 처리하기 위한 방법과 시스템 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220005189A1 (ko) |
EP (2) | EP3627444B1 (ko) |
JP (1) | JP7179998B2 (ko) |
KR (1) | KR102670274B1 (ko) |
CN (1) | CN112740266B (ko) |
WO (1) | WO2020057803A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230079899A (ko) * | 2021-11-29 | 2023-06-07 | (주)스톤랩 | 시각 인공지능 활용 비침습 피부 생체지표 추정 기반 피부염 판별 시스템 및 그 방법 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11172873B2 (en) | 2018-05-17 | 2021-11-16 | The Procter & Gamble Company | Systems and methods for hair analysis |
US20220225747A1 (en) * | 2019-05-15 | 2022-07-21 | CLiCS, LLC | Systems and methods for coloring hair |
US20220164852A1 (en) * | 2020-11-20 | 2022-05-26 | The Procter & Gamble Company | Digital Imaging and Learning Systems and Methods for Analyzing Pixel Data of an Image of a Hair Region of a User's Head to Generate One or More User-Specific Recommendations |
US11137291B1 (en) * | 2021-03-08 | 2021-10-05 | Innovative Beauty LLC | Hair colorant assessment, selection and formulation system |
US12039732B2 (en) | 2021-04-14 | 2024-07-16 | The Procter & Gamble Company | Digital imaging and learning systems and methods for analyzing pixel data of a scalp region of a users scalp to generate one or more user-specific scalp classifications |
US20230043674A1 (en) * | 2021-08-09 | 2023-02-09 | Techturized, Inc. | Scientific and technical systems and methods for providing hair health diagnosis, treatment, and styling recommendations |
TWI823143B (zh) * | 2021-09-13 | 2023-11-21 | 美科實業股份有限公司 | 智慧頭皮屑檢測系統與方法 |
WO2024092333A1 (pt) * | 2022-10-31 | 2024-05-10 | Natura Cosméticos S.A. | Sistema e método de avaliação de imagens do estado dos fios de cabelos de um usuário |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170270593A1 (en) * | 2016-03-21 | 2017-09-21 | The Procter & Gamble Company | Systems and Methods For Providing Customized Product Recommendations |
US20180014777A1 (en) * | 2015-06-15 | 2018-01-18 | Haim Amir | Systems and methods for adaptive skin treatment |
JP2018068601A (ja) * | 2016-10-28 | 2018-05-10 | ロレアル | ヒトケラチン物質の状態について使用者に知らせるための方法 |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6067504A (en) | 1983-07-18 | 2000-05-23 | Chromatics Color Sciences International, Inc. | Method for correctly identifying hair color |
ES2085741T3 (es) | 1993-08-03 | 1996-06-01 | Dior Christian Parfums | Procedimiento de determinacion del color de un maquillaje de fondo que restituye sensiblemente el color de la piel de una persona y aparato que incluye la aplicacion. |
ATE459062T1 (de) | 2001-07-31 | 2010-03-15 | Aevora Beauty Concepts Inc | Fortschrittliches kosmetisches farbanalysesystem |
US7110117B2 (en) | 2002-06-28 | 2006-09-19 | Seethrough Ltd. | Hair color measurement and treatment |
US20070058858A1 (en) * | 2005-09-09 | 2007-03-15 | Michael Harville | Method and system for recommending a product based upon skin color estimated from an image |
US7508508B2 (en) | 2006-09-19 | 2009-03-24 | Seethrough Ltd. | Device and method for inspecting a hair sample |
US20100185064A1 (en) * | 2007-01-05 | 2010-07-22 | Jadran Bandic | Skin analysis methods |
EP2124185B1 (en) | 2007-02-16 | 2017-08-30 | Kao Corporation | Hair image display method and display device |
US20090036800A1 (en) | 2007-07-30 | 2009-02-05 | Michael Rabin | Hair Densitometer |
WO2011024160A1 (en) | 2009-08-24 | 2011-03-03 | Ofer Levi | A method and apparatus for providing hair dyeing composition |
EP2375981B1 (en) * | 2010-03-02 | 2013-05-01 | The Procter and Gamble Company | Method for assessing the damage of keratin fibers |
US10869626B2 (en) * | 2010-06-07 | 2020-12-22 | Affectiva, Inc. | Image analysis for emotional metric evaluation |
US9316580B2 (en) | 2011-03-21 | 2016-04-19 | Coloright Ltd. | Systems for custom coloration |
EP2691014A1 (en) | 2011-03-30 | 2014-02-05 | The Gillette Company | Method of viewing a surface |
FR2975804B1 (fr) * | 2011-05-27 | 2022-06-17 | Lvmh Rech | Procede de caracterisation du teint de la peau ou des phaneres |
FR2980270A1 (fr) | 2011-09-19 | 2013-03-22 | Natura Cosmeticos Sa | Procede pour determiner l'etat des cheveux et systeme de diagnostic pour la prescription d'un traitement et/ou produit cosmetique personnalise |
US9528935B2 (en) * | 2012-03-30 | 2016-12-27 | Haripriya Pulyassary | Water weather station for monitoring changes in water quality |
JP6131597B2 (ja) * | 2012-12-28 | 2017-05-24 | 花王株式会社 | 皮膚の評価方法及び皮膚の評価システム |
US10285624B2 (en) * | 2013-03-12 | 2019-05-14 | University Of Washington | Systems, devices, and methods for estimating bilirubin levels |
US9064279B1 (en) | 2013-05-22 | 2015-06-23 | Sephora USA, Inc. | System for cosmetics matching based on skin tone |
KR101456942B1 (ko) | 2013-11-10 | 2014-11-12 | 한규나 | 머리카락 및 두피상태 진단장치 |
WO2015166340A2 (en) * | 2014-04-27 | 2015-11-05 | Coloright Ltd. | Apparatus and method for analyzing hair and/or predicting an outcome of a hair-coloring treatment |
US9928410B2 (en) * | 2014-11-24 | 2018-03-27 | Samsung Electronics Co., Ltd. | Method and apparatus for recognizing object, and method and apparatus for training recognizer |
US9928601B2 (en) * | 2014-12-01 | 2018-03-27 | Modiface Inc. | Automatic segmentation of hair in images |
DE102015225459A1 (de) * | 2015-12-16 | 2017-06-22 | Henkel Ag & Co. Kgaa | Verfahren und Datenverarbeitungsvorrichtung zum computergestützten Ermitteln eines Haarfärbemittels zum Färben von Haaren in einer Wunschhaarfarbe und Vorrichtung zum Herstellen eines individuell ermittelten Haarfärbemittels |
US10699213B2 (en) * | 2016-03-07 | 2020-06-30 | Micron Technology, Inc. | Space efficient random decision forest models implementation utilizing automata processors |
US11579336B2 (en) * | 2016-04-22 | 2023-02-14 | Illumina, Inc. | Photonic structure-based devices and compositions for use in luminescent imaging of multiple sites within a pixel, and methods of using the same |
CN106022221B (zh) * | 2016-05-09 | 2021-11-30 | 腾讯科技(深圳)有限公司 | 一种图像处理方法及处理系统 |
FR3052039B1 (fr) | 2016-06-01 | 2018-07-13 | L'oreal | Systeme et procede de determination de parametres du cuir chevelu et/ou des cheveux pour la preconisation de produits cosmetiques |
US11690560B2 (en) * | 2016-10-24 | 2023-07-04 | Akili Interactive Labs, Inc. | Cognitive platform configured as a biomarker or other type of marker |
EP3592176A4 (en) * | 2017-03-07 | 2020-08-26 | Shiseido Americas Corporation | SYSTEM AND METHOD FOR SETTING CUSTOM TOPICAL AGENTS |
KR101936751B1 (ko) * | 2017-05-22 | 2019-04-09 | 주식회사 엘지생활건강 | 화장품 공급 장치 및 그의 동작 방법 |
DE102017211782A1 (de) * | 2017-07-10 | 2019-01-10 | Henkel Ag & Co. Kgaa | System und Verfahren zum Verbessern eines kosmetischen Haarzustands |
US20200193503A1 (en) * | 2017-08-16 | 2020-06-18 | Henkel Ag & Co. Kgaa | Method and device for computer-supported hair treatment consultation |
CN107909566A (zh) * | 2017-10-28 | 2018-04-13 | 杭州电子科技大学 | 一种基于深度学习的皮肤癌黑色素瘤的图像识别方法 |
EP3530179A1 (en) * | 2018-02-27 | 2019-08-28 | Koninklijke Philips N.V. | Obtaining images for use in determining one or more properties of skin of a subject |
US11680063B2 (en) * | 2018-09-06 | 2023-06-20 | Insilico Medicine Ip Limited | Entangled conditional adversarial autoencoder for drug discovery |
US20230210245A1 (en) * | 2021-12-30 | 2023-07-06 | L'oreal | Predictive application for ai-powered dispensing device for hair treatment |
-
2018
- 2018-09-20 EP EP18195776.2A patent/EP3627444B1/en active Active
- 2018-09-20 EP EP24151919.8A patent/EP4345745A3/en active Pending
-
2019
- 2019-07-15 JP JP2021538896A patent/JP7179998B2/ja active Active
- 2019-07-15 US US17/277,166 patent/US20220005189A1/en active Pending
- 2019-07-15 CN CN201980061174.XA patent/CN112740266B/zh active Active
- 2019-07-15 WO PCT/EP2019/069047 patent/WO2020057803A1/en active Application Filing
- 2019-07-15 KR KR1020217007390A patent/KR102670274B1/ko active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180014777A1 (en) * | 2015-06-15 | 2018-01-18 | Haim Amir | Systems and methods for adaptive skin treatment |
US20170270593A1 (en) * | 2016-03-21 | 2017-09-21 | The Procter & Gamble Company | Systems and Methods For Providing Customized Product Recommendations |
JP2019512797A (ja) * | 2016-03-21 | 2019-05-16 | ザ プロクター アンド ギャンブル カンパニー | カスタマイズされた製品の推奨を提供するためのシステム及び方法 |
JP2018068601A (ja) * | 2016-10-28 | 2018-05-10 | ロレアル | ヒトケラチン物質の状態について使用者に知らせるための方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230079899A (ko) * | 2021-11-29 | 2023-06-07 | (주)스톤랩 | 시각 인공지능 활용 비침습 피부 생체지표 추정 기반 피부염 판별 시스템 및 그 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP2022523623A (ja) | 2022-04-26 |
EP3627444A1 (en) | 2020-03-25 |
EP4345745A2 (en) | 2024-04-03 |
US20220005189A1 (en) | 2022-01-06 |
WO2020057803A1 (en) | 2020-03-26 |
CN112740266B (zh) | 2024-09-13 |
EP3627444C0 (en) | 2024-06-26 |
JP7179998B2 (ja) | 2022-11-29 |
EP4345745A3 (en) | 2024-06-19 |
CN112740266A (zh) | 2021-04-30 |
EP3627444B1 (en) | 2024-06-26 |
KR102670274B1 (ko) | 2024-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102670274B1 (ko) | 각질 표면의 특성을 결정하기 위한 방법과 시스템 및 상기 각질 표면을 처리하기 위한 방법과 시스템 | |
US11588979B2 (en) | System and method for capturing measurement images of an object to be measured | |
US7489816B2 (en) | Advanced cosmetic color analysis system and methods therefor | |
EP2124185B1 (en) | Hair image display method and display device | |
US11676157B2 (en) | System and method for adjusting custom topical agents | |
JP7235895B2 (ja) | 美容的皮膚特性を視覚化するための装置及び方法 | |
KR20190129064A (ko) | 맞춤형 국소제를 조정하기 위한 시스템 및 방법 | |
JP7248820B2 (ja) | 美容的皮膚属性を決定するための機器及び方法 | |
US11530986B2 (en) | Image capture and processing | |
WO2016152900A1 (ja) | 画像処理装置及び撮像装置 | |
US11896114B2 (en) | System for managing hair condition information and method for optimizing a cosmetic consultation system | |
FR3094201A1 (fr) | Procédé de détermination de paramètres spécifiques à la coloration personnalisée de poils d’un individu donné | |
KR20210059214A (ko) | 인공 지능에 기반한 피부 진단을 통한 고객 맞춤형 피부 외용제의 제공 방법 | |
US20080144143A1 (en) | Method for color characterization and related systems | |
KR20200008484A (ko) | 피부 진단을 통한 화장품 추천 시스템 | |
Bokaris et al. | Hair tone estimation at roots via imaging device with embedded deep learning | |
US20240265533A1 (en) | Computer-based body part analysis methods and systems | |
KR20230010977A (ko) | 피부 유전 예보 및 이를 통한 화장품 추천 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) |