KR20200003402A - 겉보기 피부 나이를 결정하기 위한 시스템 및 방법 - Google Patents

겉보기 피부 나이를 결정하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20200003402A
KR20200003402A KR1020197035250A KR20197035250A KR20200003402A KR 20200003402 A KR20200003402 A KR 20200003402A KR 1020197035250 A KR1020197035250 A KR 1020197035250A KR 20197035250 A KR20197035250 A KR 20197035250A KR 20200003402 A KR20200003402 A KR 20200003402A
Authority
KR
South Korea
Prior art keywords
image
skin
age
cnn
skin age
Prior art date
Application number
KR1020197035250A
Other languages
English (en)
Other versions
KR102297301B1 (ko
Inventor
안쿠르 푸와르
폴 조나단 매트
매튜 아담 슈레브
원청 우
바일라이 수
Original Assignee
더 프록터 앤드 갬블 캄파니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 프록터 앤드 갬블 캄파니 filed Critical 더 프록터 앤드 갬블 캄파니
Publication of KR20200003402A publication Critical patent/KR20200003402A/ko
Application granted granted Critical
Publication of KR102297301B1 publication Critical patent/KR102297301B1/ko

Links

Images

Classifications

    • G06K9/00228—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G06K9/00281—
    • G06K9/00362—
    • G06K9/2054—
    • G06K9/3233—
    • G06K9/4628—
    • G06K9/6261—
    • G06K9/6274—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • G06K2009/00322—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

사람의 겉보기 피부 나이를 결정하고 맞춤형 피부 케어 제품 추천을 제공하기 위한 시스템 및 방법. 시스템은 컴퓨팅 디바이스를 이용하여 사람의 이미지 내의 안면 매크로 특징을 마스킹하고 이어서 컨볼루션 뉴럴 네트워크로 이미지를 분석하여 사람의 겉보기 피부 나이를 결정한다. 겉보기 피부 나이를 결정하는 것은 피부 나이를 나타내는 적어도 하나의 픽셀을 식별하고, 적어도 하나의 픽셀을 이용하여 겉보기 피부 나이를 제공하는 것을 포함할 수 있다. 시스템은 사람의 목표 피부 나이를 결정하고, 목표 피부 나이를 달성하기 위한 피부 케어 제품 또는 피부 케어 요법을 결정하고, 사용자가 제품을 구매하기 위한 옵션을 제공하는 데 사용될 수 있다.

Description

겉보기 피부 나이를 결정하기 위한 시스템 및 방법
본 출원은 일반적으로 사람의 피부의 겉보기 나이를 결정하기 위한 시스템 및 방법에 관한 것이다. 보다 구체적으로, 본 출원은 소비자의 피부의 나이를 더 정확하게 결정하기 위해 이미지 처리 기법 및 하나 이상의 컨볼루션 뉴럴 네트워크(convolutional neural network)를 사용하는 것에 관한 것이다.
피부는 그렇지 않으면 밑에 있는 민감한 조직 및 기관에 피해를 입힐 환경에 의한 손상에 대한 첫 번째 방어선이다. 또한, 피부는 사람의 신체적 외관에 있어서 중요한 역할을 한다. 일반적으로, 대부분의 사람은 더 젊고 건강하게 보이는 피부를 원한다. 그리고 어떤 사람들에게는, 비박화 피부(thinning skin), 주름, 및 검버섯과 같은 피부 노화의 숨길 수 없는 징후는 젊음이 사라짐을 상기시키는 달갑지 않은 것이다. 그 결과, 피부 노화의 징후를 처치하는 것이 젊음을 의식하는 사회에서 호황 사업이 되었다. 처치는 미용 크림 및 보습제에서 다양한 형태의 미용 성형 수술에 이른다.
매우 다양한 미용 피부 케어 제품이 피부 상태의 처치를 위해 판매되고 있지만, 소비자가 그들이 어떤 피부 케어 제품을 사용해야 할지를 결정하는 데 어려움을 겪는 것은 드문 일이 아니다. 예를 들어, 그의 실제 나이보다 더 늙어 보이는 피부를 가진 누군가는 더 젊어 보이는 피부를 가진 누군가와 비교해 상이한 제품 또는 요법을 필요로 할 수 있다. 따라서, 사람의 피부의 겉보기 나이를 정확하게 결정하는 것이 바람직할 것이다.
컴퓨터 모델/알고리즘을 사용하여 사람의 이미지(예를 들어, "셀피")를 분석함으로써 사람의 겉보기 피부 나이를 결정하려는 많은 시도가 이루어졌다. 컴퓨터 모델에 의해 제공된 결과는 이어서 소비자에게 피부 프로파일(예를 들어, 피부 나이, 수분 레벨, 또는 유질(oiliness)) 및/또는 제품 추천을 제공하는 데 사용될 수 있다. 피부 나이를 모델링함에 있어서의 과거 시도들은 컴퓨터 모델/예측을 추진하는 주요 인자로서 안면 매크로 특징(macro feature)들(눈, 귀, 코, 입 등)에 의존하였다. 그러나, 매크로 특징 기반 시스템은 소비자에 대한 나이 인지를 추진하는 다른 피부 외관 단서(예를 들어, 잔주름, 주름, 및 색소 침착 상태와 같은 마이크로 특징(micro feature)들)를 적절하게 이용하지 못할 수 있으며, 이는 겉보기 피부 나이의 불량한 예측으로 이어질 수 있다.
피부 나이 및/또는 피부 상태를 모델링하려는 다른 과거 시도들은 번거로운 장비 또는 기법들을 이용하였다(예를 들어, 고정 카메라, 현미경, 교차 편광된 광, 경면 반사율, 및/또는 공간 주파수 분석). 따라서, 소비자가 제품 및/또는 피부 케어 요법 추천을 받을 수 있도록 피부를 분석하는, 사용하기 편리하고/하거나 이동성을 가진 시스템을 소비자에게 제공하는 것이 바람직할 것이다.
따라서, 맞춤형 피부 케어 제품 또는 요법 추천을 제공하는 데 도움을 주도록 사용될 수 있는, 사람의 피부의 겉보기 나이를 편리하게 결정하는 개선된 방법에 대한 필요성이 여전히 존재한다.
사람의 겉보기 피부 나이를 결정하고 사용자에게 맞춤형 피부 케어 제품 추천을 제공하기 위한 시스템 및 방법이 본 명세서에 개시된다. 이 시스템 및 방법은 컴퓨팅 디바이스를 이용하여 사람의 안면을 묘사하는 사람의 이미지를 처리하고, 이어서 처리된 이미지를 분석한다. 처리 동안, 사람의 안면이 이미지에서 식별되고 안면 매크로 특징들이 마스킹된다. 처리된 이미지가 분석된다. 겉보기 피부 나이를 결정하는 것은 피부 나이를 나타내는 적어도 하나의 픽셀을 식별하고, 적어도 하나의 픽셀을 이용하여 겉보기 피부 나이를 제공하는 것을 포함할 수 있다. CNN에 의한 분석 및, 선택적으로, 사용자에 의해 제공된 다른 데이터에 기초하여, 시스템은 사람의 겉보기 피부 나이를 결정하고/하거나 그 사람을 위한 피부 케어 제품 또는 피부 케어 요법을 제공할 수 있다.
도 1은 본 시스템의 예를 묘사한다.
도 2는 사람의 이미지에서 식별된 매크로 특징들을 묘사한다.
도 3a는 세그먼트화된 이미지(segmented image)를 묘사한다.
도 3b는 바운딩된 이미지(bounded image)를 묘사한다.
도 4a 내지 도 4g는 마스킹된 매크로 특징들을 묘사한다.
도 5a 내지 도 5g는 마스킹된 매크로 특징들을 묘사한다.
도 6b 내지 도 6g는 관심 영역들을 묘사한다.
도 7은 이미지를 처리하는 방법의 흐름도이다.
도 8 및 도 9는 겉보기 피부 나이를 결정하기 위한 컨볼루션 뉴럴 네트워크를 묘사한다.
도 10 내지 도 21은 예시적인 사용자 인터페이스들을 묘사한다.
도 22는 피부 케어 제품 및/또는 요법 추천을 제공하기 위한 원격 컴퓨팅 디바이스를 예시한다.
도 23은 사용자에게 제품 추천을 제공하는 방법의 흐름도이다.
화장품 업계에서 소비자에게 맞춤형 제품 추천을 제공하기 위해 다양한 시스템 및 방법이 사용되었다. 예를 들어, 몇몇 잘 알려진 시스템은 사람의 안면의 사진에서 일반적으로 보이는 하나 이상의 매크로 특징(예를 들어, 눈, 귀, 코, 입 및/또는 모발)이 디지털 사진 또는 "셀피"와 같은 캡처된 이미지(captured image)에서 검출되고 미리 정의된 정의와 비교되는 매크로 특징 기반 분석을 사용한다. 그러나, 매크로 특징 기반 분석 시스템은 겉보기 피부 나이의 적절하게 정확한 표시를 제공하지 못할 수 있다. 종래의 마이크로 특징 기반 시스템은 평균적인 소비자에 의한 사용에 적합하지 않을 수 있는, 번거로운 장비 또는 기법들을 이용할 수 있다.
안면 매크로 특징들을 마스킹하고 컨볼루션 뉴럴 네트워크("CNN")를 이용하여 안면 마이크로 특징들을 분석하는 것이 사람의 겉보기 피부 나이의 적절하게 정확한 결정을 제공할 수 있는 것으로 이제 밝혀졌다. CNN 기반 이미지 분석 시스템은 비교적 적은 이미지 전처리를 사용하도록 구성될 수 있으며, 이는 사전 지식 및 미리 결정된 정의에 대한 시스템의 의존을 감소시키고 이미지를 분석하는 데 필요한 컴퓨터 메모리 및/또는 처리 능력을 감소시킨다. 결과적으로, 본 시스템은 종래의 매크로 특징 기반 이미지 분석 시스템과 비교하여 개선된 일반화를 입증하며, 이는 시스템을 사용하는 소비자에게 더 나은 피부 케어 제품 또는 요법 추천으로 이어질 수 있다.
정의
본 명세서에 사용된 바와 같은 "약"은 특정 값을, 그 특정 값 플러스 또는 마이너스 20%(+/- 20%) 또는 그 미만(예를 들어, 15%, 10% 미만, 또는 심지어 5% 미만)과 동등한 범위를 지칭함으로써 수식한다.
"겉보기 피부 나이"는 캡처된 이미지에 기초하여, 본 명세서의 시스템에 의해 계산된 사람의 피부의 나이를 의미한다.
"컨볼루션 뉴럴 네트워크"는 개별 뉴런들이 그들이 시야 내의 중첩 영역들에 응답하는 방식으로 타일링된 피드-포워드 인공 뉴럴 네트워크의 한 유형이다.
"결합된"은, 본 명세서의 시스템의 다양한 컴포넌트들을 지칭할 때, 그 컴포넌트들이 서로 전기적으로, 전자적으로, 그리고/또는 기계적으로 연결되는 것을 의미한다.
"배치된"은 하나의 요소가 다른 요소에 대해 특정 위치에 위치되는 것을 의미한다.
"이미지 캡처 디바이스"는 사람의 이미지를 캡처할 수 있는 디지털 카메라와 같은 디바이스를 의미한다.
"접합된"은 하나의 요소를 다른 요소에 직접 부착함으로써 하나의 요소가 다른 요소에 직접적으로 고정되게 하는 구성, 및 하나의 요소를 중간 부재(들)에 부착하고 중간 부재(들)가 이어서 다른 요소에 부착됨으로써 하나의 요소가 다른 요소에 간접적으로 고정되게 하는 구성을 의미한다.
"매크로 특징들"은 인간의 안면 상에서 또는 그 근처에서 발견되는 비교적 큰 신체 특징들이다. 매크로 특징들은 안면 형상, 귀, 눈, 입, 코, 모발, 및 눈썹을 제한 없이 포함한다.
"마스킹"은 이미지 내의 매크로 특징들 내에 그리고/또는 그에 근접하게 배치된 픽셀들 중 적어도 일부를, 관심 영역 내에 배치된 픽셀들에 더 가까운 또는 그와 동일한 RGB 값을 갖는 픽셀들로 디지털 방식으로 대체하는 프로세스를 지칭한다.
"마이크로 특징들"은 인간의 안면 상에서 발견되는 노화 피부 및/또는 피부 장애와 일반적으로 연관된 비교적 작은 특징들이다. 마이크로 특징들은 잔주름, 주름, 건성 피부 특징(예를 들어, 피부 조각(skin flake)) 및 색소 침착 장애(예를 들어, 과다 색소 침착 상태)를 제한 없이 포함한다. 마이크로 특징들은 매크로 특징들을 포함하지 않는다.
"사람"은 인간을 의미한다.
"관심 영역" 또는 "RoI"는 겉보기 피부 나이를 제공하기 위해 CNN에 의한 분석이 요망되는 이미지 또는 이미지 세그먼트 내의 피부의 특별히 바운딩된 부분을 의미한다. 관심 영역의 몇몇 비제한적인 예는 매크로 특징들이 마스킹된 이마, 뺨, 비구순 주름(nasolabial fold), 눈밑 영역, 또는 턱을 묘사하는 이미지의 일부를 포함한다.
"세그먼트화"는 이미지를 분석을 위한 2개 이상의 별개의 존(zone)으로 분할하는 것을 지칭한다.
"목표 피부 나이"는 겉보기 피부 나이와는 상이한 미리 결정된 연수인 피부 나이를 의미한다.
본 명세서에서 "사용자"는 예를 들어 디바이스 사용자, 제품 사용자, 시스템 사용자 등을 포함하여, 적어도 본 명세서에서 제공되는 특징들을 사용하는 사람을 지칭한다.
본 명세서의 시스템들 및 방법들은 사람의 이미지로부터 그 사람의 겉보기 피부 나이를 결정하기 위해 다단계(예를 들어, 2, 3, 4 또는 그 초과의 단계) 접근법을 이용한다. CNN이 이미지를 처리 및 분석하거나 전체 안면 이미지를 분석하는 단일 단계 프로세스 대신에 다단계 프로세스를 사용함으로써, CNN은 나이 인지를 추진하는 중요한 특징들(예를 들어, 마이크로 특징들)에 집중하고, 이미지를 분석하는 데 필요한 컴퓨팅 능력을 감소시키고 매크로 특징들에 의해 시스템에 도입될 수 있는 편견을 감소시킬 수 있다.
제1 단계에서, 시스템의 메모리 컴포넌트에 저장된 처리 로직은 시스템이 다음 중 하나 이상(예를 들어, 모두)을 수행하게 한다: 분석을 위한 이미지에서 안면을 식별함, 이미지를 정규화함, 식별된 안면 상의 하나 이상의(예를 들어, 모든) 안면 매크로 특징들을 마스킹함, 및 분석을 위한 이미지를 세그먼트화함. 처리 단계들은, 원하는 대로, 임의의 순서로 수행될 수 있다. 처리된 이미지는 분석을 위한 하나 이상의 입력 변형(input variant)으로서 컨볼루션 뉴럴 네트워크에 제공된다. CNN 분석의 결과는 각각의 세그먼트의 겉보기 피부 나이 및/또는 전체 안면에 대한 전반적인 피부 나이를 제공하는 데 사용된다.
도 1은 사람의 이미지를 캡처하고, 이미지를 분석하고, 사람의 피부 나이를 결정하고, 선택적으로, 사용자에게 맞춤형 피부 케어 요법 및/또는 제품 추천을 제공하기 위한 예시적인 시스템(10)을 묘사한다. 시스템(10)은 네트워크(100)(예를 들어, 이동 전화 네트워크, 공중 교환 전화 네트워크, 위성 네트워크, 및/또는 인터넷과 같은 광역 네트워크; 와이파이(wireless-fidelity), 위맥스(Wi-Max), 지그비(ZigBee)™, 및/또는 블루투스(Bluetooth)™와 같은 근거리 네트워크; 및/또는 다른 적합한 형태의 네트워킹 능력들)를 포함할 수 있다. 네트워크(100)에, 모바일 컴퓨팅 디바이스(102), 원격 컴퓨팅 디바이스(104), 및 훈련 컴퓨팅 디바이스(108)가 결합된다.
모바일 컴퓨팅 디바이스(102)는 모바일 전화, 태블릿, 랩톱, 개인 휴대 정보 단말기, 및/또는 디지털 사진과 같은 이미지를 캡처, 저장, 및/또는 전송하도록 구성된 다른 컴퓨팅 디바이스일 수 있다. 따라서, 모바일 컴퓨팅 디바이스(102)는 디지털 카메라와 같은 이미지 캡처 디바이스(103)를 포함할 수 있고/있거나, 다른 디바이스들로부터 이미지들을 수신하도록 구성될 수 있다. 모바일 컴퓨팅 디바이스(102)는 이미지 캡처 로직(144a) 및 인터페이스 로직(144b)을 저장하는 메모리 컴포넌트(140a)를 포함할 수 있다. 메모리 컴포넌트(140a)는 랜덤 액세스 메모리(예컨대, SRAM, DRAM 등), 판독 전용 메모리(ROM), 레지스터, 및/또는 다른 형태의 컴퓨팅 저장 하드웨어를 포함할 수 있다. 이미지 캡처 로직(144a) 및 인터페이스 로직(144b)은 소프트웨어 컴포넌트, 하드웨어 회로, 펌웨어, 및/또는 다른 컴퓨팅 인프라를 포함할 수 있다. 이미지 캡처 로직(144a)은 사용자의 디지털 이미지를 캡처하는 것, 저장하는 것, 전처리하는 것, 분석하는 것, 전송하는 것, 및/또는 그에 대해 다른 기능들을 수행하는 것을 용이하게 할 수 있다. 인터페이스 로직(144b)은 질문, 옵션 등을 포함할 수 있는 하나 이상의 사용자 인터페이스를 사용자에게 제공하도록 구성될 수 있다. 모바일 컴퓨팅 디바이스(102)가 또한 네트워크(100)를 통해 다른 컴퓨팅 디바이스들과 통신하도록 구성될 수 있다.
원격 컴퓨팅 디바이스(104)가 또한 네트워크(100)에 결합될 수 있으며, 서버(또는 복수의 서버), 개인용 컴퓨터, 모바일 컴퓨터, 및/또는 사용자의 안면의 캡처된 이미지에서 피부 나이에 기여하는 피부 특징들을 찾고 분석함으로써 사용자의 피부 나이를 결정할 수 있는 컨볼루션 뉴럴 네트워크를 생성, 저장, 및/또는 훈련시키도록 구성된 다른 컴퓨팅 디바이스로서 구성될 수 있다. 예를 들어, CNN은 원격 컴퓨팅 디바이스(104)의 메모리 컴포넌트(140b)에 로직(144c 및 144d)으로서 저장될 수 있다. 잔주름, 주름, 어두운 반점(검버섯), 고르지 않은 피부 톤, 부스럼, 확장된 모공, 붉음, 황변, 이들의 조합 등과 같은 일반적으로 인지되는 피부 결함들이 모두 사용자의 피부 나이에 기여하는 것으로서 훈련된 CNN에 의해 식별될 수 있다.
원격 컴퓨팅 디바이스(104)는 훈련 로직(144c), 분석 로직(144d), 및/또는 처리 로직(144e)을 저장하는 메모리 컴포넌트(140b)를 포함할 수 있다. 메모리 컴포넌트(140b)는 랜덤 액세스 메모리(예컨대, SRAM, DRAM 등), 판독 전용 메모리(ROM), 레지스터, 및/또는 다른 형태의 컴퓨팅 저장 하드웨어를 포함할 수 있다. 훈련 로직(144c), 분석 로직(144d), 및/또는 처리 로직(144e)은 소프트웨어 컴포넌트, 하드웨어 회로, 펌웨어, 및/또는 다른 컴퓨팅 인프라를 포함할 수 있다. 훈련 로직(144c)은 CNN의 생성 및/또는 훈련을 용이하게 하며, 이에 따라 CNN의 생성 및/또는 작동을 용이하게 할 수 있다. 처리 로직(144e)은 모바일 컴퓨팅 디바이스(102)(또는 다른 컴퓨팅 디바이스)로부터 수신된 이미지가 분석 로직(144d)에 의한 분석을 위해 처리되게 한다. 이미지 처리는 매크로 특징 식별, 마스킹, 세그먼트화, 및/또는 다른 이미지 변경 프로세스들을 포함할 수 있으며, 이들은 아래에서 더 상세히 설명된다. 분석 로직(144d)은 겉보기 피부 나이, 제품 추천 등을 제공하기 위해 원격 컴퓨팅 디바이스(104)가 처리된 이미지를 분석하게 한다.
몇몇 경우에, 훈련 컴퓨팅 디바이스(108)는 CNN의 훈련을 용이하게 하기 위해 네트워크(100)에 결합될 수 있다. 예를 들어, 트레이너가 훈련 컴퓨팅 디바이스(108)를 통해 안면 또는 피부의 하나 이상의 디지털 이미지를 CNN에 제공할 수 있다. 트레이너는 또한 어떤 평가가 올바르고 어떤 평가가 올바르지 않은지를 CNN에 알리기 위해 정보 및 다른 설명(예를 들어, 실제 나이)을 제공할 수 있다. 트레이너로부터의 입력에 기초하여, CNN은 아래에서 더 상세히 설명되는 바와 같이 자동으로 조정할 수 있다.
시스템(10)은 또한 키오스크 컴퓨팅 디바이스(106)를 포함할 수 있는데, 이는 모바일 컴퓨팅 디바이스(102)와 유사하게 작동할 수 있지만, 또한 하나 이상의 제품을 판매하고/하거나 현금 또는 전자 거래의 형태의 지불을 받는 것이 가능할 수 있다. 물론, 지불 및/또는 제품 판매를 또한 제공하는 모바일 컴퓨팅 디바이스(102)가 본 명세서에서 고려된다는 것이 인식되어야 한다. 몇몇 경우에, 키오스크 컴퓨팅 디바이스(106) 및/또는 모바일 컴퓨팅 디바이스(102)는 또한 CNN의 훈련을 용이하게 하도록 구성될 수 있다. 따라서, 모바일 컴퓨팅 디바이스(102) 및 원격 컴퓨팅 디바이스(104)에 대해 묘사되고/되거나 설명된 하드웨어 및 소프트웨어가 키오스크 컴퓨팅 디바이스(106), 훈련 컴퓨팅 디바이스(108), 및/또는 다른 디바이스들에 포함될 수 있다. 유사하게, 도 21의 원격 컴퓨팅 디바이스(2104)에 대해 묘사되고/되거나 설명된 하드웨어 및 소프트웨어가 모바일 컴퓨팅 디바이스(102), 원격 컴퓨팅 디바이스(104), 키오스크 컴퓨팅 디바이스(106), 및 훈련 컴퓨팅 디바이스(108) 중 하나 이상에 포함될 수 있다.
원격 컴퓨팅 디바이스(104)가 도 1에 이미지 처리 및 이미지 분석을 수행하는 것으로서 묘사되어 있지만, 이는 단지 예일 뿐이라는 것이 또한 이해되어야 한다. 이미지 처리 및/또는 이미지 분석은, 원하는 대로, 임의의 적합한 컴퓨팅 디바이스에 의해 수행될 수 있다.
이미지 처리
본 명세서의 이미지 분석 프로세스의 제1 단계에서, 본 시스템은 사람의 적어도 하나의 안면을 포함하는 이미지를 수신하고 CNN에 의한 분석을 위한 이미지를 준비한다. 이미지는 예를 들어 디지털 카메라를 포함하는 스마트폰과 같은 임의의 적합한 소스로부터 수신될 수 있다. 적어도 1 메가픽셀 이미지를 생성하고 이 이미지를 적합한 이미지 처리 로직 및/또는 이미지 분석 로직에 액세스할 수 있는 컴퓨팅 디바이스(들)로 전자적으로 전송할 수 있는 카메라를 사용하는 것이 바람직할 수 있다.
일단 이미지가 수신되면, 처리 로직은 인간 안면을 포함하는 이미지의 부분(들)을 식별한다. 처리 로직은 예를 들어 색 및/또는 색 대비 기법, 흑백 배경 특징들의 제거, 기하학적 모델 또는 하우스도르프 거리(Hausdorff distance)를 사용하는 에지 기반 기법, 약한 캐스케이드 기법, 또는 이들의 조합과 같은, 당업계에 공지된 임의의 적합한 기법을 사용하여 이미지에 존재하는 인간 안면(들)을 검출하도록 구성될 수 있다. 몇몇 경우에, 문헌["International Journal of Computer Vision" 57(2), 137-154, 2004]에서 폴 비올라(Paul Viola) 및 마이클 존스(Michael Jones)에 의해 설명된, 비올라-존스(Viola-Jones) 타입의 약한 캐스케이드 기법을 사용하는 것이 특히 바람직할 수 있다.
몇몇 경우에, 본 시스템에 의해 수신된 이미지는 하나 초과의 안면을 포함할 수 있지만, 사용자는 이미지 내의 모든 안면을 분석하기를 원하지 않을 수 있다. 예를 들어, 사용자는 단지 피부 케어 처치 및/또는 제품과 관련된 조언을 구하는 사람의 안면만을 분석하기를 원할 수 있다. 따라서, 본 시스템은 분석을 위한 원하는 이미지(들)만을 선택하도록 구성될 수 있다. 예를 들어, 처리 로직은 이미지에서의 안면의 상대 위치(예를 들어, 중심), 안면의 상대 크기(예를 들어, 가장 큰 "직사각형"), 또는 이들의 조합에 기초하여 분석을 위한 가장 유력한 안면을 선택할 수 있다. 대안적으로 또는 추가적으로, 본 시스템은 처리 로직에 의해 선택된 안면이 올바른지를 확인하기 위해 사용자에게 질의하고/하거나, 사용자에게 분석을 위한 하나 이상의 안면을 선택하도록 요청할 수 있다. 당업계에 공지된 임의의 적합한 사용자 인터페이스 기법이 사용자에게 질의하고/하거나 사용자가 이미지에 존재하는 하나 이상의 안면을 선택하는 것을 가능하게 하는 데 사용될 수 있다.
일단 적절한 안면(들)이 추가 처리를 위해 선택되면, 처리 로직은 앵커 특징들(즉, 처리 로직이 이미지를 정규화하고/하거나 세그먼트화하기 위해 사용할 수 있는 기준 포인트들)로서 사용될 수 있는 하나 이상의 안면 랜드마크(예를 들어, 눈, 코, 입, 또는 그의 일부)를 검출한다. 몇몇 경우에, 처리 로직은 안면을 이미지의 나머지 부분으로부터 격리시키는 바운딩 박스를 생성할 수 있다. 이러한 방식으로, 배경 객체, 바람직하지 않은 매크로 특징들, 및/또는 이미지에서 보이는 다른 신체 부분들이 제거될 수 있다. 관심 있는 안면 랜드마크들은 공지된 랜드마크 검출 기법(예를 들어, 비올라-존스 또는 안면 형상/크기 인식 알고리즘)을 사용하여 검출될 수 있다.
도 2는 눈(202), 코(204), 및 입의 모서리들(206)이 앵커 특징들로서의 사용을 위해 처리 로직에 의해 식별되는 랜드마크 검출 기법의 예를 예시한다. 이 예에서, 이미지를 정규화하는 것은 이미지들 사이의 변동성을 감소시키기 위해 이미지를 회전시키는 것 및/또는 이미지의 크기를 스케일링하는 것을 포함할 수 있다.
도 3a는 이미지(300)를 후속 처리 및/또는 분석을 위한 별개의 존들로 세그먼트화하는 예를 예시한다. 몇몇 경우에, 세그먼트화된 이미지(300)는 도 3a에 예시된 바와 같이 모바일 컴퓨팅 디바이스를 통해 사용자에게 제시될 수 있다. 그러나, 몇몇 경우에, 세그먼트화된 이미지는 단지 이미지 처리의 일부이고 사용자에게 디스플레이되지 않을 수 있다. 도 3a에 예시된 바와 같이, 이미지는 이마 세그먼트(301), 왼쪽 및 오른쪽 눈 세그먼트(302 및 303), 왼쪽 및 오른쪽 뺨/비구순 주름 세그먼트(304 및 305), 및 턱 세그먼트(306)를 포함하는 6개의 세그먼트로 분리된다. 몇몇 경우에, 예를 들어 소위 T-존 또는 U-존과 같은, 화장품 업계에서 피부를 분석하는 데 일반적으로 사용되는 존들을 반영하도록 이미지가 세그먼트화될 수 있고/있거나 2개 이상의 세그먼트가 조합될 수 있다. T-존은 일반적으로 화장품 업계에서 이마를 가로질러 측방향으로 그리고 이마의 대략 중간으로부터 코의 끝까지 또는 턱의 하단까지 종방향으로 연장되는 안면의 부분으로서 인식된다. T-존은 그것이 대문자 T와 닮았기 때문에 그렇게 명명된다. U-존은 일반적으로 한 쪽 뺨 아래로 종방향으로, 턱을 가로질러 측방향으로, 그리고 이어서 다시 다른 쪽 뺨까지 위로(종방향으로) 연장되는 안면의 부분으로서 인식된다. U-존은 그것이 문자 U와 닮았기 때문에 그렇게 명명된다.
안면 세그먼트화는 예를 들어 당업자에게 알려진 바와 같이 TCDCN(tasks constrained deep convolutional network) 또는 다른 적합한 기법에 의해 수행될 수 있다. 안면 이미지를 세그먼트화하는 것은 분석 로직이 각각의 세그먼트에 대한 겉보기 나이를 제공할 수 있게 하며, 이는 중요할 수 있는데, 왜냐하면 몇몇 세그먼트들이 다른 세그먼트들보다 더 많이 전반적인 피부 나이 인지에 영향을 미치는 것으로 알려져 있기 때문이다. 따라서, 각각의 세그먼트는 그 세그먼트가 피부 나이의 인지에 미치는 영향을 반영하도록 가중될 수 있다. 몇몇 경우에, 처리 로직은 안면 이미지의 전체 높이(즉, 턱의 하단으로부터 이마의 상단까지의 거리)가 특정 값(예를 들어, 700 내지 800 픽셀, 700 내지 750 픽셀, 또는 심지어 약 716 픽셀)을 초과하지 않도록 시스템이 세그먼트화된 이미지를 스케일링하게 할 수 있다.
도 3b는 바운딩 박스(320)로 이미지(310)를 바운딩하는 예를 예시한다. 바운딩 박스(320)는 턱의 하단으로부터 이마의 상단까지 종방향으로, 그리고 한 쪽 관자놀이로부터 다른 쪽 관자놀이까지 측방향으로 연장될 수 있다. 바운딩 박스(320)는 배경 객체들, 매크로 특징들 또는 그의 일부(예를 들어, 모발, 귀), 및/또는 이미지에 존재할 수 있는 다른 신체 객체들(예를 들어, 목, 가슴, 어깨, 팔 또는 이마)의 전부 또는 일부를 제거하도록 크기설정될 수 있다. 물론, 모든 크기의 바운딩 박스들이 본 명세서에서 고려된다. 바운딩은 이미지 세그먼트화 전에, 후에 또는 그와 동시에 발생할 수 있다. 몇몇 경우에, 바운딩 박스(320) 및/또는 바운딩된 이미지(310)는 도 3b에 예시된 바와 같이 모바일 컴퓨팅 디바이스를 통해 사용자에게 제시될 수 있지만, 반드시 그럴 필요는 없다.
안면 매크로 특징들이 CNN에 의한 피부 나이 분석에 악영향을 주는 것을 방지하는 것이 중요하다. 안면 매크로 특징들이 마스킹되지 않으면, CNN은 잔주름 및 주름과 같은 마이크로 특징 단서보다는 매크로 특징 단서로부터 사람의 피부 나이를 예측하는 것을 학습할 수 있으며, 이는 사람들이 어떻게 피부 나이를 인지하는지에 대해 훨씬 더 많은 영향을 미치는 것으로 알려져 있다. 이는 잔주름, 주름 및 색소 침착 장애와 같은 안면 마이크로 특징들을 제거하도록 이미지를 디지털 방식으로 변경하고, 시스템에 의해 제공되는 겉보기 나이가 변하지 않음을 관찰하는 것에 의해 입증될 수 있다. 마스킹은 이미지가 세그먼트화되고/되거나 바운딩되기 전에 및/또는 후에 발생할 수 있다. 본 시스템에서, 마스킹은 안면 매크로 특징들에서의 픽셀들을 균일한 0이 아닌(즉, 흑색), 255가 아닌(즉, 백색) RGB 값을 갖는 픽셀들로 대체함으로써 달성될 수 있다. 예를 들어, 매크로 특징에서의 픽셀들을 관심 영역 내의 피부의 중간 RGB 값을 갖는 픽셀들로 대체하는 것이 바람직할 수 있다. 이론에 의해 제한됨이 없이, 안면 매크로 특징들을 균일하게 채색된 픽셀들 또는 달리 아무 특징도 없는 픽셀들로 마스킹함으로써, CNN이 매크로 특징들 이외의 특징들(예를 들어, 잔주름 및 주름과 같은 안면 마이크로 특징들)을 사용하여 나이를 예측하는 것을 학습할 것이라고 여겨진다. 본 명세서에서 마스킹은 예를 들어 매트랩(Matlab)(등록상표) 브랜드 컴퓨터 소프트웨어와 같은 당업계에 공지된 임의의 적합한 마스킹 수단을 사용하여 달성될 수 있다.
위에 설명된 바와 같이 안면 매크로 특징들을 마스킹하는 때에도, 정교한 컨볼루션 뉴럴 네트워크는 여전히 "팬텀" 매크로 특징들에 기초하여 피부 나이를 예측하는 것을 학습할 수 있다. 다시 말해서, 뉴럴 네트워크는 여전히 중간 RGB 픽셀들의 패턴들에 있어서의 차이들을 인식하는 것을 학습할 수 있는데, 그 이유는 그 패턴들이 일반적으로 마스킹된 안면 매크로 특징의 크기 및/또는 위치에 대응하기 때문이다. 이어서 CNN은 그 패턴 차이들을 그의 나이 예측 분석에 적용할 수 있다. 이 문제를 회피하기 위해, CNN으로의, 처리된 이미지의 하나 초과의 입력 변형(예를 들어, 2개, 3개, 4개, 5개, 또는 6개, 또는 그 초과)을 사용하는 것이 중요하다. 마스킹된 매크로 특징들이 어떻게 CNN에 제시되는지를 변화시킴으로써, 이론에 의해 제한됨이 없이, CNN은 피부 나이를 예측하기 위해 중간 RGB 픽셀 패턴들에 있어서의 차이들을 사용하는 것을 학습할 가능성이 적은 것으로 여겨진다.
도 4a 내지 도 4g는 안면의 이미지가 6개의 별개의 존으로 세그먼트화된 다음, 각각의 세그먼트 내의 매크로 특징들이 원하는 관심 영역을 제공하도록 마스킹되는 제1 입력 변형의 예를 예시한다. 이 예에서, 처리 로직은 이미지 세그먼트 내의 매크로 특징들(예를 들어, 눈, 코, 입, 귀, 눈썹, 모발)과 연관된 모든 픽셀이 관련 관심 영역(예를 들어, 매크로 특징들을 포함하지 않는 이미지의 일부)에 위치한 모든 픽셀의 중간 RGB 색 공간 값으로 채워지게 한다. 도 4b는 이마 RoI를 제공하기 위해 이마 세그먼트에서 눈 및/또는 눈썹이 어떻게 마스킹되는지를 예시한다. 도 4c 및 도 4d는 눈밑 RoI를 제공하기 위해 눈밑 세그먼트에서 눈, 눈썹, 코, 뺨 및 모발이 어떻게 마스킹되는지를 예시한다. 도 4e 및 도 4f는 뺨/비구순 주름 RoI를 제공하기 위해 뺨/비구순 주름 세그먼트에서 코, 입, 및 모발이 어떻게 마스킹되는지를 예시한다. 도 4g는 턱 RoI를 제공하기 위해 턱 세그먼트에서 입이 어떻게 마스킹되는지를 예시한다. 도 4a는 개별적으로 마스킹된 세그먼트들이 조합되고 배경 특징들이 바운딩 박스에 의해 제거될 때 마스킹된 특징들이 전체 안면의 이미지 상에서 어떻게 나타날지를 예시한다.
도 5a 내지 도 5g는 제2 입력 변형의 예를 예시한다. 이 예에서, 처리 로직은 안면("전체 안면")의 세그먼트화되지 않은 이미지 내의 매크로 특징과 연관된 모든 픽셀이 관심 영역 내에 배치된 모든 픽셀의 중간 RGB 값으로 채워지게 한다. 그 후 처리 로직은 마스킹된 전체 안면 이미지가, 예를 들어 위에 설명된 바와 같이 세그먼트화되게 할 수 있다. 도 5a는 소정 매크로 특징들이 마스킹되고 배경 특징들이 바운딩 박스에 의해 제거된 전체 안면 이미지를 예시한다. 도 5b 내지 도 5g는 도 5a의 마스킹된 전체 안면 이미지가 세그먼트화될 때 각각의 관심 영역이 어떻게 나타나는지를 예시한다. 도 4a 내지 도 4g가 도 5a 내지 도 5g에서의 그들의 대응물들과 비교될 때, 전체 안면 이미지들 및 개별 관심 영역들 둘 모두가 서로 약간 상이하다.
도 6a 내지 도 6g는 제3 입력 변형의 예를 예시한다. 이 예에서, 처리 로직은 시스템이 전체 안면 이미지에서 관심 영역들을 식별한 다음, 이미지를 관심 영역들을 포함하는 6개의 별개의 존으로 세그먼트화하게 한다. 도 6a는 코가 앵커 특징으로서 사용되고 6개의 이미지 세그먼트가 식별되는 전체 안면 이미지를 예시한다. 도 6b 내지 도 6g는 각각의 이미지 세그먼트로부터 추출된 관심 영역을 예시한다. 도 6b는 이마 RoI를 묘사하고; 도 6c 및 6d는 각각 눈밑 RoI를 묘사하고; 도 6e 및 도 6f는 각각 뺨/비구순 주름 RoI를 묘사하고; 도 6g는 턱 RoI를 묘사한다.
몇몇 경우에, CNN에 의한 분석을 위한 특정 관심 영역의 일부만을 선택하는 것이 바람직할 수 있다. 예를 들어, 관심 영역의 중심에 그리고/또는 그 주위에 배치된 피부의 패치를 선택하고, 선택된 피부 패치를 균일한 크기로 스케일링하는 것이 바람직할 수 있다. 이 예를 계속하여, 피부 단독 영역의 가장 큰 직사각형이 각각의 관심 영역의 중심으로부터 추출되고 256 픽셀 × 256 픽셀 피부 패치로 리스케일링될 수 있다.
도 7은 본 명세서의 방법들 및 시스템들에 대한 이미지 처리 흐름 경로(700)를 예시한다. 블록(702)에서, 이미지가 시스템에 의해 수신된다. 블록(704)에서, 처리 로직은 수신된 이미지 내의 하나 이상의 안면이 추가 처리를 위해 검출되거나 선택되게 한다. 블록(706)에서, 처리 로직은 검출되거나 선택된 안면에서 랜드마크 특징들이 검출되게 한다. 블록(708)에서, 처리 로직은 이미지가 정규화되게 한다. 블록들(710A 및 710B)에서, 처리 로직은 제1 입력 변형(710)의 일부로서 이미지가 세그먼트화되게 하고 각각의 세그먼트 내의 매크로 특징들이 마스킹되게 한다. 블록들(711A 및 711B)에서, 처리 로직은 제2 입력 변형(711)의 일부로서 정규화된 이미지 내의 매크로 특징들이 마스킹된 다음 세그먼트화되게 한다. 블록들(712A 및 712B)에서, 처리 로직은 제3 입력 변형(712)의 일부로서 시스템이 CNN에 의한 분석을 위한 관심 영역들을 식별한 다음 이미지를 세그먼트화하게 한다. 블록(714)에서, 처리 로직은 각각의 관심 영역의 일부가 추출되고 적합한 크기로 스케일링되게 한다.
컨볼루션 뉴럴 네트워크
본 명세서의 시스템들 및 방법들은 사람의 피부(예를 들어, 안면 피부)의 이미지를 분석함으로써 사용자에게 겉보기 피부 나이를 제공하기 위해, 인실리코(in silico) 피부 모델로서 기능하는, 훈련된 컨볼루션 뉴럴 네트워크를 사용한다. CNN은 한 레이어에서 각각의 픽셀에 대해 동일한 필터를 사용하는 뉴런 컬렉션의 다수의 레이어를 포함한다. 부분적으로 그리고 완전히 연결된 레이어들의 다양한 조합에서 각각의 픽셀에 대해 동일한 필터를 사용하는 것은 시스템의 메모리 및 처리 요건을 감소시킨다. 몇몇 경우에, CNN은 다수의 딥 네트워크(deep network)를 포함하는데, 이들은 특정 이미지 세그먼트 및/또는 관심 영역에 대해 별개의 컨볼루션 뉴럴 네트워크들로서 훈련되고 기능한다.
도 8은 본 명세서에서 사용하기 위한 CNN(800) 구성의 예를 예시한다. 도 8에 예시된 바와 같이, CNN(800)은 이 예에서 관심 있는 이마, 눈밑 영역, 뺨/비구순 주름, 및 턱 영역들의 부분들인, 개별 관심 영역들 또는 그의 부분들을 분석하기 위한 4개의 개별 딥 네트워크를 포함한다. 물론, CNN은 원하는 대로 더 적은 딥 네트워크 또는 더 많은 딥 네트워크를 포함할 수 있음이 인식되어야 한다. 각각의 딥 네트워크로부터의 이미지 분석 결과는 그것 각자의 관심 영역에 대한 겉보기 피부 나이를 제공하는 데 사용될 수 있고/있거나 전반적인 겉보기 피부 나이를 제공하도록 연결될 수 있다.
본 명세서의 CNN은 딥 러닝 기법을 사용하여 훈련될 수 있는데, 이 기법은 포유류 시각 피질이 이미지에서 중요한 특징들을 인식하는 것을 학습하는 것과 거의 동일한 방식으로, CNN이 이미지의 어떤 부분들이 피부 나이에 기여하는지를 학습할 수 있게 한다. 예를 들어, CNN은 사람의 피부 나이에 기여하는 픽셀들의 위치, 색, 및/또는 음영(예를 들어, 밝음 또는 어두움)을 결정하도록 훈련될 수 있다. 몇몇 경우에, CNN 훈련은 네스테로프 모멘텀(Nesterov momentum)(및/또는 다른 알고리즘)과 함께 미니-배치(mini-batch) 확률적 경사 하강법(stochastic gradient descent, SGD)을 사용하는 것을 수반할 수 있다. 확률적 경사 하강법을 이용하는 예가 미국 제8,582,807호에 개시되어 있다.
몇몇 경우에, CNN은 훈련되지 않은 CNN에 학습할 다수의 캡처된 이미지를 제공함으로써 훈련될 수 있다. 몇몇 경우에, CNN은 지도 학습(supervised learning)으로 불리는 프로세스를 통해 피부 나이에 기여하는 이미지 내의 피부의 부분들을 식별하는 것을 학습할 수 있다. "지도 학습"은 일반적으로 CNN이 이미지 내의 사람의 나이가 미리 결정된 이미지들을 분석함으로써 훈련된다는 것을 의미한다. 원하는 정확도에 따라, 훈련 이미지들의 수는 소수의 이미지에서 다수의 이미지(예를 들어, 수백 또는 심지어 수천) 내지 이미지들의 연속 입력(즉, 연속 훈련을 제공하기 위해)까지 다양할 수 있다.
본 명세서의 시스템들 및 방법들은 광범위한 피부 타입들에 대해 사용자의 겉보기 나이를 정확하게 예측할 수 있는 훈련된 CNN을 이용한다. 겉보기 나이를 생성하기 위해, (예를 들어, 사람의 안면의 이미지로부터 획득된) 관심 영역의 이미지 또는 그의 일부가 훈련된 CNN을 통해 순방향 전파된다. CNN은 이미지 또는 이미지 부분을 분석하고, 사용자의 예측 나이에 기여하는 이미지 내의 피부 마이크로 특징들("트러블 스폿(trouble spot)들")을 식별한다. 그 후 CNN은 트러블 스폿들을 사용하여 관심 영역에 대한 겉보기 피부 나이 및/또는 전반적인 겉보기 피부 나이를 제공한다.
몇몇 경우에, CNN에 입력된 이미지는 예를 들어 차폐(예를 들어, 이미지의 일부를 덮는 모발, 관심 영역의 그림자 형성)로 인해 분석에 적합하지 않을 수 있다. 이들 경우에, CNN 또는 다른 로직은 CNN에 의한 분석 전에 이미지를 폐기하거나 겉보기 나이의 생성 전에 CNN 분석의 결과를 폐기할 수 있다.
도 9는 본 시스템에서 사용하기 위한 컨볼루션 뉴럴 네트워크(900)의 예를 묘사한다. CNN(900)은 입력된 이미지(905)(예를 들어, 관심 영역 또는 그의 일부), 하나 이상의 컨볼루션 레이어(C1, C2), 하나 이상의 서브샘플링 레이어(S1 및 S2), 하나 이상의 부분적으로 연결된 레이어, 하나 이상의 완전히 연결된 레이어, 및 출력을 포함할 수 있다. 분석을 시작하기 위해 또는 CNN을 훈련시키기 위해, 이미지(905)가 CNN(900)에 입력된다(예를 들어, 사용자의 이미지). CNN은 이미지의 하나 이상의 부분을 샘플링하여 제1 컨볼루션 레이어(C1) 내에 하나 이상의 특징 맵을 생성할 수 있다. 예를 들어, 도 9에 예시된 바와 같이, CNN은 이미지(905)의 6개의 부분을 샘플링하여 제1 컨볼루션 레이어(C1) 내에 6개의 특징 맵을 생성할 수 있다. 다음으로, CNN은 제1 컨볼루션 레이어(C1) 내의 특징 맵(들)의 하나 이상의 부분을 서브샘플링하여 제1 서브샘플링 레이어(S1)를 생성할 수 있다. 몇몇 경우에, 특징 맵의 서브샘플링된 부분은 특징 맵의 면적의 절반일 수 있다. 예를 들어, 특징 맵이 이미지(905)로부터의 29 × 29 픽셀의 샘플 면적을 포함하는 경우, 서브샘플링된 면적은 14 × 14 픽셀일 수 있다. CNN(900)은 제2 컨볼루션 레이어(C2) 및 제2 서브샘플링 레이어(S2)를 제공하기 위해 하나 이상의 추가적인 레벨의 샘플링 및 서브샘플링을 수행할 수 있다. CNN(900)은 원하는 대로 임의의 수의 컨볼루션 레이어 및 서브샘플링 레이어를 포함할 수 있음이 인식되어야 한다. 최종 서브샘플링 레이어(예를 들어, 도 9의 레이어(S2))의 완성시, CNN(900)은 모든 뉴런이 모든 다른 뉴런에 연결되는, 완전히 연결된 레이어(F1)를 생성한다. 완전히 연결된 레이어(F1)로부터, CNN은 예측된 나이 또는 히트 맵(heat map)과 같은 출력을 생성할 수 있다.
몇몇 경우에, 본 시스템은 목표 피부 나이(예를 들어, 사람의 겉보기 나이에서 미리 결정된 연수(예를 들어, 10년, 9년, 8년, 7년, 6년, 5년, 4년, 3년, 2년, 또는 1년)를 뺀 값) 또는 사람의 실제 나이를 결정할 수 있다. 시스템은 목표 나이가 그라디언트(gradient)로서 다시 원래 이미지로 전파되게 할 수 있다. 그 후 그라디언트의 복수의 채널의 절대 값이 적어도 하나의 픽셀에 대해 합산되고 시각화 목적으로 0 내지 1로 스케일링될 수 있다. 스케일링된 픽셀들의 값은 사용자의 피부 나이의 결정에 가장 많이(그리고 가장 적게) 기여하는 픽셀들을 나타낼 수 있다. 각각의 스케일링 값(또는 값들의 범위)에 색 또는 음영이 할당될 수 있으며, 따라서 픽셀들의 스케일링된 값들을 그래픽으로 나타내기 위해 가상 마스크가 생성될 수 있다. 몇몇 경우에, CNN 분석은, 선택적으로 사용자에 의해 제공되는 버릇 및 습관 입력과 함께, 피부 케어 제품 및/또는 요법 추천을 제공하는 것을 돕는 데 사용될 수 있다.
도 10은 사용자의 이미지를 캡처하고 맞춤형 제품 추천을 제공하기 위한 예시적인 사용자 인터페이스(1030)를 묘사한다. 예시된 바와 같이, 모바일 컴퓨팅 디바이스(1002)는 사용자의 이미지를 캡처하기 위한 애플리케이션을 제공할 수 있다. 따라서, 도 10은 이미지를 캡처하고 맞춤형 제품 추천을 제공하는 프로세스를 시작하기 위한 모바일 컴퓨팅 디바이스(1002) 상의 소개 페이지를 묘사한다. 사용자 인터페이스(1030)는 또한 프로세스를 시작하기 위한 시작 옵션(1032)을 포함한다.
도 11은 본 시스템의 사용자에게 겉보기 피부 나이 및/또는 맞춤형 제품 추천을 제공하기 위해 분석되는 이미지를 예시하는 예시적인 사용자 인터페이스(1130)를 묘사한다. 도 10으로부터의 시작 옵션(1032)의 선택에 응답하여, 사용자 인터페이스(1130)가 제공될 수 있다. 예시된 바와 같이, 이미지 캡처 디바이스(103)가 사용자의 이미지를 캡처하는 데 이용될 수 있다. 몇몇 실시예에서, 사용자는 이전에 캡처된 이미지를 이용할 수 있다. 여하튼, 이미지의 캡처시, 이미지는 사용자 인터페이스(1130)에 제공될 수 있다. 사용자가 이미지가 이용되는 것을 원하지 않으면, 사용자는 이미지를 재촬영할 수 있다. 사용자가 이미지를 승인하면, 사용자는 다음 옵션(1132)을 선택하여 이미지의 분석을 시작하고 다음 사용자 인터페이스로 진행할 수 있다.
도 12는 제품 추천을 맞춤화하는 데 도움을 주기 위해 사용자에게 설문지를 제공하기 위한 예시적인 사용자 인터페이스(1230)를 묘사한다. 예시된 바와 같이, 사용자 인터페이스(1230)는 제품 선호도, 현재 요법 등을 비롯해, 사용자에 관한 추가적인 세부 사항들을 결정하기 위한 하나 이상의 질문을 제공할 수 있다. 예로서, 질문은 사용자가 자외선 차단제가 있는 보습제를 이용하는지를 포함할 수 있다. 사용자가 선택하기 위한 하나 이상의 미리 정의된 답변(1232)이 제공될 수 있다.
도 13은 설문지에 대한 추가적인 프롬프트들을 제공하기 위한 예시적인 사용자 인터페이스(1330)를 묘사한다. 도 12의 사용자 인터페이스(1230)로부터의 요청된 데이터를 입력하는 것에 응답하여, 사용자 인터페이스(1330)가 제공될 수 있다. 예시된 바와 같이, 사용자 인터페이스(1330)는 사용자가 선택하기 위한 3개의 미리 정의된 답변(1332)과 함께 다른 질문(예컨대, 사용자가 향기가 나는 피부 케어 제품을 선호하는지)을 제공한다. 선택된 답변(들)을 제출하기 위한 제출 옵션(1334)이 또한 제공될 수 있다. 도 13 및 도 14는 2개의 질문을 제공하지만, 특정 실시예에 따라, 임의의 수의 질문이 사용자에게 제공될 수 있다는 것이 이해되어야 한다. 질문 및 질문의 수는 본 명세서에 예시된 단계들 중 하나 이상에서 입력될 수 있는 사용자의 실제 나이에, 사용자의 피부 나이에, 그리고/또는 다른 인자에 좌우될 수 있다.
도 14는 캡처된 이미지에 기초하여 사용자의 피부 나이를 제공하기 위한 예시적인 사용자 인터페이스(1430)를 묘사한다. 도 13 및 도 14의 설문지를 완성하는 것에 응답하여, 사용자 인터페이스(1430)가 제공될 수 있다. 예시된 바와 같이, 사용자 인터페이스(1430)는 사용자의 피부 나이 및 캡처된 이미지와 함께, 관심 영역(들) 중 어느 영역(들)이 CNN에 의해 제공되는 겉보기 피부 나이에 기여하고 있는지를 나타내기 위한 적어도 하나의 식별자(1432)를 제공할 수 있다. 몇몇 경우에, 시스템은 또한 CNN에 의해 제공되는 겉보기 피부 나이에 기여하는 관심 영역들의 목록(1434)을 제공할 수 있다. 맞춤형 제품 추천을 보기 위한 제품 추천 옵션(1438)뿐만 아니라 설명(1436)이 또한 제공될 수 있다.
도 15는 이미지 분석의 결과를 디스플레이하기 위한 다른 예시적인 사용자 인터페이스(1530)를 예시한다. 사용자 인터페이스(1530)는 분석이 성공적이었는지 또는 프로세스 동안 직면한 문제가 있었는지(예를 들어, 이미지 품질이 불량했는지)를 나타내는 결과 섹션(1532)을 포함할 수 있다. 사용자 인터페이스(1530)는 제품 추천 옵션(도시되지 않음)을 포함할 수 있다. 추가적으로 또는 대안적으로, 결과 섹션(1532)은 사용자에 대한 전반적인 겉보기 피부 나이 및/또는 각각의 관심 영역에 대한 겉보기 피부 나이를 디스플레이할 수 있다. 사용자 인터페이스(1530)는 사용자에게 나이 입력 옵션(1536)을 제시할 수 있다. 추가 예측 옵션(1538)이 또한 제공될 수 있다.
도 16은 제품 추천을 제공하기 위한 예시적인 사용자 인터페이스(1630)를 묘사한다. 사용자에 의한 제품 추천 옵션의 선택에 응답하여, 사용자 인터페이스(1630)가 제공될 수 있다. 예시된 바와 같이, 사용자 인터페이스(1630)는 사용자의 나이, 사용자의 겉보기 피부 나이에 기여하는 관심 영역들, 및/또는 목표 나이(예를 들어, 겉보기 피부 나이 및/또는 실제 사용자의 나이에서 미리 결정된 연수를 뺀 값)에 기초하여 결정된 하나 이상의 추천 제품을 제공할 수 있다. 구체적으로, 적어도 하나의 제품은 사용자의 겉보기 피부 나이에 가장 많이 기여하는 관심 영역 내에 배치된 피부에 적용 가능한 것으로서 결정될 수 있다. 예로서, 크림, 보습제, 로션, 자외선 차단제, 클렌저 등이 추천될 수 있다. 추천 요법을 제공하기 위한 요법 옵션(1632)이 또한 제공된다. 구매 옵션(1634)이 또한 제공될 수 있다.
도 17은 제품 추천의 세부 사항을 제공하기 위한 예시적인 사용자 인터페이스(1730)를 묘사한다. 도 16으로부터의 요법 옵션(1632)의 선택에 응답하여, 사용자 인터페이스(1730)가 제공될 수 있다. 예시된 바와 같이, 사용자 인터페이스(1730)는 제품 옵션(1732) 및 사용자의 미용 요법에서 추천 제품을 사용하기 위한 스케줄 옵션(1734)을 제공할 수 있다. 미용 요법의 제1 단계와 관련된 추가적인 정보가 섹션(1736)에서 제공될 수 있다. 유사하게, 요법의 제2 및/또는 후속 단계와 관련된 데이터가 섹션(1738)에서 제공될 수 있다.
도 18은 추천 미용 요법을 제공하는 예시적인 사용자 인터페이스(1830)를 묘사한다. 도 17로부터의 스케줄 옵션(1734)의 선택에 응답하여, 사용자 인터페이스(1830)가 제공될 수 있다. 사용자 인터페이스(1830)는 추천 제품들의 목록뿐만 아니라, 요법에 대한 스케줄 세부 사항을 포함한 스케줄을 제공할 수 있다. 구체적으로, 사용자 인터페이스(1830)는 제품이 제공될 수 있는 시각을 제공할 수 있다. 세부 사항 옵션(1834)이 사용자에게 제품 및 요법에 관한 추가적인 세부 사항을 제공할 수 있다.
도 19는 미용 요법 및 거기서 사용되는 제품과 연관된 추가적인 세부 사항을 제공하기 위한 예시적인 사용자 인터페이스(1930)를 묘사한다. 사용자 인터페이스(1930)는 도 18로부터의 세부 사항 옵션(1834)의 선택에 응답하여 제공될 수 있다. 예시된 바와 같이, 사용자 인터페이스(1930)는 제품, 적용 팁 등에 관한 세부 사항을 제공할 수 있다. 몇몇 경우에, "이면의 과학(science-behind)" 옵션(1932, 1936) 및 "데모 방법(how-to-demo)" 옵션(1934, 1938)이 제공될 수 있다. 이면의 과학 옵션(1932, 1936)의 선택에 응답하여, 추천 제품 및 적용 요법에 관한 세부 사항이 제공될 수 있다. 데모 방법 옵션(1934, 1938)의 선택에 응답하여, 제품을 적용하기 위한 전략에 대해 사용자에게 지시하기 위한 오디오 및/또는 비디오가 제공될 수 있다. 유사하게, (도 19에 묘사된 단계 2와 같은) 요법의 후속 부분들이 또한 이면의 과학 옵션(1932, 1936) 및 데모 방법 옵션(1934, 1938)을 포함할 수 있다.
도 20은 결정된 요법과 관련된 추천을 제공하기 위한 예시적인 사용자 인터페이스(2030)를 묘사한다. 구매 옵션(1634)(도 16)의 선택에 응답하여, 사용자 인터페이스(2030)가 제공될 수 있다. 예시된 바와 같이, 사용자 인터페이스(2030)는 하나 이상의 추천 제품을 구매하기 위한 구매 옵션들(2032, 2034, 2036)을 포함한다. 사용자 인터페이스(2030)는 또한 카트에 추가(add-to-cart) 옵션(2038) 및 추가 쇼핑(shop-more) 옵션(2040)을 제공할 수 있다.
도 21은 사용자 타임라인에 제품 추천을 제공하기 위한 예시적인 사용자 인터페이스(2130)를 묘사한다. 예시된 바와 같이, 사용자 인터페이스(2130)는 추천 제품들 중 하나 이상이 사용자의 타임라인에 추가되었다는 통지를 제공할 수 있다. 제품의 구매시(예를 들어, 도 19로부터의 사용자 인터페이스(1930)를 통해), 구매된 제품은 사용자를 위한 추천 요법에 추가될 수 있다. 그렇기 때문에, 통지는 수락 옵션(2132) 및 타임라인 보기 옵션(2134)을 포함할 수 있다.
도 22는 본 명세서에 설명된 실시예들에 따른, 맞춤형 피부 케어 제품 및/또는 요법 추천들을 제공하기 위한 원격 컴퓨팅 디바이스(2204)의 컴포넌트들을 묘사한다. 원격 컴퓨팅 디바이스(2204)는 프로세서(2230), 입력/출력 하드웨어(2232), 네트워크 인터페이스 하드웨어(2234), 데이터 저장 컴포넌트(2236)(이미지 데이터(2238a), 제품 데이터(2238b), 및/또는 다른 데이터를 저장함), 및 메모리 컴포넌트(2240b)를 포함한다. 메모리 컴포넌트(2240b)는 휘발성 및/또는 비휘발성 메모리로서 구성될 수 있으며, 그렇기 때문에 랜덤 액세스 메모리(SRAM, DRAM, 및/또는 다른 타입의 RAM을 포함함), 플래시 메모리, SD(secure digital) 메모리, 레지스터, 콤팩트 디스크(CD), 디지털 다기능 디스크(DVD), 및/또는 다른 타입의 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 특정 실시예에 따라, 이들 비일시적 컴퓨터 판독가능 매체는 원격 컴퓨팅 디바이스(2204) 내에 그리고/또는 원격 컴퓨팅 디바이스(2204) 외부에 상주할 수 있다.
메모리 컴포넌트(2240b)는 오퍼레이팅 로직(2242), 처리 로직(2244b), 훈련 로직(2244c), 및 분석 로직(2244d)을 저장할 수 있다. 훈련 로직(2244c), 처리 로직(2244b), 및 분석 로직(2244d)은 각각 복수의 상이한 로직 피스(piece)를 포함할 수 있으며, 이들 각각은 예로서 컴퓨터 프로그램, 펌웨어, 및/또는 하드웨어로서 구현될 수 있다. 로컬 통신 인터페이스(2246)가 또한 도 22에 포함되며, 원격 컴퓨팅 디바이스(2204)의 컴포넌트들 간의 통신을 용이하게 하도록 버스 또는 다른 통신 인터페이스로서 구현될 수 있다.
프로세서(2230)는 (예를 들어, 데이터 저장 컴포넌트(2236) 및/또는 메모리 컴포넌트(2240b)로부터) 명령어를 수신하여 실행하도록 동작 가능한 임의의 처리 컴포넌트를 포함할 수 있다. 위에 설명된 바와 같이, 입력/출력 하드웨어(2232)는 도 22의 컴포넌트들을 포함하고/하거나 그들과 인터페이스하도록 구성될 수 있다.
네트워크 인터페이스 하드웨어(2234)는 안테나, 모뎀, LAN 포트, 와이파이(Wi-Fi) 카드, 위맥스 카드, 블루투스™ 모듈, 모바일 통신 하드웨어, 및/또는 다른 네트워크 및/또는 디바이스와 통신하기 위한 다른 하드웨어를 포함한, 임의의 유선 또는 무선 네트워킹 하드웨어를 포함하고/하거나 그와 통신하도록 구성될 수 있다. 이러한 연결로부터, 원격 컴퓨팅 디바이스(2204)와 다른 컴퓨팅 디바이스들, 예컨대 도 1에 묘사된 것들 사이에서 통신이 용이하게 될 수 있다.
오퍼레이팅 시스템 로직(2242)은 원격 컴퓨팅 디바이스(2204)의 컴포넌트들을 관리하기 위한 오퍼레이팅 시스템 및/또는 다른 소프트웨어를 포함할 수 있다. 위에서 논의된 바와 같이, 훈련 로직(2244c)은 메모리 컴포넌트(2240b)에 상주할 수 있고 프로세서(2230)가 컨볼루션 뉴럴 네트워크를 훈련시키게 하도록 구성될 수 있다. 처리 로직(2244b)이 또한 메모리 컴포넌트(2244b)에 상주하고 분석 로직(2244d)에 의한 분석 전에 이미지를 처리하도록 구성될 수 있다. 유사하게, 분석 로직(2244d)은 피부 나이 예측을 위해 이미지들을 분석하는 데 이용될 수 있다.
도 22의 컴포넌트들이 원격 컴퓨팅 장치(2204) 내에 상주하는 것으로서 예시되지만, 이는 단지 예일 뿐임이 이해되어야 한다. 몇몇 실시예에서, 컴포넌트들 중 하나 이상이 원격 컴퓨팅 디바이스(2204) 외부에 상주할 수 있고/있거나 원격 컴퓨팅 디바이스(2204)가 모바일 디바이스로서 구성될 수 있다. 원격 컴퓨팅 디바이스(2204)가 단일 디바이스로서 예시되지만, 이것 또한 단지 예일 뿐임이 또한 이해되어야 한다. 몇몇 실시예에서, 훈련 로직(2244c), 처리 로직(2244b), 및/또는 분석 로직(2244d)은 상이한 컴퓨팅 디바이스들 상에 상주할 수 있다. 예로서, 본 명세서에 설명된 기능들 및/또는 컴포넌트들 중 하나 이상이 모바일 컴퓨팅 디바이스(102) 및/또는 원격 컴퓨팅 디바이스(104)에 통신 가능하게 결합될 수 있는 다른 디바이스들에 의해 제공될 수 있다. 이들 컴퓨팅 디바이스는 또한 본 명세서에 설명된 기능을 수행하기 위한 하드웨어 및/또는 소프트웨어를 포함할 수 있다.
또한, 원격 컴퓨팅 디바이스(2204)가 훈련 로직(2244c), 처리 로직(2244b), 및 분석 로직(2244d)을 별개의 논리 컴포넌트들로서 갖는 것으로 예시되지만, 이것 또한 예이다. 몇몇 실시예에서, 단일 로직 피스가 원격 컴퓨팅 디바이스(2204)가 설명된 기능을 제공하게 할 수 있다.
도 23은 맞춤형 제품 추천을 제공하기 위한 흐름도를 묘사한다. 블록(2350)에서, 사용자의 이미지가 캡처된다. 블록(2352)에서, 캡처된 이미지가 분석을 위해 처리된다. 블록(2354)에서, 질문이 사용자에게 제공된다. 블록(2356)에서, 질문에 대한 답변이 사용자로부터 수신된다. 블록(2358)에서, 이미지가 CNN에 의해 분석된다. 블록(2360)에서, 겉보기 피부 나이가 사용자에게 제공된다. 블록(2361)에서, 선택적인 피부 프로파일이 생성될 수 있다. 선택적인 피부 프로파일은, 예를 들어, 관심 영역들 중 하나 이상의 나이, 피부 상태, 또는 특정 관심 영역이 전반적인 피부 나이에 미치는 영향을 포함할 수 있다. 블록(2362)에서, 맞춤형 제품 추천이 사용자에게 제공된다.
몇몇 경우에, 본 명세서에 설명된 이미지들 및 다른 데이터 중 적어도 일부가 나중의 사용을 위해 이력 데이터로서 저장될 수 있다. 예로서, 이러한 이력 데이터에 기초하여 사용자 진전의 추적이 결정될 수 있다. 원하는 바에 따라, 다른 분석들이 또한 이러한 이력 데이터에 대해 수행될 수 있다.
본 명세서에 개시된 치수 및 값은 언급된 정확한 수치 값으로 엄격하게 제한되는 것으로 이해되어서는 안된다. 대신에, 달리 명시되지 않는 한, 각각의 그러한 치수는 언급된 값, 및 그 값 부근의 기능적으로 동등한 범위 둘 모두를 의미하는 것으로 의도된다. 예를 들어, "40 mm"로 개시된 치수는 "약 40 mm"를 의미하도록 의도된다.
임의의 상호 참조된 또는 관련된 특허 또는 출원, 및 이러한 출원이 우선권을 주장하거나 그것의 이익을 청구하는 임의의 특허 출원 또는 특허를 비롯한, 본 명세서에 인용된 모든 문헌은 이에 의해, 명백히 배제되거나 달리 제한되지 않는 한, 전체적으로 본 명세서에 참고로 포함된다. 임의의 문헌의 인용은 그것이 본 명세서에 개시된 또는 청구된 임의의 발명에 대한 종래 기술이라거나, 또는 그것이 단독으로 또는 임의의 다른 참고문헌 또는 참고문헌들과의 임의의 조합으로 임의의 그러한 발명을 교시하거나, 시사하거나, 개시한다는 것을 인정하는 것이 아니다. 또한, 본 문헌에서의 소정 용어의 임의의 의미 또는 정의가 참고로 포함되는 문헌에서의 동일한 용어의 임의의 의미 또는 정의와 상충되는 경우, 본 문헌에서 그 용어에 부여된 의미 또는 정의가 우선할 것이다.
본 발명의 특정 실시예가 예시되고 기술되었지만, 다양한 다른 변경 및 수정이 본 발명의 사상 및 범위로부터 벗어남이 없이 이루어질 수 있음이 당업자에게 명백할 것이다. 따라서 본 발명의 범위 내에 있는 모든 그러한 변경 및 수정을 첨부된 청구범위에서 포함하도록 의도된다.

Claims (10)

  1. 사람의 겉보기 피부 나이를 결정하기 위한 시스템으로서,
    로직이 저장된 비일시적 컴퓨터 판독가능 저장 매체를 포함하며, 상기 로직은 상기 시스템으로 하여금
    a) 인간 안면을 포함하는 디지털 이미지를 수신하고,
    b) 분석을 위해 상기 디지털 이미지를 처리하고 - 처리하는 것은 상기 디지털 이미지에서 상기 인간 안면을 찾고 상기 안면 상에 존재하는 적어도 하나의 매크로 특징(macro feature)을 마스킹하는 것을 포함함 -,
    c) 컨볼루션 뉴럴 네트워크(convolutional neural network, CNN)를 사용하여 상기 처리된 이미지를 분석하고 - 분석은 상기 사람의 피부 나이를 나타내는 안면 마이크로 특징(micro feature) 내에 배치된 적어도 하나의 픽셀을 식별하는 것을 포함함 -,
    d) 상기 CNN에 의한 분석에 기초하여 상기 사람의 겉보기 피부 나이를 결정하고,
    e) 사용자에게 보이는 디스플레이 디바이스 상에 상기 겉보기 피부 나이를 디스플레이하게 하는, 시스템.
  2. 사람의 겉보기 피부 나이를 결정하는 방법으로서, 제1항의 시스템을 사용하는 것을 포함하는, 방법.
  3. 제1항 또는 제2항에 있어서,
    이미지 캡처 디바이스(image capture device)가 컴퓨터에 결합되고, 상기 디지털 이미지는 상기 이미지 캡처 디바이스에 의해 캡처되고 상기 컴퓨터에 의해 수신되는, 시스템 또는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 매크로 특징을 마스킹하는 것은 안면 매크로 특징 내의 픽셀을 관심 영역 내에 배치된 피부의 중간 RGB 값을 갖는 픽셀로 대체하는 것을 포함하는, 시스템 또는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    분석을 위해 상기 이미지를 처리하는 것은 상기 이미지를 2개 이상의 이미지 세그먼트(segment)로 세그먼트화하는 것을 더 포함하는, 시스템 또는 방법.
  6. 제5항에 있어서,
    상기 CNN은 각각의 이미지 세그먼트에 대한 딥 뉴럴 네트워크(deep neural network)를 포함하는, 시스템 또는 방법.
  7. 제6항에 있어서,
    각각의 딥 뉴럴 네트워크는 상이한 이미지 세그먼트로부터의 관심 영역을 분석하고, 각각의 분석의 결과가 그 관심 영역에 대한 겉보기 피부 나이를 결정하는 데 사용되는, 시스템 또는 방법.
  8. 제7항에 있어서,
    모든 딥 뉴럴 네트워크 분석으로부터의 결과가 전반적인 겉보기 피부 나이를 제공하도록 연결되는, 시스템 또는 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 이미지를 처리하는 것은 상기 CNN에 2개 이상의 입력 변형(input variation)을 제공하는 것을 포함하는, 시스템 또는 방법.
  10. 제9항에 있어서,
    상기 이미지를 세그먼트화하고 이어서 상기 매크로 특징을 마스킹하는 것에 의해 제1 입력 변형이 제공되고, 상기 매크로 특징을 마스킹하고 이어서 상기 이미지를 세그먼트화하는 것에 의해 제2 입력 변형이 제공되는, 시스템 또는 방법.
KR1020197035250A 2017-05-31 2018-05-31 겉보기 피부 나이를 결정하기 위한 시스템 및 방법 KR102297301B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762513186P 2017-05-31 2017-05-31
US62/513,186 2017-05-31
PCT/US2018/035291 WO2018222808A1 (en) 2017-05-31 2018-05-31 Systems and methods for determining apparent skin age

Publications (2)

Publication Number Publication Date
KR20200003402A true KR20200003402A (ko) 2020-01-09
KR102297301B1 KR102297301B1 (ko) 2021-09-06

Family

ID=62713101

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197035250A KR102297301B1 (ko) 2017-05-31 2018-05-31 겉보기 피부 나이를 결정하기 위한 시스템 및 방법

Country Status (6)

Country Link
US (1) US10818007B2 (ko)
EP (1) EP3631679B1 (ko)
JP (1) JP6849825B2 (ko)
KR (1) KR102297301B1 (ko)
CN (1) CN110709856B (ko)
WO (1) WO2018222808A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102167185B1 (ko) * 2020-03-18 2020-10-19 이승락 피부 테스트 방법 및 이를 이용한 화장료 조성물 제조방법
EP3848683A1 (en) 2020-01-09 2021-07-14 SKF Sealing Solutions Korea Co., Ltd. Multi-turn absolute torque angle sensor module
KR20220055018A (ko) 2020-10-26 2022-05-03 딤포 몰라테리 안면 이미지에 기초하여 제품 추천을 제공하는 방법 및 장치
KR102406377B1 (ko) * 2021-08-13 2022-06-09 주식회사 에이아이네이션 인공지능 기반의 얼굴 부분별 화장 트랜스퍼 정도 조절이 가능한 가상 화장 방법 및 장치
KR102465456B1 (ko) * 2021-08-13 2022-11-11 주식회사 에이아이네이션 인공지능 기반의 얼굴 나이 및 주름 분석을 통한 개인 맞춤형 화장법 추천 방법 및 장치
WO2023054967A1 (ko) * 2021-09-29 2023-04-06 주식회사 엘지생활건강 나이 추정 장치
KR102530149B1 (ko) * 2022-07-01 2023-05-08 김수동 얼굴 피부 진단방법

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108701323B (zh) 2016-03-21 2023-11-10 宝洁公司 用于提供定制的产品推荐的系统和方法
WO2018126275A1 (en) * 2016-12-30 2018-07-05 Dirk Schneemann, LLC Modeling and learning character traits and medical condition based on 3d facial features
US10574883B2 (en) 2017-05-31 2020-02-25 The Procter & Gamble Company System and method for guiding a user to take a selfie
US10990858B2 (en) * 2018-01-05 2021-04-27 L'oreal Machine-implemented facial health and beauty assistant
CN110740252A (zh) * 2018-07-20 2020-01-31 华为技术有限公司 一种图像获取的方法、装置及终端
CN114502061B (zh) * 2018-12-04 2024-05-28 巴黎欧莱雅 使用深度学习的基于图像的自动皮肤诊断
US11961224B2 (en) * 2019-01-04 2024-04-16 Stella Surgical Device for the qualitative evaluation of human organs
WO2020170165A1 (en) * 2019-02-19 2020-08-27 Johnson & Johnson Consumer Inc. Use of artificial intelligence to identify novel targets and methodologies for skin care treatment
WO2020219613A1 (en) 2019-04-23 2020-10-29 The Procter & Gamble Company Apparatus and method for determining cosmetic skin attributes
US11416988B2 (en) 2019-04-23 2022-08-16 The Procter & Gamble Company Apparatus and method for visualizing visually imperceivable cosmetic skin attributes
WO2021003574A1 (en) * 2019-07-10 2021-01-14 Jiang Ruowei Systems and methods to process images for skin analysis and to visualize skin analysis
JP7341310B2 (ja) * 2019-07-10 2023-09-08 ジャン・ルオウェイ 皮膚分析のための画像処理、皮膚分析を視覚化するためのシステム及び方法
US20210056357A1 (en) * 2019-08-19 2021-02-25 Board Of Trustees Of Michigan State University Systems and methods for implementing flexible, input-adaptive deep learning neural networks
EP4038571A1 (en) * 2019-10-03 2022-08-10 Prieto, Pablo Detection and treatment of dermatological conditions
US11657481B2 (en) * 2019-11-18 2023-05-23 Shinyfields Limited Systems and methods for selective enhancement of skin features in images
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
US10811138B1 (en) * 2020-03-11 2020-10-20 Memorial Sloan Kettering Cancer Center Parameter selection model using image analysis
FR3108250A1 (fr) 2020-03-23 2021-09-24 Ieva Procede de determination d’un rituel beaute, dermatologique ou capillaire, associe a un utilisateur specifique
CN111582057B (zh) * 2020-04-20 2022-02-15 东南大学 一种基于局部感受野的人脸验证方法
CN113761985A (zh) * 2020-06-05 2021-12-07 中国科学院上海营养与健康研究所 用于确定影响面部衰老程度的局部区域的方法和装置
US20220122354A1 (en) * 2020-06-19 2022-04-21 Pinterest, Inc. Skin tone determination and filtering
CN111767858B (zh) * 2020-06-30 2024-03-22 北京百度网讯科技有限公司 图像识别方法、装置、设备和计算机存储介质
EP4150514A1 (en) * 2020-06-30 2023-03-22 L'Oréal High-resolution controllable face aging with spatially-aware conditional gans
KR20230110588A (ko) * 2020-12-23 2023-07-24 로레알 모델-추정 클래스 임베딩들을 통한 연속 효과의 적용
FR3118241A1 (fr) * 2020-12-23 2022-06-24 L'oreal Application d’un effet continu via des incorporations de classe estimée par le modèle
FR3125407A1 (fr) * 2021-07-23 2023-01-27 L'oreal Prédiction de résultats de traitement de vieillissement sur la base d’un âgéotype
EP4329591A1 (en) * 2021-04-30 2024-03-06 L'oreal Predicting aging treatment outcomes based on a skin ageotype
KR20240009440A (ko) * 2021-05-20 2024-01-22 이씨아 에스테틱 나비가치온 게엠베하 컴퓨터-기반 신체 부위 분석 방법들 및 시스템들
KR102436127B1 (ko) 2021-09-03 2022-08-26 주식회사 룰루랩 인공신경망에 기반하여 주름을 검출하는 방법 및 장치
US20230196552A1 (en) * 2021-12-16 2023-06-22 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin oiliness
US11816144B2 (en) 2022-03-31 2023-11-14 Pinterest, Inc. Hair pattern determination and filtering
WO2024029600A1 (ja) * 2022-08-04 2024-02-08 花王株式会社 肌状態推定方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053813A (ja) * 2010-09-03 2012-03-15 Dainippon Printing Co Ltd 人物属性推定装置、人物属性推定方法、及びプログラム
KR20160061856A (ko) * 2014-11-24 2016-06-01 삼성전자주식회사 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치

Family Cites Families (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4276570A (en) 1979-05-08 1981-06-30 Nancy Burson Method and apparatus for producing an image of a person's face at a different age
JP3799633B2 (ja) 1995-06-16 2006-07-19 セイコーエプソン株式会社 顔画像処理方法および顔画像処理装置
CN1146354C (zh) 1995-10-23 2004-04-21 斯托迈奇克公司 利用反射光谱成象分析血液的装置和方法
JP3912834B2 (ja) 1997-03-06 2007-05-09 有限会社開発顧問室 顔画像の修正方法、化粧シミュレーション方法、化粧方法、化粧サポート装置及びファンデーション転写膜
US6619860B1 (en) 1997-11-14 2003-09-16 Eastman Kodak Company Photobooth for producing digitally processed images
EP1039417B1 (en) 1999-03-19 2006-12-20 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for the processing of images based on morphable models
US6571003B1 (en) 1999-06-14 2003-05-27 The Procter & Gamble Company Skin imaging and analysis systems and methods
JP2001268594A (ja) 2000-03-15 2001-09-28 Infiniteface.Com Inc 三次元ビューティーシミュレーション用クライアントサーバシステム
US6959119B2 (en) 2000-11-03 2005-10-25 Unilever Home & Personal Care Usa Method of evaluating cosmetic products on a consumer with future predictive transformation
US6734858B2 (en) 2000-12-27 2004-05-11 Avon Products, Inc. Method and apparatus for use of computer aging to demonstrate a product benefit
US20030065589A1 (en) 2001-10-01 2003-04-03 Daniella Giacchetti Body image templates with pre-applied beauty products
US20030065523A1 (en) 2001-10-01 2003-04-03 Francis Pruche Early detection of beauty treatment progress
US7634103B2 (en) 2001-10-01 2009-12-15 L'oreal S.A. Analysis using a three-dimensional facial image
US20030065255A1 (en) 2001-10-01 2003-04-03 Daniela Giacchetti Simulation of an aesthetic feature on a facial image
US6761697B2 (en) 2001-10-01 2004-07-13 L'oreal Sa Methods and systems for predicting and/or tracking changes in external body conditions
GB0128863D0 (en) 2001-12-01 2002-01-23 Univ London Performance-driven facial animation techniques and media products generated therefrom
US7020347B2 (en) 2002-04-18 2006-03-28 Microsoft Corp. System and method for image-based surface detail transfer
JP2004201797A (ja) 2002-12-24 2004-07-22 Yasutaka Nakada 肌分析方法
US7039222B2 (en) 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
US20040215066A1 (en) 2003-04-23 2004-10-28 Kelly Huang Method of measuring the efficacy of a skin treatment program
TWI226589B (en) 2003-04-28 2005-01-11 Ind Tech Res Inst Statistical facial feature extraction method
US20040223631A1 (en) 2003-05-07 2004-11-11 Roman Waupotitsch Face recognition based on obtaining two dimensional information from three-dimensional face shapes
GB2402536B (en) * 2003-06-05 2008-04-02 Canon Kk Image processing
JP4303092B2 (ja) * 2003-11-12 2009-07-29 株式会社国際電気通信基礎技術研究所 年齢推定装置、年齢推定方法および年齢推定プログラム
US7804997B2 (en) 2004-06-10 2010-09-28 Technest Holdings, Inc. Method and system for a three dimensional facial recognition system
GB2416098A (en) 2004-07-08 2006-01-11 Univ Kent Canterbury Facial image generation system
CA2579903C (en) 2004-09-17 2012-03-13 Cyberextruder.Com, Inc. System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images
US20060274071A1 (en) 2004-09-29 2006-12-07 L'oreal Method of predicting the appearance of at least a portion of an individual's body
CN101083940B (zh) 2004-10-22 2010-06-16 株式会社资生堂 皮肤状况诊断系统和美容咨询系统
GB2424332A (en) 2004-12-13 2006-09-20 Mark Charles Spittle An image processing system
JP4795718B2 (ja) 2005-05-16 2011-10-19 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP2007050158A (ja) 2005-08-19 2007-03-01 Utsunomiya Univ 肌画像の処理方法及び処理装置並びにそれを用いた肌年齢の推定方法
US20070052726A1 (en) 2005-09-08 2007-03-08 David Wright Method and system for likeness reconstruction
US7522768B2 (en) 2005-09-09 2009-04-21 Hewlett-Packard Development Company, L.P. Capture and systematic use of expert color analysis
JP2007094549A (ja) 2005-09-27 2007-04-12 Fujifilm Corp 画像処理方法および装置ならびにプログラム
US20070080967A1 (en) 2005-10-11 2007-04-12 Animetrics Inc. Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects
CA2628087C (en) 2005-11-04 2016-11-01 Cryos Technology, Inc. Surface analysis method and system
US7728904B2 (en) 2005-11-08 2010-06-01 Qualcomm Incorporated Skin color prioritized automatic focus control via sensor-dependent skin color detection
US20070229498A1 (en) 2006-03-29 2007-10-04 Wojciech Matusik Statistical modeling for synthesis of detailed facial geometry
CN100386778C (zh) 2006-06-15 2008-05-07 西安交通大学 基于平均脸和衰老比例图的人脸图像年龄变换方法
BE1017201A4 (nl) 2006-07-03 2008-04-01 Karavani Ilan Werkwijze voor het bepalen van de veroudering van de huid van het gelaat van personen.
US8077931B1 (en) 2006-07-14 2011-12-13 Chatman Andrew S Method and apparatus for determining facial characteristics
US8103061B2 (en) 2006-10-02 2012-01-24 Johnson & Johnson Consumer Companies, Inc. Method and apparatus for identifying facial regions
US8031914B2 (en) 2006-10-11 2011-10-04 Hewlett-Packard Development Company, L.P. Face-based image clustering
US20110016001A1 (en) 2006-11-08 2011-01-20 24/8 Llc Method and apparatus for recommending beauty-related products
WO2010093503A2 (en) 2007-01-05 2010-08-19 Myskin, Inc. Skin analysis methods
JP2010515489A (ja) 2007-01-05 2010-05-13 マイスキン インコーポレイテッド 皮膚を撮像するためのシステム、装置、及び方法
US20090245603A1 (en) 2007-01-05 2009-10-01 Djuro Koruga System and method for analysis of light-matter interaction based on spectral convolution
US7792379B2 (en) 2007-02-06 2010-09-07 Accenture Global Services Gmbh Transforming a submitted image of a person based on a condition of the person
US8290257B2 (en) 2007-03-02 2012-10-16 The Procter & Gamble Company Method and apparatus for simulation of facial skin aging and de-aging
US8811692B2 (en) 2007-04-17 2014-08-19 Francine J. Prokoski System and method for using three dimensional infrared imaging for libraries of standardized medical imagery
WO2008151421A1 (en) 2007-06-11 2008-12-18 Darwin Dimensions Inc. User defined characteristics for inheritance based avatar generation
JP4974788B2 (ja) 2007-06-29 2012-07-11 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
US8391639B2 (en) * 2007-07-23 2013-03-05 The Procter & Gamble Company Method and apparatus for realistic simulation of wrinkle aging and de-aging
US8520906B1 (en) 2007-09-24 2013-08-27 Videomining Corporation Method and system for age estimation based on relative ages of pairwise facial images of people
NZ587843A (en) 2008-02-14 2012-10-26 Gregory Goodman System and method of cosmetic analysis and treatment diagnosis
JP5067224B2 (ja) * 2008-03-24 2012-11-07 セイコーエプソン株式会社 オブジェクト検出装置、オブジェクト検出方法、オブジェクト検出プログラムおよび印刷装置
US8425477B2 (en) 2008-09-16 2013-04-23 Elc Management Llc Method and system for providing targeted and individualized delivery of cosmetic actives
US8358348B2 (en) 2008-05-09 2013-01-22 Elc Management Llc Method and system for automatic or manual evaluation to provide targeted and individualized delivery of cosmetic actives in a mask or patch form
EP2332071A4 (en) 2008-09-04 2016-01-27 Elc Man Llc OBJECTIVE MODEL OF APPARENT AGE, METHODS AND USE
US8491926B2 (en) 2008-09-16 2013-07-23 Elc Management Llc Method and system for automatic or manual evaluation to provide targeted and individualized delivery of cosmetic actives in a mask or patch form
CN101556699A (zh) 2008-11-07 2009-10-14 浙江大学 一种基于脸型的人脸衰老图像合成方法
US8725560B2 (en) 2009-02-02 2014-05-13 Modiface Inc. Method and system for simulated product evaluation via personalizing advertisements based on portrait images
DE102009030062A1 (de) 2009-06-22 2010-12-23 Beiersdorf Ag Verfahren zur Altersbestimmung und altersabhängigen Auswahl von kosmetischen Produkten
TW201116257A (en) * 2009-11-13 2011-05-16 Inst Information Industry System and method for analysis of facial defects and computer program product
WO2011067162A1 (en) 2009-12-02 2011-06-09 Unilever Plc Apparatus for and method of measuring skin age
US8401300B2 (en) 2009-12-14 2013-03-19 Conopco, Inc. Targeted image transformation of skin attribute
JP5554984B2 (ja) 2009-12-24 2014-07-23 キヤノン株式会社 パターン認識方法およびパターン認識装置
FR2954837B1 (fr) 2009-12-30 2013-08-23 Natura Cosmeticos Sa Procede d'evaluation de l'etat esthetique et morphologique de la peau et prescription d'un traitement cosmetique et/ou dermatologique
DE102010006741A1 (de) 2010-02-03 2011-08-04 Friedrich-Alexander-Universität Erlangen-Nürnberg, 91054 Verfahren zum Verarbeiten eines Endoskopiebildes
US8957981B2 (en) 2010-03-03 2015-02-17 Intellectual Ventures Fund 83 Llc Imaging device for capturing self-portrait images
US8582807B2 (en) 2010-03-15 2013-11-12 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics
US8331698B2 (en) 2010-04-07 2012-12-11 Seiko Epson Corporation Ethnicity classification using multiple features
US8550818B2 (en) 2010-05-21 2013-10-08 Photometria, Inc. System and method for providing and modifying a personalized face chart
US8913847B2 (en) 2010-06-01 2014-12-16 Hewlett-Packard Development Company, L.P. Replacement of a person or object in an image
SG186062A1 (en) * 2010-06-21 2013-01-30 Pola Chem Ind Inc Age estimation method and gender determination method
US8413884B2 (en) 2011-03-03 2013-04-09 Life In Mobile, Inc. Method and apparatus for dynamically presenting content in response to successive scans of a static code
US20120253755A1 (en) 2011-03-30 2012-10-04 Gobel David P Method Of Obtaining The Age Quotient Of A Person
US20120288168A1 (en) * 2011-05-09 2012-11-15 Telibrahma Convergent Communications Pvt. Ltd. System and a method for enhancing appeareance of a face
JP5231685B1 (ja) 2011-07-07 2013-07-10 花王株式会社 顔印象分析方法、美容カウンセリング方法および顔画像生成方法
US8515491B2 (en) 2011-07-28 2013-08-20 Qualcomm Innovation Center, Inc. User distance detection for enhanced interaction with a mobile device
EP2742488A4 (en) 2011-08-09 2016-01-27 Intel Corp GENERATION OF PARAMETERIZED THREE DIMENSIONAL FACES
US20130041733A1 (en) 2011-08-11 2013-02-14 Reise Officer System, method, and computer program product for tip sharing using social networking
US9916538B2 (en) 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US9817946B2 (en) 2011-12-16 2017-11-14 Cerner Innovation, Inc. Graphic representations of health-related status
US20130169621A1 (en) 2011-12-28 2013-07-04 Li Mei Method of creating and transforming a face model and related system
WO2013104015A1 (en) 2012-01-11 2013-07-18 Steven Liew A method and apparatus for facial aging assessment and treatment management
US9773168B2 (en) 2012-01-31 2017-09-26 Hewlett-Packard Development Company, L.P. Identification mark with a predetermined color difference
US8254647B1 (en) 2012-04-16 2012-08-28 Google Inc. Facial image quality assessment
US10037820B2 (en) 2012-05-29 2018-07-31 Medical Avatar Llc System and method for managing past, present, and future states of health using personalized 3-D anatomical models
US20140089017A1 (en) 2012-09-27 2014-03-27 United Video Properties, Inc. Systems and methods for operating an entertainment control system
US9311564B2 (en) 2012-10-05 2016-04-12 Carnegie Mellon University Face age-estimation and methods, systems, and software therefor
KR20140055819A (ko) 2012-11-01 2014-05-09 삼성전자주식회사 얼굴인식장치 및 그 제어방법
KR20140078459A (ko) 2012-12-17 2014-06-25 최봉우 스마트폰을 이용한 피부 상태 분석 및 관리 방법
US8915435B2 (en) 2013-01-25 2014-12-23 Hewlett-Packard Development Company, L.P. Characterization of color charts
US8976252B2 (en) 2013-01-30 2015-03-10 Hewlett-Packard Development Company, L.P. Acquisition of color calibration charts
US9443132B2 (en) 2013-02-05 2016-09-13 Children's National Medical Center Device and method for classifying a condition based on image analysis
GB201302194D0 (en) 2013-02-07 2013-03-27 Crisalix Sa 3D platform for aesthetic simulation
US9268993B2 (en) 2013-03-13 2016-02-23 Futurewei Technologies, Inc. Real-time face detection using combinations of local and global features
US8933994B2 (en) * 2013-03-15 2015-01-13 Skin Republic, Inc. Systems and methods for specifying and formulating customized topical agents
US20150045631A1 (en) 2013-03-15 2015-02-12 Lee Pederson Skin health system
US9101320B2 (en) 2013-04-09 2015-08-11 Elc Management Llc Skin diagnostic and image processing methods
US9256963B2 (en) 2013-04-09 2016-02-09 Elc Management Llc Skin diagnostic and image processing systems, apparatus and articles
CN104166835A (zh) 2013-05-17 2014-11-26 诺基亚公司 用于识别活体用户的方法和装置
JP6343612B2 (ja) 2013-07-31 2018-06-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 肌分析方法、肌分析装置および肌分析装置の制御方法
WO2015017687A2 (en) 2013-07-31 2015-02-05 Cosmesys Inc. Systems and methods for producing predictive images
JP6499583B2 (ja) 2013-09-24 2019-04-10 シャープ株式会社 画像処理装置及び画像表示装置
US20150099947A1 (en) 2013-10-04 2015-04-09 Access Business Group International Llc Skin youthfulness index, methods and applications thereof
KR20150059394A (ko) 2013-11-22 2015-06-01 (주)아모레퍼시픽 계량화 수단을 이용한 피부 나이 예측 장치 및 방법
WO2015088079A1 (ko) 2013-12-12 2015-06-18 주식회사 바이오코즈글로벌코리아 맞춤형 개별 화장품 생산 시스템
AU2014368997B2 (en) 2013-12-19 2020-02-27 Motorola Solutions, Inc. System and method for identifying faces in unconstrained media
US9773156B2 (en) 2014-04-29 2017-09-26 Microsoft Technology Licensing, Llc Grouping and ranking images based on facial recognition data
US9760935B2 (en) 2014-05-20 2017-09-12 Modiface Inc. Method, system and computer program product for generating recommendations for products and treatments
CN105488371B (zh) 2014-09-19 2021-04-20 中兴通讯股份有限公司 一种脸部识别方法和装置
EP3218851A4 (en) 2014-11-13 2018-07-11 Intel Corporation Image quality compensation system and method
CN104504376A (zh) 2014-12-22 2015-04-08 厦门美图之家科技有限公司 一种人脸图像的年龄分类方法和系统
US9712751B2 (en) 2015-01-22 2017-07-18 Apple Inc. Camera field of view effects based on device orientation and scene content
CN104573673A (zh) * 2015-01-28 2015-04-29 广州远信网络科技发展有限公司 一种人脸图像年龄的识别方法
JP6058722B2 (ja) * 2015-03-17 2017-01-11 株式会社ジェイメック 肌画像解析装置、画像処理装置及びコンピュータプログラム
US20160314616A1 (en) 2015-04-23 2016-10-27 Sungwook Su 3d identification system with facial forecast
US9830727B2 (en) 2015-07-30 2017-11-28 Google Inc. Personalizing image capture
KR102439938B1 (ko) 2015-08-03 2022-09-05 삼성전자주식회사 사용자 인증을 위한 멀티-모달 퓨전 방법 및 사용자 인증 방법
US10796480B2 (en) * 2015-08-14 2020-10-06 Metail Limited Methods of generating personalized 3D head models or 3D body models
US9754237B2 (en) 2015-12-18 2017-09-05 Ricoh Co., Ltd. Index image quality metric
US20170246473A1 (en) 2016-02-25 2017-08-31 Sava Marinkovich Method and system for managing treatments
CN105760850B (zh) * 2016-03-11 2019-02-15 重庆医科大学 基于皮肤纹理信息的无创年龄估计方法
US10264250B2 (en) 2016-03-21 2019-04-16 The Procter & Gamble Company Method and apparatus for determining spectral characteristics of an image captured by a camera on a mobile endpoint device
US10255482B2 (en) 2016-03-21 2019-04-09 The Procter & Gamble Company Interactive display for facial skin monitoring
US10438258B2 (en) 2016-03-21 2019-10-08 The Procter & Gamble Company Method and apparatus for generating graphical chromophore maps
US10255484B2 (en) 2016-03-21 2019-04-09 The Procter & Gamble Company Method and system for assessing facial skin health from a mobile selfie image
CN108701323B (zh) * 2016-03-21 2023-11-10 宝洁公司 用于提供定制的产品推荐的系统和方法
US10282868B2 (en) 2016-03-21 2019-05-07 The Procter & Gamble Company Method and system for generating accurate graphical chromophore maps
CN105844236B (zh) * 2016-03-22 2019-09-06 重庆医科大学 基于皮肤图像信息处理的年龄测试方法
US10002415B2 (en) 2016-04-12 2018-06-19 Adobe Systems Incorporated Utilizing deep learning for rating aesthetics of digital images
CN106203306A (zh) * 2016-06-30 2016-12-07 北京小米移动软件有限公司 年龄的预测方法、装置及终端
CN106469298A (zh) * 2016-08-31 2017-03-01 乐视控股（北京）有限公司 基于人脸图像的年龄识别方法及装置
CN106529402B (zh) * 2016-09-27 2019-05-28 中国科学院自动化研究所 基于多任务学习的卷积神经网络的人脸属性分析方法
US10614623B2 (en) 2017-03-21 2020-04-07 Canfield Scientific, Incorporated Methods and apparatuses for age appearance simulation
US10621771B2 (en) 2017-03-21 2020-04-14 The Procter & Gamble Company Methods for age appearance simulation
US10574883B2 (en) 2017-05-31 2020-02-25 The Procter & Gamble Company System and method for guiding a user to take a selfie

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053813A (ja) * 2010-09-03 2012-03-15 Dainippon Printing Co Ltd 人物属性推定装置、人物属性推定方法、及びプログラム
KR20160061856A (ko) * 2014-11-24 2016-06-01 삼성전자주식회사 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3848683A1 (en) 2020-01-09 2021-07-14 SKF Sealing Solutions Korea Co., Ltd. Multi-turn absolute torque angle sensor module
KR102167185B1 (ko) * 2020-03-18 2020-10-19 이승락 피부 테스트 방법 및 이를 이용한 화장료 조성물 제조방법
KR20220055018A (ko) 2020-10-26 2022-05-03 딤포 몰라테리 안면 이미지에 기초하여 제품 추천을 제공하는 방법 및 장치
KR102406377B1 (ko) * 2021-08-13 2022-06-09 주식회사 에이아이네이션 인공지능 기반의 얼굴 부분별 화장 트랜스퍼 정도 조절이 가능한 가상 화장 방법 및 장치
KR102465456B1 (ko) * 2021-08-13 2022-11-11 주식회사 에이아이네이션 인공지능 기반의 얼굴 나이 및 주름 분석을 통한 개인 맞춤형 화장법 추천 방법 및 장치
WO2023054967A1 (ko) * 2021-09-29 2023-04-06 주식회사 엘지생활건강 나이 추정 장치
KR102530149B1 (ko) * 2022-07-01 2023-05-08 김수동 얼굴 피부 진단방법

Also Published As

Publication number Publication date
US10818007B2 (en) 2020-10-27
CN110709856B (zh) 2023-11-28
EP3631679B1 (en) 2023-09-13
WO2018222808A1 (en) 2018-12-06
JP2020522810A (ja) 2020-07-30
US20180350071A1 (en) 2018-12-06
CN110709856A (zh) 2020-01-17
JP6849825B2 (ja) 2021-03-31
KR102297301B1 (ko) 2021-09-06
EP3631679A1 (en) 2020-04-08

Similar Documents

Publication Publication Date Title
KR102297301B1 (ko) 겉보기 피부 나이를 결정하기 위한 시스템 및 방법
US11055762B2 (en) Systems and methods for providing customized product recommendations
US10574883B2 (en) System and method for guiding a user to take a selfie
US11832958B2 (en) Automatic image-based skin diagnostics using deep learning
US11282190B2 (en) Systems and methods for hair coverage analysis
EP2178045A1 (en) Makeup simulation system, makeup simulation apparatus, makeup simulation method, and makeup simulation program
EP3959724A1 (en) Apparatus and method for visualizing cosmetic skin attributes
KR102495889B1 (ko) 반자동 라벨링에 따라 학습된 딥러닝 기반 주름 검출 모델을 이용하여 얼굴 주름을 검출하기 위한 방법 및 장치
EP3794541A1 (en) Systems and methods for hair analysis
CA3218635A1 (en) Computer-based body part analysis methods and systems

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right