KR20190051256A - 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법 및 프로그램 - Google Patents

이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법 및 프로그램 Download PDF

Info

Publication number
KR20190051256A
KR20190051256A KR1020170146695A KR20170146695A KR20190051256A KR 20190051256 A KR20190051256 A KR 20190051256A KR 1020170146695 A KR1020170146695 A KR 1020170146695A KR 20170146695 A KR20170146695 A KR 20170146695A KR 20190051256 A KR20190051256 A KR 20190051256A
Authority
KR
South Korea
Prior art keywords
skin
image
attribute value
feature vector
determining
Prior art date
Application number
KR1020170146695A
Other languages
English (en)
Other versions
KR102151710B1 (ko
Inventor
유종완
Original Assignee
주식회사 베이바이오텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 베이바이오텍 filed Critical 주식회사 베이바이오텍
Priority to KR1020170146695A priority Critical patent/KR102151710B1/ko
Priority to PCT/KR2017/015228 priority patent/WO2019066149A1/ko
Publication of KR20190051256A publication Critical patent/KR20190051256A/ko
Application granted granted Critical
Publication of KR102151710B1 publication Critical patent/KR102151710B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Dermatology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명의 일 실시예에 따른 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법은, 피부에 대한 복수의 피부 이미지 중 소정의 촬영 조건을 만족하는 적어도 하나의 평가 대상 이미지를 결정하는 평가 대상 이미지 결정단계; 상기 적어도 하나의 평가 대상 이미지로부터 상기 피부의 색상에 대응되는 제1 속성값, 상기 피부의 주름 정도에 대응되는 제2 속성값 및 상기 피부의 평탄도에 대응되는 제3 속성값 중 적어도 하나를 결정하는 속성값 결정 단계; 상기 제1 속성값, 제2 속성값 및 제3 속성값 중 적어도 하나에 기초하여 제1 특징 벡터를 생성하는 제1 특징 벡터 생성 단계; 및 상기 제1 특징 벡터 및 피부 인식기에 기초하여 상기 피부의 등급에 대응되는 제2 특징 벡터를 결정하는 제2 특징 벡터 결정 단계;를 포함할 수 있다. 이때 상기 피부 인식기는 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제1 특징 벡터와 상기 복수의 피부 각각의 등급에 대응되는 제2 특징 벡터 간의 상관관계를 표현한 데이터 셋트일 수 있다.

Description

이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법 및 프로그램{METHOD FOR EVALUATING CONDITION OF SKIN BASED ON IMAGE ANALYSIS RESULT AND SKIN RECOGNIZER AND PROGRAM FOR EXECUTING THE METHOD}
본 발명의 실시예들은 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법 및 프로그램에 관한 것이다.
피부는 모발, 네일, 털 및 땀샘과 같은 피부 부속 조직을 포함하는 외피 시스템의 최대 기관이다. 피부는 하부 근육과 기관을 보호하는 상피 조직의 다중층을 포함한다. 피부는 여러 외부 및 내부 요인으로부터 끊임없는 공격을 받기 때문에 피부는 수많은 병에 감염될 수 있다. 따라서, 피부 상태를 모니터링하는 것은 건강의 관점에서 그리고 미용의 관점에서 중요하다.
피부의 상태를 모니터링하는 방법들이 다수 존재하지만, 대부분의 방법들이 피부과 의사 또는 피부과에 구비되는 전용 장치에 대한 접근을 요구한다. 그러나 이와 같은 의사 또는 전용 장치에 대한 접근은 어려움, 불편함 및 과도한 비용의 지출이 수반된다.
따라서 피부과 의사를 대면하거나 피부과에 구비되는 전용 장치 없이도 일반 사용자가 손쉽게 피부의 상태를 파악할 수 있는 보다 간단한 솔루션이 필요성이 대두되고 있다.
본 발명은 피부 이미지로부터 하나 이상의 피부의 속성에 대한 속성값과 피부의 등급을 확인할 수 있는 피부 상태 평가 방법 및 프로그램을 제공하고자 한다.
또한 본 발명은 피부의 각 속성에 대한 속성값을 확인함과 동시에, 이에 기초하여 피부의 객관적인 등급을 결정하여 해당 피부에 대한 적절한 조치가 취해질 수 있도록 하는 피부 상태 평가 방법 및 프로그램을 제공하고자 한다.
또한 본 발명은 이미지 분석에 기초하여 피부의 속성값을 확인할 수 있는 방법 및 프로그램을 제공하고자 한다.
또한 본 발명은 2차원 이미지 분석에 기초하여 피부의 3차원 공간상에서의 특성에 대한 속성값을 확인할 수 있는 방법 및 프로그램을 제공하고자 한다.
나아가 본 발명은 피부의 상태 분석과 더불어 각 상태에 기초한 해결방안 등을 통합하여 제공할 수 있는 피부 상태 평가 방법 및 프로그램을 제공하고자 한다.
본 발명의 일 실시예에 따른 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법은, 피부에 대한 복수의 피부 이미지 중 소정의 촬영 조건을 만족하는 적어도 하나의 평가 대상 이미지를 결정하는 평가 대상 이미지 결정단계; 상기 적어도 하나의 평가 대상 이미지로부터 상기 피부의 색상에 대응되는 제1 속성값, 상기 피부의 주름 정도에 대응되는 제2 속성값 및 상기 피부의 평탄도에 대응되는 제3 속성값 중 적어도 하나를 결정하는 속성값 결정 단계; 상기 제1 속성값, 제2 속성값 및 제3 속성값 중 적어도 하나에 기초하여 제1 특징 벡터를 생성하는 제1 특징 벡터 생성 단계; 및 상기 제1 특징 벡터 및 피부 인식기에 기초하여 상기 피부의 등급에 대응되는 제2 특징 벡터를 결정하는 제2 특징 벡터 결정 단계;를 포함할 수 있다. 이때 상기 피부 인식기는 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제1 특징 벡터와 상기 복수의 피부 각각의 등급에 대응되는 제2 특징 벡터 간의 상관관계를 표현한 데이터 셋트일 수 있다.
상기 속성값 결정 단계는 상기 적어도 하나의 평가 대상 이미지 중 어느 하나의 평가 대상 이미지에서, 피부의 색상 평가를 위한 기준 영역을 설정하고, 상기 기준 영역의 색상에 기초하여 상기 적어도 하나의 평가 대상 이미지로부터 상기 피부의 색상에 대응되는 제1 속성값을 결정하는 단계; 및 상기 적어도 하나의 평가 대상 이미지 중 상기 피부를 상이한 각도에서 촬영한 이미지간의 상호 비교를 통하여, 상기 피부의 주름 정도에 대응되는 제2 속성값 및 상기 피부의 평탄도에 대응되는 제3 속성값 중 적어도 하나를 결정하는 단계;를 포함할 수 있다.
상기 피부는 얼굴의 피부이고, 상기 제1 속성값을 결정하는 단계는 상기 하나 이상의 평가 대상 이미지 중 상기 얼굴의 정면 이미지를 포함하는 평가 대상 이미지에서, 상기 기준 영역의 색상인 기준 색상과 색상의 차이가 소정의 임계 차이 이상인 적어도 하나의 지점을 선별하는 단계; 및 상기 선별된 적어도 하나의 지점의 수량, 상기 선별된 적어도 하나의 지점의 상기 기준 색상과의 색상차이 정도 및 상기 선별된 적어도 하나의 지점간의 분산 정도 중 적어도 하나에 기초하여 상기 제1 속성값을 결정하는 단계;를 포함할 수 있다.
상기 제2 속성값 및 상기 제3 속성값 중 적어도 하나를 결정하는 단계는 제1 평가 대상 이미지에서 제1 굴곡 영역을 결정하고, 상기 제1 굴곡 영역의 굴곡 정도인 제1 굴곡도를 결정하는 단계; 상기 제1 평가 대상 이미지와 상이한 제2 평가 대상 이미지에서 상기 제1 굴곡 영역과 대응되는 영역의 굴곡 정도인 제2 굴곡도를 결정하는 단계; 및 상기 제1 굴곡도 및 상기 제2 굴곡도에 기초하여 상기 제2 속성값 및 상기 제3 속성값 중 적어도 하나를 결정하는 단계;를 포함할 수 있다.
상기 피부는 얼굴의 피부이고, 상기 소정의 촬영 조건은 이미지가 상기 얼굴의 정면 이미지를 포함하는지 여부, 이미지가 소정의 제1 각도에서 촬영된 상기 얼굴의 좌측면 이미지를 포함하는지 여부, 이미지가 소정의 제2 각도에서 촬영된 상기 얼굴의 우측면 이미지를 포함하는지 여부, 이미지가 소정의 제3 각도에서 촬영된 상기 얼굴의 상면 이미지를 포함하는지 여부 및 이미지가 소정의 제4 각도에서 촬영된 상기 얼굴의 하면 이미지를 포함하는지 여부 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법은, 상기 제2 특징 벡터 결정 단계 이후에, 상기 제2 특징 벡터에 기초하여 상기 피부의 등급을 결정하는 단계;를 더 포함할 수 있다. 이때 상기 피부의 등급은 상기 피부에 대한 관리 필요성에 따라 특별한 관리가 필요 없는 제0 등급, 일반적인 관리가 필요한 제1 등급, 전문적인 관리가 필요한 제2 등급 및 치료가 시급한 제3 등급을 포함할 수 있다.
상기 제1 특징 벡터를 생성 단계는 상기 제1 속성값, 제2 속성값 및 제3 속성값 중 적어도 하나와 상기 피부의 적어도 하나의 물리량에 기초하여 제1 특징 벡터를 생성하고, 상기 적어도 하나의 물리량은 상기 피부의 탄력도, 상기 피부의 수분 포함 정도, 상기 피부의 각질 두께 및 상기 피부에 칠해진 메이크업의 두께 중 적어도 하나인, 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가할 수 있다.
본 발명의 일 실시예에 따른 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법은, 상기 평가 대상 이미지 결정단계 이전에, 피부의 등급과 대응되는 제2 특징 벡터가 표지되고, 피부의 적어도 하나의 속성에 대한 속성값에 대응되는 제1 특징 벡터를 포함하는 하나 이상의 트레이닝 피부 정보에 기초하여 상기 피부 인식기를 트레이닝 하는 단계;를 더 포함할 수 있다.
본 발명에 따르면 피부 이미지로부터 하나 이상의 피부의 속성에 대한 속성값과 피부의 등급을 확인할 수 있는 피부 상태 평가 방법 및 프로그램을 구현할 수 있다.
또한 피부의 각 속성에 대한 속성값을 확인함과 동시에, 이에 기초하여 피부의 객관적인 등급을 결정하여 해당 피부에 대한 적절한 조치가 취해질 수 있도록 하는 피부 상태 평가 방법 및 프로그램을 구현할 수 있다.
또한 이미지 분석에 기초하여 피부의 속성값을 확인할 수 있는 방법 및 프로그램을 구현할 수 있다.
또한 2차원 이미지 분석에 기초하여 피부의 3차원 공간상에서의 특성에 대한 속성값을 확인할 수 있는 방법 및 프로그램을 구현할 수 있다.
나아가 본 발명은 피부의 상태 분석과 더불어 각 상태에 기초한 해결방안 등을 통합하여 제공할 수 있는 피부 상태 평가 방법 및 프로그램을 구현할 수 있다.
도 1은 본 발명의 일 실시예에 피부 상태 평가 시스템을 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 피부 상태 평가 장치의 구성을 개략적으로 도시한다.
도 3은 사람의 얼굴 피부를 평가하고자 하는 경우의 얼굴에 대한 소정의 촬영 조건의 예시이다.
도 4는 본 발명의 일 실시예에 따른 제어부가 사용자 단말로부터 수신한 복수의 이미지 중 소정의 촬영 조건을 만족하는 평가 대상 이미지만을 도시한 도면이다.
도 5a 내지 5c는 제어부가 다양한 평가 대상 이미지로부터 기준영역을 설정하는 예시이다.
도 6은 본 발명의 일 실시예에 따른 제어부가 제1 속성값을 결정하는 과정을 설명하기 위한 도면이다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 제어부가 제3 속성값을 결정하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 피부 상태 평가 장치가 피부 인식기를 생성/업데이트 하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 피부 상태 평가 장치가 피부 인식기에 기초하여 평가 대상 피부의 속성값과 등급을 결정하는 방법을 설명한다.
도 10은 본 발명의 일 실시예에 따른 피부 상태 평가 장치에 의해 수행되는 피부 상태 평가 방법을 설명하기 위한 흐름도이다.
도 11은 본 발명의 일 실시예에 따라 사용자 단말에 표시되는 화면의 예시이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 형태는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
도 1은 본 발명의 일 실시예에 피부 상태 평가 시스템을 개략적으로 도시한다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 피부 상태 평가 시스템은 서버(100), 사용자 단말(200), 외부장치(300) 및 이들을 연결하는 통신망(400)을 포함할 수 있다.
본 발명의 일 실시예에 따른 피부 상태 평가 시스템은 서버(100)가 사용자 단말(200) 및/또는 외부장치(300)로부터 피부의 이미지를 수신하고, 피부의 상태를 속성값으로 평가하거나, 피부의 상태를 등급으로 평가할 수 있다. 또한 피부 상태 평가 시스템은 서버(100)가 사용자 단말(200) 및/또는 외부장치(300)로부터 속성값과 등급이 표지된 하나 이상의 트레이닝 피부 정보를 획득하고, 이에 기초하여 피부 인식기를 트레이닝 시킬 수 있다. 보다 상세한 설명은 후술한다.
본 발명에서 '피부'는 인체의 표면을 구성하는 인체의 조직으로, 속성값이나 등급을 알고자 하는 대상일 수 있다. 이때 피부는 얼굴의 피부일 수도 있고, 인체의 다양한 부위의 피부일 수 있다. 다만 이하에서는 설명의 편의를 위하여 피부가 얼굴의 피부인 것을 전제로 설명한다.
피부의 홍조 정도는 피부가 붉은 정도를 의미하는 것으로, 피부가 붉을수록 홍조 정도가 높은 것일 수 있다. 피부의 홍조 정도는 피부의 색을 판단하는 요소로써의 의미를 가질 수 있으며, 후술하는 제1 속성값으로써 평가 될 수 있다.
피부의 주름 정도는 피부의 탄력 저하로 인해 피부가 잘게 접히는 정도를 의미할 수 있다. 이때 피부의 주름 정도가 높은 것은 피부가 잘게 접히는 면적이 크거나 또는 잘게 접힌 정도가 큰 경우를 의미할 수 있으며, 후술하는 제2 속성값으로써 평가될 수 있다.
한편 피부의 평탄도는 피부의 주름에 의한 굴곡을 제외한 나머지 요인으로 인해 피부가 울퉁불퉁한 정도를 의미할 수 있다. 가령 피부의 평탄도는 모공으로 인해 피부가 울퉁불퉁한 정도를 의미할 수도 있고, 특정 부위의 상처나 점, 흉터 등에 의해 피부가 울퉁불퉁한 정도를 의미할 수 있으며, 후술하는 제3 속성값으로써 평가될 수 있다.
다만 상술한 피부의 속성값들은 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니며, 피부의 상태를 대표할 수 있는 것이라면 본 발명의 피부의 속성으로 사용될 수 있음이 자명하다.
한편 전술한 제1 속성값, 제2 속성값 및 제3 속성값과 같은 '속성값'은 적어도 하나의 평가 항목 각각에 대응되는 성분을 포함할 수 있다. 바꾸어 말하면 각 속성값은 10, 20, 0.1과 같은 하나의 값일 수도 있고, 각 속성값은 '값'이라는 명칭에도 불구하고, [0.1, 0.3, 0.7]등과 같이 복수의 성분으로 구성된 벡터(Vector)일 또는 집합일 수도 있다.
본 발명에서 '피부의 등급'은 전술한 피부의 속성값에 기초하여 피부의 관리 필요성에 따라 결정되는 수치일 수 있다. 등급은 가령 4개의 등급으로, 특별한 관리가 필요 없는 제0 등급, 일반적인 관리가 필요한 제1 등급, 전문적인 관리가 필요한 제2 등급 및 치료가 시급한 제3 등급을 포함할 수 있다. 다만 이와 같은 등급의 구분은 예시적인 것이며, 피부를 더 많은 등급으로 또는 더 적은 등급으로 분류할 수 있다. 이때 피부의 등급은 피부의 전술한 속성을 다각적으로 고려하여 산출될 수 있다.
본 발명에서 사용자 단말(200)은 피부의 이미지를 서버(100)로 전송하고, 서버(100)로부터 피부에 대한 속성값이나 피부의 등급을 수신할 수 있는 다양한 장치를 의미할 수 있다. 이 때 단말은 휴대용 단말(201)일 수도 있고 퍼스널 컴퓨터(202)일 수도 있다.
사용자 단말(200)은 콘텐츠 등을 표시하기 위한 표시수단, 이러한 콘텐츠에 대한 사용자의 입력을 획득하기 위한 입력수단을 구비할 수 있다. 이 때 입력수단 및 표시수단은 다양하게 구성될 수 있다. 가령 입력수단은 키보드, 마우스, 트랙볼, 마이크, 버튼, 터치패널 등을 포함할 수 있으나 이에 한정되지 않는다.
도면에는 도시되지 않았지만 사용자 단말(200)은 피부에 대한 다양한 정보를 획득하는 피부 진단 장치(미도시)와 함께 사용될 수 있다.
피부 진단 장치(미도시)는 적어도 하나 이상의 파장의 광을 피부에 조사하여 각각의 파장의 광에 대한 피부의 이미지를 획득하고, 사용자 단말(200)을 통하여 서버(100)로 전송할 수 있다. 또한 피부 진단 장치(미도시)는 서버(100)로부터 사용자 단말(200)이 수신한 요청에 따라 다양한 각도 또는 소정의 각도에서의 피부 이미지를 획득하고, 이를 서버(100)로 전송할 수도 있다.
피부 진단 장치(미도시)는 피부의 이미지 외에, 피부가 노출되어 있는 환경에 대한 정보를 획득하고, 이를 서버(100)에 전송할 수도 있다. 가령 피부 진단 장치(미도시)는 피부 이미지의 촬영시의 온도, 습도, 조도, 색온도 및 자외선 정도를 측정하고 이를 서버(100)에 전송할 수도 있다.
물론 피부 진단 장치(미도시)는 피부 그 자체의 물리량을 측정하고 이를 서버(100)에 전송할 수도 있다. 가령 피부 진단 장치(미도시)는 피부 진단 장치(미도시)에 구비되는 다양한 센서에 기초하여, 피부의 탄력도, 피부의 수분 포함 정도, 피부의 각질 두께, 피부에 칠해진 메이크업의 두께 등을 측정하고 이를 서버(100)에 전송할 수도 있다.
이와 같은 피부 진단 장치(미도시)는 전술한 바와 같이 사용자 단말(200)과 별개의 장치일 수 있다. 가령 피부 진단 장치(미도시)는 사용자 단말(200)과 유/무선 네트워크를 통하여 연결되는 장치로, 이러한 경우 사용자 단말(200)은 피부 진단 장치(미도시)와 서버(100)를 매개하는 장치일 수 있다.
한편 피부 진단 장치(미도시)는 사용자 단말(200)에 포함되는 장치일 수 있다. 바꾸어 말하면, 본 발명의 일 실시예에 따른 사용자 단말(200)은 전술한 피부 진단 장치로써 동작할 수 있다.
본 발명에서 외부장치(300)는 서버(100) 및 사용자 단말(200)과 통신망(400)을 통하여 데이터를 송수신 하는 다양한 장치를 의미할 수 있다.
본 발명의 일 실시예에 따르면, 외부장치(300)는 서버(100)에 구비되는 피부 인식기를 트레이닝 하기 위한 트레이닝 피부 정보를 제공하는 장치일 수 있다. 가령 외부장치(300)는 피부병원의 서버로, 피부의 이미지와 해당 피부에 대한 진단 정보(특히 전술한 피부의 속성값이나 피부의 등급에 대한 평가 정보 등)를 제공하는 장치일 수 있다. 이와 같은 외부장치(300)는 단수일 수도 있고, 복수일 수도 있다.
본 발명의 다른 실시예에 따르면, 외부장치(300)는 외부장치(300) 자신이 획득한 피부 이미지의 속성값이나 등급을 확이하고자 하는 장치일 수 있다. 가령 외부장치(300)는 피부과 등에 구비되어, 환자의 피부 정보를 제공하고자 하는 장치일 수 있다. 다만 전술한 두 가지 경우는 모두 예시적인 것으로, 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명에서 통신망(400)은 서버(100), 사용자 단말(200) 및 외부장치(300)를 연결하는 역할을 수행한다. 예를 들어, 통신망(400)은 사용자 단말(200)이 서버(100)에 접속한 후 패킷 데이터를 송수신할 수 있도록 접속 경로를 제공한다. 통신망(400)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
본 발명에서 서버(100)는 사용자 단말(200) 및/또는 외부장치(300)로부터 속성값이나 등급을 알고자 하는 피부의 이미지를 수신하고, 해당 피부의 속성값이나 등급을 결정할 수 있다. 물론 피부에 대한 속성값이나 등급을 결정하기에 앞서서, 서버(100)는 사용자 단말(200) 및/또는 외부장치(300)로부터 트레이닝 피부 정보를 획득하고, 이에 기초하여 피부 인식기를 트레이닝 시킬 수 있다. 이를 위하여 서버(100)는 본 발명의 일 실시예에 따른 피부 상태 평가 장치를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)의 구성을 개략적으로 도시한다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 통신부(111), 제어부(112) 및 메모리(113)를 포함할 수 있다. 또한 도면에는 도시되지 않았으나, 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 입/출력부, 프로그램 저장부 등을 더 포함할 수 있다.
통신부(111)는 피부 상태 평가 장치(110)가 사용자 단말(200) 및/또는 외부장치(300)와 같은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
제어부(112)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
메모리(113)는 피부 상태 평가 장치(110)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 메모리는 자기 저장 매체(Magnetic Storage Media) 또는 플래시 저장 매체(Flash Storage Media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
이하에서는 피부 상태 평가 장치(110)가 서버(100)에 구비되는 것을 전제로 설명하지만, 역할배분에 따라 피부 상태 평가 장치(110)는 서버(100)와 별도로 구비될 수도 있다.
한편 전술한 바와 같이 서버(100), 즉 피부 상태 평가 장치(110)는 사용자 단말(200) 및/또는 외부장치(300)로부터 피부의 이미지를 수신하고, 해당 피부에 대한 속성값 및/또는 등급을 결정할 수 있다. 또한 피부 상태 평가 장치(110)는 사용자 단말(200) 및/또는 외부장치(300)로부터 속성값 및 등급이 표지된 하나 이상의 트레이닝 피부 정보를 획득하고, 이에 기초하여 피부 인식기를 트레이닝 할 수 있다.
이하에서는 피부 상태 평가 장치(110)가 1) 피부에 대한 하나 이상의 속성값을 결정하는 내용, 2) 피부 인식기를 트레이닝 하는 내용 및 3) 인식된 피부 인식기에 기초하여 피부의 등급을 결정하는 내용순으로 설명한다.
1) 피부 상태 평가 장치(110)의 피부에 대한 속성값 결정 방법
이하에서는 피부 상태 평가 장치(110)가 사용자 단말(200) 또는 외부장치(300)로부터 수신된 피부 이미지에 기초하여, 피부의 속성값을 결정하는 내용을 중심으로 설명한다.
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)의 제어부(112)는 사용자 단말(200)로부터 피부에 대한 이미지를 획득할 수 있다. 이때 제어부(112)는 사용자 단말(200)로부터 피부에 대한 복수의 이미지를 획득할 수 있다. 복수의 이미지들은 동일한 피사체(가령 얼굴)에 대해 촬영 각도, 촬영시 조사된 광의 파장과 같은 촬영 조건을 서로 달리하여 획득된 이미지들일 수 있다. 이와 같은 촬영 조건은 피부 이미지에 매타데이터의 형태로 태그되어 있을수도 있고, 제어부(112)가 이미지 분석을 통하여 이미지 그 자체로부터 획득하는 것일 수도 있다.
이어서 본 발명의 일 실시예에 따른 제어부(112)는 사용자 단말(200)로부터 수신된 복수의 이미지 중 소정의 촬영 조건을 만족하는 적어도 하나의 평가 대상 이미지를 결정할 수 있다.
본 발명에서 '평가 대상 이미지'는 피부 평가에 있어서 사용되는 이미지로, 상태를 평가하고자 하는 부위별로 상이한 기준(즉 전술한 소정의 촬영 조건)에 따라 선별되는 이미지일 수 있다.
도 3은 사람(500)의 얼굴 피부를 평가하고자 하는 경우의 얼굴에 대한 소정의 촬영 조건의 예시이다.
도 3을 참조하면, 사람(500)의 얼굴 피부를 평가하고자 하는 경우 소정의 촬영 조건은, 이미지가 얼굴의 정면 이미지(가령 623 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제1 각도에서 촬영된 얼굴의 좌측면 이미지(가령 624 또는 625 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제2 각도에서 촬영된 얼굴의 우측면 이미지(가령 621 또는 622 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제3 각도에서 촬영된 얼굴의 상면 이미지(가령 613 방향에서 획득된 이미지)를 포함하는지 여부 및 이미지가 소정의 제4 각도에서 촬영된 얼굴의 하면 이미지(가령 633 방향에서 획득된 이미지)를 포함하는지 여부 중 적어도 하나일 수 있다.
물론 전술한 촬영 조건 외에도 촬영 조건은 이미지가 소정의 제5 각도에서 촬영된 얼굴의 상좌측면 이미지(가령 614 또는 615 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제6 각도에서 촬영된 얼굴의 상우측면 이미지(가령 611 또는 612 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제7 각도에서 촬영된 얼굴의 하좌측면 이미지(가령 634 또는 635 방향에서 획득된 이미지)를 포함하는지 여부 및 이미지가 소정의 제8 각도에서 촬영된 얼굴의 하우측면 이미지(가령 631 또는 632 방향에서 획득된 이미지)를 포함하는지 여부를 포함하는지 여부 중 적어도 하나를 더 포함할 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니며, 촬영 조건은 전술한 것 보다 더 다양하게 또는 더 간단하게 설정될 수 있다.
본 발명의 일 실시예에 따른 제어부(112)는 사용자 단말(200)로부터 수신한 복수의 이미지 중 상술한 촬영 조건을 만족하는 이미지를 평가 대상 이미지로써 추출하여, 후술하는 피부에 대한 속성값 결정에 사용할 수 있다.
본 발명의 다른 실시예에서, 본 발명의 일 실시예에 따른 제어부(112)는 상술한 촬영 조건을 사용자 단말(200)에 제공하고, 사용자 단말(200)이 상술한 조건에 부합되는 이미지만을 획득하여 서버(100)에 전송하도록 할 수 있다. 바꾸어 말하면, 사용자 단말(200)은 제공된 촬영 조건에 따라 이미지를 획득하고, 이를 서버(100)에 전송할 수 있다.
이러한 경우 제어부(112)는 복수의 이미지 중 소정의 촬영 조건을 만족하는 평가 대상 이미지를 결정하는 과정 없이 곧바로 사용자 단말(200)로부터 수신된 이미지를 평가 대상 이미지로 결정할 수 있다. 이때 제어부(112)는 촬영 조건에 따른 촬영이 가능하도록 하는 인터페이스를 사용자 단말(200)에 제공할 수 있다. 가령 제어부(112)는 촬영 조건에 따른 샘플 이미지, 촬영 조건에 대한 정보 및 현재 촬영되는 이미지의 촬영 조건 만족 여부 등을 표시하는 촬영 인터페이스를 사용자 단말(200)에 제공할 수 있다.
본 발명의 또 다른 실시예에서, 제어부(112)는 사용자 단말(200)로부터 수신한 동영상으로부터 상술한 평가 대상 이미지를 결정할 수도 있다. 즉, 제어부(112)는 동영상에 포함되는 복수의 프레임(Frame) 중에서 소정의 촬영 조건을 만족하는 적어도 하나의 프레임을 평가 대상 이미지로 결정할 수 있다. 물론 이는, 사용자 단말(200)이 피부의 상태를 평가하고자 하는 대상을 다양한 각도에서 촬영한 동영상을 서버(100)로 전송하였음을 전제로 한다. 이러한 경우 제어부(112)가 미리 사용자 단말(200)에 촬영 조건 및 촬영 인터페이스를 제공하거나 또는 제어부(112)가 사용자 단말(200)로부터 수신된 복수의 이미지로부터 평가 대상 이미지를 결정하는 과정은 생략될 수 있다.
다만 이하에서는 설명의 편의를 위하여, 제어부(112)가 사용자 단말(200)로부터 수신된 복수의 이미지로부터 평가 대상 이미지를 결정하는 것을 전제로 설명한다.
도 4는 본 발명의 일 실시예에 따른 제어부(112)가 사용자 단말(200)로부터 수신한 복수의 이미지 중 소정의 촬영 조건을 만족하는 평가 대상 이미지(511 내지 515, 521 내지 525 및 531 내지 535)만을 도시한 도면이다.
설명의 편의를 위하여, 평가 대상 이미지를 결정하는 소정의 촬영 조건이 도 3에서 설명한 바와 같이 611 내지 615, 621 내지 625 및 631 내지 635 방향에서 획득된 이미지를 포함하는지 여부라고 가정한다.
이러한 경우, 제어부(112)는 사용자 단말(200)로부터 수신한 이미지(가령 100개의 이미지)로부터 도시된 바와 같은 15개의 이미지를 평가 대상 이미지로 결정할 수 있다. 결정된 평가 대상 이미지는 피부에 대한 하나 이상의 속성값을 결정하거나, 피부의 등급을 결정하는데 사용될 수 있다.
본 발명의 일 실시예에 따른 제어부(112)는 평가 대상 이미지 중 어느 하나의 평가 대상 이미지에서, 피부의 색상 평가를 위한 기준 영역을 설정하고, 기준 영역의 색상에 기초하여 적어도 하나의 평가 대상 이미지로부터 피부의 색상에 대응되는 제1 속성값을 결정할 수 있다.
전술한 바와 같이 본 발명에서 피부의 '속성값'은 피부를 평가하는데 근간이 되는 다양한 요소들을 의미할 수 있으며, 그 중 제1 속성값은 피부의 색상에 대한 평가값을 의미할 수 있다.
이때 피부의 색상에 대한 평가는 가령 피부 색상의 균질도, 피부의 홍조 부분의 크기 정도 및 피부의 홍조 정도 등 색상으로써 판단되는 다양한 평가를 의미할 수 있다. 한편 기준 영역은 피부의 색상 판단에 기준이 되는 부위로, 기준 영역의 색상은 제1 속성값의 결정에 사용되는 기준 색상을 의미할 수 있다.
도 5a 내지 5c는 제어부(112)가 다양한 평가 대상 이미지(523, 525)로부터 기준영역을 설정하는 예시이다.
가령 제어부(112)는 도 5a에 도시된 바와 같이 얼굴의 정면 이미지(523)에서 미간(眉間)에 대응되는 영역(523-1)을 기준 영역으로 설정할 수 있다. 또한 제어부(112)는 도 5b에 도시된 바와 같이 얼굴의 좌측면 이미지(525)에서 귀(Ear) 주변부에 대응되는 영역(525-1)을 기준 영역으로 설정할 수 있다. 또한 제어부(112)는 도 5c에 도시된 바와 같이 얼굴의 정면 이미지(523)에서 얼굴을 제외한 신체의 나머지 부분(가령 목 등)에 대응되는 영역(523-2)을 기준 영역으로 설정할 수 있다.
이와 같은 기준 영역의 설정은 제1 속성값으로 나타내고자 하는 색상의 평가 항목(가령 홍조 정도, 그을린 정도, 여드름 정도 등)에 따라 다양한 평가 대상 이미지의 다양한 영역으로 설정될 수 있으며, 어떤 항목에 따라 어떤 영역이 설정되어야 하는지는 실험적으로 획득될 수 있다.
가령 제1 속성값으로 피부의 홍조 정도를 나타내고자 하는 경우, 기준 영역은 도 5a에 도시된 바와 같이 미간(眉間)에 대응되는 영역(523-1)으로 결정될 수 있다. 물론 이는 실험적으로 미간이 홍조가 가장 적게 발현되는 부위라는 사실 등이 확인되었음을 전제로 할 수 있다.
또한 제1 속성값으로써 피부의 그을린 정도(즉 햇볕에 탄 정도)를 나타내고자 하는 경우, 기준 영역은 도 5b에 도시된 바와 같이 귀 주변부에 대응되는 영역(525-1)이나, 도 5c에 도시된 바와 같이 얼굴을 제외한 신체의 나머지 부분(가령 목 등)에 대응되는 영역(523-2)으로 결정될 수 있다. 물론 이 또한 실험적으로 해당 부위들이 햇볕에 가장 그을려 지지 않는 부위라는 사실 등이 확인되었음을 전제로 할 수 있다.
다만 이는 예시적인 것으로, 본 발명의 사상이 이에 한정되는 것은 아니며, 이하에서는 제1 속성값으로 피부의 홍조 정도를 나타내고자 하는 경우를 예시로써, 제어부(112)가 제1 속성값을 결정하는 단계를 보다 상세히 살펴본다.
도 6은 본 발명의 일 실시예에 따른 제어부(112)가 제1 속성값을 결정하는 과정을 설명하기 위한 도면이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 제어부(112)는 하나 이상의 평가 대상 이미지(가령 도 4의 511 내지 515, 521 내지 525 및 531 내지 535) 중 얼굴의 정면 이미지를 포함하는 평가 대상 이미지(523)에서 얼굴 영역(523-5)을 인식할 수 있다. 또한 제어부(112)는 인식된 얼굴영역(523-5)에서 눈 영역(523-6, 523-7), 코 영역(523-8) 및 입 영역(523-9)을 포함하는 선별 제외 영역을 인식할 수 있다. 즉 이미지(523)에서 눈, 코, 입 등은 피부 상태 평가의 대상이 아니므로, 이미지에서 색상이 상이한 눈, 코, 입 등의 부위를 미리 제외함으로써 보다 유의미한 평가 결과가 도출되도록 할 수 있다.
제어부(112)는 얼굴 영역(523-5)에서 전술한 과정에 의해서 인식된 선별 제외 영역(523-6, 523-7, 523-8 및 523-9)을 제외한 나머지 영역에서 기준 색상과 색상의 차이가 소정의 임계 차이 이상인 적어도 하나의 지점(523-3, 523-4)을 선별할 수 있다. 이때 기준 색상은 전술한 과정에 의해서 설정된 기준 영역(523-1)의 색상일 수 있다.
이어서 제어부(112)는 선별된 적어도 하나의 지점(523-3, 523-4)의 수량, 선별된 적어도 하나의 지점(523-3, 523-4)의 기준 색상과의 색상차이 정도 및 선별된 적어도 하나의 지점(523-3, 523-4)간의 분산 정도 중 적어도 하나에 기초하여 제1 속성값을 결정할 수 있다.
이때 결정된 제1 속성값은 상술한 평가 요소 각각에 대한 정보를 각각에 대한 하나 이상의 성분으로써 포함할 수 있다. 가령 제1 속성값은 선별된 지점(523-3, 523-4)의 수에 대한 성분, 선별된 지점(523-3, 523-4)의 기준 색상과의 색상차이의 정도를 나타내는 성분 및 선별된 지점(523-3, 523-4)의 분산 정도를 나타내는 성분을 [2, 0.4, 0.7]등과 같이 성분의 형태로 포함할 수 있다.
본 발명의 일 실시예에 따른 제어부(112)는 평가 대상 이미지(가령 도 4의 511 내지 515, 521 내지 525 및 531 내지 535) 중 피부를 상이한 각도에서 촬영한 이미지간의 상호 비교(가령 522와 523의 비교)를 통하여 제2 속성값 및 제3 속성값 중 적어도 하나를 결정할 수 있다.
이미지는 3차원 공간상의 객체(가령 사람의 얼굴)를 2차원 공간상에 나타내므로, 어느 하나의 이미지만으로 객체의 3차원 공간상에서의 특징을 파악하기 어려울 수 있다. 가령 얼굴의 정면 이미지(도 4의 523)로부터 얼굴의 주름 정도나 얼굴의 굴곡 정도를 정확하게 파악하기 어려울 수 있다. 따라서 제어부(112)는 동일한 부위에 대해서 다양한 각도에서 촬영된 이미지를 상호 비교함으로써, 객체의 3차원 공간상에서의 특징을 보다 정확하게 파악할 수 있다.
이하에서는 도 7a 및 도 7b를 참조하여, 얼굴에 돌출된 점이 있음을 전제로, 제어부(112)가 제3 속성값을 결정하는 내용을 설명한다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 제어부(112)가 제3 속성값을 결정하는 과정을 설명하기 위한 도면이다.
설명의 편의를 위하여, 사람의 얼굴에 점(523-10)이 있으며, 점(523-10)은 도시된 바와 같이 돌출되어서 제3 속성값에 영향을 미치는 것으로 가정한다. 한편 제3 속성값은 전술한 바와 같이 피부의 주름에 의한 굴곡을 제외한 나머지 요인으로 인해 피부가 울퉁불퉁한 정도를 나타내는 값일 수 있다.
전술한 가정 하에 본 발명의 일 실시예에 따른 제어부(112)는 제1 평가 대상 이미지(523)에서 제1 굴곡 영역(점(523-10) 영역)을 결정하고, 제1 굴곡 영역(점(523-10) 영역)의 굴곡 정도인 제1 굴곡도를 결정할 수 있다. 이때 제어부(112)는 제1 평가 대상 이미지(523)에서 색상을 기준으로 제1 굴곡 영역(점(523-10) 영역)을 결정할 수 있다. 바꾸어 말하면 제어부(112)는 제1 평가 대상 이미지(523)에서 기준 색상과 색상의 차이가 임계 차이 이상인 지점을 제1 굴곡 영역(점(523-10) 영역)으로 결정할 수 있다. 한편 제1 평가 대상 이미지(523)에 기초하여 결정되는 제1 굴곡도는, 제1 굴곡 영역의 종류에 따라 굴곡이 없는 것에 대응되도록 결정될 수도 있고, 또는 굴곡의 정도를 반영하도록 결정될 수도 있다. 가령 도 7a에 도시된 바와 같이 점(523-10) 영역이 제1 굴곡 영역으로 결정된 경우, 제1 평가 대상 이미지(523)로부터는 제1 굴곡 영역의 굴곡 정도를 파악할 수 없으므로(왜냐하면 점(523-10)에 대한 정면 이미지이므로), 제1 굴곡도는 굴곡이 없는 것에 대응되도록 결정될 수 있다. 그러나 이와 달리 제1 평가 대상 이미지(523)로부터 굴곡의 정도를 파악할 수 있는 경우(가령 제2 속성값을 결정할 때, 제1 평가 대상 이미지(523)에 주름이 포함된 경우), 제1 굴곡도는 해당 굴곡의 정도를 반영하도록 결정될 수 있다.
이어서 제어부(112)는 제1 평가 대상 이미지(523)와 상이한 제2 평가 대상 이미지(522)에서 제1 굴곡 영역(점(523-10) 영역)과 대응되는 영역(즉 점(522-1)영역)의 굴곡 정도인 제2 굴곡도를 결정할 수 있다. 바꾸어 말하면, 다른 각도에서 촬영된 동일한 객체에 대한 이미지에 기초하여, 해당 영역에 대한 3차원 공간상에서의 정보가 없어도 굴곡의 정도를 정확하게 파악할 수 있다.
제어부(112)는 전술한 과정에 의해서 결정된 제1 굴곡도 및 제2 굴곡도 중 적어도 하나에 기초하여 제3 속성값을 결정할 수 있다. 가령 제어부(112)는 제1 굴곡도 및 제2 굴곡도의 평균에 기초하여 제3 속성값을 결정할 수도 있고, 제1 굴곡도 및 제2 굴곡도 중 큰 굴곡도에 기초하여 제3 속성값을 결정할 수도 있다.
한편 도 7a 및 도 7b에서 설명한 과정은 제2 속성값의 결정에 있어서도 동일하게 반복될 수 있으므로, 제2 속성값을 결정하는 과정에 대한 상세한 설명은 생략한다.
이로써 본 발명은 피부의 이미지 분석에 기초하여 피부의 색상에 대한 평가 및 3차원 공간상에서의 특성에 대한 평가를 수행할 수 있다.
본 발명의 일 실시예에 따른 제어부(112)는 상술한 과정에 따라 결정된 제1 속성값, 제2 속성값 및 제3 속성값 중 적어도 하나에 기초하여 다양한 동작을 수행할 수 있다. 가령 제어부(112)는 결정된 제1 속성값, 제2 속성값 및 제3 속성값을 사용자 단말(200)에 제공할 수도 있고, 후술하는 바와 같이 피부의 등급 결정에 사용할 수도 있다. 이하에서는 제어부(112)가 결정된 속성값들로부터 피부의 등급을 결정하는 내용을 중심으로 설명한다.
2) 피부 상태 평가 장치(110)가 피부 인식기를 생성/업데이트 하는 방법
피부 상태 평가 장치(110)가 전술한 과정에 의해서 결정된 속성값들에 기초하여 피부의 등급을 결정하기 이전에, 피부의 등급을 결정하는 피부 인식기의 생성 및/또는 학습이 선행될 필요가 있다. 따라서 이하에서는 피부 상태 평가 장치(110)의 피부 인식기 생성/업데이트 방법에 대해 먼저 설명한다.
본 발명에서 피부 인식기를 '생성'하는 것은 피부 인식기를 최초로 구성하는 것뿐만 아니라, 구성된 피부 인식기를 업데이트 하는 것을 의미할 수 있다.
본 발명의 일 실시예에 따른 피부 인식기는 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제1 특징 벡터와 복수의 피부 각각의 등급에 대응되는 제2 특징 벡터 간의 상관관계를 표현한 데이터 셋트일 수 있다. 이때 하나 이상의 속성값은 전술한 과정에 의해서 결정된 제1 속성값, 제2 속성값 및 제3 속성값 중 적어도 하나를 의미할 수 있다.
이와 같은 피부 인식기는 머신 러닝(Machine Learning) 기법으로 생성된 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제1 특징 벡터와 이러한 복수의 피부 각각의 등급에 대응되는 제2 특징 벡터 간의 상관관계, 즉 양자의 매핑 정보일 수 있다.
피부 상태 평가 장치(110)는 복수의 트레이닝 피부 이미지 및/또는 트레이닝 피부 정보를 분류하기 위해 Logistic regression, Decision tree, Nearest-neighbor classifier, Kernel discriminate analysis, Neural network, Support Vector Machine, Random forest, Boosted tree 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
피부 상태 평가 장치(110)는 어떤 피부의 속성값이나 등급을 예측하기 위해 Linear regression, Regression tree, Kernel regression, Support vector regression, Deep Learning 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
또한 피부 상태 평가 장치(110)는 벡터의 연산을 위해 Principal component analysis, Non-negative matrix factorization, Independent component analysis, Manifold learning, SVD 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
피부 상태 평가 장치(110)는 복수의 피부의 이미지의 그룹화를 위해 k-means, Hierarchical clustering, mean-shift, self-organizing maps(SOMs) 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
피부 상태 평가 장치(110)는 데이터 비교를 위해 Bipartite cross-matching, n-point correlation two-sample testing, minimum spanning tree 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
다만 전술한 알고리즘 및/또는 방식(기법)은 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
한편 피부 인식기는 전술한 바와 같이 데이터 셋트(Data set)일 수 있다. 바꾸어 말하면 피부 인식기는 행렬(Matrix)과 같이 복수개의 숫자(또는 계수)로 구성된 데이터 셋트일 수 있다.
도 8은 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)가 피부 인식기(821)를 생성/업데이트 하는 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 제어부(112)는 피부 인식기(821)의 생성을 위해 하나 이상의 트레이닝 피부 정보(810)를 획득할 수 있다. 트레이닝 피부 정보(810)는 피부 이미지를 포함하고, 피부에 대한 적어도 하나의 속성에 대한 속성값과 피부의 등급이 표지되어 있을 수 있다. 즉, 트레이닝 피부 정보(810)는 이미 그 속성값과 등급을 아는 피부에 대한 정보로, 피부 인식기의 생성 및/또는 업데이트(또는 학습)를 위해 사용되는 정보일 수 있다.
가령 첫 번째 트레이닝 피부 정보(811)의 경우, 피부의 홍조 정도, 주름 정도 및 평탄도 등을 포함하는 속성값(812)과 피부의 등급(813)이 표지되어 있을 수 있다. 이때 피부의 홍조 정도, 주름 정도 및 평탄도와 같은 속성값(812)과 피부의 등급(813) 각각은 벡터의 형태로 표지되어 있을 수 있다. 바꾸어 말하면 첫 번째 트레이닝 피부 정보(811)에는 피부의 적어도 하나의 속성에 대한 속성값에 대응되는 제1 특징 벡터와 피부의 등급과 대응되는 제2 특징 벡터가 표지되어 있을 수 있다.
선택적 실시예에서, 속성값(812)과 등급(813) 각각은 수치의 형태로 트레이닝 피부 정보(811)에 표지되어 있을 수 있다. 가령 속성값(812)은 0.1, 0.8과 같이 각각의 속성에 대한 강도를 나타내는 수치의 형태로 표지되어 있을 수 있다. 또한 피부의 등급은 '제1 등급' 또는 '제3 등급'과 같이 전술한 4개의 등급 중 어느 하나의 등급으로 표지되어 있을 수 있다. 이와 같이 각 속성값이 수치로 표지되어 있는 경우, 본 발명의 일 실시예에 따른 제어부(112)는 인식기(821)의 생성 또는 업데이트 과정에 있어서 수치들을 각각의 수치와 대응되는 벡터의 형태로 변환할 수 있다.
한편 속성값(812)은 전술한 세가지 속성에 대한 속성값 외에도, 피부 연령(가령 피부연령 30세), 성별(가령 남성), 인종(가령 동양인), 질병여부(가령 만성 피부염) 등에 대한 속성값을 더 포함할 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 제어부(112)는 이와 같은 트레이닝 피부 정보(810)를 외부장치(300)로부터 획득할 수도 있고, 피부 상태 평가 장치(110)의 메모리(113)로부터 획득할 수도 있다. 가령 제어부(112)는 특정 피부과의 서버에 저장된 진료 이력으로부터 트레이닝 피부 정보(810)를 획득할 수도 있다. 이때 피부과 서버에 저장된 진료 이력은 전문가(가령 피부과 의사)에 의해 작성된 것일 수 있다. 바꾸어 말하면 트레이닝 피부 이미지(310)는 전문가가 피부를 평가한 자료에 기초한 것일 수 있다. 또한 제어부(112)는 스스로가 과거에 다른 피부 이미지의 속성값이나 등급을 결정한 이력으로부터 트레이닝 피부 정보(810)를 획득할 수도 있다.
본 발명의 일 실시예에 따른 제어부(112)는 트레이닝 피부 정보(810)에 포함된 속성값과 등급에 기초하여 피부 인식기(821)를 업데이트(Update)할 수 있다. 이때 속성값과 등급 각각은 전술한 바와 같이 벡터의 형태일 수 있다. 따라서 본 발명의 일 실시예에 따른 제어부(112)는 트레이닝 피부 정보(810)에 포함된 제1 특징 벡터(속성값에 대응)와 제2 특징 벡터(등급에 대응) 기초하여 피부 인식기(821)를 업데이트(Update)할 수 있다. 이때 피부 인식기(821)는 전술한 바와 같이 머신 러닝(Machine Learning) 기법으로 생성된 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제1 특징 벡터와 이러한 복수의 피부 각각의 등급에 대응되는 제2 특징 벡터 간의 상관관계, 즉 양자의 매핑 정보일 수 있다.
본 발명의 일 실시예에 따른 제어부(112)는 이러한 제1 특징 벡터와 제2 특징 벡터를 서로 대응(매핑)시킬 수 있도록, 피부 인식기(821)의 데이터 셋트를 갱신하는 방식으로 피부 인식기(821)를 업데이트 시킬 수 있다. 가령 피부 인식기(821)의 데이터 셋트가 도 8에 도시된 바와 같이 복수개의 계수(Weight)로 구성되는 경우, 제어부(112)는 제1 특징 벡터와 제2 특징 벡터에 기초하여 피부 인식기(821)를 구성하는 계수들을 조절할 수 있다.
제어부(112)는 제1 특징 벡터와 제2 특징 벡터가 표지된 트레이닝 피부 정보를 반복적으로 획득하고, 이에 기초하여 계수들을 반복적으로 업데이트 함으로써 보다 정확도가 향상된 피부의 등급을 제공하는 피부 인식기(821)를 획득할 수 있다.
3) 피부 상태 평가 장치(110)가 피부의 등급을 결정하는 방법
이상에서는 도 8을 참조하여 피부 상태 평가 장치(110)가 피부 인식기(821)를 생성하는 방법을 설명하였다. 이하에서는 도 9를 통하여 피부 상태 평가 장치(110)가 전술한 과정에 의하여 생성된 피부 인식기(821)를 이용하여 평가 대상 피부의 등급을 결정하는 방법을 설명한다.
도 9는 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)가 피부 인식기(821)에 기초하여 평가 대상 피부의 속성값과 등급을 결정하는 방법을 설명한다.
설명의 편의를 위하여, 도 3 내지 도 7b에서 설명한 과정에 따라 제어부(112)가 이미지 분석을 통하여 피부 이미지(911)로부터 속성값(921)들을 결정한 상태이며, 도 8에서 설명한 과정에 따라 피부 인식기(821)가 생성된 상태라고 가정한다.
본 발명의 일 실시예에 따른 제어부(112)는 제1 속성값, 제2 속성값 및 제3 속성값(921) 중 적어도 하나에 기초하여 제1 특징 벡터(931)를 생성할 수 있다. 가령 제어부(112)는 각 속성값(제1 속성값, 제2 속성값, 제3 속성값)을 성분으로 하는 제1 특징 벡터(931)를 생성할 수 있다. 이때 각 속성값이 복수의 성분을 갖는 경우, 제어부(112)는 각 속성값이 갖는 복수의 성분 중 적어도 일부가 제1 특징 벡터(931)에 포함되도록 할 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
선택적 실시예에서 제어부(112)는 제1 특징 벡터(931)를 생성함에 있어서 피부의 적어도 하나의 물리량이나 피부가 노출되어 있는 환경에 대한 물리량을 더 고려하여 제1 특징 벡터(931)를 생성할 수 있다.
이미지의 경우 시각적인 정보만을 수반한다. 따라서 이미지로부터는 피부에 대한 시각적인 정보 외의 나머지 정보(가령 피부의 탄력도, 피부의 수분 포함 정도, 피부의 각질 두께, 피부에 칠해진 메이크업의 두께 등)를 획득하기 어려울 수 있다. 본 발명의 일 실시예에 따른 제어부(112)는 제1 특징 벡터(931)를 생성함에 있어서 피부의 적어도 하나의 물리량을 더 고려하여 제1 특징 벡터(931)를 생성할 수 있다. 가령 본 발명의 일 실시예에 따른 제어부(112)는 전술한 제1 속성값, 제2 속성값 및 제3 속성값 중 적어도 하나와 피부의 적어도 하나의 물리량에 기초하여 제1 특징 벡터(931)를 생성할 수 있다. 이때 적어도 하나의 물리량은 피부의 탄력도, 피부의 수분 포함 정도, 피부의 각질 두께 및 피부에 칠해진 메이크업의 두께 중 적어도 하나일 수 있다.
또한 이미지는 획득 환경에 따라 그 결과가 상이할 수 있다. 가령 특정 색상의 조명 조건에서 이미지를 획득한 경우, 이미지 상의 피부의 색은 원래 피부의 색과 상이할 수 있다. 본 발명의 일 실시예에 따른 제어부(112)는 제1 특징 벡터(931)를 생성함에 있어서 피부가 노출되어 있는 환경에 대한 물리량을 더 고려하여 제1 특징 벡터(931)를 생성할 수도 있다.
한편 피부에 대한 하나 이상의 물리량이나 피부가 노출되어 있는 환경에 대한 물리량은 전술한 피부 진단 장치(미도시) 및/또는 사용자 단말(200)에 의해 획득되어 전송된 것일 수 있다.
이로써 본 발명은 다양한 환경 요소를 고려하여 보다 정확하게 피부의 상태를 평가할 수 있다.
본 발명의 일 실시예에 따른 제어부(112)는 생성된 제1 특징 벡터(931) 및 피부 인식기(821)에 기초하여 피부의 등급에 대응되는 제2 특징 벡터(941)를 결정할 수 있다.
전술한 바와 같이 피부 인식기(821)는 머신 러닝(Machine Learning) 기법으로 생성된 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제1 특징 벡터와 이러한 복수의 피부 각각의 등급에 대응되는 제2 특징 벡터 간의 상관관계, 즉 양자의 매핑 정보일 수 있다.
따라서 본 발명의 일 실시예에 따른 제어부(112)는 전술한 과정에 의해서 생성된 제1 특징 벡터(931)를 피부 인식기(821)에 입력하여 출력 결과로써 제2 특징 벡터(941)를 획득할 수 있다. 이때 제2 특징 벡터(941)는 피부의 등급을 나타내는 벡터로써의 의미를 가질 수 있다. 물론 제2 특징 벡터(941)는 피부의 등급과 대응되는 백터 성분을 포함할 수 있다.
이로써 본 발명은 피부의 각 속성에 대한 속성값을 확인함과 동시에, 이에 기초하여 피부의 객관적인 등급을 결정할 수 있다.
본 발명의 일 실시예에 따른 제어부(112)는 제2 특징 벡터(941)에 기초하여 피부의 등급을 결정할 수 있다. 또한 제어부(112)는 결정된 피부의 등급을 사용자 단말(200)에 제공할 수 있다. 이때 제어부(112)는 전술한 과정에 의해서 결정된 속성값(921)을 결정된 피부의 등급과 함께 사용자 단말(200)에 제공할 수 있다.
선택적 실시예에서, 제어부(112)는 전술한 과정에 의해 결정된 피부의 등급 및 피부의 속성값 중 적어도 일부를 외부장치(300)로 제공할 수도 있다.
이때 사용자 단말(200) 또는 외부장치(300)에 제공되는 피부의 등급은 피부의 전반적인 상태로써의 의미를 가질 수 있으며, 피부의 속성값은 피부에 대한 구체적인 치료에 있어서 어떤 부분의 개선이 필요한지를 알려주는 개별적인 정보로써의 의미를 가질 수 있다.
또한 본 발명의 일 실시예에 따른 제어부(112)는 전술한 피부의 각 속성에 대한 속성값 및 피부 등급에 기초하여 추천 관리 상품을 결정하고, 이를 사용자 단말(200)에 더 제공할 수 있다. 이때 추천 관리 상품은 피부의 관리를 위한 치료 서비스, 피부의 관리를 위한 제품 및 피부의 관리를 위한 교육 콘텐츠 중 적어도 하나를 포함할 수 있다.
이로써 본 발명은 피부의 상태 분석과 더불어 각 상태에 기초한 해결방안 등을 통합적으로 제공할 수 있다.
한편 제어부(112)는 전술한 과정에 의해 사용자 단말(200)로 제공한 추천 관리 상품에 대한 사용자의 선택 정보를 수신하고, 이러한 사용자의 선택 정보에 기초하여 피부의 각 속성에 대한 속성값 및 피부 등급을 제3 서버(미도시)로 전송할 수 있다. 이때 제3 서버(미도시)는 추천 관리 상품의 운영 주체의 서버일 수 있다.
가령 사용자 단말(200)로부터 '피부의 관리를 위한 치료 서비스'에 대한 선택 정보를 수신한 경우, 제어부(112)는 치료 서비스를 제공하는 의료기관의 서버로 피부의 각 속성에 대한 속성값 및 피부 등급을 전송할 수 있다. 이때 제어부(112)는 피부 이미지를 함께 전송할 수도 있다. 전송된 정보는 피부의 치료를 위한 일련의 과정(가령 전문의의 배정 등)에서 활용될 수 있다.
또한 사용자 단말(200)로부터 '피부의 관리를 위한 제품 또는 콘텐츠'에 대한 선택 정보를 수신한 경우, 제어부(112)는 제품 또는 콘텐츠의 제공 주체 서버로 피부의 각 속성에 대한 속성값 및 피부 등급을 전송할 수도 있다.
이로써 본 발명은 피부에 대한 이미지로부터 정확한 피부의 진단이 가능할 뿐만 아니라, 후속절차와도 연계하여 피부 상태에 따라 적절한 처리 방법을 제공해 줄 수 있다.
도 10은 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)에 의해 수행되는 피부 상태 평가 방법을 설명하기 위한 흐름도이다. 이하에서는 도 1 내지 도 9를 통해 설명한 내용과 중복되는 내용의 설명은 생략한다.
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 피부 인식기를 생성할 수 있다. (S101) 본 발명에서 피부 인식기를 '생성'하는 것은 피부 인식기를 최초로 구성하는 것뿐만 아니라, 구성된 피부 인식기를 업데이트 하는 것을 의미할 수 있다. 본 발명의 일 실시예에 따른 피부 인식기는 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제1 특징 벡터와 복수의 피부 각각의 등급에 대응되는 제2 특징 벡터 간의 상관관계를 표현한 데이터 셋트일 수 있다.
이와 같은 피부 인식기는 머신 러닝(Machine Learning) 기법으로 생성된 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제1 특징 벡터와 이러한 복수의 피부 각각의 등급에 대응되는 제2 특징 벡터 간의 상관관계, 즉 양자의 매핑 정보일 수 있다.
한편 피부 인식기는 전술한 바와 같이 데이터 셋트(Data set)일 수 있다. 바꾸어 말하면 피부 인식기는 행렬(Matrix)과 같이 복수개의 숫자로 구성된 데이터 셋트일 수 있다.
다시 도 8을 참조하면, 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 피부 인식기(821)의 생성을 위해 하나 이상의 트레이닝 피부 정보(810)를 획득할 수 있다. 트레이닝 피부 정보(810)는 피부 이미지를 포함하고, 피부에 대한 적어도 하나의 속성에 대한 속성값과 피부의 등급이 표지되어 있을 수 있다. 따라서 트레이닝 피부 정보(810)는 이미 그 속성값과 등급을 아는 피부에 대한 정보로, 피부 인식기의 생성 및/또는 업데이트를 위해 사용되는 정보일 수 있다.
가령 첫 번째 트레이닝 피부 정보(811)의 경우, 피부의 홍조 정도, 주름 정도 및 평탄도 등을 포함하는 속성값(812)과 피부의 등급(813)이 표지되어 있을 수 있다. 이때 피부의 홍조 정도, 주름 정도 및 평탄도와 같은 속성값(812)과 피부의 등급(813) 각각은 벡터의 형태로 표지되어 있을 수 있다. 바꾸어 말하면 첫 번째 트레이닝 피부 정보(811)에는 피부의 적어도 하나의 속성에 대한 속성값에 대응되는 제1 특징 벡터와 피부의 등급과 대응되는 제2 특징 벡터가 표지되어 있을 수 있다.
선택적 실시예에서, 속성값(812)과 등급(813) 각각은 수치의 형태로 트레이닝 피부 정보(811)에 표지되어 있을 수 있다. 가령 속성값(812)은 0.1, 0.8과 같이 각각의 속성에 대한 강도를 나타내는 수치의 형태로 표지되어 있을 수 있다. 또한 피부의 등급은 '제1 등급' 또는 '제3 등급'과 같이 전술한 4개의 등급 중 어느 하나의 등급으로 표지되어 있을 수 있다. 이와 같이 각 속성값이 수치로 표지되어 있는 경우, 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 인식기(821)의 생성 또는 업데이트 과정에 있어서 수치들을 각각의 수치와 대응되는 벡터의 형태로 변환할 수 있다.
한편 속성값(812)은 전술한 세가지 속성에 대한 속성값 외에도, 피부 연령(가령 피부연령 30세), 성별(가령 남성), 인종(가령 동양인), 질병여부(가령 만성 피부염) 등에 대한 속성값을 더 포함할 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 이와 같은 트레이닝 피부 정보(810)를 외부장치(300)로부터 획득할 수도 있고, 피부 상태 평가 장치(110)의 메모리(113)로부터 획득할 수도 있다. 가령 피부 상태 평가 장치(110)는 특정 피부과의 서버에 저장된 진료 이력으로부터 트레이닝 피부 정보(810)를 획득할 수도 있다. 이때 피부과 서버에 저장된 진료 이력은 전문가(가령 피부과 의사)에 의해 작성된 것일 수 있다. 바꾸어 말하면 트레이닝 피부 이미지(310)는 전문가가 피부를 평가한 자료에 기초한 것일 수 있다. 또한 피부 상태 평가 장치(110)는 스스로가 과거에 다른 피부 이미지의 속성값이나 등급을 결정한 이력으로부터 트레이닝 피부 정보(810)를 획득할 수도 있다.
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 트레이닝 피부 정보(810)에 포함된 속성값과 등급에 기초하여 피부 인식기(821)를 업데이트(Update)할 수 있다. 이때 속성값과 등급 각각은 전술한 바와 같이 벡터의 형태일 수 있다. 따라서 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 트레이닝 피부 정보(810)에 포함된 제1 특징 벡터(속성값에 대응)와 제2 특징 벡터(등급에 대응) 기초하여 피부 인식기(821)를 업데이트(Update)할 수 있다. 이때 피부 인식기(821)는 전술한 바와 같이 머신 러닝(Machine Learning) 기법으로 생성된 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제1 특징 벡터와 이러한 복수의 피부 각각의 등급에 대응되는 제2 특징 벡터 간의 상관관계, 즉 양자의 매핑 정보일 수 있다.
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 이러한 제1 특징 벡터와 제2 특징 벡터를 서로 대응(매핑)시킬 수 있도록, 피부 인식기(821)의 데이터 셋트를 갱신하는 방식으로 피부 인식기(821)를 업데이트 시킬 수 있다. 가령 피부 인식기(821)의 데이터 셋트가 도 8에 도시된 바와 같이 복수개의 계수(Weight)로 구성되는 경우, 피부 상태 평가 장치(110)는 제1 특징 벡터와 제2 특징 벡터에 기초하여 피부 인식기(821)를 구성하는 계수들을 조절할 수 있다.
피부 상태 평가 장치(110)는 제1 특징 벡터와 제2 특징 벡터가 표지된 트레이닝 피부 정보를 반복적으로 획득하고, 이에 기초하여 계수들을 반복적으로 업데이트 함으로써 보다 정확도가 향상된 피부의 등급을 제공하는 피부 인식기(821)를 획득할 수 있다.
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 사용자 단말(200)로부터 피부에 대한 이미지를 획득할 수 있다.(S102) 이때 피부 상태 평가 장치(110)는 사용자 단말(200)로부터 피부에 대한 복수의 이미지를 획득할 수 있다. 복수의 이미지들은 동일한 피사체(가령 얼굴)에 대해 촬영 각도, 촬영시 조사된 광의 파장과 같은 촬영 조건을 서로 달리하여 획득된 이미지들일 수 있다. 이와 같은 촬영 조건은 피부 이미지에 매타데이터의 형태로 태그되어 있을수도 있고, 피부 상태 평가 장치(110)가 이미지 분석을 통하여 이미지 그 자체로부터 획득하는 것일 수도 있다.
이어서 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 사용자 단말(200)로부터 수신된 복수의 이미지 중 소정의 촬영 조건을 만족하는 적어도 하나의 평가 대상 이미지를 결정할 수 있다.(S103)
본 발명에서 '평가 대상 이미지'는 피부 평가에 있어서 사용되는 이미지로, 상태를 평가하고자 하는 부위별로 상이한 기준(즉 전술한 소정의 촬영 조건)에 따라 선별되는 이미지일 수 있다.
다시 도 3을 참조하면, 사람(500)의 얼굴 피부를 판단하고자 하는 경우, 소정의 촬영 조건은, 이미지가 얼굴의 정면 이미지(가령 623 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제1 각도에서 촬영된 얼굴의 좌측면 이미지(가령 624 또는 625 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제2 각도에서 촬영된 얼굴의 우측면 이미지(가령 621 또는 622 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제3 각도에서 촬영된 얼굴의 상면 이미지(가령 613 방향에서 획득된 이미지)를 포함하는지 여부 및 이미지가 소정의 제4 각도에서 촬영된 얼굴의 하면 이미지(가령 633 방향에서 획득된 이미지)를 포함하는지 여부 중 적어도 하나일 수 있다.
물론 전술한 촬영 조건 외에도 촬영 조건은 이미지가 소정의 제5 각도에서 촬영된 얼굴의 상좌측면 이미지(가령 614 또는 615 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제6 각도에서 촬영된 얼굴의 상우측면 이미지(가령 611 또는 612 방향에서 획득된 이미지)를 포함하는지 여부, 이미지가 소정의 제7 각도에서 촬영된 얼굴의 하좌측면 이미지(가령 634 또는 635 방향에서 획득된 이미지)를 포함하는지 여부 및 이미지가 소정의 제8 각도에서 촬영된 얼굴의 하우측면 이미지(가령 631 또는 632 방향에서 획득된 이미지)를 포함하는지 여부를 포함하는지 여부 중 적어도 하나를 더 포함할 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니며, 촬영 조건은 전술한 것 보다 더 다양하게 또는 더 간단하게 설정될 수 있다.
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 사용자 단말(200)로부터 수신한 복수의 이미지 중 상술한 촬영 조건을 만족하는 이미지를 평가 대상 이미지로써 추출하여, 후술하는 피부에 대한 속성값 결정에 사용할 수 있다.
본 발명의 다른 실시예에서, 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 상술한 촬영 조건을 사용자 단말(200)에 제공하고, 사용자 단말(200)이 상술한 조건에 부합되는 이미지만을 획득하여 서버(100)에 전송하도록 할 수 있다. 바꾸어 말하면, 사용자 단말(200)은 제공된 촬영 조건에 따라 이미지를 획득하고, 이를 서버(100)에 전송할 수 있다.
이러한 경우 피부 상태 평가 장치(110)는 복수의 이미지 중 소정의 촬영 조건을 만족하는 평가 대상 이미지를 결정하는 과정 없이, 곧바로 사용자 단말(200)로부터 수신된 이미지를 평가 대상 이미지로 결정할 수 있다. 이때 피부 상태 평가 장치(110)는 촬영 조건에 따른 촬영이 가능하도록 하는 인터페이스를 사용자 단말(200)에 제공할 수 있다. 가령 피부 상태 평가 장치(110)는 촬영 조건에 따른 샘플 이미지, 촬영 조건에 대한 정보 및 현재 촬영되는 이미지의 촬영 조건 만족 여부 등을 표시하는 촬영 인터페이스를 사용자 단말(200)에 제공할 수 있다.
본 발명의 또 다른 실시예에서, 피부 상태 평가 장치(110)는 사용자 단말(200)로부터 수신한 동영상으로부터 상술한 평가 대상 이미지를 결정할 수도 있다. 즉, 피부 상태 평가 장치(110)는 동영상에 포함되는 복수의 프레임(Frame) 중에서 소정의 촬영 조건을 만족하는 적어도 하나의 프레임을 평가 대상 이미지로 결정할 수 있다. 물론 이는, 사용자 단말(200)이 피부의 상태를 판단하고자 하는 대상을 다양한 각도에서 촬영한 동영상을 서버(100)로 전송하였음을 전제로 한다. 이러한 경우 피부 상태 평가 장치(110)가 미리 사용자 단말(200)에 촬영 조건 및 촬영 인터페이스를 제공하거나 또는 피부 상태 평가 장치(110)가 사용자 단말(200)로부터 수신된 복수의 이미지로부터 평가 대상 이미지를 결정하는 과정은 생략될 수 있다.
다만 이하에서는 설명의 편의를 위하여, 피부 상태 평가 장치(110)가 사용자 단말(200)로부터 수신된 복수의 이미지로부터 평가 대상 이미지를 결정하는 것을 전제로 설명한다.
다시 도 4를 참조하면, 피부 상태 평가 장치(110)는 사용자 단말(200)로부터 수신한 이미지(가령 100개의 이미지)로부터 도시된 바와 같은 15개의 이미지를 평가 대상 이미지로 결정할 수 있다. 결정된 평가 대상 이미지는 피부에 대한 하나 이상의 속성값을 결정하거나, 피부의 등급을 결정하는데 사용될 수 있다.
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 평가 대상 이미지 중 어느 하나의 평가 대상 이미지에서 속성값들을 결정할 수 있다.(S104)
먼저, 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 평가 대상 이미지 중 어느 하나의 평가 대상 이미지에서, 피부의 색상 평가를 위한 기준 영역을 설정하고, 기준 영역의 색상에 기초하여 적어도 하나의 평가 대상 이미지로부터 피부의 색상에 대응되는 제1 속성값을 결정할 수 있다.
전술한 바와 같이 본 발명에서 피부의 '속성값'은 피부를 평가하는데 근간이 되는 다양한 요소들을 의미할 수 있으며, 그 중 제1 속성값은 피부의 색상에 대한 평가값을 의미할 수 있다.
이때 피부의 색상에 대한 평가는 가령 피부 색상의 균질도, 피부의 홍조 부분의 크기 정도 및 피부의 홍조 정도 등 색상으로써 판단되는 다양한 평가를 의미할 수 있다. 한편 기준 영역은 피부의 색상 판단에 기준이 되는 부위로, 기준 영역의 색상은 제1 속성값의 결정에 사용되는 기준 색상을 의미할 수 있다.
다시 도 5a 내지 5c를 참조하여 피부 상태 평가 장치(110)가 다양한 평가 대상 이미지(523, 525)로부터 기준영역을 설정하는 예시를 설명한다.
가령 피부 상태 평가 장치(110)는 도 5a에 도시된 바와 같이 얼굴의 정면 이미지(523)에서 미간(眉間)에 대응되는 영역(523-1)을 기준 영역으로 설정할 수 있다. 또한 피부 상태 평가 장치(110)는 도 5b에 도시된 바와 같이 얼굴의 좌측면 이미지(525)에서 귀(Ear) 주변부에 대응되는 영역(525-1)을 기준 영역으로 설정할 수 있다. 또한 피부 상태 평가 장치(110)는 도 5c에 도시된 바와 같이 얼굴의 정면 이미지(523)에서 얼굴을 제외한 신체의 나머지 부분(가령 목 등)에 대응되는 영역(523-2)을 기준 영역으로 설정할 수 있다.
이와 같은 기준 영역의 설정은 제1 속성값으로 나타내고자 하는 색상의 평가 항목(가령 홍조 정도, 그을린 정도, 여드름 정도 등)에 따라 다양한 평가 대상 이미지의 다양한 영역으로 설정될 수 있으며, 어떤 항목에 따라 어떤 영역이 설정되어야 하는지는 실험적으로 획득될 수 있다.
가령 제1 속성값으로 피부의 홍조 정도를 나타내고자 하는 경우, 기준 영역은 도 5a에 도시된 바와 같이 미간(眉間)에 대응되는 영역(523-1)으로 결정될 수 있다. 물론 이는 실험적으로 미간이 홍조가 가장 적게 발현되는 부위라는 사실 등이 확인되었음을 전제로 할 수 있다.
또한 제1 속성값으로써 피부의 그을린 정도(즉 햇볕에 탄 정도)를 나타내고자 하는 경우, 기준 영역은 도 5b에 도시된 바와 같이 귀 주변부에 대응되는 영역(525-1)이나, 도 5c에 도시된 바와 같이 얼굴을 제외한 신체의 나머지 부분(가령 목 등)에 대응되는 영역(523-2)으로 결정될 수 있다. 물론 이 또한 실험적으로 해당 부위들이 햇볕에 가장 그을려 지지 않는 부위라는 사실 등이 확인되었음을 전제로 할 수 있다. 다만 이는 예시적인 것으로, 본 발명의 사상이 이에 한정되는 것은 아니며, 이하에서는 제1 속성값으로 피부의 홍조 정도를 나타내고자 하는 경우를 예시로써, 피부 상태 평가 장치(110)가 제1 속성값을 결정하는 단계를 보다 상세히 살펴본다.
다시 도 6을 참조하면, 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 하나 이상의 평가 대상 이미지(가령 도 4의 511 내지 515, 521 내지 525 및 531 내지 535) 중 얼굴의 정면 이미지를 포함하는 평가 대상 이미지(523)에서 얼굴 영역(523-4)을 인식할 수 있다. 또한 피부 상태 평가 장치(110)는 인식된 얼굴영역(523-4)에서 눈 영역(523-5, 523-6), 코 영역(523-7) 및 입 영역(523-8)을 포함하는 선별 제외 영역을 인식할 수 있다. 즉 이미지(523)에서 눈, 코, 입 등은 피부 상태 평가의 대상이 아니므로, 이미지에서 색상이 상이한 눈, 코, 입 등의 부위를 미리 제외함으로써 보다 유의미한 평가 결과가 도출되도록 할 수 있다.
피부 상태 평가 장치(110)는 얼굴 영역(523-4)에서 전술한 과정에 의해서 인식된 선별 제외 영역(523-5, 523-6, 523-7 및 523-8)을 제외한 나머지 영역에서 기준 색상과 색상의 차이가 소정의 임계 차이 이상인 적어도 하나의 지점(523-2, 523-3)을 선별할 수 있다. 이때 기준 색상은 전술한 과정에 의해서 설정된 기준 영역(523-1)의 색상일 수 있다.
이어서 피부 상태 평가 장치(110)는 선별된 적어도 하나의 지점(523-2, 523-3)의 수량, 선별된 적어도 하나의 지점(523-2, 523-3)의 기준 색상과의 색상차이 정도 및 선별된 적어도 하나의 지점(523-2, 523-3)간의 분산 정도 중 적어도 하나에 기초하여 제1 속성값을 결정할 수 있다.
이때 결정된 제1 속성값은 상술한 평가 요소 각각에 대한 정보를 각각에 대한 하나 이상의 성분으로써 포함할 수 있다. 가령 제1 속성값은 선별된 지점(523-2, 523-3)의 수에 대한 성분, 선별된 지점(523-2, 523-3)의 기준 색상과의 색상차이의 정도를 나타내는 성분 및 선별된 지점(523-2, 523-3)의 분산 정도를 나타내는 성분을 [2, 0.4, 0.7]등과 같이 포함할 수 있다.
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 평가 대상 이미지(가령 도 4의 511 내지 515, 521 내지 525 및 531 내지 535) 중 피부를 상이한 각도에서 촬영한 이미지간의 상호 비교(가령 522와 523의 비교)를 통하여 제2 속성값 및 제3 속성값 중 적어도 하나를 결정할 수 있다.
이미지는 3차원 공간상의 객체(가령 사람의 얼굴)를 2차원 공간상에 나타내므로, 어느 하나의 이미지만으로 객체의 3차원 공간상에서의 특징을 파악하기 어려울 수 있다. 가령 얼굴의 정면 이미지(도 4의 523)로부터 얼굴의 주름 정도나 얼굴의 굴곡 정도를 정확하게 파악하기 어려울 수 있다. 따라서 피부 상태 평가 장치(110)는 동일한 부위에 대해서 다양한 각도에서 촬영된 이미지를 상호 비교함으로써, 객체의 3차원 공간상에서의 특징을 보다 정확하게 파악할 수 있다.
이하에서는 도 7a 및 도 7b를 참조하여, 얼굴에 돌출된 점이 있음을 전제로, 피부 상태 평가 장치(110)가 제3 속성값을 결정하는 내용을 설명한다.
설명의 편의를 위하여, 사람의 얼굴에 점(523-8)이 있으며, 점(523-8)은 도시된 바와 소정의 높이를 가져서 제3 속성값에 영향을 미치는 것으로 가정한다. 한편 제3 속성값은 전술한 바와 같이 피부의 주름에 의한 굴곡을 제외한 나머지 요인으로 인해 피부가 울퉁불퉁한 정도를 나타내는 값일 수 있다.
전술한 가정 하에 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 제1 평가 대상 이미지(523)에서 제1 굴곡 영역(점(523-8) 영역)을 결정하고, 제1 굴곡 영역(점(523-8) 영역)의 굴곡 정도인 제1 굴곡도를 결정할 수 있다.
피부 상태 평가 장치(110)는 제1 평가 대상 이미지(523)에서 색상을 기준으로 제1 굴곡 영역(점(523-8) 영역)을 결정할 수 있다. 바꾸어 말하면 피부 상태 평가 장치(110)는 제1 평가 대상 이미지(523)에서 기준 색상과 색상의 차이가 임계 차이 이상인 지점을 제1 굴곡 영역(점(523-8) 영역)으로 결정할 수 있다. 한편 제1 평가 대상 이미지(523)에 기초하여 결정되는 제1 굴곡도는, 제1 굴곡 영역의 종류에 따라 굴곡이 없는 것에 대응되도록 결정될 수도 있고, 또는 굴곡의 정도를 반영하도록 결정될 수도 있다. 가령 도 7a에 도시된 바와 같이 점(523-8) 영역이 제1 굴곡 영역으로 결정된 경우, 제1 평가 대상 이미지(523)로부터는 제1 굴곡 영역의 굴곡 정도를 파악할 수 없으므로(왜냐하면 점(523-8)에 대한 정면 이미지이므로), 제1 굴곡도는 굴곡이 없는 것에 대응되도록 결정될 수 있다. 그러나 이와 달리 제1 평가 대상 이미지(523)로부터 굴곡의 정도를 파악할 수 있는 경우(가령 제2 속성값을 결정할 때, 제1 평가 대상 이미지(523)에 주름이 포함된 경우), 제1 굴곡도는 해당 굴곡의 정도를 반영하도록 결정될 수 있다.
이어서 피부 상태 평가 장치(110)는 제1 평가 대상 이미지(523)와 상이한 제2 평가 대상 이미지(522)에서 제1 굴곡 영역(점(523-8) 영역)과 대응되는 영역의 굴곡 정도인 제2 굴곡도를 결정할 수 있다. 바꾸어 말하면, 다른 각도에서 촬영된 동일한 객체에 대한 이미지에 기초하여, 해당 영역에 대한 3차원 정보 없이도 굴곡의 정도를 정확하게 파악할 수 있다.
피부 상태 평가 장치(110)는 전술한 과정에 의해서 결정된 제1 굴곡도 및 제2 굴곡도 중 적어도 하나에 기초하여 제3 속성값을 결정할 수 있다. 가령 피부 상태 평가 장치(110)는 제1 굴곡도 및 제2 굴곡도의 평균에 기초하여 제3 속성값을 결정할 수도 있고, 제1 굴곡도 및 제2 굴곡도 중 큰 굴곡도에 기초하여 제3 속성값을 결정할 수도 있다.
한편 도 7a 및 도 7b에서 설명한 과정은 제2 속성값의 결정에 있어서도 동일하게 반복될 수 있으므로, 제2 속성값을 결정하는 과정에 대한 상세한 설명은 생략한다.
이로써 본 발명은 피부의 이미지 분석에 기초하여 피부의 색상에 대한 평가 및 3차원 공간상에서의 특성에 대한 평가를 수행할 수 있다.
다시 도 9를 참조하면, 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 제1 속성값, 제2 속성값 및 제3 속성값(921) 중 적어도 하나에 기초하여 제1 특징 벡터(931)를 생성할 수 있다.(S105) 가령 피부 상태 평가 장치(110)는 각 속성값(제1 속성값, 제2 속성값, 제3 속성값)을 성분으로 하는 제1 특징 벡터(931)를 생성할 수 있다. 이때 각 속성값이 복수의 성분을 갖는 경우, 피부 상태 평가 장치(110)는 각 속성값이 갖는 복수의 성분 중 적어도 일부가 제1 특징 벡터(931)에 포함되도록 할 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
선택적 실시예에서 피부 상태 평가 장치(110)는 제1 특징 벡터(931)를 생성함에 있어서 피부의 적어도 하나의 물리량이나 피부가 노출되어 있는 환경에 대한 물리량을 더 고려하여 제1 특징 벡터(931)를 생성할 수 있다.
이미지의 경우 시각적인 정보만을 수반한다. 따라서 이미지로부터는 피부에 대한 시각적인 정보 외의 나머지 정보(가령 피부의 탄력도, 피부의 수분 포함 정도, 피부의 각질 두께, 피부에 칠해진 메이크업의 두께 등)를 획득하기 어려울 수 있다. 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 제1 특징 벡터(931)를 생성함에 있어서 피부의 적어도 하나의 물리량을 더 고려하여 제1 특징 벡터(931)를 생성할 수 있다. 가령 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 전술한 제1 속성값, 제2 속성값 및 제3 속성값 중 적어도 하나와 피부의 적어도 하나의 물리량에 기초하여 제1 특징 벡터(931)를 생성할 수 있다. 이때 적어도 하나의 물리량은 피부의 탄력도, 피부의 수분 포함 정도, 피부의 각질 두께 및 피부에 칠해진 메이크업의 두께 중 적어도 하나일 수 있다.
또한 이미지는 획득 환경에 따라 그 결과가 상이할 수 있다. 가령 특정 색상의 조명 조건에서 이미지를 획득한 경우, 이미지 상의 피부의 색은 원래 피부의 색과 상이할 수 있다. 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 제1 특징 벡터(931)를 생성함에 있어서 피부가 노출되어 있는 환경에 대한 물리량을 더 고려하여 제1 특징 벡터를 생성할 수도 있다.
한편 피부에 대한 하나 이상의 물리량이나 피부가 노출되어 있는 환경에 대한 물리량은 전술한 피부 진단 장치(미도시) 및/또는 사용자 단말(200)에 의해 획득되어 전송된 것일 수 있다.
이로써 본 발명은 다양한 환경 요소를 고려하여 보다 정확하게 피부의 상태를 평가할 수 있다.
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 생성된 제1 특징 벡터(931) 및 피부 인식기(821)에 기초하여 피부의 등급에 대응되는 제2 특징 벡터(941)를 결정할 수 있다.(S106)
전술한 바와 같이 피부 인식기(821)는 머신 러닝(Machine Learning) 기법으로 생성된 복수의 피부 각각의 하나 이상의 속성값에 대응되는 제1 특징 벡터와 이러한 복수의 피부 각각의 등급에 대응되는 제2 특징 벡터 간의 상관관계, 즉 양자의 매핑 정보일 수 있다.
따라서 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 전술한 과정에 의해서 생성된 제1 특징 벡터(931)를 피부 인식기(821)에 입력하여 출력 결과로써 제2 특징 벡터(941)를 획득할 수 있다. 이때 제2 특징 벡터(941)는 피부의 등급을 나타내는 벡터로써의 의미를 가질 수 있다. 물론 제2 특징 벡터(941)는 피부의 등급과 대응되는 백터 성분을 포함할 수 있다.
이로써 본 발명은 피부의 각 속성에 대한 속성값을 확인함과 동시에, 이에 기초하여 피부의 객관적인 등급을 결정할 수 있다.
본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 제2 특징 벡터(941)에 기초하여 피부의 등급을 결정할 수 있다.(S107)
또한 피부 상태 평가 장치(110)는 결정된 피부의 등급을 사용자 단말(200)에 제공할 수 있다.(S108) 이때 피부 상태 평가 장치(110)는 전술한 과정에 의해서 결정된 속성값(921)을 결정된 피부의 등급과 함께 사용자 단말(200)에 제공할 수 있다.
선택적 실시예에서, 피부 상태 평가 장치(110)는 전술한 과정에 의해 결정된 피부의 등급 및 피부의 속성값 중 적어도 일부를 외부장치(300)로 제공할 수도 있다.
이때 피부의 등급은 피부의 전반적인 상태로써의 의미를 가질 수 있으며, 피부의 속성값은 피부에 대한 구체적인 치료에 있어서 어떤 부분의 개선이 필요한지를 알려주는 개별적인 정보로써의 의미를 가질 수 있다.
또한 본 발명의 일 실시예에 따른 피부 상태 평가 장치(110)는 전술한 피부의 각 속성에 대한 속성값 및 피부 등급에 기초하여 추천 관리 상품을 결정하고, 이를 사용자 단말(200)에 더 제공할 수 있다. 이때 추천 관리 상품은 피부의 관리를 위한 치료 서비스, 피부의 관리를 위한 제품 및 피부의 관리를 위한 교육 콘텐츠 중 적어도 하나를 포함할 수 있다.
이로써 본 발명은 피부의 상태 분석과 더불어 각 상태에 기초한 해결방안 등을 통합적으로 제공할 수 있다.
한편 피부 상태 평가 장치(110)는 전술한 과정에 의해 사용자 단말(200)로 제공한 추천 관리 상품에 대한 사용자의 선택 정보를 수신하고, 이러한 사용자의 선택 정보에 기초하여 피부의 각 속성에 대한 속성값 및 피부 등급을 제3 서버(미도시)로 전송할 수 있다. 이때 제3 서버(미도시)는 추천 관리 상품의 운영 주체의 서버일 수 있다.
가령 사용자 단말(200)로부터 '피부의 관리를 위한 치료 서비스'에 대한 선택 정보를 수신한 경우, 피부 상태 평가 장치(110)는 치료 서비스를 제공하는 의료기관의 서버로 피부의 각 속성에 대한 속성값 및 피부 등급을 전송할 수 있다. 이때 피부 상태 평가 장치(110)는 피부 이미지를 함께 전송할 수도 있다. 전송된 정보는 피부의 치료를 위한 일련의 과정(가령 전문의의 배정 등)에서 활용될 수 있다.
또한 사용자 단말(200)로부터 '피부의 관리를 위한 제품 또는 콘텐츠'에 대한 선택 정보를 수신한 경우, 피부 상태 평가 장치(110)는 제품 또는 콘텐츠의 제공 주체 서버로 피부의 각 속성에 대한 속성값 및 피부 등급을 전송할 수도 있다.
이로써 본 발명은 피부에 대한 이미지로부터 정확한 피부의 진단이 가능할 뿐만 아니라, 후속절차와도 연계하여 피부 상태에 따라 적절한 처리 방법을 제공해 줄 수 있다.
도 11은 본 발명의 일 실시예에 따라 사용자 단말(200)에 표시되는 화면(1100)의 예시이다.
도 11을 참조하면, 화면(1100)은 사용자가 평가하고자 하는 피부의 이미지가 표시되는 영역(1110), 피부에 대한 간략한 정보와 등급이 표시되는 영역(1120), 피부의 각 속성에 대한 속성값이 표시되는 영역(1130) 및 추천 관리 상품이 표시되는 영역(1140, 1150)을 포함할 수 있다.
피부에 대한 간략한 정보와 등급이 표시되는 영역(1120)에 표시되는 등급은 제어부(112)가 피부 인식기에 기초하여 결정한 것일 수 있다. 한편 함께 표시되는 성별과 추정연령은 이미지 분석으로부터 도출된 것일 수도 있고, 사용자 단말(200)로부터 입력 받은 것일수도 있다.
피부의 각 속성에 대한 속성값이 표시되는 영역(1130)에 표시되는 하나 이상의 속성들은 제어부(112)가 이미지 분석을 통하여 결정한 것일 수 있다.
추천 관리 상품이 표시되는 영역(1140, 1150)에 표시되는 추천 관리 상품 및 서비스는 제어부(112)가 피부의 각 속성에 대한 속성값 및 피부 등급에 기초하여 결정한 것일 수 있다.
이로써 사용자는 화면(1100)을 통하여 자신의 피부 상태를 손쉽게 파악할 수 있을 뿐만 아니라, 자신의 피부 상태에 맞는 적절한 상품을 결정하여 구매할 수 있다.
이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 저장하는 것일 수 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 서버
110: 피부 상태 평가 장치
111: 통신부
112: 제어부
113: 메모리
200: 사용자 단말
300: 외부장치
400: 통신망

Claims (9)

  1. 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법에 있어서,
    피부에 대한 복수의 피부 이미지 중 소정의 촬영 조건을 만족하는 적어도 하나의 평가 대상 이미지를 결정하는 평가 대상 이미지 결정단계;
    상기 적어도 하나의 평가 대상 이미지로부터 상기 피부의 색상에 대응되는 제1 속성값, 상기 피부의 주름 정도에 대응되는 제2 속성값 및 상기 피부의 평탄도에 대응되는 제3 속성값 중 적어도 하나를 결정하는 속성값 결정 단계;
    상기 제1 속성값, 제2 속성값 및 제3 속성값 중 적어도 하나에 기초하여 제1 특징 벡터를 생성하는 제1 특징 벡터 생성 단계; 및
    상기 제1 특징 벡터 및 피부 인식기에 기초하여 상기 피부의 등급에 대응되는 제2 특징 벡터를 결정하는 제2 특징 벡터 결정 단계;를 포함하고,
    상기 피부 인식기는
    복수의 피부 각각의 하나 이상의 속성값에 대응되는 제1 특징 벡터와 상기 복수의 피부 각각의 등급에 대응되는 제2 특징 벡터 간의 상관관계를 표현한 데이터 셋트인, 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법.
  2. 제1 항에 있어서
    상기 속성값 결정 단계는
    상기 적어도 하나의 평가 대상 이미지 중 어느 하나의 평가 대상 이미지에서, 피부의 색상 평가를 위한 기준 영역을 설정하고, 상기 기준 영역의 색상에 기초하여 상기 적어도 하나의 평가 대상 이미지로부터 상기 피부의 색상에 대응되는 제1 속성값을 결정하는 단계; 및
    상기 적어도 하나의 평가 대상 이미지 중 상기 피부를 상이한 각도에서 촬영한 이미지간의 상호 비교를 통하여, 상기 피부의 주름 정도에 대응되는 제2 속성값 및 상기 피부의 평탄도에 대응되는 제3 속성값 중 적어도 하나를 결정하는 단계;를 포함하는, 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법.
  3. 제2 항에 있어서
    상기 피부는 얼굴의 피부이고,
    상기 제1 속성값을 결정하는 단계는
    상기 하나 이상의 평가 대상 이미지 중 상기 얼굴의 정면 이미지를 포함하는 평가 대상 이미지에서, 상기 기준 영역의 색상인 기준 색상과 색상의 차이가 소정의 임계 차이 이상인 적어도 하나의 지점을 선별하는 단계; 및
    상기 선별된 적어도 하나의 지점의 수량, 상기 선별된 적어도 하나의 지점의 상기 기준 색상과의 색상차이 정도 및 상기 선별된 적어도 하나의 지점간의 분산 정도 중 적어도 하나에 기초하여 상기 제1 속성값을 결정하는 단계;를 포함하는, 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법.
  4. 제2 항에 있어서
    상기 제2 속성값 및 상기 제3 속성값 중 적어도 하나를 결정하는 단계는
    제1 평가 대상 이미지에서 제1 굴곡 영역을 결정하고, 상기 제1 굴곡 영역의 굴곡 정도인 제1 굴곡도를 결정하는 단계;
    상기 제1 평가 대상 이미지와 상이한 제2 평가 대상 이미지에서 상기 제1 굴곡 영역과 대응되는 영역의 굴곡 정도인 제2 굴곡도를 결정하는 단계; 및
    상기 제1 굴곡도 및 상기 제2 굴곡도에 기초하여 상기 제2 속성값 및 상기 제3 속성값 중 적어도 하나를 결정하는 단계;를 포함하는, 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법.
  5. 제1 항에 있어서
    상기 피부는 얼굴의 피부이고,
    상기 소정의 촬영 조건은
    이미지가 상기 얼굴의 정면 이미지를 포함하는지 여부, 이미지가 소정의 제1 각도에서 촬영된 상기 얼굴의 좌측면 이미지를 포함하는지 여부, 이미지가 소정의 제2 각도에서 촬영된 상기 얼굴의 우측면 이미지를 포함하는지 여부, 이미지가 소정의 제3 각도에서 촬영된 상기 얼굴의 상면 이미지를 포함하는지 여부 및 이미지가 소정의 제4 각도에서 촬영된 상기 얼굴의 하면 이미지를 포함하는지 여부 중 적어도 하나를 포함하는, 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법.
  6. 제1 항에 있어서
    상기 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법은
    상기 제2 특징 벡터 결정 단계 이후에
    상기 제2 특징 벡터에 기초하여 상기 피부의 등급을 결정하는 단계;를 더 포함하고,
    상기 피부의 등급은
    상기 피부에 대한 관리 필요성에 따라
    특별한 관리가 필요 없는 제0 등급, 일반적인 관리가 필요한 제1 등급, 전문적인 관리가 필요한 제2 등급 및 치료가 시급한 제3 등급을 포함하는, 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법.
  7. 제1 항에 있어서
    상기 제1 특징 벡터를 생성 단계는
    상기 제1 속성값, 제2 속성값 및 제3 속성값 중 적어도 하나와 상기 피부의 적어도 하나의 물리량에 기초하여 제1 특징 벡터를 생성하고,
    상기 적어도 하나의 물리량은
    상기 피부의 탄력도, 상기 피부의 수분 포함 정도, 상기 피부의 각질 두께 및 상기 피부에 칠해진 메이크업의 두께 중 적어도 하나인, 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법.
  8. 제1 항에 있어서
    상기 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법은
    상기 평가 대상 이미지 결정단계 이전에,
    피부의 등급과 대응되는 제2 특징 벡터가 표지되고, 피부의 적어도 하나의 속성에 대한 속성값에 대응되는 제1 특징 벡터를 포함하는 하나 이상의 트레이닝 피부 정보에 기초하여 상기 피부 인식기를 트레이닝 하는 단계;를 더 포함하는, 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법.
  9. 컴퓨터를 이용하여 제1 항 내지 제8 항 중 어느 한 항의 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램.
KR1020170146695A 2017-09-27 2017-11-06 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법 및 프로그램 KR102151710B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170146695A KR102151710B1 (ko) 2017-11-06 2017-11-06 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법 및 프로그램
PCT/KR2017/015228 WO2019066149A1 (ko) 2017-09-27 2017-12-21 피부 상태 평가 방법 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170146695A KR102151710B1 (ko) 2017-11-06 2017-11-06 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법 및 프로그램

Publications (2)

Publication Number Publication Date
KR20190051256A true KR20190051256A (ko) 2019-05-15
KR102151710B1 KR102151710B1 (ko) 2020-09-04

Family

ID=66579787

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170146695A KR102151710B1 (ko) 2017-09-27 2017-11-06 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법 및 프로그램

Country Status (1)

Country Link
KR (1) KR102151710B1 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102162683B1 (ko) * 2020-01-31 2020-10-07 주식회사 에프앤디파트너스 비정형 피부질환 영상데이터를 활용한 판독보조장치
KR102165487B1 (ko) * 2020-01-31 2020-10-14 주식회사 에프앤디파트너스 비정형 피부질환 영상데이터를 활용한 피부 질환 판독 시스템
KR20210098133A (ko) * 2020-01-31 2021-08-10 인하대학교 산학협력단 인공지능을 이용한 피부 옴 판별 장치 및 방법
WO2021235566A1 (ko) * 2020-05-19 2021-11-25 주식회사 룰루랩 다중 피부 병변 검출 시스템, 다형 피부 병변 검출 방법 및 이를 구현하기 위한 프로그램이 기록되고 컴퓨터로 읽을 수 있는 기록매체
US20220000417A1 (en) * 2020-07-02 2022-01-06 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin laxity
KR102365783B1 (ko) * 2021-11-30 2022-02-21 주식회사 미모바이오 인공지능 기반의 맞춤형 처방 데이터 생성 방법 및 장치
KR20220073107A (ko) * 2020-11-26 2022-06-03 주식회사 지원파트너스 피부 촬영 사진을 이용한 피부 유형 분석 시스템 및 그 방법
KR20220121162A (ko) * 2021-02-23 2022-08-31 주식회사 비컨 탈모 상태 정보 제공 방법 및 장치
KR20220159503A (ko) * 2021-05-24 2022-12-05 주식회사 비컨 탈모 진단 보조 정보를 계산하기 위한 두피　이미지의 선택 방법 및 이를 수행하는 장치
EP3981012A4 (en) * 2019-07-10 2023-07-19 Jiang, Ruowei SYSTEMS AND METHODS FOR PROCESSING IMAGES FOR SKIN ANALYSIS AND FOR VISUALIZING SKIN ANALYSIS
US11801610B2 (en) 2020-07-02 2023-10-31 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a user's body for determining a hair growth direction value of the user's hair
US11890764B2 (en) 2020-07-02 2024-02-06 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a user's body for determining a hair density value of a user's hair
KR20240046992A (ko) 2022-10-04 2024-04-12 김세용 머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102188612B1 (ko) 2020-08-31 2020-12-09 한국콜마주식회사 피부 탄력 측정 장치 및 피부 탄력 측정 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040218810A1 (en) * 2003-04-29 2004-11-04 Inforward, Inc. Methods and systems for computer analysis of skin image
KR20120048021A (ko) * 2009-08-20 2012-05-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 분석을 위한 방법 및 시스템
KR20130024065A (ko) * 2011-08-30 2013-03-08 한국 한의학 연구원 안색 정보 생성 장치 및 그 방법, 안색 정보를 이용한 건강 상태 판단 장치 및 그 방법, 건강 분류 함수 생성 장치 및 그 방법
WO2014208067A1 (ja) * 2013-06-28 2014-12-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 肌の官能評価装置および肌の評価方法
KR20170066087A (ko) * 2015-12-04 2017-06-14 엘지전자 주식회사 피부 측정 장치 및 그 제어방법
KR20170096904A (ko) * 2016-02-17 2017-08-25 삼성전자주식회사 사용자의 피부 유형에 따른 콘텐트를 제공하기 위한 전자 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040218810A1 (en) * 2003-04-29 2004-11-04 Inforward, Inc. Methods and systems for computer analysis of skin image
KR20120048021A (ko) * 2009-08-20 2012-05-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 분석을 위한 방법 및 시스템
KR20130024065A (ko) * 2011-08-30 2013-03-08 한국 한의학 연구원 안색 정보 생성 장치 및 그 방법, 안색 정보를 이용한 건강 상태 판단 장치 및 그 방법, 건강 분류 함수 생성 장치 및 그 방법
WO2014208067A1 (ja) * 2013-06-28 2014-12-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 肌の官能評価装置および肌の評価方法
JP6345176B2 (ja) * 2013-06-28 2018-06-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 肌の官能評価装置および肌の評価方法
KR20170066087A (ko) * 2015-12-04 2017-06-14 엘지전자 주식회사 피부 측정 장치 및 그 제어방법
KR20170096904A (ko) * 2016-02-17 2017-08-25 삼성전자주식회사 사용자의 피부 유형에 따른 콘텐트를 제공하기 위한 전자 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김민수 외 1인, "얼굴 영상을 이용한 피부 수분도 추정 방법", 제18회 전자정보통신 학술대회, CEIC 2016.* *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3981012A4 (en) * 2019-07-10 2023-07-19 Jiang, Ruowei SYSTEMS AND METHODS FOR PROCESSING IMAGES FOR SKIN ANALYSIS AND FOR VISUALIZING SKIN ANALYSIS
US11908128B2 (en) 2019-07-10 2024-02-20 L'oreal Systems and methods to process images for skin analysis and to visualize skin analysis
KR102165487B1 (ko) * 2020-01-31 2020-10-14 주식회사 에프앤디파트너스 비정형 피부질환 영상데이터를 활용한 피부 질환 판독 시스템
WO2021153858A1 (ko) * 2020-01-31 2021-08-05 주식회사 에프앤디파트너스 비정형 피부질환 영상데이터를 활용한 판독보조장치
KR20210098133A (ko) * 2020-01-31 2021-08-10 인하대학교 산학협력단 인공지능을 이용한 피부 옴 판별 장치 및 방법
KR102162683B1 (ko) * 2020-01-31 2020-10-07 주식회사 에프앤디파트너스 비정형 피부질환 영상데이터를 활용한 판독보조장치
WO2021235566A1 (ko) * 2020-05-19 2021-11-25 주식회사 룰루랩 다중 피부 병변 검출 시스템, 다형 피부 병변 검출 방법 및 이를 구현하기 위한 프로그램이 기록되고 컴퓨터로 읽을 수 있는 기록매체
US11593939B2 (en) 2020-05-19 2023-02-28 Lululab Inc. Multiple skin lesion detection system, multiple skin lesion detection method and computer-readable recording medium having program for implementing same recorded thereon
US11801610B2 (en) 2020-07-02 2023-10-31 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a user's body for determining a hair growth direction value of the user's hair
US11890764B2 (en) 2020-07-02 2024-02-06 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a user's body for determining a hair density value of a user's hair
US20220000417A1 (en) * 2020-07-02 2022-01-06 The Gillette Company Llc Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin laxity
KR20220073107A (ko) * 2020-11-26 2022-06-03 주식회사 지원파트너스 피부 촬영 사진을 이용한 피부 유형 분석 시스템 및 그 방법
KR20220121162A (ko) * 2021-02-23 2022-08-31 주식회사 비컨 탈모 상태 정보 제공 방법 및 장치
KR20230085901A (ko) * 2021-02-23 2023-06-14 주식회사 비컨 탈모 상태 정보 제공 방법 및 장치
KR20220159503A (ko) * 2021-05-24 2022-12-05 주식회사 비컨 탈모 진단 보조 정보를 계산하기 위한 두피　이미지의 선택 방법 및 이를 수행하는 장치
KR102365783B1 (ko) * 2021-11-30 2022-02-21 주식회사 미모바이오 인공지능 기반의 맞춤형 처방 데이터 생성 방법 및 장치
KR20240046992A (ko) 2022-10-04 2024-04-12 김세용 머신러닝 기반의 피부 이미지 분석 기술을 이용한 피부염 진단 및 치료 방법

Also Published As

Publication number Publication date
KR102151710B1 (ko) 2020-09-04

Similar Documents

Publication Publication Date Title
KR102151710B1 (ko) 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법 및 프로그램
US11832958B2 (en) Automatic image-based skin diagnostics using deep learning
US10219736B2 (en) Methods and arrangements concerning dermatology
US20140313303A1 (en) Longitudinal dermoscopic study employing smartphone-based image registration
KR101301821B1 (ko) 안색 정보 생성 장치 및 그 방법, 안색 정보를 이용한 건강 상태 판단 장치 및 그 방법, 건강 분류 함수 생성 장치 및 그 방법
WO2006030600A1 (ja) 肌解析ネットワークシステム
Cvetkoska et al. Smart mirror E-health assistant—Posture analyze algorithm proposed model for upright posture
Chen et al. Hybrid facial image feature extraction and recognition for non-invasive chronic fatigue syndrome diagnosis
KR101949152B1 (ko) 피부상태 진단 방법 및 장치와 이를 이용한 피부상태 적합 화장정보 제공 방법
Hasan et al. Pain level detection from facial image captured by smartphone
Sujaini et al. Comparing the performance of linear regression versus deep learning on detecting melanoma skin cancer using apple core ML
KR20190036401A (ko) 피부 상태 평가 방법 및 프로그램
JP2020531984A (ja) 色素沈着斑を識別するためのシステムおよび方法
KR102189865B1 (ko) 피부 상태 평가 방법 및 프로그램
KR101943580B1 (ko) 이미지 분석에 기반한 피부 상태 평가 방법 및 프로그램
CN111862091A (zh) 一种基于表型测量早期发现综合征的系统
TW201535320A (zh) 增齡分析方法及增齡分析裝置
Saha et al. Personalized Pain Study Platform using Evidence-Based Continuous Learning Tool
Nethravathi et al. Acne Vulgaris Severity Analysis Application
CN114502061B (zh) 使用深度学习的基于图像的自动皮肤诊断
EP4312176A1 (en) Apparatus and method for providing customized service
Sudha et al. Stress detection based on human parameters using machine learning algorithms
Kukreja et al. AcneAI+: Revolutionizing Dermatology Through Advanced Machine Learning
Kiazadeh Assessing the Existence of Visual Clues of Human Ovulation
AU2022276374A1 (en) Computer-based body part analysis methods and systems

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right