KR20220096606A

KR20220096606A - Ai 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템, 및 이를 이용한 피부 상태 분석 및 맞춤 화장품 추천방법

Info

Publication number: KR20220096606A
Application number: KR1020200189202A
Authority: KR
Inventors: 유상욱; 최용준; 윤미해; 이경록; 방은지; 이슬비
Original assignee: 주식회사 룰루랩; 주식회사 아미코스메틱
Priority date: 2020-12-31
Filing date: 2020-12-31
Publication date: 2022-07-07

Abstract

본 발명은 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템, 및 이를 이용한 피부 상태 분석 및 맞춤 화장품 추천방법에 대한 것이다.
본 발명에 따른 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템, 및 이를 이용한 피부 상태 분석 및 맞춤 화장품 추천방법은 모공, 주름, 피지, 색소침착, 붉은기 및 여드름을 포함하는 피부 상태 분석 항목에 정량적 분석 결과를 제공하고, 각 피부 상태 분석 항목의 개선을 위한 화장료 성분을 함유하는 맞춤 화장품을 추천한다.

Description

AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템, 및 이를 이용한 피부 상태 분석 및 맞춤 화장품 추천방법 {AI-based skin condition analyzing and customized cosmetic product recommending system}

본 발명은 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템, 및 이를 이용한 피부 상태 분석 및 맞춤 화장품 추천방법에 대한 것이다.

구체적으로, 본 발명은 모공, 주름, 피지, 색소침착, 붉은기 및 여드름을 포함하는 피부 상태 분석 항목에 정량적 분석 결과를 제공하고, 각 피부 상태 분석 항목의 개선을 위한 화장료 성분을 함유하는 맞춤 화장품을 추천하는 시스템 및 이를 이용한 맞춤 화장품 추천 방법에 대한 것이다.

근래 미에 대한 관심이 증가하면서, 사용자 얼굴 피부 미용에 대한 관심이 높아지고 있고, 특히 사용자의 얼굴 피부를 촬영하여 다양한 피부 분석 항목(예를 들어, 주름, 모공 및 여드름 등)을 분석하는 피부 상태 분석 장치가 다양하게 개발되고 있다.

또한, 최근 CNN나 딥러닝 분야와 같은 인공지능 기술이 피부 상태 분석 장치에 접목되어 사용자의 얼굴을 보다 정확하게 촬영하여 분석하는 기술에 대한 다양한 시도가 있다.

구체적으로, 대한민국 등록특허공보 제10-2180922호에는 CNN 기반 멀티모달 러닝을 수행하여 피부 상태 분석을 수행하는 안면내삽형 피부상태 분석장치가 개시되어 있고, 대한민국 등록특허공보 제10-2055881호에는 피부 상태 측정 장치에서 측정된 피부 상태의 개선을 위한 제품을 웹사이트 크롤링을 통해 추천해주는 피부 상태 측정용 모듈이 개시되어 있다.

위와 같은 기존의 시스템이나 장치에 적용되는 인공지능 기술은 피부 상태 분 각 피부 상태 분석 항목별 상관관계의 고려가 미흡하여 보다 정확한 피부 상태 분석이 이루어지지 않는 문제점이 있었고, 또한 피부 상태 분석 결과에 따른 화장품을 추천하는 방법이 웹사이트 크롤링 등과 같은 제한적 방법이 적용되는 실정이었다.

한편, 얼굴피부는 선천적 혹은 후천적 요인에 의해 그 유형이나 타입이 매우 다양하여 특정 화장품에 대한 피부 상태 개선 효과가 사람마다 상이할 수 있는 바, 피부 상태 분석과 함께 피부의 유형파악이 피부 상태 개선에 있어 매우 중요한 요소이다.

이에, 사용자의 피부 유형을 파악함과 동시에 각 피부 상태 분석 항목별 상관관계를 명확히 고려하는 인공지능 기술이 접목되어 피부 상태 분석의 정확도를 향상시킬 수 있고, 그에 따라 제공되는 피부 상태 분석 결과의 개선을 위한 맞춤 제품을 보다 광범위한 DB에서 효과적으로 제공할 수 있는 기술에 대한 개발 필요성이 절실하다.

대한민국 등록특허공보 제10-2055881호 대한민국 등록특허공보 제10-2180922호

본 발명은 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 피부 상태 분석 알고리즘을 통해 분석된 피부 상태 분석 항목 각각에 대한 정량적 평가지표를 제공하고, 상기 정량적 평가지표를 개선할 수 있는 화장료 성분을 함유하는 맞춤 화장품으로서 사용자의 피부 유형에 적합한 맞춤 화장품을 추천하는 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템, 및 이를 이용한 피부 상태 분석 및 맞춤 화장품 추천 방법을 제공한다.

본 발명은 특히, 객체 간 학습이 반영된 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 피부 상태 분석 알고리즘을 적용하여 피부 상태 분석 항목에 대한 분석 정확도가 우수하고, 피부 상태 분석 결과에 따른 정량적 평가지표 개선을 위한 맞춤 화장품을 사용자 피부 유형을 고려하여 추천함으로써 사용자 피부 적합도가 뛰어나 피부 개선 효과가 월등한 맞춤 제품 추천이 가능한 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템, 및 이를 이용한 피부 상태 분석 및 맞춤 화장품 추천 방법을 제공한다.

본 발명은 상기 과제를 해결하기 위하여 안출 된 것으로써, AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템에 대한 것이다.

본 발명에 따른 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템은 피부 유형 구분을 위한 설문데이터를 사용자로부터 수신 받는 자가평가 정보 수신부; 사용자 얼굴의 특정 영역을 추출하기 위해 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 피부 상태 분석을 위한 사용자 얼굴 전체 이미지를 형성하도록 설계된 사용자 얼굴 전체 이미지 형성부; 상기 사용자 얼굴 전체 이미지 형성부에서 형성된 사용자 얼굴 전체 이미지의 특징 추출(feature extraction)을 위한 인코딩 및 픽셀별 클래스값의 출력을 위한 디코딩을 수행하는 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 피부 상태 분석 알고리즘을 통해, 모공, 주름, 피지, 색소침착, 홍조 및 여드름을 포함하는 피부 상태 분석 항목 각각에 대한 정량적 평가지표를 연산하여 사용자에게 제공하는 피부 상태 분석부; 관리자가 제공하는 화장품 및 화장료 성분에 대한 정보를 수신 받는 화장품 및 화장료 성분 정보 수신부; 상기 화장품 및 화장료 성분 정보 수신부에서 수신 받은 화장료 성분의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 제1 연산부; 상기 제1 연산부에서 연산된 화장료 성분의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 상응하는 화장료 성분과 매칭하여 저장하는 화장료 성분 DB; 상기 화장품 및 화장료 성분 정보 수신부에서 수신 받은 화장품의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 제2 연산부; 상기 제2 연산부에서 연산된 화장품의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 상응하는 화장품과 매칭하여 저장하는 화장품 DB; 및 상기 피부 상태 분석부에서 연산된 피부 상태 분석 항목의 정량적 지표의 개선을 위한 맞춤 화장품으로서 상기 자가평가 정보 수신부에 수신된 설문데이터에 따라 구분된 피부 유형에 적합한 맞춤 화장품을 상기 화장품 DB에서 추출하여 제공하는 맞춤 화장품 추천부;를 포함한다. 또한, 상기 사용자 얼굴 전체 이미지 형성부는 사용자 얼굴 이미지의 제1 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제1 예비 촬영 파라미터를 제1 촬영 파라미터로 설정하고 사용자 얼굴 이미지의 제2 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제2 예비 촬영 파라미터를 제2 촬영 파라미터로 설정하며, 상기 제1 촬영 파라미터에 의해 획득된 제1 사용자 얼굴 이미지로부터 제1 얼굴 영역을 추출하고 상기 제2 촬영 파라미터에 의해 획득된 제2 사용자 얼굴 이미지로부터 제2 얼굴 영역을 추출하며 상기 제1 얼굴 영역 및 제2 얼굴 영역을 합성하여 피부 상태 분석을 위한 사용자 얼굴 전체 이미지를 형성하도록 설계된다.

하나의 예시에서, 상기 자가평가 정부 수신부는 바우만 설문, 피츠패트릭 피부유형분류, 글로거 분류 및 테일러 과색소침착분류로 이루어진 군에서 선택되는 어느 1종 이상의 설문데이터를 사용자로부터 수신 받을 수 있다.

하나의 예시에서, 상기 피부 상태 분석부는 사용자 얼굴 전체 이미지 데이터에 대한 레귤러 컨볼루션 연산, 엑셉션(Xception) 연산 및 리씽커(Rethinker) 연산을 수행하여 피처맵(feature map)을 생성하는 인코딩을 수행하고, 상기 피처맵(feature map)을 ASPP(Atrous Spatial Pyramid Pooling) 연산 및 업-샘플링한 후 상응하는 디멘젼을 가지는 피처맵(feature map)을 컨케터네이트(concatenate)하는 디코딩을 수행하는 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 피부 상태 분석 알고리즘을 통해, 모공, 주름, 피지, 색소침착, 홍조 및 여드름을 포함하는 피부 상태 분석 항목 각각에 대한 정량적 평가지표를 연산할 수 있다.

하나의 예시에서, 상기 제1 연산부는 EWG 등급, 식약처 고시 성분 정보, 대한화장품협회 고시 성분 정보, 특허문헌에 개시된 피부 상태 개선 효능 정보 및 논문에 개시된 피부 상태 개선 효능 정보를 포함하는 피부 상태 분석 항목 개선지표 판단 요소를 기반으로 상기 화장품 및 화장료 성분 정보 수신부에서 수신 받은 화장료 성분의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산할 수 있다.

하나의 예시에서, 상기 제2 연산부는 화장품에 함유되는 화장료 성분 각각에 대한 정량적 개선지표를 상기 화장료 성분 DB로부터 추출하여 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산할 수 있다.

본 발명에 따른 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템은 또한, 상기 화장품 DB 내 화장품의 제형 및 종류에 따른 피부 유형 적합도를 연산하는 제3 연산부를 더 포함할 수 있다. 이 경우, 상기 화장품 DB는 상기 제3 연산부에서 연산된 피부 유형 적합도를 상응하는 화장품과 매칭하여 저장할 수 있다.

본 발명은 또한, 상기 시스템이 구동되는 피부 상태 분석 및 화장품 추천용 키오스크에 대한 것이다.

본 발명은 또한, AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템을 이용한 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 방법에 대한 것이다.

상기 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 방법은 화장품 및 화장료 성분 정보 수신부가 관리자가 제공하는 화장품 및 화장료 성분에 대한 정보를 수신 받는 단계; 제1 연산부가 상기 화장품 및 화장료 성분 정보 수신부에서 수신 받은 화장료 성분의 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 단계; 상기 제1 연산부에서 연산된 화장료 성분의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 상응하는 화장료 성분과 매칭하여 화장품 성분 DB에 저장하는 화장품 성분 DB 저장 단계; 제2 연산부가 상기 화장품 및 화장료 성분 정보 수신부에서 수신 받은 화장품의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 단계; 상기 제2 연산부에서 연산된 화장품의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 상응하는 화장품과 매칭하여 화장품 DB에 저장하는 화장품 DB 저장 단계; 자가평가 정보 수신부가 사용자로부터 피부 유형 구분을 위한 설문데이터를 수신하는 단계; 사용자 얼굴 전체 이미지 형성부가 사용자 얼굴의 특정 영역을 추출하기 위해 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 피부 상태 분석을 위한 사용자 얼굴 전체 이미지를 형성하는 단계; 피부 상태 분석부가 형성된 사용자의 얼굴 전체 이미지의 특징 추출(feature extraction)을 위한 인코딩 및 픽셀별 클래스값의 출력을 위한 디코딩을 수행하는 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 피부 상태 분석 알고리즘을 통해, 모공, 주름, 피지, 색소침착, 홍조 및 여드름을 포함하는 피부 상태 분석 항목 각각에 대한 정량적 평가지표를 연산하여 사용자에게 제공하는 단계; 및 맞춤 화장품 추천부가 상기 피부 상태 분석부에서 연산된 피부 상태 분석 항목의 정량적 지표의 개선을 위한 맞춤 화장품으로서 상기 자가평가 정보 수신부에 수신된 설문데이터에 따라 구분된 피부 유형에 적합한 맞춤 화장품을 상기 화장품 DB에서 추출하여 제공하는 단계를 포함한다. 또한, 상기 피부 상태 분석 항목 각각에 대한 정량적 평가지표를 연산하여 사용자에게 제공하는 단계는 사용자 얼굴 전체 이미지 데이터에 대한 레귤러 컨볼루션 연산, 엑셉션(Xception) 연산 및 리씽커(Rethinker) 연산을 수행하여 피처맵(feature map)을 생성하는 인코딩 단계; 및 상기 피처맵(feature map)을 ASPP(Atrous Spatial Pyramid Pooling) 연산 및 업-샘플링한 후 상응하는 디멘젼을 가지는 피처맵(feature map)을 컨케터네이트(concatenate)하는 디코딩 단계;를 포함한다.

하나의 예시에서, 상기 화장료 성분의 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 단계는 EWG 등급, 식약처 고시 성분 정보, 대한화장품협회 고시 성분 정보, 특허문헌에 개시된 피부 상태 개선 효능 정보 및 논문에 개시된 피부 상태 개선 효능 정보를 포함하는 피부 상태 분석 항목 개선지표 판단 요소를 기반으로 상기 화장품 및 화장료 성분 정보 수신부에서 수신 받은 화장료 성분의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 것을 포함할 수 있다.

하나의 예시에서, 상기 화장품의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 단계는 화장품에 함유되는 화장료 성분 각각에 대한 정량적 개선지표를 상기 화장료 성분 DB로부터 추출하여 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 것을 포함할 수 있다.

상기 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 방법은 또한, 제3 연산부가 상기 화장품 DB 내 화장품의 제형 및 종류에 따른 피부 유형 적합도를 연산하는 단계를 더 포함할 수 있다. 이 경우, 상기 화장품 DB 저장단계는 상기 제3 연산부에서 연산된 피부 유형 적합도를 상응하는 화장품과 매칭하여 저장하는 것을 포함할 수 있다.

본 발명에 따른 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템, 및 이를 이용한 피부 상태 분석 및 맞춤 화장품 추천 방법은 객체 간 학습이 반영된 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 피부 상태 분석 알고리즘을 적용하여 피부 상태 분석 항목에 대한 분석 정확도가 우수하다.

본 발명에 따른 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템, 및 이를 이용한 피부 상태 분석 및 맞춤 화장품 추천 방법은 또한, 피부 상태 분석 결과에 따른 정량적 평가지표 개선을 위한 맞춤 화장품을 사용자 피부 유형을 고려하여 추천함으로써 사용자 피부 적합도가 뛰어나 피부 개선 효과가 월등한 맞춤 제품 추천이 가능한 이점이 있다.

물론, 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.

도 1 및 4는 본 발명에 따른 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템의 일 블록 구성도이다.
도 2 및 3은 본 발명에 따른 피부 상태 분석부에서 수행되는 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 피부 상태 분석 알고리즘을 보다 구체적으로 설명하기 위한 일 도면이다.
도 5는 본 발명에 따른 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 방법의 각 단계를 설명하기 위한 일 블록 순서도이다.

이하, 본 발명에 대하여, 도면 및 예시를 들어 보다 구체적으로 설명한다.

본 명세서에서, 단수의 표현은 달리 명시하지 않는 한 복수의 표현을 포함한다.

본 명세서에서 사용되는 용어는, 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

본 발명의 실시예들은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 명세서에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소는 상기 용어들에 의해 한정되어서는 아니된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 명세서에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 프로세서에 의해 동작되고 제어될 수 있다.

이하, 첨부한 도면을 참조하여 본 발명에 따른 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템 및 이를 이용한 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 방법에 대해 구체적으로 설명한다.

도 1에는 본 발명에 따른 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템에 대한 일 블록 구성도가 도시되어 있다.

도 1에 도시된 바와 같이, 본 발명에 따른 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템은 피부 상태 분석을 받고자 하는 사용자와 상호작용하는 구성과 시스템 관리자(혹은 관리자 서버)로서 피부 상태 분석에 따른 맞춤 화장품을 추천하고자 하는 관리자(혹은 관리자 서버)와 상호작용하는 구성으로 구분된다.

구체적으로, 본 발명에 따른 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템은 사용자와 상호작용하는 자가평가 정보 수신부(100); 얼굴 전체 이미지 형성부(200); 피부 상태 분석부(300); 및 맞춤 화장품 추천부(900)와 관리자와 상호작용하는 화장품 및 화장료 정보 수신부(400); 제1 연산부(500); 화장료 성분 DB(600); 제2 연산부(700); 및 화장품 DB(800)를 포함한다.

자가평가 정보 수신부(100)는 피부 유형 구분을 위한 설문데이터를 사용자로부터 수신 받는 구성으로서, 사용자의 피부 유형 파악을 위한 설문데이터를 제공하고 이에 대한 피드백을 수신하는 역할을 수행한다.

자가평가 정보 수신부(100)가 수신하는 피부 유형 구분을 위한 설문데이터는 사용자의 피부 유형을 파악하기 위한 것으로써, 예를 들면 바우만 설문, 피츠패트릭 피부유형분류, 글로거 분류 및 테일러 과색소침착분류로 이루어진 군에서 선택되는 어느 1종 이상 일 수 있다. 즉, 자가평가 정부 수신부(100)는 바우만 설문, 피츠패트릭 피부유형분류, 글로거 분류 및 테일러 과색소침착분류로 이루어진 군에서 선택되는 어느 1종 이상의 설문데이터를 사용자로부터 수신 받을 수 있다.

보다 구체적으로, 자가평가 정보 수신부(100)는 건성/지성, 민감성/비민감성, 색소침착형/비색소침착형, 주름형/비주름형을 기초로 사용자의 피부 유형을 16종으로 구분할 수 있는 바우만 설문데이터를 사용자로부터 수신 받을 수 있다.

자가평가 정보 수신부(100)에서 수신 받은 설문데이터에 따른 사용자의 피부 유형 구분은 피부 상태 분석부(200)에서 피부 상태 분석 항목에 대한 정량적 평가지표를 사용자에게 제공할 때 함께 제공될 수 있고, 또한 맞춤 화장품 추천부(800)에서 피부 상태 분석 항목에 대한 개선을 위한 맞춤 화장품 추천 시 그 제형이나 종류를 결정함에 있어 이용될 수 있다.

자가평가 정보 수신부(100)가 사용자로부터 설문데이터를 수신하는 방식은, 본 발명에 따른 시스템이 구현되는 디바이스의 종류에 따라 달라질 수 있다. 예를 들면, 본 발명에 따른 시스템이 키오스크 형태의 다비이스에서 구현되는 경우, 자가평가 정보 수신부(100)는 키오스크의 디스플레이를 통해 제공되는 설문데이터에 대한 사용자의 응답을 전자적 신호로 수신하는 방식 등이 예시될 수 있으나, 이에 제한되는 것은 아니다.

사용자 얼굴 전체 이미지 형성부(200)는 비접촉식 사용자 얼굴 촬영용 카메라에 의해 촬영된 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출한 후 서로 조합하여 하나의 사용자 얼굴 이미지를 형성하는 구성으로서, 사용자 얼굴의 특정 영역을 추출하기 위해 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 피부 상태 분석을 위한 사용자 얼굴 전체 이미지를 형성하도록 설계된다.

사용자 얼굴의 특정 영역을 추출하기 위해 설정된 복수의 촬영 파라미터는 예를 들면, 광원 제어부에 의해 설정되는 광원부의 세기 및/또는 광원부의 방향 등이거나, 비접촉식 사용자 얼굴 촬영용 카메라의 셔터 스피드 및/또는 조리개값 으로서, 복수의 예비 촬영 파라미터로부터 설정될 수 있다.

하나의 예시에서, 사용자 얼굴 전체 이미지 형성부(200)는 복수의 예비 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지의 밝기를 분석하여, 상기 복수의 예비 촬영 파라미터 중 어느 하나 이상을 복수의 촬영 파라미터로 설정하도록 설계될 수 있다.

보다 구체적으로, 사용자 얼굴 전체 이미지 형성부(200)는 복수의 예비 촬영 파라미터 중 제1 예비 촬영 파라미터를 바탕으로 촬영된 이미지가 사용자 얼굴의 제1 영역(예를 들어, 얼굴 중심 영역)에 대해 기 설정된 범위의 밝기값을 갖는 경우, 상기 프로세서는 제1 예비 촬영 파라미터를 사용자 얼굴의 제1 영역에 대응하는 제1 촬영 파라미터로 설정하도록 설계할 수 있고, 또한 복수의 예비 촬영 파라미터 중 제2 예비 촬영 파라미터를 바탕으로 촬영된 이미지가 사용자 얼굴의 제2 영역(예를 들어, 얼굴 외곽 영역)에 대해 기 설정된 범위의 밝기값을 갖는 경우, 상기 프로세서는 제2 예비 촬영 파라미터를 사용자 얼굴의 제2 영역에 대응하는 제2 촬영 파라미터로 설정할 수 있다.

즉, 사용자 얼굴 전체 이미지 형성부(200)는 사용자 얼굴 이미지의 제1 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제1 예비 촬영 파라미터를 제1 촬영 파라미터로 설정하고 사용자 얼굴 이미지의 제2 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제2 예비 촬영 파라미터를 제2 촬영 파라미터로 설정할 수 있다.

사용자 얼굴 전체 이미지 형성부(200)는 또한, 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각을 사용자 얼굴의 특정 영역을 추출 및 합성하여 사용자 얼굴 전체 이미지를 형성하도록 설계된다.

구체적으로, 사용자 얼굴 전체 이미지 형성부(200)는 상기 제1 촬영 파라미터에 의해 획득된 제1 사용자 얼굴 이미지로부터 제1 얼굴 영역을 추출하고 상기 제2 촬영 파라미터에 의해 획득된 제2 사용자 얼굴 이미지로부터 제2 얼굴 영역을 추출하며 상기 제1 얼굴 영역 및 제2 얼굴 영역을 합성하여 피부 상태 분석을 위한 사용자 얼굴 전체 이미지를 형성하도록 설계된다.

또한, 사용자 얼굴 전체 이미지 형성부(200)는 감지된 사용자의 움직임 정보에 따라 상기 제1 얼굴 영역 및 제2 얼굴 영역을 보정하여 합성할 수 있고, 상기 제1 얼굴 영역과 제2 얼굴 영역을 합성할 때, 밝기 보정을 수행하여 제1 얼굴 영역과 제2 얼굴 영역을 합성하도록 설계될 수도 있다.

피부 상태 분석부(300)는 사용자 얼굴 전체 이미지 형성부(200)에서 형성된 사용자 얼굴 전체 이미지에 대한 특징 추출(feature extraction)을 위한 인코딩 및 픽셀별 클래스값의 출력을 위한 디코딩을 수행하는 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 피부 상태 분석 알고리즘을 통해, 모공, 주름, 피지, 색소침착, 홍조 및 여드름을 포함하는 피부 상태 분석 항목 각각에 대한 정량적 평가지표를 연산하여 사용자에게 제공한다.

특히, 본 발명에 따른 피부 상태 분석부(300)는 사용자 얼굴 전체 이미지 상에 존재하는 피부 상태 분석 항목과 상응하는 객체, 픽셀 혹은 특징점들 사이에 상관관계를 고려한 객체간 학습이 반영된 인코딩 알고리즘을 도입하여 보다 정확한 피부 상태 분석이 가능하도록 하는 기술적 특징을 구현하는 구성이다.

구체적으로, 본 발명에 따른 피부 상태 분석부(300)에서 수행되는 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 피부 상태 분석 알고리즘은 엑셉션(Xception) 모듈에 리씽커 모듈을 조합하여 인코딩을 수행하고, 딥랩v3+(DeepLabv3+) 모듈을 적용하여 디코딩을 수행하는 구조를 가질 수 있다.

보다 구체적으로, 피부 상태 분석부(300)는, 도 2에 도시되어 있는 바와 같이, 사용자 얼굴 전체 이미지에 대한 특징 추출(feature extraction)을 위해 사용자 얼굴 이미지 데이터에 대한 레귤러 컨볼루션 연산, 엑셉션(Xception) 연산 및 리씽커(Rethinker) 연산을 수행하여 피처맵(feature map)을 생성하는 인코딩을 수행하고, 상기 피처맵(feature map)을 ASPP(Atrous Spatial Pyramid Pooling) 연산 및 업-샘플링한 후 상응하는 디멘젼을 가지는 피처맵(feature map)을 컨케터네이트(concatenate)하는 디코딩을 수행하는 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 피부 상태 분석 알고리즘을 통해, 모공, 주름, 피지, 색소침착, 홍조 및 여드름을 포함하는 피부 상태 분석 항목 각각에 대한 정량적 평가지표를 연산할 수 있다.

상기 리씽커(Rethinker) 연산은, 예를 들면 도3에 도시된 바와 같이, 스퀴즈 오퍼레이션부와 익시테이션 오퍼레이션부를 포함하는 SE 블록과 함께 국소적으로 설계된 컨볼루셔널 LSTM 레이어(Locally constructed convLSTM layer) 또는 3차원 컨볼루셔널 레이어(Conv3D layer)를 포함할 수 있고, 이를 통해 광역 공간 정보 수집과 함께 국소 공간 내 피부 상태 분석 항목 객체에 대한 상관관계를 추출할 수 있다.

한편, 본 명세서에서 사용되는 레귤러 컨볼루션 연산, 엑셉션(Xception) 연산, 리씽커(Rethinker) 연산, 국소적으로 설계된 컨볼루셔널 LSTM 레이어(Locally constructed convLSTM layer) 및 3차원 컨볼루셔널 레이어(Conv3D layer) 등의 용어는 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기술분야의 당업자 사이에 널리 통용되는 기술용어로서 본 명세서에서 별 다른 설명이 없는 한 해당 용어는 CNN 기술분야의 당업자가 통상적으로 이해하는 정의 및 의미를 가진다.

도 2 및 3과 같은 구조를 가지고 인코딩 및 디코딩을 수행하는 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 피부 상태 분석 알고리즘을 적용함으로써, 피부 상태 분석부(300)는 모공, 주름, 피지, 색소침착, 홍조 및 여드름을 포함하는 피부 상태 분석 항목 각각에 대해 보다 정확한 정량적 평가지표를 연산할 수 있다.

피부 상태 분석부(300)에서 제공되는 정량적 평가지표는, 예를 들면 아라비아 숫자 혹은 등급표시 등과 같이 개별 피부 상태 분석 항목에 대한 상대 평가가 가능할 수 있는 정량 지표를 이용할 수 있다.

피부 상태 분석부(300)가 피부 상태 분석 항목 각각에 대한 정량적 평가지표를 사용자에게 제공하는 방식은, 본 발명에 따른 시스템에 구현되는 디바이스의 종류에 따라 상이할 수 있는데, 예를 들면, 본 발명에 따른 시스템이 키오스크 형태의 다비이스에서 구현되는 경우, 피부 상태 분석부(300)는 키오스크의 디스플레이 상에 피부 상태 분석 항목에 대한 정량적 평가지표를 디스플레이하여 사용자에게 육안 제공할 수 있다. 이 경우, 사용자는 피부 상태 분석 항목에 대한 정량적 평가지표와 함께 피부 상태 분석 항목에 대한 개선을 위한 맞춤 화장품을 추천받을 수 있고, 이는 후술하는 맞춤 화장품 추천부(900)에 의해 구현된다.

본 발명에 따른 시스템은 자가평가 정보 수신부(100), 사용자 얼굴 전체 이미지 형성부(200) 및 피부 상태 분석부(300)에서의 결과물을 이용하여 사용자 맞춤 화장품을 추천하는 구조를 가진다. 특히, 본 발명에 따른 시스템은 관리자의 제어 하에 화장품 및 화장료 성분에 대한 정보가 실시간 업데이터 되어 저장될 수 있고, 저장된 화장품은 사용자의 피부 상태 분석 항목 개선을 위한 맞춤 화장품으로 추천될 수 있다.

도 1을 다시 참조하여 설명하면, 화장품 및 화장료 성분 정보 수신부(400)는 관리자가 제공하는 화장품 및 화장료 성분에 대한 정보를 수신 받고, 이를 제1 연산부(500) 및 제2 연산부(700)에 제공한다.

화장품 및 화장료 성분 정보수신부(400)는, 예를 들면 관리자와 웹 혹은 앱을 통해 상호작용함으로써 화장품 및 화장료 성분에 대한 정보를 수신 받고, 이를 제1 연산부(500) 및 제2 연산부(700)에 제공할 수 있다.

제1 연산부(500)는 화장품 및 화장료 성분 정보 수신부(400)에서 수신 받은 화장료 성분의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 구성이다.

제1 연산부(500)가 화장료 성분의 피부 상태 분석 항목 각각에 대한 정량적 개선지표의 연산은, 예를 들면 소정의 피부 상태 분석 항목 개선지표 판단 요소를 기반으로 이루어질 수 있다.

보다 구체적으로, 제1 연산부(500)는 EWG 등급, 식약처 고시 성분 정보, 대한화장품협회 고시 성분 정보, 특허문헌에 개시된 피부 상태 개선 효능 정보 및 논문에 개시된 피부 상태 개선 효능 정보를 포함하는 피부 상태 분석 항목 개선지표 판단 요소를 기반으로 화장품 및 화장료 성분 정보 수신부(300)에서 수신 받은 화장료 성분의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산할 수 있다.

제1 연산부(500)에서 연산된 화장료 성분의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표는 상응하는 화장료 성분과 매칭되어 화장료 성분 DB(600)에 저장된다. 따라서, 화장료 성분 DB(600)에는 특정 화장료 성분과 해당 화장료 성분의 피부 상태 분석 항목 각각에 대한 정량적 개선지표가 매칭되어 있다. 이 때, 정량적 개선지표는 정량적 평가지표와 마찬가지로 아라비아 숫자 혹은 등급표시 등으로 표현될 수 있다.

제2 연산부(700)는 화장품 및 화장료 성분 정보 수신부(400)에서 수신 받은 화장품의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 구성이다.

제2 연산부(700)가 화장품에 함유되는 화장료 성분 각각에 대한 정량적 개선지표의 연산은, 예를 들면 화장품에 함유되는 화장료 성분 각각에 대한 정량적 개선지표를 화장료 성분 DB(600)로부터 추출하여 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 것을 통해 이루어질 수 있다.

제2 연산부(700)에서 연산된 화장품의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표는 그와 상응하는 화장품과 매칭하여 화장품 DB(700)에 저장된다.

화장품 DB(800)는 또한, 사용자의 피부 유형에 적합한 맞춤 화장품 추천을 위해 화장품의 종류나 제형에 따른 피부 유형 적합도를 화장품과 함께 매칭하여 저장할 수 있고, 피부 유형 적합도에 대한 연산은 예를 들면 제3 연산부(1000)에 의해 수행될 수 있다.

하나의 예시에서, 본 발명에 따른 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템은, 도 4에 도시된 바와 같이, 화장품 DB(800) 내 화장품의 제형 및 종류에 따른 피부 유형 적합도를 연산하는 제3 연산부(1000)를 더 포함할 수 있다. 이 경우, 화장품 DB(700)는 제3 연산부(1000)에서 연산된 피부 유형 적합도를 상응하는 화장품과 매칭하여 저장할 수 있다.

화장품 DB(800)에 저장되어 있는 화장품 정보는 그와 상응하는 피부 상태 분석 항목 각각에 대한 정량적 개선지표 및 피부 유형 적합도에 따라 맞춤 화장품 추천부(900)에 의해 추출되어 사용자에게 제공될 수 있다.

구체적으로, 맞춤 화장품 추천부(900)는 피부 상태 분석부(300)에서 연산된 피부 상태 분석 항목의 정량적 지표의 개선을 위한 맞춤 화장품으로서 자가평가 정보 수신부(100)에 수신된 설문데이터에 따라 구분된 피부 유형에 적합한 맞춤 화장품을 화장품 DB(800)에서 추출하여 제공하는 구성이다.

일 예시에서, 맞춤 화장품 추천부(900)는 바우먼 설문에 따라 사용자의 피부 유형이 DRPT로 도출되고 피부 상태 분석 항목 중 모공과 여드름에 대한 정량적 평가지표가 낮게 연산된 경우 크림, 스킨 혹은 로션 제형의 화장품으로서 모공과 여드름에 대한 정량적 개선지표가 우수한 화장품을 화장품 DB(700)로부터 추출하여 사용자에게 제공할 수 있다.

또 다른 예시에서, 맞춤 화장품 추천부(900)는 바우먼 설문에 따라 사용자의 피부 유형이 OSPW로 도출되고 피부 상태 분석 항목 중 색소침착과 홍조에 대한 정량적 평가지표가 낮게 연산된 경우 크림, 선케어 제품 혹은 앰플 제형의 화장품으로서 색소 침착과 홍조에 대한 정량적 개선지표가 우수한 화장품을 화장품 DB(800)로부터 추출하여 사용자에게 제공할 수 있다.

상기와 같이, 본 발명에 따른 시스템은 자가평가 정보 수신부(100)에서 수신된 설문데이터에 따라 구분된 피부 유형에 적합하고, 또한 화장료 성분 각각에 대한 피부 상태 분석 항목별 정량적 개선지표가 종합되어 산출된 화장품의 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 고려하여 사용자 맞춤 화장품을 화장품 DB(700)로부터 추출하는 맞춤 화장품 추천부(900)의 구성을 통해, 사용자 피부 적합도가 뛰어나 피부 개선 효과가 월등한 맞춤 제품 추천이 가능하다.

맞춤 화장품 추천부(900)가 사용자에게 맞춤 화장품을 제공하는 방식은, 본 발명에 따른 시스템이 구현되는 디바이스의 종류에 따라 상이할 수 있는데, 상기 디바이스가 키오스크인 경우 키오스크의 디스플레이 상에 피부 상태 분석 항목에 대한 정량적 평가지표와 함께 맞춤 화장품이 디스플레이 되는 방식 등을 통해 사용자에게 제공될 수 있다.

본 발명은 또한, 상기 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템이 구동되는 피부 상태 분석 및 맞춤 화장품 추천용 키오스크에 대한 것이다.

도 5에는 본 발명에 따른 본 발명에 따른 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 방법의 각 단계를 설명하기 위한 일 블록 순서도가 도시되어 있다.

도 5에 도시된 바와 같이, 본 발명에 따른 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 방법은 화장품 및 화장료 성분 정보 수신부(300)가 관리자가 제공하는 화장품 및 화장료 성분에 대한 정보를 수신 받는 단계; 제1 연산부(400)가 화장품 및 화장료 성분 정보 수신부(300)에서 수신 받은 화장료 성분의 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 단계; 제1 연산부(400)에서 연산된 화장료 성분의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 상응하는 화장료 성분과 매칭하여 화장품 성분 DB(500)에 저장하는 화장품 성분 DB 저장 단계; 제2 연산부(600)가 화장품 및 화장료 성분 정보 수신부(300)에서 수신 받은 화장품의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 단계;제2 연산부(600)에서 연산된 화장품의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 상응하는 화장품과 매칭하여 화장품 DB(700)에 저장하는 화장품 DB 저장 단계; 자가평가 정보 수신부(100)가 사용자로부터 피부 유형 구분을 위한 설문데이터를 수신하는 단계; 사용자 얼굴 전체 이미지 형성부가 사용자 얼굴의 특정 영역을 추출하기 위해 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 피부 상태 분석을 위한 사용자 얼굴 전체 이미지를 형성하는 단계; 피부 상태 분석부가 형성된 사용자의 얼굴 전체 이미지의 특징 추출(feature extraction)을 위한 인코딩 및 픽셀별 클래스값의 출력을 위한 디코딩을 수행하는 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 피부 상태 분석 알고리즘을 통해, 모공, 주름, 피지, 색소침착, 홍조 및 여드름을 포함하는 피부 상태 분석 항목 각각에 대한 정량적 평가지표를 연산하여 사용자에게 제공하는 단계; 및 맞춤 화장품 추천부(800)가 피부 상태 분석부(200)에서 연산된 피부 상태 분석 항목의 정량적 지표의 개선을 위한 맞춤 화장품으로서 자가평가 정보 수신부(100)에 수신된 설문데이터에 따라 구분된 피부 유형에 적합한 맞춤 화장품을 화장품 DB(700)에서 추출하여 제공하는 단계를 포함한다. 또한, 피부 상태 분석 항목 각각에 대한 정량적 평가지표를 연산하여 사용자에게 제공하는 단계는, 앞서 설명한, AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템에서와 마찬가지로, 사용자 얼굴 이미지 데이터에 대한 레귤러 컨볼루션 연산, 엑셉션(Xception) 연산 및 리씽커(Rethinker) 연산을 수행하여 피처맵(feature map)을 생성하는 인코딩 단계; 및 상기 피처맵(feature map)을 ASPP(Atrous Spatial Pyramid Pooling) 연산 및 업-샘플링한 후 상응하는 디멘젼을 가지는 피처맵(feature map)을 컨케터네이트(concatenate)하는 디코딩 단계;를 포함한다.

한편, 본 발명에 따른 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 방법의 각 단계는 도 5에 도시된 바와 같은 순서대로 수행될 수도 있고, 각 단계가 동시 혹은 서로 다른 시간대에 개별적으로 혹은 상호 연계하여 수행될 수도 있으며, 도 5는 본 발명에 따른 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 방법의 각 단계의 순서에 대한 일 예시에 불과할 뿐, 본 발명에 따른 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 방법의 각 단계별 순서가 도 5에 의해 제한되는 것은 아니다.

또한, 상기 화장료 성분의 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 단계는 EWG 등급, 식약처 고시 성분 정보, 대한화장품협회 고시 성분 정보, 특허문헌에 개시된 피부 상태 개선 효능 정보 및 논문에 개시된 피부 상태 개선 효능 정보를 포함하는 피부 상태 분석 항목 개선지표 판단 요소를 기반으로 상기 화장품 및 화장료 성분 정보 수신부에서 수신 받은 화장료 성분의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 것을 포함할 수 있다.

또한, 상기 화장품의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 단계는 화장품에 함유되는 화장료 성분 각각에 대한 정량적 개선지표를 상기 화장료 성분 DB로부터 추출하여 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 것을 포함할 수 있다.

본 발명에 따른 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 방법은 더욱이, 제3 연산부(900)가 화장품 DB(700) 내 화장품의 제형 및 종류에 따른 피부 유형 적합도를 연산하는 단계를 더 포함할 수 있다. 이 경우, 화장품 DB 저장단계는 제3 연산부(900)에서 연산된 피부 유형 적합도를 상응하는 화장품과 매칭하여 저장하는 것을 포함할 수 있다.

이상에서, 본 발명에 따른 AI기반 피부 상태 분석 및 맞춤 제품 추천 시스템 및 방법에 대하 도면을 예시로 하여 구체적으로 설명하였으나, 이는 본 발명에 대한 한정된 일 예시들에 불과할 뿐, 도면 및 그 예시적 설명이 본 발명의 주요 기술적 사상 내지는 권리범위를 제한하지 아니함은 이 기술분야의 통상의 지식을 가진 사람에게 자명하며, 본 발명의 권리범위는 후술하는 특허청구범위 뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100 : 자가평가 정보 수신부
200 : 사용자 얼굴 전체 이미지 형성부
300 : 피부 상태 분석부
400 : 화장품 및 화장료 성분 정보 수신부
500 : 제1 연산부
600 ; 화장료 성분 DB
700 : 제2 연산부
800 : 화장품 DB
900 : 맞춤 화장품 추천부
1000 : 제3 연산부

Claims

피부 유형 구분을 위한 설문데이터를 사용자로부터 수신 받는 자가평가 정보 수신부;
사용자 얼굴의 특정 영역을 추출하기 위해 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 피부 상태 분석을 위한 사용자 얼굴 전체 이미지를 형성하도록 설계된 사용자 얼굴 전체 이미지 형성부;
상기 사용자 얼굴 전체 이미지 형성부에서 형성된 사용자 얼굴 전체 이미지의 특징 추출(feature extraction)을 위한 인코딩 및 픽셀별 클래스값의 출력을 위한 디코딩을 수행하는 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 피부 상태 분석 알고리즘을 통해, 모공, 주름, 피지, 색소침착, 홍조 및 여드름을 포함하는 피부 상태 분석 항목 각각에 대한 정량적 평가지표를 연산하여 사용자에게 제공하는 피부 상태 분석부;
관리자가 제공하는 화장품 및 화장료 성분에 대한 정보를 수신 받는 화장품 및 화장료 성분 정보 수신부;
상기 화장품 및 화장료 성분 정보 수신부에서 수신 받은 화장료 성분의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 제1 연산부;
상기 제1 연산부에서 연산된 화장료 성분의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 상응하는 화장료 성분과 매칭하여 저장하는 화장료 성분 DB;
상기 화장품 및 화장료 성분 정보 수신부에서 수신 받은 화장품의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 제2 연산부;
상기 제2 연산부에서 연산된 화장품의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 상응하는 화장품과 매칭하여 저장하는 화장품 DB; 및
상기 피부 상태 분석부에서 연산된 피부 상태 분석 항목의 정량적 지표의 개선을 위한 맞춤 화장품으로서 상기 자가평가 정보 수신부에 수신된 설문데이터에 따라 구분된 피부 유형에 적합한 맞춤 화장품을 상기 화장품 DB에서 추출하여 제공하는 맞춤 화장품 추천부;를 포함하고,
상기 사용자 얼굴 전체 이미지 형성부는,
사용자 얼굴 이미지의 제1 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제1 예비 촬영 파라미터를 제1 촬영 파라미터로 설정하고 사용자 얼굴 이미지의 제2 영역에 대해 기 설정된 범위의 밝기값을 갖도록 하는 제2 예비 촬영 파라미터를 제2 촬영 파라미터로 설정하며, 상기 제1 촬영 파라미터에 의해 획득된 제1 사용자 얼굴 이미지로부터 제1 얼굴 영역을 추출하고 상기 제2 촬영 파라미터에 의해 획득된 제2 사용자 얼굴 이미지로부터 제2 얼굴 영역을 추출하며 상기 제1 얼굴 영역 및 제2 얼굴 영역을 합성하여 피부 상태 분석을 위한 사용자 얼굴 전체 이미지를 형성하도록 설계되는 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템.
제1항에 있어서,
상기 자가평가 정부 수신부는,
바우만 설문, 피츠패트릭 피부유형분류, 글로거 분류 및 테일러 과색소침착분류로 이루어진 군에서 선택되는 어느 1종 이상의 설문데이터를 사용자로부터 수신 받는 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템.
제1항에 있어서,
상기 피부 상태 분석부는,
사용자 얼굴 전체 이미지 데이터에 대한 레귤러 컨볼루션 연산, 엑셉션(Xception) 연산 및 리씽커(Rethinker) 연산을 수행하여 피처맵(feature map)을 생성하는 인코딩을 수행하고, 상기 피처맵(feature map)을 ASPP(Atrous Spatial Pyramid Pooling) 연산 및 업-샘플링한 후 상응하는 디멘젼을 가지는 피처맵(feature map)을 컨케터네이트(concatenate)하는 디코딩을 수행하는 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 피부 상태 분석 알고리즘을 통해, 모공, 주름, 피지, 색소침착, 홍조 및 여드름을 포함하는 피부 상태 분석 항목 각각에 대한 정량적 평가지표를 연산하는 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템.
제1항에 있어서,
상기 제1 연산부는,
EWG 등급, 식약처 고시 성분 정보, 대한화장품협회 고시 성분 정보, 특허문헌에 개시된 피부 상태 개선 효능 정보 및 논문에 개시된 피부 상태 개선 효능 정보를 포함하는 피부 상태 분석 항목 개선지표 판단 요소를 기반으로 상기 화장품 및 화장료 성분 정보 수신부에서 수신 받은 화장료 성분의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템.
제1항에 있어서,
상기 제2 연산부는,
화장품에 함유되는 화장료 성분 각각에 대한 정량적 개선지표를 상기 화장료 성분 DB로부터 추출하여 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템.
제1항에 있어서,
상기 화장품 DB 내 화장품의 제형 및 종류에 따른 피부 유형 적합도를 연산하는 제3 연산부를 더 포함하고,
상기 화장품 DB는,
상기 제3연산부에서 연산된 피부 유형 적합도를 상응하는 화장품과 매칭하여 저장하는 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템.
제1항 내지 제6항 중 어느 하나의 항에 따른 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템이 구동되는 피부 상태 분석 및 맞춤 화장품 추천용 키오스크.
제1항 내지 제6항 중 어느 한 항에 따른 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 시스템을 이용한 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 방법으로서,
화장품 및 화장료 성분 정보 수신부가 관리자가 제공하는 화장품 및 화장료 성분에 대한 정보를 수신 받는 단계;
제1 연산부가 상기 화장품 및 화장료 성분 정보 수신부에서 수신 받은 화장료 성분의 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 단계;
상기 제1 연산부에서 연산된 화장료 성분의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 상응하는 화장료 성분과 매칭하여 화장품 성분 DB에 저장하는 화장품 성분 DB 저장 단계;
제2 연산부가 상기 화장품 및 화장료 성분 정보 수신부에서 수신 받은 화장품의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 단계;
상기 제2 연산부에서 연산된 화장품의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 상응하는 화장품과 매칭하여 저장하는 화장품 DB 저장 단계;
자가평가 정보 수신부가 사용자로부터 피부 유형 구분을 위한 설문데이터를 수신하는 단계;
사용자 얼굴 전체 이미지 형성부가 사용자 얼굴의 특정 영역을 추출하기 위해 설정된 복수의 촬영 파라미터를 바탕으로 획득된 복수의 사용자 얼굴 이미지 각각에서 사용자 얼굴의 특정 영역을 추출하고 상기 추출된 사용자 얼굴의 특정 영역을 합성하여 피부 상태 분석을 위한 사용자 얼굴 전체 이미지를 형성하는 단계;
피부 상태 분석부가 형성된 사용자의 얼굴 전체 이미지의 특징 추출(feature extraction)을 위한 인코딩 및 픽셀별 클래스값의 출력을 위한 디코딩을 수행하는 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 피부 상태 분석 알고리즘을 통해, 모공, 주름, 피지, 색소침착, 홍조 및 여드름을 포함하는 피부 상태 분석 항목 각각에 대한 정량적 평가지표를 연산하여 사용자에게 제공하는 단계; 및
맞춤 화장품 추천부가 상기 피부 상태 분석부에서 연산된 피부 상태 분석 항목의 정량적 지표의 개선을 위한 맞춤 화장품으로서 상기 자가평가 정보 수신부에 수신된 설문데이터에 따라 구분된 피부 유형에 적합한 맞춤 화장품을 상기 화장품 DB에서 추출하여 제공하는 단계를 포함하고,
상기 피부 상태 분석 항목 각각에 대한 정량적 평가지표를 연산하여 사용자에게 제공하는 단계는,
사용자 얼굴 전체 이미지 데이터에 대한 레귤러 컨볼루션 연산, 엑셉션(Xception) 연산 및 리씽커(Rethinker) 연산을 수행하여 피처맵(feature map)을 생성하는 인코딩 단계; 및
상기 피처맵(feature map)을 ASPP(Atrous Spatial Pyramid Pooling) 연산 및 업-샘플링한 후 상응하는 디멘젼을 가지는 피처맵(feature map)을 컨케터네이트(concatenate)하는 디코딩 단계;를 포함하는 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 방법.
제8항에 있어서,
상기 화장료 성분의 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 단계는,
EWG 등급, 식약처 고시 성분 정보, 대한화장품협회 고시 성분 정보, 특허문헌에 개시된 피부 상태 개선 효능 정보 및 논문에 개시된 피부 상태 개선 효능 정보를 포함하는 피부 상태 분석 항목 개선지표 판단 요소를 기반으로 상기 화장품 및 화장료 성분 정보 수신부에서 수신 받은 화장료 성분의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 것을 포함하는 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 방법.
제8항에 있어서,
상기 화장품의 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 단계는,
화장품에 함유되는 화장료 성분 각각에 대한 정량적 개선지표를 상기 화장료 성분 DB로부터 추출하여 상기 피부 상태 분석 항목 각각에 대한 정량적 개선지표를 연산하는 것을 포함하는 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 방법.
제8항에 있어서,
제3 연산부가 상기 화장품 DB 내 화장품의 제형 및 종류에 따른 피부 유형 적합도를 연산하는 단계를 더 포함하고,
상기 화장품 DB 저장단계는,
상기 제3 연산부에서 연산된 피부 유형 적합도를 상응하는 화장품과 매칭하여 저장하는 것을 포함하는 AI 기반 피부 상태 분석 및 맞춤 화장품 추천 방법.