KR102404302B1

KR102404302B1 - 인공 지능과 빅 데이터를 이용한 얼굴 피부 상태 분석 서버의 작동 방법과 프로그램

Info

Publication number: KR102404302B1
Application number: KR1020220003314A
Authority: KR
Inventors: 허미리
Original assignee: 허미리
Priority date: 2020-11-02
Filing date: 2022-01-10
Publication date: 2022-05-31
Also published as: KR20220059443A; KR102352915B1

Abstract

인공 지능과 빅 데이터를 이용한 얼굴 피부 상태 분석 서버의 작동 방법이 개시된다. 상기 작동 방법은 얼굴 피부 상태 분석 서버에 포함된 제2분석 프로그램은 얼굴 이미지들을 수신하여 저장하고, 저장된 상기 얼굴 이미지들을 읽어 얼굴 이미지들 각각을 다운 샘플링하여 다운 샘플링된 제1얼굴 이미지들을 생성하고, 상기 다운 샘플링된 제1얼굴 이미지들 각각에 각 피부과 의사에 의해 부여된 분석 항목들 각각에 대한 점수를 수신하고, 상기 다운 샘플링된 제1얼굴 이미지들 각각에 상기 각 피부과 의사에 의해 부여된 상기 분석 항목들 각각에 대한 점수를 결합하여 상기 다운 샘플링된 제1얼굴 이미지들 각각에 대한 제1분석 데이터를 생성하고, 상기 다운 샘플링된 제1얼굴 이미지들 각각을 다시 다운 샘플링하여 다시 다운 샘플링된 제2얼굴 이미지들을 생성하고, 상기 제2얼굴 이미지들 각각과 상기 각 피부과 의사에 의해 부여된 상기 분석 항목들 각각에 대한 점수를 쌍으로 포함하는 제2얼굴 이미지들 각각에 대한 제2분석 데이터를 생성하고, 상기 제2얼굴 이미지들 각각은 상기 얼굴 이미지들 각각을 순차적으로 다운 샘플링하여 생성된다.

Description

인공 지능과 빅 데이터를 이용한 얼굴 피부 상태 분석 서버의 작동 방법과 프로그램{METHOD FOR OPERATING FACIAL SKIN CONDITION ANALYSIS SERVER USING ARTIFICIAL INTELLIGENCE AND BIG DATA, AND PROGRAM THEREOF}

본 발명은 얼굴 피부 상태 분석 기술에 관한 것으로, 특히 인공 지능과 빅 데이터를 이용한 얼굴 피부 상태 분석 서버와 이를 이용한 분석 서비스 제공 방법에 관한 것이다.

인공지능(artificial Intelligence(AI))은 인간의 학습 능력, 추론 능력, 지각 능력, 및 자연 언어의 이해 능력 등을 컴퓨터 프로그램으로 실현한 기술이다. AI 기술은 하나의 인프라 기술이기도 하다.

빅 데이터(big data)는 기존 데이터베이스 관리 도구의 능력을 넘어서는 대량의 정형 또는 심지어 데이터베이스 형태가 아닌 비정형의 데이터 집합 조차 포함한다. 빅 데이터 분석 기술은 데이터로부터 가치를 추출하고 그 결과를 분석하는 기술이다. 즉, 빅 데이터는 기존의 데이터 베이스로는 처리하기 어려울 정도로 방대한 양의 데이터를 의미한다.

등록특허공보: 등록번호 10-2001337(2019.07.17 공고) 공개특허공보: 공개번호 10-2020-0101540(2020.08.28 공개) 공개특허공보: 공개번호 10-2020-0063299(2020.06.05 공개)

본 발명이 이루고자 하는 기술적인 과제는 사용자가 제공한 얼굴 이미지를 분석 항목(예를 들면, 얼굴 주름, 얼굴 피부 트러블, 얼굴 모공, 얼굴 피부 탄력, 및 얼굴 색소 침착)별로 빅 데이터와 얼굴 피부 상태 분석 딥러닝 알고리즘을 이용하여 분석하고, 분석 결과에 해당하는 분석 데이터 또는 최적화된 솔루션을 제공할 수 있는 얼굴 피부 상태 분석 서버와 이를 이용한 분석 서비스 제공 방법을 제공하는 것이다.

본 발명에 따른 인공 지능과 빅 데이터를 이용한 얼굴 피부 상태 분석 서버의 작동 방법은 얼굴 피부 상태 분석 서버에 포함된 제2분석 프로그램이 얼굴 이미지들을 수신하여 제2데이터베이스의 얼굴 이미지 저장 공간에 저장하는 단계와, 상기 제2분석 프로그램이 상기 얼굴 이미지 저장 공간에 저장된 상기 얼굴 이미지들을 읽어서 읽혀진 얼굴 이미지들 각각을 다운 샘플링하고 다운 샘플링된 제1얼굴 이미지들을 생성하여 상기 얼굴 이미지 저장 공간에 저장하는 단계와, 각 피부과 의사가 상기 얼굴 피부 상태 분석 서버에 접속된 각 컴퓨터의 디스플레이 장치에서 디스플레이되는 상기 다운 샘플링된 제1얼굴 이미지들 각각을 육안으로 분석하고 상기 각 컴퓨터의 입력 장치를 통해 상기 다운 샘플링된 제1얼굴 이미지들 각각에 분석 항목들 각각에 대한 점수를 부여하면, 상기 제2분석 프로그램이 상기 각 컴퓨터를 통해 상기 다운 샘플링된 제1얼굴 이미지들 각각에 상기 각 피부과 의사에 의해 부여된 상기 분석 항목들 각각에 대한 점수를 수신하고, 상기 다운 샘플링된 제1얼굴 이미지들 각각에 상기 각 피부과 의사에 의해 부여된 상기 분석 항목들 각각에 대한 점수를 결합하여 상기 다운 샘플링된 제1얼굴 이미지들 각각에 대한 제1분석 데이터를 생성하는 단계와, 상기 제2분석 프로그램이 상기 다운 샘플링된 제1얼굴 이미지들 각각에 대한 상기 제1분석 데이터에 포함된 상기 다운 샘플링된 제1얼굴 이미지들 각각을 다시 다운 샘플링하여 다시 다운 샘플링된 제2얼굴 이미지들을 생성하는 단계와, 상기 제2분석 프로그램이 상기 제2얼굴 이미지들 각각과 상기 각 피부과 의사에 의해 부여된 상기 분석 항목들 각각에 대한 점수를 쌍으로 포함하는 제2얼굴 이미지들 각각에 대한 제2분석 데이터를 생성하는 단계와, 상기 제2분석 프로그램이 상기 제2얼굴 이미지들 각각에 대해 생성된 상기 제2분석 데이터에 딥러닝 알고리즘을 적용하여 AI 모델들을 생성하는 단계와, 상기 제2분석 프로그램이 상기 AI 모델들을 이용하여 학습 데이터를 생성하고 상기 학습 데이터를 상기 제2데이터베이스의 학습 데이터 저장 공간에 저장하는 단계를 포함하고, 상기 제2얼굴 이미지들 각각은 상기 얼굴 이미지들 각각을 순차적으로 두 번씩 다운 샘플링하여 생성된다.

상기 분석 항목들은 얼굴 주름, 얼굴 피부 트러블, 얼굴 모공, 얼굴 피부 탄력, 및 얼굴 색소 침착을 포함한다.

상기 인공 지능과 빅 데이터를 이용한 얼굴 피부 상태 분석 서버의 작동 방법은 상기 얼굴 피부 상태 분석 서버에 포함된 제1분석 프로그램이 사용자 단말기로부터 사용자 얼굴 이미지를 수신하고, 상기 사용자 얼굴 이미지를 다운 샘플링하여 다운 샘플링된 사용자 얼굴 이미지를 생성하는 단계와, 상기 제1분석 프로그램이 상기 다운 샘플링된 사용자 얼굴 이미지를 이용하여 분석용 이미지들을 생성하고 상기 분석용 이미지들을 상기 제2분석 프로그램으로 전송하는 단계와, 상기 학습 데이터를 생성한 상기 제2분석 프로그램이 상기 분석용 이미지들을 수신하고, 상기 학습 데이터를 이용하여 상기 분석용 이미지들을 분석하고, 분석 결과에 따라 상기 분석용 이미지들 각각에 대한 상기 분석 항목들 각각에 점수를 부여하는 단계와, 상기 제2분석 프로그램이 상기 분석 항목들 각각에 부여된 점수를 포함하는 얼굴 피부 상태 분석 데이터를 생성하고, 상기 얼굴 피부 상태 분석 데이터를 상기 제1분석 프로그램으로 전송하는 단계와, 상기 제1분석 프로그램은 상기 얼굴 피부 상태 분석 데이터를 수신하고 분석하여 상기 분석 항목들 중에서 가장 낮은 점수를 갖는 분석 항목을 선택하는 단계와, 상기 제1분석 프로그램은 상기 가장 낮은 점수를 갖는 분석 항목을 개선하는데 필요한 텍스트 문서 또는 동영상을 제1데이터베이스로부터 검색하여 상기 텍스트 문서 또는 상기 동영상을 검색 정보로서 상기 사용자 단말기로 전송하는 단계를 더 포함한다.

인공 지능과 빅 데이터를 이용한 얼굴 피부 상태 분석 서버의 작동 방법을 수행하기 위해 컴퓨터 프로그램은 하드웨어와 결합되어 컴퓨터로 읽을 수 있는 매체에 저장된다.

본 발명의 실시 예에 따른 얼굴 피부 상태 분석 서버와 이를 이용한 분석 서비스 제공 방법은 사용자가 제공한 얼굴 이미지를 분석 항목(예를 들면, 얼굴 주름, 얼굴 피부 트러블, 얼굴 모공, 얼굴 피부 탄력, 및 얼굴 색소 침착)별로 빅 데이터와 얼굴 피부 상태 분석 딥러닝 알고리즘을 이용하여 분석하고, 분석 결과에 해당하는 분석 데이터 또는 최적화된 솔루션을 제공할 수 있는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 인공 지능과 빅 데이터를 이용한 얼굴 피부 상태 분석 서버와 이를 포함하는 얼굴 피부 상태 분석 서비스 제공 시스템의 블록도를 나타낸다.
도 2는 도 1에 도시된 제2서버의 작동 방법을 설명하는 플로우차트이다.
도 3은 도 1에 도시된 제2서버가 학습 데이터를 생성하는 방법을 설명하기 위한 도면이다.
도 4는 도 1에 도시된 제1분석 서버의 작동 방법을 설명하는 플로우차트이다.
도 5는 도 1에 도시된 제1분석 서버가 얼굴 이미지의 해상도를 조절하여 분석 이미지를 생성하는 과정을 설명하는 도면이다.
도 6은 도 1에 도시된 제1분석 서버가 얼굴 주름 분석용 이미지들을 생성하기 위해 해상도가 조절된 얼굴 이미지를 크로핑한 영역들을 나타낸다.
도 7은 도 1에 도시된 제1분석 서버가 모공 분석용 이미지들을 생성하기 위해 사용자의 해상도가 조절된 얼굴 이미지를 T-존으로 크로핑한 영역들을 나타낸다.
도 8은 도 1에 도시된 제1분석 서버가 모공 분석용 이미지들을 생성하기 위해 사용자의 해상도가 조절된 얼굴 이미지를 U-존으로 크로핑한 영역들을 나타낸다.
도 9는 도 1에 도시된 제2서버 서버에 의해 생성된 분석 데이터를 나타낸다.
도 10은 도 1에 도시된 제1분석 서버에 의해 액세스가능한 제1데이터베이스에 저장된 점수별 콘텐츠와 상기 점수별 제품 정보를 나타낸다.
도 11은 도 1에 도시된 제1분석 서버에 의해 액세스가능한 제1데이터베이스에 저장된 사용자별 히스토리와 상기 사용자별 UX 정보를 나타낸다.
도 12는 사용자에게 제공되는 다이어리의 실시 예이다.

본 명세서에서 인공 지능(artificial intelligence(AI))-기반 얼굴 피부 분석(이를 '진단'이라고도 한다.) 서비스를 제공하기 위해, AI-기반 엔진(또는 AI-기반 서버(300))은 각 얼굴 이미지와 상기 각 얼굴 이미지별로 부여된 복수 개의 분석 항목들 각각에 대한 점수를 딥러닝(deep learning) 알고리즘(예를 들면, 합성곱 신경망(Convolutional Neural Networks(CNN), 전이 학습(transfer learning), 또는 다중 작업 학습(multitask learning) 등)을 이용하여 학습하고, 학습 결과에 해당하는 데이터(예를 들면, 빅 데이터)를 생성하여 상기 데이터를 데이터베이스에 저장한다.

복수 개의 분석 항목들의 예들은 얼굴 주름, 얼굴 피부 트러블, 얼굴 모공, 얼굴 피부 탄력, 및 얼굴 색소 침착을 포함한다.

얼굴 주름의 예들은 이마 주름, 미간 주름, 콧등 주름, 눈꼬리 주름, 눈밑 주름, 볼 주름, 코옆 팔자 주름, 턱 주름, 입술 밑 주름, 및 목주름 중에서 적어도 하나를 포함한다.

얼굴 피부 트러블의 예들은 모낭염, 비립종, 화이트헤드, 블랙헤드, 및 여드름 등 중에서 적어고 하나를 포함한다. 여드름의 예들은 면포(좁쌀 여드름), 구진(붉은 여드름), 농포(곪은 여드름), 결절, 및 낭포 중에서 적어도 하나를 포함한다.

얼굴 색소 침착의 예들은 오타(Ota) 모반, 주근깨, 점, 색소 침착, 기미, 검버섯, 및 안면 홍조 중에서 적어도 하나를 포함한다.

도 1은 인공 지능과 빅 데이터를 이용한 얼굴 피부 상태 분석 서버와 이를 포함하는 얼굴 피부 상태 분석 서비스 제공 시스템의 블록도를 나타낸다.

도 1을 참조하면, 얼굴 피부 상태 분석 서비스 제공 시스템(100)은 사용자 애플리케이션(210)을 실행하는 사용자 단말기(200), 분석 서버(300), 및 적어도 하나의 의사 단말기(400과 410)를 포함한다.

얼굴 피부 상태 분석 서비스 제공 시스템(100)은 AI 기술 기반 맞춤형 뷰티 서비스 플랫폼(beauty service platform)으로, 얼굴 이미지(IM)에 대한 얼굴 피부 상태 측정과 분석, 얼굴 이미지(IM)에 대한 데일리 차트(예를 들면, 각 분석 항목에 대한 점수를 포함하는 얼굴 피부 상태 분석 데이터(ARL)를 포함)의 보관, 얼굴 이미지(IM)에 대한 얼굴 피부 상태 분석 데이터(ARL)에 기초한 화장품 큐레이션, 및/또는 O2O(Online to Offline) 뷰티 관리 등 사용자 맞춤형 서비스를 제공한다.

얼굴 피부 상태 분석 서비스 제공 시스템(100)은 얼굴 이미지들을 분석하는 뷰티 전문가들(예를 들면, 피부과 의사들)의 얼굴 피부 분석 노하우를 AI 기술을 이용하여 사용자에게 제공하며, 상기 사용자의 얼굴 피부, 상기 사용자의 건강, 및/또는 상기 사용자에게 메이크업 등 다양한 뷰티 서비스를 제공하는 동시에 상기 사용자의 참여(예를 들면, 얼굴 이미지 전송 및 제품 구매 등)를 유도하는 사용자 중심 서비스를 제공한다.

사용자 단말기(200)의 프로세서에서 실행되는 사용자 애플리케이션(210)은 얼굴 이미지(IM)를 분석 서버(300)로 전송하고, 분석 서버(300)로부터 제공된 얼굴 이미지(IM)에 대한 검색 정보(INF)를 수신할 수 있다. 예를 들면, 검색 정보(INF)는 얼굴 피부 상태 분석 데이터(ARL), 콘텐츠, 및 제품 정보 중에서 적어도 하나를 포함한다.

분석 서버(300)는 제1분석 서버(또는 검색 정보 제공 서버; 310)와 제2분석 서버(또는 학습 데이터(또는 빅 데이터) 생성 서버; 350)를 포함한다. 비록, 본 명세서에서 제1분석 서버(310)와 제2분석 서버(350)가 서로 분리된 형태로 도시되고 설명되나, 이는 설명의 편의를 위해 각 분석 서버(310과 350)를 논리적으로 또는 기능적으로 분리한 것에 불과하므로 분석 서버(300)는 제1분석 서버(310)의 기능과 제2분석 서버(350)의 기능을 모두 포함하는 하나의 분석 서버로 만들어질 수 있다.

얼굴 피부 상태 분석 서비스 제공 시스템(100)은 제1분석 서버(310)에 의해 액세스 가능한 제1데이터 저장 장치(예를 들면, 제1데이터베이스(340))와 제2분석 서버(350)에 의해 액세스 가능한 제2데이터 저장 장치(예를 들면, 제2데이터베이스 (390))를 더 포함한다. 비록, 제1데이터베이스(340)와 제2데이터베이스(390)가 서로 분리된 형태로 도시되고 설명되나, 이는 설명의 편의를 위해 각 데이터베이스 (340과 390)를 그 안에 저장되는 데이터의 종류에 따라 분리한 것에 불과하므로 운영 서버(300)에 의해 액세스되는 하나의 데이터베이스는 제1데이터베이스(340)와 제2데이터베이스(390)를 모두 포함할 수 있다.

사용자 단말기(200)는 카메라를 포함하고, 상기 카메라에 의해 촬영된 사용자의 얼굴 이미지(IM) 또는 사용자 단말기(200)의 메모리 장치에 저장되어 있던 사용자 얼굴 이미지(IM)를 통신 네트워크(예를 들면, 유선 통신 네트워크 또는 무선 통신 네트워크)를 통해 제1분석 서버(310)로 전송할 수 있다. 예를 들면, 사용자 단말기(200)는 PC(personal computer), 랩탑(laptop) 컴퓨터, 모바일 인터넷 장치 (mobile internet device(MID)), 또는 스마트폰일 수 있으나 이에 한정되는 것은 아니다.

제1분석 서버(310)는 프로세서(320)를 포함하고, 프로세서(320)는 도 4 내지 도 11을 참조하여 설명될 제1분석 서버(300)의 작동들을 제어하는 제1분석 프로그램(330)을 실행한다.

제2분석 서버(350)는 AI 엔진(370)을 포함(또는 실행)하는 프로세서(360)를 포함하고, AI 엔진(370)은 도 2와 도 3을 참조하여 설명될 제2분석 서버(350)의 작동들을 제어하는 제2분석 프로그램(380)을 실행한다.

비록, 제1분석 프로그램(330)과 제2분석 프로그램(380)이 서로 분리된 형태로 도시되고 설명되나, 이는 설명의 편의를 위해 각 분석 프로그램(330과 380)을 논리적으로 또는 기능적으로 분리한 것에 불과라므로, 하나의 분석 프로그램은 제1분석 프로그램(330)의 기능과 제2분석 프로그램(380)의 기능 모두를 수행할 수 있다.

그 명칭에도 불구하고, 본 명세서에서 설명되는 분석 프로그램(330, 380, 또는 이들(330과 380)이 기능적으로 결합된 하나의 분석 프로그램)은 하드웨어(예를 들면, 분석 서버(300)의 프로세서(320 및/또는 360))와 결합되어 AI와 빅 데이터를 이용하여 사용자의 얼굴 이미지(IM)에 대한 얼굴 피부 상태에 대한 분석을 실행할 수 있고, 컴퓨터(또는 프로세서(320 및/또는 360))로 읽을 수 있는 매체(예를 들면, 데이터 저장 매체 또는 메모리 장치)에 저장될 수 있다.

AI 엔진(370)에 의해 실행되는 제2분석 프로그램(380)은 제1분석 프로그램 (330)에 의해 생성된 분석용 이미지들(IM1, IM2, 및 IM3)을 딥러닝 알고리즘 또는 다른 학습 알고리즘을 이용하여 분석하고 분석 결과(ARL)를 생성할 수 있다.

도 2는 도 1에 도시된 제2분석 서버의 작동 방법을 설명하는 플로우차트이고, 도 3은 도 1에 도시된 제2서버가 학습 데이터를 생성하는 방법을 설명하기 위한 도면이다.

도 1 내지 도 3의 (a)을 참조하면, 제2분석 프로그램(380)은 다양한 방법들로 수집된 다양한 사람들의 얼굴 이미지들(FIM_1~FIM_n; n은 6이상의 자연수)을 수신하여 제2데이터베이스(390) 내의 얼굴 이미지 저장 공간(392)에 저장한다(S110).

도 3의 (b)를 참조하면, 얼굴 이미지들(FIM_1~FIM_n) 각각의 해상도(이를 '픽셀 사이즈' 또는 '이미지 사이즈'라고도 한다.)가 서로 다를 수 있으므로, 제2분석 프로그램(380)은 얼굴 이미지 저장 공간(392)에 저장된 얼굴 이미지들 (FIM_1~FIM_n) 각각을 읽어서 읽혀진 얼굴 이미지들(FIM_1~FIM_n) 각각을 정규화하여 정규화된 제1얼굴 이미지들(NIM_1~NIM_n)을 생성하여 얼굴 이미지 저장 공간 (392)에 저장한다(S120). 따라서, 정규화된 제1얼굴 이미지들(NIM_1~NIM_n) 각각의 해상도는 동일하다.

예를 들면, 제2분석 프로그램(380)은 얼굴 이미지들(FIM_1~FIM_3) 각각을 다운 샘플링(down sampling)하여 다운 샘플링된 얼굴 이미지들(NIM_1~NIM_3) 각각을 생성할 수 있고, 얼굴 이미지들(FIM_n-2~FIM_n) 각각을 업 샘플링(up sampling)하여 업 샘플링된 얼굴 이미지들(NIM_n-2~NIM_n) 각각을 생성할 수 있다(S120).

도 3의 (c)를 참조하면, 각 피부과 의사는 제2분석 서버(350)에 접속된 각 컴퓨터(400과 410)의 디스플레이 장치에서 디스플레이되는 정규화된 제1얼굴 이미지들(NIM_1~NIM_n) 각각을 분석(또는 육안으로 분석)하고, 각 컴퓨터(400과 410)의 입력 장치를 통해 정규화된 제1얼굴 이미지들(NIM_1~NIM_n) 각각에 각 분석 항목(예를 들면, 얼굴 주름, 얼굴 피부 트러블, 얼굴 모공, 얼굴 피부 탄력, 및 얼굴 색소 침착)에 해당하는 점수를 입력한다.

예를 들면, 제1피부과 의사는 컴퓨터(400)의 디스플레이 장치에서 디스플레이되는 정규화된 얼굴 이미지(NIM_1)를 분석(또는 육안으로 분석)하고, 정규화된 얼굴 이미지(NIM_1)에 대해 얼굴 주름에 대한 점수(PT1_1), 얼굴 피부 트러블에 대한 점수(PT1_2), 얼굴 모공에 대한 점수(PT1_3), 얼굴 피부 탄력에 대한 점수 (PT1_4), 및 얼굴 색소 침착에 대한 점수(PT1_5)을 컴퓨터(400)의 입력 장치를 통해 입력(이를 '부여'라고도 한다.)한다.

정규화된 얼굴 이미지(NIM_1)에 각 분석 항목에 해당하는 점수를 입력하는 방법과 동일(또는 유사)한 방법으로, 제1피부과 의사는 각 정규화된 얼굴 이미지 (NIM_2~NIM_n-1)에 각 분석 항목에 해당하는 점수를 컴퓨터(500)의 입력 장치를 통해 입력한다.

제1피부과 의사는 정규화된 얼굴 이미지(NIM_n)에 얼굴 주름에 대한 점수 (PTn_1), 얼굴 피부 트러블에 대한 점수(PTn_2), 얼굴 모공에 대한 점수(PTn_3), 얼굴 피부 탄력에 대한 점수(PTn_4), 및 얼굴 색소 침착에 대한 점수(PTn_5)을 컴퓨터(400)의 입력 장치를 통해 입력한다.

제2분석 프로그램(380)은 각 정규화된 제1얼굴 이미지(NIM_1~NIM_n)에 제1피부과 의사에 의해 부여된 각 분석 항목별 점수를 컴퓨터(400)를 통해 수신하고, 도 3의 (c)에 도시된 바와 같이 각 정규화된 제1얼굴 이미지(NIM_1~NIM_n)에 해당하는 각 분석 정보(AN1~ANn)를 생성(이를 매칭(matching) 또는 결합이라고도 한다.)한다 (S130). 각 분석 정보(AN1~ANn)는 정규화된 제1얼굴 이미지(NIM_1~NIM_n)별로 각 분석 항목에 대한 점수를 포함한다.

실시 예들에 따라, 복수의 피부과 의사들 각각은 각각의 정규화된 제1얼굴 이미지(NIM_1~NIM_n)에 각각의 분석 항목에 해당하는 점수를 각각의 컴퓨터(400과 410)의 입력 장치를 통해 입력할 수 있다.

이때, 제2분석 프로그램(380)은 각각의 피부과 의사에 의해 각각의 정규화된 제1얼굴 이미지(NIM_1~NIM_n)에 부여된 각각의 분석 항목에 대한 점수를 각각의 컴퓨터(400과 410)를 통해 수신하고, 도 3의 (c)에 도시된 바와 같이 각각의 정규화된 제1얼굴 이미지(NIM_1~NIM_n)에 해당하는 각각의 분석 정보(AN1~ANn)를 생성한다(S130).

예를 들면, 제2분석 프로그램(380)은 피부과 의사들에 의해 부여된 각각의 분석 항목에 대한 점수들의 평균값을 계산하고, 상기 평균값을 포함하는 각각의 분석 정보(AN1~ANn)를 생성할 수 있다(S130). 예를 들면, 각각의 분석 정보(AN1와 ANn)에 포함된 각각의 점수(PT1_1~PT1_5 및 PTn_1~PTn_5)는 피부과 의사들이 부여한 점수들의 평균값일 수 있다.

제2분석 프로그램(380)은 정규화된 제1얼굴 이미지(NIM_1~NIM_n)별로 해당 분석 정보(AN1~ANn)를 포함하는 제1분석 데이터(AD1_1~AD1_n)를 생성한다(S140).

제2분석 프로그램(380)은 각각의 제1분석 데이터(AD1_1~AD1_n)에 포함된 각각의 정규화된 제1얼굴 이미지(NIM_1~NIM_n)를 AI 엔진(370)에 최적화된 포맷으로 변경할 수 있다.

제2분석 프로그램(380)은 정규화된 각각의 제1얼굴 이미지(NIM_1~NIM_n)를 다시 정규화하여 정규화된 각각의 제2얼굴 이미지(NIMa_1~NIMa_n)를 생성할 수 있다.

예를 들면, 제2분석 프로그램(380)은 각각의 제1얼굴 이미지(NIM_1~NIM_n)의 해상도를 변경하고, 변경된 해상도를 갖는 각각의 제2얼굴 이미지(NIMa_1~NIMa_n)를 생성할 수 있다. 예를 들면, 제2분석 프로그램(380)은 각각의 제1얼굴 이미지 (NIM_1~NIM_n)를 다운 스케일링(또는 업 스케일링)하여 다운 스케일링된(또는 업 스케일링된) 각각의 제2얼굴 이미지(NIMa_1~NIMa_n)를 생성할 수 있다(S150).

제2분석 프로그램(380)은 각각의 제2얼굴 이미지(NIMa_1~NIMa_n)와 각각의 분석 정보(AN1~ANn)를 쌍으로 포함하는 각각의 제2분석 데이터(AD2_1~AD2_n)를 생성한다(S160).

제2분석 프로그램(380)은 각각의 제2분석 데이터(AD2_1~AD2_n)에 딥러닝 알고리즘을 적용하여 AI 모델들(AIDM)을 생성한다(S170). AI 엔진(370)의 제2분석 프로그램(380)은 AI 모델들(AIDM)을 이용하여 학습 데이터(LDA)를 빅 데이터로서 생성하고, 학습 데이터(LDA)를 제2데이터베이스(390)의 학습 데이터 저장 공간(394)에 저장한다(S180).

도 4는 도 1에 도시된 제1분석 서버의 작동 방법을 설명하는 플로우차트이고, 도 5는 도 1에 도시된 제1분석 서버가 얼굴 이미지의 해상도를 조절하여 분석 이미지를 생성하는 과정을 설명하는 도면이다.

도 1과 도 4를 참조하면, 사용자가 이미지 획득 장치로부터 획득된 이미지 (IM)를 사용자 단말기(200)를 통해 제1분석 서버(310)로 전송하면, 제1분석 서버 (310)의 제1분석 프로그램(330)은 이미지(IM)를 수신하여 분석한다(S210).

이미지 획득 장치는 사용자 단말기(200)의 카메라일 수 있고, 상기 카메라 이외의 다른 카메라일 수 있다. 예를 들면, 이미지(IM)는 사용자 단말기(200)의 카메라에 의해 촬영된 이미지 또는 다른 단말기로부터 전송된 이미지일 수 있다.

제1분석 프로그램(330)은 수신된 이미지(IM)가 제1분석 프로그램(330)에 의해 처리될 수 있는 적절한 이미지인지를 판단한다(S220).

수신된 이미지(IM)가 적절한 얼굴 이미지가 아닐 때(S220의 NO), 예를 들면, 이미지(IM)가 얼굴 이미지가 아닐 때, 이미지(IM)가 안경을 끼고 있는 사람(또는 사용자)의 얼굴 이미지일 때, 이미지(IM)가 모자를 쓰고 있는 사람의 얼굴 이미지라서 상기 사람의 얼굴을 정확하게 식별할 수 없을 때, 또는 이미지(IM)가 사람이 아닌 사물의 이미지일 때, 제1분석 프로그램(330)은 이미지(IM)가 처리될 수 없는 이미지임을 알리는 에러 메시지를 생성하여 이를 사용자 단말기(200)로 전송한다 (S225).

도 1, 도 4, 및 도 5의 (a)를 참조하면, 수신된 이미지(IM)가 적절한 얼굴 이미지일 때(S220의 YES), 제1분석 프로그램(330)은 얼굴 이미지(IM)에 포함된 얼굴 이외의 배경을 제거하고, 배경이 제거된 얼굴 이미지를 정규화하고, 정규화된 얼굴 이미지(MIM)를 생성한다(S230).

사용자 단말기(200)의 카메라에 의해 촬영된 얼굴 이미지(IM)의 해상도는 사용자 단말기(200)를 제조하는 제조사의 스펙(specification)에 따라 다를 수 있으므로, 제1분석 프로그램(330)은 다양한 방법들 중에서 적어도 하나를 이용하여 얼굴 이미지(IM)로부터 정규화된 얼굴 이미지(MIM)를 생성한다(S230). 다양한 방법들의 예들은 해상도 변경, 다운 샘플링, 업 샘플링, 및 크로핑(cropping)을 포함한다.

예를 들면, 정규화된 얼굴 이미지(MIM)의 해상도와 정규화된 각각의 제1얼굴 이미지(NIM_1~NIM_n)의 해상도는 동일할 수 있다.

제1분석 프로그램(330)은, 각 분석 항목(예를 들면, 얼굴 주름, 얼굴 피부 트러블, 얼굴 모공, 얼굴 피부 탄력, 및 얼굴 색소 침착)별로 얼굴 피부 상태를 분석하기 위해 정규화된 얼굴 이미지(MIM)를 이용하여 분석용 이미지들(IM1, IM2, 및IM3)을 생성하고, 분석용 이미지들(IM1, IM2, 및 IM3)을 제2분석 서버(350)로 전송한다(S240).

도 5의 (a)와 (b)에 도시된 바와 같이, 제1분석 프로그램(330)은 다양한 방법들 중에서 적어도 하나를 이용하여 정규화된 얼굴 이미지(MIM)로부터 제1분석용 이미지(IM1)를 생성한다(S240). 다양한 방법들의 예들은 해상도 변경, 다운 샘플링, 업 샘플링, 및 크로핑을 포함한다.

제1분석용 이미지(IM1)는 얼굴 피부 트러블, 얼굴 피부 탄력, 및 얼굴 색소 침착을 분석하는데 필요한 이미지이다.

도 6은 도 1에 도시된 제1분석 서버가 얼굴 주름 분석용 이미지들을 생성하기 위해 해상도가 조절된 얼굴 이미지를 크로핑한 영역들을 나타낸다.

도 1, 도 4, 및 도 6을 참조하면, 제1분석 프로그램(330)은 도 5의 (a)의 정규화된 얼굴 이미지(MIM)에서 선택된 이미지 영역들(IM2_1~IM2_10)을 크로핑 (cropping)하고, 크로핑된 이미지 영역들(IM2_1~IM2_10)을 제2분석용 이미지(IM2)로서 생성한다(S240). 이때, 크로핑된 이미지 영역들(IM2_1~IM2_10) 각각의 해상도는 도 5의 (b)의 제1분석용 이미지(IM1)의 해상도와 동일하다. 또한, 도 5의 (b)의 제1분석용 이미지(IM1)의 해상도와 도 3의 (d)의 각각의 정규화된 제2얼굴 이미지 (NIMa_1~NIMa_n)의 해상도는 동일하다. 얼굴 주름을 분석하기 위한 제2분석용 이미지(IM2)는 크로핑된 이미지 영역들(IM2_1~IM2_10)을 포함한다.

예를 들면, 제1분석 프로그램(330)은 이마 주름을 분석하기 위해 3개의 이미지 영역들(IM2_1, IM2_2, 및 IM2_3)을 크로핑하고, 미간 주름을 분석하기 위해 1개의 이미지 영역(IM2_4)를 크로핑하고, 눈꼬리 주름과 눈밑 주름을 분석하기 위해 이미지 영역들(IM2_5와 IM2_6)을 크로핑하고, 코옆 팔자 주름을 분석하기 위해 이미지 영역들(IM2_7과 IM2_8)을 크로핑하고, 입술 밑 주름을 분석하기 위해 이미지 영역들(IM2_9와 IM2_10)을 크로핑한다.

도 7은 도 1에 도시된 제1분석 서버가 모공 분석용 이미지들을 생성하기 위해 사용자의 해상도가 조절된 얼굴 이미지를 T-존으로 크로핑한 영역들을 나타낸다.

도 1, 도 4, 및 도 7을 참조하면, 제1분석 프로그램(330)은 도 5의 (a)의 정규화된 얼굴 이미지(MIM)로부터 이미지 영역들(IM3_T1과 IM3_T2)을 크로핑하고, 크로핑된 이미지 영역들(IM3_T1과 IM3_T2)을 제3분석용 이미지(IM3)의 일부로서 생성한다(S240). 이때, 크로핑된 이미지 영역들(IM3_T1과 IM3_T2) 각각의 해상도는 도 5의 (b)의 제1분석용 이미지(IM1)의 해상도와 동일하다. 얼굴 모공을 분석하기 위한 제3분석용 이미지(IM3)의 일부는 크로핑된 이미지 영역들(IM3_T1과 IM3_T2)을 포함한다.

이미지 영역(IM2_4)와 이미지 영역(IM3_1)은 동일한 이미지 영역일 수 있다. 따라서, 제1분석 프로그램(330)은 이미지 영역(IM2_4)와 이미지 영역(IM3_1) 중에서 어느 하나만 크로핑할 수 있다.

도 8은 도 1에 도시된 제1분석 서버가 모공 분석용 이미지들을 생성하기 위해 사용자의 해상도가 조절된 얼굴 이미지를 U-존으로 크로핑한 영역들을 나타낸다.

도 1, 도 4, 및 도 8을 참조하면, 제1분석 프로그램(330)은 도 5의 (a)의 정규화된 얼굴 이미지(MIM)로부터 이미지 영역들(IM3_U1과 IM3_U2)을 크로핑하고, 크로핑된 이미지 영역들(IM3_U1과 IM3_U2)을 제3분석용 이미지(IM3)의 나머지 일부로서 생성한다(S240). 이때, 크로핑된 이미지 영역들(IM3_U1과 IM3_U2) 각각의 해상도는 도 5의 (b)의 제1분석용 이미지(IM1)의 해상도와 동일하다. 얼굴 모공을 분석하기 위한 제3분석용 이미지(IM3)의 나머지 일부는 크로핑된 이미지 영역들(IM3_U1과 IM3_U2)을 포함한다.

도 7과 도 8에 도시된 바와 같이, 얼굴 모공을 분석하기 위한 제3분석용 이미지(IM3)는 크로핑된 이미지 영역들(IM3_T1, IM3_T2 IM3_U1, 및 IM3_U2)을 포함한다.

앞에서 설명한 바와 같이, 제1분석 프로그램(330)은 분석용 이미지들(IM1, IM2, 및IM3)을 생성하고, 분석용 이미지들(IM1, IM2, 및 IM3)을 제2분석 서버(350)로 전송한다(S240). 이미지들(IM, MIM, IM1, IM2, 및IM3)은 제1데이터베이스(340)에 저장된다.

도 9는 도 1에 도시된 제2서버 서버에 의해 생성된 분석 데이터를 나타낸다.

도 1, 도 3, 및 도 4 내지 도 9를 참조하면, AI 엔진(370)에서 실행되는 딥러닝 알로리즘을 실행하는 제2분석 프로그램(380)은 분석용 이미지들(IM1, IM2, 및 IM3)을 수신하고, 학습 데이터(LDA)를 이용하여 분석용 이미지들(IM1, IM2, 및 IM3)을 분석하고, 분석 결과에 따라 분석 항목별(예를 들면, 얼굴 주름, 얼굴 피부 트러블, 얼굴 모공, 얼굴 피부 탄력, 및 얼굴 색소 침착)로 점수를 부여한다 (S250).

예를 들면, 제2분석 프로그램(380)에 의한 분석 결과에 해당하는 얼굴 피부 상태 분석 데이터(ARL)은 얼굴 주름에 대한 점수(80), 얼굴 피부 트러블에 대한 점수(85), 얼굴 모공에 대한 점수(90), 얼굴 피부 탄력에 대한 점수(70), 및 얼굴 색소 침착에 대한 점수(60)를 포함한다.

제2분석 프로그램(380)은 얼굴 피부 상태 분석 데이터(ARL)를 제1분석 서버 (310)로 전송한다(S260).

예를 들면, 각 피부과 의사 또는 제2분석 프로그램(380)은 사용자의 얼굴 이미지를 5가지 분석 항목들에 대해 평가할 수 있다.

얼굴 주름은 Modified Fitzpatrick Wrinkle Scale(MFWS)1에 따른 7점 척도로 좌우를 각각 평가하고, 총점은 좌우의 합으로 하여 14점 척도로 평가할 수 있다.

얼굴 모공은 육안 평가에 따라 6점 척도로 평가하고, T-zone은 미간과 코끝 주위를 각각 평가한 수치의 합으로 계산하고, U-zone은 양측 코입술주름 가측을 각각 평가한 수치의 합으로 계산한다. 여드름은 Korean Acne Grading System3에 따라 6점 척도로 평가한다. 얼굴 색소 침착은 Modified Melasma Area and Severity Index4에 따라 얼굴의 영역별 '색소 침착의 면적 * 색소 침착의 정도'의 합에 따른 0-24점 척도로 평가하고, 홍조도 이와 유사하게 얼굴의 영역별 '색소 침착의 면적 * 홍조의 정도'의 합에 따른 0-24점 척도로 평가하고, 홍조의 정도는 Clinical Erythema Assessment Scale5를 근거로 평가한다.

도 10은 도 1에 도시된 제1분석 서버에 의해 액세스가능한 제1데이터베이스에 저장된 점수별 콘텐츠와 상기 점수별 제품 정보를 나타낸다.

제1분석 프로그램(330)은 얼굴 피부 상태 분석 데이터(ARL)를 수신하여 분석하고, 분석 항목들 중에서 가장 낮은 점수를 갖는 분석 항목을 선택한다(S270).

도 9에 도시된 바와 같이 얼굴 피부 상태 분석 데이터(ARL)에 포함된 분석 항목들 중에서 '얼굴 색소 침착'의 점수가 가장 낮으므로, 제1분석 프로그램(330)은 제1데이터베이스(340)의 저장 영역(342)에 저장된 '얼굴 색소 침착'에 대한 점수별 콘텐츠와 상기 점수별 제품 정보를 검색한다.

도 10에 도시된 바와 같이, 제1분석 프로그램(330)은 60점에 해당하는 콘텐츠(CT1)와 제품 정보(PI1) 중에서 적어도 하나를 제1데이터베이스(340)의 저장 영역(342)으로부터 검색하고, 검색된 콘텐츠(CT1)와 제품 정보(PI1) 중에서 적어도 하나를 검색 정보(INF)로서 사용자 단말기(200)로 전송한다(S280).

콘텐츠(CT1)는 '얼굴 색소 침착'을 개선하는데 필요한 정보(예를 들면, 텍스트 문서 또는 동영상)이고, 제품 정보(PI1)는 '얼굴 색소 침착'을 개선하는데 필요한 정보(예를 들면, 약품 또는 화장품에 대한 정보)일 수 있다.

도 11은 도 1에 도시된 제1분석 서버에 의해 액세스가능한 제1데이터베이스에 저장된 사용자별 히스토리와 상기 사용자별 UX 정보를 나타낸다.

제1데이터베이스(340)는 사용자(USER1~USERy, y는 3이상의 자연수)별 히스토리(HST1~HSTy)와 사용자(USER1~USERy)별 UX 정보(UXI1~UXIy)를 저장한다.

예를 들면, 제1사용자(USER1)에 대한 히스토리(HST1)는 제1사용자가 제공한 얼굴 이미지, 상기 얼굴 이미지에 대한 얼굴 피부 상태 분석 데이터, 상기 제1사용자에게 제공한 콘텐츠, 상기 제1사용자에게 제공한 제품 정보, 상기 제1사용자가 구매한 제품에 대한 정보, 및 도 12에 도시된 다이어리 정보 중에서 적어도 하나를 포함한다. 제1사용자(USER1)에 대한 히스토리(HST1)는 제1사용자가 분석 서버(300)를 통해 본 웹 사이트(web site)에 대한 정보와, 상기 웹 사이트의 페이지 등을 더 포함한다.

제1사용자(USER1)에 대한 UX 정보(UXI1)는 제1사용자(USER1)에 대한 히스토리(HST1)에 기초하여 생성되고 제1사용자(USER1) 맞춤형 UX에 대한 정보를 포함한다.

예를 들면, 제2사용자(USER2)에 대한 히스토리(HST2)는 제2사용자가 제공한 얼굴 이미지, 상기 얼굴 이미지에 대한 분석 데이터, 상기 제2사용자에게 제공한 콘텐츠, 상기 제2사용자에게 제공한 제품 정보, 및 상기 제2사용자가 구매한 제품에 대한 정보, 및 도 12에 도시된 다이어리 정보 중에서 적어도 하나를 포함한다. 제2사용자(USER2)에 대한 히스토리 (HST2)는 제2사용자가 분석 서버(300)를 통해 본 웹 사이트에 대한 정보와, 상기 웹 사이트의 페이지 등을 더 포함한다.

제2사용자(USER2)에 대한 UX 정보(UXI2)는 제2사용자(USER2)에 대한 히스토리(HST2)에 기초하여 생성되고 제2사용자(USER2) 맞춤형 UX에 대한 정보를 포함한다.

도 12는 사용자에게 제공되는 다이어리의 실시 예이다.

도 1, 도 11, 및 도 12를 참조하면, 사용자 단말기(200)에서 실행되는 사용자 애플리케이션(210)이 특정 년도의 특정일에 대한 히스토리(HST1)를 다이어리 형태로 디스플레이할 때, 사용자(예를 들면, USER1)가 특정 년도(예를 들면, 2020년)의 특정일(10월 8일)을 사용자 애플리케이션(210)을 통해 선택하면, 분석 서버(300)의 제1분석 서버(310)는 제1데이터베이스(340)를 검색하여 특정 년도(예를 들면, 2020년)의 특정일(10월 8일)에 대한 얼굴 이미지와 상기 얼굴 이미지에 대한 분석 데이터를 선택하여 볼 수 있다.

AI 기술 기반 맞춤형 뷰티 서비스 플랫폼은 피부 측정 및 분석, 데일리 차트 보관, 화장품 큐레이션, O2O 뷰티관리 등 개인 ?춤형 서비스를 제공한다. AI 기술이 결합된 뷰티 전문가들의 노하우를 제공하며, 피부, 건강, 메이크업 등 다양한 뷰티 서비스를 제공하는 동시에 사용자의 참여를 유도하는 사용자 중심의 서비스를 지향한다.

피부과와의 협업을 통해 기존에 피부과에 수집되었던 환자의 피부 데이터 활용 가능성 및 AI 적용 가능성, 원격 의료, 개인 정보 보호 등의 법적 이슈 검토, 학습데이터 문제, 데이터 거버넌스 이슈 등을 확인하였고, 병원을 통하는 것이 아닌 고객이 직접 데이터를 제공하는 뷰티 저니 플랫폼 개발에 착수하였다.

AI 피부 진단 서비스는 피부 진단 딥러닝 알고리즘을 통해 사용자의 주름, 홍조, 탄력, 트러블, 색소침착 정도 등을 진단하고, 최적화된 솔루션을 추천하여 고객에 차별화된 경험 제공을 목적으로, 콘볼루션 신경망 앙상블을 적용한 효율적인 피부 상태 진단 및 예측 모델을 개발하고 있으며, 전이학습(transfer learning)과 다중작업학습을 활용한 솔루션을 개발한다. 본 발명은 인공지능 시스템 개발과정과, 온오프라인 연계 마케팅과 인플루언서와사용자의 참여를 통한 성장 전략 실행 과정을 소개한다.

AI 기술 기반 맞춤형 뷰티 서비스 플랫폼은 인간의 지혜와 AI가 결합된 뷰티 솔루션으로, 다채로운 3C(Content, Community, Commerce)를 운영하며 피부 상태 측정 및 분석, 피부 관리 및 뷰티 제품 큐레이션, 데일리 차트보관, O2O 뷰티관리 등 개인 ?춤형 서비스를 제공하여 뷰티 생태계 선순환을 통한 지속적인 성장을 추구한다.

본 발명은 AI 기술이 결합된 뷰티 전문가들의 노하우를 제공하며, 피부, 건강, 메이크업 등 다양한 뷰티 서비스를 제공하는 동시에 사용자의 참여를 유도하는 사용자 중심의 서비스를 지향한다.

본 발명이 제공하는 3대 가치는 ABC로 축약되는데, 인공지능, 빅데이터 등 과학 기술을 활용하고(Advanced Technology), 아름다움의 가치를 배가시키는 통합 솔루션을 제공하며(Beauty Solution), 사용자의 눈으로 직접 보고 체험하고 마음으로 감동시키는 사용자 중심의 서비스를 제공한다(Customer-oriented Service).

본 발명은 피부과와의 협업을 통해 기존에 피부과에 수집되었던 환자의 피부 데이터 활용 가능성 및 AI 적용 가능성, 원격 의료, 개인 정보 보호 등의 법적 이슈 검토, 학습데이터 문제(고객 동의, 불필요한 고해상도와 고품질), 데이터 거버넌스(민감한 얼굴 데이터 라벨링) 이슈 등을 확인하였고, 병원을 통하는 것이 아닌 고객이 직접 데이터를 제공하는 뷰티 저니 플랫폼 개발에 착수하였다.

본 발명은 AI 기술만을 가정하는 모델에서 고객이 본인의 피부 분석 차트를 보관하고 다이어리처럼 활용하는 모델로 피보팅하였다.

AI 피부 진단 서비스는 고객이 셀카 촬영 뒤 피부 진단 딥러닝 알고리즘을 통해 사용자의 주름, 홍조, 탄력, 트러블, 색소침착 정도 등을 진단하고, 최적화된 솔루션을 추천하여 고객에 차별화된 경험 제공을 목적으로, 콘볼루션 신경망 앙상블을 적용한 효율적인 피부 상태 진단 및 예측 모델을 개발하고 있으며, 전이학습(transfer learning)과 다중작업학습(multi-task learning) 을 활용한 솔루션을 개발하고 있다.

본 발명에 의해 제공되는 데일리 차트 보관 서비스는, 사용자의 사진과 분석 결과를 모두 뷰티 다이어리에 자동 저장하며 언제든지 과거와 현재 피부 상태를 확인 가능하도록 한다. 제품 구매와 피부 케어에 관련 기록은 모두 다이어리에 저장되며 사용 전/후 효과가 비교 가능하다.

뷰티 어시스턴트 Cardbot은 고객에게 본 발명에 따라 피부과 전문의의 노하우를 간단하면서도 확실한 서비스를 제공하며, 고객의 피부 상태에 맞추어 적합한 화장품 및 피부 케어 제품을 추천하고, 피부 문제에 맞추어 피부과, 메이크업, 건강 등 다양한 뷰티 컨텐트를 제공한다. 영상을 활용한 뷰티 커머스는 판매자로 등록된 모든 사용자가 쉽게 영상을 만들어 물건을 홍보하고 판매할 수 있다. 뿐만 아니라, 뷰티저니 플랫폼 내에서 생방송 판매까지 가능하다.

고객 참여 활성화와 고객 중심의 선순환 생태계 구축을 위해 전문가 컨텐트와 고객 컨텐트를 결합하는 Content 전략, 고객의 일상 소통과 정보 공유를 유도하는 Community 전략, 온라인을 통한 제품 판매, 병원 등 오프라인 서비스를 추천하는 Commerce 전략을 결합한다.

AI기반 피부 진단 서비스의 개발을 위해, 본 발명은 피부과 전문의들과 함께 주름, 트러블, 모공, 탄력, 색소침착 등 5개의 항목을 100점 만점으로 환산하고 점수분포에 따라 가중치를 다르게 해서 피부 분석 항목을 설계하였다.

실제 서비스 환경에서 입력된 사진이 처리되는 과정은 스마트폰으로 사진이 입력되면, 사진에서 얼굴을 검출하고, 분석을 위한 이미지들을 잘라낸다 (Cropping). 색소와 홍조의 경우는 전체 얼굴 이미지를 Resizing하여 분석 서버로 전송하며, 분석 서버는 안경 착용 상태 여부를 피부과 전문의 2명이, 사용자의 안면 사진을 5가지 항목(주름, 모공, 여드름, 색소 침착, 홍조)에 대해 평가를 하였다. 주름은 Modified Fitzpatrick Wrinkle Scale (MFWS)1에 따른 7점 척도로 좌우를 각각 평가하고, 총점은 좌우의 합으로 하여 14점 척도로 평가하였다. 모공은 육안평가에 따라 6점 척도로 평가하였고, T-zone은 미간과 코끝 주위를 각각 평가한 수치의 합으로 계산하였고, U-zone은 양측 코입술주름 가측을 각각 평가한 수치의 합으로 계산하였다. 여드름은 Korean Acne Grading System3에 따라 6점 척도로 평가하였다. 색소 침착은 Modified Melasma Area and Severity Index4에 따라 얼굴의 영역별 색소 침착의 면적 * 색소 침착의 정도'의 합에 따른 0-24점 척도로 평가를 하였고, 홍조도 이와 유사하게 얼굴의 영역별 '색소 침착의 면적 * 홍조의 정도'의 합에 따른 0-24점 척도로 평가하였고, 홍조의 정도는 Clinical Erythema Assessment Scale5를 근거로 평가하였다.

AI기반 피부 진단 서비스를 위한 데이터 전처리 프로세스는 다음과 같다.

(1) 원본 데이터셋에서 필요 데이터 추출

- ID, Picture name, Doctor ID

- 주름 (이마, 미간, 팔자, 눈 주위, 입 주위), 모공 (T-zone, U-zone), Trouble(트러블), Pigment(색조), Redness(홍조)

(2) 추출된 데이터에서 통계 값 계산 및 분석

- 주름(이마, 미간, 팔자, 눈 주위, 입 주위) 평균 (wrinkle mean) 계산

- 모공(T/U-zone) 평균(pore mean) 계산

- Trouble, Pigment, Redness 포함 각 변수 별 평균, 표준편차를 비롯한 통계 값 계산

(3) 계산된 통계 값을 이용하여 데이터 정규화

- Z score((x-평균(μ)) / 표준편차(s))로 정규화하며, MinMax 정규화에 비해 이상치(Outlier)문제를 최소화.

(4) 정규화 된 데이터를 이용한 데이터의 범주화

- 동일 구간으로 범주화 할 경우 샘플이 구간별로 균등하게 분배되지 않음

- 샘플 수를 기준으로 각 구간별 균등하게 분배

- 범주화 된 데이터에 0 ~ 9로 10단계의 값 부여

먼저 사진이 스마트폰을 통해 700x700 픽셀 정도의 크기로 들어오는데, ResNet-18(He et al. 2016), VGG-16(Simonyan & Zisserman 2014) 등 대부분의 영상 인식기 기초 모델은 입력 이미지를 224x224로 받는다.

따라서, 원 이미지를 다운샘플링하거나 잘라서 입력해야 한다. 피부과 의사와의 인터뷰를 통해서 색조, 홍조 등 면의 관점에서 진단을 하는 경우는 700x700을 224x224로 다운샘플링을 해도 큰 지장이 없음을 확인하였다.

그러나, 주름, 모공 등 면의 관점이 아니라 선이나 점의 관점에서 진단을 할 경우, 다운샘플링은 진단의 정확도를 현저히 떨어뜨릴 우려가 제기되었다. 그런데, 흥미로운 것은 피부과 의사의 경우도 주름이나 모공 등은 얼굴 전체를 대상으로 분석하는 것이 아니라, 지역적으로 잘라서 분석한다는 것을 알게 되었다. 예를 들어 모공 진단의 경우 얼굴을 U-Zone과 T-Zone으로 나누어서 진단한다.

모공(Pore)진단을 위해 정면 얼굴 사진을 T-Zone과 U-Zone으로 나누고 각각에서 224x224 이미지를 두 개 씩 뽑아내는 얼굴 검출 및 Cropping과정을 보여준다. 주름도 비슷하게 얼굴의 지역을 나누고 각각의 지역을 분석하는 것이 일반적인 피부과 의사들의 진단 과정이다.

이마 주름 분석을 위해 이마를 3개의 영역으로 나누어 잘라내고, 미간 주름은 하나를, 눈 주름, 팔자 주름, 입주위 주름은 각각 2개를 잘라내는 과정을 보여준다.

굴 주름 진단과 모공 진단을 위한 안면 Cropping 위치를 결정해서 표시해 본 것이다. 이마, 미간, 눈주위, 팔자 주름 위치, 입주위 위치를 정의하였고, 모공 진단을 위해 T-Zone과 U-Zone도 정의한 모습이다.

이마는 눈썹 위 부분으로 해서 중복되게 3개(좌측 눈썹 중앙, 미간 중앙, 우측 눈썹 중앙)로 Cropping했다. 미간은 OREHEAD_GLABELLA 단으로 하고 눈동자를 중간선으로 유지하는 방식으로 Cropping하였다. 팔자 주름 영역은 눈 하단에서 코 중심선으로 cropping, 입주위는 입술의 하단을 중심으로 cropping, T-Zone의 가로 부분은 주름의 미간과 동일한 이미지를 사용하기로 했고, T-Zone의 세로 부분 코를 중심으로 cropping하였다. U-Zone의 세로 부분은 눈동자 아래 부분을 중심선으로 삼고, 코 중간까지 cropping하였다.

트러블(Trouble), 색조(Pigment), 홍조(Redness)는 Cropping 없이 사용하기로 결정했다.

인식기 기초 모델로는 ResNet-18을 선정하였다. ResNet은 VGG 등 다른 네트워크 모델에 비해 대체적으로 적은 파라미터(연산량)를 사용하고, 파라미터수 대비 높은 성능을 보인다. 적은 학습 데이터로 인한 과적합을 최소화 하기 위해 ResNet계열 모델 중 가장 적은 수의 파라미터를 사용하는 ResNet-18로 선정하였다.

안경 착용 검출 모델의 학습 데이터셋은 CelebFaces Attributes (CelebA Dataset: kaggle.com/jessicali9530/celeba-dataset)을 사용하였고, 선학습된 ResNet-18 모델을 수정하여 전이학습하였다. 데이터 불균형 문제 해소를 위해 weighted cross entropy loss 및 Adam optimizer를 사용하였고, Random cropping, horizontal flip의 데이터 증강 방법을 사용하였다.

모델의 일반화 성능을 향상시키기 위한 방법으로 Layer Normalization(Ba, Kiros, & Hinton, 2016) 을 고려하였는데, Batch Normalization은 batch size가 작을 경우 훈련에 부정적인 영향을 미치는 반면, Layer Normalization은 Batch Normalization 방법과는 달리 Feature 차원에서 정규화를 수행한다는 장점이 있다.

모델의 일반화 성능을 향상시키기 위한 또 하나의 방법으로 Dropout(Srivastava et al. 2014)을 사용하였는데, 이는 뉴런의 연결을 임의로 삭제하여 학습하는 것으로, 여러 모델을 ensemble하는 효과를 가지며, 뉴런들이 서로 동조화(co-adaptation)하는 것을 방지하고 보다 강건한 모델 학습이 가능하다.

피부 상태 측정 모델은 ResNet-18 모델 기반 멀티 태스크 아키텍쳐(Ruder 2017)를 적용하였다 (그림 10). 멀티 태스크 러닝은 데이터가 부족할 때, 관련이 있는 task들을 동시에 학습 시킴으로써 데이터 데이터 부족 현상을 완화시키는데에 기여한다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100: 얼굴 피부 상태 분석 서비스 제공 시스템
200: 사용자 단말기
300: 분석 서버
310: 제1분석 서버
350: 제2분석 서버
400, 410: 의사 단말기

Claims

얼굴 피부 상태 분석 서버에 포함된 제2분석 프로그램이 얼굴 이미지들을 수신하여 제2데이터베이스의 얼굴 이미지 저장 공간에 저장하는 단계;
상기 제2분석 프로그램이 상기 얼굴 이미지 저장 공간에 저장된 상기 얼굴 이미지들을 읽어서 읽혀진 얼굴 이미지들 각각을 다운 샘플링하고 다운 샘플링된 제1얼굴 이미지들을 생성하여 상기 얼굴 이미지 저장 공간에 저장하는 단계;
각 피부과 의사가 상기 얼굴 피부 상태 분석 서버에 접속된 각 컴퓨터의 디스플레이 장치에서 디스플레이되는 상기 다운 샘플링된 제1얼굴 이미지들 각각을 육안으로 분석하고 상기 각 컴퓨터의 입력 장치를 통해 상기 다운 샘플링된 제1얼굴 이미지들 각각에 분석 항목들 각각에 대한 점수를 부여하면, 상기 제2분석 프로그램이 상기 각 컴퓨터를 통해 상기 다운 샘플링된 제1얼굴 이미지들 각각에 상기 각 피부과 의사에 의해 부여된 상기 분석 항목들 각각에 대한 점수를 수신하고, 상기 다운 샘플링된 제1얼굴 이미지들 각각에 상기 각 피부과 의사에 의해 부여된 상기 분석 항목들 각각에 대한 점수를 결합하여 상기 다운 샘플링된 제1얼굴 이미지들 각각에 대한 제1분석 데이터를 생성하는 단계;
상기 제2분석 프로그램이 상기 제1분석 데이터에 포함된 상기 다운 샘플링된 제1얼굴 이미지들 각각을 다시 다운 샘플링하여 다시 다운 샘플링된 제2얼굴 이미지들을 생성하는 단계;
상기 제2분석 프로그램이 상기 제2얼굴 이미지들 각각과 상기 각 피부과 의사에 의해 부여된 상기 분석 항목들 각각에 대한 점수를 쌍으로 포함하는 제2얼굴 이미지들 각각에 대한 제2분석 데이터를 생성하는 단계;
상기 제2분석 프로그램이 상기 제2얼굴 이미지들 각각에 대해 생성된 상기 제2분석 데이터에 딥러닝 알고리즘을 적용하여 AI 모델들을 생성하는 단계; 및
상기 제2분석 프로그램이 상기 AI 모델들을 이용하여 학습 데이터를 생성하고 상기 학습 데이터를 상기 제2데이터베이스의 학습 데이터 저장 공간에 저장하는 단계를 포함하고,
상기 제2얼굴 이미지들 각각은 상기 얼굴 이미지들 각각을 순차적으로 두 번씩 다운 샘플링하여 생성되는 인공 지능과 빅 데이터를 이용한 얼굴 피부 상태 분석 서버의 작동 방법.
제1항에 있어서, 상기 분석 항목들은,
얼굴 주름, 얼굴 피부 트러블, 얼굴 모공, 얼굴 피부 탄력, 및 얼굴 색소 침착을 포함하는 인공 지능과 빅 데이터를 이용한 얼굴 피부 상태 분석 서버의 작동 방법.
제1항에 있어서,
상기 얼굴 피부 상태 분석 서버에 포함된 제1분석 프로그램이 사용자 단말기로부터 사용자 얼굴 이미지를 수신하고, 상기 사용자 얼굴 이미지를 다운 샘플링하여 다운 샘플링된 사용자 얼굴 이미지를 생성하는 단계;
상기 제1분석 프로그램이 상기 다운 샘플링된 사용자 얼굴 이미지를 이용하여 분석용 이미지들을 생성하고 상기 분석용 이미지들을 상기 제2분석 프로그램으로 전송하는 단계:
상기 학습 데이터를 생성한 상기 제2분석 프로그램이 상기 분석용 이미지들을 수신하고, 상기 학습 데이터를 이용하여 상기 분석용 이미지들을 분석하고, 분석 결과에 따라 상기 분석용 이미지들 각각에 대한 상기 분석 항목들 각각에 점수를 부여하는 단계;
상기 제2분석 프로그램이 상기 분석 항목들 각각에 부여된 점수를 포함하는 얼굴 피부 상태 분석 데이터를 생성하고, 상기 얼굴 피부 상태 분석 데이터를 상기 제1분석 프로그램으로 전송하는 단계;
상기 제1분석 프로그램은 상기 얼굴 피부 상태 분석 데이터를 수신하고 분석하여 상기 분석 항목들 중에서 가장 낮은 점수를 갖는 분석 항목을 선택하는 단계; 및
상기 제1분석 프로그램은 상기 가장 낮은 점수를 갖는 분석 항목을 개선하는데 필요한 텍스트 문서 또는 동영상을 제1데이터베이스로부터 검색하여 상기 텍스트 문서 또는 상기 동영상을 검색 정보로서 상기 사용자 단말기로 전송하는 단계를 더 포함하는 인공 지능과 빅 데이터를 이용한 얼굴 피부 상태 분석 서버의 작동 방법.
하드웨어와 결합되어 제1항 내지 제3항 중의 어느 하나에 기재된 인공 지능과 빅 데이터를 이용한 얼굴 피부 상태 분석 서버의 작동 방법을 수행하기 위해 컴퓨터로 읽을 수 있는 매체에 저장된 컴퓨터 프로그램.