KR20190116052A - 딥 러닝 기반 퍼스널 컬러 진단 및 가상 메이크업 방법 및 장치 - Google Patents

딥 러닝 기반 퍼스널 컬러 진단 및 가상 메이크업 방법 및 장치

Info

Publication number
KR20190116052A
KR20190116052A KR1020190010455A KR20190010455A KR20190116052A KR 20190116052 A KR20190116052 A KR 20190116052A KR 1020190010455 A KR1020190010455 A KR 1020190010455A KR 20190010455 A KR20190010455 A KR 20190010455A KR 20190116052 A KR20190116052 A KR 20190116052A
Authority
KR
South Korea
Prior art keywords
personal color
virtual makeup
landmark
skin
color
Prior art date
Application number
KR1020190010455A
Other languages
English (en)
Other versions
KR102177918B1 (ko
Inventor
황인준
김형준
박지수
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of KR20190116052A publication Critical patent/KR20190116052A/ko
Application granted granted Critical
Publication of KR102177918B1 publication Critical patent/KR102177918B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 딥 러닝 기반 퍼스널 컬러 진단 및 가상 메이크업 방법 및 장치를 개시한다. 본 발명의 일 실시예에 따르면, 퍼스널 컬러 진단 및 가상 메이크업 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 미리 학습된 딥 러닝 기반 네트워크를 이용하여 사용자의 얼굴에서 머리카락, 피부, 눈 흰자, 눈동자, 눈썹, 콧구멍, 입술, 입 안 및 배경 중 적어도 하나를 포함하는 랜드마크를 추출하고, 상기 추출된 랜드마크를 이용하여 사용자의 퍼스널 컬러를 진단하고, 상기 퍼스널 컬러를 기반으로 가상 메이크업을 수행하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 퍼스널 컬러 진단 및 가상 메이크업 장치이 제공된다.

Description

딥 러닝 기반 퍼스널 컬러 진단 및 가상 메이크업 방법 및 장치{Deep learning based personal color diagnosis and virtual make-up method and apparatus}
본 발명은 딥 러닝 기반 퍼스널 컬러 진단 및 가상 메이크업 방법 및 장치에 관한 것으로서, 보다 상세하게는 개인에게 퍼스널 컬러에 어울리는 색상을 추천할 수 있는 방법 및 장치에 관한 것이다.
가상 메이크업은 개인의 퍼스널 컬러(personal color)를 진단하여 각 개인에 맞는 화장법을 제안하는 것이다.
이러한 가상 메이크업은 개인이 가지고 있는 얼굴 색(body color)과 조화를 이루어 생기가 돌고 활기차게 보이도록 하는 색상을 추천한다.
가상 메이크업을 수행해주는 어플리케이션이 다수 존재하나, 퍼스널 컬러에 기반하여 사용자에게 어울리는 메이크업 기법을 추천 해주는 어플리케이션은 많지 않다.
KR 등록특허 10-1563124
상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 퍼스널 컬러를 쉽고 간편하게 진단할 수 있고, 개인에게 퍼스널 컬러에 어울리는 색상을 추천할 수 있는 딥 러닝 기반 퍼스널 컬러 진단 및 가상 메이크업 방법 및 장치를 제안하고자 한다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 퍼스널 컬러 진단 및 가상 메이크업 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 미리 학습된 딥 러닝 기반 네트워크를 이용하여 사용자의 얼굴에서 머리카락, 피부, 눈 흰자, 눈동자, 눈썹, 콧구멍, 입술, 입 안 및 배경 중 적어도 하나를 포함하는 랜드마크를 추출하고, 상기 추출된 랜드마크를 이용하여 사용자의 퍼스널 컬러를 진단하고, 상기 퍼스널 컬러를 기반으로 가상 메이크업을 수행하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 퍼스널 컬러 진단 및 가상 메이크업 장치이 제공된다.
상기 프로그램 명령어들은, 카메라를 통해 촬영된 영상에서 얼굴 후보 영역을 탐색하고, 상기 탐색된 얼굴 후보 영역을 크롭핑한 후 리사이징하고, 상기 리사이징된 얼굴 후보 영역에서 상기 랜드마크를 추출할 수 있다.
상기 프로그램 명령어들은, 미리 학습된 Faster R-CNN을 이용하여 상기 얼굴 후보 영역을 탐색할 수 있다.
상기 프로그램 명령어들은, 상기 추출된 랜드마크 중 눈동자, 머리카락 및 피부 영역의 RGB 값의 평균을 이용하여 눈동자, 머리카락 및 피부 색상을 산출하고, RGB 값으로 이루어진 눈동자, 머리카락 및 피부의 각 색상을 Lab 도메인으로 변환하여 퍼스널 컬러를 진단할 수 있다.
상기 프로그램 명령어들은, 상기 추출된 랜드마크를 이용하여 피부 영역, 뺨 영역, 입술 영역, 눈과 눈썹의 상대적인 위치, 머리카락 영역 및 눈썹 영역에 대해 가상 메이크업을 수행할 수 있다.
본 발명의 다른 측면에 따르면, 퍼스널 컬러 진단 및 가상 메이크업 방법으로서, 미리 학습된 딥 러닝 기반 네트워크를 이용하여 사용자의 얼굴에서 머리카락, 피부, 눈 흰자, 눈동자, 눈썹, 콧구멍, 입술, 입 안 및 배경 중 적어도 하나를 포함하는 랜드마크를 추출하는 단계; 상기 추출된 랜드마크를 이용하여 사용자의 퍼스널 컬러를 진단하는 단계; 및 상기 퍼스널 컬러를 기반으로 가상 메이크업을 수행하는 단계를 포함하는 퍼스널 컬러 진단 및 가상 메이크업 방법이 제공된다.
본 발명에 따르면, 딥 러닝 기반으로 얼굴의 랜드마크를 추출하기 때문에 특징 추출의 정확도가 높아지는 장점이 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 퍼스널 컬러 진단 및 가상 메이크업 과정을 도시한 순서도이다.
도 2는 본 발명의 일 실시예에 따른 입력 이미지에서 랜드마크 추출 과정을 상세하게 도시한 도면이다.
도 3은 Faster R-CNN 과정을 도시한 도면이다.
도 4는 SegNet의 상세 구조를 도시한 도면이다.
도 5는 랜드마크에 해당하는 각 클래스는 RGB 값으로 구분한 것을 도시한 도면이다.
도 6는 본 실시예에 따른 데이터셋의 몇가지 예시를 도시한 도면이다.
도 7은 원본 이미지에 대해 회전 및 노이즈 필터링을 적용하여 생성한 테스트 이미지를 도시한 도면이다.
도 8은 색조화장 및 아이라인, 아이브로우 템플릿 매칭 결과에 대한 예시를 도시한 것이다.
도 9는 염색 및 립 메이크업에 대한 예시를 도시한 것이다.
도 10은 본 발명의 바람직한 일 실시예에 따른 퍼스널 컬러 진단 및 가상 메이크업 장치의 구성을 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 퍼스널 컬러 진단 및 가상 메이크업 과정을 도시한 순서도이다.
도 1의 과정은 프로세서 및 메모리를 포함하는 컴퓨팅 장치(이하, 가상 메이크업 장치)에서 수행될 수 있는 이에 대해서는 다시 상술될 것이다.
가상 메이크업 장치는 데스크탑, 랩탑 및 스마트폰과 같이 얼굴 이미지의 촬영 또는 저장이 가능하며, 사용자의 얼굴 이미지를 통해 퍼스널 컬러를 진단하고 가상 메이크업 결과를 출력할 수 있는 디스플레이를 가진 단말이라면 제한 없이 적용될 수 있다.
도 1을 참조하면, 가상 메이크업 장치는 얼굴 이미지에서 사용자 얼굴의 랜드마크(facial landmark)를 추출한다(단계 100).
정확한 랜드마크 추출을 위해, 가상 메이크업 장치는 얼굴 이미지에서 사용자의 얼굴 후보 영역을 탐색하고, 얼굴 후보 영역에 대한 리사이징을 수행한다.
이후 얼굴 후보 영역에 위치한 얼굴의 특징에 해당하는 랜드마크를 추출한다.
도 2는 본 발명의 일 실시예에 따른 입력 이미지에서 랜드마크 추출 과정을 상세하게 도시한 도면이다.
도 2를 참조하면, 얼굴 후보 영역은 기계학습 알고리즘 중 하나인 Faster R-CNN(region based convolutional neural network)을 통해 탐색될 수 있다(단계 200).
이후, 얼굴 후보 영역을 크롭핑하고(단계 202), 얼굴 후보 영역을 리사이징한다(단계 204).
일반적으로 인물 이미지에는 크기와 위치가 다른 얼굴이 포함되어 있어 얼굴 후보 영역 탐색이 필요하며, 효과적인 랜드마크 추출을 위해 모든 입력 이미지에서 얼굴 후보 영역의 크기를 동일하게 조정할 필요가 있다.
본 실시예에서는 얼굴 후보 영역을 224×224 픽셀 사이즈로 리사이징하나 반드시 이에 한정되는 것은 아니다.
Faster R-CNN은 미리 학습되며, 학습을 위해, 복수의 얼굴 이미지를 수집하고, 여기서 가우시안 노이즈 및 푸아송 노이즈와 같은 노이즈를 추가하고 나아가 원본 이미지를 회전시켜 테스트 이미지를 생성한다.
도 3은 Faster R-CNN 과정을 도시한 도면이다.
가상 메이크업 장치는 미리 학습된 네트워크를 이용하여 리사이징된 얼굴 후보 영역에서 랜드마크를 추출한다(단계 206). 단계 206은 딥러닝 기반 Semantic segmentation을 통해 학습된 네트워크를 통해 랜드마크를 추출한다.
여기서, 랜드마크는, 머리카락(hair), 피부(face skin), 눈 흰자(sclera), 눈동자(pupil), 눈썹(eyebrow), 콧구멍(Nostril), 입술(Lip), 입 안(Between mouth) 및 배경을 포함할 수 있다.
이하에서는 본 실시예에 따른 랜드마크 추출 과정을 상세하게 설명한다.
본 실시예에 따른 네트워크 아키텍쳐는 SegNet일 수 있으며, 도 4는 SegNet의 상세 구조를 도시한 도면이다.
도 4를 참조하면, 랜드마크 추출을 위한 SegNet은 DeconvNet 및 U-net에 기반한 13 개의 컨볼루션 레이어를 갖는 인코더 네트워크와 디코더 네트워크로 구성된다.
인코더 네트워크는 VGG16 네트워크의 첫 13 개 컨볼루션 레이어와 동일한 방식으로 구성된다. VGG16은 ILSVRC 데이터 집합을 1000 개의 클래스로 분류하기 위해 고안된 심층적인 학습 기법이다.
그러나 인코더 네트워크의 뒤에 VGG16의 말단에 있는 세 개의 fully-connected 레이어가 제거되어 SegNet의 매개변수의 수를 줄인다. 네트워크는 또한 13 개의 디코더 레이어들을 가지며, 이들은 인코더 레이어들에 대응한다.
인코더 네트워크는 많은 데이터셋을 사용하여 가중치를 조정하고 마지막으로 각 레이어에서 배치 정규화(batch normalizaion)되는 일련의 특징을 제공한다.
이러한 과정 동안 출력은 최대 풀링(max pooling)을 통해 서브 샘플링된다. 이와 동시에 최대 풀링 계산이 윈도우의 사이즈 내에서 최대 값을 제외한 모든 값을 제거하므로 특징 맵의 해상도 손실이 발생한다.
따라서 서브 샘플링을 하기 전에 인코더 네트워크에 특징 맵의 정보를 저장해야한다. 본 실시예에 따르면, 풀링 윈도우에서 최대 특징 값의 위치를 나타내는 풀링 인덱스를 저장한다. 이와 같은 기법은 더 적은 메모리가 필요하기 때문에 U-net으로 특징 맵을 저장하는 것보다 효율적이다.
이러한 풀링 인덱스는 디코더 레이어의 업 샘플링에 사용되며, 마지막으로 디코더 필터에 의한 컨볼루션에 사용된다. 마지막으로, 최종 디코더 출력은 각 픽셀에 대한 분류를 제공하는 멀티 클래스 소프트-맥스 분류기로 제공된다.
본 발명의 일 실시예에 따르면, 얼굴의 랜드마크를 설명하기 위해 9개의 클래스를 정의하며, 여기서, 9개의 클래스는 머리카락(hair), 피부(face skin), 눈 흰자(sclera), 눈동자(pupil), 눈썹(eyebrow), 콧구멍(Nostril), 입술(Lip), 입 안(Between mouth)와 배경을 포함할 수 있다.
얼굴 피부는 사람의 얼굴에서 다른 랜드마크로서 식별되지 않는 피부 영역이이고, 눈흰자는 눈의 흰 부분이고, 눈동자는 눈의 중앙 원형 부분이다.
입 안은 입을 벌렸을 때 그림자가 생기는 부위 또는 치아가 보이가 피부나 입술에 속하지 않는 부분을 의미한다.
배경은 얼굴과 머리카락을 제외한 모든 영역으로 정의된다.
도 5에 도시된 바와 같이, 랜드마크에 해당하는 각 클래스는 RGB 값으로 구분된다.
도 6는 본 실시예에 따른 데이터셋의 몇가지 예시를 도시한 도면이다.
도 6a는 원본 이미지이고, 도 6b는 원본 이미지에서 추출한 Ground Truth(GT) 이미지이고, 각 클래스(랜드마크)는 도 5에서 정의한 RGB 값으로 표시된다.
본 실시예에 따르면 랜드마크 추출 모델의 학습을 위해, 도 7과 같이 원본 이미지에 대해 회전 또는 노이즈 필터링을 적용하여 테스트 이미지를 생성한다.
표 1은 SegNet 테스트를 위한 데이터셋을 나타낸 것이다.
Operations No. of images Remarks
Original 180 Frontal and side view facial images
Rotation 1440 45 to 315 degrees in 45-degree increments
Gaussian noise 720 Sigma = 0.05, 0.1
Poisson noise 2880 45 to 315 degrees in 45-degree increments
Rotation + Gaussian noise 180 45 to 315 degrees in 45-degree increments, Sigma = 0.05, 0.1
Rotation + Poisson noise 1440 45 to 315 degrees in 45-degree increments
TOTAL 6840
얼굴의 랜드마크에 따라 각 클래스의 총 픽셀 수가 다를 수 있다.
예를 들어, 배경은 얼굴과 머리카락을 제외한 모든 영역을 포함하므로총 픽셀의 60% 이상의 차지할 수 있다.
각 클래스의 픽셀 수의 차이가 추출 정확도를 떨어뜨릴 수 있으므로 본 실시예에 따른 각 클래스의 가중치는 평균 빈도 밸런싱(median frequency balancing)를 이용하여 계산되고, 이는 다음과 같이 정의된다.
여기서, c는 클래스, median(freq)는 9개 클래스의 freq(cn)의 평균 값이고, freq(cn)는 다음과 같이 정의된다.
은 모든 이미지 중에서 cn 클래스의 픽셀 수이며, 은 cn 클래스가 발견된 모든 이미지의 총 픽셀 수이다.
본 실시예에 따른 가상 메이크업 장치는 상기한 과정으로 추출된 랜드마크 중 눈동자, 머리카락 및 피부 영역의 RGB 값의 평균을 이용하여 눈동자, 머리카락 및 피부 색상을 산출한다.
가상 메이크업 장치는 RGB 값으로 이루어진 각 색상을 Lab 도메인으로 변환하여 퍼스컬 컬러를 진단한다.
퍼스널 컬러는 크게 웜톤과 쿨톤으로 구분되는데, L, a, b 값 중 a와 b의 값을 이용하여 웜톤과 쿨톤을 구분한다. 다음으로 웜톤과 쿨톤은 다시 봄/가을, 여름/겨울로 구분된다.
Lab와 퍼스널 컬러의 관계는 표 2와 같다.
Warm (a<b) Cool(a>b)
High contrast value Spring Winter
Low contrast value Autumn Summer
본 실시예에 따른 가상 메이크업 장치는 사용자의 퍼스널 컬러 진단 결과를 통해 가상 메이크업 서비스를 제공한다.
일반적으로 메이크업은 파운데이션, 볼터치, 립, 아이라인, 아이브로우, 쉐도우 및 염색으로 구분된다.
이중 파운데이션, 볼터치, 쉐도우 및 염색은 색상에 변화가 필요한다.
색상 변화에 사용되는 식은 다음과 같다.
여기서, x, y는 얼굴 영역의 픽셀 좌표이고, n은 얼굴 영역의 전체 픽셀 수이고, i는 얼굴 영역의 피부 좌표, α는 메이크업 강도를 나타내는 상수이다.
이 때 Lab값이 기존 색상의 범위를 벗어날 수 있으므로 아래의 수식을 적용하여 보정을 한다.
1) 파운데이션
파운데이션의 경우 얼굴의 전반적인 톤을 조정하는 화장이므로, 가상 메이크업 장치는 추출된 랜드마크 중 얼굴 피부 전체를 파운데이션 메이크업이 수행 되어야 하는 영역으로 지정하고, 가상 메이크업을 수행한다.
2) 볼터치
볼터치의 경우 얼굴의 좌/우측 즉 뺨 부분에 수행되는 메이크업으로, 가상 메이크업 장치는 파운데이션이 된 얼굴에서 코와 턱선 사이의 상대적 위치를 이용하여 뺨 영역을 추출한 후 가상 메이크업을 수행한다.
3) 립
입술의 경우 랜드마크의 립 영역이 입술을 나타내므로 가상 메이크업 장치는 이 부분에 가상 메이크업을 수행한다.
4) 쉐도우
쉐도우의 경우 눈과 눈썹 사이에 수행되는 색조 화장으로, 가상 메이크업 장치는 눈과 눈썹의 상대적인 위치를 이용하여 메이크업이 수행될 새로운 마스크를 생성한 후 가상 메이크업을 수행한다.
5) 염색
머리 염색은 랜드마크의 머리카락 영역이므로, 가상 메이크업 장치는 머리카락 영역의 색상을 변경하여 가상 메이크업을 수행한다.
6) 아이라인, 아이브로우
아이라인과 아이브로우의 경우 많은 샘플들이 존재하며, 가상 메이크업 장치는 샘플들의 크기와 랜드마크의 크기를 일치 시킨 후 랜드마크 위치에 합성시킨다. 이 때 아이브로우의 경우 먼저 눈썹 영역을 피부색으로 덮은 후 합성한다.
도 8은 색조화장 및 아이라인, 아이브로우 템플릿 매칭 결과에 대한 예시를 도시한 것이고, 도 9는 염색 및 립 메이크업에 대한 예시를 도시한 것이다.
도 10은 본 발명의 바람직한 일 실시예에 따른 퍼스널 컬러 진단 및 가상 메이크업 장치의 구성을 도시한 도면이다.
도 10에 도시된 바와 같이, 프로세서(1000)는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다.
메모리(1002)는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리(1002)는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.
이와 같은 메모리(1002)에는 프로세서(1000)에 의해 실행 가능한 프로그램 명령어들이 저장된다.
본 실시예에 따른 프로그램 명령어들은, 미리 학습된 딥 러닝 기반 네트워크를 이용하여 사용자의 얼굴에서 머리카락, 피부, 눈 흰자, 눈동자, 눈썹, 콧구멍, 입술, 입 안 및 배경 중 적어도 하나를 포함하는 랜드마크를 추출하고, 상기 추출된 랜드마크를 이용하여 사용자의 퍼스널 컬러를 진단하고, 상기 퍼스널 컬러를 기반으로 가상 메이크업을 수행한다.
랜드마크를 추출함에 있어 프로그램 명령어들은, 카메라를 통해 촬영된 영상에서 얼굴 후보 영역을 탐색하고, 상기 탐색된 얼굴 후보 영역을 크롭핑한 후 리사이징하고, 상기 리사이징된 얼굴 후보 영역에서 상기 랜드마크를 추출한다.
여기서 미리 학습된 네트워크는 Faster R-CNN일 수 있다.
또한, 본 실시예에 따른 프로그램 명령어들은, 추출된 랜드마크 중 눈동자, 머리카락 및 피부 영역의 RGB 값의 평균을 이용하여 눈동자, 머리카락 및 피부 색상을 산출하고, RGB 값으로 이루어진 눈동자, 머리카락 및 피부의 각 색상을 Lab 도메인으로 변환하여 퍼스널 컬러를 진단한다.
퍼스널 컬러 진단 이후, 프로그램 명령어들은, 상기 추출된 랜드마크를 이용하여 피부 영역, 뺨 영역, 입술 영역, 눈과 눈썹의 상대적인 위치, 머리카락 영역 및 눈썹 영역에 대해 가상 메이크업을 수행할 수 있다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (6)

  1. 퍼스널 컬러 진단 및 가상 메이크업 장치로서,
    프로세서; 및
    상기 프로세서에 연결되는 메모리를 포함하되,
    상기 메모리는,
    미리 학습된 딥 러닝 기반 네트워크를 이용하여 사용자의 얼굴에서 머리카락, 피부, 눈 흰자, 눈동자, 눈썹, 콧구멍, 입술, 입 안 및 배경 중 적어도 하나를 포함하는 랜드마크를 추출하고,
    상기 추출된 랜드마크를 이용하여 사용자의 퍼스널 컬러를 진단하고,
    상기 퍼스널 컬러를 기반으로 가상 메이크업을 수행하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 퍼스널 컬러 진단 및 가상 메이크업 장치.
  2. 제1항에 있어서,
    상기 프로그램 명령어들은,
    카메라를 통해 촬영된 영상에서 얼굴 후보 영역을 탐색하고,
    상기 탐색된 얼굴 후보 영역을 크롭핑한 후 리사이징하고,
    상기 리사이징된 얼굴 후보 영역에서 상기 랜드마크를 추출하는 퍼스널 컬러 진단 및 가상 메이크업 장치.
  3. 제2항에 있어서,
    상기 프로그램 명령어들은,
    미리 학습된 Faster R-CNN을 이용하여 상기 얼굴 후보 영역을 탐색하는 퍼스널 컬러 진단 및 가상 메이크업 장치.
  4. 제1항에 있어서,
    상기 프로그램 명령어들은,
    상기 추출된 랜드마크 중 눈동자, 머리카락 및 피부 영역의 RGB 값의 평균을 이용하여 눈동자, 머리카락 및 피부 색상을 산출하고,
    RGB 값으로 이루어진 눈동자, 머리카락 및 피부의 각 색상을 Lab 도메인으로 변환하여 퍼스널 컬러를 진단하는 퍼스널 컬러 진단 및 가상 메이크업 장치.
  5. 제1항에 있어서,
    상기 프로그램 명령어들은,
    상기 추출된 랜드마크를 이용하여 피부 영역, 뺨 영역, 입술 영역, 눈과 눈썹의 상대적인 위치, 머리카락 영역 및 눈썹 영역에 대해 가상 메이크업을 수행하는 퍼스널 컬러 진단 및 가상 메이크업 장치.
  6. 퍼스널 컬러 진단 및 가상 메이크업 방법으로서,
    미리 학습된 딥 러닝 기반 네트워크를 이용하여 사용자의 얼굴에서 머리카락, 피부, 눈 흰자, 눈동자, 눈썹, 콧구멍, 입술, 입 안 및 배경 중 적어도 하나를 포함하는 랜드마크를 추출하는 단계;
    상기 추출된 랜드마크를 이용하여 사용자의 퍼스널 컬러를 진단하는 단계; 및
    상기 퍼스널 컬러를 기반으로 가상 메이크업을 수행하는 단계를 포함하는 퍼스널 컬러 진단 및 가상 메이크업 방법.

KR1020190010455A 2018-04-03 2019-01-28 딥 러닝 기반 퍼스널 컬러 진단 및 가상 메이크업 방법 및 장치 KR102177918B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180038910 2018-04-03
KR1020180038910 2018-04-03

Publications (2)

Publication Number Publication Date
KR20190116052A true KR20190116052A (ko) 2019-10-14
KR102177918B1 KR102177918B1 (ko) 2020-11-12

Family

ID=68171809

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190010455A KR102177918B1 (ko) 2018-04-03 2019-01-28 딥 러닝 기반 퍼스널 컬러 진단 및 가상 메이크업 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102177918B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102114273B1 (ko) * 2019-11-04 2020-05-22 김미현 퍼스널 이미지 진단 제공방법 및 이를 수행하기 위한 컴퓨팅 장치
KR102180923B1 (ko) * 2020-01-06 2020-11-20 주식회사 룰루랩 버스정류장 쉘터용 스마트 디바이스 및 이를 포함하는 버스정류장 쉘터
KR102295092B1 (ko) * 2020-11-16 2021-08-27 구동원 추천 색상 정보를 제공하는 전자 장치 및 이의 동작 방법
CN113724366A (zh) * 2020-05-25 2021-11-30 北京新氧科技有限公司 3d模型生成方法、装置及设备
KR102506606B1 (ko) * 2021-10-25 2023-03-08 한국생산기술연구원 메이크업 시뮬레이션 방법
KR102620400B1 (ko) * 2022-08-12 2024-01-03 한양대학교 에리카산학협력단 화면 상 얼굴 보정 방법, 장치 및 컴퓨터 프로그램

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110032733A (ko) * 2009-09-24 2011-03-30 현중균 퍼스널 이미지 제공 단말기 및 제공 방법
KR101563124B1 (ko) 2014-02-07 2015-10-27 정연아 퍼스널 컬러 매칭 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110032733A (ko) * 2009-09-24 2011-03-30 현중균 퍼스널 이미지 제공 단말기 및 제공 방법
KR101563124B1 (ko) 2014-02-07 2015-10-27 정연아 퍼스널 컬러 매칭 시스템 및 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102114273B1 (ko) * 2019-11-04 2020-05-22 김미현 퍼스널 이미지 진단 제공방법 및 이를 수행하기 위한 컴퓨팅 장치
KR102180923B1 (ko) * 2020-01-06 2020-11-20 주식회사 룰루랩 버스정류장 쉘터용 스마트 디바이스 및 이를 포함하는 버스정류장 쉘터
CN113724366A (zh) * 2020-05-25 2021-11-30 北京新氧科技有限公司 3d模型生成方法、装置及设备
CN113724366B (zh) * 2020-05-25 2024-02-27 北京新氧科技有限公司 3d模型生成方法、装置及设备
KR102295092B1 (ko) * 2020-11-16 2021-08-27 구동원 추천 색상 정보를 제공하는 전자 장치 및 이의 동작 방법
WO2022102907A1 (ko) * 2020-11-16 2022-05-19 구동원 추천 색상 정보를 제공하는 전자 장치 및 이의 동작 방법
JP2023505458A (ja) * 2020-11-16 2023-02-09 グ，ドンウォン 推奨色情報を提供する電子装置およびその動作方法
KR102506606B1 (ko) * 2021-10-25 2023-03-08 한국생산기술연구원 메이크업 시뮬레이션 방법
KR102620400B1 (ko) * 2022-08-12 2024-01-03 한양대학교 에리카산학협력단 화면 상 얼굴 보정 방법, 장치 및 컴퓨터 프로그램

Also Published As

Publication number Publication date
KR102177918B1 (ko) 2020-11-12

Similar Documents

Publication Publication Date Title
KR102177918B1 (ko) 딥 러닝 기반 퍼스널 컬러 진단 및 가상 메이크업 방법 및 장치
CN112766160B (zh) 基于多级属性编码器和注意力机制的人脸替换方法
CN109952594B (zh) 图像处理方法、装置、终端及存储介质
CN106056064B (zh) 一种人脸识别方法及人脸识别装置
US20220148333A1 (en) Method and system for estimating eye-related geometric parameters of a user
WO2014088871A1 (en) Facial expression editing in images based on collections of images
JP6207210B2 (ja) 情報処理装置およびその方法
WO2022088665A1 (zh) 病灶分割方法、装置及存储介质
CN109685713B (zh) 化妆模拟控制方法、装置、计算机设备及存储介质
Hassanat et al. Colour-based lips segmentation method using artificial neural networks
CN109325468A (zh) 一种图像处理方法、装置、计算机设备和存储介质
CN104182723B (zh) 一种视线估计的方法和装置
CN107256543A (zh) 图像处理方法、装置、电子设备及存储介质
Litvin et al. A novel deep network architecture for reconstructing RGB facial images from thermal for face recognition
CN111209873A (zh) 一种基于深度学习的高精度人脸关键点定位方法及系统
CN113344837B (zh) 人脸图像处理方法及装置、计算机可读存储介质、终端
CN112686800B (zh) 图像处理方法、装置、电子设备及存储介质
Kim et al. Facial landmark extraction scheme based on semantic segmentation
JP2022039984A (ja) 顔画像から眼の領域を見つけるシステム及び方法
CN114187166A (zh) 图像处理方法、智能终端及存储介质
CN112818899A (zh) 人脸图像处理方法、装置、计算机设备和存储介质
CN112102348A (zh) 图像处理设备
KR102495889B1 (ko) 반자동 라벨링에 따라 학습된 딥러닝 기반 주름 검출 모델을 이용하여 얼굴 주름을 검출하기 위한 방법 및 장치
CN114627136A (zh) 一种基于特征金字塔网络的舌象分割与对齐方法
CN113743243A (zh) 一种基于深度学习的人脸美颜方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right