KR102465454B1 - 얼굴의 특징 인식을 통한 뷰티 평가 인공지능 장치 및 방법 - Google Patents
얼굴의 특징 인식을 통한 뷰티 평가 인공지능 장치 및 방법 Download PDFInfo
- Publication number
- KR102465454B1 KR102465454B1 KR1020190026686A KR20190026686A KR102465454B1 KR 102465454 B1 KR102465454 B1 KR 102465454B1 KR 1020190026686 A KR1020190026686 A KR 1020190026686A KR 20190026686 A KR20190026686 A KR 20190026686A KR 102465454 B1 KR102465454 B1 KR 102465454B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- evaluation
- score
- information
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000001815 facial effect Effects 0.000 title claims abstract description 71
- 230000003796 beauty Effects 0.000 title claims abstract description 51
- 238000011156 evaluation Methods 0.000 claims abstract description 124
- 239000013598 vector Substances 0.000 claims abstract description 102
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 239000000284 extract Substances 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 43
- 238000005259 measurement Methods 0.000 claims description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 15
- 238000003062 neural network model Methods 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims 5
- 238000012854 evaluation process Methods 0.000 claims 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 16
- 239000002537 cosmetic Substances 0.000 description 27
- 238000013528 artificial neural network Methods 0.000 description 21
- 230000015572 biosynthetic process Effects 0.000 description 19
- 238000003786 synthesis reaction Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 238000007726 management method Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 238000010191 image analysis Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000010365 information processing Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000013210 evaluation model Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 244000240602 cacao Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010835 comparative analysis Methods 0.000 description 2
- 230000036461 convulsion Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0269—Targeted advertisements based on user profile or attribute
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0267—Wireless devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0277—Online advertisement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
가상으로 화장된 이미지에 대하여 보다 객관적인 평가 점수를 생성하도록 하는 가상화장 이미지 평가 점수 생성 장치 및 방법을 제시한다. 제시된 장치는 화장된 가상의 얼굴 이미지를 입력받는 제 1 입력부, 화장된 가상의 얼굴 이미지의 얼굴 부위의 비율 및 길이를 입력받는 제 2 입력부, 화장된 가상의 얼굴 이미지를 근거로 얼굴 특성 벡터를 추출하는 제 1 얼굴 특성 벡터 추출부, 화장된 가상의 얼굴 이미지의 얼굴 부위의 비율 및 길이를 근거로 얼굴 특성 벡터를 추출하는 제 2 얼굴 특성 벡터 추출부, 제 1 얼굴 특성 벡터 추출부 및 제 2 얼굴 특성 벡터 추출부에서 추출된 얼굴 특성 벡터를 하나로 연결하는 연결부, 인공지능 모델을 기반으로 연결부의 출력에 대한 스코어 분포 예측을 행하는 스코어 분포 예측부, 및 스코어 분포 예측부로부터의 스코어 분포 예측 결과를 근거로 해당 얼굴 이미지에 대한 뷰티 평가 점수를 생성하는 점수 생성부를 포함한다.
Description
본 발명은 얼굴의 특징 인식을 통한 뷰티 평가 인공지능 장치 및 방법에 관한 것으로, 보다 상세하게는 가상으로 화장된 이미지에 대한 평가 점수를 생성하도록 하는 장치에 관한 것이다.
뷰티 산업(beauty industry)의 발전에 따라, 화장품, 메이크업(make-up) 등에 대한 관심이 증가하고 있으며, 화장품, 메이크업 등에 대한 욕구가 다양해지고 있는 추세이다. 예를 들어, 사용자 개인마다 피부 색상, 얼굴형, 이목구비의 생김새 등이 다양하기 때문에 개인에게 어울리는 메이크업이 다를 수 있다. 따라서, 사용자는 자신에게 어울리는 메이크업에 대한 선택의 어려움을 가질 수 있다. 또한, 사용자는 메이크업 후에 메이크업이 잘 된 것인지, 어떤 부분을 보완해야 하는지 궁금할 수 있다.
이러한 추세에 맞추어, 최근에는 사용자의 얼굴에 가상의 메이크업을 입혀주는 어플리케이션(application) 등이 개발되고 있다. 이 경우, 사용자의 호기심과 흥미를 유발할 수는 있으나, 어떤 메이크업이 사용자에게 어울리는지 개인이 판단해야 하는 한계가 있다. 즉, 현재 제공되는 뷰티 서비스의 경우에는 메이크업 전문가의 협업이 포함되지 않거나, 메이크업 전문가의 협업이 있다고 하더라도 한정적인 데이터에 기초하고 있다. 따라서, 사용자 개개인에 대한 맞춤형 서비스를 제공하기에는 어려움이 있다.
이러한 어려움을 해결하기 위해 최근에는 기계 학습 및 딥러닝 기술을 이용하여 패턴화된 이미지 분석을 처리하는 기술을 적용한 메이크업 평가 기술 등이 제안되며, 이는 맞춤형 서비스를 위하여 사용자들의 평가에 따라 점수화된 기준을 메이크업에 적용하여 자신의 메이크업 결과를 평가받는 서비스로서 제안되고 있다.
그러나, 이러한 기술들은 이미 완료된 메이크업의 결과만을 평가받을 수 있을 뿐, 현재 자신의 맨얼굴에 어울리는 화장법을 미리 알기가 어려운 실정이다.
또한, 화장법을 평가하거나, 미리 사전 분석하여 추천하기 위하여는 방대한 양의 메이크업 관련 데이터와 전문가 분석 정보가 요구되고 있으나, 이러한 방대한 데이터 수집 및 평가 방식 설정에는 과도한 비용 및 시간이 요구되고 있는 실정이다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 가상으로 화장된 이미지에 대하여 보다 객관적인 평가 점수를 생성하도록 하는 가상화장 이미지 평가 점수 생성 장치 및 방법을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 가상화장 이미지 평가 점수 생성 장치는, 화장된 가상의 얼굴 이미지를 입력받는 제 1 입력부; 상기 화장된 가상의 얼굴 이미지의 얼굴 부위의 비율 및 길이를 입력받는 제 2 입력부; 상기 화장된 가상의 얼굴 이미지를 근거로 얼굴 특성 벡터를 추출하는 제 1 얼굴 특성 벡터 추출부; 상기 화장된 가상의 얼굴 이미지의 얼굴 부위의 비율 및 길이를 근거로 얼굴 특성 벡터를 추출하는 제 2 얼굴 특성 벡터 추출부; 상기 제 1 얼굴 특성 벡터 추출부 및 상기 제 2 얼굴 특성 벡터 추출부에서 추출된 얼굴 특성 벡터를 하나로 연결하는 연결부; 인공지능 모델을 기반으로 상기 연결부의 출력에 대한 스코어 분포 예측을 행하는 스코어 분포 예측부; 및 상기 스코어 분포 예측부로부터의 스코어 분포 예측 결과를 근거로 해당 얼굴 이미지에 대한 뷰티 평가 점수를 생성하는 점수 생성부;를 포함한다.
상기 제 1 얼굴 특성 벡터 추출부는 상기 화장된 가상의 얼굴 이미지를 근거로 컨볼루션 신경망을 사용하여 얼굴 특성 벡터를 추출할 수 있다.
상기 제 2 얼굴 특성 벡터 추출부는 상기 화장된 가상의 얼굴 이미지의 얼굴 부위의 비율 및 길이를 근거로 다층 퍼셉트론을 사용하여 얼굴 특성 벡터를 추출할 수 있다.
상기 인공지능 모델은 다수의 사람이 판단한 스코어 분포를 뷰티 스코어의 라벨로 사용한 것일 수 있다.
상기 스코어 분포 예측부는 다층 퍼셉트론을 통하여 상기 연결부의 출력에 대한 스코어 분포를 예측할 수 있다.
한편, 본 발명의 바람직한 실시양태에 따른 가상화장 이미지 평가 점수 생성 방법은, 가상화장 이미지 평가 점수 생성 장치에서의 가상화장 이미지 평가 점수 생성 방법으로서,
화장된 가상의 얼굴 이미지, 상기 화장된 가상의 얼굴 이미지의 얼굴 부위의 비율 및 길이를 입력받는 단계; 상기 화장된 가상의 얼굴 이미지를 근거로 얼굴 특성 벡터를 추출하고, 상기 화장된 가상의 얼굴 이미지의 얼굴 부위의 비율 및 길이를 근거로 얼굴 특성 벡터를 추출하는 단계; 상기 화장된 가상의 얼굴 이미지를 근거로 하는 얼굴 특성 벡터, 상기 화장된 가상의 얼굴 이미지의 얼굴 부위의 비율 및 길이를 근거로 하는 얼굴 특성 벡터를 하나로 연결하는 단계; 인공지능 모델을 기반으로 상기 연결된 얼굴 특성 벡터에 대한 스코어 분포 예측을 행하는 단계; 및 상기 스코어 분포 예측의 결과를 근거로 해당 얼굴 이미지에 대한 뷰티 평가 점수를 생성하는 단계;를 포함한다.
이러한 구성의 본 발명에 따르면, 다수의 사람이 판단한 스코어 분포를 뷰티 스코어의 라벨(label)로 사용하여 객관화된 다양한 인공지능(AI) 모델을 사용함으로써, 더욱 객관화된 스코어를 매길 수 있다.
또한, 스코어를 판단할 때 뷰티(beauty), 화장 등의 전문가가 판단하는 얼굴 부위의 비율을 얼굴 이미지와 함께 입력값으로 사용하므로, 기존의 턱, 눈 등 얼굴 부위의 위치에 찍은 점의 위치를 입력값으로 사용하는 기술보다 더욱 정확한 성능을 보인다.
도 1은 본 발명이 적용되는 전체 시스템을 개략적으로 도시한 개념도이다.
도 2는 도 1에 도시된 서비스 제공 장치를 보다 구체적으로 도시한 블록도이다.
도 3은 도 1에 도시된 서비스 제공 장치에 의한 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 4는 도 1에 도시된 사용자 단말에서의 사용자 인터페이스의 순차적 변화를 설명하기 위한 도면이다.
도 5는 도 1에 도시된 이미지 평가점수 생성부의 내부 구성도로서, 본 발명의 실시예에 따른 가상화장 이미지 평가 점수 생성 장치의 구성도이다.
도 6 내지 도 10은 도 5의 설명에 채용되는 도면이다.
도 11은 본 발명의 실시예에 따른 가상화장 이미지 평가 점수 생성 방법을 설명하기 위한 플로우차트이다.
도 2는 도 1에 도시된 서비스 제공 장치를 보다 구체적으로 도시한 블록도이다.
도 3은 도 1에 도시된 서비스 제공 장치에 의한 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 4는 도 1에 도시된 사용자 단말에서의 사용자 인터페이스의 순차적 변화를 설명하기 위한 도면이다.
도 5는 도 1에 도시된 이미지 평가점수 생성부의 내부 구성도로서, 본 발명의 실시예에 따른 가상화장 이미지 평가 점수 생성 장치의 구성도이다.
도 6 내지 도 10은 도 5의 설명에 채용되는 도면이다.
도 11은 본 발명의 실시예에 따른 가상화장 이미지 평가 점수 생성 방법을 설명하기 위한 플로우차트이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명이 적용되는 전체 시스템을 개략적으로 도시한 개념도이다.
도 1에 도시된 전체 시스템은 사용자 단말(10) 및 서비스 제공 장치(1000)를 포함할 수 있다.
특히, 서비스 제공 장치(1000)는 화장 스타일 추천 서비스 제공을 위해, 단말(10)과 유/무선 네트워크를 통해 연결될 수 있으며, 상호간 통신을 수행할 수 있다.
여기서, 상기 각 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 개인 근거리 무선통신(Personal Area Network; PAN), 이동 통신망(mobile radiocommunication network) 또는 위성 통신망 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.
그리고, 사용자 단말(10)은 컴퓨터, 휴대폰, 스마트 폰(smart phone), 스마트 패드(smart pad), 노트북 컴퓨터(laptop computer), PDA(Personal Digital Assistants), PMP(Portable Media Player) 중 어느 하나의 개별적 기기, 또는 특정 장소에 설치되는 키오스크 또는 거치형 디스플레이 장치와 같은 공용화된 디바이스 중 적어도 하나의 멀티 디바이스일 수 있으며, 서비스 제공 장치(1000)로 사용자 정보를 제공하고, 서비스 제공 장치(1000)로부터 처리된 정보를 수신하여 출력할 수 있다.
이와 같은 시스템 구성에 있어서, 서비스 제공 장치(1000)는, 먼저 인터넷상의 영상 정보로부터 화장 스타일 데이터베이스 구성을 위한 영상 정보를 수집하고, 수집된 영상 정보로부터 소스 이미지 추출 및 매핑 처리를 수행하여 스타일 데이터베이스를 구축할 수 있다.
여기서, 영상 정보는 구독자수가 일정 수 이상인 뷰티 인플루언서들의 화장 영상 정보일 수 있으며, 이는 유투브, 페이스북, 텀블러, 트위치, 네이버, 카카오 등의 다양한 영상 업로드 사이트로부터 크롤링되어 추출되는 영상 정보를 포함할 수 있다.
그리고, 서비스 제공 장치(1000)는 수집된 영상 정보에 대응하는 소스 이미지들을 캡쳐 추출할 수 있으며, 소스 이미지는 예를 들어, 화장 전, 후가 등장하는 인플루언서의 화장 전 후 이미지를 포함할 수 있다.
이에 따라, 서비스 제공 장치(1000)는 수집된 영상 정보로부터 추출된 소스 이미지에 기초한 화장 스타일을 결정할 수 있는 바, 이를 위해 미리 학습된 화장 스타일 신경망에 기초한 이미지 분석 기술이 이용될 수 있다. 그리고, 서비스 제공 장치(1000)는 결정된 화장 스타일에 대응하는 이미지 정보를 저장 등록하여, 화장 스타일 데이터베이스를 구축할 수 있다.
한편, 서비스 제공 장치(1000)는 사용자 단말(10)로부터 사용자 정보를 수신하여 등록하고, 사용자 입력 정보로서 사용자 이미지 정보 및 기타 조건 설정 정보를 획득하여, 사용자의 맨얼굴에 대응하여 적합한 화장 스타일을 추천하기 위한 추천 정보를 사용자 단말(10)로 제공할 수 있다.
이를 위해, 서비스 제공 장치(1000)는 사용자 이미지 정보에 대응한 가상화장 합성 처리, 이미지 평가점수 생성 및 비교 분석 처리를 수행할 수 있으며, 비교 분석 결과에 따른 하나 또는 그 이상의 화장 스타일 정보 또는 가상합성 결과 정보를 사용자 단말(10)로 제공할 수 있다.
이에 따라, 사용자 단말(10)은 서비스 제공 장치(1000)로 사용자 이미지를 포함하는 사용자 정보를 전송함에 따라, 상기 서비스 제공 장치(1000)로부터의 응답으로 수신되는 화장 스타일 추천 서비스 정보에 기초한 화장 스타일 추천 인터페이스를 출력하여, 화장 스타일 추천 서비스 정보를 사용자에게 제공할 수 있다.
특히, 사용자 단말(10)에서는 화장 스타일 추천 서비스 어플리케이션 등을 통해 상기 서비스 제공 장치(1000)로부터 상기 화장 스타일 정보 및 가상합성 결과 정보를 포함하는 추천 서비스 정보를 수신하여 인터페이스를 통해 출력할 수 있다.
예를 들어, 사용자 단말(10)은 입력된 실제 사용자의 맨 얼굴 이미지에 인플루언서 등의 화장 스타일이 합성된 가상화장 이미지 중 뷰티 스코어가 높은 이미지들을 추천할 수 있으며, 이 중 사용자 선택된 이미지에 대응하는 화장 스타일 정보로서, 인플루언서 영상 정보, 화장품 추천 정보 또는 구매 링크 정보 중 적어도 하나를 출력할 수 있다.
이에 따라, 상술한 바와 같은 시스템에 따르면 추천 서비스를 통해 사용자가 편리하게 영상 인플루언서들의 화장 스타일들을 취사 선택할 수 있으며, 신규 수요를 창출할 수 있고 서비스 접근성과 편의성을 크게 향상시킬 수 있다.
특히, 이러한 서비스 제공을 위하여, 서비스 제공 장치(1000)는 가상화장 합성 및 이미지 평가점수 결정에 있어서, 최종적으로 사용자 얼굴에 잘 어울리는 화장을 추천하기 위한 가상화장합성 신경망과 이미지평가신경망을 순환적용 처리할 수 있는 바, 이에 대하여는 보다 구체적으로 후술하도록 한다.
도 2는 도 1에 도시된 서비스 제공 장치를 보다 구체적으로 도시한 블록도이다.
도 2를 참조하면, 서비스 제공 장치(1000)는, 가상화장 합성부(100), 이미지 평가점수 생성부(200), 사용자 정보 관리부(300), 입력 정보 획득부(350), 수집 정보 처리부(500), 조건별 화장법 후보 추출부(700), 스타일 데이터베이스(600), 화장법 비교 처리부(400) 및 추천 서비스 제공부(900)를 포함한다.
먼저, 수집 정보 처리부(500)는, 인터넷 영상 정보로부터 화장 스타일 데이터베이스(600) 구성을 위한 영상 정보를 수집한다.
앞서 설명한 바와 같이, 영상 정보는 구독자수가 일정 수 이상인 뷰티 인플루언서들의 화장 영상 정보일 수 있으며, 이는 유투브, 페이스북, 텀블러, 트위치, 네이버, 카카오 등의 다양한 영상 업로드 사이트로부터 크롤링되어 추출되는 영상 정보를 포함할 수 있다.
예를 들어, 영상 정보 수집을 위해, 수집 정보 처리부(500)는, 소스 인물 이미지(화장전후가 등장하는 인터넷 뷰티 동영상에서의 화장 후 영상)와 소스 인물 화장전 이미지를 각각 크롤링 캡처할 수 있으며, 화장 스타일 데이터베이스(600)는 캡쳐된 이미지들을 이용한 신경망 학습에 따라 구축될 수 있다.
이에 따라, 화장 스타일 데이터베이스(600)는 수집된 영상 정보로부터의 소스 이미지 추출 및 매핑 처리를 수행하여 구축된 데이터베이스를 저장 및 관리할 수 있으며, 조건별 화장법 후보 추출부(700)의 요청에 따른 화장 스타일 및 소스 이미지를 제공할 수 있다.
한편, 사용자 정보 관리부(300)는, 사용자 단말(10)로부터 입력되는 입력 정보에 따라 등록 처리를 수행하고, 사용자의 사용 이력 정보, 유사 사용자의 사용 이력 정보 및 사용자 선호 정보 등을 매핑하여 저장 및 관리할 수 있다.
또한, 사용자 정보 관리부(300)는 얼굴 사진을 활용한 프로파일링(특징 분석), 뷰티스코어 평가 및 피드백을 통한 사용자 유형 분류, 유사 사용자 군집을 통한 프로파일링(협업필터링) 및 서비스 사용 패턴을 통한 프로파일링 등을 처리함으로써, 추천 서비스를 위한 데이터를 구축할 수 있다.
그리고, 입력 정보 획득부(350)는 사용자 정보 관리부(300)에서 관리되는 사용자 정보와, 사용자 단말(10)로부터 입력된 사용자 입력 정보에 따라, 추천할 화장법 후보를 선별하기 위한 입력 정보를 획득할 수 있다.
예를 들어, 사용자 단말(10)은 사용자의 맨 얼굴 이미지와 명시적 조건 정보(기간 한정, 화장법 인기도, 상황 지정 등)와 키워드 정보(검색, 필터링, 추천) 을 포함하는 사용자 입력 정보를 서비스 제공 장치(1000)로 전송할 수 있으며, 서비스 제공 장치(1000)는 수신된 사용자 입력 정보와 사용자 정보 관리부(300)의 관리 정보에 기초한 입력 정보를 결정하고, 결정된 입력 정보는 조건별 화장법 후보 추출부(700) 및 가상화장 합성부(100)로 전달될 수 있다.
그리고, 가상화장 합성부(100)는 조건별 화장법 후보로부터 결정된 화장 스타일 및 소스 이미지에 기초하여, 사용자 얼굴 이미지에 대한 하나 또는 그 이상의 가상합성 처리를 수행할 수 있다.
이를 위해, 가상화장 합성부(100)는 인공 신경망 학습 처리를 통해, 화장 스타일별 소스 이미지와 사용자 이미지간의 이미지 합성 처리를 수행할 수 있으며, 이를 위해, 소스 인물 이미지에서 화장 스타일 적용 부분을 추출하여 타겟 인물 이미지에 적용하는 프로세스를 수행할 수 있다.
특히, 이러한 신경망 구축을 위해 최근 대두되는 쌍 순환 경쟁적 생성 네트워크 방식(PairedCycleGAN)의 비지도 학습 방식이 이용될 수 있다.
특히, GAN(Generative Adversarial Network) 방식은 딥러닝을 이용하여, 이미지를 생성하는 네트워크로서 서로 다른 두 개의 깊은 신경망 D(Discriminator)와 G(Generator)를 학습시켜, 좋은 성능의 감별사 네트워크와 그것을 속이는 생성자 네트워크를 경쟁시킴으로써, 학습 효과를 극대화할 수 있게 하는 방식을 의미할 수 있다.
또한, Paired CycleGAN(H. Chang, et al.)은 이를 가상 화장 합성에 적용하여 Makeup Transfer 또는 Style Transfer 를 처리하게 하는 방식으로 제안된 것으로서, 가상 메이크업(가상 화장 합성) 네트워크와 화장을 지우는 네트워크의 쌍을 경쟁적으로 학습시켜, 그 성능을 서로 보완하게 함으로써 자연스러운 가상 화장 합성 효과를 얻을 수 있다.
그리고, 가상화장 합성부(100)는 보다 자연스러운 합성을 위하여, 상기 PairedCycleGAN 방식 적용시 얼굴을 영역별로 부분 분할하는 개별 학습 프로세스를 수행할 수 있다.
이후, 이미지 평가점수 생성부(200)는, 가상합성된 하나 또는 복수개의 합성 이미지들에 대한 이미지 평가 점수를 생성할 수 있으며, 이를 위해, 평가하고자 종류의 이미지와 평가하고자 하는 특성에 대한 점수 쌍(이미지, 점수)을 신경망에 학습시킨 신경망으로 구축된 학습 모델을 이용할 수 있다.
보다 구체적으로, 이미지 평가점수 생성부(200)는, 이미지 평가 점수를 측정하기 위해, 신경망 학습 모델을 구축할 수 있는 바, 얼굴 이미지와 뷰티 스코어의 쌍을 사용하여 신경망 네트워크 학습 모델을 생성할 수 있으며, 생성된 모델을 이용하여, 새로운 얼굴 이미지 입력에 대응하는 이미지 평가 점수를 출력할 수 있다.
특히, 기존 기술과 같이 사람이 평가한 점수들의 평균값 등으로 단순 학습하는 경우, 사람마다의 성향 차이로 인해, 같은 이미지에서도 다른 점수들이 평가되어 발생되는 부정확성을 극복할 수 없다. 따라서, 본 발명의 실시 예에 따른 이미지 평가점수 생성부(200)는 단순 평균 연산이 아닌 점수 분포(Score Distribution Vector)값을 이미지와 쌍으로 매칭하여 학습 모델을 생성할 수 있으며, 이는 여러 사람의 전반적 성향에 의한 점수 특징(Score Feature)을 학습할 수 있게 되므로, 더욱 정확한 이미지 평가 점수를 예측할 수 있게 된다.
예를 들어, 본 발명의 실시 예에 따른 이미지 평가점수 생성부(200)는 이미지평가점수 생성 신경망을 구축함에 있어서, (이미지, 점수 분포) 쌍을 학습시킴으로써 학습 효과를 향상시킬 수 있는 바, 이는 기존의 기존 (이미지, 점수 평균) 쌍을 학습시키는 것에 비하여, 보다 정확한 이미지 평가 점수를 결정할 수 있게 하는 것이다.
여기서, 이미지 평가 점수는 뷰티스코어(정량적 뷰티 평가)에 따라 결정될 수 있으며, 이미지 평가를 위해, 얼굴 랜드마크를 통한 학습/평가, 얼굴 자동 군집 분류 및 유사도 측정 평가, 얼굴각도 측정 및 필터링 평가, 개별 특성(피부톤/비례 등) 학습/개별 특성별 평가 및 평가자 자동 군집 분류 및 유사도 측정 평가 중 적어도 하나에 처리가 수행될 수 있다.
보다 구체적으로, 정확하고 일정한 뷰티스코어를 측정하기 위해서는 얼굴의 정확한 정면 이미지를 사용하여야 하나, 이미지 평가점수 생성부(200)는 사용자의 사진 이미지로부터 얼굴각도 측정 및 필터링을 수행하여, 일정 각도 벗어나더라도 얼굴의 특징 값을 추출하고 이에 기반한 뷰티스코어를 결정할 수 있다.
예를 들어, 이미지 평가점수 생성부(200)는 사용자의 입력 이미지에 대응하는 뷰티스코어를 측정하기 전에, 미리 구축된 얼굴 각도 측정 신경망 모델을 이용하여, 얼굴이 바라보는 각도를 예측할 수 있으며, 예측된 각도가 정면에서 일정 각도 이상 벗어난 경우에만 필터링 처리함에 따라, 뷰티스코어가 결정 가능한 정면 이미지들을 추출할 수 있다.
이를 위해, 이미지 평가점수 생성부(200)는 얼굴의 3차원 X, Y, Z 각도에 대응하는 CNN(Convolutional Neural Network)과 MLP(Multi Layer Perceptron)로 구성되는 인공지능 신경망 모델을 구축하고, 이를 이용한 얼굴 각도의 필터링 처리를 수행할 수 있다.
또한, 이미지 평가점수 생성부(200)는 이미지 평가를 위한 인공지능 신경망 모델 구축에 있어서, 다양한 얼굴의 개별 특징 요소들을 별도 분류하여 학습하게 할 수 있다.
개별 특징 요소들은 예를 들어, 얼굴의 특정 요소에 대응하는 비율 정보, 길이 정보, 각도 정보 또는 위치 정보 중 적어도 하나일 수 있으며, 이는 얼굴 이미지와 함께 학습 처리됨으로써, 뷰티 스코어 평가에 반영되도록 할 수 있다.
특히, 사람과 달리 단순 얼굴 이미지로만 학습된 인공지능 네트워크는 얼굴 요소의 비율 특징(턱선의 각도, 이마의 길이, 눈과 미간의 비율 등)에 대한 고려는 하지 못하는 경향이 있는데, 본 발명의 실시 예에 따른 이미지 평가점수 생성부(200)는 이러한 문제점을 해결함으로써 사람이 판별하는 다양한 미의 기준을 학습시키고, 이에 따른 정확한 뷰티스코어를 산출할 수 있다.
그리고, 화장법 비교 처리부(400)는, 사용자 프로파일링 정보 및 이미지 평가 점수에 따른 화장법 별 순위 비교를 처리할 수 있다.
그리고, 추천 서비스 제공부(900)는 비교 처리 결과에 기초한 추천 서비스를 제공할 수 있는 바, 이는 순위 비교에 따라 결정된 일정 개수의 화장 스타일 정보를 포함할 수 있다.
또한, 추천 서비스 제공부(900)는 얼굴 이미지 분석 기반 추천, 유형/컬러/피부에 따른 Rule-based 추천, 피부에 따른 Rule-based 추천 서비스를 제공할 수 있으며, 사용자 프로파일링 기반 사용자 유형별 예측 추천 서비스와, 뷰티스코어 기반 뷰티스코어를 극대화하는 추천 서비스 등 다양한 부가 서비스를 제공할 수 있다.
또한, 추천 서비스 제공부(900)는 추천 서비스에 의해 연계되는 인플루언서 영상 정보와, 화장품 추천 및 구매 연동 프로세스를 제공할 수 있는 바, 이에 대하여는 보다 구체적으로 후술하도록 한다.
한편, 추천 서비스 제공부(900)는 사용자 정보 관리부(300)에서 수집되는 사용자 이미지에 대한 얼굴 분석 서비스를 제공할 수 있으며, 얼굴 분석 서비스는 예를 들어, 얼굴 정보 제공 서비스, 인물 간 유사도 정보 제공 서비스 및 유사 인플루언서 매칭 서비스를 포함할 수 있다. 그리고, 추천 서비스 제공부(900)는 이를 위해, 얼굴 분석을 위한 인공지능 학습 모델을 구축할 수 있다.
먼저 얼굴 정보 제공 서비스를 위해, 추천 서비스 제공부(900)는 사용자 이미지로부터 얼굴의 1차적 정보를 컴퓨터 비전 기술을 이용하여 추출하여 이용할 수 있으며, 추출된 정보는 상기 학습 모델의 추가적인 학습대상으로 이용될 수 있다. 예를 들어, 추천 서비스 제공부(900)는 얼굴의 피부 색을 카테고리화 처리할 수 있으며, 처리된 정보는 사용자 단말(10)로 제공될 수 있다.
또한, 추천 서비스 제공부(900)는 유사도 정보 제공 서비스를 위해, 얼굴 유사도 측정 네트워크 기반의 인물 간 얼굴 유사도 분석 처리를 수행할 수 있다.
예를 들어, 추천 서비스 제공부(900)는 triplet loss 함수 기반 얼굴 이미지 학습 프로세스를 수행하여 선택된 인물과 사용자 이미지간의 얼굴 유사도를 측정하는 서비스를 제공할 수 있다.
그리고, 추천 서비스 제공부(900)는 이와 같은 얼굴 유사도 측정값에 기초하여 사용자와 비슷한 얼굴의 인물 등을 색인할 수 있는 바, 유사한 특정 인플루언서를 색인하여, 그 인플루언서의 메이크업을 사용자에게 어울리는 메이크업으로서 자동 추천하는 서비스를 제공할 수도 있다.
예를 들어, 추천 서비스 제공부(900)는 유사 스타/인플루언서 매칭 서비스를 제공할 수 있으며, 이는 전술한 인물 간의 얼굴 유사도를 측정하는 네트워크를 이용하여 사용자와의 유사도가 일정 값 이상인 스타 또는 인플루언서를 색인하여 제공하는 서비스를 포함할 수 있다.
이에 따라, 추천 서비스 제공부(900)는 사용자에게 가장 잘 어울리는 메이크업 무엇인지를 가장 닮은 스타 및 인플루언서의 화장법을 통해 알려주는 서비스를 사용자 단말(10)로 제공할 수 있게 된다.
또한, 추천 서비스 제공부(900)는 사용자 정보 관리부(300)의 사용자 프로파일링 정보에 기초하여, 세분화된 화장 스타일 관련 정보를 제공할 수 있다.
예를 들어, 추천 서비스 제공부(900)는 사용자를 평가자 분류 처리하여, 평가자 분류에 대응하는 유사도에 따른 화장 스타일 관련 정보를 제공할 수 있다.
이를 위해, 추천 서비스 제공부(900)는 평가자와 선호 모델과의 관계를 CBOW(Continuous Bag of Word) 또는 Skip-Gram과 같은 학습 알고리즘을 이용하여 다차원 공간의 벡터로 임베딩(embedding)하여 평가자의 분류(Clustering) 처리와 함께, 평가자의 선호 모델 정보를 함께 학습시킬 수 있다. 이에 따사, 추천 서비스 제공부(900)는 사용자 정보에 기초한 평가자 분류 처리를 수행하여, 분류된 평가자의 성향에 맞는 화장 스타일, 인플루언서 정보 또는 화장품 정보 등을 추천하는 평가자 성향 추천 정보를 사용자 단말(10)로 제공할 수 있다.
또한, 추천 서비스 제공부(900)는 앞서 수행한 얼굴 분석 정보에 기초하여, 사용자의 퍼스널 컬러 정보를 결정할 수 있으며, 퍼스널 컬러 정보에 따른 적절한 색조 화장품을 추천하기 위한 색조 화장품 정보를 사용자 단말(10)로 제공할 수도 있다.
예를 들어, 추천 서비스 제공부(900)는 사용자의 피부 톤에 맞는 색조 화장품을 추천해주는 추천 서비스를 제공할 수 있다. 이를 위해, 추천 서비스 제공부(900)는 피부 톤 정보를 카테고리화하고, 카테고리화된 피부 톤 정보와 매칭되는 색조 화장품들을 연결한 피부톤 데이터베이스를 학습 프로세스에 의해 구성할 수 있다. 학습 프로세스로는 다층 퍼셉트론(Multy Layer Perceptorn) 기반 딥러닝 알고리즘 처리가 예시될 수 있으며, 이를 이용하여 피부 톤과 이에 색조화장품간 매칭 처리를 수행할 수 있다.
한편, 추천 서비스 제공부(900)는 이미지와 화장품을 매칭하기 위한 매칭 데이터베이스를 딥 러닝 방식으로 구축하고, 기초하여 입력된 사진이 사용한 화장품 정보를 식별하여 출력하는 화장품 추천 서비스를 제공할 수도 있다. 예를 들어, 추천 서비스 제공부(900)는 사진 이미지로부터 추출되는 화장품의 톤과 실제 화장품 톤을 매칭하는 딥 러닝 학습 프로세스를 수행하여, 사용자로부터 입력된 사진에 대응하는 화장품 정보를 식별하여 사용자 단말(10)로 제공하는 추천 서비스를 제공할 수도 있다.
그리고, 추천 서비스 제공부(900)는 전술한 이미지 평가 접수(뷰티 스코어)를 기초로 하는 화장품 정보 추쳔 서비스를 제공할 수 있는 바, 예를 들어 추천 서비스 제공부(900)는 특정 색조 화장품의 색을 사용자 이미지에 입혀봤을 경우와 그렇지 않았을 때의 차이를 뷰티스코어를 기반으로 산출하여, 가장 높은 차이를 가져오는 일정 개수의 맞춤형 화장 스타일과 화장품을 식별하고, 식별된 화장 스타일 정보 및 화장품 정보를 사용자 단말(10)로 제공할 수 있다.
도 3은 도 1에 도시된 서비스 제공 장치에 의한 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 서비스 제공 장치(1000)는 먼저 인터넷 영상 정보로부터 소스 이미지를 추출 수집하고(S1001), 수집된 이미지와, 상기 이미지로부터 인공 신경망 기반으로 추출되는 화장법 정보를 매핑 처리하여 데이터베이스(600)를 구축한다(S1003).
이를 위해, 서비스 제공 장치(1000)는 수집 정보 처리부(500)를 통해 인터넷상의 다양한 뷰티 동영상으로부터 화장 전과 화장 후 사진 이미지들을 크롤링 캡쳐 처리하며, 처리된 이미지에 화장 스타일(또는 화장법) 정보를 매핑 처리하기 위한 인공 신경망 학습 프로세스를 수행하여, 스타일 데이터베이스(600)를 구축할 수 있다.
예를 들어, 서비스 제공 장치(1000)는 수집된 영상 정보로부터 추출된 소스 이미지에 기초한 화장 스타일을 결정할 수 있는 바, 이를 위해 미리 학습된 화장 스타일 신경망에 기초한 이미지 분석 기술을 이용할 수 있다. 그리고, 서비스 제공 장치(1000)는 결정된 화장 스타일에 대응하는 이미지 정보를 저장 등록하여, 화장 스타일 데이터베이스를 구축할 수 있다.
그리고, 서비스 제공 장치(1000)는 사용자 단말(10)로부터 수신되는 사용자 정보를 사용자 정보 관리부(300)를 통해 등록할 수 있으며, 사용자 단말(10)로부터의 요청에 따른 입력 정보를 획득할 수 있다(S1005).
이후, 서비스 제공 장치(1000)는 사용자 정보에 기초하여, 데이터베이스로부터 추출된 조건별 화장법 정보에 대응하는 가상화장 이미지 합성 처리를 수행할 수 있으며(S1007), 이미지 인식 학습 신경망을 이용하여 가상화장 이미지별 평가 점수를 결정할 수 있다(S1009).
이를 위해, 서비스 제공 장치(1000)는 이미지 평가점수 생성부(200)를 통해 평가를 위한 이미지 평가 모델 학습 처리를 수행할 수 있으며, 이미지 평가 모델 학습에는 컨볼루션 뉴럴 네트워크(CNN) 방식이 이용되는 것이 바람직하다.
또한, 평가를 위한 가상화장 모델 이미지 합성을 위하여, 가상화장 합성부(100)는 전술한 쌍 순환 경쟁 생성 네트워크(Paired CycleGAN) 방식에 기초한 가상화장 합성 학습 모델을 생성할 수 있다.
그리고, 서비스 제공 장치(1000)는 이와 같이 구축된 모델들을 이용하여, 먼저 조건별 화장법 후보 추출부(700)를 통해 스타일 데이터베이스(600)로부터 미리 설정된 특정 개수(N)의 사용자 조건별 화장법 후보 리스트를 추출할 수 있다.
가상화장 합성부(100)는 추출된 화장법 후보 리스트별 화장 스타일 이미지와 사용자의 이미지를 가상화장 합성 처리한 N개의 후보 이미지들을 생성하여, 이미지 평가점수 생성부(200)로 전달할 수 있다.
이에 따라, 이미지 평가점수 생성부(200)에서는 각 N개의 후보 이미지들에 대응하는 이미지 평가점수를 전술한 이미지 평가 모델을 이용하여 결정할 수 있다.
이후, 서비스 제공 장치(1000)는 화장법 비교 처리부(400)를 통해, 상기 평가 점수에 기초한 화장법 비교 처리를 수행할 수 있으며(S1011), 추천 서비스 제공부(900)를 통해, 비교 결과에 따른 추천 서비스를 사용자 단말(10)로 제공할 수 있다.
도 4는 도 1에 도시된 사용자 단말에서의 사용자 인터페이스의 순차적 변화를 설명하기 위한 도면이다.
도 4를 참조하면, 추천 서비스 제공부(900)는 사용자 단말(10)로 화장 스타일 추천 인터페이스를 제공할 수 있는 바, 이는 사용자 단말(10)에 설치된 어플리케이션 등을 통해 출력되는 그래픽 유저 인터페이스의 형태로 제공될 수 있다.
먼저, 도 4(A)는 화장법 추천을 위한 이미지 분석 정보 인터페이스를 도시한 것으로, 추천 서비스 제공부(900)는 사용자 단말(10)을 통해, 이미지 분석 정보 인터페이스를 통해 사용자의 얼굴 이미지를 촬영 입력하게 할 수 있으며, 입력된 얼굴 이미지에 대응하는 분석 정보와, 이미지 평가 점수 정보를 제공할 수 있고, 사용자로부터 평가 점수를 입력받아 학습 데이터 구축에 반영시킬 수 있다.
그리고, 도 4(B)는 가상화장 인터페이스를 도시한 것으로, 추천 서비스 제공부(900)는 사용자 단말(10)을 통해, 가상화장 이미지 합성부(100)에서 처리된 가상화장 이미지 중 이미지 평가점수 생성부(200)에서의 평가 점수가 높은 일정 개수의 가상화장 합성 이미지들 및 화장 스타일 정보를 출력하게 할 수 있다.
여기서, 사용자는 가상화장 합성 이미지들을 참조하여, 추천 메이크업 스타일을 선택할 수 있으며, 도 4(C)에 도시된 바와 같이 선택된 메이크업 스타일에 대응하는 인플루언서 영상 정보가 사용자 선택에 따라 제공될 수 있다. 이를 위해, 추천 서비스 제공부(900)는 인플루언서 영상 정보에 대응하는 영상 링크 정보를 스타일 데이터베이스(600)로부터 획득하여 사용자 단말(10)로 제공할 수 있다.
예를 들어, 도 4(C)에 도시된 바와 같이, 사용자가 선택한 스타일에 대응하는 인플루언서의 화장법 영상 정보가 사용자 단말(10)을 통해 출력될 수 있다.
한편, 도 4(D) 및 도 4(E)는 화장품 추천 및 구매 연동 기능 인터페이스를 도시한 것으로, 본 발명의 실시 예에 따른 추천 서비스 제공부(900)는 사용자 프로파일링 정보 및 얼굴 이미지 분석에 따른 화장품 정보를 추천할 수 있으며, 또한 전술한 인플루언서 영상에서 이용된 화장품 정보가 추천될 수도 있다.
특히, 추천 서비스 제공부(900)는 화장법 전체의 구성과 얼굴 각부분별 화장 상태(피부, 색)을 고려하여 전체 화장법에서 부분화장에 유사한 효과를 내는 부분별 화장품 후보를 추천하고, 이를 판매하는 쇼핑몰에 연동시킬 수 있다.
또한, 추천 서비스 제공부(900)는 영상 내에 명시적으로 화장품에 대응하는 키워드 정보 또는 화장품 포장/용기가 노출되었을 경우, 키워드 또는 화장품 포장/용기를 이미지 인식하여, 우선적으로 추천하는 프로세스를 제공할 수도 있다.
그리고, 추천 서비스 제공부(900)는 사용자가 선택한 제품에 대응하는 구매 서비스를 제공하거나, 제품 판매자 사이트와의 구매 연동 기능을 제공함으로써, 사용자가 바로 자신의 화장 스타일에 맞는 제품들을 확인하고 구매할 수 있도록 처리할 수 있다. 이를 위해, 추천 서비스 제공부(900)는 별도의 구매 모듈 및 결제 모듈을 구비하거나, 쇼핑 사이트 연동 모듈을 더 구비할 수도 있다.
도 5는 도 1에 도시된 이미지 평가점수 생성부의 내부 구성도로서, 본 발명의 실시예에 따른 가상화장 이미지 평가 점수 생성 장치의 구성도이고, 도 6 내지 도 10은 도 5의 설명에 채용되는 도면이다.
이미지 평가점수 생성부(200)는 제 1 입력부(210), 제 2 입력부(212), 제 1 얼굴 특성 벡터 추출부(214), 제 2 얼굴 특성 벡터 추출부(216), 연결부(218), 스코어 분포 예측부(220), 및 점수 생성부(222)를 포함한다. 이미지 평가점수 생성부(200)는 본 발명의 실시예에 따른 가상화장 이미지 평가 점수 생성 장치가 될 수 있다.
제 1 입력부(210)는 가상화장 합성부(100)로부터 화장된 가상의 얼굴 이미지를 입력받는다. 여기서, 화장된 가상의 얼굴 이미지는 평가받고자 하는 얼굴 이미지로서, 얼굴 부위 뿐만 아니라 얼굴 부위 이외의 부위도 함께 포함될 수 있다.
제 2 입력부(212)는 가상화장 합성부(100)로부터 화장된 가상의 얼굴 이미지의 얼굴 부위의 비율 및 길이를 입력받는다. 필요에 따라, 제 2 입력부(212)는 얼굴 부위의 각, 위치 등의 정보를 추가로 입력받을 수 있다.
제 1 얼굴 특성 벡터 추출부(214)는 제 1 입력부(210)로부터의 화장된 가상의 얼굴 이미지에 대해 컨볼루션 신경망(Convolutional Neural Networks; CNN)(도 6 참조)을 사용하여 얼굴 특성 벡터(facial feature vector)를 추출한다. 여기서, 컨볼루션 신경망(CNN)은 딥 신경망의 일종으로서, 복잡한 입력에 대해 여러가지 특별한 신경망 층을 쌓음으로써 해결한다. 컨볼루션(Convolution) 연산의 적은 변수를 통한 특성 추출과 폴링(pooling) 연산의 각 이미지 내의 추출된 특성의 차원을 축소하는 구조 덕분에, CNN은 상대적으로 빠른 학습 시간과 높은 성능을 기대할 수 있다. 제 1 얼굴 특성 벡터 추출부(214)에서 추출되는 얼굴 특성 벡터를 제 1 얼굴 특성 벡터라고 한다.
제 2 얼굴 특성 벡터 추출부(216)는 제 2 입력부(212)로부터의 화장된 가상의 얼굴 이미지의 얼굴 부위의 비율 및 길이에 대해 다층 퍼셉트론(MultiLayer Perceptron; MLP)(도 6 참조)을 사용하여 얼굴 특성 벡터(facial feature vector)를 추출한다. 여기서, 다층 퍼셉트론(MLP)은 여러 개의 퍼셉트론 뉴런들로 구성된 뉴런을 여러층 쌓은 다층 신경망 구조로서, 각 층안에서는 뉴런간 연결이 없고 인접한 두 층의 모든 뉴런들간에는 완전 연결되는 망 구조를 가리킨다. 제 2 얼굴 특성 벡터 추출부(216)에서 추출되는 얼굴 특성 벡터를 제 2 얼굴 특성 벡터라고 한다.
연결부(218)는 제 1 얼굴 특성 벡터 추출부(214) 및 제 2 얼굴 특성 벡터 추출부(216)에서 추출된 두개의 얼굴 특성 벡터를 하나로 연결한다. 즉, 도 6에서와 같이 연결부(218)는 제 1 얼굴 특성 벡터와 제 2 얼굴 특성 벡터를 연결한다.
스코어 분포 예측부(220)는 연결부(218)로부터의 출력을 입력받고, 다층 퍼셉트론(MultiLayer Perceptron; MLP)(도 6 참조)을 통하여 연결부(218)의 출력에 대한 스코어 분포(score distribution)를 예측한다. 예를 들어, 스코어 분포 예측부(220)는 도 7에서와 같은 스코어 분포를 예측할 수 있다.
얼굴을 보고 판단하는 아름다움은 주관적인 판단이어서 객관화하기에 어려움이 있다. 하나의 얼굴을 보고 사람마다 다른 점수를 판단하기 때문에 객관화된 데이터베이스를 구성하기에 어려움이 있다. 이를 해결하기 위해 본 발명의 실시예에서는 다수의 사람이 판단한 스코어 분포(score distribution)를 뷰티 스코어(beauty score)의 라벨(label)로 사용하여 객관화된 다양한 인공지능(AI) 모델을 구성한다. 스코어 분포(Score distribution)를 그대로 사용하여 네트워크를 학습하면 단인 스코어를 사용하는 것 보다 여러 사람 각각의 바이어스(bias)도 학습하여 더욱 객관화된 스코어를 매길 수 있다.
결국, 상기의 객관화된 인공지능(AI) 모델은 평가하고자 하는 종류의 이미지와 평가하고자 하는 특성에 대한 점수 쌍(이미지, 점수 분포)을 신경망에 학습시킨 신경망으로 구축된 학습 모델이라고 할 수 있다.
상기의 객관화된 인공지능(AI) 모델은 데이터베이스화되어 스코어 분포 예측부(220)에 포함되어 있다고 볼 수 있다. 그에 따라, 스코어 분포 예측부(220)는 상기의 객관화된 인공지능(AI) 모델을 기반으로 연결부(218)의 출력에 대한 스코어 분포 예측을 행할 수 있다.
점수 생성부(222)는 스코어 분포 예측부(220)로부터의 스코어 분포 예측 결과를 근거로 해당 얼굴 이미지(즉, 평가받고자 하는 가상의 얼굴 이미지)에 대한 뷰티 평가 점수를 생성(결정)한다. 예를 들어, 점수 생성부(222)는 도 8 내지 도 10에서와 같이 평가받고자 하는 가상의 얼굴 이미지(즉, 가상으로 화장된 얼굴 이미지) 및 해당 이미지에 대한 뷰티 평가 점수(예측 점수(predicted), 라벨(label))를 출력할 수 있다.
상술한 바와 같은 도 5의 구성에서는 스코어를 판단할 때 뷰티(beauty), 화장 등의 전문가가 판단하는 얼굴 부위의 비율을 얼굴 이미지와 함께 입력값으로 사용하므로, 기존의 턱, 눈 등 얼굴 부위의 위치에 찍은 점의 위치를 입력값으로 사용하는 기술보다 더욱 정확한 성능을 보인다.
도 11은 본 발명의 실시예에 따른 가상화장 이미지 평가 점수 생성 방법을 설명하기 위한 플로우차트이다.
먼저, 제 1 입력부(210)는 가상화장 합성부(100)로부터 화장된 얼굴 이미지를 입력받고, 제 2 입력부(212)는 가상화장 합성부(100)로부터 화장된 얼굴 이미지의 얼굴 부위의 비율 및 길이를 입력받는다(S210).
이어, 제 1 얼굴 특성 벡터 추출부(214)는 제 1 입력부(210)에 입력된 얼굴 이미지에 대해 컨볼루션 신경망(Convolutional Neural Networks; CNN)을 사용하여 얼굴 특성 벡터(facial feature vector)를 추출한다(S220). 여기서, 제 1 얼굴 특성 벡터 추출부(214)에서 추출되는 얼굴 특성 벡터를 제 1 얼굴 특성 벡터라고 한다.
그리고, 제 2 얼굴 특성 벡터 추출부(216)는 제 2 입력부(212)에 입력된 얼굴 부위의 비율 및 길이에 대해 다층 퍼셉트론(MultiLayer Perceptron; MLP)을 사용하여 얼굴 특성 벡터(facial feature vector)를 추출한다(S230). 여기서, 제 2 얼굴 특성 벡터 추출부(216)에서 추출되는 얼굴 특성 벡터를 제 2 얼굴 특성 벡터라고 한다.
상기에서는 마치 단계 S220의 동작이 수행된 후에 단계 S230의 동작이 행해지는 것처럼 기재하였으나, 실제로는 S220 및 S230의 동작이 거의 동시에 수행되는 것으로 이해하면 된다.
이후, 연결부(218)는 제 1 얼굴 특성 벡터 추출부(214) 및 제 2 얼굴 특성 벡터 추출부(216)에서 추출된 두개의 얼굴 특성 벡터를 하나로 연결한다(S240).
그리고 나서, 스코어 분포 예측부(220)는 연결부(218)로부터의 출력을 입력받고 다층 퍼셉트론(MultiLayer Perceptron; MLP)을 통하여 연결부(218)의 출력에 대한 스코어 분포(score distribution)를 예측한다(S250). 다수의 사람이 판단한 스코어 분포(score distribution)를 뷰티 스코어(beauty score)의 라벨(label)로 사용하여 객관화된 인공지능(AI) 모델이 데이터베이스화되어 스코어 분포 예측부(220)에 내장되어 있으므로, 스코어 분포 예측부(220)는 객관화된 인공지능(AI) 모델을 기반으로 연결부(218)의 출력을 기초로 스코어 분포 예측을 행할 수 있다.
마지막으로, 점수 생성부(222)는 스코어 분포 예측부(220)로부터의 스코어 분포 예측 결과를 근거로 해당 얼굴 이미지(즉, 평가받고자 하는 가상의 얼굴 이미지)에 대한 뷰티 평가 점수를 생성(결정)한다(S260). 그에 따라, 점수 생성부(222)는 평가받고자 하는 가상의 얼굴 이미지(즉, 가상으로 화장된 얼굴 이미지) 및 해당 이미지에 대한 뷰티 평가 점수(예측 점수(predicted), 라벨(label))를 출력한다.
또한, 상술한 본 발명의 가상화장 이미지 평가 점수 생성 방법은, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10 : 사용자 단말 100 : 가상화장 합성부
200 : 이미지 평가점수 생성부 210 : 제 1 입력부
212 : 제 2 입력부 214 : 제 1 얼굴 특성 벡터 추출부
216 : 제 2 얼굴 특성 벡터 추출부 218 : 연결부
220 : 스코어 분포 예측부 222 : 점수 생성부
300 : 사용자 정보 관리부 350 : 입력 정보 획득부
400 : 화장법 비교 처리부 500 : 수집 정보 처리부
600 : 스타일 데이터베이스 700 : 조건별 화장법 후보 추출부
900 : 추천 서비스 제공부 1000 : 서비스 제공 장치
200 : 이미지 평가점수 생성부 210 : 제 1 입력부
212 : 제 2 입력부 214 : 제 1 얼굴 특성 벡터 추출부
216 : 제 2 얼굴 특성 벡터 추출부 218 : 연결부
220 : 스코어 분포 예측부 222 : 점수 생성부
300 : 사용자 정보 관리부 350 : 입력 정보 획득부
400 : 화장법 비교 처리부 500 : 수집 정보 처리부
600 : 스타일 데이터베이스 700 : 조건별 화장법 후보 추출부
900 : 추천 서비스 제공부 1000 : 서비스 제공 장치
Claims (18)
- 입력 이미지를 입력받는 제 1 입력부;
상기 입력 이미지에 대응하여 사전 정의된 정보를 입력받는 제 2 입력부;
상기 입력 이미지로부터 제1 특성 벡터를 추출하고, 상기 사전 정의된 정보로부터 제2 특성 벡터를 추출하는 특성 벡터 추출부;
상기 제1 특성 벡터 및 상기 제2 특성 벡터를 연결하여, 상기 입력 이미지의 뷰티 스코어 평가에 이용되는 연결 벡터를 구성하는 연결부; 및
상기 연결 벡터에 기초하여 이미지의 뷰티 스코어 평가를 처리하는 이미지 평가 처리부를 포함하고,
상기 제1 특성 벡터는 상기 입력 이미지를, 가상 스타일 합성 이미지의 이미지 특징 정보가 학습된 신경망 모델에 적용하여 추출되는 제1 얼굴 특성 벡터를 포함하고,
상기 제2 특성 벡터는 상기 입력 이미지의 개별 특징 요소를, 사전 정의된 얼굴의 개별 특징 요소가 학습된 신경망 모델에 적용하여 추출되는 제2 얼굴 특성 벡터를 포함하며,
상기 이미지 평가 처리부는,
상기 연결부에서 출력된 연결 벡터에 대응하는 뷰티 스코어 평가 점수 분포(Score Distribution Vector)값을 상기 이미지와 쌍으로 매칭하여 학습된 학습 모델에 상기 연결 벡터를 적용하여, 상기 연결 벡터의 뷰티 스코어 평가 점수를 예측하되,
얼굴 랜드마크를 통한 학습 기반 평가, 얼굴 자동 군집 분류 및 유사도 측정 기반 평가, 얼굴각도 측정 및 필터링 기반 평가, 개별 특성 학습 기반 평가 및 평가자 자동 군집 분류 및 유사도 측정 평가 중 적어도 하나를 이용한 점수 분포 학습 기반 평가 처리에 기초하여, 상기 입력 이미지에 대응하는 상기 연결 벡터의 뷰티 스코어 평가를 수행하며,
이미지 내 얼굴의 3차원 X, Y, Z 각도에 대응하는 CNN(Convolutional Neural Network)과 MLP(Multi Layer Perceptron)로 구성되는 얼굴 각도 측정 신경망 모델을 사전 구축하고, 상기 얼굴 각도 측정 신경망 모델을 이용하여 상기 입력 이미지의 얼굴이 바라보는 각도를 예측하며, 상기 예측된 각도가 정면에서 일정 각도 이상 벗어난 경우 제외 처리하여, 상기 입력 이미지에 대응하여 상기 뷰티 스코어를 결정 가능한 정면 이미지들을 선별함에 따라, 상기 입력 이미지 내 얼굴의 각도가 일정 각도 벗어나더라도 얼굴각도 측정 및 선별에 따른 정면 이미지에 대한 상기 연결 벡터의 뷰티 스코어 평가를 수행하는
이미지 평가 처리 장치. - 제1항에 있어서,
상기 제1 특성 벡터는 상기 이미지를, 평가 점수 분포에 대응하는 가상 스타일 합성 이미지의 이미지 특징 정보가 학습된 컨볼루션 신경망 모델에 적용하여 추출되는 것을 특징으로 하는
이미지 평가 처리 장치. - 제1항에 있어서,
상기 제2 특성 벡터는 상기 이미지에 대응하여 사전 정의된 이미지 영역별 비율 및 길이 정보 중 적어도 하나를, 평가 점수 분포에 대응하여 상기 사전 정의된 정보가 학습된 다층 퍼셉트론 모델에 적용하여 추출되는 것을 특징으로 하는
이미지 평가 처리 장치. - 제1항에 있어서,
상기 이미지 평가 처리부는,
상기 연결부 출력에 대응하는 스코어 분포를 예측하는 스코어 분포 예측부를 포함하는
이미지 평가 처리 장치. - 제4항에 있어서,
상기 스코어 분포 예측부는, 연결 벡터에 대응하는 스코어 분포 정보가 학습된 다층 퍼셉트론 모델에 상기 연결 벡터를 적용하여 상기 연결부의 출력에 대응하는 스코어 분포를 예측하는
이미지 평가 처리 장치. - 제1항에 있어서,
상기 연결 벡터에 대응하여 산출되는 평가 정보에 기초한 스타일 추천 서비스를 제공하는 추천 서비스 제공부를 더 포함하는
이미지 평가 처리 장치. - 제6항에 있어서,
상기 이미지는,
사용자 이미지 및 조건 정보를 포함하는 입력 정보에 기초하여, 사전 구축된 스타일 데이터베이스로부터 추출되는 스타일별 이미지 정보와 상기 사용자 이미지를 합성한 하나 이상의 가상 스타일 이미지를 포함하는
이미지 평가 처리 장치. - 제7항에 있어서,
상기 가상 스타일 이미지는, 상기 입력 정보에 따라 미리 설정된 N개의 스타일별 이미지 정보와 상기 사용자 이미지를 합성한 N개의 가상 스타일 이미지를 포함하는
이미지 평가 처리 장치. - 제8항에 있어서,
상기 이미지 평가 처리부는,
상기 가상 스타일 이미지 각각에 대응되는 스코어 분포 예측에 따라 평가 점수를 결정하는 점수 생성부를 더 포함하는
이미지 평가 처리 장치. - 제9항에 있어서,
상기 추천 서비스 제공부는,
상기 스코어 분포 예측에 따른 평가 점수에 기초하여, 상기 N개의 가상 스타일 이미지 중 상기 사용자 이미지에 대응하는 하나 이상의 스타일을 결정하고, 상기 결정된 스타일에 대응하는 스타일 정보를 사용자 단말로 제공하는
이미지 평가 처리 장치. - 삭제
- 삭제
- 삭제
- 삭제
- 이미지 평가 처리 장치의 처리 방법에 있어서,
입력 이미지를 입력받는 제 1 입력 단계;
상기 입력 이미지에 대응하여 사전 정의된 정보를 입력받는 제 2 입력 단계;
상기 입력 이미지로부터 제1 특성 벡터를 추출하고, 상기 사전 정의된 정보로부터 제2 특성 벡터를 추출하는 특성 벡터 추출 단계;
상기 제1 특성 벡터 및 상기 제2 특성 벡터를 연결하여, 상기 입력 이미지의 뷰티 스코어 평가에 이용되는 연결 벡터를 구성하는 연결 단계; 및
상기 연결 벡터에 기초하여 이미지 평가를 처리하는 이미지 평가 처리 단계를 포함하며,
상기 제1 특성 벡터는 상기 입력 이미지를, 가상 스타일 합성 이미지의 이미지 특징 정보가 학습된 신경망 모델에 적용하여 추출되는 제1 얼굴 특성 벡터를 포함하고,
상기 제2 특성 벡터는 상기 입력 이미지의 개별 특징 요소를, 사전 정의된 얼굴의 개별 특징 요소가 학습된 신경망 모델에 적용하여 추출되는 제2 얼굴 특성 벡터를 포함하며,
상기 이미지 평가 처리 단계는,
연결부에서 출력된 연결 벡터에 대응하는 뷰티 스코어 평가 점수 분포(Score Distribution Vector)값을 상기 이미지와 쌍으로 매칭하여 학습된 학습 모델에 상기 연결 벡터를 적용하여, 상기 연결 벡터의 뷰티 스코어 평가 점수를 예측하는 단계를 포함하고,
상기 예측하는 단계는,
얼굴 랜드마크를 통한 학습 기반 평가, 얼굴 자동 군집 분류 및 유사도 측정 기반 평가, 얼굴각도 측정 및 필터링 기반 평가, 개별 특성 학습 기반 평가 및 평가자 자동 군집 분류 및 유사도 측정 평가 중 적어도 하나를 이용한 점수 분포 학습 기반 평가 처리에 기초하여, 상기 입력 이미지에 대응하는 상기 연결 벡터의 뷰티 스코어 평가를 수행하는 단계를 포함하며,
상기 예측하는 단계는,
이미지 내 얼굴의 3차원 X, Y, Z 각도에 대응하는 CNN(Convolutional Neural Network)과 MLP(Multi Layer Perceptron)로 구성되는 얼굴 각도 측정 신경망 모델을 사전 구축하고, 상기 얼굴 각도 측정 신경망 모델을 이용하여 상기 입력 이미지의 얼굴이 바라보는 각도를 예측하며, 상기 예측된 각도가 정면에서 일정 각도 이상 벗어난 경우 제외 처리하여, 상기 입력 이미지에 대응하여 상기 뷰티 스코어를 결정 가능한 정면 이미지들을 선별함에 따라, 상기 입력 이미지 내 얼굴의 각도가 일정 각도 벗어나더라도 얼굴각도 측정 및 선별에 따른 정면 이미지에 대한 상기 연결 벡터의 뷰티 스코어 평가를 수행하는 단계를 더 포함하는
이미지 평가 처리 방법. - 제15항에 있어서,
상기 제1 특성 벡터는 상기 이미지를, 평가 점수 분포에 대응하는 가상 스타일 합성 이미지의 이미지 특징 정보가 학습된 컨볼루션 신경망 모델에 적용하여 추출되며,
상기 제2 특성 벡터는 상기 이미지에 대응하여 사전 정의된 이미지 영역별 비율 및 길이 정보 중 적어도 하나를, 평가 점수 분포에 대응하여 상기 사전 정의된 정보가 학습된 다층 퍼셉트론 모델에 적용하여 추출되는
이미지 평가 처리 방법. - 제15항에 있어서,
상기 이미지 평가 처리 단계는,
상기 연결 벡터에 대응하는 스코어 분포를 예측하는 단계를 더 포함하고,
상기 스코어 분포를 예측 하는 단계는,
연결 벡터에 대응하는 스코어 분포 정보가 학습된 다층 퍼셉트론 모델에 상기 연결 벡터를 적용하여 스코어 분포를 예측하는 단계를 포함하는
이미지 평가 처리 방법. - 제17항에 있어서,
상기 연결 벡터의 스코어 분포로부터 산출되는 평가 정보에 기초한 화장 스타일 추천 서비스를 사용자 단말로 제공하는 단계를 더 포함하는
이미지 평가 처리 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190026686A KR102465454B1 (ko) | 2019-03-08 | 2019-03-08 | 얼굴의 특징 인식을 통한 뷰티 평가 인공지능 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190026686A KR102465454B1 (ko) | 2019-03-08 | 2019-03-08 | 얼굴의 특징 인식을 통한 뷰티 평가 인공지능 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200107492A KR20200107492A (ko) | 2020-09-16 |
| KR102465454B1 true KR102465454B1 (ko) | 2022-11-10 |
Family
ID=72669913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190026686A KR102465454B1 (ko) | 2019-03-08 | 2019-03-08 | 얼굴의 특징 인식을 통한 뷰티 평가 인공지능 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102465454B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024143909A1 (ko) * | 2022-12-29 | 2024-07-04 | 주식회사 비브스튜디오스 | 각도 변화를 고려하여 이미지를 단계적으로 변환하는 방법 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113592591B (zh) * | 2021-07-28 | 2024-02-02 | 张士娟 | 一种基于面部识别的妆容推荐系统 |
| KR102579683B1 (ko) * | 2022-05-10 | 2023-09-18 | 주식회사 비브스튜디오스 | 인공지능 기반의 대역 배우 평가 방법 |
| KR102536069B1 (ko) | 2022-10-13 | 2023-05-26 | 주식회사 솔라 | 인공지능 기반 반려동물 뷰티 디자이너 및 뷰티샵 매칭 방법, 장치 및 시스템 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015170184A (ja) | 2014-03-07 | 2015-09-28 | 富士通株式会社 | 未観測因子推定支援装置、未観測因子推定支援方法および未観測因子推定支援プログラム |
| JP2016149010A (ja) | 2015-02-12 | 2016-08-18 | 株式会社東芝 | 画像評価装置、画像評価方法およびプログラム |
| KR101827998B1 (ko) | 2017-04-24 | 2018-02-12 | 에스케이플래닛 주식회사 | 얼굴 특징 기반의 가상 체험 시스템 및 그 방법 |
| KR101872635B1 (ko) * | 2017-02-01 | 2018-06-29 | 주식회사 엘지생활건강 | 메이크업 자동 평가 시스템 및 그의 동작 방법 |
| JP6408729B1 (ja) * | 2018-02-28 | 2018-10-17 | 株式会社ジャパン・カレント | 画像評価装置、画像評価方法及びプログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5947410A (ja) * | 1982-09-09 | 1984-03-17 | Teijin Ltd | 紡糸パツク装置 |
| KR20120046652A (ko) * | 2010-11-02 | 2012-05-10 | 에스케이플래닛 주식회사 | 얼굴 인식 기반의 헤어 추천 시스템 및 그 방법 |
| KR20170090303A (ko) * | 2016-01-28 | 2017-08-07 | 이혜린 | 안면 구성요소 추출을 통한 비대칭요소 보정 가이드방법 |
| KR101782914B1 (ko) * | 2016-02-29 | 2017-09-28 | 한국항공대학교산학협력단 | 항공 영상 분류 장치 및 그 방법 |
| KR102051891B1 (ko) * | 2017-08-10 | 2019-12-04 | 한양대학교 산학협력단 | 대립쌍 구조 기반의 생성모델을 이용한 패킷손실은닉 방법 및 장치 |
-
2019
- 2019-03-08 KR KR1020190026686A patent/KR102465454B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015170184A (ja) | 2014-03-07 | 2015-09-28 | 富士通株式会社 | 未観測因子推定支援装置、未観測因子推定支援方法および未観測因子推定支援プログラム |
| JP2016149010A (ja) | 2015-02-12 | 2016-08-18 | 株式会社東芝 | 画像評価装置、画像評価方法およびプログラム |
| KR101872635B1 (ko) * | 2017-02-01 | 2018-06-29 | 주식회사 엘지생활건강 | 메이크업 자동 평가 시스템 및 그의 동작 방법 |
| KR101827998B1 (ko) | 2017-04-24 | 2018-02-12 | 에스케이플래닛 주식회사 | 얼굴 특징 기반의 가상 체험 시스템 및 그 방법 |
| JP6408729B1 (ja) * | 2018-02-28 | 2018-10-17 | 株式会社ジャパン・カレント | 画像評価装置、画像評価方法及びプログラム |
Non-Patent Citations (2)
| Title |
|---|
| 네이버블로그, "Image Blending (Poisson Image Editing)" (2007.12.19.) 1부. |
| 황원준. "딥러닝 기반 얼굴 검출, 랜드마크 검출 및 얼굴 인식 기술 연구 동향". 방송과 미디어. 2017년 10월, 제22권, 제4호, pp.417-425. 1부. |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024143909A1 (ko) * | 2022-12-29 | 2024-07-04 | 주식회사 비브스튜디오스 | 각도 변화를 고려하여 이미지를 단계적으로 변환하는 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200107492A (ko) | 2020-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102465454B1 (ko) | 얼굴의 특징 인식을 통한 뷰티 평가 인공지능 장치 및 방법 | |
| Li et al. | Symbiotic graph neural networks for 3d skeleton-based human action recognition and motion prediction | |
| US11080918B2 (en) | Method and system for predicting garment attributes using deep learning | |
| Streuber et al. | Body talk: Crowdshaping realistic 3D avatars with words | |
| US11282256B2 (en) | Crowdshaping realistic 3D avatars with words | |
| Bian et al. | Structural knowledge distillation for efficient skeleton-based action recognition | |
| CN112801215B (zh) | 图像处理模型搜索、图像处理方法、装置和存储介质 | |
| WO2016109884A1 (en) | Automated recommendation and virtualization systems and methods for e-commerce | |
| JP2019149057A (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
| Duong et al. | Learning from longitudinal face demonstration—where tractable deep modeling meets inverse reinforcement learning | |
| US20190108667A1 (en) | Crowdshaping Realistic 3D Avatars with Words | |
| WO2021239539A1 (en) | Methods and devices for spectacle frame selection | |
| Zhou et al. | Consistency and diversity induced human motion segmentation | |
| CN110598097B (zh) | 一种基于cnn的发型推荐系统、方法、设备及存储介质 | |
| KR20200107469A (ko) | 뷰티 스코어 기반의 개인화된 화장 스타일 추천 서비스 제공 방법 | |
| KR20200107465A (ko) | 뷰티 스코어 기반의 개인화된 화장 스타일 추천 서비스 제공 방법 | |
| Sharma et al. | Multimodal biometric for person identification using deep learning approach | |
| Xu | Mt-resnet: a multi-task deep network for facial attractiveness prediction | |
| KR20200107488A (ko) | 가상화장 합성 처리 방법 | |
| KR20200107486A (ko) | 가상화장 합성 처리 장치 | |
| CN115358807A (zh) | 物品的推荐方法和装置、存储介质及电子设备 | |
| Sajid et al. | Facial asymmetry-based feature extraction for different applications: a review complemented by new advances | |
| KR102465453B1 (ko) | 가상화장 합성 처리 인공지능 장치 및 방법 | |
| KR102465455B1 (ko) | 스코어 분포 예측을 통한 사용자 취향별 뷰티 평가 인공지능 장치 및 방법 | |
| Vatambeti et al. | Gait based person identification using deep learning model of Generative Adversarial Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |