KR20200107472A - An apparatus for providing recommendation services of personal makeup styles based on beauty scores - Google Patents
An apparatus for providing recommendation services of personal makeup styles based on beauty scores Download PDFInfo
- Publication number
- KR20200107472A KR20200107472A KR1020190026648A KR20190026648A KR20200107472A KR 20200107472 A KR20200107472 A KR 20200107472A KR 1020190026648 A KR1020190026648 A KR 1020190026648A KR 20190026648 A KR20190026648 A KR 20190026648A KR 20200107472 A KR20200107472 A KR 20200107472A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- information
- makeup
- style
- user
- Prior art date
Links
- 230000003796 beauty Effects 0.000 title description 27
- 238000011156 evaluation Methods 0.000 claims abstract description 71
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 25
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims description 82
- 239000002537 cosmetic Substances 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 23
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 238000010191 image analysis Methods 0.000 claims description 8
- 230000010365 information processing Effects 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000009193 crawling Effects 0.000 claims 1
- 125000004122 cyclic group Chemical group 0.000 claims 1
- 230000002194 synthesizing effect Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 13
- 238000007726 management method Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000013210 evaluation model Methods 0.000 description 3
- 244000240602 cacao Species 0.000 description 2
- 230000036461 convulsion Effects 0.000 description 2
- 238000009440 infrastructure construction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0269—Targeted advertisements based on user profile or attribute
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0267—Wireless devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0277—Online advertisement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
Landscapes
- Business, Economics & Management (AREA)
- Finance (AREA)
- Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 서비스 제공 장치에 관한 것이다. 보다 구체적으로, 본 발명은 뷰티 스코어 기반의 개인화된 화장 스타일 추천 서비스 제공 장치에 관한 것이다.The present invention relates to a service providing apparatus. More specifically, the present invention relates to an apparatus for providing a personalized makeup style recommendation service based on a beauty score.
뷰티 산업(beauty industry)의 발전에 따라, 사용자의 화장품, 메이크업(make-up) 등에 대한 관심이 증가하고 있다. 이에 따라, 사용자의 화장품, 메이크업 등에 대한 욕구가 다양해지고 있는 추세이다. 예를 들어, 사용자 개인마다 피부 색상, 얼굴형, 이목구비의 생김새 등이 다양하기 때문에 개인에게 어울리는 메이크업이 다를 수 있다. 따라서, 사용자는 자신에게 어울리는 메이크업에 대한 선택의 어려움을 가질 수 있다. 또한, 사용자는 메이크업 후에 메이크업이 잘 된 것인지, 어떤 부분을 보완해야 하는지 궁금할 수 있다.With the development of the beauty industry, users' interest in cosmetics and make-up is increasing. Accordingly, users' desires for cosmetics, makeup, and the like are diversifying. For example, since each user has a variety of skin color, face shape, and appearance of features, makeup suitable for an individual may be different. Therefore, the user may have difficulty in selecting a makeup suitable for him/her. In addition, the user may be curious about whether the makeup is good after makeup, and what parts should be supplemented.
이러한 추세에 맞추어, 최근에는 사용자의 얼굴에 가상의 메이크업을 입혀주는 어플리케이션(application) 등이 개발되고 있다. 이 경우, 사용자의 호기심과 흥미를 유발할 수는 있으나, 어떤 메이크업이 사용자에게 어울리는지 개인이 판단해야 하는 한계가 있다. 즉, 현재 제공되는 뷰티 서비스의 경우에는 메이크업 전문가의 협업이 포함되지 않거나, 메이크업 전문가의 협업이 있다고 하더라도 한정적인 데이터에 기초하고 있다. 따라서, 사용자 개개인에 대한 맞춤형 서비스를 제공하기에는 어려움이 있다.In line with this trend, recently, an application for putting on a virtual makeup on a user's face has been developed. In this case, although it may induce curiosity and interest of the user, there is a limit in which an individual must determine which makeup suits the user. In other words, in the case of the currently provided beauty service, the collaboration of makeup experts is not included, or even if there is collaboration of makeup experts, it is based on limited data. Therefore, it is difficult to provide a customized service for each user.
이러한 어려움을 해결하기 위해 최근에는 기계 학습 및 딥러닝 기술을 이용하여 패턴화된 이미지 분석을 처리하는 기술을 적용한 메이크업 평가 기술 등이 제안되며, 이는 맞춤형 서비스를 위하여 사용자들의 평가에 따라 점수화된 기준을 메이크업에 적용하여 자신의 메이크업 결과를 평가받는 서비스로서 제안되고 있다.In order to solve these difficulties, recently, makeup evaluation technology that applies technology that processes patterned image analysis using machine learning and deep learning technology has been proposed, which is based on scored criteria according to user evaluations for customized services. It is proposed as a service that applies to makeup and evaluates the result of one's makeup.
그러나, 이러한 기술들은 이미 완료된 메이크업의 결과만을 평가받을 수 있을 뿐, 현재 자신의 맨얼굴에 어울리는 화장법을 미리 알기가 어려운 실정이다.However, these techniques can only be evaluated for the result of makeup that has already been completed, and it is difficult to know in advance how to make up for one's bare face.
또한, 화장법을 평가하거나, 미리 사전 분석하여 추천하기 위하여는 방대한 양의 메이크업 관련 데이터와 전문가 분석 정보가 요구되고 있으나, 이러한 방대한 데이터 수집 및 평가 방식 설정에는 과도한 비용 및 시간이 요구되고 있는 실정이다.In addition, a vast amount of makeup-related data and expert analysis information are required to evaluate or recommend a makeup method in advance, but excessive cost and time are required to collect such a large amount of data and to set up an evaluation method.
본 발명은 상기한 바와 같은 문제점을 해결하고자 안출된 것으로, 인터넷상에 기 업로드된 인플루언서들의 화장법 관련 영상 데이터들을 기반으로 화장법 정보를 추출 및 매핑하여 데이터베이스를 구성하고, 이를 이용한 가상화장 합성 및 뷰티 스코어 기반 평가에 따라 개인화된 화장법 추천 서비스를 제공하여, 사용자 편의성을 향상시키고, 인프라 구축 비용을 절감할 수 있는 서비스 제공 장치를 제공하는 데 그 목적이 있다.The present invention was conceived to solve the above-described problem, and constructs a database by extracting and mapping makeup method information based on image data related to makeup method of influencers previously uploaded on the Internet, and synthesizing a virtual field using the same. The purpose of this is to provide a service providing device that can improve user convenience and reduce infrastructure construction costs by providing personalized cosmetic method recommendation services according to a beauty score-based evaluation.
상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 장치는, 서비스 제공 장치에 있어서, 인터넷상의 화장 영상 정보를 수집하여, 화장 스타일별 이미지 정보가 매핑된 스타일 데이터베이스; 사용자 이미지 및 조건 정보를 포함하는 입력 정보에 기초하여, 상기 스타일 데이터베이스로부터 추출되는 화장 스타일별 이미지 정보와 상기 사용자 이미지를 합성한 하나 이상의 가상화장 이미지를 생성하는 가상화장 합성부; 상기 가상화장 이미지에 대응되는 평가 정보를 결정하는 이미지 평가 점수 생성부; 및 상기 평가 정보에 기초한 화장 스타일 추천 서비스를 사용자 단말로 제공하는 추천 서비스 제공부를 포함한다.An apparatus according to an embodiment of the present invention for solving the above-described problems includes: a service providing apparatus comprising: a style database in which image information for each makeup style is mapped by collecting makeup image information on the Internet; A virtualization field combining unit for generating at least one virtualization field image obtained by combining the image information for each makeup style extracted from the style database and the user image, based on input information including a user image and condition information; An image evaluation score generator for determining evaluation information corresponding to the virtualization field image; And a recommendation service provider providing a makeup style recommendation service based on the evaluation information to a user terminal.
또한, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 서비스 제공 장치의 서비스 제공 방법에 있어서, 인터넷상의 화장 영상 정보를 수집하여, 화장 스타일별 이미지 정보가 매핑된 스타일 데이터베이스를 구축하는 단계; 사용자 이미지 및 조건 정보를 포함하는 입력 정보에 기초하여, 상기 스타일 데이터베이스로부터 추출되는 화장 스타일별 이미지 정보와 상기 사용자 이미지를 합성한 하나 이상의 가상화장 이미지를 생성하는 단계; 상기 가상화장 이미지에 대응되는 평가 정보를 결정하는 단계; 및 상기 평가 정보에 기초한 화장 스타일 추천 서비스를 사용자 단말로 제공하는 단계를 포함한다.In addition, the method according to an embodiment of the present invention for solving the above-described problem is, in the service providing method of the service providing device, a style database in which image information for each makeup style is mapped by collecting makeup image information on the Internet. Building it; Generating at least one virtual field image obtained by combining the image information for each makeup style extracted from the style database and the user image based on input information including a user image and condition information; Determining evaluation information corresponding to the virtual field image; And providing a makeup style recommendation service based on the evaluation information to a user terminal.
한편, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 사용자 단말 장치의 동작 방법에 있어서, 서비스 제공 장치로 사용자 이미지를 포함하는 사용자 정보를 전송하는 단계; 및 상기 서비스 제공 장치에서 인터넷상의 화장 영상 정보를 수집하여, 화장 스타일별 이미지 정보가 매핑된 스타일 데이터베이스를 구축하고, 사용자 이미지 및 조건 정보를 포함하는 입력 정보에 기초하여, 상기 스타일 데이터베이스로부터 추출되는 화장 스타일별 이미지 정보와 상기 사용자 이미지를 합성한 하나 이상의 가상화장 이미지를 생성하며, 상기 가상화장 이미지에 대응되는 평가 정보를 결정하여, 상기 평가 정보에 기초한 화장 스타일 추천 서비스 정보를 제공함에 따라, 상기 서비스 제공 장치로부터 수신되는 화장 스타일 추천 서비스 정보에 기초한 화장 스타일 추천 인터페이스를 출력하는 단계를 포함한다.On the other hand, the method according to an embodiment of the present invention for solving the above-described problems, in the operating method of the user terminal device, transmitting user information including a user image to a service providing device; And the service providing device collects makeup image information on the Internet, constructs a style database to which image information for each makeup style is mapped, and is extracted from the style database based on input information including user images and condition information. By generating at least one virtual field image obtained by combining style-specific image information and the user image, determining evaluation information corresponding to the virtual field image, and providing makeup style recommendation service information based on the evaluation information, the service And outputting a makeup style recommendation interface based on makeup style recommendation service information received from the providing device.
본 발명의 실시 예에 따르면, 인터넷상에 기 업로드된 인플루언서들의 화장법 관련 영상 데이터들을 기반으로 화장법 정보를 추출 및 매핑하여 데이터베이스를 구성하고, 이를 이용한 가상화장 합성 및 뷰티 스코어 기반 평가에 따라 개인화된 화장법 추천 서비스를 제공하여, 사용자 편의성을 향상시키고, 인프라 구축 비용을 절감할 수 있다.According to an embodiment of the present invention, a database is constructed by extracting and mapping makeup method information based on image data related to makeup method of influencers previously uploaded on the Internet, and personalization according to virtualization site synthesis and beauty score-based evaluation using this By providing a recommended cosmetic method service, it is possible to improve user convenience and reduce infrastructure construction costs.
또한, 본 발명의 실시 예에 따르면, 사용자가 자신의 맨 얼굴 이미지만 입력하면 뷰티 스코어가 높은 적절한 인플루언서들의 화장법에 따른 합성 이미지들을 추천받고, 관련 화장법 정보를 제공받을 수 있게 됨으로써 사용자가 편리하게 영상 인플루언서들의 화장 스타일들을 취사 선택할 수 있다.In addition, according to an embodiment of the present invention, if a user inputs only his or her bare face image, it is possible to recommend composite images according to the makeup method of appropriate influencers with a high beauty score, and to be provided with related makeup method information. You can choose the makeup styles of video influencers.
또한, 본 발명의 실시 예에 따르면 이러한 화장 스타일 추천 서비스를 통해, 어울리는 화장법 및 인플루언서 정보 뿐만 아니라, 인플루언서의 화장에 이용되는 제품 및 구매 링크를 제공함으로써, 신규 수요를 창출할 수 있으며 서비스 접근성과 편의성을 크게 향상시킬 수 있다.In addition, according to an embodiment of the present invention, new demand can be created by providing not only matching makeup method and influencer information, but also products and purchase links used for the influencer's makeup through such a makeup style recommendation service. Service accessibility and convenience can be greatly improved.
도 1 은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 개념도이다.
도 2는 본 발명의 실시 예에 따른 서비스 제공 장치를 보다 구체적으로 도시한 블록도이다.
도 3은 본 발명의 실시 예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시 예에 따른 사용자 단말에서의 사용자 인터페이스의 순차적 변화를 설명하기 위한 도면이다.1 is a conceptual diagram schematically showing an entire system according to an embodiment of the present invention.
2 is a block diagram showing a service providing apparatus according to an embodiment of the present invention in more detail.
3 is a flowchart illustrating a service providing method according to an embodiment of the present invention.
4 is a diagram for explaining sequential changes of a user interface in a user terminal according to an embodiment of the present invention.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.The following content merely illustrates the principles of the present invention. Therefore, those skilled in the art can implement the principles of the present invention and invent various devices included in the concept and scope of the present invention, although not clearly described or illustrated herein. In addition, it is understood that all conditional terms and examples listed in this specification are, in principle, expressly intended only for the purpose of making the concept of the present invention understood, and are not limited to the embodiments and states specifically listed as such. Should be.
또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.In addition, it is to be understood that all detailed descriptions listing specific embodiments as well as principles, aspects and embodiments of the present invention are intended to include structural and functional equivalents of these matters. It should also be understood that these equivalents include not only currently known equivalents, but also equivalents to be developed in the future, that is, all devices invented to perform the same function regardless of structure.
따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.Thus, for example, the block diagrams herein are to be understood as representing a conceptual perspective of exemplary circuits embodying the principles of the invention. Similarly, all flowcharts, state transition diagrams, pseudocodes, etc. are understood to represent various processes performed by a computer or processor, whether or not the computer or processor is clearly depicted and that can be represented substantially in a computer-readable medium. Should be.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.The functions of the various elements shown in the figures, including a processor or functional block represented by a similar concept, may be provided by the use of dedicated hardware as well as hardware having the ability to execute software in association with appropriate software. When provided by a processor, the function may be provided by a single dedicated processor, a single shared processor, or a plurality of individual processors, some of which may be shared.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.In addition, the explicit use of terms presented as processor, control, or similar concepts should not be interpreted exclusively by referring to hardware capable of executing software, and without limitation, digital signal processor (DSP) hardware, ROM for storing software. It should be understood to implicitly include (ROM), RAM, and non-volatile memory. Other commonly used hardware may also be included.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.In the claims of this specification, components expressed as means for performing the functions described in the detailed description include all types of software including, for example, a combination of circuit elements or firmware/microcode that perform the above functions. It is intended to include all methods of performing a function to perform the function, and is combined with suitable circuitry for executing the software to perform the function. Since the invention defined by these claims is combined with the functions provided by the various enumerated means and combined with the manner required by the claims, any means capable of providing the above functions are equivalent to those conceived from this specification. It should be understood as.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. The above-described objects, features, and advantages will become more apparent through the following detailed description in connection with the accompanying drawings, whereby those of ordinary skill in the technical field to which the present invention pertains can easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that a detailed description of a known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.Hereinafter, a preferred embodiment according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 개념도이다.1 is a conceptual diagram schematically showing an entire system according to an embodiment of the present invention.
본 발명의 일 실시 예에 따른 화장 스타일 추천 서비스 제공을 위한 전체 시스템은 사용자 단말(10) 및 서비스 제공 장치(1000)를 포함할 수 있다.The entire system for providing a makeup style recommendation service according to an embodiment of the present invention may include a
특히, 서비스 제공 장치(1000)는 본 발명의 실시 예에 따른 화장 스타일 추천 서비스 제공을 위해, 단말(10)과 유/무선 네트워크를 통해 연결될 수 있으며, 상호간 통신을 수행할 수 있다.In particular, the
여기서 상기 각 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 개인 근거리 무선통신(Personal Area Network; PAN), 이동 통신망(mobile radiocommunication network) 또는 위성 통신망 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.Here, each of the networks is a local area network (LAN), a wide area network (WAN), a value added network (VAN), a personal area network (PAN), and a mobile communication network ( Mobile radiocommunication network) or a satellite communication network can be implemented in any kind of wired/wireless network.
그리고, 사용자 단말(10)은 컴퓨터, 휴대폰, 스마트 폰(smart phone), 스마트 패드(smart pad), 노트북 컴퓨터(laptop computer), PDA(Personal Digital Assistants), PMP(Portable Media Player) 중 어느 하나의 개별적 기기, 또는 특정 장소에 설치되는 키오스크 또는 거치형 디스플레이 장치와 같은 공용화된 디바이스 중 적어도 하나의 멀티 디바이스일 수 있으며, 서비스 제공 장치(1000)로 사용자 정보를 제공하고, 서비스 제공 장치(1000)로부터 처리된 정보를 수신하여 출력할 수 있다.And, the
이와 같은 시스템 구성에 있어서, 서비스 제공 장치(1000)는, 먼저 인터넷상의 영상 정보로부터 화장 스타일 데이터베이스 구성을 위한 영상 정보를 수집하고, 수집된 영상 정보로부터 소스 이미지 추출 및 매핑 처리를 수행하여 스타일 데이터베이스를 구축할 수 있다.In such a system configuration, the
여기서, 영상 정보는 구독자수가 일정 수 이상인 뷰티 인플루언서들의 화장 영상 정보일 수 있으며, 이는 유투브, 페이스북, 텀블러, 트위치, 네이버, 카카오 등의 다양한 영상 업로드 사이트로부터 크롤링되어 추출되는 영상 정보를 포함할 수 있다.Here, the video information may be makeup video information of beauty influencers with a certain number of subscribers or more, and this is video information crawled and extracted from various video upload sites such as YouTube, Facebook, Tumblr, Twitch, Naver, and Kakao. Can include.
그리고, 서비스 제공 장치(1000)는 수집된 영상 정보에 대응하는 소스 이미지들을 캡쳐 추출할 수 있으며, 소스 이미지는 예를 들어, 화장 전, 후가 등장하는 인플루언서의 화장 전 후 이미지를 포함할 수 있다.In addition, the
이에 따라, 서비스 제공 장치(1000)는 수집된 영상 정보로부터 추출된 소스 이미지에 기초한 화장 스타일을 결정할 수 있는 바, 이를 위해 미리 학습된 화장 스타일 신경망에 기초한 이미지 분석 기술이 이용될 수 있다. 그리고, 서비스 제공 장치(1000)는 결정된 화장 스타일에 대응하는 이미지 정보를 저장 등록하여, 화장 스타일 데이터베이스를 구축할 수 있다.Accordingly, the
한편, 서비스 제공 장치(1000)는 사용자 단말(10)로부터 사용자 정보를 수신하여 등록하고, 사용자 입력 정보로서 사용자 이미지 정보 및 기타 조건 설정 정보를 획득하여, 사용자의 맨얼굴에 대응하여 적합한 화장 스타일을 추천하기 위한 추천 정보를 사용자 단말(10)로 제공할 수 있다.On the other hand, the
이를 위해, 서비스 제공 장치(1000)는 사용자 이미지 정보에 대응한 가상화장 합성 처리, 이미지 평가점수 생성 및 비교 분석 처리를 수행할 수 있으며, 비교 분석 결과에 따른 하나 또는 그 이상의 화장 스타일 정보 또는 가상합성 결과 정보를 사용자 단말(10)로 제공할 수 있다.To this end, the
이에 따라, 사용자 단말(10)은 서비스 제공 장치(1000)로 사용자 이미지를 포함하는 사용자 정보를 전송함에 따라, 상기 서비스 제공 장치(1000)로부터의 응답으로 수신되는 화장 스타일 추천 서비스 정보에 기초한 화장 스타일 추천 인터페이스를 출력하여, 화장 스타일 추천 서비스 정보를 사용자에게 제공할 수 있다.Accordingly, as the
특히, 사용자 단말(10)에서는 화장 스타일 추천 서비스 어플리케이션 등을 통해 상기 서비스 제공 장치(1000)로부터 상기 화장 스타일 정보 및 가상합성 결과 정보를 포함하는 추천 서비스 정보를 수신하여 인터페이스를 통해 출력할 수 있다.In particular, the
예를 들어, 사용자 단말(10)은 입력된 실제 사용자의 맨 얼굴 이미지에 인플루언서 등의 화장 스타일이 합성된 가상화장 이미지 중 뷰티 스코어가 높은 이미지들을 추천할 수 있으며, 이 중 사용자 선택된 이미지에 대응하는 화장 스타일 정보로서, 인플루언서 영상 정보, 화장품 추천 정보 또는 구매 링크 정보 중 적어도 하나를 출력할 수 있다.For example, the
이에 따라, 본 발명의 실시 예에 따르면 추천 서비스를 통해 사용자가 편리하게 영상 인플루언서들의 화장 스타일들을 취사 선택할 수 있으며, 신규 수요를 창출할 수 있고 서비스 접근성과 편의성을 크게 향상시킬 수 있다.Accordingly, according to an embodiment of the present invention, a user can conveniently select and select makeup styles of video influencers through the recommendation service, create new demand, and greatly improve service accessibility and convenience.
특히, 이러한 서비스 제공을 위하여, 본 발명의 실시 예에 따른 서비스 제공 장치(1000)는 가상화장 합성 및 이미지 평가점수 결정에 있어서, 최종적으로 사용자 얼굴에 잘 어울리는 화장을 추천하기 위한 가상화장합성 신경망과 이미지평가신경망을 순환적용 처리할 수 있는 바, 이에 대하여는 보다 구체적으로 후술하도록 한다.In particular, in order to provide such a service, the
도 2는 본 발명의 실시 예에 따른 광고 서비스 제공 장치를 보다 구체적으로 설명하기 위한 블록도이다.2 is a block diagram for describing in more detail an advertisement service providing apparatus according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 실시 예에 따른 서비스 제공 장치(1000)는, 가상화장 합성부(100), 이미지 평가점수 생성부(200), 사용자 정보 관리부(300), 입력 정보 획득부(350), 수집 정보 처리부(500), 조건별 화장법 후보 추출부(700), 스타일 데이터베이스(600), 화장법 비교 처리부(400) 및 추천 서비스 제공부(900)를 포함한다.Referring to FIG. 2, a
먼저, 수집 정보 처리부(500)는, 인터넷 영상 정보로부터 화장 스타일 데이터베이스(600) 구성을 위한 영상 정보를 수집한다.First, the collection information processing unit 500 collects image information for configuring the makeup style database 600 from Internet image information.
앞서 설명한 바와 같이, 영상 정보는 구독자수가 일정 수 이상인 뷰티 인플루언서들의 화장 영상 정보일 수 있으며, 이는 유투브, 페이스북, 텀블러, 트위치, 네이버, 카카오 등의 다양한 영상 업로드 사이트로부터 크롤링되어 추출되는 영상 정보를 포함할 수 있다.As described above, the video information may be makeup video information of beauty influencers with a certain number of subscribers or more, which is crawled and extracted from various video upload sites such as YouTube, Facebook, Tumblr, Twitch, Naver, and Kakao. It may include image information.
예를 들어, 영상 정보 수집을 위해, 수집 정보 처리부(500)는, 소스 인물 이미지(화장전후가 등장하는 인터넷 뷰티 동영상에서의 화장 후 영상)와 소스 인물 화장전 이미지를 각각 크롤링 캡처할 수 있으며, 화장 스타일 데이터베이스(600)는 캡쳐된 이미지들을 이용한 신경망 학습에 따라 구축될 수 있다.For example, in order to collect image information, the collection information processing unit 500 may crawl and capture a source person image (a post-makeup image in an internet beauty video showing before and after makeup) and a source person before and after makeup, respectively, The makeup style database 600 may be built according to neural network learning using captured images.
이에 따라, 화장 스타일 데이터베이스(600)는 수집된 영상 정보로부터의 소스 이미지 추출 및 매핑 처리를 수행하여 구축된 데이터베이스를 저장 및 관리할 수 있으며, 조건별 화장법 후보 추출부(700)의 요청에 따른 화장 스타일 및 소스 이미지를 제공할 수 있다.Accordingly, the makeup style database 600 can store and manage the database built by performing source image extraction and mapping processing from the collected image information, and makeup according to the request of the makeup
한편, 사용자 정보 관리부(300)는, 사용자 단말(10)로부터 입력되는 입력 정보에 따라 등록 처리를 수행하고, 사용자의 사용 이력 정보, 유사 사용자의 사용 이력 정보 및 사용자 선호 정보 등을 매핑하여 저장 및 관리할 수 있다.On the other hand, the user information management unit 300 performs registration processing according to input information input from the
또한, 사용자 정보 관리부(300)는 얼굴 사진을 활용한 프로파일링(특징 분석), 뷰티스코어 평가 및 피드백을 통한 사용자 유형 분류, 유사 사용자 군집을 통한 프로파일링(협업필터링) 및 서비스 사용 패턴을 통한 프로파일링 등을 처리함으로써, 추천 서비스를 위한 데이터를 구축할 수 있다.In addition, the user information management unit 300 includes profiling using face photos (characteristic analysis), classification of user types through beauty score evaluation and feedback, profiling through similar user clusters (collaborative filtering), and profile through service usage patterns. By processing a ring or the like, data for a recommended service can be constructed.
그리고, 입력 정보 획득부(350)는 사용자 정보 관리부(300)에서 관리되는 사용자 정보와, 사용자 단말(10)로부터 입력된 사용자 입력 정보에 따라, 추천할 화장법 후보를 선별하기 위한 입력 정보를 획득할 수 있다.In addition, the input
예를 들어, 사용자 단말(10)은 사용자의 맨 얼굴 이미지와 명시적 조건 정보(기간 한정, 화장법 인기도, 상황 지정 등)와 키워드 정보(검색, 필터링, 추천) 을 포함하는 사용자 입력 정보를 서비스 제공 장치(1000)로 전송할 수 있으며, 서비스 제공 장치(1000)는 수신된 사용자 입력 정보와 사용자 정보 관리부(300)의 관리 정보에 기초한 입력 정보를 결정하고, 결정된 입력 정보는 조건별 화장법 후보 추출부(700) 및 가상화장 합성부(100)로 전달될 수 있다.For example, the
그리고, 가상화장 합성부(100)는 조건별 화장법 후보로부터 결정된 화장 스타일 및 소스 이미지에 기초하여, 사용자 얼굴 이미지에 대한 하나 또는 그 이상의 가상합성 처리를 수행할 수 있다.Further, the virtualization field synthesis unit 100 may perform one or more virtual synthesis processing on the user's face image based on the makeup style and the source image determined from the makeup method candidates for each condition.
이를 위해, 가상화장 합성부(100)는 인공 신경망 학습 처리를 통해, 화장 스타일별 소스 이미지와 사용자 이미지간의 이미지 합성 처리를 수행할 수 있으며, 이를 위해, 소스 인물 이미지에서 화장 스타일 적용 부분을 추출하여 타겟 인물 이미지에 적용하는 프로세스를 수행할 수 있다.To this end, the virtualization field synthesis unit 100 may perform image synthesis processing between the source image for each makeup style and the user image through artificial neural network learning processing. To this end, the makeup style application part is extracted from the source person image. You can perform the process of applying to the target person image.
특히, 이러한 신경망 구축을 위해 최근 대두되는 쌍 순환 경쟁적 생성 네트워크 방식(PairedCycleGAN)의 비지도 학습 방식이 이용될 수 있다.In particular, the unsupervised learning method of the paired cycle competitive generation network method (PairedCycleGAN), which has recently emerged, may be used to construct such a neural network.
특히, GAN(Generative Adversarial Network) 방식은 딥러닝을 이용하여, 이미지를 생성하는 네트워크로서 서로 다른 두 개의 깊은 신경망 D(Discriminator)와 G(Generator)를 학습시켜, 좋은 성능의 감별사 네트워크와 그것을 속이는 생성자 네트워크를 경쟁시킴으로써, 학습 효과를 극대화할 수 있게 하는 방식을 의미할 수 있다.In particular, the GAN (Generative Adversarial Network) method is a network that generates images using deep learning. By learning two different deep neural networks D (Discriminator) and G (Generator), a good-performing discriminator network and a generator to deceive it. It can mean a way to maximize the learning effect by competing the network.
또한, Paired CycleGAN(H. Chang, et al.)은 이를 가상 화장 합성에 적용하여 Makeup Transfer 또는 Style Transfer 를 처리하게 하는 방식으로 제안된 것으로서, 가상 메이크업(가상 화장 합성) 네트워크와 화장을 지우는 네트워크의 쌍을 경쟁적으로 학습시켜, 그 성능을 서로 보완하게 함으로써 자연스러운 가상 화장 합성 효과를 얻을 수 있다.In addition, Paired CycleGAN (H. Chang, et al.) has been proposed as a method to process Makeup Transfer or Style Transfer by applying this to virtual makeup synthesis, and is a method of processing a virtual makeup (virtual makeup synthesis) network and a network that erases makeup. It is possible to obtain a natural virtual makeup synthesis effect by competingly learning pairs and complimenting their performance.
그리고, 본 발명의 실시 예에 따르면 가상화장 합성부(100)는 보다 자연스러운 합성을 위하여, 상기 PairedCycleGAN 방식 적용시 얼굴을 영역별로 부분 분할하는 개별 학습 프로세스를 수행할 수 있다.In addition, according to an embodiment of the present invention, for more natural synthesis, the virtualization field synthesis unit 100 may perform an individual learning process of partially dividing a face for each region when the PairedCycleGAN method is applied.
이후, 이미지 평가점수 생성부(200)는, 가상합성된 하나 또는 복수개의 합성 이미지들에 대한 이미지 평가 점수를 생성할 수 있으며, 이를 위해, 평가하고자 종류의 이미지와 평가하고자 하는 특성에 대한 점수 쌍(이미지, 점수)을 신경망에 학습시킨 신경망으로 구축된 학습 모델을 이용할 수 있다.Thereafter, the image evaluation score generation unit 200 may generate an image evaluation score for one or a plurality of virtually synthesized composite images, and for this purpose, a pair of scores for a type of image to be evaluated and a feature to be evaluated A learning model built with a neural network that trains (images, scores) on a neural network can be used.
보다 구체적으로, 이미지 평가점수 생성부(200)는, 이미지 평가 점수를 측정하기 위해, 신경망 학습 모델을 구축할 수 있는 바, 얼굴 이미지와 뷰티 스코어의 쌍을 사용하여 신경망 네트워크 학습 모델을 생성할 수 있으며, 생성된 모델을 이용하여, 새로운 얼굴 이미지 입력에 대응하는 이미지 평가 점수를 출력할 수 있다.More specifically, the image evaluation score generation unit 200 may build a neural network training model to measure the image evaluation score, and may generate a neural network network training model using a pair of a face image and a beauty score. And, using the generated model, an image evaluation score corresponding to a new face image input may be output.
특히, 기존 기술과 같이 사람이 평가한 점수들의 평균값 등으로 단순 학습하는 경우, 사람마다의 성향 차이로 인해, 같은 이미지에서도 다른 점수들이 평가되어 발생되는 부정확성을 극복할 수 없다. 따라서, 본 발명의 실시 예에 따른 이미지 평가점수 생성부(200)는 단순 평균 연산이 아닌 점수 분포(Score Distribution Vector)값을 이미지와 쌍으로 매칭하여 학습 모델을 생성할 수 있으며, 이는 여러 사람의 전반적 성향에 의한 점수 특징(Score Feature)을 학습할 수 있게 되므로, 더욱 정확한 이미지 평가 점수를 예측할 수 있게 된다.In particular, in the case of simple learning based on the average value of scores evaluated by a person like the existing technology, it is impossible to overcome the inaccuracies caused by the evaluation of different scores in the same image due to differences in propensity for each person. Therefore, the image evaluation score generation unit 200 according to an embodiment of the present invention may generate a learning model by matching a score distribution vector value, not a simple average operation, with an image. Since it is possible to learn the score feature based on the overall tendency, it is possible to predict more accurate image evaluation scores.
예를 들어, 본 발명의 실시 예에 따른 이미지 평가점수 생성부(200)는 이미지평가점수 생성 신경망을 구축함에 있어서, (이미지, 점수 분포) 쌍을 학습시킴으로써 학습 효과를 향상시킬 수 있는 바, 이는 기존의 기존 (이미지, 점수 평균) 쌍을 학습시키는 것에 비하여, 보다 정확한 이미지 평가 점수를 결정할 수 있게 하는 것이다.For example, the image evaluation score generation unit 200 according to an embodiment of the present invention can improve the learning effect by learning the (image, score distribution) pair in building the image evaluation score generation neural network. Compared to the existing (image, score average) pair training, it is possible to determine more accurate image evaluation scores.
여기서, 이미지 평가 점수는 뷰티스코어(정량적 뷰티 평가)에 따라 결정될 수 있으며, 이미지 평가를 위해, 얼굴 랜드마크를 통한 학습/평가, 얼굴 자동 군집 분류 및 유사도 측정 평가, 얼굴각도 측정 및 필터링 평가, 개별 특성(피부톤/비례 등) 학습/개별 특성별 평가 및 평가자 자동 군집 분류 및 유사도 측정 평가 중 적어도 하나에 처리가 수행될 수 있다.Here, the image evaluation score can be determined according to the beauty score (quantitative beauty evaluation), and for image evaluation, learning/evaluation through facial landmarks, automatic face cluster classification and similarity measurement evaluation, face angle measurement and filtering evaluation, individual Treatment may be performed on at least one of learning characteristics (skin tone/proportion, etc.), evaluation by individual characteristics, automatic cluster classification of evaluators, and similarity measurement evaluation.
보다 구체적으로, 정확하고 일정한 뷰티스코어를 측정하기 위해서는 얼굴의 정확한 정면 이미지를 사용하여야 하나, 이미지 평가점수 생성부(200)는 사용자의 사진 이미지로부터 얼굴각도 측정 및 필터링을 수행하여, 일정 각도 벗어나더라도 얼굴의 특징 값을 추출하고 이에 기반한 뷰티스코어를 결정할 수 있다.More specifically, in order to measure an accurate and constant beauty score, an accurate front image of the face must be used, but the image evaluation score generator 200 measures and filters the face angle from the user's photographic image, Facial feature values can be extracted and a beauty score based on them can be determined.
예를 들어, 이미지 평가점수 생성부(200)는 사용자의 입력 이미지에 대응하는 뷰티스코어를 측정하기 전에, 미리 구축된 얼굴 각도 측정 신경망 모델을 이용하여, 얼굴이 바라보는 각도를 예측할 수 있으며, 예측된 각도가 정면에서 일정 각도 이상 벗어난 경우에만 필터링 처리함에 따라, 뷰티스코어가 결정 가능한 정면 이미지들을 추출할 수 있다.For example, before measuring the beauty score corresponding to the user's input image, the image evaluation score generation unit 200 may predict the angle at which the face is viewed using a pre-built neural network model for measuring the angle of the face. By filtering only when the set angle deviates from the front by a certain angle or more, front images that can be determined by a beauty score can be extracted.
이를 위해, 이미지 평가점수 생성부(200)는 얼굴의 3차원 X, Y, Z 각도에 대응하는 CNN(Convolutional Neural Network)과 MLP(Multi Layer Perceptron)로 구성되는 인공지능 신경망 모델을 구축하고, 이를 이용한 얼굴 각도의 필터링 처리를 수행할 수 있다.To this end, the image evaluation score generator 200 constructs an artificial intelligence neural network model composed of a convolutional neural network (CNN) and a multi-layer perceptron (MLP) corresponding to the three-dimensional X, Y, and Z angles of the face, and Filtering processing of the used face angle can be performed.
또한, 이미지 평가점수 생성부(200)는 이미지 평가를 위한 인공지능 신경망 모델 구축에 있어서, 다양한 얼굴의 개별 특징 요소들을 별도 분류하여 학습하게 할 수 있다.In addition, the image evaluation score generation unit 200 may separately classify and learn individual feature elements of various faces in building an artificial intelligence neural network model for image evaluation.
개별 특징 요소들은 예를 들어, 얼굴의 특정 요소에 대응하는 비율 정보, 길이 정보, 각도 정보 또는 위치 정보 중 적어도 하나일 수 있으며, 이는 얼굴 이미지와 함께 학습 처리됨으로써, 뷰티 스코어 평가에 반영되도록 할 수 있다.Individual feature elements may be, for example, at least one of ratio information, length information, angle information, or location information corresponding to a specific element of the face, which is learned and processed together with the face image, so that it can be reflected in the beauty score evaluation. have.
특히, 사람과 달리 단순 얼굴 이미지로만 학습된 인공지능 네트워크는 얼굴 요소의 비율 특징(턱선의 각도, 이마의 길이, 눈과 미간의 비율 등)에 대한 고려는 하지 못하는 경향이 있는데, 본 발명의 실시 예에 따른 이미지 평가점수 생성부(200)는 이러한 문제점을 해결함으로써 사람이 판별하는 다양한 미의 기준을 학습시키고, 이에 따른 정확한 뷰티스코어를 산출할 수 있다.In particular, unlike humans, artificial intelligence networks that have been trained only with simple face images tend not to consider the ratio features of facial elements (the angle of the chin line, the length of the forehead, the ratio between the eyes and the brow, etc.). The image evaluation score generation unit 200 according to an example may learn various standards of beauty that a person determines by solving such a problem, and calculate an accurate beauty score accordingly.
그리고, 화장법 비교 처리부(400)는, 사용자 프로파일링 정보 및 이미지 평가 점수에 따른 화장법 별 순위 비교를 처리할 수 있다.In addition, the makeup method
그리고, 추천 서비스 제공부(900)는 비교 처리 결과에 기초한 추천 서비스를 제공할 수 있는 바, 이는 순위 비교에 따라 결정된 일정 개수의 화장 스타일 정보를 포함할 수 있다.In addition, the recommendation
또한, 추천 서비스 제공부(900)는 얼굴 이미지 분석 기반 추천, 유형/컬러/피부에 따른 Rule-based 추천, 피부에 따른 Rule-based 추천 서비스를 제공할 수 있으며, 사용자 프로파일링 기반 사용자 유형별 예측 추천 서비스와, 뷰티스코어 기반 뷰티스코어를 극대화하는 추천 서비스 등 다양한 부가 서비스를 제공할 수 있다.In addition, the
또한, 추천 서비스 제공부(900)는 추천 서비스에 의해 연계되는 인플루언서 영상 정보와, 화장품 추천 및 구매 연동 프로세스를 제공할 수 있는 바, 이에 대하여는 보다 구체적으로 후술하도록 한다.In addition, the recommendation
한편, 추천 서비스 제공부(900)는 사용자 정보 관리부(300)에서 수집되는 사용자 이미지에 대한 얼굴 분석 서비스를 제공할 수 있으며, 얼굴 분석 서비스는 예를 들어, 얼굴 정보 제공 서비스, 인물 간 유사도 정보 제공 서비스 및 유사 인플루언서 매칭 서비스를 포함할 수 있다. 그리고, 추천 서비스 제공부(900)는 이를 위해, 얼굴 분석을 위한 인공지능 학습 모델을 구축할 수 있다.On the other hand, the recommendation
먼저 얼굴 정보 제공 서비스를 위해, 추천 서비스 제공부(900)는 사용자 이미지로부터 얼굴의 1차적 정보를 컴퓨터 비전 기술을 이용하여 추출하여 이용할 수 있으며, 추출된 정보는 상기 학습 모델의 추가적인 학습대상으로 이용될 수 있다. 예를 들어, 추천 서비스 제공부(900)는 얼굴의 피부 색을 카테고리화 처리할 수 있으며, 처리된 정보는 사용자 단말(10)로 제공될 수 있다.First, for the face information provision service, the
또한, 추천 서비스 제공부(900)는 유사도 정보 제공 서비스를 위해, 얼굴 유사도 측정 네트워크 기반의 인물 간 얼굴 유사도 분석 처리를 수행할 수 있다.In addition, the recommendation
예를 들어, 추천 서비스 제공부(900)는 triplet loss 함수 기반 얼굴 이미지 학습 프로세스를 수행하여 선택된 인물과 사용자 이미지간의 얼굴 유사도를 측정하는 서비스를 제공할 수 있다.For example, the
그리고, 추천 서비스 제공부(900)는 이와 같은 얼굴 유사도 측정값에 기초하여 사용자와 비슷한 얼굴의 인물 등을 색인할 수 있는 바, 유사한 특정 인플루언서를 색인하여, 그 인플루언서의 메이크업을 사용자에게 어울리는 메이크업으로서 자동 추천하는 서비스를 제공할 수도 있다.Further, the recommendation
예를 들어, 추천 서비스 제공부(900)는 유사 스타/인플루언서 매칭 서비스를 제공할 수 있으며, 이는 전술한 인물 간의 얼굴 유사도를 측정하는 네트워크를 이용하여 사용자와의 유사도가 일정 값 이상인 스타 또는 인플루언서를 색인하여 제공하는 서비스를 포함할 수 있다.For example, the
이에 따라, 추천 서비스 제공부(900)는 사용자에게 가장 잘 어울리는 메이크업 무엇인지를 가장 닮은 스타 및 인플루언서의 화장법을 통해 알려주는 서비스를 사용자 단말(10)로 제공할 수 있게 된다.Accordingly, the recommendation
또한, 추천 서비스 제공부(900)는 사용자 정보 관리부(300)의 사용자 프로파일링 정보에 기초하여, 세분화된 화장 스타일 관련 정보를 제공할 수 있다.In addition, the recommendation
예를 들어, 추천 서비스 제공부(900)는 사용자를 평가자 분류 처리하여, 평가자 분류에 대응하는 유사도에 따른 화장 스타일 관련 정보를 제공할 수 있다.For example, the
이를 위해, 본 발명의 실시 예에 따른 추천 서비스 제공부(900)는 평가자와 선호 모델과의 관계를 CBOW(Continuous Bag of Word) 또는 Skip-Gram과 같은 학습 알고리즘을 이용하여 다차원 공간의 벡터로 임베딩(embedding)하여 평가자의 분류(Clustering) 처리와 함께, 평가자의 선호 모델 정보를 함께 학습시킬 수 있다. 이에 따사, 추천 서비스 제공부(900)는 사용자 정보에 기초한 평가자 분류 처리를 수행하여, 분류된 평가자의 성향에 맞는 화장 스타일, 인플루언서 정보 또는 화장품 정보 등을 추천하는 평가자 성향 추천 정보를 사용자 단말(10)로 제공할 수 있다.To this end, the
또한, 추천 서비스 제공부(900)는 앞서 수행한 얼굴 분석 정보에 기초하여, 사용자의 퍼스널 컬러 정보를 결정할 수 있으며, 퍼스널 컬러 정보에 따른 적절한 색조 화장품을 추천하기 위한 색조 화장품 정보를 사용자 단말(10)로 제공할 수도 있다.In addition, the recommendation
예를 들어, 추천 서비스 제공부(900)는 사용자의 피부 톤에 맞는 색조 화장품을 추천해주는 추천 서비스를 제공할 수 있다. 이를 위해, 추천 서비스 제공부(900)는 피부 톤 정보를 카테고리화하고, 카테고리화된 피부 톤 정보와 매칭되는 색조 화장품들을 연결한 피부톤 데이터베이스를 학습 프로세스에 의해 구성할 수 있다. 학습 프로세스로는 다층 퍼셉트론(Multy Layer Perceptorn) 기반 딥러닝 알고리즘 처리가 예시될 수 있으며, 이를 이용하여 피부 톤과 이에 색조화장품간 매칭 처리를 수행할 수 있다.For example, the recommendation
한편, 추천 서비스 제공부(900)는 이미지와 화장품을 매칭하기 위한 매칭 데이터베이스를 딥 러닝 방식으로 구축하고, 기초하여 입력된 사진이 사용한 화장품 정보를 식별하여 출력하는 화장품 추천 서비스를 제공할 수도 있다. 예를 들어, 추천 서비스 제공부(900)는 사진 이미지로부터 추출되는 화장품의 톤과 실제 화장품 톤을 매칭하는 딥 러닝 학습 프로세스를 수행하여, 사용자로부터 입력된 사진에 대응하는 화장품 정보를 식별하여 사용자 단말(10)로 제공하는 추천 서비스를 제공할 수도 있다.Meanwhile, the recommendation
그리고, 추천 서비스 제공부(900)는 전술한 이미지 평가 접수(뷰티 스코어)를 기초로 하는 화장품 정보 추쳔 서비스를 제공할 수 있는 바, 예를 들어 추천 서비스 제공부(900)는 특정 색조 화장품의 색을 사용자 이미지에 입혀봤을 경우와 그렇지 않았을 때의 차이를 뷰티스코어를 기반으로 산출하여, 가장 높은 차이를 가져오는 일정 개수의 맞춤형 화장 스타일과 화장품을 식별하고, 식별된 화장 스타일 정보 및 화장품 정보를 사용자 단말(10)로 제공할 수 있다.In addition, the
도 3은 본 발명의 실시 예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다.3 is a flowchart illustrating a service providing method according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 실시 예에 따른 서비스 제공 장치(1000)는 먼저 인터넷 영상 정보로부터 소스 이미지를 추출 수집하고(S1001), 수집된 이미지와, 상기 이미지로부터 인공 신경망 기반으로 추출되는 화장법 정보를 매핑 처리하여 데이터베이스(600)를 구축한다(S1003).Referring to FIG. 3, the
이를 위해, 서비스 제공 장치(1000)는 수집 정보 처리부(500)를 통해 인터넷상의 다양한 뷰티 동영상으로부터 화장 전과 화장 후 사진 이미지들을 크롤링 캡쳐 처리하며, 처리된 이미지에 화장 스타일(또는 화장법) 정보를 매핑 처리하기 위한 인공 신경망 학습 프로세스를 수행하여, 스타일 데이터베이스(600)를 구축할 수 있다.To this end, the
예를 들어, 서비스 제공 장치(1000)는 수집된 영상 정보로부터 추출된 소스 이미지에 기초한 화장 스타일을 결정할 수 있는 바, 이를 위해 미리 학습된 화장 스타일 신경망에 기초한 이미지 분석 기술을 이용할 수 있다. 그리고, 서비스 제공 장치(1000)는 결정된 화장 스타일에 대응하는 이미지 정보를 저장 등록하여, 화장 스타일 데이터베이스를 구축할 수 있다.For example, the
그리고, 서비스 제공 장치(1000)는 사용자 단말(10)로부터 수신되는 사용자 정보를 사용자 정보 관리부(300)를 통해 등록할 수 있으며, 사용자 단말(10)로부터의 요청에 따른 입력 정보를 획득할 수 있다(S1005).In addition, the
이후, 서비스 제공 장치(1000)는 사용자 정보에 기초하여, 데이터베이스로부터 추출된 조건별 화장법 정보에 대응하는 가상화장 이미지 합성 처리를 수행할 수 있으며(S1007), 이미지 인식 학습 신경망을 이용하여 가상화장 이미지별 평가 점수를 결정할 수 있다(S1009).Thereafter, the
이를 위해, 서비스 제공 장치(1000)는 이미지 평가점수 생성부(200)를 통해 평가를 위한 이미지 평가 모델 학습 처리를 수행할 수 있으며, 이미지 평가 모델 학습에는 컨볼루션 뉴럴 네트워크(CNN) 방식이 이용되는 것이 바람직하다.To this end, the
또한, 평가를 위한 가상화장 모델 이미지 합성을 위하여, 가상화장 합성부(100)는 전술한 쌍 순환 경쟁 생성 네트워크(Paired CycleGAN) 방식에 기초한 가상화장 합성 학습 모델을 생성할 수 있다.In addition, in order to synthesize a virtual field model image for evaluation, the virtual field synthesis unit 100 may generate a virtual field synthesis learning model based on the above-described paired cycle competition generation network (Paired CycleGAN) method.
그리고, 서비스 제공 장치(1000)는 이와 같이 구축된 모델들을 이용하여, 먼저 조건별 화장법 후보 추출부(700)를 통해 스타일 데이터베이스(600)로부터 미리 설정된 특정 개수(N)의 사용자 조건별 화장법 후보 리스트를 추출할 수 있다.In addition, the
가상화장 합성부(100)는 추출된 화장법 후보 리스트별 화장 스타일 이미지와 사용자의 이미지를 가상화장 합성 처리한 N개의 후보 이미지들을 생성하여, 이미지 평가점수 생성부(200)로 전달할 수 있다.The virtualization field synthesizing unit 100 may generate N candidate images obtained by synthesizing the extracted makeup style image for each makeup method candidate list and the user's image and transmitted to the image evaluation score generator 200.
이에 따라, 이미지 평가점수 생성부(200)에서는 각 N개의 후보 이미지들에 대응하는 이미지 평가점수를 전술한 이미지 평가 모델을 이용하여 결정할 수 있다.Accordingly, the image evaluation score generator 200 may determine an image evaluation score corresponding to each of the N candidate images using the image evaluation model described above.
이후, 서비스 제공 장치(1000)는 화장법 비교 처리부(400)를 통해, 상기 평가 점수에 기초한 화장법 비교 처리를 수행할 수 있으며(S1011), 추천 서비스 제공부(900)를 통해, 비교 결과에 따른 추천 서비스를 사용자 단말(10)로 제공할 수 있다.Thereafter, the
도 4는 본 발명의 실시 예에 따른 사용자 단말에서의 사용자 인터페이스의 순차적 변화를 설명하기 위한 도면이다.4 is a diagram for explaining sequential changes of a user interface in a user terminal according to an embodiment of the present invention.
도 4를 참조하면, 본 발명의 실시 예에 따른 추천 서비스 제공부(900)는 사용자 단말(10)로 화장 스타일 추천 인터페이스를 제공할 수 있는 바, 이는 사용자 단말(10)에 설치된 어플리케이션 등을 통해 출력되는 그래픽 유저 인터페이스의 형태로 제공될 수 있다.Referring to FIG. 4, the recommendation
먼저 도 4(A)는 화장법 추천을 위한 이미지 분석 정보 인터페이스를 도시한 것으로, 추천 서비스 제공부(900)는 사용자 단말(10)을 통해, 이미지 분석 정보 인터페이스를 통해 사용자의 얼굴 이미지를 촬영 입력하게 할 수 있으며, 입력된 얼굴 이미지에 대응하는 분석 정보와, 이미지 평가 점수 정보를 제공할 수 있고, 사용자로부터 평가 점수를 입력받아 학습 데이터 구축에 반영시킬 수 있다.First, FIG. 4(A) shows an image analysis information interface for recommending a makeup method. The recommendation
그리고, 도 4(B)는 가상화장 인터페이스를 도시한 것으로, 추천 서비스 제공부(900)는 사용자 단말(10)을 통해, 가상화장 이미지 합성부(100)에서 처리된 가상화장 이미지 중 이미지 평가점수 생성부(200)에서의 평가 점수가 높은 일정 개수의 가상화장 합성 이미지들 및 화장 스타일 정보를 출력하게 할 수 있다.And, Figure 4 (B) shows a virtual field interface, the recommended
여기서, 사용자는 가상화장 합성 이미지들을 참조하여, 추천 메이크업 스타일을 선택할 수 있으며, 도 4(C)에 도시된 바와 같이 선택된 메이크업 스타일에 대응하는 인플루언서 영상 정보가 사용자 선택에 따라 제공될 수 있다. 이를 위해, 추천 서비스 제공부(900)는 인플루언서 영상 정보에 대응하는 영상 링크 정보를 스타일 데이터베이스(600)로부터 획득하여 사용자 단말(10)로 제공할 수 있다.Here, the user may select a recommended makeup style by referring to the composite images of the virtual field, and influencer image information corresponding to the selected makeup style may be provided according to the user's selection as shown in FIG. 4C. . To this end, the recommendation
예를 들어, 도 4(C)에 도시된 바와 같이, 사용자가 선택한 스타일에 대응하는 인플루언서의 화장법 영상 정보가 사용자 단말(10)을 통해 출력될 수 있다.For example, as shown in FIG. 4(C), image information of an influencer's makeup method corresponding to a style selected by the user may be output through the
한편, 도 4(D) 및 도 4(E)는 화장품 추천 및 구매 연동 기능 인터페이스를 도시한 것으로, 본 발명의 실시 예에 따른 추천 서비스 제공부(900)는 사용자 프로파일링 정보 및 얼굴 이미지 분석에 따른 화장품 정보를 추천할 수 있으며, 또한 전술한 인플루언서 영상에서 이용된 화장품 정보가 추천될 수도 있다.Meanwhile, FIGS. 4(D) and 4(E) illustrate a cosmetic recommendation and purchase linking function interface, and the recommendation
특히, 추천 서비스 제공부(900)는 화장법 전체의 구성과 얼굴 각부분별 화장 상태(피부, 색)을 고려하여 전체 화장법에서 부분화장에 유사한 효과를 내는 부분별 화장품 후보를 추천하고, 이를 판매하는 쇼핑몰에 연동시킬 수 있다.In particular, the recommendation
또한, 추천 서비스 제공부(900)는 영상 내에 명시적으로 화장품에 대응하는 키워드 정보 또는 화장품 포장/용기가 노출되었을 경우, 키워드 또는 화장품 포장/용기를 이미지 인식하여, 우선적으로 추천하는 프로세스를 제공할 수도 있다.In addition, when the keyword information corresponding to the cosmetic product or cosmetic packaging/container is explicitly exposed in the image, the recommendation
그리고, 추천 서비스 제공부(900)는 사용자가 선택한 제품에 대응하는 구매 서비스를 제공하거나, 제품 판매자 사이트와의 구매 연동 기능을 제공함으로써, 사용자가 바로 자신의 화장 스타일에 맞는 제품들을 확인하고 구매할 수 있도록 처리할 수 있다. 이를 위해, 추천 서비스 제공부(900)는 별도의 구매 모듈 및 결제 모듈을 구비하거나, 쇼핑 사이트 연동 모듈을 더 구비할 수도 있다.In addition, the
상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다.The above-described method according to the present invention may be produced as a program for execution in a computer and stored in a computer-readable recording medium. Examples of computer-readable recording media include ROM, RAM, CD-ROM, and magnetic tape. , Floppy disks, and optical data storage devices.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The computer-readable recording medium is distributed over a computer system connected by a network, and computer-readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes and code segments for implementing the method can be easily deduced by programmers in the art to which the present invention belongs.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. In addition, various modifications can be implemented by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or prospect of the present invention.
10 : 사용자 단말 100 : 가상화장 합성부
200 : 이미지 평가점수 생성부
300 : 사용자 정보 관리부
350 : 입력 정보 획득부
400 : 화장법 비교 처리부
500 : 수집 정보 처리부
600 : 스타일 데이터베이스
700 : 조건별 화장법 후보 추출부
900 : 추천 서비스 제공부
1000 : 서비스 제공 장치10: user terminal 100: virtualization field synthesis unit
200: image evaluation score generation unit 300: user information management unit
350: input information acquisition unit 400: makeup method comparison processing unit
500: collection information processing unit 600: style database
700: Candidate extraction unit for each condition 900: Recommendation service provider
1000: service providing device
Claims (12)
인터넷상의 화장 영상 정보를 수집하여, 화장 스타일별 이미지 정보가 매핑된 스타일 데이터베이스;
사용자 이미지 및 조건 정보를 포함하는 입력 정보에 기초하여, 상기 스타일 데이터베이스로부터 추출되는 화장 스타일별 이미지 정보와 상기 사용자 이미지를 합성한 하나 이상의 가상화장 이미지를 생성하는 가상화장 합성부;
상기 가상화장 이미지에 대응되는 평가 정보를 결정하는 이미지 평가 점수 생성부; 및
상기 평가 정보에 기초한 화장 스타일 추천 서비스를 사용자 단말로 제공하는 추천 서비스 제공부를 포함하는
서비스 제공 장치.In the service providing device,
A style database in which image information for each makeup style is mapped by collecting makeup image information on the Internet;
A virtualization field combining unit for generating at least one virtualization field image obtained by combining the image information for each makeup style extracted from the style database and the user image, based on input information including a user image and condition information;
An image evaluation score generator for determining evaluation information corresponding to the virtualization field image; And
Including a recommendation service providing unit that provides a makeup style recommendation service based on the evaluation information to a user terminal
Service provision device.
상기 화장 영상 정보에 대응하는 소스 이미지들을 크롤링 캡쳐하여 추출하고, 상기 추출된 소스 이미지들을 이용하여 상기 스타일 데이터베이스를 구축하는 수집 정보 처리부를 더 포함하는
서비스 제공 장치.The method of claim 1,
Further comprising a collection information processing unit for crawling and extracting source images corresponding to the makeup image information, and constructing the style database using the extracted source images
Service provision device.
상기 수집 정보 처리부는
상기 화장 영상 정보의 신경망 기반 영상 분석에 따라 화장 전 이미지와, 화장 후 이미지를 식별하고, 상기 식별된 화장 전 이미지와 상기 화장 후 이미지를 특정 인플루언서의 화장 스타일에 대응하는 상기 소스 이미지로 결정하는
서비스 제공 장치.The method of claim 2,
The collection information processing unit
According to the neural network-based image analysis of the makeup image information, the pre-makeup image and the post-makeup image are identified, and the identified pre-makeup image and the post-makeup image are determined as the source image corresponding to the makeup style of a specific influencer. doing
Service provision device.
상기 가상화장 합성부는,
상기 입력 정보에 따라 미리 설정된 N개의 화장 스타일별 이미지 정보와 상기 사용자 이미지를 합성한 N개의 가상화장 이미지를 생성하는
서비스 제공 장치.The method of claim 1,
The virtualization field synthesis unit,
Generating N virtual field images by combining image information for each N makeup style and the user image set in advance according to the input information
Service provision device.
상기 가상화장 합성부는,
부분 얼굴 이미지별로 미리 학습된 신경망 모델에 기초한 가상화장 합성 처리를 수행하는
서비스 제공 장치.The method of claim 4,
The virtualization field synthesis unit,
Virtual field synthesis processing based on pre-trained neural network model for each partial face image
Service provision device.
상기 신경망 모델은 쌍 순환 경쟁 생성 네트워크(PairedCycleGAN) 방식에 기초하여 생성되는 것을 특징으로 하는
서비스 제공 장치.The method of claim 5,
The neural network model is generated based on a paired cyclic contention generation network (PairedCycleGAN) method.
Service provision device.
상기 이미지 평가 점수 생성부는
이미지 평가 신경망 모델을 이용하여, 상기 N개의 가상화장 이미지에 대응하는 각각의 이미지 평가점수를 결정하는
서비스 제공 장치.The method of claim 4,
The image evaluation score generator
Using the image evaluation neural network model, to determine each image evaluation score corresponding to the N virtual field images
Service provision device.
상기 이미지 평가 신경망 모델은
이미지에 대응하는 점수 분포 쌍을 이용한 컨볼루션 뉴럴 네트워크 방식에 기초하여 생성되는 것을 특징으로 하는
서비스 제공 장치.The method of claim 7,
The image evaluation neural network model is
Characterized in that it is generated based on a convolutional neural network method using a score distribution pair corresponding to the image
Service provision device.
상기 추천 서비스 제공부는,
상기 평가 점수에 기초하여, 상기 사용자 이미지에 적합한 하나 이상의 화장 스타일을 결정하고, 상기 결정된 화장 스타일에 대응하는 화장 스타일 정보를 상기 사용자 단말로 제공하는
서비스 제공 장치.The method of claim 1,
The recommended service providing unit,
Based on the evaluation score, determining at least one makeup style suitable for the user image, and providing makeup style information corresponding to the determined makeup style to the user terminal
Service provision device.
상기 화장 스타일 정보는,
상기 결정된 화장 스타일에 대응하는 화장 스타일별 소스 이미지 정보와 상기 사용자 이미지를 합성한 하나 이상의 가상화장 이미지를 포함하는
서비스 제공 장치.The method of claim 9,
The above makeup style information,
Including one or more virtual field images obtained by combining source image information for each makeup style and the user image corresponding to the determined makeup style
Service provision device.
상기 화장 스타일 정보는,
상기 화장 스타일에 대응하는 인플루언서 영상 정보, 화장품 추천 정보 또는 구매 정보 중 적어도 하나를 포함하는
서비스 제공 장치.The method of claim 9,
The above makeup style information,
Including at least one of influencer video information, cosmetic recommendation information, or purchase information corresponding to the makeup style
Service provision device.
사용자 프로파일링 정보 및 상기 이미지 평가 점수 생성부의 이미지 평가 점수에 따른 화장법 별 순위 비교를 처리하는 화장법 비교 처리부;를 더 포함하고,
상기 추천 서비스 제공부는 상기 화장법 비교처리부의 순위 비교에 따라 결정된 일정 개수의 화장 스타일 정보를 제공하는
서비스 제공 장치.The method of claim 1,
A cosmetic method comparison processing unit for processing a ranking comparison for each cosmetic method according to the user profiling information and the image evaluation score of the image evaluation score generator; further comprising,
The recommendation service providing unit provides information on a certain number of makeup styles determined according to the ranking comparison of the makeup method comparison processing unit.
Service provision device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190026648A KR20200107472A (en) | 2019-03-08 | 2019-03-08 | An apparatus for providing recommendation services of personal makeup styles based on beauty scores |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190026648A KR20200107472A (en) | 2019-03-08 | 2019-03-08 | An apparatus for providing recommendation services of personal makeup styles based on beauty scores |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20200107472A true KR20200107472A (en) | 2020-09-16 |
Family
ID=72669908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190026648A KR20200107472A (en) | 2019-03-08 | 2019-03-08 | An apparatus for providing recommendation services of personal makeup styles based on beauty scores |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20200107472A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102520839B1 (en) * | 2022-08-29 | 2023-04-11 | 안재관 | Method and apparatus for providing hair virtual fitting service based on artificial intelligence algorithm |
-
2019
- 2019-03-08 KR KR1020190026648A patent/KR20200107472A/en not_active Application Discontinuation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102520839B1 (en) * | 2022-08-29 | 2023-04-11 | 안재관 | Method and apparatus for providing hair virtual fitting service based on artificial intelligence algorithm |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11080918B2 (en) | Method and system for predicting garment attributes using deep learning | |
KR102316079B1 (en) | GAN based interior design recommendation method and device | |
US11282256B2 (en) | Crowdshaping realistic 3D avatars with words | |
KR102465454B1 (en) | An apparatus and a method for generating virtual makeup beauty score by using AI recognition of facial features | |
US11461630B1 (en) | Machine learning systems and methods for extracting user body shape from behavioral data | |
US10818062B2 (en) | Crowdshaping realistic 3D avatars with words | |
KR102567266B1 (en) | Service providing device and method for artificial intelligence virtual makeup | |
Potamias et al. | Learning to generate customized dynamic 3D facial expressions | |
US20230177587A1 (en) | Diverse Cosmetic and Skin Care Product Matching System | |
KR20200107465A (en) | A method for providing recommendation services of personal makeup styles based on beauty scores | |
KR20200107469A (en) | A method for providing recommendation services of personal makeup styles based on beauty scores | |
KR20200107488A (en) | Virtual makeup composition processing method | |
KR20200107472A (en) | An apparatus for providing recommendation services of personal makeup styles based on beauty scores | |
KR20200107476A (en) | An apparatus for providing recommendation services of personal makeup styles based on beauty scores | |
CN115358807A (en) | Article recommendation method and device, storage medium and electronic equipment | |
CN117152566A (en) | Classification model training method, model, classification method and product | |
KR20200107502A (en) | Method for generating virtual makeup image score | |
KR102465453B1 (en) | A virtual makeup composition A.I. processing apparatus and a method using it | |
KR102520597B1 (en) | Product matching method considering market analysis and company needs | |
KR20200107486A (en) | Virtual makeup composition processing apparatus | |
KR20200107482A (en) | Virtual makeup composition processing apparatus | |
KR20200107473A (en) | An apparatus for providing recommendation services of personal makeup styles based on beauty scores | |
KR20200107466A (en) | A method for providing recommendation services of personal makeup styles based on beauty scores | |
KR20200107474A (en) | An apparatus for providing recommendation services of personal makeup styles based on beauty scores | |
KR20200107471A (en) | A method of user device for providing recommendation services of personal makeup styles based on beauty scores |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |