KR20200107469A - 뷰티 스코어 기반의 개인화된 화장 스타일 추천 서비스 제공 방법 - Google Patents

뷰티 스코어 기반의 개인화된 화장 스타일 추천 서비스 제공 방법 Download PDF

Info

Publication number
KR20200107469A
KR20200107469A KR1020190026645A KR20190026645A KR20200107469A KR 20200107469 A KR20200107469 A KR 20200107469A KR 1020190026645 A KR1020190026645 A KR 1020190026645A KR 20190026645 A KR20190026645 A KR 20190026645A KR 20200107469 A KR20200107469 A KR 20200107469A
Authority
KR
South Korea
Prior art keywords
image
information
makeup
user
evaluation
Prior art date
Application number
KR1020190026645A
Other languages
English (en)
Inventor
곽지훈
이상덕
송경민
안성권
Original Assignee
주식회사 에이아이네이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이아이네이션 filed Critical 주식회사 에이아이네이션
Priority to KR1020190026645A priority Critical patent/KR20200107469A/ko
Publication of KR20200107469A publication Critical patent/KR20200107469A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0267—Wireless devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명의 실시 예에 따른 서비스 제공 장치의 서비스 제공 방법은, 인터넷상의 화장 영상 정보를 수집하여, 화장 스타일별 이미지 정보가 매핑된 스타일 데이터베이스를 구축하는 단계; 사용자 이미지 및 조건 정보를 포함하는 입력 정보에 기초하여, 상기 스타일 데이터베이스로부터 추출되는 화장 스타일별 이미지 정보와 상기 사용자 이미지를 합성한 하나 이상의 가상화장 이미지를 생성하는 단계; 상기 가상화장 이미지에 대응되는 평가 정보를 결정하는 단계; 및 상기 평가 정보에 기초한 화장 스타일 추천 서비스를 사용자 단말로 제공하는 단계를 포함한다.

Description

뷰티 스코어 기반의 개인화된 화장 스타일 추천 서비스 제공 방법{A METHOD FOR PROVIDING RECOMMENDATION SERVICES OF PERSONAL MAKEUP STYLES BASED ON BEAUTY SCORES}
본 발명은 서비스 제공 방법에 관한 것이다. 보다 구체적으로, 본 발명은 뷰티 스코어 기반의 개인화된 화장 스타일 추천 서비스 제공 방법에 관한 것이다.
뷰티 산업(beauty industry)의 발전에 따라, 사용자의 화장품, 메이크업(make-up) 등에 대한 관심이 증가하고 있다. 이에 따라, 사용자의 화장품, 메이크업 등에 대한 욕구가 다양해지고 있는 추세이다. 예를 들어, 사용자 개인마다 피부 색상, 얼굴형, 이목구비의 생김새 등이 다양하기 때문에 개인에게 어울리는 메이크업이 다를 수 있다. 따라서, 사용자는 자신에게 어울리는 메이크업에 대한 선택의 어려움을 가질 수 있다. 또한, 사용자는 메이크업 후에 메이크업이 잘 된 것인지, 어떤 부분을 보완해야 하는지 궁금할 수 있다.
이러한 추세에 맞추어, 최근에는 사용자의 얼굴에 가상의 메이크업을 입혀주는 어플리케이션(application) 등이 개발되고 있다. 이 경우, 사용자의 호기심과 흥미를 유발할 수는 있으나, 어떤 메이크업이 사용자에게 어울리는지 개인이 판단해야 하는 한계가 있다. 즉, 현재 제공되는 뷰티 서비스의 경우에는 메이크업 전문가의 협업이 포함되지 않거나, 메이크업 전문가의 협업이 있다고 하더라도 한정적인 데이터에 기초하고 있다. 따라서, 사용자 개개인에 대한 맞춤형 서비스를 제공하기에는 어려움이 있다.
이러한 어려움을 해결하기 위해 최근에는 기계 학습 및 딥러닝 기술을 이용하여 패턴화된 이미지 분석을 처리하는 기술을 적용한 메이크업 평가 기술 등이 제안되며, 이는 맞춤형 서비스를 위하여 사용자들의 평가에 따라 점수화된 기준을 메이크업에 적용하여 자신의 메이크업 결과를 평가받는 서비스로서 제안되고 있다.
그러나, 이러한 기술들은 이미 완료된 메이크업의 결과만을 평가받을 수 있을 뿐, 현재 자신의 맨얼굴에 어울리는 화장법을 미리 알기가 어려운 실정이다.
또한, 화장법을 평가하거나, 미리 사전 분석하여 추천하기 위하여는 방대한 양의 메이크업 관련 데이터와 전문가 분석 정보가 요구되고 있으나, 이러한 방대한 데이터 수집 및 평가 방식 설정에는 과도한 비용 및 시간이 요구되고 있는 실정이다.
본 발명은 상기한 바와 같은 문제점을 해결하고자 안출된 것으로, 인터넷상에 기 업로드된 인플루언서들의 화장법 관련 영상 데이터들을 기반으로 화장법 정보를 추출 및 매핑하여 데이터베이스를 구성하고, 이를 이용한 가상화장 합성 및 뷰티 스코어 기반 평가에 따라 개인화된 화장법 추천 서비스를 제공하여, 사용자 편의성을 향상시키고, 인프라 구축 비용을 절감할 수 있는 서비스 제공 방법을 제공하는 데 그 목적이 있다.
상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 서비스 제공 장치의 서비스 제공 방법에 있어서, 인터넷상의 화장 영상 정보를 수집하여, 화장 스타일별 이미지 정보가 매핑된 스타일 데이터베이스를 구축하는 단계; 사용자 이미지 및 조건 정보를 포함하는 입력 정보에 기초하여, 상기 스타일 데이터베이스로부터 추출되는 화장 스타일별 이미지 정보와 상기 사용자 이미지를 합성한 하나 이상의 가상화장 이미지를 생성하는 단계; 상기 가상화장 이미지에 대응되는 평가 정보를 결정하는 단계; 및 상기 평가 정보에 기초한 화장 스타일 추천 서비스를 사용자 단말로 제공하는 단계를 포함한다.
또한, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 장치는, 서비스 제공 장치에 있어서, 인터넷상의 화장 영상 정보를 수집하여, 화장 스타일별 이미지 정보가 매핑된 스타일 데이터베이스; 사용자 이미지 및 조건 정보를 포함하는 입력 정보에 기초하여, 상기 스타일 데이터베이스로부터 추출되는 화장 스타일별 이미지 정보와 상기 사용자 이미지를 합성한 하나 이상의 가상화장 이미지를 생성하는 가상화장 합성부; 상기 가상화장 이미지에 대응되는 평가 정보를 결정하는 이미지 평가 점수 생성부; 및 상기 평가 정보에 기초한 화장 스타일 추천 서비스를 사용자 단말로 제공하는 추천 서비스를 제공부를 포함한다.
한편, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 사용자 단말 장치의 동작 방법에 있어서, 서비스 제공 장치로 사용자 이미지를 포함하는 사용자 정보를 전송하는 단계; 및 상기 서비스 제공 장치에서 인터넷상의 화장 영상 정보를 수집하여, 화장 스타일별 이미지 정보가 매핑된 스타일 데이터베이스를 구축하고, 사용자 이미지 및 조건 정보를 포함하는 입력 정보에 기초하여, 상기 스타일 데이터베이스로부터 추출되는 화장 스타일별 이미지 정보와 상기 사용자 이미지를 합성한 하나 이상의 가상화장 이미지를 생성하며, 상기 가상화장 이미지에 대응되는 평가 정보를 결정하여, 상기 평가 정보에 기초한 화장 스타일 추천 서비스 정보를 제공함에 따라, 상기 서비스 제공 장치로부터 수신되는 화장 스타일 추천 서비스 정보에 기초한 화장 스타일 추천 인터페이스를 출력하는 단계를 포함한다.
본 발명의 실시 예에 따르면, 인터넷상에 기 업로드된 인플루언서들의 화장법 관련 영상 데이터들을 기반으로 화장법 정보를 추출 및 매핑하여 데이터베이스를 구성하고, 이를 이용한 가상화장 합성 및 뷰티 스코어 기반 평가에 따라 개인화된 화장법 추천 서비스를 제공하여, 사용자 편의성을 향상시키고, 인프라 구축 비용을 절감할 수 있다.
또한, 본 발명의 실시 예에 따르면, 사용자가 자신의 맨 얼굴 이미지만 입력하면 뷰티 스코어가 높은 적절한 인플루언서들의 화장법에 따른 합성 이미지들을 추천받고, 관련 화장법 정보를 제공받을 수 있게 됨으로써 사용자가 편리하게 영상 인플루언서들의 화장 스타일들을 취사 선택할 수 있다.
또한, 본 발명의 실시 예에 따르면 이러한 화장 스타일 추천 서비스를 통해, 어울리는 화장법 및 인플루언서 정보 뿐만 아니라, 인플루언서의 화장에 이용되는 제품 및 구매 링크를 제공함으로써, 신규 수요를 창출할 수 있으며 서비스 접근성과 편의성을 크게 향상시킬 수 있다.
도 1 은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 개념도이다.
도 2는 본 발명의 실시 예에 따른 서비스 제공 장치를 보다 구체적으로 도시한 블록도이다.
도 3은 본 발명의 실시 예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시 예에 따른 사용자 단말에서의 사용자 인터페이스의 순차적 변화를 설명하기 위한 도면이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 개념도이다.
본 발명의 일 실시 예에 따른 화장 스타일 추천 서비스 제공을 위한 전체 시스템은 사용자 단말(10) 및 서비스 제공 장치(1000)를 포함할 수 있다.
특히, 서비스 제공 장치(1000)는 본 발명의 실시 예에 따른 화장 스타일 추천 서비스 제공을 위해, 단말(10)과 유/무선 네트워크를 통해 연결될 수 있으며, 상호간 통신을 수행할 수 있다.
여기서 상기 각 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 개인 근거리 무선통신(Personal Area Network; PAN), 이동 통신망(mobile radiocommunication network) 또는 위성 통신망 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.
그리고, 사용자 단말(10)은 컴퓨터, 휴대폰, 스마트 폰(smart phone), 스마트 패드(smart pad), 노트북 컴퓨터(laptop computer), PDA(Personal Digital Assistants), PMP(Portable Media Player) 중 어느 하나의 개별적 기기, 또는 특정 장소에 설치되는 키오스크 또는 거치형 디스플레이 장치와 같은 공용화된 디바이스 중 적어도 하나의 멀티 디바이스일 수 있으며, 서비스 제공 장치(1000)로 사용자 정보를 제공하고, 서비스 제공 장치(1000)로부터 처리된 정보를 수신하여 출력할 수 있다.
이와 같은 시스템 구성에 있어서, 서비스 제공 장치(1000)는, 먼저 인터넷상의 영상 정보로부터 화장 스타일 데이터베이스 구성을 위한 영상 정보를 수집하고, 수집된 영상 정보로부터 소스 이미지 추출 및 매핑 처리를 수행하여 스타일 데이터베이스를 구축할 수 있다.
여기서, 영상 정보는 구독자수가 일정 수 이상인 뷰티 인플루언서들의 화장 영상 정보일 수 있으며, 이는 유투브, 페이스북, 텀블러, 트위치, 네이버, 카카오 등의 다양한 영상 업로드 사이트로부터 크롤링되어 추출되는 영상 정보를 포함할 수 있다.
그리고, 서비스 제공 장치(1000)는 수집된 영상 정보에 대응하는 소스 이미지들을 캡쳐 추출할 수 있으며, 소스 이미지는 예를 들어, 화장 전, 후가 등장하는 인플루언서의 화장 전 후 이미지를 포함할 수 있다.
이에 따라, 서비스 제공 장치(1000)는 수집된 영상 정보로부터 추출된 소스 이미지에 기초한 화장 스타일을 결정할 수 있는 바, 이를 위해 미리 학습된 화장 스타일 신경망에 기초한 이미지 분석 기술이 이용될 수 있다. 그리고, 서비스 제공 장치(1000)는 결정된 화장 스타일에 대응하는 이미지 정보를 저장 등록하여, 화장 스타일 데이터베이스를 구축할 수 있다.
한편, 서비스 제공 장치(1000)는 사용자 단말(10)로부터 사용자 정보를 수신하여 등록하고, 사용자 입력 정보로서 사용자 이미지 정보 및 기타 조건 설정 정보를 획득하여, 사용자의 맨얼굴에 대응하여 적합한 화장 스타일을 추천하기 위한 추천 정보를 사용자 단말(10)로 제공할 수 있다.
이를 위해, 서비스 제공 장치(1000)는 사용자 이미지 정보에 대응한 가상화장 합성 처리, 이미지 평가점수 생성 및 비교 분석 처리를 수행할 수 있으며, 비교 분석 결과에 따른 하나 또는 그 이상의 화장 스타일 정보 또는 가상합성 결과 정보를 사용자 단말(10)로 제공할 수 있다.
이에 따라, 사용자 단말(10)은 서비스 제공 장치(1000)로 사용자 이미지를 포함하는 사용자 정보를 전송함에 따라, 상기 서비스 제공 장치(1000)로부터의 응답으로 수신되는 화장 스타일 추천 서비스 정보에 기초한 화장 스타일 추천 인터페이스를 출력하여, 화장 스타일 추천 서비스 정보를 사용자에게 제공할 수 있다.
특히, 사용자 단말(10)에서는 화장 스타일 추천 서비스 어플리케이션 등을 통해 상기 서비스 제공 장치(1000)로부터 상기 화장 스타일 정보 및 가상합성 결과 정보를 포함하는 추천 서비스 정보를 수신하여 인터페이스를 통해 출력할 수 있다.
예를 들어, 사용자 단말(10)은 입력된 실제 사용자의 맨 얼굴 이미지에 인플루언서 등의 화장 스타일이 합성된 가상화장 이미지 중 뷰티 스코어가 높은 이미지들을 추천할 수 있으며, 이 중 사용자 선택된 이미지에 대응하는 화장 스타일 정보로서, 인플루언서 영상 정보, 화장품 추천 정보 또는 구매 링크 정보 중 적어도 하나를 출력할 수 있다.
이에 따라, 본 발명의 실시 예에 따르면 추천 서비스를 통해 사용자가 편리하게 영상 인플루언서들의 화장 스타일들을 취사 선택할 수 있으며, 신규 수요를 창출할 수 있고 서비스 접근성과 편의성을 크게 향상시킬 수 있다.
특히, 이러한 서비스 제공을 위하여, 본 발명의 실시 예에 따른 서비스 제공 장치(1000)는 가상화장 합성 및 이미지 평가점수 결정에 있어서, 최종적으로 사용자 얼굴에 잘 어울리는 화장을 추천하기 위한 가상화장합성 신경망과 이미지평가신경망을 순환적용 처리할 수 있는 바, 이에 대하여는 보다 구체적으로 후술하도록 한다.
도 2는 본 발명의 실시 예에 따른 광고 서비스 제공 장치를 보다 구체적으로 설명하기 위한 블록도이다.
도 2를 참조하면, 본 발명의 실시 예에 따른 서비스 제공 장치(1000)는, 가상화장 합성부(100), 이미지 평가점수 생성부(200), 사용자 정보 관리부(300), 입력 정보 획득부(350), 수집 정보 처리부(500), 조건별 화장법 후보 추출부(700), 스타일 데이터베이스(600), 화장법 비교 처리부(400) 및 추천 서비스 제공부(900)를 포함한다.
먼저, 수집 정보 처리부(500)는, 인터넷 영상 정보로부터 화장 스타일 데이터베이스(600) 구성을 위한 영상 정보를 수집한다.
앞서 설명한 바와 같이, 영상 정보는 구독자수가 일정 수 이상인 뷰티 인플루언서들의 화장 영상 정보일 수 있으며, 이는 유투브, 페이스북, 텀블러, 트위치, 네이버, 카카오 등의 다양한 영상 업로드 사이트로부터 크롤링되어 추출되는 영상 정보를 포함할 수 있다.
예를 들어, 영상 정보 수집을 위해, 수집 정보 처리부(500)는, 소스 인물 이미지(화장전후가 등장하는 인터넷 뷰티 동영상에서의 화장 후 영상)와 소스 인물 화장전 이미지를 각각 크롤링 캡처할 수 있으며, 화장 스타일 데이터베이스(600)는 캡쳐된 이미지들을 이용한 신경망 학습에 따라 구축될 수 있다.
이에 따라, 화장 스타일 데이터베이스(600)는 수집된 영상 정보로부터의 소스 이미지 추출 및 매핑 처리를 수행하여 구축된 데이터베이스를 저장 및 관리할 수 있으며, 조건별 화장법 후보 추출부(700)의 요청에 따른 화장 스타일 및 소스 이미지를 제공할 수 있다.
한편, 사용자 정보 관리부(300)는, 사용자 단말(10)로부터 입력되는 입력 정보에 따라 등록 처리를 수행하고, 사용자의 사용 이력 정보, 유사 사용자의 사용 이력 정보 및 사용자 선호 정보 등을 매핑하여 저장 및 관리할 수 있다.
또한, 사용자 정보 관리부(300)는 얼굴 사진을 활용한 프로파일링(특징 분석), 뷰티스코어 평가 및 피드백을 통한 사용자 유형 분류, 유사 사용자 군집을 통한 프로파일링(협업필터링) 및 서비스 사용 패턴을 통한 프로파일링 등을 처리함으로써, 추천 서비스를 위한 데이터를 구축할 수 있다.
그리고, 입력 정보 획득부(350)는 사용자 정보 관리부(300)에서 관리되는 사용자 정보와, 사용자 단말(10)로부터 입력된 사용자 입력 정보에 따라, 추천할 화장법 후보를 선별하기 위한 입력 정보를 획득할 수 있다.
예를 들어, 사용자 단말(10)은 사용자의 맨 얼굴 이미지와 명시적 조건 정보(기간 한정, 화장법 인기도, 상황 지정 등)와 키워드 정보(검색, 필터링, 추천) 을 포함하는 사용자 입력 정보를 서비스 제공 장치(1000)로 전송할 수 있으며, 서비스 제공 장치(1000)는 수신된 사용자 입력 정보와 사용자 정보 관리부(300)의 관리 정보에 기초한 입력 정보를 결정하고, 결정된 입력 정보는 조건별 화장법 후보 추출부(700) 및 가상화장 합성부(100)로 전달될 수 있다.
그리고, 가상화장 합성부(100)는 조건별 화장법 후보로부터 결정된 화장 스타일 및 소스 이미지에 기초하여, 사용자 얼굴 이미지에 대한 하나 또는 그 이상의 가상합성 처리를 수행할 수 있다.
이를 위해, 가상화장 합성부(100)는 인공 신경망 학습 처리를 통해, 화장 스타일별 소스 이미지와 사용자 이미지간의 이미지 합성 처리를 수행할 수 있으며, 이를 위해, 소스 인물 이미지에서 화장 스타일 적용 부분을 추출하여 타겟 인물 이미지에 적용하는 프로세스를 수행할 수 있다.
특히, 이러한 신경망 구축을 위해 최근 대두되는 쌍 순환 경쟁적 생성 네트워크 방식(PairedCycleGAN)의 비지도 학습 방식이 이용될 수 있다.
특히, GAN(Generative Adversarial Network) 방식은 딥러닝을 이용하여, 이미지를 생성하는 네트워크로서 서로 다른 두 개의 깊은 신경망 D(Discriminator)와 G(Generator)를 학습시켜, 좋은 성능의 감별사 네트워크와 그것을 속이는 생성자 네트워크를 경쟁시킴으로써, 학습 효과를 극대화할 수 있게 하는 방식을 의미할 수 있다.
또한, Paired CycleGAN(H. Chang, et al.)은 이를 가상 화장 합성에 적용하여 Makeup Transfer 또는 Style Transfer 를 처리하게 하는 방식으로 제안된 것으로서, 가상 메이크업(가상 화장 합성) 네트워크와 화장을 지우는 네트워크의 쌍을 경쟁적으로 학습시켜, 그 성능을 서로 보완하게 함으로써 자연스러운 가상 화장 합성 효과를 얻을 수 있다.
그리고, 본 발명의 실시 예에 따르면 가상화장 합성부(100)는 보다 자연스러운 합성을 위하여, 상기 PairedCycleGAN 방식 적용시 얼굴을 영역별로 부분 분할하는 개별 학습 프로세스를 수행할 수 있다.
이후, 이미지 평가점수 생성부(200)는, 가상합성된 하나 또는 복수개의 합성 이미지들에 대한 이미지 평가 점수를 생성할 수 있으며, 이를 위해, 평가하고자 종류의 이미지와 평가하고자 하는 특성에 대한 점수 쌍(이미지, 점수)을 신경망에 학습시킨 신경망으로 구축된 학습 모델을 이용할 수 있다.
보다 구체적으로, 이미지 평가점수 생성부(200)는, 이미지 평가 점수를 측정하기 위해, 신경망 학습 모델을 구축할 수 있는 바, 얼굴 이미지와 뷰티 스코어의 쌍을 사용하여 신경망 네트워크 학습 모델을 생성할 수 있으며, 생성된 모델을 이용하여, 새로운 얼굴 이미지 입력에 대응하는 이미지 평가 점수를 출력할 수 있다.
특히, 기존 기술과 같이 사람이 평가한 점수들의 평균값 등으로 단순 학습하는 경우, 사람마다의 성향 차이로 인해, 같은 이미지에서도 다른 점수들이 평가되어 발생되는 부정확성을 극복할 수 없다. 따라서, 본 발명의 실시 예에 따른 이미지 평가점수 생성부(200)는 단순 평균 연산이 아닌 점수 분포(Score Distribution Vector)값을 이미지와 쌍으로 매칭하여 학습 모델을 생성할 수 있으며, 이는 여러 사람의 전반적 성향에 의한 점수 특징(Score Feature)을 학습할 수 있게 되므로, 더욱 정확한 이미지 평가 점수를 예측할 수 있게 된다.
예를 들어, 본 발명의 실시 예에 따른 이미지 평가점수 생성부(200)는 이미지평가점수 생성 신경망을 구축함에 있어서, (이미지, 점수 분포) 쌍을 학습시킴으로써 학습 효과를 향상시킬 수 있는 바, 이는 기존의 기존 (이미지, 점수 평균) 쌍을 학습시키는 것에 비하여, 보다 정확한 이미지 평가 점수를 결정할 수 있게 하는 것이다.
여기서, 이미지 평가 점수는 뷰티스코어(정량적 뷰티 평가)에 따라 결정될 수 있으며, 이미지 평가를 위해, 얼굴 랜드마크를 통한 학습/평가, 얼굴 자동 군집 분류 및 유사도 측정 평가, 얼굴각도 측정 및 필터링 평가, 개별 특성(피부톤/비례 등) 학습/개별 특성별 평가 및 평가자 자동 군집 분류 및 유사도 측정 평가 중 적어도 하나에 처리가 수행될 수 있다.
보다 구체적으로, 정확하고 일정한 뷰티스코어를 측정하기 위해서는 얼굴의 정확한 정면 이미지를 사용하여야 하나, 이미지 평가점수 생성부(200)는 사용자의 사진 이미지로부터 얼굴각도 측정 및 필터링을 수행하여, 일정 각도 벗어나더라도 얼굴의 특징 값을 추출하고 이에 기반한 뷰티스코어를 결정할 수 있다.
예를 들어, 이미지 평가점수 생성부(200)는 사용자의 입력 이미지에 대응하는 뷰티스코어를 측정하기 전에, 미리 구축된 얼굴 각도 측정 신경망 모델을 이용하여, 얼굴이 바라보는 각도를 예측할 수 있으며, 예측된 각도가 정면에서 일정 각도 이상 벗어난 경우에만 필터링 처리함에 따라, 뷰티스코어가 결정 가능한 정면 이미지들을 추출할 수 있다.
이를 위해, 이미지 평가점수 생성부(200)는 얼굴의 3차원 X, Y, Z 각도에 대응하는 CNN(Convolutional Neural Network)과 MLP(Multi Layer Perceptron)로 구성되는 인공지능 신경망 모델을 구축하고, 이를 이용한 얼굴 각도의 필터링 처리를 수행할 수 있다.
또한, 이미지 평가점수 생성부(200)는 이미지 평가를 위한 인공지능 신경망 모델 구축에 있어서, 다양한 얼굴의 개별 특징 요소들을 별도 분류하여 학습하게 할 수 있다.
개별 특징 요소들은 예를 들어, 얼굴의 특정 요소에 대응하는 비율 정보, 길이 정보, 각도 정보 또는 위치 정보 중 적어도 하나일 수 있으며, 이는 얼굴 이미지와 함께 학습 처리됨으로써, 뷰티 스코어 평가에 반영되도록 할 수 있다.
특히, 사람과 달리 단순 얼굴 이미지로만 학습된 인공지능 네트워크는 얼굴 요소의 비율 특징(턱선의 각도, 이마의 길이, 눈과 미간의 비율 등)에 대한 고려는 하지 못하는 경향이 있는데, 본 발명의 실시 예에 따른 이미지 평가점수 생성부(200)는 이러한 문제점을 해결함으로써 사람이 판별하는 다양한 미의 기준을 학습시키고, 이에 따른 정확한 뷰티스코어를 산출할 수 있다.
그리고, 화장법 비교 처리부(400)는, 사용자 프로파일링 정보 및 이미지 평가 점수에 따른 화장법 별 순위 비교를 처리할 수 있다.
그리고, 추천 서비스 제공부(900)는 비교 처리 결과에 기초한 추천 서비스를 제공할 수 있는 바, 이는 순위 비교에 따라 결정된 일정 개수의 화장 스타일 정보를 포함할 수 있다.
또한, 추천 서비스 제공부(900)는 얼굴 이미지 분석 기반 추천, 유형/컬러/피부에 따른 Rule-based 추천, 피부에 따른 Rule-based 추천 서비스를 제공할 수 있으며, 사용자 프로파일링 기반 사용자 유형별 예측 추천 서비스와, 뷰티스코어 기반 뷰티스코어를 극대화하는 추천 서비스 등 다양한 부가 서비스를 제공할 수 있다.
또한, 추천 서비스 제공부(900)는 추천 서비스에 의해 연계되는 인플루언서 영상 정보와, 화장품 추천 및 구매 연동 프로세스를 제공할 수 있는 바, 이에 대하여는 보다 구체적으로 후술하도록 한다.
한편, 추천 서비스 제공부(900)는 사용자 정보 관리부(300)에서 수집되는 사용자 이미지에 대한 얼굴 분석 서비스를 제공할 수 있으며, 얼굴 분석 서비스는 예를 들어, 얼굴 정보 제공 서비스, 인물 간 유사도 정보 제공 서비스 및 유사 인플루언서 매칭 서비스를 포함할 수 있다. 그리고, 추천 서비스 제공부(900)는 이를 위해, 얼굴 분석을 위한 인공지능 학습 모델을 구축할 수 있다.
먼저 얼굴 정보 제공 서비스를 위해, 추천 서비스 제공부(900)는 사용자 이미지로부터 얼굴의 1차적 정보를 컴퓨터 비전 기술을 이용하여 추출하여 이용할 수 있으며, 추출된 정보는 상기 학습 모델의 추가적인 학습대상으로 이용될 수 있다. 예를 들어, 추천 서비스 제공부(900)는 얼굴의 피부 색을 카테고리화 처리할 수 있으며, 처리된 정보는 사용자 단말(10)로 제공될 수 있다.
또한, 추천 서비스 제공부(900)는 유사도 정보 제공 서비스를 위해, 얼굴 유사도 측정 네트워크 기반의 인물 간 얼굴 유사도 분석 처리를 수행할 수 있다.
예를 들어, 추천 서비스 제공부(900)는 triplet loss 함수 기반 얼굴 이미지 학습 프로세스를 수행하여 선택된 인물과 사용자 이미지간의 얼굴 유사도를 측정하는 서비스를 제공할 수 있다.
그리고, 추천 서비스 제공부(900)는 이와 같은 얼굴 유사도 측정값에 기초하여 사용자와 비슷한 얼굴의 인물 등을 색인할 수 있는 바, 유사한 특정 인플루언서를 색인하여, 그 인플루언서의 메이크업을 사용자에게 어울리는 메이크업으로서 자동 추천하는 서비스를 제공할 수도 있다.
예를 들어, 추천 서비스 제공부(900)는 유사 스타/인플루언서 매칭 서비스를 제공할 수 있으며, 이는 전술한 인물 간의 얼굴 유사도를 측정하는 네트워크를 이용하여 사용자와의 유사도가 일정 값 이상인 스타 또는 인플루언서를 색인하여 제공하는 서비스를 포함할 수 있다.
이에 따라, 추천 서비스 제공부(900)는 사용자에게 가장 잘 어울리는 메이크업 무엇인지를 가장 닮은 스타 및 인플루언서의 화장법을 통해 알려주는 서비스를 사용자 단말(10)로 제공할 수 있게 된다.
또한, 추천 서비스 제공부(900)는 사용자 정보 관리부(300)의 사용자 프로파일링 정보에 기초하여, 세분화된 화장 스타일 관련 정보를 제공할 수 있다.
예를 들어, 추천 서비스 제공부(900)는 사용자를 평가자 분류 처리하여, 평가자 분류에 대응하는 유사도에 따른 화장 스타일 관련 정보를 제공할 수 있다.
이를 위해, 본 발명의 실시 예에 따른 추천 서비스 제공부(900)는 평가자와 선호 모델과의 관계를 CBOW(Continuous Bag of Word) 또는 Skip-Gram과 같은 학습 알고리즘을 이용하여 다차원 공간의 벡터로 임베딩(embedding)하여 평가자의 분류(Clustering) 처리와 함께, 평가자의 선호 모델 정보를 함께 학습시킬 수 있다. 이에 따사, 추천 서비스 제공부(900)는 사용자 정보에 기초한 평가자 분류 처리를 수행하여, 분류된 평가자의 성향에 맞는 화장 스타일, 인플루언서 정보 또는 화장품 정보 등을 추천하는 평가자 성향 추천 정보를 사용자 단말(10)로 제공할 수 있다.
또한, 추천 서비스 제공부(900)는 앞서 수행한 얼굴 분석 정보에 기초하여, 사용자의 퍼스널 컬러 정보를 결정할 수 있으며, 퍼스널 컬러 정보에 따른 적절한 색조 화장품을 추천하기 위한 색조 화장품 정보를 사용자 단말(10)로 제공할 수도 있다.
예를 들어, 추천 서비스 제공부(900)는 사용자의 피부 톤에 맞는 색조 화장품을 추천해주는 추천 서비스를 제공할 수 있다. 이를 위해, 추천 서비스 제공부(900)는 피부 톤 정보를 카테고리화하고, 카테고리화된 피부 톤 정보와 매칭되는 색조 화장품들을 연결한 피부톤 데이터베이스를 학습 프로세스에 의해 구성할 수 있다. 학습 프로세스로는 다층 퍼셉트론(Multy Layer Perceptorn) 기반 딥러닝 알고리즘 처리가 예시될 수 있으며, 이를 이용하여 피부 톤과 이에 색조화장품간 매칭 처리를 수행할 수 있다.
한편, 추천 서비스 제공부(900)는 이미지와 화장품을 매칭하기 위한 매칭 데이터베이스를 딥 러닝 방식으로 구축하고, 기초하여 입력된 사진이 사용한 화장품 정보를 식별하여 출력하는 화장품 추천 서비스를 제공할 수도 있다. 예를 들어, 추천 서비스 제공부(900)는 사진 이미지로부터 추출되는 화장품의 톤과 실제 화장품 톤을 매칭하는 딥 러닝 학습 프로세스를 수행하여, 사용자로부터 입력된 사진에 대응하는 화장품 정보를 식별하여 사용자 단말(10)로 제공하는 추천 서비스를 제공할 수도 있다.
그리고, 추천 서비스 제공부(900)는 전술한 이미지 평가 접수(뷰티 스코어)를 기초로 하는 화장품 정보 추쳔 서비스를 제공할 수 있는 바, 예를 들어 추천 서비스 제공부(900)는 특정 색조 화장품의 색을 사용자 이미지에 입혀봤을 경우와 그렇지 않았을 때의 차이를 뷰티스코어를 기반으로 산출하여, 가장 높은 차이를 가져오는 일정 개수의 맞춤형 화장 스타일과 화장품을 식별하고, 식별된 화장 스타일 정보 및 화장품 정보를 사용자 단말(10)로 제공할 수 있다.
도 3은 본 발명의 실시 예에 따른 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 본 발명의 실시 예에 따른 서비스 제공 장치(1000)는 먼저 인터넷 영상 정보로부터 소스 이미지를 추출 수집하고(S1001), 수집된 이미지와, 상기 이미지로부터 인공 신경망 기반으로 추출되는 화장법 정보를 매핑 처리하여 데이터베이스(600)를 구축한다(S1003).
이를 위해, 서비스 제공 장치(1000)는 수집 정보 처리부(500)를 통해 인터넷상의 다양한 뷰티 동영상으로부터 화장 전과 화장 후 사진 이미지들을 크롤링 캡쳐 처리하며, 처리된 이미지에 화장 스타일(또는 화장법) 정보를 매핑 처리하기 위한 인공 신경망 학습 프로세스를 수행하여, 스타일 데이터베이스(600)를 구축할 수 있다.
예를 들어, 서비스 제공 장치(1000)는 수집된 영상 정보로부터 추출된 소스 이미지에 기초한 화장 스타일을 결정할 수 있는 바, 이를 위해 미리 학습된 화장 스타일 신경망에 기초한 이미지 분석 기술을 이용할 수 있다. 그리고, 서비스 제공 장치(1000)는 결정된 화장 스타일에 대응하는 이미지 정보를 저장 등록하여, 화장 스타일 데이터베이스를 구축할 수 있다.
그리고, 서비스 제공 장치(1000)는 사용자 단말(10)로부터 수신되는 사용자 정보를 사용자 정보 관리부(300)를 통해 등록할 수 있으며, 사용자 단말(10)로부터의 요청에 따른 입력 정보를 획득할 수 있다(S1005).
이후, 서비스 제공 장치(1000)는 사용자 정보에 기초하여, 데이터베이스로부터 추출된 조건별 화장법 정보에 대응하는 가상화장 이미지 합성 처리를 수행할 수 있으며(S1007), 이미지 인식 학습 신경망을 이용하여 가상화장 이미지별 평가 점수를 결정할 수 있다(S1009).
이를 위해, 서비스 제공 장치(1000)는 이미지 평가점수 생성부(200)를 통해 평가를 위한 이미지 평가 모델 학습 처리를 수행할 수 있으며, 이미지 평가 모델 학습에는 컨볼루션 뉴럴 네트워크(CNN) 방식이 이용되는 것이 바람직하다.
또한, 평가를 위한 가상화장 모델 이미지 합성을 위하여, 가상화장 합성부(100)는 전술한 쌍 순환 경쟁 생성 네트워크(Paired CycleGAN) 방식에 기초한 가상화장 합성 학습 모델을 생성할 수 있다.
그리고, 서비스 제공 장치(1000)는 이와 같이 구축된 모델들을 이용하여, 먼저 조건별 화장법 후보 추출부(700)를 통해 스타일 데이터베이스(600)로부터 미리 설정된 특정 개수(N)의 사용자 조건별 화장법 후보 리스트를 추출할 수 있다.
가상화장 합성부(100)는 추출된 화장법 후보 리스트별 화장 스타일 이미지와 사용자의 이미지를 가상화장 합성 처리한 N개의 후보 이미지들을 생성하여, 이미지 평가점수 생성부(200)로 전달할 수 있다.
이에 따라, 이미지 평가점수 생성부(200)에서는 각 N개의 후보 이미지들에 대응하는 이미지 평가점수를 전술한 이미지 평가 모델을 이용하여 결정할 수 있다.
이후, 서비스 제공 장치(1000)는 화장법 비교 처리부(400)를 통해, 상기 평가 점수에 기초한 화장법 비교 처리를 수행할 수 있으며(S1011), 추천 서비스 제공부(900)를 통해, 비교 결과에 따른 추천 서비스를 사용자 단말(10)로 제공할 수 있다.
도 4는 본 발명의 실시 예에 따른 사용자 단말에서의 사용자 인터페이스의 순차적 변화를 설명하기 위한 도면이다.
도 4를 참조하면, 본 발명의 실시 예에 따른 추천 서비스 제공부(900)는 사용자 단말(10)로 화장 스타일 추천 인터페이스를 제공할 수 있는 바, 이는 사용자 단말(10)에 설치된 어플리케이션 등을 통해 출력되는 그래픽 유저 인터페이스의 형태로 제공될 수 있다.
먼저 도 4(A)는 화장법 추천을 위한 이미지 분석 정보 인터페이스를 도시한 것으로, 추천 서비스 제공부(900)는 사용자 단말(10)을 통해, 이미지 분석 정보 인터페이스를 통해 사용자의 얼굴 이미지를 촬영 입력하게 할 수 있으며, 입력된 얼굴 이미지에 대응하는 분석 정보와, 이미지 평가 점수 정보를 제공할 수 있고, 사용자로부터 평가 점수를 입력받아 학습 데이터 구축에 반영시킬 수 있다.
그리고, 도 4(B)는 가상화장 인터페이스를 도시한 것으로, 추천 서비스 제공부(900)는 사용자 단말(10)을 통해, 가상화장 이미지 합성부(100)에서 처리된 가상화장 이미지 중 이미지 평가점수 생성부(200)에서의 평가 점수가 높은 일정 개수의 가상화장 합성 이미지들 및 화장 스타일 정보를 출력하게 할 수 있다.
여기서, 사용자는 가상화장 합성 이미지들을 참조하여, 추천 메이크업 스타일을 선택할 수 있으며, 도 4(C)에 도시된 바와 같이 선택된 메이크업 스타일에 대응하는 인플루언서 영상 정보가 사용자 선택에 따라 제공될 수 있다. 이를 위해, 추천 서비스 제공부(900)는 인플루언서 영상 정보에 대응하는 영상 링크 정보를 스타일 데이터베이스(600)로부터 획득하여 사용자 단말(10)로 제공할 수 있다.
예를 들어, 도 4(C)에 도시된 바와 같이, 사용자가 선택한 스타일에 대응하는 인플루언서의 화장법 영상 정보가 사용자 단말(10)을 통해 출력될 수 있다.
한편, 도 4(D) 및 도 4(E)는 화장품 추천 및 구매 연동 기능 인터페이스를 도시한 것으로, 본 발명의 실시 예에 따른 추천 서비스 제공부(900)는 사용자 프로파일링 정보 및 얼굴 이미지 분석에 따른 화장품 정보를 추천할 수 있으며, 또한 전술한 인플루언서 영상에서 이용된 화장품 정보가 추천될 수도 있다.
특히, 추천 서비스 제공부(900)는 화장법 전체의 구성과 얼굴 각부분별 화장 상태(피부, 색)을 고려하여 전체 화장법에서 부분화장에 유사한 효과를 내는 부분별 화장품 후보를 추천하고, 이를 판매하는 쇼핑몰에 연동시킬 수 있다.
또한, 추천 서비스 제공부(900)는 영상 내에 명시적으로 화장품에 대응하는 키워드 정보 또는 화장품 포장/용기가 노출되었을 경우, 키워드 또는 화장품 포장/용기를 이미지 인식하여, 우선적으로 추천하는 프로세스를 제공할 수도 있다.
그리고, 추천 서비스 제공부(900)는 사용자가 선택한 제품에 대응하는 구매 서비스를 제공하거나, 제품 판매자 사이트와의 구매 연동 기능을 제공함으로써, 사용자가 바로 자신의 화장 스타일에 맞는 제품들을 확인하고 구매할 수 있도록 처리할 수 있다. 이를 위해, 추천 서비스 제공부(900)는 별도의 구매 모듈 및 결제 모듈을 구비하거나, 쇼핑 사이트 연동 모듈을 더 구비할 수도 있다.
상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
10 : 사용자 단말 100 : 가상화장 합성부
200 : 이미지 평가점수 생성부 300 : 사용자 정보 관리부
350 : 입력 정보 획득부 400 : 화장법 비교 처리부
500 : 수집 정보 처리부 600 : 스타일 데이터베이스
700 : 조건별 화장법 후보 추출부 900 : 추천 서비스 제공부
1000 : 서비스 제공 장치

Claims (9)

  1. 서비스 제공 장치의 서비스 제공 방법에 있어서,
    인터넷상의 화장 영상 정보를 수집하여, 화장 스타일별 이미지 정보가 매핑된 스타일 데이터베이스를 구축하는 단계;
    사용자 단말로부터 사용자 이미지 및 조건 정보를 포함하는 사용자 정보를 입력받는 단계;
    사용자 이미지 및 조건 정보를 포함하는 입력 정보에 기초하여, 상기 스타일 데이터베이스로부터 추출되는 화장 스타일별 이미지 정보와 상기 사용자 이미지를 합성한 하나 이상의 가상화장 이미지를 생성하는 단계;
    상기 가상화장 이미지에 대응되는 평가 정보를 결정하는 단계;
    상기 평가 정보를 결정하는 단계에서 결정된 이미지 평가 점수 및 사용자 프로파일링 정보에 따른 화장법 별 순위 비교를 처리하는 화장법 비교 처리단계; 및
    상기 화장법 비교처리부의 순위 비교에 따라 결정된 일정 개수의 화장 스타일 추천 정보를 사용자 단말로 제공하는 추천 서비스를 사용자 단말로 제공하는 단계; 를 포함하되,
    상기 화장 스타일 정보는,
    상기 결정된 화장 스타일에 대응하는 화장 스타일별 소스 이미지 정보와 상기 사용자 이미지를 합성한 하나 이상의 가상화장 이미지를 포함하고,
    상기 화장 스타일에 대응하는 인플루언서 영상 정보, 화장품 추천 정보 또는 구매 정보 중 적어도 하나를 포함하는
    서비스 제공 방법.
  2. 제1항에 있어서,
    상기 스타일 데이터베이스를 구축하는 단계는,
    상기 화장 영상 정보에 대응하는 소스 이미지들을 크롤링 캡쳐하여 추출하는 단계를 포함하는
    서비스 제공 방법.
  3. 제2항에 있어서,
    상기 추출하는 단계는,
    상기 화장 영상 정보의 신경망 기반 영상 분석에 따라 화장 전 이미지와, 화장 후 이미지를 식별하고, 상기 식별된 화장 전 이미지와 상기 화장 후 이미지를 특정 인플루언서의 화장 스타일에 대응하는 상기 소스 이미지로 결정하는 단계를 포함하는
    서비스 제공 방법.
  4. 제1항에 있어서,
    상기 가상화장 이미지를 생성하는 단계는,
    상기 입력 정보에 따라 미리 설정된 N개의 화장 스타일별 이미지 정보와 상기 사용자 이미지를 합성한 N개의 가상화장 이미지를 생성하는 단계를 포함하는
    서비스 제공 방법.
  5. 제4항에 있어서,
    상기 가상화장 이미지를 생성하는 단계는,
    부분 얼굴 이미지별로 미리 학습된 신경망 모델에 기초한 가상화장 합성 처리를 수행하는 단계를 포함하는
    서비스 제공 방법.
  6. 제5항에 있어서,
    상기 신경망 모델은 쌍 순환 경쟁 생성 네트워크(PairedCycleGAN) 방식에 기초하여 생성되는 것을 특징으로 하는
    서비스 제공 방법.
  7. 제4항에 있어서,
    상기 평가 정보를 결정하는 단계는,
    이미지 평가 신경망 모델을 이용하여, 상기 N개의 가상화장 이미지에 대응하는 각각의 이미지 평가점수를 결정하는 단계를 포함하는
    서비스 제공 방법.
  8. 제7항에 있어서,
    상기 이미지 평가 신경망 모델은
    이미지에 대응하는 점수 분포 쌍을 이용한 컨볼루션 뉴럴 네트워크 방식에 기초하여 생성되는 것을 특징으로 하는
    서비스 제공 방법.
  9. 제8에 있어서,
    상기 이미지 평가 점수는 뷰티스코어(정량적 뷰티 평가)에 따라 결정되며, 이미지 평가를 위해, 얼굴 랜드마크를 통한 학습/평가, 얼굴 자동 군집 분류 및 유사도 측정 평가, 얼굴각도 측정 및 필터링 평가, 개별 특성(피부톤/비례 등) 학습/개별 특성별 평가 및 평가자 자동 군집 분류 및 유사도 측정 평가 중 적어도 하나의 처리가 수행되는
    서비스 제공 방법.
KR1020190026645A 2019-03-08 2019-03-08 뷰티 스코어 기반의 개인화된 화장 스타일 추천 서비스 제공 방법 KR20200107469A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190026645A KR20200107469A (ko) 2019-03-08 2019-03-08 뷰티 스코어 기반의 개인화된 화장 스타일 추천 서비스 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190026645A KR20200107469A (ko) 2019-03-08 2019-03-08 뷰티 스코어 기반의 개인화된 화장 스타일 추천 서비스 제공 방법

Publications (1)

Publication Number Publication Date
KR20200107469A true KR20200107469A (ko) 2020-09-16

Family

ID=72669855

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190026645A KR20200107469A (ko) 2019-03-08 2019-03-08 뷰티 스코어 기반의 개인화된 화장 스타일 추천 서비스 제공 방법

Country Status (1)

Country Link
KR (1) KR20200107469A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819718A (zh) * 2021-02-01 2021-05-18 深圳市商汤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN113194323A (zh) * 2021-04-27 2021-07-30 口碑(上海)信息技术有限公司 信息交互方法、多媒体信息互动方法以及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819718A (zh) * 2021-02-01 2021-05-18 深圳市商汤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN113194323A (zh) * 2021-04-27 2021-07-30 口碑(上海)信息技术有限公司 信息交互方法、多媒体信息互动方法以及装置
CN113194323B (zh) * 2021-04-27 2023-11-10 口碑(上海)信息技术有限公司 信息交互方法、多媒体信息互动方法以及装置

Similar Documents

Publication Publication Date Title
US11080918B2 (en) Method and system for predicting garment attributes using deep learning
US11282256B2 (en) Crowdshaping realistic 3D avatars with words
KR102465454B1 (ko) 얼굴의 특징 인식을 통한 뷰티 평가 인공지능 장치 및 방법
US11461630B1 (en) Machine learning systems and methods for extracting user body shape from behavioral data
US10818062B2 (en) Crowdshaping realistic 3D avatars with words
KR102567266B1 (ko) 인공지능 가상 화장을 위한 서비스 제공 장치 및 그의 동작 방법
CN113722583A (zh) 推荐方法、推荐模型训练方法及相关产品
US20230177587A1 (en) Diverse Cosmetic and Skin Care Product Matching System
Potamias et al. Learning to generate customized dynamic 3D facial expressions
KR20200107469A (ko) 뷰티 스코어 기반의 개인화된 화장 스타일 추천 서비스 제공 방법
KR20200107465A (ko) 뷰티 스코어 기반의 개인화된 화장 스타일 추천 서비스 제공 방법
KR20200107488A (ko) 가상화장 합성 처리 방법
KR20200107472A (ko) 뷰티 스코어 기반의 개인화된 화장 스타일 추천 서비스 제공 장치
KR20200107476A (ko) 뷰티 스코어 기반의 개인화된 화장 스타일 추천 서비스 제공 장치
CN115358807A (zh) 物品的推荐方法和装置、存储介质及电子设备
CN117152566A (zh) 一种分类模型训练方法、模型、分类方法以及产品
KR102465453B1 (ko) 가상화장 합성 처리 인공지능 장치 및 방법
KR102520597B1 (ko) 시장 분석 및 업체 니즈를 고려한 제품 매칭 방법
KR20200107486A (ko) 가상화장 합성 처리 장치
KR20200107482A (ko) 가상화장 합성 처리 장치
KR20200107466A (ko) 뷰티 스코어 기반의 개인화된 화장 스타일 추천 서비스 제공 방법
KR20200107473A (ko) 뷰티 스코어 기반의 개인화된 화장 스타일 추천 서비스 제공 장치
KR20200107474A (ko) 뷰티 스코어 기반의 개인화된 화장 스타일 추천 서비스 제공 장치
KR20200107471A (ko) 뷰티 스코어 기반의 개인화된 화장 스타일 추천 서비스 제공을 위한 사용자 단말장치의 서비스 제공방법
KR102465455B1 (ko) 스코어 분포 예측을 통한 사용자 취향별 뷰티 평가 인공지능 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal