KR20230028838A - 개인 맞춤형 메이크업 큐레이션 서비스를 제공하는 컴퓨터 프로그램 - Google Patents

개인 맞춤형 메이크업 큐레이션 서비스를 제공하는 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20230028838A
KR20230028838A KR1020210110632A KR20210110632A KR20230028838A KR 20230028838 A KR20230028838 A KR 20230028838A KR 1020210110632 A KR1020210110632 A KR 1020210110632A KR 20210110632 A KR20210110632 A KR 20210110632A KR 20230028838 A KR20230028838 A KR 20230028838A
Authority
KR
South Korea
Prior art keywords
makeup
content
video
information
pose
Prior art date
Application number
KR1020210110632A
Other languages
English (en)
Inventor
임관령
수다카르 사
Original Assignee
주식회사 더발라
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 더발라 filed Critical 주식회사 더발라
Priority to KR1020210110632A priority Critical patent/KR20230028838A/ko
Publication of KR20230028838A publication Critical patent/KR20230028838A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers

Abstract

본 발명의 실시 예에 따른 서비스 제공 프로그램은, 영상 콘텐츠를 수집하는 데이터 수집 기능; 상기 영상 콘텐츠로부터, 메이크업 포즈별 영상 정보가 사전 학습된 제1 학습 모델을 이용하여 메이크업 영상을 분류하는 영상 콘텐츠 분류 기능; 상기 분류된 메이크업 영상으로부터, 메이크업 제품 또는 포즈 정보가 사전 학습된 제2 학습 모델을 이용하여 상기 메이크업 제품 또는 포즈 정보에 대응하는 메이크업 영상 구간 콘텐츠를 식별하는 구간 콘텐츠 식별 기능; 및 상기 메이크업 영상 구간 콘텐츠를 이용한 메이크업 콘텐츠 추천 서비스를 사용자 단말로 제공하는 추천 서비스 제공 기능을 포함한다.

Description

개인 맞춤형 메이크업 큐레이션 서비스를 제공하는 컴퓨터 프로그램{COMPUTER PROGRAM THAT PROVIDES PERSONALIZED MAKEUP CURATION SERVICES}
본 발명은 개인 맞춤형 메이크업 큐레이션 서비스를 제공하는 컴퓨터 프로그램에 관한 것이다. 보다 구체적으로, 본 발명은 뷰티 영상의 인공지능 모델 학습 기반 개인 맞춤형 메이크업 큐레이션 서비스를 제공하는 컴퓨터 프로그램에 관한 것이다.
뷰티 산업(beauty industry)의 발전에 따라, 사용자의 화장품, 메이크업(make-up) 등에 대한 관심이 증가하고 있다. 이에 따라, 사용자의 화장품, 메이크업 등에 대한 욕구가 다양해지고 있는 추세이다.
특히 최근에는 인터넷을 통해 제공되는 유명 유투버들의 화장 제품별 화장법에 대한 다양한 화장법 시연 동영상을 참고하여 많은 시청자들은 유명 유투버들의 화장법을 따라 한다. 이러한 화장법 시연 동영상에는 여러 화장 제품에 대한 여러 화장포즈가 삽입될 수도 있고, 또는 1개의 화장 제품에 대한 화장 포즈가 삽입될 수도 있다. 이러한 추세에 맞추어, 최근에는 화장 제품에 대한 영상 정보를 수집하여 공유하여 주는 어플리케이션(application) 등도 개발되고 있다.
그러나, 수십만개의 영상 중 자신이 원하는 뷰티 영상이 무엇인지, 또는 하나의 영상이라도 특정 제품이나 특정 메이크업 행위에 대한 영상 구간이 어디인지를 확인하려면 사용자 개인이 직접 찾아보아야 하는 문제점이 있다.
또한, 이러한 뷰티 영상 콘텐츠를 제작하는 전문가들은 자신의 영상 게시물에서 화장품 정보 등 다양한 정보를 디스크립션(DESCRIPTION)에 기입하고 있으나, 영상 공유 플랫폼 자체가 제한적이어서, 이러한 정보들이 영상 검색 이외의 수단으로는 전혀 활용되지 못하고 있는 실정이다.
본 발명은 상기한 바와 같은 문제점들을 해결하고자 안출된 것으로, 인터넷의 영상 공유 플랫폼상에서 수집되는 뷰티 영상 콘텐츠를 인공지능 학습 모델을 이용하여 각각의 제품 또는 메이크업 행위에 따라 영상 구간별로 분류 및 분석함으로써, 사용자가 원하는 제품 또는 메이크업 행위에 대응하는 메이크업 콘텐츠를 신속하게 색인하여 추천할 수 있는 개인 맞춤형 메이크업 큐레이션 서비스를 제공하는 컴퓨터 프로그램을 제공하는 데 그 목적이 있다.
상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 컴퓨터 프로그램은, 영상 콘텐츠를 수집하는 데이터 수집 기능; 상기 영상 콘텐츠로부터, 메이크업 포즈별 영상 정보가 사전 학습된 제1 학습 모델을 이용하여 메이크업 영상을 분류하는 영상 콘텐츠 분류 기능; 상기 분류된 메이크업 영상으로부터, 메이크업 제품 또는 포즈 정보가 사전 학습된 제2 학습 모델을 이용하여 상기 메이크업 제품 또는 포즈 정보에 대응하는 메이크업 영상 구간 콘텐츠를 식별하는 구간 콘텐츠 식별 기능; 및 상기 메이크업 영상 구간 콘텐츠를 이용한 메이크업 콘텐츠 추천 서비스를 사용자 단말로 제공하는 추천 서비스 제공 기능을 포함한다.
본 발명의 실시 예에 따르면, 상기 영상 콘텐츠로부터, 메이크업 포즈별 영상 정보가 사전 학습된 제1 학습 모델을 이용하여 메이크업 영상을 분류하고, 상기 분류된 메이크업 영상으로부터, 메이크업 제품 또는 포즈 정보가 사전 학습된 제2 학습 모델을 이용하여 상기 메이크업 제품 또는 포즈 정보에 대응하는 메이크업 영상 구간 콘텐츠를 식별하며, 상기 메이크업 영상 구간 콘텐츠를 이용한 메이크업 콘텐츠 추천 서비스를 사용자 단말로 제공할 수 있다.
이에 따라, 본 발명의 실시 예에 따르면 인터넷의 영상 공유 플랫폼상에서 수집되는 뷰티 영상 콘텐츠를 인공지능 학습 모델을 이용하여 각각의 제품 또는 메이크업 행위에 따라 영상 구간별로 분류 및 분석함으로써, 사용자가 원하는 제품 또는 메이크업 행위에 대응하는 메이크업 콘텐츠를 신속하게 색인하여 추천할 수 있는 메이크업 콘텐츠 추천 서비스 제공 장치 및 그 동작 방법을 제공할 수 있다.
또한, 본 발명으 실시 예에 따르면, 메이크업 영상 구간 콘텐츠를 활용하여, 영상 공유 플랫폼과 연관된 크리에이터 및 아티스트와의 매칭 및 협업 수행이 가능하게 되는 메이크업 콘텐츠 추천 서비스 제공 장치 및 그 동작 방법을 제공할 수 있다.
도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 실시 예에 따른 서비스 제공 장치를 보다 구체적으로 도시한 블록도이다.
도 3은 본 발명의 실시 예에 따른 서비스 제공 장치의 동작을 보다 구체적으로 설명하기 위한 도면이다.
도 4 및 도 5는 본 발명의 실시 예에 따른 학습부 및 추론부의 동작을 보다 구체적으로 설명하기 위한 도면들이다.
도 6 내지 도 7은 본 발명의 실시 예에 따른 학습 기반 인공지능 콘텐츠 분석부의 구성 및 동작을 보다 구체적으로 설명하기 위한 도면들이다.
도 8은 본 발명의 실시 예에 따른 메이크업 영상 구간 콘텐츠 추천 인터페이스를 예시한 도면이다.
도 9는 본 발명의 실시 예에 따른 제품 인식부를 보다 구체적으로 설명하기 위한 도면이다.
도 10은 본 발명의 실시 예에 따른 제품 인식 기반의 메이크업 영상 구간 콘텐츠 추천 인터페이스를 예시한 도면이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 개념도이다.
본 발명의 일 실시 예에 따른 전체 시스템은 서비스 제공 장치(100), 사용자 단말(200), 콘텐츠 서비스 플랫폼(300), 아티스트 단말(400) 및 크리에이터 단말(500)을 포함할 수 있다.
특히, 서비스 제공 장치(100)는 본 발명의 실시 예에 따른 메이크업 영상 구간 콘텐츠 기반의 추천 서비스 제공을 위해, 각 사용자 단말(200), 아티스트 단말(400), 크리에이터 단말(500)과 유/무선 네트워크를 통해 연결될 수 있으며, 상호간 통신을 수행할 수 있다.
여기서 상기 각 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 개인 근거리 무선통신(Personal Area Network; PAN), 이동 통신망(mobile radiocommunication network) 또는 위성 통신망 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.
그리고, 사용자 단말(200)은 컴퓨터, 휴대폰, 스마트 폰(smart phone), 스마트 패드(smart pad), 노트북 컴퓨터(laptop computer), PDA(Personal Digital Assistants), PMP(Portable Media Player) 중 어느 하나의 개별적 기기, 또는 특정 장소에 설치되는 키오스크 또는 거치형 디스플레이 장치와 같은 공용화된 디바이스 중 적어도 하나의 멀티 디바이스일 수 있으며, 서비스 제공 장치(100)로 사용자 정보를 제공하고, 서비스 제공 장치(100)로부터 처리된 정보를 수신하여 출력할 수 있다.
이와 같은 시스템 구성에 있어서, 서비스 제공 장치(100)는, 콘텐츠 서비스 플랫폼(300)으로부터 영상 콘텐츠를 수집하고, 상기 영상 콘텐츠로부터, 메이크업 포즈별 영상 정보가 사전 학습된 제1 학습 모델을 이용하여 메이크업 영상을 분류하며, 상기 분류된 메이크업 영상으로부터, 메이크업 제품 또는 포즈 정보가 사전 학습된 제2 학습 모델을 이용하여 상기 메이크업 제품 또는 포즈 정보에 대응하는 메이크업 영상 구간 콘텐츠를 식별하고, 상기 메이크업 영상 구간 콘텐츠를 이용한 메이크업 콘텐츠 추천 서비스를 사용자 단말(200)로 제공할 수 있다.
여기서, 영상 콘텐츠는, 뷰티 인플루언서들의 화장 영상 정보가 이용될 수 있으며, 이는 유투브, 페이스북, 텀블러, 트위치, 네이버, 카카오 등의 다양한 영상 업로드 사이트와 같은 콘텐츠 서비스 플랫폼(300)으로부터 크롤링되어 추출되는 영상 정보를 포함할 수 있다.
이러한 서비스를 구축하기 위해, 서비스 제공 장치(100)는, 먼저 콘텐츠 서비스 플랫폼(300)을 통해 수집되는 영상 정보로부터 상기 제1 학습 모델을 이용한 메이크업 영상만을 자동적으로 판별할 수 있다.
그리고, 서비스 제공 장치(100)는 제2 학습 모델을 이용하여, 상기 메이크업 영상으로부터 특정 메이크업 부위 및 포즈로 분류되는 영상 구간을 식별하거나, 특정 메이크업 제품으로 분류되는 영상 구간을 식별하고, 인식된 영상 구간 정보를 이용한 메이크업 영상 구간 콘텐츠를 구성할 수 있다.
이러한 영상 구간 식별을 위한 상기 제2 학습 모델은 부위별 메이크업 구간 학습, 화장품 리스트 학습, 화장품 소개 구간 학습 등의 각각의 목적에 대응하는 복수의 학습 모델을 결합하여 구축될 수 있다.
또한, 상기 제1 학습 모델은 상기 제2 학습 모델의 출력을 이용하여 메이크업 영상인지 여부만을 판별하는 데 이용되도록 구성됨으로써, 시스템 구축을 효율적으로 처리할 수 있다.
이와 같은 처리에 따라, 서비스 제공 장치(100)는 메이크업 영상으로부터 화장품 리스트 및 이에 매칭되는 소개 구간 정보를 식별할 수 있고, 얼굴 부위별 메이크업 포즈 및 이에 매칭되는 영상 구간 정보를 식별할 수 있다.
그리고, 서비스 제공 장치(100)는 이러한 구간 정보를 이용하여 메이크업 영상 구간 콘텐츠를 구성하여 사용자 단말(200)로 제공할 수 있다.
여기서, 메이크업 영상 구간 콘텐츠는, 사용자 단말(200)의 사용자 정보에 대응하여 사용자가 관심 있는 메이크업 영상 구간들을 선택 가능한 추천 인터페이스의 형태로 구성될 수 있다.
그리고, 사용자가 원하는 제품 또는 포즈를 선택한 경우, 상기 메이크업 영상 구간 콘텐츠가 사용자 단말(200)을 통해 출력될 수 있다. 이를 위해, 서비스 제공 장치(100)는, 출력시킬 메이크업 영상 구간 콘텐츠에 대응하는 콘텐츠 서비스 플랫폼(300)으로의 링크 정보 또는 주소 정보를 상기 사용자 단말(200)로 제공할 수 있다.
이와 같은 추천 서비스 인터페이스 제공에 따라, 사용자는 자신에게 맞는 제품 또는 메이크업 포즈를 추천받아 선택하거나, 자신이 원하는 제품 또는 메이크업 포즈를 선택 입력할 수 있으며, 별도의 콘텐츠 탐색이나 구간 검색 없이도 선택 입력에 대응하는 메이크업 영상 구간 콘텐츠가 즉시 제공될 수 있는 바, 메이크업 영상 콘텐츠 서비스에 대응하는 사용자 편의성을 향상시키게 된다.
나아가, 본 발명의 실시 예에 따른 서비스 제공 장치(100)는 상기 메이크업 영상 구간 콘텐츠의 제공에 대응하는 협업 서비스를, 상기 메이크업 영상을 업로드하는 크리에이터 단말(500) 또는 상기 메이크업 영상에 이용된 제품이나 화장 기법 등을 제공하는 아티스트 단말(400)로 제공할 수 있는 바, 전체 시장의 활성화를 도모할 수 있다.
특히, 이러한 서비스 제공을 위하여, 본 발명의 실시 예에 따른 서비스 제공 장치(100)는 다양한 학습 분석 및 추천 인터페이스 구성을 통해 사용자 단말(200)로의 서비스 제공을 수행할 수 있는 바, 이에 대하여는 보다 구체적으로 후술하도록 한다.
도 2는 본 발명의 실시 예에 따른 서비스 제공 장치를 보다 구체적으로 설명하기 위한 블록도이다.
도 2를 참조하면, 본 발명의 실시 예에 따른 서비스 제공 장치(100)는, 데이터 수집부(110), 영상 콘텐츠 분류부(120), 구간 콘텐츠 식별부(130), 추천 서비스 제공부(140) 및 협업 서비스 제공부(150)를 포함하며, 영상 콘텐츠 분류부(120) 및 구간 콘텐츠 식별부(130)는 학습 기반 인공지능 콘텐츠 분석부(400)와 연동될 수 있다.
데이터 수집부(110)는 콘텐츠 서비스 플랫폼(300)으로부터 영상 콘텐츠를 수집한다.
영상 콘텐츠 분류부(120)는, 상기 영상 콘텐츠로부터, 메이크업 포즈별 영상 정보가 사전 학습된 제1 학습 모델을 이용하여 메이크업 영상을 분류한다.
그리고, 구간 콘텐츠 식별부(130)는, 상기 분류된 메이크업 영상으로부터, 메이크업 제품 또는 포즈 정보가 사전 학습된 제2 학습 모델을 이용하여 상기 메이크업 제품 또는 포즈 정보에 대응하는 메이크업 영상 구간 콘텐츠를 식별한다.
또한, 추천 서비스 제공부(140)는, 상기 메이크업 영상 구간 콘텐츠를 이용한 메이크업 콘텐츠 추천 서비스를 사용자 단말로 제공한다.
여기서, 상기 제1 학습 모델은 및 제2 학습 모델은, 학습 기반 인공지능 콘텐츠 분석부(400)에 의하 사전 구축되어 있을 수 있다.
특히 제1 학습 모델은, 상기 제2 학습 모델의 학습에 의해 기 구축된 메이크업 포즈 클래스 모델을 이용하여, 상기 수집된 영상 콘텐츠로부터 상기 메이크업 영상을 분류하는 모델일 수 있다.
그리고, 협업 서비스 제공부(150)는, 상기 추천 서비스 제공부(140)에서 제공된 상기 메이크업 영상 구간 콘텐츠에 대응하는 크리에이터 단말(500) 또는 아티스트 단말(400)로, 상기 메이크업 영상 구간 콘텐츠의 상기 사용자 단말(200)로의 제공에 대응하는 협업 서비스를 제공한다.
여기서, 상기 협업 서비스는, 상기 메이크업 영상 구간 콘텐츠의 상기 사용자 단말(200) 제공에 의해 발생되는 수익 정보의 공유 서비스를 포함할 수 있다.
또한, 상기 협업 서비스는, 상기 메이크업 영상 구간 콘텐츠의 상기 사용자 단말 제공 정보에 기초하여, 상기 아티스트 단말(400) 또는 상기 크리에이터 단말(500)의 매칭 정보를 상기 사용자 단말로 제공하는 매칭 서비스를 포함할 수 있다.
도 3은 본 발명의 실시 예에 따른 서비스 제공 장치의 동작을 보다 구체적으로 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 실시 예에 따른 데이터 수집부(110)는 비디오 크롤링 엔진 및 비디오 DB를 포함할 수 있다.
영상 콘텐츠 분류부(120)는, 크롤링된 뷰티 및 패션 비디오로부터 메이크업 비디오를 분류함에 따라 메이크업 비디오 DB를 구축할 수 있다. 이를 위해, 영상 콘텐츠 분류부(120)는 메이크업 영상 자동 판별부를 포함할 수 있으며, 메이크업 영상 자동 판별부는 학습 기반 인공지능 콘텐츠 분석부(400)에서 구축된 제1 학습 모델을 이용한 메이크업 영상 자동 판별을 수행할 수 있다.
그리고, 구간 콘텐츠 식별부(130)는, 상기 메이크업 영상으로 분류된 영상으로부터, 얼굴 부위별 메이크업 구간 정보를 추출하는 영상 내 얼굴 부위별 메이크업 구간 자동 추출부를 포함할 수 있다.
이에 따라, 추천 서비스 제공부(140)는, 상기 사용자 단말에 대응하는 사용자 정보에 기초하여, 하나 이상의 상기 얼굴 부위별 메이크업 구간 정보를 이용한 메이크업 영상 구간 추천 인터페이스를 상기 사용자 단말(200)로 제공할 수 있다.
또한, 상기 구간 콘텐츠 식별부는, 상기 메이크업 영상으로 분류된 영상으로부터, 영상 내 화장품 소개 구간 정보를 추출하는 영상 내 화장품 구간 추출부를 포함할 수 있다.
이에 따라, 상기 추천 서비스 제공부는, 상기 사용자 단말에 대응하는 사용자 정보에 기초하여, 하나 이상의 상기 화장품 소개 구간 정보를 이용한 화장품 영상 구간 추천 인터페이스를 상기 사용자 단말(200)로 제공할 수 있다.
한편, 학습 기반 인공지능 콘텐츠 분석부(400)는 상기 영상 콘텐츠 분류부(120) 및 구간 콘텐츠 식별부(130)에서의 판별 및 구간 추출을 위해, 학습부(401)를 이용한 학습 데이터 구축 및 추론부(403)를 이용한 추론 분석을 수행할 수 있다.
도 4 및 도 5는 본 발명의 실시 예에 따른 학습부 및 추론부의 동작을 보다 구체적으로 설명하기 위한 도면들이다.
도 4 내지 도 5에 도시된 바와 같이, 본 발명의 실시 예에 따른 학습 기반 인공지능 콘텐츠 분석부(400)는 학습부(401) 및 추론부(403)를 포함한다.
그리고, 학습부(401)는 데이터 수집, 메이크업 활동 추출, 프레임 샘플링, 프레임 리사이징의 전처리를 수행하고, 전처리된 프레임을 3차원 CNN(컨볼루션 뉴럴 네트워크) 모델에 입력하여 학습 모델을 구축할 수 있다. 여기서 구축된 학습 모델은 상기 제1 학습 모델 및 제2 학습 모델에 각각 이용될 수 있으며, 추론부(403)는 모델 데이터를 활용하기 위한 출력 데이터의 후처리 프로세스를 수행할 수 있다.
보다 구체적으로, 도 5를 참조하면, 학습부(401)는 데이터 분류부 및 모델 학습부를 포함할 수 있다.
모델 학습부는 전술한 학습 수행에 따른 기본 학습 모델을 사전 구축하고 있을 수 있다.
그리고, 데이터 분류부는 사전 학습된 모델로부터 메이크업 포즈와 관련된 9개의 클래스에 해당하는지 여부에 따라, 메이크업 영상을 분류하는 데이터 분류 처리를 수행할 수 있다.
또한, 추론부(403)는 후처리부 및 타임스탬프 적용부를 포함하는 바, 추론부(403)는 각 메이크업 포즈 구간에 대응하는 타임스탬프를 식별하고, 이를 메이크업 포즈 구간 정보에 매칭시키며, 매칭 정보를 구간 콘텐츠 식별부(130)로 제공할 수 있다.
도 6 내지 도 7은 본 발명의 실시 예에 따른 학습 기반 인공지능 콘텐츠 분석부의 구성 및 동작을 보다 구체적으로 설명하기 위한 도면들이다.
도 6에 도시된 바와 같이, 학습 기반 인공지능 콘텐츠 분석부(400)는, 제품 인식부(440) 및 포즈 추정부(450)를 포함한다.
제품 인식부(440)는 각각의 제품 로고 이미지와 제품 모델 이미지를 바탕으로 화장 제품을 인식한다. 포즈 추정부(450)는 사전 학습된 메이크업 포즈 분류 정보를 바탕으로 화장 포즈를 추정한다. 이러한 인식 및 추정은 앞서 설명한 학습 부(401)에 의해 충분한 학습이 이루어졌기 때문에 가능하며, 학습은 새로운 화장법
시연 동영상이 업데이트 된 경우에 이를 찾아서 새로운 학습 데이터를 생성하여 지
속적으로 반복 학습할 수 있다.
그리고, 학습부(401)에 의해 학습이 완료되어 화장 포즈를 추정하는 경우에 유투버의 화장 포즈와 유투버의 임의의 동작 포즈가 서로 유사하여 화장 포즈 추정 오류를 발생시킬 수 있다. 이러한 문제점을 해결하기 위해 포즈 유효 판단부(500)를 본 발명에서는 포함한다.
포즈 유효 판단부(500)는 포즈 추정부(450)에서 판단한 화장 포즈의 유효성을 검토 및 판단한다. 이를 위해 포즈 유효 판단부(500)는 포즈 시작 측정부(510), 포즈 종료 측정부(520), 포즈 유효시간 판단부(530)를 포함한다.
포즈 시작 측정부(510)는 포즈 추정부(450)에서 추정한 화장 포즈를 기준 삼아 당해 화장법 시연 동영상에서 당해 화장 포즈의 재생이 시작되는 동영상 재생 시작 시각을 측정한다.
포즈 종료 측정부(520)는 포즈 추정부(540)에서 추정한 화장 포즈를 기준 삼아 당해 화장법 시연 동영상에서 당해 화장 포즈의 재생이 종료되는 동영상 재생 종료 시각을 측정한다.
포즈 유효시간 판단부(530)는 당해 화장 포즈의 동영상 재생 시작 시각과 종료 시각을 각각 입력받아 화장 포즈 시간을 산출하고, 산출된 화장 포즈 시간과 기 설정된 당해 포즈의 화장 시간을 서로 비교함으로써 화장 포즈의 유효성을 검토 및 판단한다. 즉, 눈썹 화장 포즈의 경우에 기 설정된 화장 시간 조건이 2분 ~ 3분의 범위로 설정되었다고 가정하면, 어느 유투버의 임의의 동작 행동이 포즈 추정부(450)에 의해 눈썹 화장 포즈로 인식되고 이에 따라 포즈 유효시간이 30초로 산출되었다면 유투버의 임의의 동작 행동은 눈썹 화장 포즈가 아닌 노이즈 행동이기 때문에 이러한 임의의 동작 행동은 제외할 수 있다. 따라서 포즈 유효 판단부(500)가 당해 화장 포즈의 유효성을 검토 및 판단하기 위해서는 데이터베이스에 각종 화장 포즈에 대한 유효한 화장 시간이 각각 미리 저장될 필요가 있다.
한편, 포즈 유효 판단부(500)에 의해 화장 포즈의 유효성이 검증된 경우에는 당해 유투버의 화장법 시연 동영상의 구간 이동을 편리하고 자유롭게 하기 위해 제품별 및 각 화장 포즈별로 타임 스탬프를 각각 마킹하는 작업을 수행한다. 이를 위해 제품 타임 스탬프부(610)와 포즈 타임 스탬프부(620)를 구비하는 타임 스탬프부(600)를 포함한다. 일반적으로 유투버의 화장법 시연 동영상에는 먼저 유투버가 시연할 화장품(화장 제품)을 시청자에게 보여주고, 그 다음으로 그 화장품을 이용한 화장법을 시연하게 된다. 물론 화장법 시연 동영상에는 이외의 부가 영상이 포함될 수 있지만(일예로서 잡담이나 제품에 대한 부가설명 등) 이러한 부가 영상은 앞서 설명한 바에 따라 필터링될 수 있다.
따라서 제품 타임 스탬프부(610)는 제품 재생시간 산출부(600)에서 전송된 재생시간 데이터를 기초로 해당 화장 제품의 재생 시작 시각과 재생 종료시각에 대한 시각을 화장품 시연 동영상에 마킹하는 타임 스탬프 매칭을 수행할 수 있다.
또한, 포즈 타임 스탬프부(620)는 포즈 유효시간 판단부(530)에서의 화장 포즈의 유효성이 판단되면, 화장 포즈시간 산출부(720)에서 전송된 재생시간 데이터를 기초로 해당 화장 포즈의 재생 시작 시각과 재생 종료 시각에 대한 시각 을 화장품 시연 동영상에 마킹하는 타임 스탬프 매칭을 수행할 수 있다.
이러한 제품 타임 스탬프부(610) 및 포즈 타임 스탬프부(620)의 매칭 정보는 구간 콘텐츠 식별부(130)로 제공될 수 있으며, 메이크업 영상 추천 콘텐츠 생성에 이용될 수 있다.
한편, 제품 재생시간 산출부(710)는 제품 인식부(440)의 제품 인식을 바탕으로 화장품 시연 동영상에서의 당해 화장품의 재생 시간의 시작과 종료를 각각 산출한다. 화장 포즈시간 산출부(720)는 포즈 추정부(450)의 화장 포즈 추정을 바탕으로 화장품 시연 동영상에서의 당해 화장 포즈의 재생 시간의 시작과 종료를 각각 산출한다. 화장 포즈시간 산출부(720)는 산출한 시작 시각과 종료 시각을 포즈 유효시간 판단부(530)로 전송함으로써 포즈 유효시간 판단부(530)가 화장 포즈의 유효성을 검증하도록 할 수 있다.
일예로서 도 7에 도시된 바와 같이 "A" 유투버의 눈 화장법 및 립스틱 화장법에 대한 화장법 시연 동영상이 시각(t11) ~ 시각(t24)까지 재생된다고 가정하면, A 유투버의 화장법 시연 동영상의 분석에 따라 "눈 화장 제품"에 대한 동영상 재생시간은 t11 ~ t14까지 재생됨을 알 수 있고 재생 시작 시각과 종료 시각을 당해 동영상(10)에 표시할 수 있다. 또한, "립스틱 화장 제품"에 대한 동영상은 t21 ~ t24까지 재생됨을 알 수 있고 재생 시작 시각과 종료 시각을 당해 동영상(10)에 표시할 수 있다.
동일하게 눈 화장 포즈에 대한 재생 시작 시각과 종료 시각을 분석하여 당해 동영상(10)에 삽입 마킹할 수 있고, 립스틱 화장 포즈에 대한 재생 시작시각과 종료 시각을 분석하여 당해 동영상(10)에 삽입 마킹할 수 있다. 이렇게 도 7과 같이 타임 스탬프를 유투버의 화장법 시연 동영상에 추가 마킹할 수 있다.
이와 같은 타임 스탬프의 추가에 의해 이를 재생하는 시청자는 자신이 원하는 화장품 제품이나 또는 화장 포즈로 구간 이동을 편리하게 할 수 있다.
즉, 상술한 타임 마킹이 삽입 포함된 각종 유투버의 화장법 시연 동영상은 지속적 으로 데이터베이스에 새롭게 갱신되며, 시청자는 제공된 스마트폰의 어플리케이션을 통해 데이터베이스에 저장된 유명 유투버의 화장법 시연 동영상을 재생시킬 수 있으며, 어플리케이션의 조작에 따라 원하는 구간으로 구간 이동을 자유롭게 할 수 있다.
도 8은 본 발명의 실시 예에 따른 메이크업 영상 구간 콘텐츠 추천 인터페이스를 예시한 도면이다.
도 8에 도시된 바와 같이, 메이크업 영상 구간 콘텐츠 추천 인터페이스는, 영상의 구간 이동을 수행하는 라벨링 정보가 마킹된 매칭 정보를 이용하여, 사용자가 원하는 얼굴 부위별 메이크업 포즈 정보가 선택 입력되면, 이에 대응하는 영상 구간 선택 및 이동을 처리할 수 있다. 도 8에서는 단일 크리에이터의 영상만이 이동 가능하나, 본 발명의 실시 예는 이에 제한되지 않으며, 복수 크리에이터의 영상들 중 어느 하나의 영상 구간이 선택되거나, 추천되도록 구현될 수도 있다.
도 9는 본 발명의 실시 예에 따른 제품 인식부를 보다 구체적으로 설명하기 위한 도면이다.
도 9를 참조하면 본 발명의 실시 예에 따른 제품 인식부(440)는 다양한 경로를 통해 수집되는 제품 특징 정보로부터 제품 식별 정보가 출력되도록 하는 제품 탐색 모델을 구축할 수있다.
특히, 제품 인식부(440)는, 제1 영상의 메이크업 행동 인식 모델을 통해 인식되는 특정 부위의 제품 1차 후보군 데이터베이스를 구축하고, 상기 제1 영상의 이미지로부터 식별되는 제품 크롭 이미지의 CNN 학습 모델 기반 탐색을 처리하여, 제품 2차 후보군 데이터베이스를 구축할 수 있다.
그리고, 제품 인식부(440)는 상기 제1 영상에 대응하여 콘텐츠 서비스 플랫폼(300)에 등록된 상기 제1 영상의 디스크립션(DESCRIPTION) 정보와, 상기 제1 영상에서 획득되는 자막과 같은 시각적 문자 정보와, 상기 제1 영상의 음성으로부터 변환되어 획득되는 대사와 같은 스크립트 정보를 각각 처리하는 모델 처리부를 병렬적으로 구비할 수 있다.
이에 따라, 제품 인식부(440)는, 상기 제품 2차 후보군 데이터베이스로부터 텍스트 특징 정보 기반의 제품 탐색을 수행하는 모델을 구축하고, 상기 텍스트 특징 정보로서, 상기 디스크립션의 특징 정보, 상기 시각적 문자 정보의 특징 정보 및 상기 스크립트 정보의 특징 정보 중 적어도 하나를 활용할 수 있다.
이에 따라, 제품 인식부(440)는 제품 2차 후보군 데이터베이스로부터 상기 제1 영상의 텍스트 특징 정보를 이용한 제품 탐색을 수행할 수 있으며, 그 결과로서 제품 식별 정보(Product ID) 출력될 수 있다. 출력된 제품 식별 정보는 전술한 제품 인식, 제품 재생시간 산출, 제품 타임 스탬프 설정에 이용될 수 있다.
도 10은 본 발명의 실시 예에 따른 제품 인식 기반의 메이크업 영상 구간 콘텐츠 추천 인터페이스를 예시한 도면이다.
도 10에 도시된 바와 같이 본 발명의 실시 예에 따른 정확한 제품 인식 수행을 통해, 영상 구간에서 정확한 제품 타임 스탬프가 매칭될 수 있다.
이에 따라, 서비스 제공 장치(100)는, 사용자 단말(200)로 하나 이상의 제품 타임 스탬프가 매칭된 영상 구간 정보를 포함하는 하나 이상의 메이크업 제품 추천 영상 구간 콘텐츠를 제공할 수 있다.
그리고, 사용자 단말(200)의 사용자가 메이크업 영상 구간 콘텐츠 추천 인터페이스를 통해 제공된 추천 제품들 중 어느 하나를 선택하면, 이에 대응하는 제품 영상 구간이 콘텐츠 서비스 플랫폼(300)으로 요청되어 신속하게 재생될 수 있게 된다.
상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (9)

  1. 개인 맞춤형 메이크업 큐레이션 서비스를 제공하는 컴퓨터 프로그램에 있어서,
    영상 콘텐츠를 수집하는 데이터 수집 기능;
    상기 영상 콘텐츠로부터, 메이크업 포즈별 영상 정보가 사전 학습된 제1 학습 모델을 이용하여 메이크업 영상을 분류하는 영상 콘텐츠 분류 기능;
    상기 분류된 메이크업 영상으로부터, 메이크업 제품 또는 포즈 정보가 사전 학습된 제2 학습 모델을 이용하여 상기 메이크업 제품 또는 포즈 정보에 대응하는 메이크업 영상 구간 콘텐츠를 식별하는 구간 콘텐츠 식별 기능; 및
    상기 메이크업 영상 구간 콘텐츠를 이용한 메이크업 콘텐츠 추천 서비스를 사용자 단말로 제공하는 추천 서비스 제공 기능을 포함하는
    개인 맞춤형 메이크업 큐레이션 서비스를 제공하는 컴퓨터 프로그램.
  2. 제1항에 있어서,
    상기 제1 학습 모델은,
    상기 제2 학습 모델의 학습에 의해 기 구축된 메이크업 포즈 클래스 모델을 이용하여, 상기 수집된 영상 콘텐츠로부터 상기 메이크업 영상을 분류하는
    개인 맞춤형 메이크업 큐레이션 서비스를 제공하는 컴퓨터 프로그램.
  3. 제1항에 있어서,
    상기 구간 콘텐츠 식별 기능은,
    상기 메이크업 영상으로 분류된 영상으로부터, 얼굴 부위별 메이크업 구간 정보를 추출하는
    개인 맞춤형 메이크업 큐레이션 서비스를 제공하는 컴퓨터 프로그램.
  4. 제3항에 있어서,
    상기 추천 서비스 제공 기능은,
    상기 사용자 단말에 대응하는 사용자 정보에 기초하여, 하나 이상의 상기 얼굴 부위별 메이크업 구간 정보를 이용한 메이크업 영상 구간 추천 인터페이스를 상기 사용자 단말로 제공하는
    개인 맞춤형 메이크업 큐레이션 서비스를 제공하는 컴퓨터 프로그램.
  5. 제1항에 있어서,
    상기 구간 콘텐츠 식별 기능은,
    상기 메이크업 영상으로 분류된 영상으로부터, 영상 내 화장품 소개 구간 정보를 추출하는
    개인 맞춤형 메이크업 큐레이션 서비스를 제공하는 컴퓨터 프로그램.
  6. 제5항에 있어서,
    상기 추천 서비스 제공 기능은,
    상기 사용자 단말에 대응하는 사용자 정보에 기초하여, 하나 이상의 상기 화장품 소개 구간 정보를 이용한 화장품 영상 구간 추천 인터페이스를 상기 사용자 단말로 제공하는
    개인 맞춤형 메이크업 큐레이션 서비스를 제공하는 컴퓨터 프로그램.
  7. 제1항에 있어서,
    상기 추천 서비스 제공부에서 제공된 상기 메이크업 영상 구간 콘텐츠에 대응하는 크리에이터 단말 또는 아티스트 단말로, 상기 메이크업 영상 구간 콘텐츠의 상기 사용자 단말로의 제공에 대응하는 협업 서비스를 제공하는 협업 서비스 제공기능을 더 포함하는
    개인 맞춤형 메이크업 큐레이션 서비스를 제공하는 컴퓨터 프로그램.
  8. 제7항에 있어서,
    상기 협업 서비스는,
    상기 메이크업 영상 구간 콘텐츠의 상기 사용자 단말 제공에 의해 발생되는 수익 정보의 공유 서비스를 포함하는
    개인 맞춤형 메이크업 큐레이션 서비스를 제공하는 컴퓨터 프로그램.
  9. 제7항에 있어서,
    상기 협업 서비스는,
    상기 메이크업 영상 구간 콘텐츠의 상기 사용자 단말 제공 정보에 기초하여, 상기 아티스트 단말 또는 상기 크리에이터 단말의 매칭 정보를 상기 사용자 단말로 제공하는 매칭 서비스를 포함하는
    개인 맞춤형 메이크업 큐레이션 서비스를 제공하는 컴퓨터 프로그램.
KR1020210110632A 2021-08-23 2021-08-23 개인 맞춤형 메이크업 큐레이션 서비스를 제공하는 컴퓨터 프로그램 KR20230028838A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210110632A KR20230028838A (ko) 2021-08-23 2021-08-23 개인 맞춤형 메이크업 큐레이션 서비스를 제공하는 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210110632A KR20230028838A (ko) 2021-08-23 2021-08-23 개인 맞춤형 메이크업 큐레이션 서비스를 제공하는 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR20230028838A true KR20230028838A (ko) 2023-03-03

Family

ID=85510603

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210110632A KR20230028838A (ko) 2021-08-23 2021-08-23 개인 맞춤형 메이크업 큐레이션 서비스를 제공하는 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR20230028838A (ko)

Similar Documents

Publication Publication Date Title
CN112565825B (zh) 一种视频数据处理方法、装置、设备以及介质
CN110781347A (zh) 一种视频处理方法、装置、设备以及可读存储介质
CN111428088A (zh) 视频分类方法、装置及服务器
CN111708941A (zh) 内容推荐方法、装置、计算机设备和存储介质
CN113010703B (zh) 一种信息推荐方法、装置、电子设备和存储介质
CN110175223A (zh) 一种实现问题生成的方法及装置
CN113766299B (zh) 一种视频数据播放方法、装置、设备以及介质
Somandepalli et al. Computational media intelligence: Human-centered machine analysis of media
CN112989212B (zh) 媒体内容推荐方法、装置和设备及计算机存储介质
CN112100442B (zh) 用户倾向性识别方法、装置、设备及存储介质
CN113761253A (zh) 视频标签确定方法、装置、设备及存储介质
Tao et al. Real-time personalized content catering via viewer sentiment feedback: a QoE perspective
CN115114395A (zh) 内容检索及模型训练方法、装置、电子设备和存储介质
CN112328833A (zh) 标签处理方法、装置及计算机可读存储介质
CN117474748A (zh) 一种图像生成方法、装置、电子设备及存储介质
Yu et al. Speaking style based apparent personality recognition
CN116980665A (zh) 一种视频处理方法、装置、计算机设备、介质及产品
KR20230028838A (ko) 개인 맞춤형 메이크업 큐레이션 서비스를 제공하는 컴퓨터 프로그램
KR20230028839A (ko) 화장 콘텐츠 서비스를 제공하는 프로그램을 기록한 기록매체
CN112256917B (zh) 用户兴趣识别方法、装置、设备及计算机可读存储介质
KR20230028835A (ko) 메이크업 포즈 및 제품 정보에 따른 영상 구간별 분류 및 추천 시스템
KR20230028834A (ko) 뷰티 영상의 인공지능 모델 학습 기반 메이크업 콘텐츠 추천 서비스 제공 장치 및 그 동작 방법
KR20230028840A (ko) Ai를 기반한 메이크업 영상 학습 및 추론 프로그램
KR20230028841A (ko) 뷰티 콘텐츠 기반 모션 인식 및 판단 서비스 제공 방법
KR20230028836A (ko) 뷰티 영상 내 메이크업 포즈의 유효성을 판단하는 서비스 제공 장치