KR102449602B1

KR102449602B1 - 멀티미디어 콘텐츠 내 상품 정보 처리 장치 및 그 방법

Info

Publication number: KR102449602B1
Application number: KR1020200092743A
Authority: KR
Inventors: 권태완
Original assignee: 주식회사 아토맘코리아
Priority date: 2020-07-27
Filing date: 2020-07-27
Publication date: 2022-09-30
Also published as: KR20220013600A

Abstract

멀티미디어 콘텐츠 내 상품 정보 처리 장치 및 그 방법을 제공한다. 상품 정보 처리 장치는, 상품 공급자의 단말로부터 콘텐츠 제작 매칭 요건 및 상품 별 상품 정보를 수신하고, 임의의 멀티미디어 콘텐츠 별 댓글 정보에 기반하여 콘텐츠 특성을 분석하고, 콘텐츠 제작 매칭 요건과 콘텐츠 특성의 분석 결과에 기초하여 하나 이상의 멀티미디어 콘텐츠를 검출하고, 검출된 멀티미디어 콘텐츠의 콘텐츠 제작자에 대한 정보를 상품 공급자에게 추천하고, 추천에 대해 상품 공급자가 선택한 콘텐츠 제작자의 단말로 매칭 요청을 전송하고, 콘텐츠 제작자의 단말로부터 요청에 대응하는 수락 응답을 수신하면, 상품 공급자와 콘텐츠 제작자 간의 매칭을 처리하고, 콘텐츠 제작자에 대해 매칭된 상품 공급자의 상품 정보를 매칭하여 저장하고, 임의의 콘텐츠 이용자의 단말로 콘텐츠 제작자의 멀티미디어 콘텐츠를 제공하고, 콘텐츠 이용자의 단말 상에서 재생 중인 멀티미디어 콘텐츠에 대해 실시간으로 기설정된 영상 처리 및 음성 인식 처리를 수행하여 임의의 상품에 대응하는 객체 정보 및 음성 정보를 추출하고, 추출된 객체 및 음성 정보에 기초하여 하나 이상의 상품을 식별하고, 저장된 상품 정보 중 식별된 상품에 대응하는 상품 정보를 콘텐츠 이용자의 단말로 제공한다.

Description

멀티미디어 콘텐츠 내 상품 정보 처리 장치 및 그 방법{APPARATUS AND METHOD FOR PROCESSING INFORMATION RELATED TO PRODUCT IN MULTIMEDIA CONTENTS}

본 발명은 멀티미디어 콘텐츠 내에 노출되는 상품에 관한 정보를 처리하는 장치 및 그 방법에 관한 것이다.

유튜브와 같은 소셜 네트워크 서비스(Social Network Service, SNS)가 활성화됨에 따라 개인 미디어 시장의 규모가 급성장하였으며, 그 적용 범위가 여러 영역(예: 포털 기능, 유통, 광고 및 마케팅, 일자리 창출 등)으로 확대되고 있다. 이에, 소위 ‘인플루언서’ 라고 통칭되는 1인미디어 직업군이 생겨났으며, 이러한 인플루언서의 멀티미디어 콘텐츠를 활용하여 SNS를 통한 광고 및 마케팅 시장이 급속도로 성장하고 있다.

인플루언서를 통한 마케팅을 희망하는 상품 공급자(즉, 기업 및 관련 업계 광고주 등)는 수많은 인플루언서에 대한 개별적인 자료가 부족하여 자사의 상품에 적합한 인플루언서를 결정하는데 어려움이 있다. 이에, 유명 인플루언서에게만 의존한 마케팅 방식을 고수함으로써, 기존의 막대한 광고비용소비형태를 단순히 SNS영역으로만 옮겨왔을 뿐 자사의 상품 마케팅에 효율적인 인플루언서를 확보하지 못하는 한계가 있었다. 따라서, 상품 공급자는 소비자의 니즈 데이터에 부합하는 합리적이고 적합한 인플루언서를 추천해 줄 수 있는 시스템이 필요한 실정이다.

한편, 개인 미디어 콘텐츠를 이용하는 사용자(즉, 구독자 등)는 단순히 일방적인 영상 시청에 만족하는 것이 아니라, 콘텐츠 내 등장하는 제품, 착장품, 소장품, 도구 등의 객체(즉, 상품)에 대한 정보를 제공받고자 직접 요청하는 경우가 빈번해지고 있다.

그러나 현실적으로 콘텐츠 제작자가 콘텐츠 내 여러 객체들에 대해 무수히 많은 질문에 일일이 답하기 어렵다는 한계가 있다. 이에 기존에는 콘텐츠 제작자들이 콘텐츠 제작 시 콘텐츠 내 등장하는 객체들과 관련된 정보를 콘텐츠 내에서 별도로 언급 또는 게시하거나, 콘텐츠 별 공지 및 댓글 등을 통해 상품 관련 정보를 게시하는 등 번거로움을 감수하고 있다.

이러한 정보 제공 방식은, 영상을 시청하는 콘텐츠 이용자들 입장에서도 콘텐츠로부터 얻게 되는 상품 관련 정보 외에 자세한 정보나 구매를 원할 경우 게시글 내 해당 제품과 매칭되는 정보 또는 구매 링크 등을 직접 찾아내야 하는 불편함이 있다. 특히, 콘텐츠 내 상품의 종류가 다양할 경우 원하는 상품에 대한 정보를 찾는데 어려움이 있으며, 해당 상품을 구매할 수 있는 구매 링크를 찾아 해당 판매처의 온라인 페이지로 이동하더라도 상품과 직접적인 관련이 적은 메인페이지가 보여지거나 간혹 여러 단계(회원가입유도, 어플리케이션 설치 등)를 거쳐야 제품에 대한 구매 및 정보를 취득할 수 있다는 문제점이 있다.

특허문헌 1: 한국공개특허 제 10-2019-0118776호(발명의 명칭: 인플루언서를 활용한 마케팅 서비스 제공 장치 및 그 방법) 특허문헌 2: 한국공개특허 제 10-2018-0016180 호(발명의 명칭: 미디어 콘텐츠 기반의 O2O 알고리즘을 활용한 상품 추천 시스템 및 그 방법)

본 발명의 일 실시예는, 개인 미디어 등의 콘텐츠 제작자의 멀티미디어 콘텐츠의 컨셉과 적합한 상품을 매칭하고 멀티미디어 콘텐츠 내의 해당 상품에 대한 정보를 콘텐츠 이용자에게 제공하는 멀티미디어 콘텐츠 내 상품 정보 처리 장치와 그 매칭 방법을 제공하고자 한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른 멀티미디어 콘텐츠 내 상품 정보 처리 장치는, 멀티미디어 콘텐츠의 댓글 정보에 기반하여 분석된 콘텐츠 특성이 기등록된 상품 공급자의 콘텐츠 제작 매칭 요건에 부합될 경우 상품 공급자 단말로 해당 멀티미디어 콘텐츠의 콘텐츠 제작자를 추천하고, 상기 추천에 대해 상기 상품 공급자가 선택한 멀티미디어 콘텐츠의 콘텐츠 제작자 단말과 상기 상품 공급자 단말 간에 매칭 요청 및 수락 처리를 통한 매칭 처리를 수행하는 콘텐츠-상품 매칭부; 콘텐츠 제작자 별로 상기 매칭 처리가 완료된 상품 공급자가 등록한 상품 정보를 매칭하여 저장하되, 상기 콘텐츠-상품 매칭부를 통해 새로운 상품 공급자가 매칭될 경우 상기 새로운 상품 공급자가 등록한 상품 정보를 추가하여 갱신 저장하는 콘텐츠-상품 정보 저장부; 및 콘텐츠 이용자 단말로 제공하여 재생 중인 상기 콘텐츠 제작자의 멀티미디어 콘텐츠에 대해 실시간으로 기설정된 영상 처리 및 음성 인식 처리를 수행하여 임의의 상품에 대응하는 객체 및 음성 정보를 추출하고, 추출된 객체 및 음성 정보에 기초하여 하나 이상의 상품을 식별하고, 상기 콘텐츠-상품 정보 저장부에 저장되어 있던 상품 정보 중 상기 식별된 상품에 대응하는 상품 정보를 상기 콘텐츠 이용자 단말로 제공하는 콘텐츠-상품 정보 제공부를 포함한다.

상기 콘텐츠 제작자 매칭 요건은 상품 공급자에 의해 지정된 하나 이상의 토픽 및 상기 토픽에 대한 구독자 감정 평가 결과 중 적어도 하나를 포함하는 것이고, 상기 상품 정보는 상기 식별된 상품에 대한 하나 이상의 상품 영상, 상품 관련 정보 및 해당 상품을 구매할 수 있는 구매 링크 정보 중 적어도 하나를 포함하는 것일 수 있다.

또한, 상기 콘텐츠-상품 매칭부는, 멀티미디어 콘텐츠의 전체 댓글에 포함된 단어 별 출현 빈도 분석을 통해 빈도가 높은 순서에 따라 하나 이상의 키워드를 추출하고, 상기 댓글 별로 상기 키워드에 대한 연관 감정어 분석을 통해 키워드 별 연관 감정어를 추출하고, 상기 키워드 별 연관 감정어에 기초하여, 상기 댓글 별로 포함된 긍정 감정어의 개수로부터 부정 감정어의 개수를 감산한 값을 긍정 감정어의 개수 및 부정 감정어의 개수를 합산한 값으로 나눈 값에 기초하여 상기 댓글 별 감정 스코어를 산출하고, 기설정된 토픽 식별 모델에 상기 추출된 키워드를 입력하여 하나 이상의 토픽을 식별하고, 상기 식별된 토픽 별로 대응하는 키워드에 대한 하나 이상의 상기 댓글 별 감정 스코어들을 합산하여 하나 이상의 토픽 별 감정 스코어를 산출하며, 상기 콘텐츠 특성은, 상기 산출된 토픽 별 감정 스코어에 기초한 토픽 별 구독자 긍정 또는 부정 평가 정보를 포함하는 것일 수 있다.

또한, 상기 콘텐츠-상품 매칭부는, 상기 콘텐츠 제작자 매칭 요건을 만족하는 하나 이상의 멀티미디어 콘텐츠 중 상기 멀티미디어 콘텐츠에 대한 인게이지먼트 정보에 기초하여 하나 이상의 멀티미디어 콘텐츠를 선택하여 상기 상품 공급자의 단말로 추천하되, 상기 인게이지먼트 정보는, 멀티미디어 콘텐츠에 대한 구독자의 긍정 및 부정 반응 정보, 기설정된 소정 기간 동안의 구독자 수 증가율 정보, 및 상기 소정 기간 동안의 댓글 수 증가율 정보 중 적어도 하나를 포함하는 것일 수 있다.

또한, 상기 추천은, 해당 콘텐츠 제작자의 식별 정보, 상기 해당 콘텐츠 제작자의 멀티미디어 콘텐츠의 토픽 별 구독자 긍정 또는 부정 평가 정보, 및 상기 인게이지먼트 정보에 포함된 정보 중 적어도 하나를 포함하는 것일 수 있다.

또한, 상기 콘텐츠-상품 매칭부는, 상기 상품 공급자 단말로부터 하나 이상의 콘텐츠 제작자에 대한 마케팅 의뢰 요청이 수신되면, 상기 마케팅 의뢰 요청에 대응하는 콘텐츠 제작자 단말로 상기 상품 공급자 관련 정보 및 마케팅 대상 정보를 포함하는 마케팅 의뢰 메시지를 전송하며, 상기 콘텐츠 제작자 단말로부터 상기 마케팅 의뢰 메시지에 대응하는 수락 응답이 수신되면, 상기 상품 공급자와 상기 콘텐츠 제작자 간의 매칭을 처리한 후 매칭 관련 정보를 저장하여 관리할 수 있다.

또한, 상기 콘텐츠-상품 정보 제공부는, 상기 상품 공급자에 의해 기등록된 상품명, 브랜드명, 상품 별명, 경쟁사명, 경쟁 브랜드명 및 경쟁 상품명 중 적어도 하나에 대해 라벨링된 하나 이상의 상품 영상 데이터를 학습 데이터로 사용한 기계 학습을 통해 모델링된 상품 영상 식별기; 및 상기 상품 공급자에 의해 기등록된 상품명, 브랜드명, 상품 별명, 경쟁사명, 경쟁 브랜드명 및 경쟁 상품명 중 적어도 하나에 대해 라벨링된 하나 이상의 오디오 데이터를 학습 데이터로 사용한 기계 학습을 통해 모델링된 상품 오디오 식별기를 포함하며, 상기 추출된 객체 및 음성 정보를 각각 상기 상품 영상 식별기 및 상품 오디오 식별기로 입력하여 상기 하나 이상의 상품을 식별할 수 있다.

또한, 상기 콘텐츠 제작자 단말로 상기 매칭 처리된 상품 공급자의 적어도 하나의 상품을 판매할 수 있는 온라인 상품 판매몰을 구축할 수 있는 작업툴(tool)을 포함하는 사용자 인터페이스를 제공하되, 상기 콘텐츠 제작자 단말을 통해 생성된 온라인 상품 판매몰에 연계된 구매 링크 주소를 발급한 후 상기 콘텐츠-상품 저장부에 상품 정보로서 등록하는, 콘텐츠-상품 판매몰 관리부를 더 포함할 수 있다.

이때, 상기 콘텐츠-상품 판매몰 관리부는, 상기 상품 정보로서 구매 링크 정보를 제공받은 상기 콘텐츠 이용자 단말로부터 상기 온라인 상품 판매몰을 통한 상품 판매가 처리된 경우, 상기 상품 판매의 수익 중 기설정된 비율을 상기 콘텐츠 제작자의 계정으로 배분할 수 있다.

한편, 본 발명의 다른 실시예에 따른 멀티미디어 콘텐츠 내 상품 정보 처리 방법은, 상품 공급자의 단말로부터 콘텐츠 제작 매칭 요건 및 상품 별 상품 정보를 수신하여 저장하는 단계; 임의의 멀티미디어 콘텐츠 별 댓글 정보에 기반하여 콘텐츠 특성을 분석하는 단계; 상기 콘텐츠 제작 매칭 요건과 상기 콘텐츠 특성의 분석 결과에 기초하여 하나 이상의 멀티미디어 콘텐츠를 검출하는 단계; 상기 검출된 멀티미디어 콘텐츠의 콘텐츠 제작자에 대한 정보를 상기 상품 공급자에게 추천하는 단계; 상기 추천에 대해 상기 상품 공급자가 선택한 콘텐츠 제작자의 단말로 매칭 요청을 전송하는 단계; 상기 콘텐츠 제작자의 단말로부터 상기 요청에 대응하는 수락 응답을 수신하면, 상기 상품 공급자와 상기 콘텐츠 제작자 간의 매칭을 처리하는 단계; 상기 콘텐츠 제작자에 대해 상기 매칭된 상품 공급자의 상품 정보를 매칭하여 저장하는 단계; 임의의 콘텐츠 이용자의 단말로 상기 콘텐츠 제작자의 멀티미디어 콘텐츠를 제공하고, 상기 콘텐츠 이용자의 단말 상에서 재생 중인 상기 멀티미디어 콘텐츠에 대해 실시간으로 기설정된 영상 처리 및 음성 인식 처리를 수행하여 임의의 상품에 대응하는 객체 정보 및 음성 정보를 추출하는 단계; 상기 추출된 객체 및 음성 정보에 기초하여 하나 이상의 상품을 식별하는 단계; 및 상기 저장된 상품 정보 중 상기 식별된 상품에 대응하는 상품 정보를 상기 콘텐츠 이용자의 단말로 제공하는 단계를 포함한다.

또한, 상기 콘텐츠 특성을 분석하는 단계는, 멀티미디어 콘텐츠의 전체 댓글에 포함된 단어 별 출현 빈도 분석을 통해 빈도가 높은 순서에 따라 하나 이상의 키워드를 추출하고, 상기 댓글 별로 상기 키워드에 대한 연관 감정어 분석을 통해 키워드 별 연관 감정어를 추출하고, 상기 키워드 별 연관 감정어에 기초하여, 상기 댓글 별로 포함된 긍정 감정어의 개수로부터 부정 감정어의 개수를 감산한 값을 긍정 감정어의 개수 및 부정 감정어의 개수를 합산한 값으로 나눈 값에 기초하여 상기 댓글 별 감정 스코어를 산출하고, 기설정된 토픽 식별 모델에 상기 추출된 키워드를 입력하여 하나 이상의 토픽을 식별하고, 상기 식별된 토픽 별로 대응하는 키워드에 대한 하나 이상의 상기 댓글 별 감정 스코어들을 합산하여 하나 이상의 토픽 별 감정 스코어를 산출하며, 상기 콘텐츠 특성은, 상기 산출된 토픽 별 감정 스코어에 기초한 토픽 별 구독자 긍정 또는 부정 평가 정보를 포함하는 것일 수 있다.

또한, 상기 콘텐츠 제작자에 대한 정보를 상기 상품 공급자에게 추천하는 단계는, 상기 콘텐츠 제작자 매칭 요건을 만족하는 하나 이상의 멀티미디어 콘텐츠 중 상기 멀티미디어 콘텐츠에 대한 인게이지먼트 정보에 기초하여 하나 이상의 멀티미디어 콘텐츠를 선택하여 상기 상품 공급자의 단말로 추천하되, 상기 인게이지먼트 정보는, 멀티미디어 콘텐츠에 대한 구독자의 긍정 및 부정 반응 정보, 기설정된 소정 기간 동안의 구독자 수 증가율 정보, 및 상기 소정 기간 동안의 댓글 수 증가율 정보 중 적어도 하나를 포함하는 것일 수 있다.

또한, 상기 추천은, 해당 콘텐츠 제작자의 식별 정보, 상기 해당 콘텐츠 제작자의 멀티미디어 콘텐츠의 토픽 별 구독자 긍정 또는 부정 평가 정보, 및 상기 인게이지먼트 정보에 포함된 정보 중 적어도 하나를 것일 수 있다.

또한, 상기 선택한 콘텐츠 제작자의 단말로 매칭 요청을 전송하는 단계는, 상기 상품 공급자 단말로부터 하나 이상의 콘텐츠 제작자에 대한 마케팅 의뢰 요청이 수신되면, 상기 마케팅 의뢰 요청에 대응하는 콘텐츠 제작자 단말로 상기 상품 공급자 관련 정보 및 마케팅 대상 정보를 포함하는 마케팅 의뢰 메시지를 전송하며, 상기 상품 공급자와 상기 콘텐츠 제작자 간의 매칭을 처리하는 단계는, 상기 콘텐츠 제작자 단말로부터 상기 마케팅 의뢰 메시지에 대응하는 수락 응답이 수신되면, 상기 상품 공급자와 상기 콘텐츠 제작자 간의 매칭을 처리한 후 매칭 관련 정보를 저장하여 관리할 수 있다.

또한, 상기 객체 정보 및 음성 정보를 추출하는 단계는, 상기 상품 공급자에 의해 기등록된 상품명, 브랜드명, 상품 별명, 경쟁사명, 경쟁 브랜드명 및 경쟁 상품명 중 적어도 하나에 대해 라벨링된 하나 이상의 상품 영상 데이터를 학습 데이터로 사용한 기계 학습을 통해 모델링된 상품 영상 식별기를 통해 상기 객체 정보를 추출하고, 상기 상품 공급자에 의해 기등록된 상품명, 브랜드명, 상품 별명, 경쟁사명, 경쟁 브랜드명 및 경쟁 상품명 중 적어도 하나에 대해 라벨링된 하나 이상의 오디오 데이터를 학습 데이터로 사용한 기계 학습을 통해 모델링된 상품 오디오 식별기를 통해 상기 음성 정보를 추출하며, 상기 추출된 객체 및 음성 정보를 각각 상기 상품 영상 식별기 및 상품 오디오 식별기로 입력하여 상기 하나 이상의 상품을 식별할 수 있다.

또한, 상기 콘텐츠 제작자 단말로 상기 매칭 처리된 상품 공급자의 적어도 하나의 상품을 판매할 수 있는 온라인 상품 판매몰을 구축할 수 있는 작업툴(tool)을 포함하는 사용자 인터페이스를 제공하는 단계; 및 상기 콘텐츠 제작자 단말을 통해 생성된 온라인 상품 판매몰에 연계된 구매 링크 주소를 발급한 후 상기 콘텐츠-상품 저장부에 상품 정보로서 등록하는 단계를 더 포함할 수 있다.

이때, 상기 콘텐츠 이용자의 단말로 제공하는 단계 이후에, 상기 상품 정보로서 구매 링크 정보를 제공받은 상기 콘텐츠 이용자 단말로부터 상기 온라인 상품 판매몰을 통한 상품 판매가 처리된 경우, 상기 상품 판매의 수익 중 기설정된 비율을 상기 콘텐츠 제작자의 계정으로 배분하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따르면, 개인 미디어 콘텐츠와 같은 멀티미디어 콘텐츠에 관련된 구독자의 댓글 및 인게이지먼트 정보를 분석하여, 상품 공급자가 원하는 컨셉 및 구독자 반응에 적합한 멀티미디어 콘텐츠를 검출할 수 있다.

이에 따라, 상품 공급자는 자사의 상품 및 브랜드에 대해 적극적으로 콘텐츠 내용을 구성하고 있는 멀티미디어 콘텐츠에 대한 정보뿐만 아니라 해당 콘텐츠의 내용이 긍정적인 구독자 반응을 이끌어 내고 있는 멀티미디어 콘텐츠 및 그 콘텐츠 제작자에 대한 정보를 제공받을 수 있다. 또한, 상품 공급자는 타사(즉, 경쟁사 등)의 상품 및 브랜드에 대해 구독자의 반응이 부정적인 멀티미디어 콘텐츠에 대한 정보도 추가적으로 확인할 수 있어 효율적이다.

또한, 본 발명의 일 실시예에 따르면 개인 미디어 콘텐츠 등의 멀티미디어 콘텐츠가 재생되는 중에 콘텐츠 내에서 다뤄지는 다양한 상품들을 자동 검출하여, 관련된 상품 정보를 콘텐츠 이용자에게 실시간으로 편리하게 제공할 수 있다.

또한, 본 발명의 일 실시예에 따르면 멀티미디어 콘텐츠 내에 포함된 상품을 영상 처리 및 오디오 처리 결과에 기반하여 검출함으로써, 재생 중인 콘텐츠 내에서 공개되거나 언급되고 있는 상품에 대한 검출 정확도를 크게 높일 수 있다.

또한, 본 발명의 일 실시예에 따르면 멀티미디어 콘텐츠 내에서 다뤄지고 있는 상품에 대한 다양한 정보 및 구매 링크를 해당 상품 공급자(즉, 기업 등)가 직접 등록 및 관리할 수 있어, 콘텐츠 이용자는 신뢰성이 높은 상품 정보 및 구매 링크를 제공받을 수 있으며 상품 공급자는 마케팅 측면에서 상품 광고 및 관리를 효율적으로 처리할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 사전에 멀티미디어 콘텐츠의 특성 및 상품 공급자의 요건이 부합되는 콘텐츠에 대해서, 상품 공급자가 마케팅을 원하는 상품에 대한 타겟팅된 상품 정보 제공이 가능하다.

도 1은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 정보 처리 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 정보 처리 장치의 구성도이다.
도 3은 도 2의 콘텐츠-상품 매칭부의 세부 구성을 도시한 블록도이다.
도 4는 도 2의 콘텐츠-상품 정보 제공부의 세부 구성을 도시한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 인식에 기반한 상품 정보 제공 화면의 일례이다.
도 6은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 정보 처리 장치의 하드웨어적 구성을 설명하기 위한 구성도이다.
도 7은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 정보 처리 방법을 설명하기 위한 순서도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 명세서에 있어서 '부(部)' 또는 '모듈'이란, 하드웨어 또는 소프트웨어에 의해 실현되는 유닛(unit), 양방을 이용하여 실현되는 유닛을 포함하며, 하나의 유닛이 둘 이상의 하드웨어를 이용하여 실현되어도 되고, 둘 이상의 유닛이 하나의 하드웨어에 의해 실현되어도 된다.

도 1은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 정보 처리 시스템의 구성도이다.

도 1에 도시한 바와 같이, 멀티미디어 콘텐츠 내 상품 정보 처리 시스템(10)은 멀티미디어 콘텐츠 내 상품 정보 처리 장치(100)(이하, 설명의 편의상 "상품 정보 처리 장치"라고 약칭함), 콘텐츠 제작자 단말(200), 콘텐츠 이용자 단말(300) 및 상품 공급자 단말(400)을 포함한다.

콘텐츠 제작자 단말(200)은 멀티미디어 콘텐츠를 생산(즉, 제작)하여 업로드하는 콘텐츠 제공자(예를 들어, 크리에이터, 개인 미디어 제작자, 인플루언서, 유투버 등 다양하게 지칭될 수 있음)의 단말을 의미한다.

콘텐츠 제작자 단말(200)은 상품 정보 처리 장치(100)에 직접 콘텐츠를 업로드하거나 또는 제 3의 콘텐츠 제공 서비스 서버(미도시)에 콘텐츠를 업로드할 수 있다. 예를 들어, 제 3의 콘텐츠 제공 서비스 서버(미도시)는 일종의 소셜 네트워크 서비스 서버일 수 있으며, 불특정 다수의 사용자가 크리에이터로서 직접 제작한 동영상 등의 멀티미디어 콘텐츠를 업로드하여 대중에게 공개할 수 있도록 하는 콘텐츠 공유 플랫폼을 제공할 수 있다.

일반적으로, 멀티미디어 콘텐츠는 문자, 음성, 영상 등의 다양한 정보 형태가 통합되어 생성, 전달, 처리되도록 하는 시스템 및 서비스에서 활용되는 정보서비스 내용물을 의미하며, 다양한 미디어를 이용하여 컴퓨터에 입출력할 수 있는 디지털화된 저작물일 수 있다. 본 발명의 일 실시예에서는 멀티미디어 콘텐츠가 임의의 콘텐츠 제작자에 의해 생성된 동영상 콘텐츠인 것을 설명하도록 한다. 다만, 멀티미디어 콘텐츠는 이에 한정되지 않는다.

콘텐츠 이용자 단말(300)은 콘텐츠 제공자에 의해 업로드된 멀티미디어 콘텐츠를 이용하는 사용자의 단말을 의미한다.

콘텐츠 이용자 단말(300)은 상품 정보 처리 장치(100)에 접속하여 상품 정보 처리 장치(100)를 통해 제공되는 임의의 멀티미디어 콘텐츠를 선택, 실행 및 열람할 수 있다. 또한, 콘텐츠 이용자 단말(300)은 상품 정보 처리 장치(100) 외에도 제 3의 콘텐츠 제공 서비스 서버(미도시)를 통해 제공되는 임의의 멀티미디어 콘텐츠를 선택, 실행, 열람할 수 있다.

이러한 콘텐츠 이용자 단말(300)은 상품 정보 처리 장치(100) 또는 제 3의 콘텐츠 제공 서비스 서버(미도시)가 제공하는 멀티미디어 컨텐츠 서비스가 구현되는 단말 장치로서, 해당 서비스를 제공하기 위한 프로그램이 탑재 또는 설치되어 있는 단말 장치일 수 있다. 또한, 콘텐츠 이용자 단말(300)에는 상품 정보 처리 장치(100) 또는 제 3 콘텐츠 제공 서버(미도시)를 통해 제공되는 사용자 인터페이스를 화면에 표시할 수 있는 디스플레이 수단, 및 사용자가 원하는 데이터를 입력할 수 있도록 하는 입력 수단이 구비될 수 있다. 이때, 상품 정보 처리 장치(100) 또는 제 3 콘텐츠 제공 서버(미도시)를 통해 제공되는 사용자 인터페이스는, 콘텐츠 이용자가 구독한 멀티미디어 콘텐츠에 대한 다양한 구독자 의견 및 반응 등(즉, 인게이지먼트 및 댓글 참여 등)을 입력할 수 있도록 한다.

상품 공급자 단말(400)은 임의의 상품을 생산, 판매 및 유통하는 상품 공급자(예: 기업, 제품 판매자, 서비스 판매자 등)의 단말로서, 상품 정보 처리 장치(100)에 접속하여 상품 공급자가 자사의 상품 또는 브랜드 등에 대한 마케팅을 진행할 콘텐츠 제작자의 요건 등의 정보를 등록한다. 이때, 상품 공급자 단말(400)은 사전에 하나 이상의 콘텐츠 제작자 매칭 요건을 등록한 후에도 새로운 요건이 추가될 경우 해당 요건에 대한 각종 데이터를 갱신하여 등록할 수 있다.

또한, 상품 공급자 단말(400)은 각 상품 별로 판매하고 있는 하나 이상의 구매 링크 정보를 업로드할 수 있다. 구매 링크 정보는 상품 공급자가 자체적으로 구축한 온라인 스토어 또는 해당 상품을 판매하는 다른 온라인 스토어에서 제공하는 해당 상품의 구매 페이지의 주소를 포함할 수 있다. 또한, 구매 링크 정보에는 콘텐츠 제작자 단말(200)을 통해 직접 생성된 온라인 상품 판매몰 또는 판매몰에서 해당 상품의 구매 페이지의 주소를 포함할 수도 있다.

참고로, 본 발명에서 다루는 “상품”이란, 상품 공급자가 원료를 사용하여 생산하여 판매를 위해 시장에 공급하는 유형의 “제품”에만 한정되는 것이 아니라, 상품 공급자가 소비자에게 제공할 수 있는 무형의 “서비스”를 포함하는 재화의 개념일 수 있다.

한편, 본 발명의 일 실시예에서 "단말"들은 각각 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기 등일 수 있다. 여기서, 컴퓨터는 예를 들어 웹 브라우저(WEB Browser) 또는 모바일 웹 브라우저가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함한다. 또한, 휴대용 단말기는 휴대성과 이동성이 보장되는 무선 통신 장치로서, 예를 들어 IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), LTE(Long Term Evolution), IMT(International Mobile Telecommunication)-2020 통신 기반의 이동 단말, 스마트폰, 태블릿 PC 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

본 발명의 일 실시예에서는 콘텐츠 제작자 단말(200) 및 상품 공급자 단말(400)이 각각 다양한 응용 소프트웨어(예: 모바일 앱 등)가 탑재되어 있거나 또는 자유롭게 응용 소프트웨어를 다운로드하여 설치 및 실행할 수 있는 스마트폰과 컴퓨터인 것을 예로서 설명하도록 한다.

또한, 본 발명의 일 실시예에서 콘텐츠 제작자 단말(200), 콘텐츠 이용자 단말(300), 상품 공급자 단말(400) 및 외부 서버(미도시)는 각각 "네트워크"를 통해 상품 정보 처리 장치(100)와 연결될 수 있으며, 각 구성 간에 데이터가 송수신되는 "네트워크"는 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.

상품 정보 처리 장치(100)는 접속된 다수의 클라이언트 장치(즉, 콘텐츠 제작자 단말(200), 콘텐츠 이용자 단말(300) 및 상품 공급자 단말(400))로 각각 요청된 데이터를 제공하는 일종의 서버 장치 일 수 있다.

이때, 상품 정보 처리 장치(100)는 콘텐츠 제공자가 직접 업로드한 동영상 콘텐츠 또는 다른 멀티미디어 콘텐츠 서비스 플랫폼이 구축된 외부 서버(예: 개인 미디어 서비스 서버 등)에 업로드된 동영상 콘텐츠에 대한 구독자의 댓글 및 인게이지먼트를 수집하여 분석 처리한다.

또한, 상품 정보 처리 장치(100)는 콘텐츠 제공자가 직접 업로드한 동영상 콘텐츠 또는 다른 멀티미디어 콘텐츠 서비스 플랫폼이 구축된 외부 서버(예: 개인 미디어 서비스 서버 등)에 업로드된 동영상 콘텐츠를 콘텐츠 이용자 단말(300)로 제공한다. 그리고 상품 정보 처리 장치(100)는 인공 지능 기술에 기반한 사물 인식 처리 및 음성 인식 처리를 통해 동영상 콘텐츠 내 상품과 관련된 객체 검출 및 음성 정보 검출을 처리함으로써, 콘텐츠 이용자의 동영상 시청 중 검출된 객체에 대응하는 상품에 대한 각종 정보 및 구매 좌표를 자동으로 소비자(즉, 콘텐츠 이용자)에게 제공할 수 있다.

이하에서는, 도 2 내지 도 6을 참조하여 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 정보 처리 장치(100)의 구성 및 동작에 대해서 상세히 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 정보 처리 장치의 구성도이다.

그리고 도 3은 도 2의 콘텐츠-상품 매칭부의 세부 구성을 도시한 블록도이며, 도 4는 도 2의 콘텐츠-상품 정보 제공부의 세부 구성을 도시한 블록도이다.

도 2에 도시한 바와 같이, 상품 정보 처리 장치(100)는 통신부(110), 콘텐츠-상품 매칭부(120), 콘텐츠-상품 정보 저장부(130), 콘텐츠-상품 정보 제공부(140) 및 콘텐츠-상품 판매몰 관리부(150)를 포함한다.

통신부(110)는 콘텐츠 제작자 단말(200), 콘텐츠 이용자 단말(300) 및 상품 공급자 단말(400)과 각각 사전에 설정된 통신 방식을 통해 데이터를 송수신하여 통신한다.

콘텐츠-상품 매칭부(120)는 각 콘텐츠 제작자 별로 대응되는 하나 이상의 멀티미디어 콘텐츠의 댓글 정보에 기반하여 해당 콘텐츠에 대한 콘텐츠 특성을 분석하고, 그 분석 결과와 기등록된 상품 공급자의 콘텐츠 제작 매칭 요건에 부합될 경우 해당 상품 공급자 단말(400)로 해당 멀티미디어 콘텐츠의 콘텐츠 제작자를 추천한다. 이때, 콘텐츠 제작자 매칭 요건은 상품 공급자에 의해 지정된 하나 이상의 토픽 및 해당 토픽에 대한 구독자 감정 평가 결과 중 적어도 하나를 포함할 수 있다.

그리고 콘텐츠-상품 매칭부(120)는 콘텐츠 제작자 추천에 대해 상품 공급자가 선택한 멀티미디어 콘텐츠의 콘텐츠 제작자 단말(200)과 해당 상품 공급자 단말(400) 간에 매칭 요청 및 수락 처리를 통한 매칭 처리를 수행한다.

이러한 콘텐츠-상품 매칭부(120)의 구성 및 그 동작에 대해서 아래 도 3을 참조하여 좀 더 상세히 설명하도록 한다.

콘텐츠-상품 정보 저장부(130)는 콘텐츠 제작자 별로 매칭 처리가 완료된 상품 공급자가 등록한 상품 정보를 매칭하여 저장하되, 콘텐츠-상품 매칭부(120)를 통해 새로운 상품 공급자가 매칭될 경우 새로운 상품 공급자가 등록한 상품 정보를 추가하여 갱신 저장한다.

콘텐츠-상품 정보 제공부(140)는 콘텐츠 이용자 단말(300)로 임의의 콘텐츠 제작자의 멀티미디어 콘텐츠 중 콘텐츠 이용자가 선택한 콘텐츠를 제공하며, 이를 통해 콘텐츠 이용자 단말(300) 상에서 재생 중인 멀티미디어 콘텐츠에 대해 실시간으로 기설정된 영상 처리 및 음성 인식 처리를 수행하여 임의의 상품에 대응하는 객체 및 음성 정보를 추출한다.

그리고 콘텐츠-상품 정보 제공부(140)는 추출된 객체 및 음성 정보에 기초하여 하나 이상의 상품을 식별하고, 콘텐츠-상품 정보 저장부(130)에 저장되어 있던 상품 정보 중 상기 식별된 상품에 대응하는 상품 정보를 콘텐츠 이용자 단말(300)로 제공한다.

이때, 상품 정보는 상기 식별된 상품에 대한 하나 이상의 상품 영상, 상품 관련 정보 및 해당 상품을 구매할 수 있는 구매 링크 정보 중 적어도 하나를 포함할 수 있다.

이러한 콘텐츠-상품 정보 저장부(130) 및 콘텐츠-상품 정보 제공부(140)에 대해서는 아래 도 4 및 도 5를 참조하여 좀 더 상세히 설명하도록 한다.

먼저, 도 3을 참조하면, 콘텐츠-상품 매칭부(120)는 상품 공급자 요구 입력 모듈(121), 콘텐츠 분석 모듈(122), 매칭 정보 제공 모듈(123), 및 콘텐츠 제작 방향 정보 제공 모듈(124)을 포함한다.

상품 공급자 요구 입력 모듈(121)은 상품 공급자 단말(400)로부터 콘텐츠 제작자 매칭 요건을 입력받아 상품 공급자 별로 저장하여 관리한다.

일반적으로, 상품 공급자(예: 기업 등)는 자사의 상품 또는 브랜드를 가장 효과적으로 광고 및 마케팅하는데 적합한 콘텐츠 제작자(예: 개인 미디어 콘텐츠를 제작하는 크리에이터 및 인플루언서 등)를 선택하고자 한다. 이를 위해, 상품 공급자 요구 입력 모듈(121)은 접속된 상품 공급자 단말(400)로 상품 공급자가 지정한 하나 이상의 단어(즉, 토픽) 및 각 단어에 대한 구독자 감정 평가 결과를 선택할 수 있도록 하는 사용자 인터페이스를 제공할 수 있다.

이때, 상품 공급자 요구 입력 모듈(121)이 제공하는 사용자 인터페이스를 통해, 상품 공급자는 자사의 상품명, 브랜드명, 및 상품 카테고리 중 적어도 하나를 지정할 수 있다. 또한, 추가적으로 경쟁사명, 경쟁 브랜드명 및 경쟁 상품명 중 적어도 하나를 지정하는 것도 가능하다.

또한, 상품 공급자 요구 입력 모듈(121)이 제공하는 사용자 인터페이스를 통해, 상품 공급자는 긍정 및 부정에 대해 각각 하나 이상의 평가 등급(예: "강한 긍정/긍정/중립/부정/강한부정"으로 구분되는 5단계 등급)으로 분류된 구독자 감정 평가 결과를 지정할 수 있다.

예를 들어, 이러한 사용자 인터페이스를 통해 상품 공급자가 콘텐츠 제작자 매칭 요건으로서, 자사의 상품인 "제 1 상품"에 대해 "긍정 2단계" 이상의 콘텐츠 특성이 분류되는 콘텐츠 제작자에 대한 정보를 요청할 수 있다.

콘텐츠 분석 모듈(122)은 콘텐츠 제작자 별 하나 이상의 멀티미디어 콘텐츠에 대한 댓글 정보를 수집하고, 수집된 댓글 정보에 기초하여 각 멀티미디어 콘텐츠에 대한 콘텐츠 특성 분석을 처리한다.

구체적으로, 콘텐츠 분석 모듈(122)은 각 멀티미디어 콘텐츠 별로 전체 댓글에 포함된 단어 별 출현 빈도 분석을 통해 빈도가 높은 순서에 따라 하나 이상의 키워드를 추출하고, 댓글 별로 키워드에 대한 연관 감정어 분석을 통해 키워드 별 연관 감정어를 추출하고, 키워드 별 연관 감정어에 기초하여 각 댓글 별 감정 스코어를 산출한 후, 키워드, 키워드 별 연관 감정어, 및 댓글 별 감정 스코어에 기초하여 하나 이상의 토픽 별 감정 스코어를 산출하여, 산출된 토픽 별 감정 스코어에 기초한 토픽 별 구독자 긍정 또는 부정 평가 정보를 해당 멀티미디어 콘텐츠에 대한 콘텐츠 특성 분석의 결과로서 출력할 수 있다.

이때, 콘텐츠 분석 모듈(122)은 멀티미디어 콘텐츠에 대응하여 다수의 구독자가 참여한 전체 댓글에 출현한 단어의 빈도를 카운팅 한다.

댓글은 장황하게 글을 늘여 쓰기보다는 구독자가 하고 싶은 말을 핵심 단어 위주로 게재하는 경향이 있다. 따라서, 콘텐츠에 대응하는 댓글 상의 단어 빈도 분석 방식은 간단하면서도 콘텐츠에 대한 구독자의 감정을 분석하는데 강력하게 사용될 수 있다. 이때, 분석 시간 단축 및 분석 정확도를 높이기 위하여 댓글 내 포함된 단어를 명사 및 형용사로 한정하여 빈도 분석을 수행할 수 있으나, 분석할 단어의 형태는 한정되지 않는다.

그리고 콘텐츠 분석 모듈(122)은 댓글로부터 분석된 단어 빈도 분석의 결과에 대해 연관 감정어 분석을 수행한다.

일반적으로 "연관어 분석"은, 두 키워드가 문헌에서 동시에 출현하였을 때 두 키워드가 표현하는 주제가 서로 관련이 있다고 보고, 언어학적으로 의미의 근접성을 가리키는 것으로 판단하여 단어 간의 연결을 찾는데 활용될 수 있다. 콘텐츠 분석 모듈(122)은 연관어 분석과 사전 기반 감성 분석을 결합하여 연관 키워드의 감성을 도출할 수 있다.

구체적으로, 콘텐츠 분석 모듈(122)은 빈도 분석 결과 상위의 고빈도 단어들(즉, 키워드)을 검출하고, 이러한 고빈도 단어들을 대상으로 해당 단어와 밀접한 관련이 있는 감정어를 도출할 수 있다. 참고로, 연관 감정어 분석에 적용할 감정어는 온라인 공개된 감성 사전(예: KNU, KOSAC 등) 내에 있는 단어를 활용할 수 있다.

아래 표 1은 임의의 문헌 내에 3명의 정치 후보자의 이름이 키워드로서 검출된 경우, 이와 관련하여 연관 감정어 분석에 적용한 결과를 예로서 나타내었다.

후보자	A 후보		B 후보		C 후보
감정	긍정	부정	긍정	부정	긍정	부정
1	지지	조사	지지	문제	지지	조사
2	사람	문제	사람	조사	사람	이상
3	지지자	반대	보수	죄인	지지자	거짓말
4	성공	조작	자유	쓰레기	진정	선동
5	정의	거짓말	정신	거짓말	진심	걱정
6	자유	부정	지지자	조작	능력	부족
7	승리	전투	이해	범죄	희망	가짜
8	이해	선동	정의	잘못	기회	사기
9	필요	가짜	능력	추행	승리	실망
10	세상	잘못	기회	뇌물	정의	배신

이때, 고빈도 단어에 대한 감정어 별 가중치는 같은 댓글에 동시에 함께 출현한 횟수 또는 word2vec 유사도 기법을 활용하여 분석할 수 있다. 참고로, Word2Vec에는 CBOW(Continuous Bag of Words)와 Skip-Gram 두 가지 방식이 있다. CBOW는 문장 내 단어 위치 상 주변 단어들에 기초하여 주변 단어들 사이의 단어(즉, 중간 단어)들을 예측하는 방법이다. 반대로, Skip-Gram은 중간 단어에 기초하여 주변 단어들을 예측하는 방법이다.

콘텐츠 분석 모듈(122)은 멀티미디어 콘텐츠에 대응하는 각 댓글 별로 감성 스코어를 산출할 수 있다. 이때, 콘텐츠 분석 모듈(122)은 댓글 별로 포함된 긍정 감정어의 개수로부터 부정 감정어의 개수를 감산한 값을 긍정 감정어의 개수 및 부정 감정어의 개수를 합산한 값으로 나눈 값에 기초하여 상기 댓글 별 감정 스코어를 산출할 수 있다. 콘텐츠 분석 모듈(122)은 감정 스코어의 범위를 -1 내지 +1 값으로 설정하여 댓글 내 키워드 별 감정 스코어를 수치화할 수 있다.

콘텐츠 분석 모듈(122)은 기설정된 토픽 식별 모델에 상기 추출된 키워드를 입력하여 하나 이상의 토픽을 식별하고, 식별된 토픽 별로 대응하는 키워드에 대한 하나 이상의 댓글 별 감정 스코어들을 합산하여 토픽 별 감정 스코어를 산출한다.

이때, 콘텐츠 분석 모듈(122)은 토픽 식별 모델로서 잠재 디리클레 할당(Latent Dirichlet allocation, LDA) 알고리즘을 사용하여, 멀티미디어 콘텐츠의 댓글에 어떠한 토픽들이 포함되어 있는지 식별할 수 있다. LDA 알고리즘은 주제 별 단어 수 분포를 기반으로 주어진 문서 내에서 단어 수를 분석하여, 해당 문서가 어떤 주제들을 함께 다루고 있을지를 예측하는 알고리즘이다.

아래 표 2는 5개의 임의의 토픽 별로 대응하는 단어들이 매칭되어 있는 예를 나타내었다.

토픽 1 "공원의 특성"	토픽 2 "공원"	토픽 3 "운동"	토픽 4 "주차/내부 환경"	토픽 5 그 외
사람	공원	근처	구경	장소
거리	추천	시설	주차	관리
날씨	산책하기	서울에	주차장	코스
다양한	-	자전거	산책	서울
무료	-	산책하기	분위기	동네
가족	-	운동	여유	조용
아이들	-	정도	자리	행사
한옥	-	서울	여름	호수
사진	-	-	-	공원
여름	-	-	-	-
자리	-	-	-	-

이러한 토픽 별로 대응하는 단어가 정의되어 있는 토픽 식별 모델에 멀티미디어 콘텐츠의 댓글로부터 단어 빈도 분석을 통해 검출된 키워드들을 입력하여 해당 콘텐츠에 포함된 하나 이상의 토픽을 식별할 수 있다.

그리고 콘텐츠 분석 모듈(122)은 토픽 식별 모델을 통해 도출된 각 토픽에 대한 긍정 및 부정 정도를 수치화하여 토픽 별 구독자 긍정 또는 부정 평가 정보를 검출한다. 이를 통해 각 토픽의 감성 정도를 한눈에 알 수 있다. 즉, 어떤 토픽이 긍정적 토픽인지 어떤 토픽이 부정적 토픽인지 알 수 있으며 그 긍정 또는 부정의 정도까지 알 수 있다.

콘텐츠 분석 모듈(122)은 식별된 토픽 별로 대응하는 키워드에 대한 하나 이상의 댓글 별 감정 스코어들을 합산하여 토픽 별 감정 스코어를 산출할 수 있다.

아래 표 3은 어느 하나의 멀티미디어 콘텐츠의 구독자 댓글에 대응하여 식별한 토픽, 토픽 별로 연관된 감정 평가 결과, 토픽 별 감정 스코어 및 토픽 별 해당 키워드가 분석될 결과의 일례를 나타내었다.

토픽	감정	감정 스코어	키워드
정권 교체	긍정	0.116	A후보, 압도적, 1번, 정권교체, 적폐청산, 승리, 과거 경쟁자, 지지, 압승, 당선
선거 공약	긍정	0.005	세금, 공무원, 서민, 공약, 일자리, 교육, 복지, 정규직, 경제, 증세, 노동자
A 후보의 논쟁 이슈	부정	-0.247	자녀, 취업, 공기업, 특혜, 해명, 아버지, 의혹, 채용, 이력서
외교/안보	부정	-0.094	북한, 미국, 전쟁, 김정은, 중국, 주적, 개성공단, 불안, 사드, 공산당, 적화통일, 통일
B 후보의 논쟁 이슈	부정	-0.099	지역, 쓰레기, 가짜보수, 여성부, D정당
??

매칭 정보 제공 모듈(123)은 콘텐츠 분석 모듈(122)을 통해 분석된 콘텐츠 특성 분석의 결과에 기초하여 콘텐츠 제작자 매칭 요건을 만족하는 하나 이상의 멀티미디어 콘텐츠를 검출하고, 검출된 멀티미디어 콘텐츠의 콘텐츠 제작자에 대한 정보를 상품 공급자 단말(400)로 제공한다.

매칭 정보 제공 모듈(123)은 토픽 별 구독자 긍정 또는 부정 평가 정보 중 콘텐츠 제작자 매칭 요건에 부합되는 정보가 포함된 경우 해당 콘텐츠 제작자에 대한 정보를 포함하는 콘텐츠 제작자 추천 리스트를 상품 공급자 단말(400)로 제공할 수 있다.

이때, 매칭 정보 제공 모듈(123)은 콘텐츠 제작자 매칭 요건에 부합되는 복수의 멀티미디어 콘텐츠의 콘텐츠 제작자 별로 매칭 정도를 산출하고, 매칭 정도가 높은 순서에 따라 기설정된 개수의 콘텐츠 제작자의 정보를 포함하는 콘텐츠 제작자 추천 리스트를 제공할 수 있다.

또한, 매칭 정보 제공 모듈(123)은 상품 공급자 단말(400)로부터 하나 이상의 콘텐츠 제작자에 대한 마케팅 의뢰 요청이 수신되면, 마케팅 의뢰 요청에 대응하는 콘텐츠 제작자 단말(200)로 상품 공급자 관련 정보 및 마케팅 대상 정보를 포함하는 마케팅 의뢰 메시지를 전송할 수 있다. 그리고 매칭 정보 제공 모듈(123)은 해당 콘텐츠 제작자 단말(300)로부터 마케팅 의뢰 메시지에 대응하는 수락 응답이 수신되면, 상품 공급자와 콘텐츠 제작자 간의 매칭을 처리한 후 매칭 관련 정보를 저장하여 관리할 수 있다.

한편, 콘텐츠 분석 모듈(122)은 임의의 콘텐츠 제작자의 하나 이상의 멀티미디어 콘텐츠에 대한 인게이지먼트 정보를 더 수집할 수 있다.

여기서, 인게이지 먼트 정보는 멀티미디어 콘텐츠에 대한 구독자의 긍정 및 부정 반응 정보, 기설정된 소정 기간 동안의 구독자 수 증가율 정보, 상기 소정 기간 동안의 댓글 수 증가율 정보 및 댓글 참여 구독자 리스트 중 적어도 하나를 포함할 수 있다.

이때, 매칭 정보 제공 모듈(123)은 콘텐츠 제작자 매칭 요건을 만족하는 하나 이상의 멀티미디어 콘텐츠 중 상기 수집된 인게이지먼트 정보에 기초하여 하나 이상의 멀티미디어 콘텐츠를 선택할 수 있다. 그리고 매칭 정보 제공 모듈(123)은 상기 선택된 하나 이상의 멀티미디어 콘텐츠의 콘텐츠 제작자에 대한 정보를 상품 공급자 단말(400)로 제공할 수 있다.

매칭 정보 제공 모듈(123)은 콘텐츠 제작자에 대한 정보로서, 콘텐츠 제작자의 식별 정보, 해당 콘텐츠 제작자의 멀티미디어 콘텐츠의 토픽 별 구독자 긍정 또는 부정 평가 정보, 및 인게이지먼트 정보에 포함된 정보 중 적어도 하나를 제공할 수 있다.

본 발명의 다른 예에 따라, 콘텐츠 분석 모듈(122)은 멀티미디어 콘텐츠 별 댓글 정보에 기초하여 콘텐츠 특성을 분석하는 것과 더불어, 임의의 콘텐츠 제작자의 멀티미디어 콘텐츠에 참여한 구독자 별로 댓글 정보에 기초하여 콘텐츠 구독자 별 특성 분석을 처리할 수도 있다.

콘텐츠 제작 방향 정보 제공 모듈(124)은 콘텐츠 구독자 별 특성 분석의 결과에 기초하여 구독자 니즈 정보를 생성하고, 구독자 니즈 정보를 콘텐츠 제작자 단말(200)로 제공한다.

이때, 콘텐츠 제작 방향 정보 제공 모듈(124)은 구독자 별로 어느 하나의 콘텐츠 제작자가 아닌 다른 콘텐츠 제작자의 멀티미디어 콘텐츠에서 참여한 댓글 정보 및 해당 구독자의 개인 미디어 콘텐츠의 댓글 정보 중 적어도 하나를 추적할 수 있다.

구체적으로, 콘텐츠 제작 방향 정보 제공 모듈(124)은 구독자 별로 어느 하나의 콘텐츠 제작자의 멀티미디어 콘텐츠 별로 참여한 제 1 댓글 정보, 다른 콘텐츠 제작자의 멀티미디어 콘텐츠에서 참여한 제 2 댓글 정보, 및 해당 구독자의 개인 미디어 콘텐츠의 제 3 댓글 정보를 콘텐츠 분석부로 전달하여, 콘텐츠 특성 분석을 처리할 수 있다.

그리고 콘텐츠 제작 방향 정보 제공 모듈(124)은 콘텐츠 분석 모듈(122)를 통해 처리된 제 1 댓글 정보에 의한 콘텐츠 특성 분석의 결과와, 제 2 및 제 3 댓글 정보 중 적어도 하나에 의한 콘텐츠 특성 분석의 결과를 비교하여, 기설정된 기준치 이상의 연관도를 갖는 토픽을 선택하고, 선택된 토픽 별 구독자 긍정 또는 부정 평가 정보를 상기 구독 니즈 정보로서 제공한다.

이를 통해, 구독자가 해당 콘텐츠 제작자의 콘텐츠들에 대해 참여한 댓글뿐만 아니라 다른 콘텐츠 제작자의 콘텐츠에 대해 남긴 댓글 및 해당 구독자 개인이 운영하는 소셜 네트워크 서비스 채널 상에서 공개된 콘텐츠에 관련된 댓글에 기반하여 해당 구독자의 성향과 콘텐츠 별 감정 평가 등의 정보를 확보할 수 있다. 이러한 구독자 별 특성을 분석한 결과는, 콘텐츠 제작자가 향후 콘텐츠 제작 방향을 설정하기 위한 효과적인 정보로서 제공될 수 있다.

다음으로, 도 4를 참조하면, 콘텐츠-상품 정보 제공부(140)는 콘텐츠 제공 모듈(141), 상품 정보 저장 모듈(142), 영상 검출 모듈(143), 오디오 검출 모듈(144), 및 상품 정보 제공 모듈(145)를 포함한다.

콘텐츠 제공 모듈(141)은 임의의 콘텐츠 제공자가 제작한 멀티미디어 콘텐츠를 저장 및 관리한다. 콘텐츠 제공 모듈(141)은 콘텐츠 제공자 단말(200)을 통해 직접 업로드된 멀티미디어 콘텐츠를 저장할 수 있다. 또한, 콘텐츠 제공 모듈(141)은 외부 콘텐츠 제공 서버(예: 개인 미디어 서비스 서버)(미도시)와의 실시간 통신을 통해 획득한 멀티미디어 콘텐츠를 저장 또는 스트리밍할 수 있다. 예를 들어, 콘텐츠 제공 모듈(141)은 기연동된 하나 이상의 외부 콘텐츠 제공 서버(미도시)로부터 크롤링(crawling) 등의 데이터 수집 방법을 적용하여 멀티미디어 콘텐츠를 수집한 후 자체적으로 저장할 수 있다.

그리고 콘텐츠 제공 모듈(141)는 통신부(110)를 통해 접속된 콘텐츠 이용자 단말(300)로 콘텐츠 이용자가 선택한 멀티미디어 콘텐츠를 제공한다.

상품 정보 저장 모듈(142)은 임의의 상품 공급자의 상품 별로 하나 이상의 상품 영상 및 상품 관련 정보를 포함하는 상품 정보를 매칭하여 저장한다. 상품 정보 저장 모듈(142)은 앞서 설명한 콘텐츠-상품 정보 저장부(130)에 해당 데이터들을 저장할 수 있다.

이때, 상품 정보 저장 모듈(142)은 앞서 설명한 콘텐츠-상품 매칭부(120)를 통해 매칭 처리가 완료된 상품 공급자에 의한 상품 정보를 해당하는 콘텐츠 제작자에 매칭하여 저장한다. 상품 정보 저장 모듈(142)은 콘텐츠 제작자 별로 구축되어 있는 상품 정보에 새로 매칭된 상품 공급자가 마케팅 요청한 상품에 대한 상품 정보를 저장할 수 있다.

이를 통해, 아래에서 설명할 상품 정보 제공 모듈(145)은, 영상 처리 모듈(143) 및 오디오 처리 모듈(144)을 통해 추출된 콘텐츠 내 객체 및 음성 정보에 대해, 콘텐츠-상품 정보 저장부(130)에 기저장되어 있는 매칭 상품 공급자가 등록한 상품이 식별되지 않는 경우, 상품 정보 제공 단계를 생략할 수 있다. 즉, 사전에 상품 공급자와의 매칭이 완료된 콘텐츠 제작자의 경우, 멀티미디어 콘텐츠 내에서 임의의 상품이 검출되더라도 기매칭된 상품 공급자가 등록한(즉, 마케팅 요청한) 상품 중 해당하지 않는 경우 검출된 상품에 대한 정보 제공은 처리하지 않을 수 있다. 이를 통해, 멀티미디어 콘텐츠 내에서 상품 공급자가 원하는 상품에 대한 집중적인 광고 및 마케팅이 가능하다.

상품 정보 저장 모듈(142)은 통신부(110)를 통해 접속된 상품 공급자 단말(400)로 상품 공급자 및 하나 이상의 상품에 대한 데이터를 등록할 수 있도록 하는 사용자 인터페이스를 제공할 수 있다. 이때, 상품 공급자 단말(400)은 사전에 하나 이상의 특정 콘텐츠 제작자와 매칭이 완료된 상품 공급자의 단말일 수 있다.

상품 정보 저장 모듈(142)은 상품 공급자 단말(400)로부터 상품 별로 하나 이상의 방향에서 촬영된 상품 영상과, 해당 상품에 대한 상품명, 브랜드명 및 상품 별명 등의 식별 정보, 해당 상품에 대한 상품 설명, 및 해당 상품에 대한 구매 링크 정보 등을 포함하는 상품 관련 정보를 입력 받아 저장할 수 있다.

참고로, 상품 정보 저장 모듈(142)은 상품 공급자 단말(400)로부터 직접 입력된 구매 링크 정보 외에도 다른 판매처에서 해당 상품을 판매하는 구매 링크 정보를 더 매칭하여 저장할 수 있다. 또한, 상품 정보 저장 모듈(142)은 아래에서 설명할 콘텐츠-상품 판매몰 관리부(150)를 통해 콘텐츠 제작자가 직접 생성한 상품 관련 온라인 상품 판매몰에 대한 구매 링크 정보를 더 저장할 수 있으며, 해당 온라인 상품 판매몰을 통해 판매된 상품에 대한 정보 또한 해당 상품 공급자 및 콘텐츠 제작자에 매칭하여 저장할 수 있다.

영상 검출 모듈(143)은 콘텐츠 이용자 단말(300) 상에서 현재 재생 중인 임의의 콘텐츠 제작자의 멀티미디어 콘텐츠를 기설정된 영상 처리 방식에 따라 처리하여 임의의 상품에 대응하는 객체를 실시간 추출한다.

구체적으로, 영상 검출 모듈(143)은 멀티미디어 콘텐츠 재생 중 실시간으로 콘텐츠 내 상품을 검출하기에 앞서, 콘텐츠 내 객체를 식별하기 위한 식별기를 모델링할 수 있다.

영상 검출 모듈(143)은 임의의 상품 별 상품명, 브랜드명, 상품 별명 경쟁사명, 경쟁사 브랜드명 및 경쟁 상품 명 중 적어도 하나에 대해 라벨링된 하나 이상의 상품 영상 데이터를 학습 데이터로 하여 기계 학습을 처리하고, 기계 학습을 통해 모델링된 상품 영상 식별기를 포함한다. 이때, 학습 데이터로서는 상품 정보 저장 모듈(142)에 저장된 상품 공급자가 업로드한 데이터들을 이용할 수 있다. 다만, 상품 영상 식별기를 모델링하기 위한 학습 데이터는 이에 한정되지 않으며, 온라인 상에 오픈된 오픈 데이터 등을 수집하여 사용할 수도 있다.

영상 검출 모듈(143)은 딥러닝에 기반한 FAST 객체 탐색 기법에 따라 모델링된 상품 영상 식별기를 포함할 수 있다. 예를 들어, 영상 인식 분야에서 객체를 인식하는 알고리즘인 CNN(Convolutional Neural Network), YOLO(You Only Look Once), SSD(Single Shot Detector) 등을 사용하여 영상 내에서 상품에 대응하는 객체를 추출할 수 있다. 다만, 상품 영상 식별기에 적용되는 객체 인식 알고리즘의 종류는 이에 한정되지 않는다.

참고로, YOLO 방식의 경우, 영상이 재생되면서 실시간으로 객체(사물)에 박스 표시를 하며 각 객체에 해당할 확률이 노테이션 된다. 이때, 확률 값에 대한 임계 값을 설정하여 해당 임계 값 이상인 객체만 박스 표시할 수 있다. 이러한 YOLO 알고리즘의 경우 다른 객체 인식 알고리즘에 비해서 처리 속도가 매우 빠르기 때문에 프레임 단위로 많은 이미지가 생성되는 동영상에서 객체 인식을 하는데 적합할 수 있다.

동영상 내에서 상품에 대응하는 객체를 추출하기 위해서는 수 많은 종류의 객체 별로 학습 데이터 세트를 확보해야한다. 예를 들어, 동영상 내에는 상품에 대응하는 객체 외에도 사람, 고양이, 개 등과 같이 상품과 직접적으로 관련 없는 다른 객체들도 많이 포함될 수 있다. 이처럼 수많은 객체 별로 학습 이미지 세트를 확보하여 기계 학습을 처리하는 것은 어려움이 있는 바, 영상 검출 모듈(143)은 공개된 학습 데이터 세트(예: ImageNet(동물 분류), UEC-Food 100(음식 분류), COCO dataset(사람, 사물, 교통수단) 등)가 미리 학습되어 있는 YOLO 모델을 사용하여 상품 관련 학습 데이터를 추가적으로 기계 학습해둘 수 있다.

한편, 영상 검출 모듈(143)은 영상 내 객체뿐만 아니라 문자 정보를 추가적으로 인식할 수 있다. 즉, 콘텐츠 제공자의 멀티미디어 콘텐츠 내에 자막 등의 형태로 삽입된 텍스트 정보를 인식하고, 상품과 관련된 텍스트 정보(즉, 상품명, 브랜드명 및 상품 별명 등)를 추출할 수 있다.

오디오 검출 모듈(144)은 콘텐츠 이용자 단말(300) 상에서 재생 중인 멀티미디어 콘텐츠를 기설정된 음성 인식 처리 방식에 따라 처리하여 임의의 상품에 대응하는 음성 정보를 실시간 추출한다.

오디오 검출 모듈(144)은 임의의 상품 별 상품명, 브랜드명, 상품 별명, 경쟁사명, 경쟁 브랜드명, 및 경쟁 상품명 중 적어도 하나에 대해 라벨링된 하나 이상의 오디오 데이터를 학습 데이터로 하여 기계 학습을 처리 하고, 기계 학습을 통해 모델링된 상품 오디오 식별기를 포함한다. 이때, 학습 데이터로서는 상품 정보 저장 모듈(142)에 저장된 상품 공급자가 업로드한 데이터들을 이용할 수 있다. 다만, 상품 영상 식별기를 모델링하기 위한 학습 데이터는 이에 한정되지 않으며, 온라인 상에 공개된 상품 관련 오픈 오디오 데이터를 수집하여 사용할 수도 있다.

예를 들어, 오디오 검출 모듈(144)은 스피치 투 텍스트(speech to text) 알고리즘을 적용하여 콘텐츠 이용자 단말(300) 상에서 재생 중인 멀티미디어 콘텐츠로부터 상품에 관련된 음성 정보를 추출할 수 있다.

또한, 오디오 검출 모듈(144)은 음성 패턴 인식 기법에 따라 모델링된 상품 오디오 식별기를 포함할 수 있다. 예를 들어, 패턴 인식 분야에서 음성, 필기, 동작 등을 인식하는 알고리즘인 은닉 마르코프 모형(hidden Markov model, HMM) 등을 사용하여 영상 내 상품에 대응하는 음성 신호를 추출할 수 있다. 은닉 마르코프 모형은 인식기에서 추정된 파라미터를 이용하여 미지의 입력 음성에 가장 적합한 모델을 찾아 내는 방법으로서, 이는 음소 또는 단어 자체가 될 수 있다. 다만 상품 오디오 식별기에 적용되는 패턴 인식 알고리즘의 종류는 이에 한정되지 않는다.

상품 정보 제공 모듈(145)은 영상 검출 모듈(143) 및 오디오 검출 모듈(144)의 추출 결과에 기초하여 하나 이상의 상품을 식별하고, 식별된 상품에 대해 콘텐츠-상품 정보부(130)에 기저장되어 있던 상품 정보를 추출하여 콘텐츠 이용자 단말(300)로 제공한다.

이때, 상품 정보 제공 모듈(145)은 상품 정보로서, 식별된 상품에 대한 하나 이상의 상품 영상, 상품 관련 정보 및 해당 상품을 구매할 수 있는 구매 링크 정보 중 적어도 하나를 제공할 수 있다.

앞서 설명한 바와 같이, 상품 정보 저장 모듈(142)에는 콘텐츠 제작자와 매칭된 상품 공급자 단말(400)을 통해 업로드된 상품 영상 및 상품 관련 정보가 저장되어 있다. 이때, 상품 정보 제공 모듈(145)은 상품 정보 저장 모듈(142)을 통해 저장된 상품 공급자가 마케팅을 요청한 상품 관련 정보로부터 상기 식별된 상품에 대한 상품명, 브랜드명 및 상품 별명 중 적어도 하나에 대응하는 요소가 검출된 경우에만, 콘텐츠 이용자 단말(300)로 해당 상품에 대한 상품 정보를 제공할 수 있다. 이때, 상품 정보 제공 모듈(145)은 상품 정보 저장 모듈(142)로부터 상기 식별된 상품에 대응하는 정보가 검출되지 않을 경우 영상 및 오디오 각각의 인식 값을 소멸시키고, 콘텐츠 내에서 새로운 상품이 검출될 때까지 지속적으로 영상 및 오디오 인식을 처리하도록 제어할 수 있다.

다른 예로, 상품 정보 제공 모듈(145)은 영상 검출 모듈(143)을 통해 추출된 객체와 오디오 검출 모듈(144)을 통해 추출된 음성 신호를 동기화하되, 두 추출 데이터가 각각 영상 내에서 출력된(즉, 재생된) 시점에 기반하여 동기화할 수 있다. 예를 들어, 영상 내에서 임의의 상품과 대응된 객체가 추출된 시점 또는 음성 신호가 추출된 시점 중 어느 하나를 기준으로 기설정된 일정 구간 범위 내에 나머지 하나가 추출된 경우, 객체 또는 음성 신호가 동일한 상품에 대한 것으로 판단할 수 있다. 그런 다음, 상품 정보 제공 모듈(145)은 설정된 구간 범위 내에 출력된 객체와 음성 신호가 서로 동일한 상품을 의미하는지 여부를 판단하기 위해 두 데이터가 각각 지칭하는 상품의 유사도를 산출하고, 기설정된 기준치 이상의 유사도 값을 갖는 경우 해당 상품이 현재 콘텐츠 내에서 다뤄지고 있는 상품인 것으로 최종 식별할 수 있다.

또 다른 예로, 상품 정보 제공 모듈(145)은 앞서 설명한 영상 검출 모듈(143)을 통해 현재 재생 중인 콘텐츠 내에서 인식된 객체 및 텍스트 정보와, 오디오 검출 모듈(144)을 통해 현재 재생 중인 콘텐츠 내에서 인식된 음성 정보 중 둘 이상에 기초하여 상품을 식별할 수도 있다. 예를 들어, 상품 정보 제공 모듈(145)은 콘텐츠 내에서 인식된 객체 영상, 음성, 문자를 포함하는 3개의 조건 중 어느 하나가 기등록된 상품에 대응할 경우 해당 상품을 최종 식별할 수도 있다. 또한, 상품 정보 제공 모듈(145)은 콘텐츠 내에서 인식된 객체 영상, 음성, 문자를 포함하는 3개의 조건에 대해 각각 상이한 상품이 추출된 경우, 상기 3개의 조건에 대해 각각 우선순위 또는 가중치를 부여하여 우선 순위가 높거나 가중치가 상대적으로 높은 조건에 대응하는 상품을 해당 상품으로 최종 식별할 수도 있다.

도 5는 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 인식에 기반한 상품 정보 제공 화면의 일례이다.

도 5에서는, 상품 정보 제공 장치(100)를 통해 제공되는 동영상이 콘텐츠 이용자 단말(300)의 화면 상에서 재생되고 있는 상태를 도시하였다.

구체적으로, 콘텐츠 이용자 단말(300)의 화면(P300) 상에는 크리에이터가 패션에 관련된 소장품 또는 추천 제품을 직접 착용하여 정보를 제공하고 있는 동영상 콘텐츠가 재생되고 있다. 이때, 영상 검출 모듈(143)은 동영상 콘텐츠에 대한 실시간 영상 처리를 통해 4개의 상품과 관련된 객체를 추출하였다. 이와 병렬적으로, 오디오 검출 모듈(144)은 동영상 콘텐츠(P301)에 대한 실시간 오디오 처리를 통해 콘텐츠에 포함된 크리에이터의 음성을 인식하되, 크리에이터가 발성하는 소장품 또는 추천 제품에 대한 상품명, 브랜드명 및 상품 별명 등의 임의의 상품을 지칭하는 음성 정보를 추출하였다.

이때, 상품 정보 제공 모듈(145)은 각각 추출된 상품과 관련된 객체 정보 및 음성 정보와 상품 정보 저장 모듈(142)을 통해 저장된 상품 관련 정보들에 기초하여 4개의 상품(예를 들어, 터틀넥 스웨터, 롱코트, 안경 및 신발)을 식별하고 그에 대응하는 상품 정보를 제공한다.

도 5를 참조하면, 상품 정보 제공 모듈(145)은 4개의 상품에 대한 각각의 상품 정보 제공창(P302 ~ P305)을 출력한다.

이때, 상품 정보 제공 모듈(145)은 식별된 상품에 대한 상품 정보를 노출시키기에 앞서, 콘텐츠 이용자가 해당 상품 정보를 제공받고자 하는지 확인하는 "상품 정보 보기" 기능을 먼저 활성화시킬 수 있다. 예를 들어, "상품 정보 보기" 기능은 콘텐츠 재생 중 어느 하나의 상품이 식별된 시점에 팝업 형태로 화면 상 일부 영역에 노출될 수 있다.

이러한 "상품 정보 보기" 기능을 콘텐츠 이용자가 선택할 경우, 상품 정보 제공 모듈(145)는 현재 식별된 4개의 상품에 대한 상품 정보 제공창(P302 ~ P305) 중 적어도 하나를 출력한다. 이러한 상품 정보 제공창에는 해당하는 상품에 대한 영상 및 상품 관련정보가 포함될 수 있으며, 상품을 구매할 수 있는 구매 링크 정보가 더 포함될 수 있다.

도 5에서와 같이, 상품 정보 제공 모듈(145)은 복수의 상품 정보 제공창(P302 ~ P305)을 동시에 표시할 수 있다. 이러한 경우 원래의 동영상 콘텐츠가 재생되던 화면은 일정 비율 또는 크기로 축소될 수 있으며, 하나 이상의 상품 정보 제공창들은 각각 콘텐츠 재생 화면과 일부가 겹치거나 또는 독립적으로 화면의 일부 영역에 표시될 수 있다.

이때, 동영상 콘텐츠는 지속적으로 재생될 수 있으며, 사용자가 화면 일부 영역에 표시된 상품 정보 제공창(P302 ~ P305) 중 어느 하나를 선택할 경우 동영상 콘텐츠를 정지시킨 후 해당 상품 정보 제공창의 세부 정보 제공창(미도시)을 화면 전체에 표시할 수 있다. 이러한 세부 정보 제공창은 원래의 상품 정보 제공창의 정보를 용이하게 식별할 수 있도록 일정 비율 또는 크기로 확대된 것일 수 있으며, 좀 더 세부적인 상품 정보를 포함할 수 있다.

또한, 표시된 상품 정보 제공창(P302 ~ P305)은 새로운 상품이 추가 식별될 때까지 유지된 후, 새로운 상품이 식별되거나 또는 영상 검출 모듈(143)을 통해 직전에 검출되었던 객체들이 모두 화면 상에 존재하지 않게 된 경우 화면 내에서 삭제될 수 있다.

다만, 상품 정보 제공창(P302 ~ P305)이 표시되는 형태는 이에 한정되지 않는다. 예를 들어, 복수의 상품 정보 제공창은 각각 최초 식별된 시점부터 일정 기간만큼 노출되는 형태로 제공되거나, 식별된 상품을 선택 가능할 정도의 작은 크기로 노출된 후 사용자가 선택한 경우에만 일정 크기 이상으로 확대 출력되는 것도 가능하다.

한편, 앞서 설명한 바와 같이 콘텐츠 이용자 단말(200)로 제공되는 상품 정보 중 구매 링크 정보가 포함될 수 있으며, 이러한 구매 링크 정보로서 콘텐츠 제작자가 직접 구축한 온라인 상품 판매몰의 주소 정보가 포함될 수 있다.

구체적으로, 콘텐츠-상품 판매몰 관리부(150)는 콘텐츠 제작자 단말(200)로 매칭 처리가 완료된 상품 공급자의 적어도 하나의 상품을 판매할 수 있는 온라인 상품 판매몰을 구축할 수 있는 작업툴(tool)을 포함하는 사용자 인터페이스를 제공한다.

예를 들어, 콘텐츠 제작자에 의해 구축 가능한 온라인 상품 판매몰 작업툴은 하나 이상의 상품 이미지 또는 영상, 상품명, 가격 등을 콘텐츠 제작자가 직접 업로드 및 설정할 수 있도록 하며, 해당 데이터들을 화면 내 원하는 위치에 배치 시킬 수 있도록 하는 탬플릿을 제공할 수 있다.

그리고 콘텐츠-상품 판매몰 관리부(150)는 콘텐츠 제작자 단말(200)을 통해 생성된 온라인 상품 판매몰에 연계된 구매 링크 주소를 발급한 후 콘텐츠-상품 저장부(130)에 상품 정보로서 등록할 수 있다.

이때, 콘텐츠-상품 판매몰 관리부(150)는 상품 정보로서 구매 링크 정보를 제공받은 콘텐츠 이용자 단말(300)로부터 온라인 상품 판매몰을 통한 상품 판매가 처리된 경우, 해당 상품 판매의 수익 중 기설정된 비율을 기등록된 콘텐츠 제작자의 계정으로 배분할 수 있다. 예를 들어, 콘텐츠-상품 판매몰 관리부(150)는 콘텐츠 제작자 별로 운영하는 소셜 미디어 계정 하나당 하나의 온라인 상품 판매몰 링크 주소를 발급할 수 있다.

또한, 본 발명의 일 실시예에 따른 상품 정보 처리 장치(100)는 외부의 금융 정보 제공 서버(미도시)와 연동할 수 있으며, 금융 정보 제공 서버로부터 제공되는 카드 가입 정보를 저장할 수 있는 금융 제휴 기능을 통해 콘텐츠 이용자 단말(300)로 카드 기입 정보 중 적어도 일부를 노출시켜 판매를 처리할 수 있다.

한편, 도 2 내지 도 5에 도시된 멀티미디어 콘텐츠 내 상품 정보 처리 장치(100)의 구성은 도 6에서와 같은 하드웨어 구성으로 구현될 수 있다.

도 6은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 정보 처리 장치의 하드웨어적 구성을 설명하기 위한 구성도이다.

도 6에 도시한 상품 정보 처리 장치(100')는 앞서 도 2에 도시한 상품 정보 처리 장치(100)와 동일한 장치로서, 앞서 도 2 내지 도 5를 통해 설명한 상품 정보 처리 장치(100)의 각 구성이 처리하는 동작들을 모두 처리할 수 있다.

상품 정보 처리 장치(100')는 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치일 수 있으며, 본 발명에 따른 동작을 실행하도록 기술된 명령들(instructions)이 포함된 프로그램을 실행할 수 있다.

도 6을 참조하면, 상품 정보 처리 장치(100')의 하드웨어는 적어도 하나의 프로세서(110'), 메모리(120'), 스토리지(130') 및 통신 인터페이스(140')를 포함할 수 있으며, 이들 각 구성은 통신 버스를 통해 연결될 수 있다. 이외에도, 상품 정보 처리 장치(100')는 별도의 입력 장치 및 출력 장치 등의 하드웨어를 더 포함할 수 있다.

상품 정보 처리 장치(100')는 프로그램을 구동할 수 있는 운영 체제를 비롯한 각종 소프트웨어가 스토리지(130')와 같은 저장 장치에 탑재될 수 있다.

프로세서(110')는 장치(100')의 동작을 제어하는 장치로서, 프로그램에 포함된 명령들을 처리하는 다양한 형태의 프로세서(예: CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 등)일 수 있다.

메모리(120')는 본 발명에 따른 동작을 실행하도록 기술된 명령들이 프로세서(110')에 의해 처리되도록 해당 프로그램을 로드할 수 있다. 예를 들어, 메모리(120')는 ROM(read only memory), RAM(random access memory) 등 일 수 있다.

이때, 메모리(120')는 스토리지(130')에 저장되어 있는 프로그램을 로드할 수 있다. 이러한 프로그램은 멀티미디어 콘텐츠 별로 대응하는 댓글 정보 및 인게이지먼트 정보 중 적어도 하나에 의해 콘텐츠에 대한 분석을 처리하도록 하고, 분석 처리 결과에 대응하여 상품 공급자에게 매칭된 콘텐츠 제작자의 정보를 제공하도록 하며, 각 콘텐츠 제작자 별로 구독자에 대한 분석 결과에 기초한 콘텐츠 제작 방향 제시 정보를 제공할 수 있도록 하는 프로그램일 수 있다. 또한 프로그램은 멀티미디어 콘텐츠 내에서 검출된 상품에 대한 각종 정보를 사용자(즉, 콘텐츠 이용자)의 단말(300)로 제공하기 위한 프로그램일 수 있다.

스토리지(130')는 본 발명에 따른 동작을 실행하는데 요구되는 각종 데이터 및 프로그램 등을 저장할 수 있다. 이때, 스토리지(130')는 프로그램의 실행에 따라 처리된 결과 데이터 및 사전에 연동되거나 연결된 장치(예: 외부 서버 등)를 통해 입력된 데이터들을 각 상품 공급자 및 콘텐츠 제공자 별로 각각 매칭하여 데이터베이스화 하여 저장할 수 있다.

통신 인터페이스(140')는 장치(100')의 각 구성 요소들 간의 통신, 및 외부 연동된 장치(즉, 콘텐츠 제작자 단말(200), 콘텐츠 이용자 단말(300) 및 상품 공급자 단말(400))와의 통신을 처리하는 유/무선 통신 모듈일 수 있다. 이러한 통신 인터페이스(140')는 앞서 도 2에서 설명한 통신부(110)와 대응될 수 있다.

프로세서(110')는 메모리(120')에 로드된 프로그램에 포함된 명령들을 수행하되, 프로그램의 실행에 따라 앞서 도 2에서 설명한 상품 정보 처리 장치(100)의 적어도 하나의 구성들의 동작을 처리한다.

즉, 프로세서(110')는 도 2의 상품 정보 처리 장치(100)의 콘텐츠-상품 매칭부(120), 콘텐츠-상품 정보 저장 모듈(142), 콘텐츠-상품 정보 제공부(140) 및 콘텐츠-상품 판매몰 관리부(150)와 대응되며, 이들 구성들이 처리하는 동작들을 수행할 수 있다.

이하, 도 7을 참조하여 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 처리 방법에 대해서 설명하도록 한다. 이러한 방법은 앞서 설명한 상품 정보 처리 장치(100)의 각 구성들 간의 연계된 처리 또는 상품 정보 처리 장치(100')의 프로세서(110')에 의해 수행될 수 있다.

도 7은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 정보 처리 방법을 설명하기 위한 순서도이다.

본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 정보 처리 방법은, 멀티미디어 콘텐츠를 제작하는 콘텐츠 제작자와 멀티미디어 콘텐츠를 활용한 마케팅을 원하는 상품 공급자(즉, 기업 및 상품 판매자 등) 간의 매칭을 처리하고, 매칭된 상품 공급자가 원하는 조건을 만족하는 콘텐츠 제작자(즉, 크리에이터 또는 인플루언서 등)의 멀티미디어 콘텐츠 상에 상품 공급자의 상품이 노출되면 콘텐츠 이용자(즉, 구독자 등)가 실시간으로 해당 상품에 관련된 정보를 확인하고 구매까지 진행할 수 있도록 상품 정보를 제공한다.

임의의 상품 공급자 단말로부터 콘텐츠 제작 매칭 요건 및 관련된 상품 정보를 각각 입력받아 저장한다(S701).

이때, 콘텐츠 제작 매칭 요건은, 상품 공급자의 상품 별 상품명, 브랜드명, 상품 별명, 경쟁사명, 경쟁 브랜드명 및 경쟁 상품명 등에 관련된 토픽 및 해당 토픽에 대한 구독자의 감정 평가 결과일 수 있다.

또한, 관련된 상품 정보는, 상품 공급자의 상품 별 대한 하나 이상의 상품 영상, 상품 관련 정보 및 해당 상품을 구매할 수 있는 구매 링크 정보를 포함할 수 있다.

그리고 임의의 멀티미디어 콘텐츠 별로 댓글 정보에 기반한 콘텐츠 특성을 분석하고(S702), 분석된 콘텐츠 특성이 상품 공급자의 콘텐츠 제작 매칭 요건에 부합되는 멀티미디어 콘텐츠를 검출한다(S703).

이때, 멀티미디어 콘텐츠 별 댓글 정보를 분석하여 콘텐츠 특성을 분석하는 방식에 대해서는 앞서 도 2 및 도 3을 통해 설명한 바, 상세한 설명은 생략하도록 한다.

다음으로, 검출된 하나 이상의 멀티미디어 콘텐츠 별 콘텐츠 제작자에 대한 정보를 상품 공급자 단말로 추천하고(S704), 상품 공급자가 마케팅을 원하는 하나 이상의 콘텐츠 제작자를 선택한 정보를 수신한다(S705).

상품 공급자가 선택한 콘텐츠 제작자의 단말로 마케팅 의뢰를 전송하고, 그에 대응하여 해당 콘텐츠 제작자로부터 수락 응답을 수신하면, 해당 상품 공급자와 콘텐츠 제작자 간에 매칭 처리를 완료한다(S706).

그런 다음, 특정 상품 공급자와 매칭된 콘텐츠 제작자에 대해 해당 상품 공급자가 등록한 상품 정보를 매칭 저장한다(S707).

이때, 콘텐츠 제작자 단말로 매칭 완료된 상품 공급자의 상품 정보를 제공하여 마케팅을 의뢰 할 수 있다.

이처럼, 하나 이상의 콘텐츠 제작자와 상품 공급자 간에 매칭이 완료된 상태에서, 콘텐츠 제작자 별 멀티미디어 콘텐츠 중 사용자가 선택한 콘텐츠를 콘텐츠 이용자 단말로 제공하고, 콘텐츠 이용자 단말 상에서 재생되는 콘텐츠 상 노출된 임의의 상품과 관련된 객체 및 음성 정보를 추출한다(S708).

이러한 멀티미디어 콘텐츠 내 상품에 대응하는 객체 및 음성 정보를 추출하는 방식은 앞서 도 4 를 통해 설명한 바, 상세한 설명은 생략하도록 한다.

그런 다음, 추출된 객체 및 음성 정보와 사전에 해당 콘텐츠 제작자에 대해 매칭 저장되어 있는 상품 공급자가 등록한 상품 정보에 기초하여, 하나 이상의 상품을 식별한다(S709).

이때, 사전에 저장되어 있던 상품 관련 정보들 중 어느 하나와 상기 추출된 객체 정보 및 음성 정보 중 어느 하나가 매칭되거나 또는 두 정보가 모두 동일한 상품에 매칭될 경우, 해당 상품을 식별해낼 수 있다.

또한, 객체 정보 및 음성 정보를 추출하는 것과 별개로 재생 중인 콘텐츠에 대한 영상 처리를 통해 텍스트 정보를 인식하는 처리 또한 추가적으로 실행될 수도 있다. 이러한 경우, 추출된 객체 정보, 음성 정보와 더불어 텍스트 정보(즉, 문자)에 기초하여 해당 상품을 식별하는 것도 가능하다.

다음으로, 사전에 저장되어 있던 상품 공급자의 상품 별 상품 정보 중 상기 식별된 상품에 대응하는 상품 정보를 검출하여 콘텐츠 이용자의 단말로 제공한다(S710).

이때, 해당 콘텐츠 제작자에 대응하여 저장되어 있던 상품 공급자의 상품 정보 중 상기 객체 정보 및 음성 정보에 대응하는 상품이 식별되지 않는 경우 콘텐츠 이용자에 대한 상품 정보 제공은 처리하지 않음으로써, 상품 공급자가 마케팅하고자 하는 상품에 대한 집중도를 높일 수 있다.

또한, 본 발명의 일 실시예에 따르면, 이상의 단계들과는 별개로, 콘텐츠 제작자가 매칭된 상품 공급자가 마케팅 의뢰한 상품을 판매할 수 있는 온라인 상품 판매몰을 직접 구축할 수 있는 작업툴 및 해당 판매몰을 운영할 수 있도록 하는 사용자 인터페이스를 콘텐츠 제작자 단말로 제공할 수 있다.

이러한 사용자 인터페이스를 통해 콘텐츠 제작자가 온라인 상품 판매몰을 생성완료하면, 해당 판매몰에 대해 상품 관련 구매 링크 주소를 발급하고, 해당 구매 링크 주소를 상품 정보에 추가 등록할 수 있다.

한편, 콘텐츠 제작자 정보를 상품 공급자 단말로 제공하는 단계 이전에, 앞서 설명한 바와 같이 콘텐츠 제작자 별 하나 이상의 멀티미디어 콘텐츠에 대한 인게이지먼트 정보를 수집하는 단계를 먼저 수행할 수 있다.

이러한 인게이지먼트 정보를 수집한 경우, 콘텐츠 제작자 추천 리스트를 상품 공급자의 단말로 제공하는 단계에서, 콘텐츠 제작자 매칭 요건을 만족하는 하나 이상의 멀티미디어 콘텐츠 중 인게이지먼트 정보에 기초하여 하나 이상의 멀티미디어 콘텐츠를 선택하고, 선택된 하나 이상의 멀티미디어 콘텐츠의 콘텐츠 제작자에 대한 정보를 상품 공급자의 단말로 제공할 수 있다.

이때, 인게이지먼트 정보는, 멀티미디어 콘텐츠에 대한 구독자의 긍정 및 부정 반응 정보, 기설정된 소정 기간 동안의 구독자 수 증가율 정보, 상기 소정 기간 동안의 댓글 수 증가율 정보 및 댓글 참여 구독자 리스트 중 적어도 하나를 포함할 수 있다.

따라서, 상품 공급자가 요구하는 조건에 적합한 콘텐츠 제작자가 복수일 경우 인게이지먼트 정보가 상품 공급자가 원하는 조건에 해당하는 콘텐츠 제작자를 우선적으로 선택하여 그에 대한 정보를 제공할 수 있다. 예를 들어, 상품 공급자가 원하는 요건에 부합하되 구독자의 긍정 반응(예: "좋아요" 또는 "추천" 버튼이 선택된 반응) 개수가 가장 높은 콘텐츠 제작자를 우선적으로 선택할 수 있다.

이상, 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 정보 처리 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

10: 멀티미디어 콘텐츠 및 상품 공급자 매칭 시스템
100, 100': 멀티미디어 콘텐츠 내 상품 정보 처리 장치
200: 콘텐츠 제작자 단말
300: 콘텐츠 구독자 단말
400: 상품 공급자 단말

Claims

멀티미디어 콘텐츠 내 상품 정보 처리 장치에 있어서,
멀티미디어 콘텐츠의 댓글 정보에 기반하여 분석된 콘텐츠 특성이 기등록된 상품 공급자의 콘텐츠 제작 매칭 요건에 부합될 경우 상품 공급자 단말로 해당 멀티미디어 콘텐츠의 콘텐츠 제작자를 추천하고, 상기 추천에 대해 상기 상품 공급자가 선택한 멀티미디어 콘텐츠의 콘텐츠 제작자 단말과 상기 상품 공급자 단말 간에 매칭 요청 및 수락 처리를 통한 매칭 처리를 수행하는 콘텐츠-상품 매칭부;
콘텐츠 제작자 별로 상기 매칭 처리가 완료된 상품 공급자가 등록한 상품 정보를 매칭하여 저장하되, 상기 콘텐츠-상품 매칭부를 통해 새로운 상품 공급자가 매칭될 경우 상기 새로운 상품 공급자가 등록한 상품 정보를 추가하여 갱신 저장하는 콘텐츠-상품 정보 저장부; 및
콘텐츠 이용자 단말로 제공하여 재생 중인 상기 콘텐츠 제작자의 멀티미디어 콘텐츠에 대해 실시간으로 기설정된 영상 처리 및 음성 인식 처리를 수행하여 임의의 상품에 대응하는 객체 및 음성 정보를 추출하고, 추출된 객체 및 음성 정보에 기초하여 하나 이상의 상품을 식별하고, 상기 콘텐츠-상품 정보 저장부에 저장되어 있던 상품 정보 중 상기 식별된 상품에 대응하는 상품 정보를 상기 콘텐츠 이용자 단말로 제공하는 콘텐츠-상품 정보 제공부를 포함하며,
상기 콘텐츠 제작자 매칭 요건은 상품 공급자에 의해 지정된 하나 이상의 토픽 및 상기 토픽에 대한 구독자 감정 평가 결과 중 적어도 하나를 포함하는 것이고,
상기 상품 정보는 상기 식별된 상품에 대한 하나 이상의 상품 영상, 상품 관련 정보 및 해당 상품을 구매할 수 있는 구매 링크 정보 중 적어도 하나를 포함하는 것이며,
상기 콘텐츠-상품 정보 제공부는,
각각 추출된 객체와 음성 정보를 동기화하되, 영상 내에서 임의의 상품과 대응된 상기 객체가 추출된 시점 또는 상기 음성 정보가 추출된 시점 중 어느 하나를 기준으로 기 설정된 일정 구간 범위 내에 나머지 하나가 추출된 경우, 상기 객체 또는 상기 음성 정보가 동일한 상품에 대한 것으로 판단하고, 상기 기 설정된 구간 범위 내에 출력된 상기 객체와 상기 음성 정보가 서로 동일한 상품을 의미하는지 판단하기 위해 상기 객체와 상기 음성 정보가 각각 지칭하는 상품의 유사도를 산출하고, 기 설정된 기준치 이상의 유사도 값을 갖는 경우 해당 상품이 콘텐츠 내의 상품인 것으로 식별하는 것을 특징으로 하는,
멀티미디어 콘텐츠 내 상품 정보 처리 장치.
제 1 항에 있어서,
상기 콘텐츠-상품 매칭부는,
멀티미디어 콘텐츠의 전체 댓글에 포함된 단어 별 출현 빈도 분석을 통해 빈도가 높은 순서에 따라 하나 이상의 키워드를 추출하고,
상기 댓글 별로 상기 키워드에 대한 연관 감정어 분석을 통해 키워드 별 연관 감정어를 추출하고,
상기 키워드 별 연관 감정어에 기초하여, 상기 댓글 별로 포함된 긍정 감정어의 개수로부터 부정 감정어의 개수를 감산한 값을 긍정 감정어의 개수 및 부정 감정어의 개수를 합산한 값으로 나눈 값에 기초하여 상기 댓글 별 감정 스코어를 산출하고,
기설정된 토픽 식별 모델에 상기 추출된 키워드를 입력하여 하나 이상의 토픽을 식별하고, 상기 식별된 토픽 별로 대응하는 키워드에 대한 하나 이상의 상기 댓글 별 감정 스코어들을 합산하여 하나 이상의 토픽 별 감정 스코어를 산출하며,
상기 콘텐츠 특성은,
상기 산출된 토픽 별 감정 스코어에 기초한 토픽 별 구독자 긍정 또는 부정 평가 정보를 포함하는 것인, 멀티미디어 콘텐츠 내 상품 정보 처리 장치.
제 1 항에 있어서,
상기 콘텐츠-상품 매칭부는,
상기 콘텐츠 제작자 매칭 요건을 만족하는 하나 이상의 멀티미디어 콘텐츠 중 상기 멀티미디어 콘텐츠에 대한 인게이지먼트 정보에 기초하여 하나 이상의 멀티미디어 콘텐츠를 선택하여 상기 상품 공급자의 단말로 추천하되,
상기 인게이지먼트 정보는,
멀티미디어 콘텐츠에 대한 구독자의 긍정 및 부정 반응 정보, 기설정된 소정 기간 동안의 구독자 수 증가율 정보, 및 상기 소정 기간 동안의 댓글 수 증가율 정보 중 적어도 하나를 포함하는 것인, 멀티미디어 콘텐츠 내 상품 정보 처리 장치.
제 3 항에 있어서,
상기 추천은,
해당 콘텐츠 제작자의 식별 정보, 상기 해당 콘텐츠 제작자의 멀티미디어 콘텐츠의 토픽 별 구독자 긍정 또는 부정 평가 정보, 및 상기 인게이지먼트 정보에 포함된 정보 중 적어도 하나를 포함하는 것인, 멀티미디어 콘텐츠 내 상품 정보 처리 장치.
제 1 항에 있어서,
상기 콘텐츠-상품 매칭부는,
상기 상품 공급자 단말로부터 하나 이상의 콘텐츠 제작자에 대한 마케팅 의뢰 요청이 수신되면, 상기 마케팅 의뢰 요청에 대응하는 콘텐츠 제작자 단말로 상기 상품 공급자 관련 정보 및 마케팅 대상 정보를 포함하는 마케팅 의뢰 메시지를 전송하며,
상기 콘텐츠 제작자 단말로부터 상기 마케팅 의뢰 메시지에 대응하는 수락 응답이 수신되면, 상기 상품 공급자와 상기 콘텐츠 제작자 간의 매칭을 처리한 후 매칭 관련 정보를 저장하여 관리하는, 멀티미디어 콘텐츠 내 상품 정보 처리 장치.
제 1 항에 있어서,
상기 콘텐츠-상품 정보 제공부는,
상기 상품 공급자에 의해 기등록된 상품명, 브랜드명, 상품 별명, 경쟁사명, 경쟁 브랜드명 및 경쟁 상품명 중 적어도 하나에 대해 라벨링된 하나 이상의 상품 영상 데이터를 학습 데이터로 사용한 기계 학습을 통해 모델링된 상품 영상 식별기; 및
상기 상품 공급자에 의해 기등록된 상품명, 브랜드명, 상품 별명, 경쟁사명, 경쟁 브랜드명 및 경쟁 상품명 중 적어도 하나에 대해 라벨링된 하나 이상의 오디오 데이터를 학습 데이터로 사용한 기계 학습을 통해 모델링된 상품 오디오 식별기를 포함하며,
상기 추출된 객체 및 음성 정보를 각각 상기 상품 영상 식별기 및 상품 오디오 식별기로 입력하여 상기 하나 이상의 상품을 식별하는, 멀티미디어 콘텐츠 내 상품 정보 처리 장치.
제 1 항에 있어서,
상기 콘텐츠 제작자 단말로 상기 매칭 처리된 상품 공급자의 적어도 하나의 상품을 판매할 수 있는 온라인 상품 판매몰을 구축할 수 있는 작업툴(tool)을 포함하는 사용자 인터페이스를 제공하되,
상기 콘텐츠 제작자 단말을 통해 생성된 온라인 상품 판매몰에 연계된 구매 링크 주소를 발급한 후 상기 콘텐츠-상품 정보 저장부에 상품 정보로서 등록하는, 콘텐츠-상품 판매몰 관리부를 더 포함하고,
상기 콘텐츠-상품 판매몰 관리부는,
상기 상품 정보로서 구매 링크 정보를 제공받은 상기 콘텐츠 이용자 단말로부터 상기 온라인 상품 판매몰을 통한 상품 판매가 처리된 경우, 상기 상품 판매의 수익 중 기설정된 비율을 상기 콘텐츠 제작자의 계정으로 배분하는, 멀티미디어 콘텐츠 내 상품 정보 처리 장치.
멀티미디어 콘텐츠 내 상품 정보 처리 장치에 의한 상품 정보 처리 방법에 있어서,
상품 공급자의 단말로부터 콘텐츠 제작 매칭 요건 및 상품 별 상품 정보를 수신하여 저장하는 단계;
임의의 멀티미디어 콘텐츠 별 댓글 정보에 기반하여 콘텐츠 특성을 분석하는 단계;
상기 콘텐츠 제작 매칭 요건과 상기 콘텐츠 특성의 분석 결과에 기초하여 하나 이상의 멀티미디어 콘텐츠를 검출하는 단계;
상기 검출된 멀티미디어 콘텐츠의 콘텐츠 제작자에 대한 정보를 상기 상품 공급자에게 추천하는 단계;
상기 추천에 대해 상기 상품 공급자가 선택한 콘텐츠 제작자의 단말로 매칭 요청을 전송하는 단계;
상기 콘텐츠 제작자의 단말로부터 상기 요청에 대응하는 수락 응답을 수신하면, 상기 상품 공급자와 상기 콘텐츠 제작자 간의 매칭을 처리하는 단계;
상기 콘텐츠 제작자에 대해 상기 매칭된 상품 공급자의 상품 정보를 매칭하여 저장하는 단계;
임의의 콘텐츠 이용자의 단말로 상기 콘텐츠 제작자의 멀티미디어 콘텐츠를 제공하고, 상기 콘텐츠 이용자의 단말 상에서 재생 중인 상기 멀티미디어 콘텐츠에 대해 실시간으로 기설정된 영상 처리 및 음성 인식 처리를 수행하여 임의의 상품에 대응하는 객체 정보 및 음성 정보를 추출하는 단계;
상기 추출된 객체 및 음성 정보에 기초하여 하나 이상의 상품을 식별하는 단계; 및
상기 저장된 상품 정보 중 상기 식별된 상품에 대응하는 상품 정보를 상기 콘텐츠 이용자의 단말로 제공하는 단계를 포함하며,
상기 콘텐츠 제작자 매칭 요건은 상품 공급자에 의해 지정된 하나 이상의 토픽 및 상기 토픽에 대한 구독자 감정 평가 결과 중 적어도 하나를 포함하는 것이고,
상기 상품 정보는 상기 식별된 상품에 대한 하나 이상의 상품 영상, 상품 관련 정보 및 해당 상품을 구매할 수 있는 구매 링크 정보 중 적어도 하나를 포함하는 것이며,
상기 하나 이상의 상품을 식별하는 단계는,
상기 추출된 객체 정보와 상기 음성 정보를 동기화하되, 영상 내에서 임의의 상품과 대응된 상기 객체 정보가 추출된 시점 또는 상기 음성 정보가 추출된 시점 중 어느 하나를 기준으로 기 설정된 일정 구간 범위 내에 나머지 하나가 추출된 경우, 상기 객체 정보 또는 상기 음성 정보가 동일한 상품에 대한 것으로 판단하고, 상기 기 설정된 구간 범위 내에 출력된 상기 객체 정보와 상기 음성 정보가 서로 동일한 상품을 의미하는지 판단하기 위해 상기 객체 정보와 상기 음성 정보가 각각 지칭하는 상품의 유사도를 산출하고, 기 설정된 기준치 이상의 유사도 값을 갖는 경우 해당 상품이 콘텐츠 내의 상품인 것으로 식별하는 것을 특징으로 하는,
멀티미디어 콘텐츠 내 상품 정보 처리 방법.
제 8 항에 있어서,
상기 콘텐츠 특성을 분석하는 단계는,
멀티미디어 콘텐츠의 전체 댓글에 포함된 단어 별 출현 빈도 분석을 통해 빈도가 높은 순서에 따라 하나 이상의 키워드를 추출하고,
상기 댓글 별로 상기 키워드에 대한 연관 감정어 분석을 통해 키워드 별 연관 감정어를 추출하고,
상기 키워드 별 연관 감정어에 기초하여, 상기 댓글 별로 포함된 긍정 감정어의 개수로부터 부정 감정어의 개수를 감산한 값을 긍정 감정어의 개수 및 부정 감정어의 개수를 합산한 값으로 나눈 값에 기초하여 상기 댓글 별 감정 스코어를 산출하고,
기설정된 토픽 식별 모델에 상기 추출된 키워드를 입력하여 하나 이상의 토픽을 식별하고, 상기 식별된 토픽 별로 대응하는 키워드에 대한 하나 이상의 상기 댓글 별 감정 스코어들을 합산하여 하나 이상의 토픽 별 감정 스코어를 산출하며,
상기 콘텐츠 특성은,
상기 산출된 토픽 별 감정 스코어에 기초한 토픽 별 구독자 긍정 또는 부정 평가 정보를 포함하는 것인, 멀티미디어 콘텐츠 내 상품 정보 처리 방법.
제 8 항에 있어서,
상기 콘텐츠 제작자에 대한 정보를 상기 상품 공급자에게 추천하는 단계는,
상기 콘텐츠 제작자 매칭 요건을 만족하는 하나 이상의 멀티미디어 콘텐츠 중 상기 멀티미디어 콘텐츠에 대한 인게이지먼트 정보에 기초하여 하나 이상의 멀티미디어 콘텐츠를 선택하여 상기 상품 공급자의 단말로 추천하되,
상기 인게이지먼트 정보는,
멀티미디어 콘텐츠에 대한 구독자의 긍정 및 부정 반응 정보, 기설정된 소정 기간 동안의 구독자 수 증가율 정보, 및 상기 소정 기간 동안의 댓글 수 증가율 정보 중 적어도 하나를 포함하는 것인, 멀티미디어 콘텐츠 내 상품 정보 처리 방법.
제 10 항에 있어서,
상기 추천은,
해당 콘텐츠 제작자의 식별 정보, 상기 해당 콘텐츠 제작자의 멀티미디어 콘텐츠의 토픽 별 구독자 긍정 또는 부정 평가 정보, 및 상기 인게이지먼트 정보에 포함된 정보 중 적어도 하나를 포함하는 것인, 멀티미디어 콘텐츠 내 상품 정보 처리 방법.
제 8 항에 있어서,
상기 선택한 콘텐츠 제작자의 단말로 매칭 요청을 전송하는 단계는,
상기 상품 공급자 단말로부터 하나 이상의 콘텐츠 제작자에 대한 마케팅 의뢰 요청이 수신되면, 상기 마케팅 의뢰 요청에 대응하는 콘텐츠 제작자 단말로 상기 상품 공급자 관련 정보 및 마케팅 대상 정보를 포함하는 마케팅 의뢰 메시지를 전송하며,
상기 상품 공급자와 상기 콘텐츠 제작자 간의 매칭을 처리하는 단계는,
상기 콘텐츠 제작자 단말로부터 상기 마케팅 의뢰 메시지에 대응하는 수락 응답이 수신되면, 상기 상품 공급자와 상기 콘텐츠 제작자 간의 매칭을 처리한 후 매칭 관련 정보를 저장하여 관리하는, 멀티미디어 콘텐츠 내 상품 정보 처리 방법.
제 8 항에 있어서,
상기 객체 정보 및 음성 정보를 추출하는 단계는,
상기 상품 공급자에 의해 기등록된 상품명, 브랜드명, 상품 별명, 경쟁사명, 경쟁 브랜드명 및 경쟁 상품명 중 적어도 하나에 대해 라벨링된 하나 이상의 상품 영상 데이터를 학습 데이터로 사용한 기계 학습을 통해 모델링된 상품 영상 식별기를 통해 상기 객체 정보를 추출하고,
상기 상품 공급자에 의해 기등록된 상품명, 브랜드명, 상품 별명, 경쟁사명, 경쟁 브랜드명 및 경쟁 상품명 중 적어도 하나에 대해 라벨링된 하나 이상의 오디오 데이터를 학습 데이터로 사용한 기계 학습을 통해 모델링된 상품 오디오 식별기를 통해 상기 음성 정보를 추출하며,
상기 추출된 객체 및 음성 정보를 각각 상기 상품 영상 식별기 및 상품 오디오 식별기로 입력하여 상기 하나 이상의 상품을 식별하는, 멀티미디어 콘텐츠 내 상품 정보 처리 방법.
제 8 항에 있어서,
상기 콘텐츠 제작자 단말로 상기 매칭 처리된 상품 공급자의 적어도 하나의 상품을 판매할 수 있는 온라인 상품 판매몰을 구축할 수 있는 작업툴(tool)을 포함하는 사용자 인터페이스를 제공하는 단계; 및
상기 콘텐츠 제작자 단말을 통해 생성된 온라인 상품 판매몰에 연계된 구매 링크 주소를 발급한 후 콘텐츠-상품 정보 저장부에 상품 정보로서 등록하는 단계를 더 포함하며,
상기 콘텐츠 이용자의 단말로 제공하는 단계 이후에,
상기 상품 정보로서 구매 링크 정보를 제공받은 상기 콘텐츠 이용자 단말로부터 상기 온라인 상품 판매몰을 통한 상품 판매가 처리된 경우, 상기 상품 판매의 수익 중 기설정된 비율을 상기 콘텐츠 제작자의 계정으로 배분하는 단계를 더 포함하는, 멀티미디어 콘텐츠 내 상품 정보 처리 방법.