KR102522989B1 - 멀티미디어 콘텐츠 내 상품 정보 제공 장치 및 방법 - Google Patents

Abstract

멀티미디어 콘텐츠 내 상품 정보 제공 장치 및 그 방법을 제공한다. 멀티미디어 콘텐츠 내 상품 정보 제공 장치는, 임의의 콘텐츠 제공자의 멀티미디어 콘텐츠를 콘텐츠 이용자의 단말로 제공하고, 콘텐츠 이용자의 단말 상에서 재생 중인 멀티미디어 콘텐츠를 기설정된 영상 처리 및 음성 인식 처리 방식에 따라 처리하여 임의의 상품에 대응하는 객체 정보 및 음성 정보를 실시간으로 각각 추출하고, 추출된 객체 정보 및 음성 정보에 기초하여 하나 이상의 상품을 식별하고, 사전에 저장되어 있던 상품 공급자의 상품 별 상품 정보 중 식별된 상품에 대응하는 상품 정보를 검출하고, 검출된 상품 정보를 상기 콘텐츠 이용자의 단말로 제공한다.

Description

멀티미디어 콘텐츠 내 상품 정보 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING INFORMATION RELATED TO PRODUCT IN MULTIMEDIA CONTENTS}

본 발명은 멀티미디어 콘텐츠 내에 포함된 상품에 대한 상품 정보를 사용자에게 제공하는 장치 및 그 방법에 관한 것이다.

전세계적으로 소셜 네트워크 서비스를 이용하는 이용자가 폭발적으로 증가함에 따라, 유튜브와 같은 개인 미디어 서비스 플랫폼을 통해 방대한 양의 멀티미디어 콘텐츠(예: 개인 미디어 콘텐츠)가 양산되고 있다.

이러한 개인 미디어 콘텐츠를 시청하는 이용자(즉, 구독자)는 편리하고 간단하게 동영상을 통해 원하는 정보를 취득하거나 여가를 즐길 수 있어, 개인 미디어 콘텐츠에 대한 수요는 더 증가하는 추세이다.

한편, 개인 미디어 콘텐츠 이용자가 단순히 일방적인 영상 시청에 만족하는 것이 아니라, 콘텐츠 내 등장하는 제품, 착장품, 소장품, 도구 등의 객체에 대한 정보를 제공받고자 직접 요청하는 경우가 빈번해지고 있다. 그러나 현실적으로 콘텐츠 제작자가 콘텐츠 내 여러 객체들에 대해 무수히 많은 질문에 일일이 답하기 어렵다는 한계가 있다. 이에 기존에는 콘텐츠 제작자들이 콘텐츠 제작 시 콘텐츠 내 등장하는 객체들과 관련된 정보를 콘텐츠 내에서 별도로 언급 또는 게시하거나, 콘텐츠 별 공지 및 댓글 등을 통해 상품 관련 정보를 게시하는 등 번거로움을 감수하고 있다. 이러한 정보 제공 방식은, 영상을 시청하는 콘텐츠 이용자들 입장에서도 콘텐츠로부터 얻게 되는 상품 관련 정보 외에 자세한 정보나 구매를 원할 경우 게시글 내 해당 제품과 매칭되는 정보 또는 구매 링크 등을 직접 찾아내야 하는 불편함이 있다. 특히, 콘텐츠 내 상품의 종류가 다양할 경우 원하는 상품에 대한 정보를 찾는데 어려움이 있으며, 해당 상품을 구매할 수 있는 구매 링크를 찾아 해당 판매처의 온라인 페이지로 이동하더라도 상품과 직접적인 관련이 적은 메인페이지가 보여지거나 간혹 여러 단계(회원가입유도, 어플리케이션 설치 등)를 거쳐야 제품에 대한 구매 및 정보를 취득할 수 있다는 문제점이 있다.

한국공개특허 제10-2017-0133809호(발명의 명칭: 분산처리기반의 동영상 내 상품추출방법 및 프로그램) 한국공개특허 제10-2016-0150142호(발명의 명칭: 영상 컨텐츠 내의 상품 구매정보용 캡션 생성방법)

본 발명의 일 실시예는, 멀티미디어 콘텐츠 내에 포함된 상품을 자동으로 검출하여 해당 상품에 관한 정보를 이용자에게 편리하게 제공할 수 있는 상품 정보 제공 장치 및 방법을 제공하고자 한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른 멀티미디어 콘텐츠 내 상품 정보 제공 장치는, 콘텐츠 제공자의 단말, 콘텐츠 이용자의 단말 및 상품 공급자의 단말과 각각 통신하는 통신부; 임의의 콘텐츠 제공자의 멀티미디어 콘텐츠를 콘텐츠 이용자의 단말로 전송하는 콘텐츠 제공부; 임의의 상품 공급자의 상품 별로 하나 이상의 상품 영상 및 상품 관련 정보가 매칭 저장된 상품 정보 저장부; 상기 콘텐츠 이용자의 단말 상에서 재생 중인 멀티미디어 콘텐츠를 기설정된 영상 처리 방식에 따라 처리하여 임의의 상품에 대응하는 객체를 실시간 추출하는 영상 검출부; 상기 재생 중인 멀티미디어 콘텐츠를 기설정된 음성 인식 처리 방식에 따라 처리하여 임의의 상품에 대응하는 음성 정보를 실시간 추출하는 오디오 검출부; 및 상기 영상 검출부 및 오디오 검출부의 추출 결과 중 적어도 하나에 기초하여 하나 이상의 상품을 식별하고, 상기 식별된 상품에 대해 상기 상품 정보 저장부에 기저장되어 있던 상품 정보를 상기 콘텐츠 이용자의 단말로 제공하는 상품 정보 제공부를 포함한다.

이때, 상기 상품 정보 제공부는, 상기 상품 정보로서, 상기 식별된 상품에 대한 하나 이상의 상품 영상 및 상품 관련 정보와 해당 상품을 구매할 수 있는 구매 링크 정보를 함께 제공할 수 있다.

또한, 상기 영상 검출부는, 임의의 상품 별 제품명, 브랜드명 및 제품 별명 중 적어도 하나에 대해 라벨링된 하나 이상의 상품 영상 데이터를 학습 데이터로 하여 기계 학습을 처리하고, 상기 기계 학습을 통해 모델링된 상품 영상 식별기를 포함할 수 있다.

또한, 상기 오디오 검출부는, 임의의 상품 별 제품명, 브랜드명 및 제품 별명 중 적어도 하나에 대해 라벨링된 하나 이상의 오디오 데이터를 학습 데이터로 하여 기계 학습을 처리 하고, 상기 기계 학습을 통해 모델링된 상품 오디오 식별기를 포함할 수 있다.

또한, 상기 상품 정보 저장부에는 기등록된 상품 공급자의 단말을 통해 업로드된 상품 영상 및 상품 관련 정보가 저장되어 있으며, 상기 상품 정보 제공부는 상기 상품 정보 저장부에 저장된 상품 관련 정보로부터 상기 식별된 상품에 대한 제품명, 브랜드명 및 제품 별명 중 적어도 하나가 검출되면 상기 콘텐츠 이용자의 단말로 상기 상품 정보를 제공할 수 있다.

한편, 본 발명의 다른 측면에 따른 멀티미디어 콘텐츠 내 상품 정보 제공 방법은, 임의의 콘텐츠 제공자의 멀티미디어 콘텐츠를 콘텐츠 이용자의 단말로 제공하는 단계; 상기 콘텐츠 이용자의 단말 상에서 재생 중인 멀티미디어 콘텐츠를 기설정된 영상 처리 및 음성 인식 처리 방식에 따라 처리하여 임의의 상품에 대응하는 객체 정보 및 음성 정보를 실시간으로 각각 추출하는 단계; 상기 추출된 객체 정보 및 음성 정보에 기초하여 하나 이상의 상품을 식별하는 단계; 및 사전에 저장되어 있던 상품 공급자의 상품 별 상품 정보 중 상기 식별된 상품에 대응하는 상품 정보를 검출하고, 검출된 상품 정보를 상기 콘텐츠 이용자의 단말로 제공하는 단계를 포함한다.

이때, 상기 검출된 상품 정보를 상기 콘텐츠 이용자의 단말로 제공하는 단계는, 상기 식별된 상품에 대한 하나 이상의 상품 영상, 상품 관련 정보 및 해당 상품을 구매할 수 있는 구매 링크 정보를 포함하는 상기 상품 정보로서 제공할 수 있다.

또한, 상기 임의의 상품에 대응하는 객체 정보를 추출하는 단계 이전에, 임의의 상품 별 제품명, 브랜드명 및 제품 별명 중 적어도 하나에 대해 라벨링된 하나 이상의 상품 영상 데이터를 학습 데이터로 한 기계 학습을 처리하여 상품 영상 식별기를 모델링하는 단계를 더 포함할 수 있으며, 상기 상품 영상 식별기를 사용하여 상기 재생 중인 멀티미디어 콘텐츠로부터 임의의 상품에 대응하는 객체 정보를 추출할 수 있다.

또한, 상기 임의의 상품에 대응하는 음성 정보를 추출하는 단계 이전에, 임의의 상품 별 제품명, 브랜드명 및 제품 별명 중 적어도 하나에 대해 라벨링된 하나 이상의 오디오 데이터를 학습 데이터로 한 기계 학습을 처리 하여 상품 오디오 식별기를 모델링하는 단계를 더 포함할 수 있으며, 상기 상품 오디오 식별기를 사용하여 상기 재생 중인 멀티미디어 콘텐츠로부터 임의의 상품에 대응하는 음성 정보를 추출할 수 있다.

또한, 상기 멀티미디어 콘텐츠를 콘텐츠 이용자의 단말로 제공하는 단계 이전에, 기등록된 상품 공급자의 단말로부터 상품 별 제품명, 브랜드명 및 제품 별명 중 적어도 하나에 대해 매칭된 하나 이상의 상품 영상, 상품 관련 정보 및 구매 링크를 입력 받아 저장하는 단계를 더 포함할 수 있다.

또한, 상기 식별된 상품에 대응하는 상품 정보를 검출하고, 검출된 상품 정보를 상기 콘텐츠 이용자의 단말로 제공하는 단계는, 상기 기등록된 상품 공급자의 단말을 통해 입력된 상품 관련 정보로부터 상기 식별된 상품에 대한 제품명, 브랜드명 및 제품 별명 중 적어도 하나가 검출되면 상기 콘텐츠 이용자의 단말로 상기 상품 정보를 제공할 수 있다.

본 발명의 일 실시예에 따르면, 개인 미디어 콘텐츠 등의 멀티미디어 콘텐츠가 재생되는 중에 콘텐츠 내에서 다뤄지는 다양한 상품들을 자동 검출하여, 관련된 상품 정보를 콘텐츠 이용자에게 실시간으로 편리하게 제공할 수 있다.

또한, 본 발명의 일 실시예에 따르면 멀티미디어 콘텐츠 내에 포함된 상품을 영상 처리 및 오디오 처리 결과에 기반하여 검출함으로써, 재생 중인 콘텐츠 내에서 공개되거나 언급되고 있는 상품에 대한 검출 정확도를 크게 높일 수 있다.

또한, 본 발명의 일 실시예에 따르면 멀티미디어 콘텐츠 내에서 다뤄지고 있는 상품에 대한 다양한 정보 및 구매 링크를 해당 상품 공급자(즉, 기업 등)가 직접 등록 및 관리할 수 있어, 콘텐츠 이용자는 신뢰성이 높은 상품 정보 및 구매 링크를 제공받을 수 있으며 상품 공급자는 마케팅 측면에서 상품 광고 및 관리를 효율적으로 처리할 수 있다.

도 1은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 정보 제공 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 정보 제공 장치의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 인식에 기반한 상품 정보 제공 화면의 일례이다.
도 4는 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 정보 제공 장치의 하드웨어적 구성을 설명하기 위한 구성도이다.
도 5는 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 정보 제공 방법을 설명하기 위한 순서도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 명세서에 있어서 '부(部)' 또는 '모듈'이란, 하드웨어 또는 소프트웨어에 의해 실현되는 유닛(unit), 양방을 이용하여 실현되는 유닛을 포함하며, 하나의 유닛이 둘 이상의 하드웨어를 이용하여 실현되어도 되고, 둘 이상의 유닛이 하나의 하드웨어에 의해 실현되어도 된다.

도 1은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 정보 제공 시스템의 구성도이다.

도 1에 도시한 바와 같이, 멀티미디어 콘텐츠 내 상품 정보 제공 시스템(10)은 멀티미디어 콘텐츠 내 상품 정보 제공 장치(100)(이하, 설명의 편의 상 "상품 정보 제공 장치"라고 지칭함), 콘텐츠 제공자 단말(200), 콘텐츠 이용자 단말(300) 및 상품 공급자 단말(400)을 포함한다.

콘텐츠 제공자 단말(200)은 멀티미디어 콘텐츠를 생산(즉, 제작)하여 업로드하는 콘텐츠 제공자(예를 들어, 크리에이터, 개인 미디어 제작자, 인플루언서, 유투버 등 다양하게 지칭될 수 있음)의 단말을 의미한다.

콘텐츠 제공자 단말(200)은 상품 정보 제공 장치(100)에 직접 콘텐츠를 업로드하거나 또는 제 3의 콘텐츠 제공 서비스 서버(미도시)에 콘텐츠를 업로드할 수 있다. 예를 들어, 제 3의 콘텐츠 제공 서비스 서버(미도시)는 일종의 소셜 네트워크 서비스 서버일 수 있으며, 불특정 다수의 사용자가 크리에이터로서 직접 제작한 동영상 등의 멀티미디어 콘텐츠를 업로드하여 대중에게 공개할 수 있도록 하는 콘텐츠 공유 플랫폼을 제공할 수 있다.

일반적으로, 멀티미디어 콘텐츠는 문자, 음성, 영상 등의 다양한 정보 형태가 통합되어 생성, 전달, 처리되도록 하는 시스템 및 서비스에서 활용되는 정보서비스 내용물을 의미하며, 다양한 미디어를 이용하여 컴퓨터에 입출력할 수 있는 디지털화된 저작물일 수 있다. 본 발명의 일 실시예에서는 멀티미디어 콘텐츠가 임의의 콘텐츠 제작자에 의해 생성된 동영상 콘텐츠인 것을 설명하도록 한다. 다만, 멀티미디어 콘텐츠는 이에 한정되지 않는다.

콘텐츠 이용자 단말(300)은 콘텐츠 제공자에 의해 업로드된 멀티미디어 콘텐츠를 이용하고자 하는 사용자의 단말을 의미한다.

콘텐츠 이용자 단말(300)은 상품 정보 제공 장치(100)에 접속하여 장치(100)를 통해 제공되는 임의의 멀티미디어 콘텐츠를 선택 및 재생한다. 이때, 콘텐츠 이용자 단말(300)은 상품 정보 제공 장치(100)로부터 현재 재생 중인 멀티미디어 콘텐츠 내에 포함된 임의의 상품에 대한 각종 정보를 실시간으로 제공받아 화면의 적어도 일부분에 표시할 수 있다.

이러한 콘텐츠 이용자 단말(300)은 상품 정보 처리 장치(100)와 연동하여 장치(100)가 제공하는 서비스가 구현되는 단말 장치로서, 해당 서비스를 제공하기 위한 프로그램이 탑재 또는 설치되어 있는 단말 장치일 수 있다. 또한, 콘텐츠 이용자 단말(300)에는 상품 정보 제공 장치(100)를 통해 제공되는 사용자 인터페이스를 화면에 표시할 수 있는 디스플레이 수단, 및 사용자가 원하는 데이터를 입력할 수 있도록 하는 입력 수단이 구비될 수 있다.

상품 공급자 단말(400)은 임의의 상품을 생산, 판매 및 유통하는 상품 공급자(예: 기업, 제품 판매자, 서비스 판매자 등)의 단말로서, 상품 정보 제공 장치(100)에 접속하여 자사의 상품을 등록하고 등록된 상품 별로 상품 관련 정보 및 영상 등의 자료를 업로드한다. 이때, 상품 공급자 단말(400)은 사전에 하나 이상의 상품에 대한 데이터를 업로드한 후에도 새로운 상품이 추가될 경우 해당 상품에 대한 각종 데이터를 갱신하여 저장할 수 있다.

또한, 상품 공급자 단말(400)은 각 상품 별로 판매하고 있는 하나 이상의 구매 링크 정보를 업로드할 수 있다. 구매 링크 정보는 상품 공급자가 자체적으로 구축한 온라인 스토어 또는 해당 상품을 판매하는 다른 온라인 스토어에서 제공하는 해당 상품의 구매 페이지의 주소를 포함할 수 있다.

한편, 본 실시예예서는 상품 공급자 단말(400)을 통해 상품의 구매 링크 정보나 상품에 대한 정보가 업로드되는 것을 예로 들어 설명하나, 본 발명의 사상은 이에 한정되지 않는다. 예를 들어, 상품 공급자로부터 제공되는 상품 등의 재화에 관한 정보는 상품 정보 제공 장치(100)의 관리자에게 제공되고, 상품 정보 제공 장치(100)의 관리자에 의해 입력될 수도 있다.

한편, 본 발명의 일 실시예에서 "단말"들은 각각 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기 등일 수 있다. 여기서, 컴퓨터는 예를 들어 웹 브라우저(WEB Browser) 또는 모바일 웹 브라우저가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함한다. 또한, 휴대용 단말기는 휴대성과 이동성이 보장되는 무선 통신 장치로서, 예를 들어 IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), LTE(Long Term Evolution), IMT(International Mobile Telecommunication)-2020 통신 기반의 이동 단말, 스마트폰, 태블릿 PC 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

본 발명의 일 실시예에서는 콘텐츠 이용자 단말(300)이 다양한 응용 소프트웨어(예: 모바일 앱 등)가 탑재되어 있거나 또는 자유롭게 응용 소프트웨어를 다운로드하여 설치 및 실행할 수 있는 스마트폰인 것을 예로서 설명하도록 한다.

또한, 본 발명의 일 실시예에서 콘텐츠 제공자 단말(200), 콘텐츠 이용자 단말(300), 상품 공급자 단말(400) 및 외부 서버(미도시)는 각각 "네트워크"를 통해 상품 정보 제공 장치(100)와 연결될 수 있으며, 각 구성 간에 데이터가 송수신되는 "네트워크"는 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.

상품 정보 제공 장치(100)는 접속된 다수의 클라이언트 장치(즉, 콘텐츠 제공자 단말(200), 콘텐츠 이용자 단말(300) 및 상품 공급자 단말(400))로 각각 요청된 데이터를 제공하는 일종의 서버 장치 일 수 있다.

이때, 상품 정보 제공 장치(100)는 콘텐츠 제공자가 직접 업로드한 동영상 콘텐츠 또는 다른 멀티미디어 콘텐츠 서비스 플랫폼이 구축된 외부 서버(예: 개인 미디어 서비스 서버 등)에 업로드된 동영상 콘텐츠를 콘텐츠 이용자 단말(300)로 제공한다.

또한, 상품 정보 제공 장치(100)는 인공 지능 기술에 기반한 사물 인식 처리를 통해 동영상 콘텐츠 내 객체를 검출함으로써, 콘텐츠 이용자의 동영상 시청 중 검출된 객체에 대응하는 상품에 대한 각종 정보 및 구매 좌표를 자동으로 소비자(즉, 콘텐츠 이용자)에게 제공할 수 있다.

이하에서는, 도 2 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 정보 제공 장치(100)의 구성 및 동작에 대해서 상세히 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 정보 제공 장치의 구성도이다.

도 2에 도시한 바와 같이, 상품 정보 제공 장치(100)는 통신부(110), 콘텐츠 제공부(120), 상품 정보 저장부(130), 영상 검출부(140), 오디오 검출부(150), 및 상품 정보 제공부(160)를 포함한다.

통신부(110)는 콘텐츠 제공자 단말(200), 콘텐츠 이용자 단말(300) 및 상품 공급자 단말(400)과 각각 사전에 설정된 통신 방식을 통해 데이터를 송수신하여 통신한다.

콘텐츠 제공부(120)는 임의의 콘텐츠 제공자가 제작한 멀티미디어 콘텐츠를 저장 및 관리한다. 콘텐츠 제공부(120)는 콘텐츠 제공자 단말(200)을 통해 직접 업로드된 멀티미디어 콘텐츠를 저장할 수 있다. 또한, 콘텐츠 제공부(120)는 외부 콘텐츠 제공 서버(예: 개인 미디어 서비스 서버)(미도시)와의 실시간 통신을 통해 획득한 멀티미디어 콘텐츠를 저장 또는 스트리밍할 수 있다. 예를 들어, 콘텐츠 제공부(120)는 기연동된 하나 이상의 외부 콘텐츠 제공 서버(미도시)로부터 크롤링(crawling) 등의 데이터 수집 방법을 적용하여 멀티미디어 콘텐츠를 수집한 후 자체적으로 저장할 수 있다.

그리고 콘텐츠 제공부(120)는 통신부(110)를 통해 접속된 콘텐츠 이용자 단말(300)로 콘텐츠 이용자가 선택한 멀티미디어 콘텐츠를 제공한다.

상품 정보 저장부(130)는 임의의 상품 공급자의 상품 별로 상품 영상 및 상품 관련 정보 중 하나 이상을 매칭하여 저장한다.

상품 정보 저장부(130)는 통신부(110)를 통해 접속된 상품 공급자 단말(400)로 상품 공급자 및 하나 이상의 상품에 대한 데이터를 등록할 수 있도록 하는 사용자 인터페이스를 제공할 수 있다.

이때, 상품 정보 저장부(130)는 상품 공급자 단말(400)로부터 상품 별로 하나 이상의 방향에서 촬영된 상품 영상과, 해당 상품에 대한 제품명, 브랜드명 및 제품 별명 등의 식별 정보, 해당 상품에 대한 상품 설명, 및 해당 상품에 대한 구매 링크 정보 등을 포함하는 상품 관련 정보를 입력 받아 저장할 수 있다.

참고로, 상품 정보 저장부(130)는 상품 공급자 단말(400)로부터 직접 입력된 구매 링크 정보 외에도 다른 판매처에서 해당 상품을 판매하는 구매 링크 정보를 더 매칭하여 저장할 수 있다.

영상 검출부(140)는 콘텐츠 이용자 단말(300) 상에서 현재 재생 중인 임의의 콘텐츠 제공자의 멀티미디어 콘텐츠를 기설정된 영상 처리 방식에 따라 처리하여 임의의 상품에 대응하는 객체를 실시간 추출한다.

구체적으로, 영상 검출부(140)는 멀티미디어 콘텐츠 재생 중 실시간으로 콘텐츠 내 상품을 검출하기에 앞서, 콘텐츠 내 객체를 식별하기 위한 식별기를 모델링할 수 있다.

영상 검출부(140)는 임의의 상품 별 제품명, 브랜드명 및 제품 별명 중 적어도 하나에 대해 라벨링된 하나 이상의 상품 영상 데이터를 학습 데이터로 하여 기계 학습을 처리하고, 기계 학습을 통해 모델링된 상품 영상 식별기를 포함한다. 이때, 학습 데이터로서는 상품 정보 저장부(130)에 저장된 상품 공급자가 업로드한 데이터들을 이용할 수 있다. 다만, 상품 영상 식별기를 모델링하기 위한 학습 데이터는 이에 한정되지 않으며, 온라인 상에 오픈된 오픈 데이터 등을 수집하여 사용할 수도 있다.

영상 검출부(140)는 딥러닝에 기반한 FAST 객체 탐색 기법에 따라 모델링된 상품 영상 식별기를 포함할 수 있다. 예를 들어, 영상 인식 분야에서 객체를 인식하는 알고리즘인 CNN(Convolutional Neural Network), YOLO(You Only Look Once), SSD(Single Shot Detector) 등을 사용하여 영상 내에서 상품에 대응하는 객체를 추출할 수 있다. 다만, 상품 영상 식별기에 적용되는 객체 인식 알고리즘의 종류는 이에 한정되지 않는다.

참고로, YOLO 방식의 경우, 영상이 재생되면서 실시간으로 객체(사물)에 박스 표시를 하며 각 객체에 해당할 확률이 노테이션 된다. 이때, 확률 값에 대한 임계 값을 설정하여 해당 임계 값 이상인 객체만 박스 표시할 수 있다. 이러한 YOLO 알고리즘의 경우 다른 객체 인식 알고리즘에 비해서 처리 속도가 매우 빠르기 때문에 프레임 단위로 많은 이미지가 생성되는 동영상에서 객체 인식을 하는데 적합할 수 있다.

동영상 내에서 상품에 대응하는 객체를 추출하기 위해서는 수 많은 종류의 객체 별로 학습 데이터 세트를 확보해야한다. 예를 들어, 동영상 내에는 상품에 대응하는 객체 외에도 사람, 고양이, 개 등과 같이 상품과 직접적으로 관련 없는 다른 객체들도 많이 포함될 수 있다. 이처럼 수많은 객체 별로 학습 이미지 세트를 확보하여 기계 학습을 처리하는 것은 어려움이 있는 바, 영상 검출부(140)는 공개된 학습 데이터 세트(예: ImageNet(동물 분류), UEC-Food 100(음식 분류), COCO dataset(사람, 사물, 교통수단) 등)가 미리 학습되어 있는 YOLO 모델을 사용하여 상품 관련 학습 데이터를 추가적으로 기계 학습해둘 수 있다.

한편, 영상 검출부(140)는 영상 내 객체뿐만 아니라 문자 정보를 추가적으로 인식할 수 있다. 즉, 콘텐츠 제공자의 멀티미디어 콘텐츠 내에 자막 등의 형태로 삽입된 텍스트 정보를 인식하고, 상품과 관련된 텍스트 정보(즉, 제품명, 브랜드명 및 제품 별명 등)를 추출할 수 있다.

오디오 검출부(150)는 콘텐츠 이용자 단말(300) 상에서 재생 중인 멀티미디어 콘텐츠를 기설정된 음성 인식 처리 방식에 따라 처리하여 임의의 상품에 대응하는 음성 정보를 실시간 추출한다.

오디오 검출부(150)는 임의의 상품 별 제품명, 브랜드명 및 제품 별명 중 적어도 하나에 대해 라벨링된 하나 이상의 오디오 데이터를 학습 데이터로 하여 기계 학습을 처리 하고, 기계 학습을 통해 모델링된 상품 오디오 식별기를 포함한다. 이때, 학습 데이터로서는 상품 정보 저장부(130)에 저장된 상품 공급자가 업로드한 데이터들을 이용할 수 있다. 다만, 상품 영상 식별기를 모델링하기 위한 학습 데이터는 이에 한정되지 않으며, 온라인 상에 공개된 상품 관련 오픈 오디오 데이터를 수집하여 사용할 수도 있다.

예를 들어, 오디오 검출부(150)는 스피치 투 텍스트(speech to text) 알고리즘을 적용하여 콘텐츠 이용자 단말(300) 상에서 재생 중인 멀티미디어 콘텐츠로부터 상품에 관련된 음성 정보를 추출할 수 있다.

또한, 오디오 검출부(150)는 음성 패턴 인식 기법에 따라 모델링된 상품 오디오 식별기를 포함할 수 있다. 예를 들어, 패턴 인식 분야에서 음성, 필기, 동작 등을 인식하는 알고리즘인 은닉 마르코프 모형(hidden Markov model, HMM) 등을 사용하여 영상 내 상품에 대응하는 음성 신호를 추출할 수 있다. 은닉 마르코프 모형은 인식기에서 추정된 파라미터를 이용하여 미지의 입력 음성에 가장 적합한 모델을 찾아 내는 방법으로서, 이는 음소 또는 단어 자체가 될 수 있다. 다만 상품 오디오 식별기에 적용되는 패턴 인식 알고리즘의 종류는 이에 한정되지 않는다.

상품 정보 제공부(160)는 영상 검출부(140) 및 오디오 검출부(150)의 추출 결과에 기초하여 하나 이상의 상품을 식별하고, 식별된 상품에 대해 상품 정보 저장부(130)에 기저장되어 있던 상품 정보를 추출하여 콘텐츠 이용자 단말(300)로 제공한다.

이때, 상품 정보 제공부(160)는 상품 정보로서, 식별된 상품에 대한 하나 이상의 상품 영상 및 상품 관련 정보와 해당 상품을 구매할 수 있는 구매 링크 정보를 함께 제공할 수 있다.

앞서 설명한 바와 같이, 상품 정보 저장부(130)에는 기등록된 상품 공급자 단말(400)을 통해 업로드된 상품 영상 및 상품 관련 정보가 저장되어 있다. 이때, 상품 정보 제공부(160)는 상품 정보 저장부(130)에 저장된 상품 관련 정보로부터 상기 식별된 상품에 대한 제품명, 브랜드명 및 제품 별명 중 적어도 하나에 대응하는 요소가 검출된 경우에만, 콘텐츠 이용자 단말(300)로 해당 상품에 대한 상품 정보를 제공할 수 있다. 이때, 상품 정보 제공부(160)는 상품 정보 저장부(130)로부터 상기 식별된 상품에 대응하는 정보가 검출되지 않을 경우 영상 및 오디오 각각의 인식 값을 소멸시키고, 콘텐츠 내에서 새로운 상품이 검출될 때까지 지속적으로 영상 및 오디오 인식을 처리하도록 제어할 수 있다.

다른 예로, 상품 정보 제공부(160)는 영상 검출부(140)를 통해 추출된 객체와 오디오 검출부(150)를 통해 추출된 음성 신호를 동기화하되, 두 추출 데이터가 각각 영상 내에서 출력된(즉, 재생된) 시점에 기반하여 동기화할 수 있다. 예를 들어, 영상 내에서 임의의 상품과 대응된 객체가 추출된 시점 또는 음성 신호가 추출된 시점 중 어느 하나를 기준으로 기설정된 일정 구간 범위 내에 나머지 하나가 추출된 경우, 객체 또는 음성 신호가 동일한 상품에 대한 것으로 판단할 수 있다. 그런 다음, 상품 정보 제공부(160)는 설정된 구간 범위 내에 출력된 객체와 음성 신호가 서로 동일한 상품을 의미하는지 여부를 판단하기 위해 두 데이터가 각각 지칭하는 상품의 유사도를 산출하고, 기설정된 기준치 이상의 유사도 값을 갖는 경우 해당 상품이 현재 콘텐츠 내에서 다뤄지고 있는 상품인 것으로 최종 식별할 수 있다.

또 다른 예로, 상품 정보 제공부(160)는 앞서 설명한 영상 검출부(140)를 통해 현재 재생 중인 콘텐츠 내에서 인식된 객체 및 텍스트 정보와, 오디오 검출부(150)를 통해 현재 재생 중인 콘텐츠 내에서 인식된 음성 정보 중 둘 이상에 기초하여 상품을 식별할 수도 있다. 예를 들어, 상품 정보 제공부(160)는 콘텐츠 내에서 인식된 객체 영상, 음성, 문자를 포함하는 3개의 조건 중 어느 하나가 기등록된 상품에 대응할 경우 해당 상품을 최종 식별할 수도 있다. 또한, 상품 정보 제공부(160)는 콘텐츠 내에서 인식된 객체 영상, 음성, 문자를 포함하는 3개의 조건에 대해 각각 상이한 상품이 추출된 경우, 상기 3개의 조건에 대해 각각 우선순위 또는 가중치를 부여하여 우선 순위가 높거나 가중치가 상대적으로 높은 조건에 대응하는 상품을 해당 상품으로 최종 식별할 수도 있다.

도 3은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 인식에 기반한 상품 정보 제공 화면의 일례이다.

도 3에서는, 상품 정보 제공 장치(100)를 통해 제공되는 동영상이 콘텐츠 이용자 단말(300)의 화면 상에서 재생되고 있는 상태를 도시하였다.

구체적으로, 콘텐츠 이용자 단말(300)의 화면(P300) 상에는 크리에이터가 패션에 관련된 소장품 또는 추천 제품을 직접 착용하여 정보를 제공하고 있는 동영상 콘텐츠가 재생되고 있다. 이때, 영상 검출부(140)는 동영상 콘텐츠에 대한 실시간 영상 처리를 통해 4개의 상품과 관련된 객체를 추출하였다. 이와 병렬적으로, 오디오 검출부(150)는 동영상 콘텐츠(P301)에 대한 실시간 오디오 처리를 통해 콘텐츠에 포함된 크리에이터의 음성을 인식하되, 크리에이터가 발성하는 소장품 또는 추천 제품에 대한 제품명, 브랜드명 및 제품 별명 등의 임의의 상품을 지칭하는 음성 정보를 추출하였다.

이때, 상품 정보 제공부(160)는 각각 추출된 상품과 관련된 객체 정보 및 음성 정보와 상품 정보 저장부(130)에 저장된 상품 관련 정보들에 기초하여 4개의 상품(예를 들어, 터틀넥 스웨터, 롱코트, 안경 및 신발)을 식별하고 그에 대응하는 상품 정보를 제공한다.

도 3을 참조하면, 상품 정보 제공부(160)는 4개의 상품에 대한 각각의 상품 정보 제공창(P302 ~ P305)을 출력한다.

이때, 상품 정보 제공부(160)는 식별된 상품에 대한 상품 정보를 노출시키기에 앞서, 콘텐츠 이용자가 해당 상품 정보를 제공받고자 하는지 확인하는 "상품 정보 보기" 기능을 먼저 활성화시킬 수 있다. 예를 들어, "상품 정보 보기" 기능은 콘텐츠 재생 중 어느 하나의 상품이 식별된 시점에 팝업 형태로 화면 상 일부 영역에 노출될 수 있다.

이러한 "상품 정보 보기" 기능을 콘텐츠 이용자가 선택할 경우, 상품 정보 제공부(160)는 현재 식별된 4개의 상품에 대한 상품 정보 제공창(P302 ~ P305) 중 적어도 하나를 출력한다. 이러한 상품 정보 제공창에는 해당하는 상품에 대한 영상 및 상품 관련정보가 포함될 수 있으며, 상품을 구매할 수 있는 구매 링크 정보가 더 포함될 수 있다.

도 3에서와 같이, 상품 정보 제공부(160)는 복수의 상품 정보 제공창(P302 ~ P305)을 동시에 표시할 수 있다. 이러한 경우 원래의 동영상 콘텐츠가 재생되던 화면은 일정 비율 또는 크기로 축소될 수 있으며, 하나 이상의 상품 정보 제공창들은 각각 콘텐츠 재생 화면과 일부가 겹치거나 또는 독립적으로 화면의 일부 영역에 표시될 수 있다.

이때, 동영상 콘텐츠는 지속적으로 재생될 수 있으며, 사용자가 화면 일부 영역에 표시된 상품 정보 제공창(P302 ~ P305) 중 어느 하나를 선택할 경우 동영상 콘텐츠를 정지시킨 후 해당 상품 정보 제공창의 세부 정보 제공창(미도시)을 화면 전체에 표시할 수 있다. 이러한 세부 정보 제공창은 원래의 상품 정보 제공창의 정보를 용이하게 식별할 수 있도록 일정 비율 또는 크기로 확대된 것일 수 있으며, 좀 더 세부적인 상품 정보를 포함할 수 있다.

또한, 표시된 상품 정보 제공창(P302 ~ P305)은 새로운 상품이 추가 식별될 때까지 유지된 후, 새로운 상품이 식별되거나 또는 영상 검출부(140)를 통해 직전에 검출되었던 객체들이 모두 화면 상에 존재하지 않게 된 경우 화면 내에서 삭제될 수 있다.

다만, 상품 정보 제공창(P302 ~ P305)이 표시되는 형태는 이에 한정되지 않는다. 예를 들어, 복수의 상품 정보 제공창은 각각 최초 식별된 시점부터 일정 기간만큼 노출되는 형태로 제공되거나, 식별된 상품을 선택 가능할 정도의 작은 크기로 노출된 후 사용자가 선택한 경우에만 일정 크기 이상으로 확대 출력되는 것도 가능하다.

한편, 도 2에 도시된 상품 정보 제공 장치(100)의 구성은 도 4에서와 같은 하드웨어 구성으로 구현될 수 있다.

도 4는 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 정보 제공 장치의 하드웨어적 구성을 설명하기 위한 구성도이다.

도 4에 도시한 상품 정보 제공 장치(100')는 앞서 도 2에 도시한 상품 정보 제공 장치(100)와 동일한 장치로서, 앞서 도 2 내지 도 3을 통해 설명한 상품 정보 제공 장치(100)의 각 구성이 처리하는 동작들을 모두 처리할 수 있다.

상품 정보 제공 장치(100')는 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치일 수 있으며, 본 발명에 따른 동작을 실행하도록 기술된 명령들(instructions)이 포함된 프로그램을 실행할 수 있다.

도 4를 참조하면, 상품 정보 제공 장치(100')의 하드웨어는 적어도 하나의 프로세서(110'), 메모리(120'), 스토리지(130') 및 통신 인터페이스(140')를 포함할 수 있으며, 이들 각 구성은 통신 버스를 통해 연결될 수 있다. 이외에도, 상품 정보 제공 장치(100')는 별도의 입력 장치 및 출력 장치 등의 하드웨어를 더 포함할 수 있다.

상품 정보 제공 장치(100')는 프로그램을 구동할 수 있는 운영 체제를 비롯한 각종 소프트웨어가 스토리지(130')와 같은 저장 장치에 탑재될 수 있다.

프로세서(110')는 장치(100')의 동작을 제어하는 장치로서, 프로그램에 포함된 명령들을 처리하는 다양한 형태의 프로세서(예: CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 등)일 수 있다.

메모리(120')는 본 발명에 따른 동작을 실행하도록 기술된 명령들이 프로세서(110')에 의해 처리되도록 해당 프로그램을 로드할 수 있다. 메모리(120')는 스토리지(130')에 저장되어 있는 -멀티미디어 콘텐츠 내에서 검출된 상품에 대한 각종 정보를 사용자(즉, 콘텐츠 이용자)의 단말(300)로 제공하기 위한- 멀티미디어 콘텐츠 내 상품 구매 정보 제공 프로그램을 로드할 수 있다. 예를 들어, 메모리(120')는 ROM(read only memory), RAM(random access memory) 등 일 수 있다.

스토리지(130')는 본 발명에 따른 동작을 실행하는데 요구되는 각종 데이터 및 프로그램 등을 저장할 수 있다. 이때, 스토리지(130')는 프로그램의 실행에 따라 처리된 결과 데이터 및 사전에 연동되거나 연결된 장치(예: 외부 서버 등)를 통해 입력된 데이터들을 각 상품 공급자 및 콘텐츠 제공자 별로 각각 매칭하여 데이터베이스화 하여 저장할 수 있다. 이러한 스토리지(130')의 일부 영역에는 앞서 도 2에서 설명한 상품 정보 저장부(130)가 포함될 수 있으며, 이러한 상품 정보 저장부(130)는 데이터베이스 형태로 구축될 수 있다.

통신 인터페이스(140')는 장치(100')의 각 구성 요소들 간의 통신, 및 외부 연동된 장치(즉, 콘텐츠 제공자 단말(200), 콘텐츠 이용자 단말(300) 및 상품 공급자 단말(400))와의 통신을 처리하는 유/무선 통신 모듈일 수 있다. 이러한 통신 인터페이스(140)는 앞서 도 2에서 설명한 통신부(110)와 대응될 수 있다.

프로세서(110')는 메모리(120')에 로드된 프로그램에 포함된 명령들을 수행하되, 프로그램의 실행에 따라 앞서 도 2에서 설명한 상품 정보 제공 장치(100)의 적어도 하나의 구성들의 동작을 처리한다.

즉, 프로세서(110')는 도 2의 상품 정보 제공 장치(100)의 콘텐츠 제공부(120), 영상 검출부(140), 오디오 검출부(150), 및 상품 정보 제공부(160)와 대응되며, 이들 구성들이 처리하는 동작들을 수행할 수 있다.

이하, 도 5를 참조하여 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 정보 제공 방법에 대해서 설명하도록 한다. 이러한 상품 정보 제공 방법은 앞서 설명한 상품 정보 제공 장치(100)의 각 구성들 간의 연계된 처리 또는 상품 정보 제공 장치(100')의 프로세서(110')에 의해 수행될 수 있다.

도 5는 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품 정보 제공 방법을 설명하기 위한 순서도이다.

콘텐츠 이용자 단말로 임의의 콘텐츠 제공자가 제작한 멀티미디어 콘텐츠를 제공하기에 앞서, 다음과 같은 처리가 선행될 수 있다.

콘텐츠 제공자 단말로부터 업로드된 멀티미디어 콘텐츠 또는 다른 외부 서버에 업로드된 콘텐츠 제공자의 멀티미디어 콘텐츠를 저장하여 관리하되, 이용자에게 제공 가능한 멀티미디어 콘텐츠 리스트를 생성한다.

상품 정보 제공 장치에 상품 공급자 단말이 접속되면, 해당 사용자(즉, 상품 공급자)를 등록처리한 후 등록된 상품 공급자의 단말로부터 상품 별 제품명, 브랜드명 및 제품 별명 중 적어도 하나에 대해 매칭된 하나 이상의 상품 영상, 상품 관련 정보 및 구매 링크를 입력 받아 저장한다.

임의의 상품 별 제품명, 브랜드명 및 제품 별명 중 적어도 하나에 대해 라벨링된 하나 이상의 상품 영상 데이터를 학습 데이터로 한 기계 학습을 처리하여 상품 영상 식별기를 모델링할 수 있다.

또한, 임의의 상품 별 제품명, 브랜드명 및 제품 별명 중 적어도 하나에 대해 라벨링된 하나 이상의 오디오 데이터를 학습 데이터로 한 기계 학습을 처리 하여 상품 오디오 식별기를 모델링할 수 있다.

이와 같은 사전 처리는 이하에서 설명할 멀티미디어 콘텐츠 재생 시 콘텐츠 내 상품 식별 및 상품 정보를 제공하는 과정에도 별개로 지속적으로 수행될 수 있다.

멀티미디어 콘텐츠 내 상품 정보 제공 방법에 따르면, 도 5에서와 같이, 임의의 콘텐츠 제공자의 멀티미디어 콘텐츠를 콘텐츠 이용자의 단말로 제공한다(S510).

그런 다음, 콘텐츠 이용자 단말 상에서 멀티미디어 콘텐츠가 재생되면, 재생 중인 멀티미디어 콘텐츠를 기설정된 영상 처리 및 음성 인식 처리 방식에 따라 처리하여 임의의 상품에 대응하는 객체 정보 및 음성 정보를 실시간으로 각각 추출한다(S520).

이때, 멀티미디어 콘텐츠 내 상품에 대응하는 객체를 추출하기 위해서 앞서 설명한 상품 영상 식별기를 사용할 수 있으며, 음성 신호를 추출하기 위해서 앞서 설명한 상품 오디오 식별기를 사용할 수 있다.

이러한 멀티미디어 콘텐츠 내 상품에 대응하는 객체 및 음성 정보를 추출하는 방식은 앞서 도 2 내지 도 3을 통해 설명한 바, 상세한 설명은 생략하도록 한다.

그런 다음, 추출된 객체 정보 및 음성 정보에 기초하여 하나 이상의 상품을 식별한다(S530).

이때, 사전에 저장되어 있던 상품 관련 정보들 중 어느 하나와 상기 추출된 객체 정보 및 음성 정보 중 어느 하나가 매칭되거나 또는 두 정보가 모두 동일한 상품에 매칭될 경우, 해당 상품을 식별해낼 수 있다.

또한, 객체 정보 및 음성 정보를 추출하는 것과 별개로 재생 중인 콘텐츠에 대한 영상 처리를 통해 텍스트 정보를 인식하는 처리 또한 추가적으로 실행될 수도 있다. 이러한 경우, 추출된 객체 정보, 음성 정보와 더불어 텍스트 정보(즉, 문자)에 기초하여 해당 상품을 식별하는 것도 가능하다.

그런 다음, 사전에 저장되어 있던 상품 공급자의 상품 별 상품 정보 중 상기 식별된 상품에 대응하는 상품 정보를 검출하여 콘텐츠 이용자의 단말로 제공한다(S540).

이때, 기등록된 상품 공급자의 단말을 통해 입력된 상품 관련 정보로부터 상기 식별된 상품에 대한 제품명, 브랜드명 및 제품 별명 중 적어도 하나가 검출된 경우에만 콘텐츠 이용자 단말로 상품 정보를 제공할 수 있다. 즉, 식별된 상품이 기등록된 상품 공급자의 상품으로 등록되어 있지 않은 경우, 상품 정보를 제공하는 과정은 생략될 수 있다. 이러한 콘텐츠 이용자 단말로 상품 정보를 제공하는 방식은 앞서 도 3을 통해 설명한 바, 상세한 설명은 생략하도록 한다.

본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 내 상품에 대한 상품 정보 제공 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

10: 멀티미디어 콘텐츠 내 상품 정보 제공 시스템
100, 100': 멀티미디어 콘텐츠 내 상품 정보 제공 장치
200: 콘텐츠 제공자 단말 300: 콘텐츠 이용자 단말
400: 상품 공급자 단말 110: 통신부
120: 콘텐츠 제공부 130: 상품 정보 저장부
140: 영상 검출부 150: 오디오 검출부
160: 상품 정보 제공부
110': 프로세서 120': 메모리
130': 스토리지 140' 통신 인터페이스

Claims (11)

1. 멀티미디어 콘텐츠 내 상품 정보 제공 장치에 있어서,
   콘텐츠 제공자의 단말, 콘텐츠 이용자의 단말 및 상품 공급자의 단말과 각각 통신하는 통신부;
   임의의 콘텐츠 제공자의 멀티미디어 콘텐츠를 콘텐츠 이용자의 단말로 전송하는 콘텐츠 제공부;
   임의의 상품 공급자의 상품 별로 하나 이상의 상품 영상 및 상품 관련 정보가 매칭 저장된 상품 정보 저장부;
   상기 콘텐츠 이용자의 단말 상에서 재생 중인 멀티미디어 콘텐츠를 기설정된 영상 처리 방식에 따라 처리하여 임의의 상품에 대응하는 객체를 실시간 추출하는 영상 검출부;
   상기 재생 중인 멀티미디어 콘텐츠를 기설정된 음성 인식 처리 방식에 따라 처리하여 임의의 상품에 대응하는 음성 정보를 실시간 추출하는 오디오 검출부; 및
   상기 영상 검출부 및 오디오 검출부의 추출 결과 중 적어도 하나에 기초하여 하나 이상의 상품을 식별하고, 상기 식별된 상품에 대해 상기 상품 정보 저장부에 기저장되어 있던 상품 정보를 상기 콘텐츠 이용자의 단말로 제공하는 상품 정보 제공부를 포함하며,
   상기 상품 정보 제공부는,
   상기 영상 검출부를 통해 추출된 객체와 상기 오디오 검출부를 통해 추출된 음성 신호를 동기화하되, 영상 내에서 임의의 상품과 대응된 상기 객체가 추출된 시점 또는 상기 음성 신호가 추출된 시점 중 어느 하나를 기준으로 기 설정된 일정 구간 범위 내에 나머지 하나가 추출된 경우, 상기 객체 또는 상기 음성 신호가 동일한 상품에 대한 것으로 판단하고, 상기 기 설정된 구간 범위 내에 출력된 상기 객체와 상기 음성 신호가 서로 동일한 상품을 의미하는지 판단하기 위해 상기 객체와 상기 음성 신호가 각각 지칭하는 상품의 유사도를 산출하고, 기 설정된 기준치 이상의 유사도 값을 갖는 경우 해당 상품이 콘텐츠 내의 상품인 것으로 식별하며,
   상기 상품 정보 제공부는,
   상기 영상 검출부를 통해 현재 재생 중인 콘텐츠 내에서 인식된 객체 영상 및 텍스트 정보와, 상기 오디오 검출부를 통해 현재 재생 중인 콘텐츠 내에서 인식된 음성 정보를 포함하는 3개의 정보 중 둘 이상의 정보가 기등록된 상품에 대응할 경우 해당 상품으로 식별하고,
   상기 콘텐츠 내에서 인식된 객체 영상, 텍스트 정보, 음성 정보를 포함하는 3개의 정보에 대해 각각 상이한 상품이 추출된 경우, 상기 3개의 정보에 대해 각각 우선 순위 또는 가중치를 부여하여 우선 순위가 높거나 가중치가 상대적으로 높은 조건에 대응하는 상품을 해당 상품으로 식별하는 것을 특징으로 하는,
   멀티미디어 콘텐츠 내 상품 정보 제공 장치.
2. 삭제
3. 삭제
4. 제 1 항에 있어서,
   상기 오디오 검출부는,
   임의의 상품 별 제품명, 브랜드명 및 제품 별명 중 적어도 하나에 대해 라벨링된 하나 이상의 오디오 데이터를 학습 데이터로 하여 기계 학습을 처리 하고, 상기 기계 학습을 통해 모델링된 상품 오디오 식별기를 포함하는, 멀티미디어 콘텐츠 내 상품 정보 제공 장치.
5. 제 1 항에 있어서,
   상기 상품 정보 저장부에는 기등록된 상품 공급자의 단말을 통해 업로드된 상품 영상 및 상품 관련 정보가 저장되어 있으며,
   상기 상품 정보 제공부는,
   상기 상품 정보 저장부에 저장된 상품 관련 정보로부터 상기 식별된 상품에 대한 제품명, 브랜드명 및 제품 별명 중 적어도 하나가 검출되면 상기 콘텐츠 이용자의 단말로 상기 상품 정보를 제공하는, 멀티미디어 콘텐츠 내 상품 정보 제공 장치.
6. 멀티미디어 콘텐츠 내 상품 정보 제공 장치에 의한 상품 정보 제공 방법에 있어서,
   임의의 콘텐츠 제공자의 멀티미디어 콘텐츠를 콘텐츠 이용자의 단말로 제공하는 단계;
   상기 콘텐츠 이용자의 단말 상에서 재생 중인 멀티미디어 콘텐츠를 기설정된 영상 처리 및 음성 인식 처리 방식에 따라 처리하여 임의의 상품에 대응하는 객체 정보 및 음성 정보를 실시간으로 각각 추출하는 단계;
   상기 추출된 객체 정보 및 음성 정보에 기초하여 하나 이상의 상품을 식별하는 단계; 및
   사전에 저장되어 있던 상품 공급자의 상품 별 상품 정보 중 상기 식별된 상품에 대응하는 상품 정보를 검출하고, 검출된 상품 정보를 상기 콘텐츠 이용자의 단말로 제공하는 단계를 포함하며,
   상기 하나 이상의 상품을 식별하는 단계는,
   상기 추출된 객체 정보와 상기 음성 정보를 동기화하되, 영상 내에서 임의의 상품과 대응된 상기 객체 정보가 추출된 시점 또는 상기 음성 정보가 추출된 시점 중 어느 하나를 기준으로 기 설정된 일정 구간 범위 내에 나머지 하나가 추출된 경우, 상기 객체 정보 또는 상기 음성 정보가 동일한 상품에 대한 것으로 판단하고, 상기 기 설정된 구간 범위 내에 출력된 상기 객체 정보와 상기 음성 정보가 서로 동일한 상품을 의미하는지 판단하기 위해 상기 객체 정보와 상기 음성 정보가 각각 지칭하는 상품의 유사도를 산출하고, 기 설정된 기준치 이상의 유사도 값을 갖는 경우 해당 상품이 콘텐츠 내의 상품인 것으로 식별하며,
   상기 하나 이상의 상품을 식별하는 단계는,
   상기 추출된 객체 영상, 텍스트 정보 및 음성 정보를 포함하는 3개의 정보 중 둘 이상의 정보가 기등록된 상품에 대응할 경우 해당 상품으로 식별하고,
   상기 객체 영상, 텍스트 정보, 음성 정보를 포함하는 3개의 정보에 대해 각각 상이한 상품이 추출된 경우, 상기 3개의 정보에 대해 각각 우선 순위 또는 가중치를 부여하여 우선 순위가 높거나 가중치가 상대적으로 높은 조건에 대응하는 상품을 해당 상품으로 식별하는 것을 특징으로 하는,
   멀티미디어 콘텐츠 내 상품 정보 제공 방법.
7. 삭제
8. 삭제
9. 제 6 항에 있어서,
   상기 임의의 상품에 대응하는 음성 정보를 추출하는 단계 이전에,
   임의의 상품 별 제품명, 브랜드명 및 제품 별명 중 적어도 하나에 대해 라벨링된 하나 이상의 오디오 데이터를 학습 데이터로 한 기계 학습을 처리 하여 상품 오디오 식별기를 모델링하는 단계를 더 포함하며,
   상기 상품 오디오 식별기를 사용하여 상기 재생 중인 멀티미디어 콘텐츠로부터 임의의 상품에 대응하는 음성 정보를 추출하는, 멀티미디어 콘텐츠 내 상품 정보 제공 방법.
10. 제 6 항에 있어서,
    상기 멀티미디어 콘텐츠를 콘텐츠 이용자의 단말로 제공하는 단계 이전에,
    기등록된 상품 공급자의 단말로부터 상품 별 제품명, 브랜드명 및 제품 별명 중 적어도 하나에 대해 매칭된 하나 이상의 상품 영상, 상품 관련 정보 및 구매 링크를 입력 받아 저장하는 단계를 더 포함하는, 멀티미디어 콘텐츠 내 상품 정보 제공 방법.
11. 제 10 항에 있어서,
    상기 식별된 상품에 대응하는 상품 정보를 검출하고, 검출된 상품 정보를 상기 콘텐츠 이용자의 단말로 제공하는 단계는,
    상기 기등록된 상품 공급자의 단말을 통해 입력된 상품 관련 정보로부터 상기 식별된 상품에 대한 제품명, 브랜드명 및 제품 별명 중 적어도 하나가 검출되면 상기 콘텐츠 이용자의 단말로 상기 상품 정보를 제공하는 것인, 멀티미디어 콘텐츠 내 상품 정보 제공 방법.
    

Images