KR20180087737A - 비디오 클립에 대한 오디오 인지 기반의 실시간 상품 정보 중계 시스템 및 방법 - Google Patents

비디오 클립에 대한 오디오 인지 기반의 실시간 상품 정보 중계 시스템 및 방법 Download PDF

Info

Publication number
KR20180087737A
KR20180087737A KR1020170012158A KR20170012158A KR20180087737A KR 20180087737 A KR20180087737 A KR 20180087737A KR 1020170012158 A KR1020170012158 A KR 1020170012158A KR 20170012158 A KR20170012158 A KR 20170012158A KR 20180087737 A KR20180087737 A KR 20180087737A
Authority
KR
South Korea
Prior art keywords
information
audio
advertisement
video clip
clip
Prior art date
Application number
KR1020170012158A
Other languages
English (en)
Inventor
이상윤
김선중
박원주
손정우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170012158A priority Critical patent/KR20180087737A/ko
Publication of KR20180087737A publication Critical patent/KR20180087737A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G06Q30/0256—User search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0257—User requested
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2542—Management at additional data server, e.g. shopping server, rights management server for selling goods, e.g. TV shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content

Abstract

본 발명은 비디오 클립에 대한 오디오 인지 기반의 실시간 상품 정보 중계 시스템 및 방법에 관한 것으로서, 본 발명의 실시 예에 따른 실시간 상품 정보 중계 시스템에서의 사용자 단말은, 비디오 클립 재생기에서 출력되는 비디오의 오디오 정보를 수신하여 녹음하는 오디오 수신부; 상기 녹음된 오디오 정보로부터 일부 오디오 정보를 제거하고 분석 대상인 장면에 대한 오디오 정보의 데이터 정보량을 축약하는 오디오 신호 처리부; 상기 축약된 오디오 정보로부터 해당 장면의 오디오 특징 정보를 추출하는 오디오 특징 추출부; 상기 추출된 오디오 특징 정보를 오디오 인지 서버로 전송하여 비디오 클립 식별자를 요청하는 오디오 특징 전송부; 상기 오디오 인지 서버로부터 반환받은 비디오 클립 식별자를 이용하여 검색하여 광고 서버에서 클립 단위의 광고 정보를 수신하는 광고 정보 검색부; 및 상기 수신된 광고 정보를 기초로 하여 광고를 출력하는 광고 노출부;를 포함한다.

Description

비디오 클립에 대한 오디오 인지 기반의 실시간 상품 정보 중계 시스템 및 방법{System and method for relaying real-time product information based on audio recognition for video clip}
본 발명은 오디오 인지 기반의 실시간 상품 정보 중계 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 비디오 클립의 오디오 정보를 이용하여 비디오 클립과 연관된 상품 정보를 실시간으로 제공하기 위한, 오디오 인지 기반의 실시간 상품 정보 중계 시스템 및 방법에 관한 것이다.
포털 사이트(예컨대, 유튜브, 네이버 등), 방송사 등을 통해 방송 프로그램 전체를 다운로드 받거나 스트리밍으로 볼 수 있는 서비스가 제공되고 있다. 또한, 방송 프로그램의 일부 장면만을 선택하여 볼 수 있는 VOD(Video On Demand) 서비스도 제공되고 있다.
방송 드라마에 출연한 배우들의 소품이나 직접 착용한 의복에 대한 정보를 제공하여 사용자가 직접 구매할 수 있는 인터넷 사이트 혹은 스마트 기기용 앱들이 존재하고 있다. 또한, 이러한 소품이나 직접 착용한 의복에 대한 정보가 서비스되고 있다.
하지만, 종래의 정보 서비스 기술들은 다음과 같은 문제점들을 안고 있다.
첫째, 종래 기술의 문제점으로는, 방송 프로그램 한편 전체를 대상으로 그 방송 프로그램에 결합되는 상품 정보를 제공하는 서비스가 제공되고 있다. 최근에는 그 방송 프로그램을 클립으로 자른 후 그 클립 자체에 광고 동영상을 삽입하여 광고 동영상을 시청하게 유도하는 서비스가 제공되고 있다.
하지만, 현재 시청자가 시청하고 있는 VOD 클립과 연관된 상품 정보를 실시간으로 제공하는 서비스 및 시스템이 부재하다.
둘째, 종래 기술의 문제점으로는, VOD 클립의 오디오 정보를 이용하여 그 클립에 대한 식별자 정보를 획득하는 시스템 및 방법이 부재하다. 그 식별자 정보를 이용한 부가 서비스도 아직까지는 제공되고 있지 않다.
본 발명의 실시 예들은 비디오 클립의 오디오 정보를 이용하여 비디오 클립과 연관된 상품 정보를 실시간으로 제공하기 위한, 오디오 인지 기반의 실시간 상품 정보 중계 시스템 및 방법을 제공하고자 한다.
본 발명의 실시 예들은 방송 프로그램을 장면으로 분할하여 생성한 비디오 클립을 소비하면서, 그 비디오 클립과 연관된 상품 정보를 제공함으로써, 실시간 상품 정보를 용이하게 중계할 수 있는, 오디오 인지 기반의 실시간 상품 정보 중계 시스템 및 방법을 제공하고자 한다.
본 발명의 실시 예들은 사용자가 실시간으로 소비하고 있는 비디오 클립을 식별하기 위해, 오디오 특징 정보를 이용해 해당 장면에 대한 식별자 정보를 용이하게 획득할 수 있는, 오디오 인지 기반의 실시간 상품 정보 중계 시스템 및 방법을 제공하고자 한다.
본 발명의 실시 예들은 비디오 클립에 대한 사용자의 소비 행태 정보를 이용하여 광고주가 비디오 클립별로 맞춤형 광고를 결합하기 위한 광고 서버를 포함하는, 오디오 인지 기반의 실시간 상품 정보 중계 시스템 및 방법을 제공하고자 한다.
본 발명의 실시 예에 따르면, 비디오 클립 재생기에서 출력되는 비디오의 오디오 정보를 수신하여 녹음하는 오디오 수신부; 상기 녹음된 오디오 정보로부터 일부 오디오 정보를 제거하고 분석 대상인 장면에 대한 오디오 정보의 데이터 정보량을 축약하는 오디오 신호 처리부; 상기 축약된 오디오 정보로부터 해당 장면의 오디오 특징 정보를 추출하는 오디오 특징 추출부; 상기 추출된 오디오 특징 정보를 오디오 인지 서버로 전송하여 비디오 클립 식별자를 요청하는 오디오 특징 전송부; 상기 오디오 인지 서버로부터 반환받은 비디오 클립 식별자를 이용하여 검색하여 광고 서버에서 클립 단위의 광고 정보를 수신하는 광고 정보 검색부; 및 상기 수신된 광고 정보를 기초로 하여 광고를 출력하는 광고 노출부;를 포함하는 실시간 상품 정보 중계 시스템에서의 사용자 단말이 제공될 수 있다.
본 발명의 실시 예들은 비디오 클립의 오디오 정보를 이용하여 비디오 클립과 연관된 상품 정보를 실시간으로 제공할 수 있다.
본 발명의 실시 예들은 방송 프로그램을 VOD 클립으로 분할한 후, VOD 클립을 대상으로 광고주가 상품을 결합시킬 수 있으며, 사용자의 VOD 클립 소비 행태를 분석하여, 맞춤형으로 광고 상품을 선정하여 중계할 수 있다.
본 발명의 실시 예들은 VOD 클립에 대한 식별을 위해 VOD 클립 재생 시 출력되는 오디오의 특징을 분석하여 자동으로 클립에 대한 식별자를 확인할 수 있다.
본 발명의 실시 예들은 VOD 클립에 대한 소비 정보와 상품 정보를 확인하는 사용자 단말이 이원화될 수 있다는 점에서, 사용자의 선택에 따라 시청자의 몰입을 방해하지 않게 할 수도 있고, 사용자가 필요한 정보를 세컨 스크린에서 확인할 수 있어 사용자의 선택의 폭이 생길 수 있다.
도 1은 본 발명의 실시 예에 따른 비디오 클립의 오디오 인지 기반의 실시간 상품 정보 중계 시스템의 구성도이다.
도 2는 본 발명의 실시 예에 따른 실시간 상품 정보 중계 시스템에서의 제2 사용자 단말의 구성도이다.
도 3은 본 발명의 실시 예에 따른 제2 사용자 단말에서 실행되는 컴패니언 앱을 나타낸 도면이다.
도 4 및 도 5는 본 발명의 실시 예에 따른 비디오 클립의 오디오 인지 기반의 실시간 상품 정보 중계 방법에 대한 흐름도이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는 데 필요한 부분을 중심으로 상세히 설명한다. 본 발명의 실시 예를 설명하면서, 본 발명이 속하는 기술 분야에 익히 알려졌고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 동일한 참조부호를 부여할 수도 있다. 그러나 이와 같은 경우라 하더라도 해당 구성 요소가 실시 예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시 예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시 예에서의 각각의 구성 요소에 대한 설명에 기초하여 판단하여야 할 것이다.
도 1은 본 발명의 실시 예에 따른 비디오 클립의 오디오 인지 기반의 실시간 상품 정보 중계 시스템의 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 실시 예에 따른 비디오 클립의 오디오 인지 기반의 실시간 상품 정보 중계 시스템(10)은 제1 사용자 단말(100), 비디오 클립 서버(200), 제2 사용자 단말(300), 광고 서버(400), 광고주 단말(500), 오디오 인지 서버(600) 및 상품 데이터베이스(700)를 포함한다.
이하, 도 1의 본 발명의 실시 예에 따른 비디오 클립의 오디오 인지 기반의 실시간 상품 정보 중계 시스템(10)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
우선, 본 발명의 실시 예에 적용되는 비디오 클립은 짧게 녹화된 동영상을 나타낸다. 비디오 클립은 방송 프로그램에서 사용자가 원하는 구간만큼 추출되거나 녹화된 비디오 파일 또는 복수의 비디오 파일이 포함된 비디오 모음일 수 있다. 비디오 클립은 비디오 클립 서버(200)에 미리 저장된 상태에서 사용자가 시청하기를 원하는 비디오를 요청하는 주문형 비디오(Video On Demand, VOD)일 수 있다.
이러한 비디오 클립에 대한 사용자 요청 및 소비 과정에 대해서 살펴보기로 한다.
비디오 클립 서버(200)는 다양한 비디오 클립들을 저장하고 있다. 비디오 클립 서버(200)는 사용자가 요청하는 비디오 클립들을 서비스한다. 즉, 비디오 클립 서버(200)는 저장된 비디오 클립들 중에서 사용자가 시청하기를 원하는 비디오 클립을 제1 사용자 단말(100)에 제공한다.
제1 사용자 단말(100)은 비디오 클립 서버(200)로부터 서비스되는 비디오 클립을 재생한다. 사용자가 VOD 클립 재생기가 설치된 제1 사용자 단말(100)을 통해 VOD 클립을 재생하여 소비한다. 이를 위해, 제1 사용자 단말(100)은 비디오 클립을 재생할 수 있는 비디오 클립 재생기를 구비하거나, 비디오 클립 서버(200)와 통신 가능한 비디오 클립 재생기일 수 있다.
이와 같이, 제1 사용자 단말(100)은, 텔레비전, PC, 모니터 또는 스마트 기기일 수 있다. 즉, 제1 사용자 단말(100)은 비디오 클립 서버(200)와 통신 가능하고, 비디오 클립 서버(200)에 사용자가 원하는 비디오 클립을 요청하고, 그 비디오 클립을 다운로드받아 재생할 수 있는 단말이다.
상기와 같이, 비디오 클립은 제1 사용자 단말(100)이 시청을 원하는 주문형 비디오를 비디오 클립 서버(200)에 요청하고, 비디오 클립 서버(200)로부터 다운로드 방식 또는 스트리밍 방식으로 서비스되는 주문형 비디오 클립일 수 있다.
한편, 사용자는 비디오 재생기가 구비된 제1 사용자 단말(100)과 함께 제2 사용자 단말(300)을 이용한다. 제2 사용자 단말(300)은 제1 사용자 단말(100)을 통해 출력되는 비디오 클립의 오디오 정보를 수신하여 획득한다. 그리고 제2 사용자 단말(300)은 제1 사용자 단말(100)을 통해 재생되는 비디오 클립의 오디오 특징 정보를 추출하고, 그 추출된 오디오 특징 정보를 오디오 인지 서버(600)에 전송하여 비디오 클립 식별자를 요청한다.
이후, 제2 사용자 단말(300)은 오디오 인지 서버(600)로부터 비디오 클립 식별자를 수신한다.
이러한 비디오 클립의 오디오 특징 정보 추출 및 비디오 클립 식별자의 요청을 위해, 제2 사용자 단말(300)에는 비디오 클립과 연관된 정보들을 서비스하기 위한 컴패니언 앱(companion app)이 미리 설치되어 있다. 제2 사용자 단말(300)은 사용자의 특정 단말로 한정되지 않고, 컴패니언 앱이 설치되어 비디오 클립과 관련된 상품 정보들을 제공할 수 있는 사용자 단말일 수 있다. 컴패니언 앱은 사용자가 제1 사용자 단말(100)의 VOD 클립 재생기를 통해 VOD 클립을 소비하면서 그와 관련된 부가적인 정보 혹은 부가적인 서비스를 사용자에게 제공할 수 있다.
제2 사용자 단말(300)의 요청에 따라, 오디오 인지 서버(600)는 제2 사용자 단말(300)로부터 전송된 비디오 클립의 오디오 특징 정보를 분석하여 그 비디오 클립을 식별하여 비디오 클립 식별자를 검색한다. 즉, 오디오 인지 서버(600)는 제1 사용자 단말(100)의 VOD 클립 재생기에서 출력되고 있는 오디오 신호를 분석하여 무슨 VOD 클립인지를 식별할 수 있다. 그리고 오디오 인지 서버(600)는 그 식별된 비디오 클립 식별자를 컴패니언 앱이 설치된 제2 사용자 단말(300)에 전송한다.
일례로, 제2 사용자 단말(300)은, 기설치된 컴패니언 앱을 실행하고, 그 실행된 컴패니언 앱을 통해 장면 기반의 비디오 클립 서비스를 제공하기 위해, 선호장면 메뉴, 프로그램 장면 메뉴, 프로그램 상품 메뉴 및 프로그램 토픽 메뉴 중에서 적어도 하나 이상의 메뉴를 사용자에게 제공할 수 있다.
이어서, 제2 사용자 단말(300)은, 사용자가 제공된 적어도 하나 이상의 메뉴 중에서 어느 하나의 메뉴를 선택하면, 광고주 단말(500)이 광고 서버(400)를 통해 미리 설정해 놓은 상품 정보 리스트를 출력할 수 있다.
한편, 비디오 클립 서버(200)는 제1 사용자 단말(100)에서 선택되거나 스트리밍이 요청되는 비디오 클립에 대한 비디오 클립의 소비 정보 또는 비디오 클립의 선호 정보를 수집한다. 그리고 비디오 클립 서버(200)는 그 수집된 비디오 클립의 소비 정보 또는 비디오 클립의 선호 정보들을 분석한다.
이후, 비디오 클립 서버(200)는 비디오 클립의 소비 정보 또는 비디오 클립의 선호 정보들에 대해 분석된 결과를 광고주 단말(500)에 전송한다.
그리고 광고주 단말(500)은 광고를 서비스하기 위해 광고주가 소유한 단말로서, 광고 서버(400)에 비디오 클립별 광고를 입력하거나 등록하는 기능을 수행한다. 광고주 단말(500)은 사용자의 비디오 클립의 소비 정보 또는 비디오 클립의 선호 정보에 대해 분석된 결과를 기초로 하여 사용자의 비디오 클립별 맞춤형 광고를 광고 서버(400)에 등록할 수 있다.
광고 서버(400)는, 광고주 단말(500)의 요구 사항을 분석하여 상품 데이터베이스(700)로부터 상품 정보들을 결합시켜 광고 정보를 생성한다. 광고 서버(400)는 컴패니언 앱을 통해 노출되는 광고를 제공한다.
상품 데이터베이스(700)는 상품들에 대한 상품 정보를 저장한다. 상품 데이터베이스(700)는 광고 서버(400)와의 통신을 통해 기저장된 상품 정보들을 광고 서버(400)에 전달한다. 상품 데이터베이스(700)는 광고 서버(400)를 통해 제공하는 상품들에 대한 데이터베이스로 이루어져 있다. 여기서, 상품 데이터베이스(700)는 광고 서버(400)와 통신 가능하도록 연결될 수 있다. 또는 상품 데이터베이스(700)는 광고 서버(400)에 포함되어 광고 서버(400)의 데이터베이스로 구현될 수 있다.
광고 서버(400)는 제2 사용자 단말(300)로부터 전송된 비디오 클립 식별자와 대응되는 광고 정보를 상품 데이터베이스(700)에 저장된 상품 정보를 이용하여 확인하고, 그 확인된 광고 정보를 제2 사용자 단말(300)에 제공한다.
이와 같이, 본 발명의 실시 예들은 VOD 클립을 소비하는 시청자를 대상으로 시청자가 현재 소비하고 있는 장면과 연관된 상품 정보를 제2 사용자 단말(300)에서 실행되는 컴패니언 앱을 통해 세컨 스크린으로 제공해서 구매가 이루어질 수 있게 한다.
본 발명의 실시 예들은 VOD 클립의 오디오 정보를 이용하여 실시간으로 소비되는 VOD 클립이 무슨 클립인지 자동으로 식별할 수 있다.
본 발명의 실시 예들은 비디오 클립의 오디오 정보를 이용해 자동으로 인지된 VOD 클립에 상품을 결합함으로써 편리성을 높이고, 광고주로 하여금 VOD 클립 기반의 광고를 용이하게 등록할 수 있다.
이하, 도 1의 본 발명의 실시 예에 따른 비디오 클립의 오디오 인지 기반의 실시간 상품 정보 중계 시스템(10)의 구체적인 과정을 살펴보기로 한다.
도 1에 도시된 바와 같이, 사용자는 텔레비전, PC 모니터, 혹은 스마트 기기를 통해 비디오 클립 서버(200)에서 제공하는 VOD 클립 리스트를 보고, 시청을 원하는 VOD 클립을 선택하여 해당 클립을 소비할 수 있다.
이때, 사용자가 선택하는 VOD 클립에 대한 클릭 빈도수, 소비 시간, 또는 선호 클립 등 사용자의 VOD 클립의 소비 정보 및 선호 정보들이 비디오 클립 서버(200)를 통해 수집되고 분석될 수 있다. 분석된 정보들을 기반으로 광고주 단말(500)은 사용자의 VOD 클립의 소비 정보 및 선호 정보를 획득하여 VOD 클립 기반의 맞춤형 광고를 광고 서버(400)를 통해 제공할 수 있다. 즉, 광고주 단말(500)은 VOD 클립별 맞춤형 광고를 할 수 있도록 광고 서버(400)에 광고를 등록할 수 있다.
그리고 광고 서버(400)는 광고주 단말(500)의 요구 사항을 분석하여 상품 데이터베이스(700)로부터 상품 정보들을 결합시킬 수 있다. 사용자는 제1 사용자 단말(100)의 VOD 클립 재생기를 통해 VOD 클립을 소비하고 있는 동안, 스마트 기기 등 세컨 스크린 단말기인 제2 사용자 단말(300)은 컴패니언 앱을 통해 VOD 클립 재생기에서 출력되는 오디오 정보를 녹음하고, 분석한다.
이후, 제2 사용자 단말(300)은 오디오 특징 정보를 추출하고 그 추출된 오디오 특징 정보들을 오디오 인지 서버(600)에 실시간으로 전송하여 현재 재생되고 있는 VOD 클립에 대한 식별자 정보를 자동으로 획득할 수 있다.
VOD 클립 식별자 정보를 획득하면, 제2 사용자 단말(300)은 그 오디오 식별자 정보를 통해 광고 서버(400)와 연동하여 사전에 준비된 VOD 클립 단위의 광고 정보를 수신할 수 있다. VOD 클립 단위의 광고 정보를 수신한 제2 사용자 단말(300)의 컴패니언 앱은 그 광고 정보들을 컴패니언 앱이 실행되고 있는 제2 사용자 단말(300)에서 사용자에게 출력하여 광고를 유통시킬 수 있다.
도 2는 본 발명의 실시 예에 따른 실시간 상품 정보 중계 시스템에서의 제2 사용자 단말의 구성도이다.
도 2를 참조하면, 본 발명의 실시 예에 따른 실시간 상품 정보 중계 시스템(10)에서의 제2 사용자 단말(300)은 오디오 수신부(310), 오디오 신호 처리부(320), 오디오 특징 추출부(330), 오디오 특징 전송부(340) 및 광고 정보 검색부(350)를 포함한다. 제2 사용자 단말(300)은 장면 및 오디오 결합부(370)를 더 포함할 수 있다.
변형 예에 따르면, 오디오 수신부(310), 오디오 신호 처리부(320), 오디오 특징 추출부(330), 오디오 특징 전송부(340), 광고 정보 검색부(350) 및 장면 및 오디오 결합부(370)의 구성부 중 해당 변형 예에 불필요한 기능/구성부가 생략되거나, 일부 구성부가 통합될 수 있다.
우선, 본 발명의 실시 예에 따른 제2 사용자 단말(300)은 비디오 클립과 관련된 컴패니언 앱이 설치되어 실행될 수 있다. 오디오 수신부(310), 오디오 신호 처리부(320), 오디오 특징 추출부(330), 오디오 특징 전송부(340) 및 광고 정보 검색부(350)는 이러한 컴패니언 앱의 전체 구성요소 또는 일부 구성요소로 구현될 수 있다.
여기서, 컴패니언 앱 또는 컴패니언 애플리케이션은 제1 사용자 단말(100)을 지원하는 보조적인 기능을 수행할 수 있다. 컴패니언 앱은 제1 사용자 단말(100)에서 재생되는 비디오 클립과 관련된 추가 정보를 제공하거나, 비디오 클립을 소비하는데 도움이 될 서비스를 제공할 수 있다. 컴패니언 앱은 비디오 클립에 기능, 정보, 또는 서비스를 추가로 제공하여 비디오 클립의 활용 활성화를 유도할 수 있는 애플리케이션일 수 있다. 사용자 측면에서는 컴패니언 앱은 요청한 비디오 클립에서 제공하지 못하는, 부가가치를 더한 정보나 서비스를 제공할 수 있는 애플리케이션일 수 있다.
이하, 도 2의 본 발명의 실시 예에 따른 실시간 상품 정보 중계 시스템(10)에서의 제2 사용자 단말(300)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
오디오 수신부(310)는 비디오 클립 재생기에서 출력되는 비디오의 오디오 정보를 수신하여 녹음한다. 비디오 클립 재생기가 VOD 클립 재생기인 경우, 오디오 수신부(310)는 VOD 클립 재생기에서 출력되는 오디오 정보를 수신하여 녹음할 수 있다.
오디오 신호 처리부(320)는 오디오 수신부(310)에서 녹음된 오디오 정보로부터 일부 오디오 정보를 제거하고 분석 대상인 장면에 대한 오디오 정보의 데이터 정보량을 축약한다. 오디오 신호 처리부(320)는 수신된 오디오 정보로부터 불필요한 오디오 정보를 제거하고 분석 대상의 데이터 정보량을 축약할 수 있다.
오디오 특징 추출부(330)는 오디오 신호 처리부(320)에서 축약된 오디오 정보로부터 해당 장면의 오디오 특징 정보를 추출한다. 오디오 특징 추출부(330)는 사용자가 시청하고 있는 해당 장면의 오디오 특징 정보를 추출할 수 있다.
오디오 특징 전송부(340)는 오디오 특징 추출부(330)에서 추출된 오디오 특징 정보를 오디오 인지 서버(600)로 전송하여 비디오 클립 식별자를 요청한다.
광고 정보 검색부(350)는 오디오 인지 서버(600)로부터 반환받은 비디오 클립 식별자를 이용하여 검색하여 광고 서버(400)에서 클립 단위의 광고 정보를 수신한다. 광고 정보 검색부(350)는 오디오 인지 서버(600)로부터 반환받은 VOD 클립 식별자를 이용하여 광고 서버(400)에서 클립 단위의 광고 정보를 전달받을 수 있다.
광고 노출부(360)는 광고 정보 검색부(350)에서 수신된 광고 정보를 기초로 하여 광고를 사용자에게 출력한다. 광고 노출부(360)는 실행된 컴패니언 앱을 통해 광고를 출력할 수 있다.
여기서, 광고 노출부(360)는, 컴패니언 앱을 통해 장면 기반의 비디오 클립 서비스를 제공하기 위해, 선호장면 메뉴, 프로그램 장면 메뉴, 프로그램 상품 메뉴 및 프로그램 토픽 메뉴 중에서 적어도 하나 이상의 메뉴를 사용자에게 제공할 수 있다.
그리고 광고 노출부(360)는, 사용자가 상기 제공된 적어도 하나 이상의 메뉴 중에서 어느 하나의 메뉴를 선택하면, 광고주 단말(500)이 광고 서버(400)를 통해 미리 설정해 놓은 상품 정보 리스트를 출력할 수 있다.
한편, 장면 및 오디오 결합부(370)는 오디오 특징 추출부(330)에서 추출된 오디오 특징 정보와 장면을 이용하여 특정 장면에 포함된 특정 오디오를 결합시킬 수 있다.
도 3은 본 발명의 실시 예에 따른 제2 사용자 단말에서 실행되는 컴패니언 앱을 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 컴패니언 앱의 일 실시 예를 나타낸다.
스마트 폰과 같은 제2 사용자 단말(300)에서 장면 기반의 상품 광고(30)를 노출하고 있는 모습을 나타낸다.
제2 사용자 단말(300)에서 실행되는 컴패니언 앱은 장면 기반의 VOD 클립 서비스를 제공하기 위해 선호 장면들을 묶음으로 제공하는 선호장면 메뉴(31), 한 편의 드라마를 여러 개의 장면으로 분할하여 VOD 클립 묶음으로 제공하는 드라마 장면 메뉴(32), 한 편의 드라마에 결합된 상품들의 묶음을 제공하는 드라마 상품 메뉴(33), 및 각 장면의 특징을 텍스트로 기술하는 드라마 토픽 메뉴(34)를 제공할 수 있다.
도 3은 각 메뉴 중에서 드라마 상품 메뉴의 일 실시 예를 나타낸다. 사용자가 이 메뉴를 선택하면 광고주 단말(500)이 광고 서버(400)를 통해 미리 설정해 놓은 상품 정보들(35, 36, 37)이 포함된 상품 정보 리스트를 출력할 수 있다.
도 4 및 도 5는 본 발명의 실시 예에 따른 비디오 클립의 오디오 인지 기반의 실시간 상품 정보 중계 방법에 대한 흐름도이다.
도 4 및 도 5에 도시된 바와 같이, 실시간 상품 정보 중계 방법은 컴패니언 앱을 통해 제2 사용자 단말(300)의 VOD 클립 재생기에서 출력되는 오디오를 획득하여 오디오 인지 서버(600)를 통해 VOD 클립 식별자를 획득한다. 그리고 실시간 상품 정보 중계 방법은 그 VOD 클립 식별자를 기반으로 하는 상품 정보를 컴패니언 앱을 통해 사용자에게 출력한다.
이하, 실시간 상품 정보 중계 시스템(10)에 의해 수행되는 실시간 상품 정보 중계 방법을 구체적으로 살펴보기로 한다.
제1 사용자 단말(100)의 비디오 클립 재생기는 비디오 클립 서버(200)에 비디오 클립을 요청한다(S101).
비디오 클립 서버(200)는 제1 사용자 단말(100)의 비디오 클립 재생기로부터 요청된 비디오 클립을 스트리밍 방식으로 제1 사용자 단말(100)의 비디오 클립 재생기에 전송한다(S102).
제1 사용자 단말(100)의 비디오 클립 재생기는 비디오 클립 서버(200)로부터 수신되는 비디오 클립을 재생한다(S103).
제2 사용자 단말(300)은 비디오 클립 재생기에서 출력되거나 재생되는 비디오 클립의 오디오 정보를 획득한다(S104). 즉, 제2 사용자 단말(300)은 비디오 클립 재생기에서 출력되거나 재생되는 비디오 클립의 오디오를 수신하여 녹음한다.
제2 사용자 단말(300)은 녹음된 비디오 클립의 오디오 정보로부터 일부 오디오 정보를 제거하고, 분석 대상인 장면에 대한 오디오 정보의 데이터 정보량을 축약한다(S105).
제2 사용자 단말(300)은 축약된 오디오 정보로부터 해당 장면의 오디오 특징 정보를 추출한다(S106).
제2 사용자 단말(300)은 추출된 오디오 특징 정보를 오디오 인지 서버(600)로 전송한다(S107).
오디오 인지 서버(600)는 제2 사용자 단말(300)로부터 수신된 오디오 특징 정보를 분석하여 비디오 클립 식별자를 확인한다(S108).
오디오 인지 서버(600)는 확인된 비디오 클립 식별자를 제2 사용자 단말(300)에 전송한다(S109).
제2 사용자 단말(300)은 오디오 인지 서버(600)로부터 반환받은 비디오 클립 식별자를 광고 서버(400)에 전송하여 비디오 클립 단위의 광고 정보를 요청한다(S110).
광고 서버(400)는 제2 사용자 단말(300)로부터 수신된 비디오 클립 식별자에 대응되는 상품 데이터베이스(700)로부터 상품 정보를 검색하고(S111). 그 검색된 상품 정보를 기초로 하여 비디오 클립 단위의 광고 정보를 제2 사용자 단말(300)에 제공한다(S112).
제2 사용자 단말(300)은 광고 서버(400)로부터 제공된 비디오 클립 단위의 광고 정보를 사용자에게 출력한다(S113).
도 5에 도시된 바와 같이, 본 발명의 실시 예에 따른 비디오 클립의 오디오 인지 기반의 실시간 상품 정보 중계 방법 중에서 맞춤형 광고 정보의 제공 과정에 대해서 살펴보기로 한다.
비디오 클립 서버(200)는 제1 사용자 단말(100)에서 선택되는 비디오 클립에 대한 소비 정보 또는 비디오 클립의 선호 정보를 수집한다(S201).
비디오 클립 서버(200)는 수집된 정보들을 분석한다(S202).
비디오 클립 서버(200)는 비디오 클립에 대한 소비 정보 또는 비디오 클립의 선호 정보를 분석한 결과를 광고주 단말(500)에 전송한다(S203). 비디오 클립 서버(200)는 사용자 단말마다 각각 또는 사용자 단말의 요청에 따라 비디오 클립의 소비 정보 또는 선호 정보를 광고주 단말(500)에 전송할 수 있다.
광고주 단말(500)은 비디오 클립 서버(200)로부터 수신된 비디오 클립의 소비 정보 또는 선호 정보를 기반으로 비디오 클립별 광고 정보를 확인할 수 있다(S204).
광고주 단말(500)은 사용자의 비디오 클립의 소비 정보 또는 비디오 클립의 선호 정보에 대해 분석된 결과를 기초로 하여 사용자의 비디오 클립별 맞춤형 광고를 광고 서버(400)에 등록한다(S205). 광고주 단말(500)은 비디오 클립별 광고 정보를 맞춤형 광고 정보로 광고 서버(400)에 등록시킬 수 있다.
광고 서버(400)는 광고주 단말(500)에 의해 등록된 맞춤형 광고 정보를 분석하여 상품 데이터베이스(700)로부터 상품 정보를 결합시킬 수 있다(S206).
이후, 광고 서버(400)는 결합된 상품 정보를 이용하여 비디오 클립별로 맞춤형 광고를 제2 사용자 단말(300)에 전송한다(S207).
제2 사용자 단말(300)은 광고 서버(400)로부터 제공된 비디오 클립 단위의 광고 정보를 사용자에게 출력한다(S208).
이상에서 설명한 실시 예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 실시간 상품 정보 중계 시스템
100: 제1 사용자 단말 200: 비디오 클립 서버
300: 제2 사용자 단말 400: 광고 서버
500: 광고주 단말 600: 오디오 인지 서버
700: 상품 데이터베이스 310: 오디오 수신부
320: 오디오 신호 처리부 330: 오디오 특징 추출부
340: 오디오 특징 전송부 350: 광고 정보 검색부
360: 광고 노출부 370: 장면 및 오디오 결합부

Claims (1)

  1. 비디오 클립 재생기에서 출력되는 비디오의 오디오 정보를 수신하여 녹음하는 오디오 수신부;
    상기 녹음된 오디오 정보로부터 일부 오디오 정보를 제거하고 분석 대상인 장면에 대한 오디오 정보의 데이터 정보량을 축약하는 오디오 신호 처리부;
    상기 축약된 오디오 정보로부터 해당 장면의 오디오 특징 정보를 추출하는 오디오 특징 추출부;
    상기 추출된 오디오 특징 정보를 오디오 인지 서버로 전송하여 비디오 클립 식별자를 요청하는 오디오 특징 전송부;
    상기 오디오 인지 서버로부터 반환받은 비디오 클립 식별자를 이용하여 검색하여 광고 서버에서 클립 단위의 광고 정보를 수신하는 광고 정보 검색부; 및
    상기 수신된 광고 정보를 기초로 하여 광고를 출력하는 광고 노출부;
    를 포함하는 실시간 상품 정보 중계 시스템에서의 사용자 단말.
KR1020170012158A 2017-01-25 2017-01-25 비디오 클립에 대한 오디오 인지 기반의 실시간 상품 정보 중계 시스템 및 방법 KR20180087737A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170012158A KR20180087737A (ko) 2017-01-25 2017-01-25 비디오 클립에 대한 오디오 인지 기반의 실시간 상품 정보 중계 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170012158A KR20180087737A (ko) 2017-01-25 2017-01-25 비디오 클립에 대한 오디오 인지 기반의 실시간 상품 정보 중계 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20180087737A true KR20180087737A (ko) 2018-08-02

Family

ID=63251453

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170012158A KR20180087737A (ko) 2017-01-25 2017-01-25 비디오 클립에 대한 오디오 인지 기반의 실시간 상품 정보 중계 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20180087737A (ko)

Similar Documents

Publication Publication Date Title
US9961404B2 (en) Media fingerprinting for content determination and retrieval
US10080046B2 (en) Video display device and control method thereof
KR101999389B1 (ko) 현재 재생되는 텔레비젼 프로그램들과 연관된 인터넷-액세스가능 컨텐츠의 식별 및 제시
US8737813B2 (en) Automatic content recognition system and method for providing supplementary content
US20150156536A1 (en) Method for receiving enhanced service and display apparatus thereof
US20120089911A1 (en) Bookmarking System
CN102193794B (zh) 链接实时媒体情境到相关的应用程序和服务
KR20100122486A (ko) 컨텐츠 및 메타데이터를 사용하는 기법
US20160035392A1 (en) Systems and methods for clipping video segments
US20100138655A1 (en) Terminal apparatus and operation information collecting system
US11093978B2 (en) Creating derivative advertisements
US9619123B1 (en) Acquiring and sharing content extracted from media content
US9489421B2 (en) Transmission apparatus, information processing method, program, reception apparatus, and application-coordinated system
US20170134810A1 (en) Systems and methods for user interaction
CN103686409A (zh) 桌面背景与直播界面同步播放的方法和系统
US20130132842A1 (en) Systems and methods for user interaction
KR20160077764A (ko) 음악 정보 제공 방법 및 시스템
US20130085846A1 (en) System and method for online selling of products appearing on a display
RU2630432C2 (ru) Приемное устройство, способ обработки информации, программа, передающее устройство и система взаимодействия передающих программ
KR101511311B1 (ko) 셋탑박스 제어 기록 및 콘텐츠 검색 기록을 이용한 사용자 맞춤형 광고 제공 시스템 및 방법
JP6583712B2 (ja) 番組関連情報配信方法
KR20180087737A (ko) 비디오 클립에 대한 오디오 인지 기반의 실시간 상품 정보 중계 시스템 및 방법
CA2754332A1 (en) System and method for online selling of products appearing on a display
JP2007300652A (ja) 動画像コンテンツ蓄積装置と情報機器からなるシステム、ならびに、放送受信機と動画像コンテンツ蓄積装置と情報機器からなるシステム