KR101757878B1 - 컨텐츠 처리장치, 그의 컨텐츠 처리방법, 서버, 서버의 정보 제공방법 및 정보제공 시스템 - Google Patents

컨텐츠 처리장치, 그의 컨텐츠 처리방법, 서버, 서버의 정보 제공방법 및 정보제공 시스템 Download PDF

Info

Publication number
KR101757878B1
KR101757878B1 KR1020150176288A KR20150176288A KR101757878B1 KR 101757878 B1 KR101757878 B1 KR 101757878B1 KR 1020150176288 A KR1020150176288 A KR 1020150176288A KR 20150176288 A KR20150176288 A KR 20150176288A KR 101757878 B1 KR101757878 B1 KR 101757878B1
Authority
KR
South Korea
Prior art keywords
information
feature information
type
content
server
Prior art date
Application number
KR1020150176288A
Other languages
English (en)
Other versions
KR20170069057A (ko
Inventor
고광현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150176288A priority Critical patent/KR101757878B1/ko
Priority to PCT/KR2016/014199 priority patent/WO2017099444A1/en
Priority to CN201680071997.7A priority patent/CN108370447B/zh
Priority to US15/371,548 priority patent/US10142679B2/en
Priority to EP16202881.5A priority patent/EP3179409B1/en
Publication of KR20170069057A publication Critical patent/KR20170069057A/ko
Application granted granted Critical
Publication of KR101757878B1 publication Critical patent/KR101757878B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385—Channel allocation; Bandwidth allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot

Abstract

컨텐츠 처리장치가 개시된다. 본 컨텐츠 처리장치는 컨텐츠를 출력하는 출력부, 서버와 통신하는 통신부 및 컨텐츠로부터 제1 특징정보 및 제1 특징정보와 다른 종류의 제2 특징정보를 추출하고, 추출된 제1 특징정보를 서버로 전송하도록 통신부를 제어하며, 서버로부터 전송한 제1 특징정보에 대응되는 복수의 매칭 정보가 수신되면, 복수의 매칭 정보 중 컨텐츠로부터 추출된 제2 특징정보에 대응되는 매칭 정보를 출력하도록 출력부를 제어하는 프로세서를 포함한다.

Description

컨텐츠 처리장치, 그의 컨텐츠 처리방법, 서버, 서버의 정보 제공방법 및 정보제공 시스템 { CONTENTS PROCESSING APPARATUS, CONTENTS PROCESSING METHOD THEREOF, SERVER, INFORMATION PROVIDING METHOD OF SERVER AND INFORMATION PROVIDING SYSTEM }
본 개시는 컨텐츠 처리장치, 그의 컨텐츠 처리방법, 서버, 서버의 정보 제공방법 및 정보제공 시스템에 관한 것으로, 보다 상세하게는, 서로 다른 종류의 특징정보를 이용하여 컨텐츠를 정확히 인식할 수 있는 컨텐츠 처리장치, 컨텐츠 처리방법, 서버, 서버의 정보 제공방법 및 정보제공 시스템에 대한 것이다.
사용자의 니즈가 점차 다양해지면서, 방송 콘텐츠 또는 멀티미디어 콘텐츠의 출처가 공중파 위주의 단일 소스에서, 케이블, IPTV(Internet Protocol TV), Vod(Video On Demand) 등의 다양한 소스들로 변화되고 있다. 그리고 맞춤형 광고나 프로그램 추천 등의 정보를 제공하는 소스들도 발생하고 있었다.
이와 같은 맞춤형 광고나 프로그램 추천 등의 정보는, 현재 출력되는 장면에 맞게 적절하게 제공될 필요가 있다. 가령, 특정 제품에 대한 광고 메시지는 해당 제품이 노출되는 장면이 표시될 때, 함께 표시되는 것이 가장 효과적이다. 따라서, 디스플레이 장치에선 현재 표시되고 있는 영상이 무엇인지 인식하는 기술이 필요하였다.
이를 위해, 출력되고 있는 영상으로부터 특징 데이터를 추출하고, 추출된 특징 데이터를 기 저장된 데이터와 비교함으로써 영상을 인식하는 기술이 등장하였다. 그러나 종래의 컨텐츠 인식 기술에선, 서로 다른 컨텐츠에서 동일한 장면을 포함하고 있어 동일한 특징정보가 추출되는 경우엔, 각 컨텐츠들을 구별할 수 없다는 문제가 있었다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 본 개시의 목적은 서로 다른 종류의 특징정보를 이용하여 컨텐츠를 정확히 인식할 수 있는 컨텐츠 처리장치, 컨텐츠 처리방법, 서버, 서버의 정보 제공방법 및 정보제공 시스템을 제공하기 위한 것이다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 컨텐츠 처리장치는, 컨텐츠를 출력하는 출력부, 서버와 통신하는 통신부 및 상기 컨텐츠로부터 제1 특징정보 및 상기 제1 특징정보와 다른 종류의 제2 특징정보를 추출하고, 상기 추출된 제1 특징정보를 상기 서버로 전송하도록 상기 통신부를 제어하며, 상기 서버로부터 상기 전송한 제1 특징정보에 대응되는 복수의 매칭 정보가 수신되면, 상기 복수의 매칭 정보 중 상기 컨텐츠로부터 추출된 제2 특징정보에 대응되는 매칭 정보를 출력하도록 상기 출력부를 제어하는 프로세서를 포함한다.
이 경우, 상기 제1 특징정보는 비디오 특징정보 또는 오디오 특징정보이고, 상기 제2 특징정보는 상기 제1 특징정보와 다른 종류의 비디오 특징정보 또는 오디오 특징정보일 수 있다.
한편, 상기 통신부는, 상기 서버로부터 상기 복수의 매칭 정보 및 상기 복수의 매칭 정보 각각에 대응되는 복수의 제2 특징정보를 수신하고, 상기 프로세서는, 상기 복수의 제2 특징정보와 상기 컨텐츠로부터 추출된 제2 특징정보를 비교한 결과에 기초하여 상기 복수의 매칭 정보 중 상기 컨텐츠로부터 추출된 제2 특징정보에 대응되는 매칭 정보를 출력하도록 상기 출력부를 제어할 수 있다.
한편, 상기 복수의 매칭 정보는 부가 정보를 포함하고, 상기 부가 정보는, 상기 컨텐츠에 연관된 광고 정보, 컨텐츠 추천 정보, 의견 수렴 정보, 및 URL 정보 중 적어도 하나를 포함할 수 있다.
한편, 상기 프로세서는, 기 설정된 시간 주기가 도래하는 제1 이벤트, 컨텐츠를 제공하는 소스가 변경되는 제2 이벤트 또는 채널이 변경되는 제3 이벤트가 발생하면, 현재 출력중인 컨텐츠로부터 제1 특징정보 및 제2 특징정보를 추출할 수 있다.
한편, 상기 프로세서는, 상기 복수의 매칭 정보 중 상기 컨텐츠로부터 추출된 제2 특징정보에 대응되는 매칭 정보를 컨텐츠 인식정보로서 상기 서버로 전송하도록 상기 통신부를 제어할 수 있다.
한편, 본 개시의 일 실시 예에 따른 서버는, 컨텐츠 처리장치로부터 제1 특징정보를 수신하는 통신부 및 상기 수신된 제1 특징정보에 매칭되는 제1 특징정보가 복수 개 검색되면, 상기 검색된 복수의 제1 특징정보 각각에 대응되는 복수의 매칭 정보 및 상기 검색된 복수의 제1 특징정보 각각에 대응되는 복수의 제2 특징정보를 상기 컨텐츠 처리장치로 전송하도록 상기 통신부를 제어하는 프로세서를 포함한다.
이 경우, 상기 제1 특징정보는 비디오 특징정보 또는 오디오 특징정보이고, 상기 제2 특징정보는 상기 제1 특징정보와 다른 종류의 비디오 특징정보 또는 오디오 특징정보일 수 있다.
한편, 상기 복수의 매칭 정보는 부가 정보를 포함하고, 상기 부가 정보는, 상기 컨텐츠에 연관된 광고 정보, 컨텐츠 추천 정보, 의견 수렴 정보, 및 URL 정보 중 적어도 하나를 포함할 수 있다.
한편, 상기 프로세서는, 상기 컨텐츠 처리장치로부터 컨텐츠 인식정보가 수신되면, 상기 컨텐츠 인식정보 수신 이후에 상기 컨텐츠 처리장치로부터 수신되는 제1 특징정보에 대해선 상기 수신된 컨텐츠 인식정보에 대응되는 검색범위 내에서 검색을 수행할 수 있다.
한편, 상기 프로세서는, 상기 수신된 제1 특징정보에 매칭되는 제1 특징정보가 한 개 검색되면, 상기 검색된 한 개의 제1 특징정보에 대응되는 매칭 정보를 시청데이터 수집서버로 전송하도록 상기 통신부를 제어할 수 있다.
한편, 본 개시의 일 실시 예에 따른 정보제공시스템은, 컨텐츠로부터 제1 특징정보 및 제2 특징정보를 추출하고, 상기 추출된 제1 특징정보를 서버로 전송하는 디스플레이 장치 및 상기 디스플레이 장치로부터 수신된 제1 특징정보에 대응되는 매칭 정보를 상기 디스플레이 장치로 전송하는 서버를 포함하고, 상기 디스플레이 장치는, 상기 서버로부터 복수의 매칭 정보가 수신되면, 상기 복수의 매칭 정보 중 상기 컨텐츠로부터 추출된 제2 특징정보에 대응되는 매칭 정보를 표시한다.
한편, 본 개시의 일 실시 예에 따른 컨텐츠 처리방법은, 컨텐츠를 출력하는 단계, 상기 컨텐츠로부터 제1 특징정보 및 상기 제1 특징정보와 다른 종류의 제2 특징정보를 추출하는 단계, 상기 추출된 제1 특징정보를 서버로 전송하는 단계, 상기 서버로부터 상기 전송한 제1 특징정보에 대응되는 복수의 매칭 정보를 수신하는 단계 및 상기 복수의 매칭 정보 중 상기 컨텐츠로부터 추출된 제2 특징정보에 대응되는 매칭 정보를 출력하는 단계를 포함한다.
이 경우, 상기 제1 특징정보는 비디오 특징정보 또는 오디오 특징정보이고, 상기 제2 특징정보는 상기 제1 특징정보와 다른 종류의 비디오 특징정보 또는 오디오 특징정보일 수 있다.
한편, 상기 수신하는 단계는, 상기 서버로부터 상기 복수의 매칭 정보 및 상기 복수의 매칭 정보에 각각 대응되는 복수의 제2 특징정보를 수신하고, 상기 출력하는 단계는, 상기 복수의 제2 특징정보와 상기 컨텐츠로부터 추출된 제2 특징정보를 비교한 결과에 기초하여 상기 복수의 매칭 정보 중 상기 컨텐츠로부터 추출된 제2 특징정보에 대응되는 매칭 정보를 출력할 수 있다.
한편, 상기 복수의 매칭 정보는 부가 정보를 포함하고, 상기 부가 정보는, 상기 컨텐츠에 연관된 광고 정보, 컨텐츠 추천 정보, 의견 수렴 정보, 및 URL 정보 중 적어도 하나를 포함할 수 있다.
한편, 상기 추출하는 단계는, 기 설정된 시간 주기가 도래하는 제1 이벤트, 컨텐츠를 제공하는 소스가 변경되는 제2 이벤트 또는 채널이 변경되는 제3 이벤트가 발생하면, 현재 출력중인 컨텐츠로부터 제1 특징정보 및 제2 특징정보를 추출할 수 있다.
한편, 본 개시에 따른 컨텐츠 처리방법은, 상기 복수의 매칭 정보 중 상기 컨텐츠로부터 추출된 제2 특징정보에 대응되는 매칭 정보를 컨텐츠 인식정보로서 상기 서버로 전송하는 단계를 더 포함할 수 있다.
한편, 본 개시의 일 실시 예에 따른 서버의 정보제공방법은, 컨텐츠 처리장치로부터 제1 특징정보를 수신하는 단계, 상기 수신된 제1 특징정보에 매칭되는 제1 특징정보를 검색하는 단계 및 상기 수신된 제1 특징정보에 매칭되는 제1 특징정보가 복수 개 검색되면, 상기 검색된 복수의 제1 특징정보 각각에 대응되는 복수의 매칭 정보 및 상기 검색된 복수의 제1 특징정보에 각각 대응되는 복수의 제2 특징정보를 상기 컨텐츠 처리장치로 전송하는 단계를 포함한다.
이 경우, 상기 검색하는 단계는, 상기 컨텐츠 처리장치로부터 컨텐츠 인식정보가 수신되면, 상기 컨텐츠 인식정보 수신 이후에 상기 컨텐츠 처리장치로부터 수신되는 제1 특징정보에 대해선 상기 수신된 컨텐츠 인식정보에 대응되는 검색범위 내에서 검색을 수행할 수 있다.
도 1 내지 도 2는 본 개시의 다양한 실시 예에 따른 정보제공시스템을 도시한 도면,
도 3은 본 개시의 일 실시 예에 따른 컨텐츠 처리장치의 구성을 설명하기 위한 블럭도,
도 4 내지 도 6b는 본 개시의 다양한 실시 예에 따른 컨텐츠 처리 장치와 서버 간의 통신을 설명하기 위한 도면,
도 7은 본 개시의 일 실시 예에 따른 컨텐츠 처리장치에서 제공되는 부가 정보를 설명하기 위한 도면,
도 8은 본 개시의 일 실시 예에 따른 컨텐츠 처리장치와 서버의 컨텐츠 인식을 설명하기 위한 시퀀스도,
도 9는 본 개시의 일 실시 예에 따른 컨텐츠 처리장치의 부가 정보 제공 방법을 설명하기 위한 도면,
도 10은 본 개시의 일 실시 예에 따른 컨텐츠 처리방법을 설명하기 위한 흐름도,
도 11은 본 개시의 일 실시 예에 따른 서버를 설명하기 위한 블록도,
도 12는 본 개시의 또 다른 실시 예에 따른 컨텐츠 처리장치와 서버의 컨텐츠 인식을 설명하기 위한 시퀀스도,
도 13은 본 개시의 또 다른 실시 예에 따른 정보제공시스템의 구성을 설명하기 위한 도면,
도 14는 본 개시의 일 실시 예에 따른 정보제공시스템의 컨텐츠 인식 방법을 설명하기 위한 흐름도, 그리고,
도 15는 본 개시의 일 실시 예에 따른 서버의 정보제공방법을 설명하기 위한 흐름도이다.
본 개시를 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술 되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관계 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
실시 예에 있어서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 개시의 일 실시 예에 따른 정보 제공 시스템을 설명하기 위한 도면이다.
도 1을 참고하면, 본 정보 제공 시스템(1000)은 컨텐츠 처리 장치(100)와 서버(200)를 포함한다.
컨텐츠 처리장치(100)는 컨텐츠로부터 특징정보를 추출하여 컨텐츠를 인식할 수 있는 장치이다. 구체적인 예로, 컨텐츠 처리장치(100)는 이에 한정되는 것은 아니나, TV, PC, 랩톱 PC, 휴대폰, 태블릿 PC, PDA 등과 같이 컨텐츠 표시가 가능한 디스플레이 장치로 구현될 수 있다.
컨텐츠 처리장치(100)는 컨텐츠를 출력할 수 있다. 컨텐츠를 출력한다는 것은 예컨대, 컨텐츠 처리장치(100)에 구비된 디스플레이 또는 스피커를 통해 영상 또는 사운드를 출력하는 것을 의미할 수 있다.
그리고 컨텐츠 처리장치(100)는 출력 중인 컨텐츠로부터 제1 특징정보 및 제1 특징정보와는 다른 종류의 제2 특징정보를 추출하고, 추출된 제1 특징정보를 서버(200)로 전송할 수 있다.
구체적으로, 컨텐츠 처리장치(100)는 컨텐츠의 영상 또는 사운드로부터 특징 정보를 추출할 수 있다. 본 명세서에선 영상으로부터 추출된 특징정보는 비디오 특징정보, 사운드로부터 추출된 특징정보는 오디오 특징정보라고 명명하도록 한다. 상기의 제1 특징정보가 비디오 특징정보이면, 제2 특징정보는 오디오 특징정보이고, 제1 특징정보가 오디오 특징정보이면 제2 특징정보는 비디오 특징정보이다.
이와 같은 비디오 또는 오디오 특징 정보는 비디오 또는 오디오 핑거프린트(fingerprint)를 포함할 수 있다.
핑거프린트란, 컨텐츠의 일부 구간의 영상 또는 사운드에 대한 고유 데이터를 의미한다. 구체적으로, 핑거프린트는 영상 신호 또는 오디오 신호로부터 추출된 특징 정보로서, 텍스트를 기반으로 한 메타 데이터와는 달리, 신호 자체 고유의 특성을 반영한다. 따라서 핑거프린트를 지문 데이터, DNA 데이터 또는 유전자 데이터라고도 한다. 예컨대 오디오 신호로부터 추출된 오디오 핑거프린트는 오디오 신호의 주파수, 진폭 등의 특징을 나타낸 정보이고, 영상 신호로부터 추출된 비디오 핑거프린트는 영상 신호의 모션 벡터, 색상 등의 특징을 나타낸 정보이다.
핑거프린트는 종래에 알려진 다양한 알고리즘에 의해 추출될 수 있다. 일 예로, 오디오 신호를 일정 시간 간격으로 분할하고, 각 시간 간격에 포함되는 주파수들의 신호의 크기를 계산한다. 그리고 인접한 주파수 구간의 신호들 간의 크기 차를 구하여 주파수 기울기를 계산하고, 기울기가 양수인 경우 1로, 음수인 경우 0으로 양자화함으로써 핑거프린트가 생성될 수 있다.
이와 같은 핑거프린트는 자동 컨텐츠 식별(Automatic Contents Recognition, ACR) 기술에서 이용될 수 있고, 이는 당업자에게 자명하므로 핑거프린트에 대한 더 이상의 자세한 설명은 생략하도록 한다.
서버(200)는 컨텐츠 처리장치(100)로부터 수신된 ACR(Automatic Contents Recognition) 질의 요청을 처리할 수 있는 장치이다. 매칭 서버로 명명될 수도 있다. 한편, 도 1에선 서버(200)가 하나인 것으로 도시하였으나, 서버는 복수 개로 구성될 수도 있다.
특히, 서버(200)는 컨텐츠 처리장치(100)로부터 수신된 제1 특징정보에 대응되는 매칭 정보를 컨텐츠 처리장치(100)로 전송할 수 있다. 즉, 매칭 정보는 컨텐츠 처리장치(100)가 서버(200)로 제1 특징 정보를 전송한 것에 대한 응답이다.
구체적으로, 서버(200)는 다양한 컨텐츠로부터 추출된 특징정보들을 포함한 데이터베이스를 가지고 있고, 이 데이터베이스의 특징정보들 각각엔 컨텐츠 정보가 태깅(또는 인덱싱)되어 있다. 여기서 컨텐츠 정보는, 컨텐츠가 라이브 방송인 경우에는 채널별 EPG 메타데이터이며, VoD/OTT 등과 같은 컨텐츠나 커스텀 컨텐츠(custom content)의 경우에는 미리 기록된 컨텐츠에 대한 정보이다.
또한, 서버(200)의 데이터베이스의 특징정보들 각각은 부가 정보와 대응될 수 있다. 부가 정보는 컨텐츠 출력과 함께 제공될 수 있는 정보로서, 광고 정보, 컨텐츠 추천 정보, 의견 수렴 정보, URL(universal resource locator) 정보 등을 포함할 수 있다. 여기서 URL 정보는 컨텐츠에 연관된 정보에 대한 연결 정보이다. 이러한 부가 정보는 서버(200)에 저장되어 있거나, 서버(200)에 연결된 부가정보 제공 서버로부터 제공될 수 있다.
서버(200)는 상술한 것과 같은 컨텐츠 정보를 포함하는 매칭 정보를 컨텐츠 처리장치(100)로 전송할 수 있다. 경우에 따라 매칭 정보에는 상술한 부가 정보가 포함되어 있을 수도 있다.
그리고 컨텐츠 처리장치(100)는, 서버(200)로부터 전송한 제1 특징정보에 대응되는 복수의 매칭 정보가 수신되면, 복수의 매칭 정보 중 컨텐츠로부터 추출된 제2 특징정보에 대응되는 매칭 정보를 선별할 수 있다. 그리고 컨텐츠 처리장치(100)는 선별된 매칭 정보에 기초하여 다양한 동작을 수행할 수 있다. 예컨대, 매칭 정보에 포함된 광고 정보 등을 출력하거나, 매칭 정보를 컨텐츠 인식 정보로서 저장하여 시청 데이터 수집 목적으로 활용할 수 있다.
이상과 같은 정보제공시스템에 따르면, 특징 정보를 이용하여 현재 출력 중인 컨텐츠의 인식이 가능하며, 특히, 비디오 특징정보와 오디오 특징정보를 모두 사용하여 컨텐츠를 인식할 수 있으므로 컨텐츠 인식의 정확도가 향상될 수 있다.
한편, 도 1을 설명함에 있어, 정보 제공 시스템(1000)이 하나의 디스플레이 장치(100)와 하나의 서버(200)를 포함하는 것으로 설명하였으나, 다수의 디스플레이 장치가 하나의 서버와 연결될 수 있으며, 다수의 서버(200)가 하나의 디스플레이 장치와 연결될 수 있다. 그 밖의 다른 조합도 가능하다.
한편, 도 1에선 컨텐츠 처리장치(100)가 디스플레이 장치로 구현된 것을 도시하였으나, 또 다른 실시 예에 따르면, 도 2에 도시된 것과 같이 컨텐츠 처리 장치(100)는 디스플레이 장치의 외부 장치로 구현될 수도 있다.
도 2는 본 개시의 또 다른 실시 예에 따른 정보제공 시스템(1000')을 설명하기 위한 도면이다.
도 2를 참고하면, 정보제공 시스템(1000')은 디스플레이 장치(300), 컨텐츠 처리장치(100) 및 서버(200)를 포함한다. 본 정보제공 시스템(1000')의 구성에 대한 설명은 도 1에서 설명한 내용과 중복되는 범위에서 생략하도록 한다.
도 2의 실시 예의 경우, 디스플레이 기능은 디스플레이 장치(300)에서 처리하고, 그 외의 기능은 컨텐츠 처리장치(100)에서 이루어진다. 이와 같은 경우, 컨텐츠 처리장치(100)가 컨텐츠 또는 매칭 정보를 출력한다는 것은 디스플레이 장치(300)로 컨텐츠 또는 매칭 정보를 전송하는 것을 의미한다.
일 예에 따르면, 컨텐츠 처리장치(100)는 디스플레이 장치(300)에 연결되는 셋톱 박스로 구현될 수 있다. 셋톱 박스는 지상파 방송, 케이블 TV 방송, 위성방송 등의 TV 방송 신호를 수신해서 디스플레이 장치(300)에 출력시키는 장치로서, 튜너 박스라고 불리울 수 있다.
디스플레이 장치(300)는 컨텐츠 처리장치(100)로부터 제공받은 컨텐츠 또는 매칭 정보를 영상 및/또는 사운드 형태로 사용자에게 제공할 수 있는 장치이다.
예컨대 디스플레이 장치(300)는 TV, PC, 랩톱 PC, 휴대폰, 태블릿 PC, PDA, MP3 플레이어, 키오스크, 전자 액자, 테이블 디스플레이 장치 등과 같이 다양한 유형의 장치로 구현될 수 있다.
한편, 도 1 내지 도 2 에선 서버(200)가 하나인 것으로 도시하였으나, 이에 한정되는 것은 아니고, 2 이상의 서버가 이용되는 것도 가능하다.
이하에선, 도 3을 참고하여 컨텐츠 처리장치(100)에 대해 좀 더 자세히 설명하도록 한다.
도 3은 본 개시의 일 실시 예에 따른 컨텐츠 처리장치(100)를 도시한 것이다.
도 3을 참고하면, 컨텐츠 처리장치(100)는 출력부(110), 통신부(120) 및 프로세서(130)를 포함한다.
출력부(110)는 컨텐츠 및 서버(200)로부터 수신된 매칭 정보를 출력하기 위한 구성이다. 컨텐츠 처리장치(100)가 디스플레이 장치로 구현되는 경우, 출력부(110)는 디스플레이 또는 스피커일 수 있다.
컨텐츠 처리장치(100)가 셋톱 박스와 같은 디스플레이 장치의 외부 장치로 구현되는 경우, 디스플레이 장치로 특정의 통신 방식으로 컨텐츠를 전송할 수 있는 구성으로서 구현될 수 있다. 이 경우, 출력부(110)와 통신부(120)는 별개의 구성이 아니다.
통신부(110)는 다양한 외부 장치와 통신을 수행하기 위한 구성이다. 통신부(110)는 와이파이칩, 블루투스 칩, 무선 통신 칩 등 다양한 통신칩을 포함할 수 있다. 와이파이 칩 및 블루투스 칩은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. 그 밖에 통신부(110)는 NFC(Near Field Communication) 방식으로 동작하는 NFC 칩을 더 포함할 수 있다.
특히, 통신부(110)는 컨텐츠로부터 추출된 제1 특징 정보를 서버(200)로 전송하며, 서버(200)로부터 제1 특징 정보에 대응되는 매칭 정보를 수신할 수 있다.
구체적으로, 서버(200)에선 컨텐츠 처리장치(100)로부터 수신된 제1 특징 정보와 일치되거나 유사도가 기 설정된 임계치보다 높은 제1 특징 정보를 서버(200)의 데이터베이스로부터 검색한다. 예컨대, 컨텐츠 처리장치(100)로부터 수신된 제1 특징정보가 비디오 특징정보이면, 서버(200)는 수신된 비디오 특징정보에 일치되거나 유사도가 기설정된 임계치보다 높은 비디오 특징정보를 데이터 베이스로부터 검색한다. 검색이 되면, 서버(200)는 검색된 비디오 특징정보에 대응되는 컨텐츠 정보와 검색된 비디오 특징정보에 대응되는 오디오 특징정보를 매칭정보로서 컨텐츠 처리장치(100)에 전송한다. 만약, 검색된 비디오 특징정보에 대응되는 부가정보가 존재한다면, 부가정보도 함께 매칭 정보로서 컨텐츠 처리장치로 전송한다.
또 다른 예로, 컨텐츠 처리장치(100)로부터 수신된 제1 특징정보가 오디오 특징정보이면, 서버(200)는 수신된 오디오 특징정보에 일치되거나 유사도가 기설정된 임계치보다 높은 오디오 특징정보를 데이터 베이스로부터 검색한다. 검색이 되면, 서버(200)는 검색된 오디오 특징정보에 대응되는 컨텐츠 정보와 검색된 오디오 특징정보에 대응되는 비디오 특징정보를 매칭정보로서 컨텐츠 처리장치(100)에 전송한다. 만약, 검색된 오디오 특징정보에 대응되는 부가정보가 존재한다면, 부가정보도 함께 매칭 정보로서 컨텐츠 처리장치로 전송한다.
다시 말해, 통신부(120)를 통해 수신되는 매칭 정보는, 서버(200)로 전송된 제1 특징정보에 대응되는 '컨텐츠 정보, 제2 특징정보 및 (선택적으로)부가정보'를 포함할 수 있다.
여기서 컨텐츠 정보는 서버(200)로 전송된 제1 특징정보에 대응되는 컨텐츠 에 대한 정보이다. 구체적인 예로, 컨텐츠가 라이브 방송인 경우에는 채널별 EPG 메타데이터이며, VoD/OTT 등과 같은 컨텐츠나 커스텀 컨텐츠(custom content)의 경우에는 미리 기록된 컨텐츠에 대한 정보일 수 있다. 그리고 부가 정보는 광고 정보, 컨텐츠 추천 정보, 또는 의견 수렴 정보 등을 포함할 수 있다.
프로세서(130)는 컨텐츠 처리장치(100)의 전반적인 동작을 제어하기 위한 구성이다. 구체적으로, 프로세서(130)는 컨텐츠 처리 장치(100)의 저장부(미도시)에 저장된 각종 프로그램을 이용하여 컨텐츠 처리장치(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(130)는 CPU, 램(RAM), 롬(ROM), 시스템 버스를 포함할 수 있다. 여기서, 롬은 시스템 부팅을 위한 명령어 세트가 저장되는 구성이고, CPU는 롬에 저장된 명령어에 따라 컨텐츠 처리장치(100)의 저장부에 저장된 운영체제를 램에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU는 저장부에 저장된 각종 애플리케이션을 램에 복사하고, 실행시켜 각종 동작을 수행할 수 있다. 이상에서는 프로세서(130)가 하나의 CPU만을 포함하는 것으로 설명하였지만, 구현시에는 복수의 CPU(또는 DSP, SoC 등)으로 구현될 수 있다.
특히, 프로세서(130)는 출력 중인 컨텐츠로부터 제1 특징정보 및 제1 특징정보와 다른 종류의 제2 특징정보를 추출할 수 있다. 프로세서(130)는 컨텐츠로부터 특징정보를 다음과 같은 방식으로 추출할 수 있다.
일 예로, 프로세서(130)는 컨텐츠를 구성하는 오디오 신호를 일정 시간 간격으로 분할하고, 각 시간 간격에 포함되는 주파수들의 신호의 크기를 계산한다. 그리고 인접한 주파수 구간의 신호들 간의 크기 차를 구하여 주파수 기울기를 계산하고, 기울기가 양수인 경우 1로, 음수인 경우 0으로 양자화함으로써 오디오 특징정보를 추출할 수 있다.
또 다른 예로, 프로세서(130)는 컨텐츠를 구성하는 한 영상 프레임 내의 특정 좌표 및 일정한 기준에 의한 그 좌표의 방향 값의 크기들을 포함하는 특징점을 추출한다. 그리고 방향 값이 큰 순서대로 몇 개의 특징점이 선택된다. 선택된 특징점들 간의 일정한 관계를 설정하면 하나의 영상 프레임에 대한 비디오 특징정보가 추출될 수 있다. 상술한 예들 이외에도 다양한 핑거프린트 추출 알고리즘이 제1 특징정보 및 제2 특징정보를 추출하는데 이용될 수 있다.
그리고, 프로세서(130)는 컨텐츠로부터 추출된 제1 특징정보와 제2 특징정보 중 제1 특징정보를 서버(200)로 전송하도록 통신부(120)를 제어할 수 있다.
그리고, 서버(200)로부터 전송한 제1 특징정보에 대응되는 하나의 매칭 정보가 수신될 수 있고, 복수의 매칭 정보가 수신될 수도 있다.
복수의 매칭 정보가 수신되는 경우, 프로세서(130)는 복수의 매칭 정보 중 컨텐츠로부터 추출된 제2 특징정보에 대응되는 매칭 정보를 선별할 수 있다. 여기서, 제1 특징정보가 비디오 특징정보이면, 제2 특징 정보는 오디오 특징정보이고, 제1 특징정보가 오디오 특징정보이면, 제2 특징 정보는 비디오 특징정보이다.
구체적으로, 복수의 매칭 정보 각각엔 제2 특징 정보가 포함되어 있고, 프로세서(130)는 미리 추출된 제2 특징정보와, 복수의 매칭 정보 각각에 포함되어 있는 제2 특징 정보를 비교하여, 미리 추출된 제2 특징정보와 일치되거나, 유사도가 기 설정된 임계치보다 높은 제2 특징정보를 포함한 매칭 정보를 선별한다.
복수의 매칭 정보가 수신되는 경우는 다음과 같은 경우가 있을 수 있다. 예컨대, 동일한 화면을 보여주지만 방송하는 언어가 다른 컨텐츠가 여러 개인 경우가 있을 수 있다. 구체적인 예로, 월드컵 라이브 방송을 두 개의 채널에서 제공하는데 하나는 영어, 다른 하나는 스페인어로 방송하는 경우가 있을 수 있다. 이에 대해선 이하 도 4를 참고하여 좀 더 자세히 설명하도록 한다.
도 4는 컨텐츠 처리장치로 복수의 매칭 정보가 수신되는 일 예를 설명하기 위한 도면이다.
도 4를 참고하면, 서버(200)엔 영어로 방송되는 축구경기 컨텐츠의 특징정보 데이터 베이스 및 스페인어로 방송되는 축구경기 컨텐츠의 특징정보 데이터베이스가 존재하고, 컨텐츠 처리장치(100)에선 영어로 방송되는 축구경기 컨텐츠가 출력되고, 어느 한 장면에서 비디오 특징정보(41)와 오디오 특징정보(42)가 추출된다. 그리고 컨텐츠 처리장치는 추출된 비디오 특징정보(41)를 서버(200)로 전송한다.
서버(200)는 수신한 비디오 특징정보(41)에 대응되는 비디오 특징정보를 영어로 방송되는 축구경기 컨텐츠의 특징정보 데이터 베이스에서 찾을 수 있고, 스페인어로 방송되는 축구경기 컨텐츠의 특징정보 데이터베이스에서도 찾을 수 있다. 따라서, 서버(200)는 두 개의 매칭 정보(43, 44)를 컨텐츠 처리장치(100)로 전송한다. 이중 하나는 영어로 방송되는 축구경기 컨텐츠에 대응되는 매칭 정보(43)이고, 다른 하나는 스페인어로 방송되는 축구경기 컨텐츠에 대응되는 매칭 정보(44)일 것이다.
그리고 컨텐츠 처리장치(100)는 수신된 복수의 매칭 정보(43, 44) 중 미리 추출해 놓은 오디오 특징정보(42)와 대응되는 매칭 정보(43)를 선별함으로써 컨텐츠를 인식할 수 있다.
이와 같이, 영상을 동일하지만 오디오는 다른 컨텐츠들을 식별하는 경우에 있어서, 비디오 특징정보만 이용한다면 복수의 매칭 정보가 얻어져 어떤 컨텐츠의 장면인지 알 수 없지만, 상술한 것과 같이 컨텐츠 처리장치(100)가 비디오 특징정보를 서버(200)로 전송하고, 수신된 복수의 매칭 정보를 오디오 특징정보로 필터링한다면, 어떤 컨텐츠의 장면인지 알 수 있게 되는것이다.
복수의 매칭 정보가 수신되는 또 다른 예로, 유사한 장면을 계속 보여주지만 대화 내용이 계속 변하는 경우가 있을 수 있다. 본 경우를 도 5를 통해 좀 더 자세히 설명하도록 한다.
도 5는 컨텐츠 처리장치로 복수의 매칭 정보가 수신되는 또 다른 예를 설명하기 위한 도면이다.
도 5를 참고하면, 컨텐츠 처리장치(100)에선 토크쇼 컨텐츠가 출력되고 있고, 시간 t1 일 때와 t2일 때 출력되는 장면은 동일하지만, 출연진이 대화하고 있는 주제는 다르다. 그리고 서버(200)에는 상기 토크쇼 컨텐츠의 특징정보 데이터베이스가 존재한다.
시간 t1일 때 장면(510)에서 비디오 특징정보(51)와 오디오 특징정보(52)가 추출된다. 그리고 추출된 비디오 특징정보(51)는 서버(200)로 전송된다.
서버(200)는 수신한 비디오 특징정보(51)에 대응되는 특징정보를 상기 토크쇼 컨텐츠의 특징정보 데이터 베이스에서 복수 개 찾을 수 있다. 따라서, 서버는 복수의 매칭 정보(53, 54)를 컨텐츠 처리장치(100)로 전송한다. 이 중 하나는 시간 t1의 장면에 대응되는 매칭 정보(53)이고, 다른 하나는 시간 t2의 장면에 대응되는 매칭 정보(54)일 것이다.
그리고 컨텐츠 처리장치(100)는 수신된 복수의 매칭 정보(53, 54) 중 미리 추출해 놓은 오디오 특징정보(52)와 대응되는 매칭 정보(53)를 선별함으로써 컨텐츠를 인식할 수 있다.
마찬가지로, 시간 t2일 때 장면(520)에서 비디오 특징정보(55)와 오디오 특징정보(56)가 추출된다. 그리고 추출된 비디오 특징정보(55)는 서버(200)로 전송된다.
서버(200)는 수신한 비디오 특징정보(55)에 대응되는 특징정보를 상기 토크쇼 컨텐츠의 특징정보 데이터 베이스에서 복수 개 찾을 수 있다. 따라서, 서버는 복수의 매칭 정보(53, 54)를 컨텐츠 처리장치(100)로 전송한다. 이 중 하나는 시간 t1의 장면에 대응되는 매칭 정보(53)이고, 다른 하나는 시간 t2의 장면에 대응되는 매칭 정보(54)일 것이다.
그리고 컨텐츠 처리장치(100)는 수신된 복수의 매칭 정보(53, 54) 중 미리 추출해 놓은 오디오 특징정보(56)와 대응되는 매칭 정보(54)를 선별함으로써 컨텐츠를 인식할 수 있다.
이와 같이, 영상은 변하지 않는데 오디오는 변하고 있는 경우에 있어서, 비디오 특징정보만 이용한다면 복수의 매칭 정보가 얻어져 그 컨텐츠의 어떤 장면인지 알 수 없지만, 상술한 것과 같이 컨텐츠 처리장치(100)가 비디오 특징정보를 서버(200)로 전송하고, 수신된 복수의 매칭 정보를 오디오 특징정보로 필터링한다면, 그 컨텐츠의 어떤 장면인지 알 수 있게 되는 것이다.
한편, 도 4 및 도 5를 통해 설명한 실시 예들에선 비디오 특징정보가 서버(200)로 보내지고, 컨텐츠 처리장치(100)가 오디오 특징정보로 복수의 매칭 정보들에 대한 선별 작업을 수행하는 것으로 설명하였으나, 반대로, 오디오 특징정보가 서버(200)로 보내지고, 컨텐츠 처리장치(100)가 비디오 특징정보로 복수의 매칭 정보들에 대한 선별 작업을 수행하는 것도 가능하다. 이에 대해선 이하 도 6a 내지 도 6b를 참고하여 좀 더 자세히 설명하도록 한다.
도 6a 내지 도 6b는 컨텐츠 처리 장치로 복수의 매칭 정보가 수신되는 또 다른 예를 설명하기 위한 도면이다.
도 6a을 참고하면, 컨텐츠 처리장치(100)에선 대통령 연설을 생중계하는 CBS 뉴스 컨텐츠가 출력되고 있다. 그리고 도 6b을 참고하면, 컨텐츠 처리장치(100)에선 대통령 연설을 생중계하는 NBC 뉴스 컨텐츠가 출력되고 있다. 즉, 도 6a 와 도 6b에서 출력되는 오디오는 동일하지만, 영상은 다르다.
그리고, 서버(200)에는 CBS 뉴스 컨텐츠의 특징 정보 데이터 베이스 및 NBC 뉴스 컨텐츠의 특징 정보 데이터 베이스가 존재한다.
도 6a에 도시된 것과 같이, CBS 뉴스 컨텐츠의 어느 한 장면(610)에서 비디오 특징 정보(61)와 오디오 특징 정보(62)가 추출되고, 추출된 오디오 특징 정보(62)가 서버(200)로 전송된다. 서버(200)는 수신한 오디오 특징 정보(62)에 대응되는 오디오 특징정보를 CBS 뉴스 컨텐츠의 특징 정보 데이터 베이스에서 찾을 수 있고, NBC 뉴스 컨텐츠의 특징 정보 데이터 베이스에서도 찾을 수 있다. 따라서, 서버(200)는 두개의 매칭 정보(63, 64)를 컨텐츠 처리장치(100)로 전송한다. 이중 하나는 CBS 뉴스 컨텐츠에 대응되는 매칭 정보(63)이고, 다른 하나는 NBC 뉴스 컨텐츠에 대응되는 매칭 정보(64)이다.
그리고 컨텐츠 처리장치(100)는 수신된 복수의 매칭 정보(63, 64) 중 미리 추출해 놓은 비디오 특징정보(61)와 대응되는 매칭 정보(63)를 선별함으로써 컨텐츠를 인식할 수 있다.
마찬가지로, 도 6b에 도시된 것과 같이, NBC 뉴스 컨텐츠의 어느 한 장면(620)에서 비디오 특징 정보(65)와 오디오 특징 정보(66)가 추출되고, 추출된 오디오 특징 정보(66)가 서버(200)로 전송된다. 서버(200)는 수신한 오디오 특징 정보(66)에 대응되는 오디오 특징정보를 CBS 뉴스 컨텐츠의 특징 정보 데이터 베이스에서 찾을 수 있고, NBC 뉴스 컨텐츠의 특징 정보 데이터 베이스에서도 찾을 수 있다. 따라서, 서버(200)는 두개의 매칭 정보(63, 64)를 컨텐츠 처리장치(100)로 전송한다. 이중 하나는 CBS 뉴스 컨텐츠에 대응되는 매칭 정보(63)이고, 다른 하나는 NBC 뉴스 컨텐츠에 대응되는 매칭 정보(64)이다.
그리고 컨텐츠 처리장치(100)는 수신된 복수의 매칭 정보(63, 64) 중 미리 추출해 놓은 비디오 특징정보(65)와 대응되는 매칭 정보(64)를 선별함으로써 컨텐츠를 인식할 수 있다.
이와 같이, 오디오는 서로 동일하지만 영상은 서로 다른 컨텐츠들을 오디오 특징정보만 이용한다면, 복수의 매칭 정보가 얻어져 어떤 컨텐츠의 장면인지 알 수 없지만, 상술한 것과 같이 컨텐츠 처리장치(100)가 오디오 특징정보를 서버(200)로 전송하고, 수신된 복수의 매칭 정보를 비디오 특징정보로 필터링한다면, 어떤 컨텐츠의 장면인지 알 수 있게 되는 것이다.
한편, 프로세서(130)는 상술한 것과 같은 동작에 따라 선별된 매칭 정보에 포함된 컨텐츠 정보 및/또는 부가 정보를 이용하여 다양한 동작을 수행할 수 있다.
일 예로, 프로세서(130)는 선별된 매칭 정보에 포함된 부가 정보를 출력하도록 출력부(110)를 제어할 수 있다. 부가 정보는 광고 정보, 컨텐츠 추천 정보, 의견 수렴 정보 등과 같은 인식된 컨텐츠와 연관된 정보일 수 있다.
광고 정보는 인식된 컨텐츠와 연관된 광고 정보로서, 예컨대, 컨텐츠가 특정 상품을 광고하는 컨텐츠이면, 광고 정보는 그 특정 상품을 판매하는 가게에 대한 정보를 포함할 수 있다. 그리고 컨텐츠 추천 정보는, 인식된 컨텐츠와 연관되는 컨텐츠에 대한 추천 정보로서, 예컨대, 인식된 컨텐츠가 특정 배우가 출연한 영화 컨텐츠이면, 컨텐츠 추천 정보는 그 특정 배우가 출연한 다른 영화에 대한 정보 일 수 있다. 예컨대, 컨텐츠 추천 정보는 해당 배우가 출연한 다른 영화가 방영되고 있는 채널 등에 대한 정보를 포함할 수 있다. 그리고 의견 수렴 정보는 인식된 컨텐츠에 대하여 시청자의 의견을 수렴하기 위한 정보로, 예컨대, 인식된 컨텐츠가 요리 경연 컨텐츠이면, 의견 수렴 정보는 요리 경연에 참가한 참가자들 중 어떤 참가자가 우승할 것인지를 시청자에게 문의하는 팝업창을 표시하기 위한 정보일 수 있다. 부가 정보 출력의 일 예를 도 7에 도시하였다.
도 7은 본 개시의 일 실시 예에 따라 컨텐츠 처리장치(100)에 의해 출력되는 부가정보를 설명하기 위한 도면이다.
도 7을 참고하면, 컨텐츠 처리 장치(100)에선 휴대용 디바이스를 광고하는 광고 컨텐츠의 한 장면(710)이 출력되고 있다. 컨텐츠 처리 장치(100)는 상술한 것과 같은 방식으로 상기 광고 컨텐츠의 한 장면(710)을 인식할 수 있고, 인식된 장면(710)과 함께 부가정보(711)를 출력할 수 있다. 부가 정보(711)는 현재 출력되고 있는 광고의 휴대용 디바이스를 어디서 구매할 수 있는지를 표시한다.
이상과 실시 예에 따르면, 특정 상품이 표시되는 타이밍에 부가 정보가 함께 표시되므로, 그 상품에 대한 광고효과는 극대화될 수 있을 것이다. 한편, 부가 정보가 적절한 타이밍에 표시될 수 있게 하기 위하여, 컨텐츠 처리장치(100)는 서버(200)로부터 수신된 부가정보 출력 시간정보를 활용할 수 있다. 이에 대해선 도 9를 참고하여 좀 더 자세히 설명하도록 한다.
한편, 또 다른 실시 예에 따르면, 프로세서(130)는 선별된 매칭 정보에 포함된 컨텐츠 정보를 컨텐츠 인식 정보로서 서버(200)로 전송할 수 있고, 서버(200)는 수신된 컨텐츠 인식 정보에 기초하여, 컨텐츠 처리장치(100)로부터 후속적으로 수신되는 특징 정보에 대한 검색 동작을 수행할 수 있다. 본 실시 예에 대해선 이하 도 8을 참고하여 좀 더 구체적으로 설명하도록 한다.
도 8은 본 개시의 일 실시 예에 따른 컨텐츠 처리장치(100)와 서버(200) 간의 통신을 설명하기 위한 시퀀스도이다.
도 8을 참고하면, 먼저, 컨텐츠 처리장치(100)는 출력중인 컨텐츠로부터 제1 특징 정보와 제2 특징 정보를 추출한다(S810).
그리고 컨텐츠 처리장치(100)는 추출된 제1 특징정보를 서버(200)로 전송한다(S815). 그리고 서버(200)는 수신한 제1 특징정보에 매칭되는 제1 특징정보가 서버(200)의 데이터 베이스에 있는지 검색한다(S820).
그리고, 서버(200)는 검색 결과로서 매칭 정보를 컨텐츠 처리장치(100)로 전송한다(S825). 컨텐츠 처리장치(100)는, 수신한 매칭 정보가 복수 개인지 판단한다(S830). 즉, 컨텐츠 처리장치(100)는 멀티 매치(multi-match)가 발생하였는지 판단한다.
판단 결과, 하나의 매칭 정보만 수신된 경우라면, 즉 멀티 매치가 발생하지 않은 경우라면, 수신된 매칭 정보에 기초하여 서비스를 실행한다(S840). 그러나, 판단 결과, 복수의 매칭 정보가 수신된 경우라면, 즉 멀티 매치가 발생한 경우라면, S810 단계에서 추출된 제2 특징정보로 매칭을 수행하여, 수신된 복수의 매칭 정보 중 제2 특징정보에 대응되는 매칭 정보를 선별한다(S835). 그리고, 선별된 매칭 정보에 기초하여 서비스를 실행한다(S840).
여기서 서비스의 실행이란, 도 7에서 설명한 것처럼, 선별된 매칭 정보에 포함되어 있는 부가 정보를 출력하는 서비스의 실행이거나, 선별된 매칭 정보를 컨텐츠 인식정보로 저장하고, 컨텐츠 인식 정보를 시청데이터 수집서버로 전송하는 서비스의 실행일 수 있다.
그리고 컨텐츠 처리장치(100)는 선별된 매칭 정보를 컨텐츠 인식정보로서 서버(100)에 전송하고(S845), 서버(100)는 수신된 컨텐츠 인식정보를 저장해 둔다(S850). 이 경우, 컨텐츠 인식정보로서 서버(100)에 전달되는 정보는 S835 단계에서 이용된 제2 특징정보일 수 있다. 한편, 도 8에선 컨텐츠 인식 정보가 별도로 전송되는 것으로 도시하였으나, S860단계에서 제1 특징 정보와 함께 전송될 수도 있다.
그리고, 수신된 컨텐츠 인식정보에 기초하여 서버(100)는 현재 컨텐츠 처리 장치(100)에서 출력중인 컨텐츠가 무엇인지 인식할 수 있다. 따라서, 서버(200)는 모든 컨텐츠를 검색범위로 하여 매칭을 수행할 필요 없이, 수신된 컨텐츠 인식정보에 대응되는 검색 범위에서만 매칭을 수행한다.
즉, 컨텐츠 처리 장치에서 제1 특징정보와 제2 특징정보가 추출되고(S855), 추출된 제1 특징정보가 서버로 전송되면(S860), 서버는 컨텐츠 인식 정보에 대응된 검색범위에서만 수신된 제1 특징정보에 매칭되는 제1 특징정보가 서버(200)의 데이터 베이스에 있는지 검색한다(S865). 그리고 서버(200)는 검색 결과를 매칭 정보로서 컨텐츠 처리장치(100)에 전송하고(S865), 그 이후로는 상술한 S830, S835 단계 등이 반복된다.
본 실시 예에 따르면, 서버(200)에서 수행되는 검색의 범위가 좁혀질 수 있으므로, 서버(200)는 신속하게 검색 결과를 컨텐츠 처리장치(100)로 제공할 수 있으며, 또한, 멀티 매치의 발생 가능성이 더 낮아질 수 있다는 효과가 있다.
한편, 본 실시 예는, 컨텐츠 처리장치(100)가 컨텐츠 인식 정보를 서버(200)로 전송한 이후에도 동일한 컨텐츠를 출력하고 있을 가능성이 크다는 것에 기초한 것이나, 만약, 컨텐츠 처리장치(100)에서 컨텐츠가 변경되게 되면, 서버(200)는 다시 검색 범위를 모든 컨텐츠의 범위로 확장하여야 한다.
따라서, 이를 위해, 컨텐츠 처리장치(100)는 컨텐츠가 변경되는 이벤트가 발생하면, 이를 서버(200)로 즉각 통지할 수 있다. 이 경우, 컨텐츠 처리장치(100)는 컨텐츠가 변경되는 이벤트가 발생하는 시점에 특징 정보 추출동작을 수행하고, 추출된 특징 정보를 포함한, 컨텐츠 변경을 알리는 정보를 서버(200)로 전송할 수 있다. 따라서, 서버(200)는 컨텐츠가 변경되었음을 알 수 있으므로 검색 범위를 모든 컨텐츠 범위로 확장하고, 수신된 특징 정보로 검색을 수행한다.
한편, 프로세서(130)는 컨텐츠의 매 프레임마다 특징 정보 추출동작을 수행할 수 있으나, 특정 이벤트 발생의 경우에만 특징 정보 추출 동작을 수행할 수도 있다.
예를 들어, 상술한 것처럼 컨텐츠가 변경되는 이벤트가 발생할 경우, 프로세서(130)는 현재 출력 중인 컨텐츠로부터 제1 특징정보 및 제2 특징정보를 추출할 수 있다. 컨텐츠가 변경되는 이벤트는, 컨텐츠를 제공하는 소스가 변경되는 이벤트 및 채널이 변경되는 이벤트를 포함할 수 있다. 예컨대, 컨텐츠를 제공하는 소스가 변경되는 이벤트는 외부 입력 전환 명령이 수신되었는지 여부에 기초하여 판단될 수 있고, 채널이 변경되는 이벤트는 채널 변경 명령이 수신되었는지 여부에 기초하여 판단될 수 있다. 이와 같은 명령들은 리모컨과 같은 원격제어장치로부터 컨텐츠 처리장치(100)로 수신될 수 있다.
또 다른 예로, 프로세서(130)는 기 설정된 주기가 도래하는 이벤트가 발생할 경우에 현재 출력 중인 컨텐츠로부터 제1 특징정보 및 제2 특징정보를 추출할 수 있다. 주기가 짧을수록 컨텐츠 인식 정확도가 높으나, 데이터 처리비용이 높아지므로, 적절한 주기로 설정될 필요가 있다.
도 9는 본 개시의 일 실시 예에 따른 컨텐츠 처리장치(100)의 부가정보 표시를 설명하기 위한 도면이다.
도 9를 참고하면, time line은 시간의 흐름을 나타내는 것이고, 컨텐츠 처리장치(100)에서 컨텐츠가 출력되고 있는 도중, Ti 시간에 프로세서(130)는 컨텐츠로부터 비디오 특징정보(VFP1) 및 오디오 특징정보(AFP1)를 추출한다(S910).
그리고, 프로세서(130)는 통신부(120)를 통해 추출된 비디오 특징정보(VFP1)를 전송한다(S920). 이에 대한 응답으로, 서버(200)로부터 복수의 매칭정보(930-1 내지 930-n)가 수신될 수 있다(S930).
복수의 매칭정보(930-1 내지 930-n) 각각엔 오디오 특징정보(AFP1, AFPn), 부가 정보(부가정보1, 부가정보2) 및 시간정보(시간 정보(t1), 시간정보 (tn))이 포함되어 있을 수 있다. 시간정보는 부가 정보가 출력될 타이밍을 알려주는 정보이다. 한편, 모든 매칭 정보에 오디오 특징정보가 포함되어 있지 않을 수도 있다. 예를 들어, 오디오의 특성이 묵음 또는 식별이 어려운 경우라면, 매칭 정보엔 오디오 핑거프린트가 포함되어 있지 않을 수 있고 대신에, 이를 나타내는 기 설정된 메세지가 포함되어 있을 수 있다.
또 한편, 복수의 매칭정보(930-1 내지 930-n)에는 컨텐츠 처리장치(100)에서 추출된 VFP1에 대한 정보 또는 VFP1가 추출된 시간에 대한 정보가 포함되어 있을 수 있고, 이를 참고하여 컨텐츠 처리장치(100)는 수신된 복수의 매칭정보(930-1 내지 930-n)가 언제 출력된 컨텐츠로부터 추출된 특징정보에 대한 응답인지 알 수 있다.
프로세서(130)는 복수의 매칭정보(930-1 내지 930-n) 중 추출 단계(S910)에서 추출된 오디오 특징정보(AFP1)와 일치되는 특징정보를 가진 매칭정보(930-1)의 시간정보(t1)를 활용하여 부가 정보1 가 출력될 타이밍을 결정할 수 있다. 구체적으로, 비디오 특징정보(VFP1) 및 오디오 특징정보(AFP1)가 추출된 시점인 Ti에 시간정보(t1)를 가산한 Ti+t1 시점에 부가 정보1 를 출력한다(S940). 즉, 컨텐츠 처리장치(100)는 Ti+t1 시점에 표시할 부가정보 1을 미리 수신해 둠으로써, Ti+t1 시점에 정확하게 부가정보 1를 출력할 수 있다.
따라서, 상기와 같은 실시 예에 따르면 서버(200)로부터 수신한 시간 정보에 기초하여 컨텐츠 처리장치(100)에서 컨텐츠의 특정 장면에 어울리는 부가 정보가 그 특정 장면이 출력되는 정확한 타이밍에 함께 출력될 수 있다는 효과를 얻을 수 있다.
도 10은 본 개시의 일 실시 예에 따른 컨텐츠 처리장치의 컨텐츠 처리방법을 설명하기 위한 흐름도이다.
도 10을 참고하면, 먼저 컨텐츠 처리장치는 컨텐츠를 출력한다(S1010). 컨텐츠는 다양한 소스로부터 제공될 수 있다. 예컨대, 방송국으로부터 제공되는 방송 컨텐츠, 외부 입력으로부터 제공되는 외부 입력 컨텐츠일 수 있다.
그리고 컨텐츠 처리장치는 컨텐츠로부터 제1 특징정보 및 제1 특징정보와 다른 종류의 제2 특징정보를 추출한다(S1020). 여기서 추출되는 제1 특징정보 및 제2 특징정보는 컨텐츠의 특정 장면(또는 프래임)의 영상과 사운드로부터 추출되는 특징정보이다. 특징정보는 그 특정 장면 고유의 정보인 핑거프린트일 수 있다.
그리고, 컨텐츠 처리장치는 추출된 제1 특징정보를 서버로 전송한다(S1030). 구체적으로, 컨텐츠 처리장치는 제1 특징정보를 포함하는 ACR 질의 요청메시지를 서버로 전송한다. 이 경우, ACR 질의 요청메시지를 전송하는 빈도는 컨텐츠마다 다를 수 있다. 예컨대, 삽입될 부가 정보가 많은 컨텐츠인 경우엔 질의 빈도를 높게 하고, 삽입될 부가 정보가 상대적으로 적은 컨텐츠인 경우엔 질의 빈도를 낮게 할 수 있다.
여기서 서버는 ACR 서버, 핑거프린트 서버로 명명될 수도 있다. 서버는 ACR 질의 요청 메시지 내의 제1 특징정보를 ACR DB에서 조회하여 제1 특징정보에 해당하는 컨텐츠를 식별하고, 식별한 컨텐츠에 대한 ACR 질의 응답 메시지를 컨텐츠 처리장치에 전송할 수 있다. 여기서 ACR 질의 응답 메시지는 매칭 정보라고 명명될 수 있다.
즉, 컨텐츠 처리장치는 제1 특징 정보 전송에 대한 응답으로 제1 특징정보에 대응되는 복수의 매칭정보를 수신한다(S1040).
그리고 컨텐츠 처리장치는 복수의 매칭 정보 중 컨텐츠로부터 추출된 제2 특징정보에 대응되는 매칭 정보를 출력한다(S1050). 구체적으로, 컨텐츠 처리장치는 제1 특징 정보와 제2 특징 정보를 추출하고, 추출된 제2 특징 정보를 저장해둔 뒤, 서버로부터 복수의 매칭정보가 수신된 경우에 저장해둔 제2 특징 정보로 복수의 매칭 정보 중 하나의 매칭 정보를 선별하는 것이다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 발명에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서(130) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
도 11은 본 개시의 일 실시 예에 따른 서버의 구성을 설명하기 위한 블록도이다.
도 11을 참조하면, 서버(200)는 통신부(210) 및 프로세서(220)를 포함한다.
통신부(210)는 다양한 외부 장치와 통신을 수행하기 위한 구성이다. 통신부(210)는 와이파이칩, 블루투스 칩, 무선 통신 칩 등 다양한 통신칩을 포함할 수 있다. 와이파이 칩 및 블루투스 칩은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. 그 밖에 통신부(110)는 NFC(Near Field Communication) 방식으로 동작하는 NFC 칩을 더 포함할 수 있다.
특히, 통신부(210)는 컨텐츠 처리장치(100)로부터 특징정보를 수신하고, 이에 대한 응답인 매칭 정보를 컨텐츠 처리장치(100)로 전송할 수 있다. 또한, 통신부(210)는 컨텐츠 처리장치(100)로부터 컨텐츠 인식정보를 수신할 수 있다.
통신부(210)는 컨텐츠 처리장치(100)뿐만 아니라 다양한 외부 장치와 통신할 수 있다. 예컨대, 서버(200)는 이벤트 서버, 광고 서버, 캡쳐 서버, EPG 메타데이터 서버 등 다양한 서버로부터 수신한 다양한 정보를 이용할 수 있다. 이에 대해선 이하 도 12를 참고하여 좀 더 자세히 설명하도록 한다. 또는, 서버(200) 자체가 상기와 같은 다양한 외부 장치들의 기능을 수행할 수 있는 장치로 구현될 수도 있다.
프로세서(220)는 서버(200)의 전반적인 동작을 제어하기 위한 구성이다. 구체적으로, 프로세서(220)는 서버(200)의 저장부(미도시)에 저장된 각종 프로그램을 이용하여 서버(200)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(220)는 CPU, 램(RAM), 롬(ROM), 시스템 버스를 포함할 수 있다. 여기서, 롬은 시스템 부팅을 위한 명령어 세트가 저장되는 구성이고, CPU는 롬에 저장된 명령어에 따라 서버(200)의 저장부에 저장된 운영체제를 램에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU는 저장부에 저장된 각종 애플리케이션을 램에 복사하고, 실행시켜 각종 동작을 수행할 수 있다. 이상에서는 프로세서(220)가 하나의 CPU만을 포함하는 것으로 설명하였지만, 구현시에는 복수의 CPU(또는 DSP, SoC 등)으로 구현될 수 있다.
특히, 프로세서(220)는 컨텐츠 처리장치(100)로부터 수신된 제1 특징정보에 매칭되는 제1 특징정보가 복수 개 검색되면, 검색된 복수의 제1 특징정보 각각에 대응되는 복수의 매칭 정보 및 검색된 복수의 제1 특징정보 각각에 대응되는 복수의 제2 특징정보를 컨텐츠 처리장치(100)로 전송하도록 통신부(110)를 제어할 수 있다.
이 경우, 제1 특징정보가 비디오 특징정보이면 제2 특징정보는 오디오 특징정보이고, 제1 특징정보가 오디오 특징정보이면 제2 특징정보는 비디오 특징정보이다.
여기서 매칭 정보는 부가 정보를 포함하고, 부가 정보는, 컨텐츠에 연관된 광고 정보, 채널 추천 정보, 및 의견 수렴 정보 중 적어도 하나를 포함할 수 있다. 서버(200)는 광고 정보, 채널 추천 정보, 및 의견 수렴 정보 등을, 광고 정보 제공 서버, 채널 추천 정보 제공 서버, 의견 수렴 정보 제공 서버 등 다양한 외부 서버로부터 수신하여 컨텐츠 처리장치(100)로 제공하여 줄 수 있다.
한편, 프로세서(220)는 컨텐츠 처리장치(100)로부터 컨텐츠 인식정보가 수신되면, 컨텐츠 인식정보 수신 이후에 컨텐츠 처리장치로부터 수신되는 제1 특징정보에 대해선 수신된 컨텐츠 인식정보에 대응되는 검색범위 내에서 검색을 수행할 수 있다.
구체적으로, 컨텐츠 인식정보를 통해 현재 컨텐츠 처리장치(100)에서 출력되고 있는 컨텐츠가 무엇인지 인식할 수 있다. 따라서, 서버(200)는 컨텐츠 인식정보 수신 이후로 컨텐츠 처리장치(100)로부터 수신되는 특징정보들에 대해선 서버(200)의 데이터 베이스 전 범위에 대해서 조회할 필요없이, 인식된 컨텐츠의 검색 범위 내에서만 조회하면 된다.
따라서, 본 실시 예에 따르면, 컨텐츠 인식 속도가 향상될 수 있다. 또한, 멀티 매치의 발생 가능성이 더 낮아질 수 있다는 효과가 있다.
다만, 컨텐츠 처리장치(100)에서 컨텐츠가 변경되었는데도 서버(200)에선 기존에 인식된 컨텐츠 범위에서만 특징정보를 조회하는 것을 방지하기 위해, 컨텐츠 처리장치(100)는 컨텐츠가 변경되는 이벤트가 발생하면 이를 즉각 서버(200)로 통지한다.
한편, 프로세서(220)는 컨텐츠 처리장치(100)로부터 수신된 제1 특징정보에 매칭되는 제1 특징정보가 한 개 검색되면, 검색된 한 개의 제1 특징정보에 대응되는 매칭 정보를 시청데이터 수집 서버로 전송하도록 통신부(210)를 제어할 수 있다. 또한, 상술한 컨텐츠 인식정보가 컨텐츠 처리장치(100)로부터 수신되는 경우에도 프로세서(100)는 수신한 컨텐츠 인식정보를 시청데이터 수집 서버로 전송하도록 통신부(210)를 제어할 수 있다.
본 실시 예에 따르면, 컨텐츠 처리장치(100)의 사용자가 시청한 컨텐츠에 대한 시청데이터를 얻을 수 있고, 이와 같은 시청데이터는 광고목적, 사용자 맞춤 컨텐츠를 제공하기 위한 목적, 미디어 다양성 판단과 같은 공공 정책 목적 등 다양한 목적으로 활용될 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 발명에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서(220) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 이상에선 서버(200)가 제1 특징정보만을 제공받는 것으로 설명하였으나, 또 다른 실시 예에 따르면, 서버(200)는 제1 특징정보 및 제2 특징정보를 모두 제공받아 컨텐츠 인식동작을 수행할 수 있다. 본 실시 예에 대해선 이하 도 12를 참고하여 설명하도록 한다.
도 12는 본 개시의 또 다른 실시 예에 따른 컨텐츠 처리장치(100)와 서버(200) 간의 통신을 설명하기 위한 시퀀스도이다.
도 12를 참고하면, 먼저, 컨텐츠 처리장치(100)는 출력중인 컨텐츠로부터 제1 특징 정보와 제2 특징 정보를 추출한다(S1210).
그리고 컨텐츠 처리장치(100)는 추출된 제1 특징정보 및 제2 특징정보를 서버(200)로 전송한다(S1220).
그리고 서버(200)는 수신한 제1 특징정보에 매칭되는 제1 특징정보가 서버(200)의 데이터 베이스에 있는지 검색한다(S1230). 검색 결과, 복수 개가 검색되면, 즉 멀티 매치가 발생한 것으로 판단되면(S1240), 복수의 제1 특징 정보 중에서, 제2 특징 정보에 매칭되는 제2 특징정보에 대응되는 제1 특징정보가 있는지 검색한다(S1260). 즉, 제2 특징정보로 검색 결과를 필터링하는 것이다. 따라서, 오디오 특징정보와 비디오 특징정보가 모두 사용되어 컨텐츠를 인식하므로, 실제 컨텐츠 처리장치(100)에서 출력중인 컨텐츠를 정확히 인식할 수 있다.
그리고 서버(200)는 멀티 매치가 발생하지 않아 하나의 검색 결과만이 도출되면, 그 검색결과를 매칭 정보로서 컨텐츠 처리장치(100)로 전송한다(S1250). 그리고, 서버(200)는 멀티 매치 발생 이후 필터링된 하나의 매칭 정보를 컨텐츠 처리장치(100)로 전송한다(S1270).
컨텐츠 처리장치(100)는 수신한 매칭 정보에 기초하여 서비스를 실행한다(S1280).
여기서 서비스의 실행이란, 도 7에서 설명한 것처럼, 매칭 정보에 포함되어 있는 부가 정보를 출력하는 서비스의 실행이거나, 매칭 정보를 컨텐츠 인식정보로 저장하고, 컨텐츠 인식 정보를 시청데이터 수집서버로 전송하는 서비스의 실행일 수 있다.
도 13은 본 개시의 또 다른 실시 예에 따른 정보제공시스템을 설명하기 위한 도면이다. 본 실시 예에선 핑거프린트가 특징정보로서 이용된다.
도 13을 참고하면, 정보제공시스템은 컨텐츠 처리장치(100'), 매칭 서버(200'), 이벤트 서버(400), EPG 메타데이터 서버(500) 및 캡쳐 서버(600)를 포함한다.
컨텐츠 처리장치(100')는 튜너 입력 또는 외부입력에서 받은 멀티미디어 컨텐츠 신호에서 오디오(Audio) 또는 비디오(Video)를 캡쳐하는 캡쳐부(104), 핑거프린트를 추출하는 핑거프린트 추출부(103), 매칭 서버(200')와 통신을 수행하는 통신부(105)를 포함한다.
핑거프린트 추출부(103)는 핑거프린트를 추출할 때 비디오 핑거프린트와 오디오 핑거프린트를 동시에 추출하며, 추출된 오디오 핑거프린트는 참조 데이터베이스(102)에 저장된다.
캡쳐 서버(600)는 컨텐츠로부터 핑거프린트를 추출하는 서버이다. 구체적으로 라이브 방송 튜너 뱅크 또는 파일/스트리밍의 컨텐츠를 캡쳐하여 핑거프린트를 추출할 수 있다.
EPG 메타데이터 서버(500)는 EPG 메타데이터 정보를 제공하는 서버이고, 이벤트 서버(400)는 Overlay 또는 컨텐츠 연동 서비스에 관한 이벤트를 제공하는 서버이다. 즉, 상술한 실시 예들에서 설명한 부가 정보를 제공할 수 있는 서버이다.
그리고 매칭 서버(200')는, 캡쳐 서버(600), EPG 메타데이터 서버(500), 이벤트 서버(400) 등으로부터 제공된 정보들을 취합하여 저장하고 있으면서 컨텐츠 처리장치(100')로부터 핑거프린트가 전달되면 일치하는 핑거프린트를 찾아 관련 컨텐츠 정보를 제공하는 서버이다.
매칭 서버(200')는 오디오 핑거프린트와 비디오 핑거프린트가 모두 저장되는 데이터 베이스(201)가 존재한다. 매칭 서버(200')는 비디오 핑거프린트를 이용한 비디오 매칭 시에 멀티 매치(multi-match)가 발생한 경우, 멀티 매치 각각에 결과에 해당하는 오디오 핑거프린트까지 컨텐츠 처리장치(100')에 제공할 수 있다. 구체적으로, 도 13에 도시한 것처럼, 멀티 매치 결과 1 내지 n 각각은 컨텐츠 정보를 포함한다.
이 경우, 멀티 매치 결과에는 이벤트 정보 또는 오디오 핑거프린트는 포함되어 있거나, 포함되어 있지 않을 수 있다. 예를 들어, 오디오의 특성이 묵음 또는 식별이 어려운 경우라면, 멀티 매치 결과에는 오디오 핑거프린트가 포함되어 있지 않을 수 있고 대신에, 이를 나타내는 기 설정된 메세지가 포함되어 있을 수 있다. 또는, 오디오 핑거프린트 대신에 EPG 메타데이터가 컨텐츠 처리장치(100')로 제공될 수도 있다.
그리고 싱글 매치 결과에선 오디오 핑거프린트는 포함되지 않을 수 있다.
컨텐츠 처리장치(100')의 매칭부(101)는 멀티 매치가 발생한 경우에 매칭 서버(200')로부터 전달된 오디오 핑거프린트들과 이전에 참조 데이터베이스(102)에 저장된 오디오 핑거프린트를 비교하는 로컬 오디오 매칭(Local Audio Matching) 기능을 수행한다.
이벤트 관리부(106)는 이벤트를 실행을 위한 정보를 서비스 실행부(107)에 전달할 수 있다. 구체적으로, 이벤트 정보, 이벤트 정보가 출력될 시간에 대한 정보가 전달될 수 있다. 서비스 실행부(107)는 이벤트 정보를 컨텐츠와 함께 표시하는 등의 서비스를 제공할 수 있다.
한편, 컨텐츠 처리장치(100')가 TV인 경우, 이러한 서비스는 TV에서 실행될 수도 있지만, 컨텐츠 처리장치(100')와 네트워크로 연결된 타 장치, 예컨대 스마트폰과 같은 모바일 장치에서 실행될 수도 있다.
도 14는 도 13에서 설명한 정보제공시스템을 동작 처리 흐름을 좀 더 자세히 설명하기 위한 흐름도이다.
도 14를 참고하면, 매칭 서버(200')에서는 하나 또는 복수 개의 컨텐츠 소스로부터 오디오나 비디오 하나만의 핑거프린트를 추출하는 것이 아니라 오디오와 비디오 모두에서 동시에 핑거프린트들을 추출하여 저장한다[S1]. 이 핑거프린트들에는 컨텐츠의 정보가 태깅된다[S2]. 컨텐츠 정보란 라이브 방송의 경우에는 채널별 EPG 메타데이터가 되며, VoD/OTT 등의 컨텐츠나 커스텀 컨텐츠의 경우에는 기록된 컨텐츠에 대한 정보이다.
그리고, 컨텐츠 처리장치(100')로부터 비디오 핑거프린트를 사용한 쿼리(query)가 발생할 경우, 저장된 비디오 핑거프린트들을 검색하여 매치되는 핑거프린트를 찾는다[S3]. 그런데 여러 개의 핑거프린트들이 멀티 매치된 경우에는 비디오 핑거프린트와 연결된 오디오 핑거프린트를 멀티 매치 결과에 추가하여 컨텐츠 처리장치에 전송한다[S4]. 이 경우, 검색 과정은 인덱싱(indexing)을 하여 해시(hash) 정보로 빠른 검색을 수행할 수도 있고, 핑거 프린트 자체를 검색할 수도 있다.
한편, 모든 멀티 매치 결과에 오디오 핑거프린트가 포함될 수도 있고, 일부 멀티 매치 결과에만 오디오 핑거프린트가 포함되어 있을 수도 있다.
컨텐츠 처리장치(100')로 전달되는 데이터에는, 과거에 컨텐츠 처리장치(100')에서 비디오 핑거프린트와 함께 전달한 링크 정보(시간 또는 인덱스)가 오디오 핑거프린트와 함께 포함되어 있을 수 있다.
한편, 컨텐츠 처리장치(100')로 전달되는 오디오 핑거프린트들은 비디오 매칭된 비디오 핑거프린트의 시간 또는 인덱스 대응되는 오디오 핑거프린트만을 포함할 수도 있고, 추가적으로, 상기 비디오 핑거프린트의 시간으로부터 기 설정된 범위 내의 시간에 대응되는 오디오 핑거프린트도 포함하고 있을 수 있다.
컨텐츠 처리장치(100')에서도 비디오 또는 오디오를 캡쳐하고[T1], 비디오와 오디오로부터 동시에 핑거프린트를 추출한다[T2]. 그리고 컨텐츠 처리장치(100')는 매칭 서버(200')로 비디오 핑거프린트를 전송하고, 이와 더불어 오디오 핑거프린트는 컨텐츠 처리장치(100') 내에 있는 참조 데이터베이스에 저장된다[T3]. 한편, 동일 컨텐츠 장면에서 추출된 오디오 핑거프린트와 비디오 핑거프린트는 시간 정보 또는 링크 인덱스(link index)를 통해 서로 연결되며, 이 시간 정보 또는 링크 인덱스는 매칭 서버(200')로 전송되고, 컨텐츠 처리장치 내 참조 데이터베이스에 보관된다[T3].
그리고 매칭 서버(200')에선 컨텐츠 처리장치(100')로부터 수신된 비디오 핑거프린트를 가지고 서버 매칭(비디오 매칭)을 수행한다[S3].
컨텐츠 처리장치(100')는 서버로부터 전송된 메시지에 싱글 매치의 결과만 있거나, 오디오 핑거프린트가 없는 경우에는 이벤트 트리거링[T6]을 하여 서비스를 실행한다[T7]. 즉, 컨텐츠 처리장치(100')는 하나의 결과만 있으면 수신된 컨텐츠 정보를 사용하여 필요한 서비스에 제공한다.
반면에, 멀티 매칭이면서 오디오 핑거프린트가 같이 전달된 경우에는, 컨텐츠 처리장치(100')는 전달받은 복수 개의 오디오 핑거프린트들과 참조 데이터베이스 내 저장된 오디오 핑거프린트들을 비교하는 로컬 오디오 매칭을 수행하고[T5], 일치하는 핑거프린트가 있을 경우 이 정보를 하나의 매칭 결과로 선택하여 컨텐츠 정보 및 이벤트 정보를 사용하게 된다[T6, T7].
참고로, 싱글 매칭으로 선택된 정보는 경우에 따라 다시 시청데이터 수집 서버로 전달될 수 있다.
한편, T6과 T7의 단계는 상황에 따라 일어나거나, 일어나지 않을 수 있는바, 필수적인 과정은 아니다. 예컨대, 인식된 컨텐츠 파트에서 함께 출력할 부가 정보가 없는 경우엔 T6 또는 T7의 단계는 일어나지 않을 수 있다.
한편, 상술한 것과 같이 비디오 매칭과 오디오 매칭을 동시에 사용하는 하이브리드 매칭(hybrid matching) 방식은 컨텐츠 처리장치(100')에서나 매칭서버(200')에서의 선택에 따라 컨텐츠 처리장치(100')에서 수행되는 오디오 로컬 매칭이 중지될 수 있다.
한편, 이상에서 설명한 실시 예에선, 비디오 매칭은 매칭 서버(200')에서, 오디오 매칭은 컨텐츠 처리장치(100')에서 수행되는 것으로 설명하였으나, 반대로, 오디오 매칭은 서버(200')에서, 비디오 매칭은 컨텐츠 처리장치(100')에서 수행되는 것으로도 구현 가능하다. 이 경우, 컨텐츠 처리장치(100')는 매칭 서버(200')로 비디오 핑거프린트를 보내는 것이 아니라 오디오 핑거프린트를 보낸다. 그리고 매칭 서버(200')는 비디오 핑거프린트를 첨부해 컨텐츠 정보 또는 이벤트 정보를 컨텐츠 처리장치(100')로 보낸다.
또 다른 실시 예에 따른다면, 매칭 서버(200')에서 오디오 매칭과 비디오 매칭이 모두 수행되는 것으로 구현될 수도 있다. 이 경우, 컨텐츠 처리장치(100')는 매칭 서버(200')로 비디오 핑거프린트와 오디오 핑거프린트를 모두 전송하고, 매칭 서버(200')는 수신된 비디오 핑거프린트와 오디오 핑거프린트 중 어느 하나, 예컨대 비디오 핑거프린트로 매칭을 수행한 뒤, 멀티 매칭이 발생한 것으로 판단되면, 오디오 핑거프린트로 멀티 매칭 결과를 필터링함으로써 정확히 컨텐츠를 인식할 수 있다. 즉, 상술한 다른 실시 예들에서 설명한 컨텐츠 처리장치의 멀티 매칭 처리 동작이 매칭 서버(200')에서 이루어지도록 구현하는 것도 가능하다. 그리고, 매칭 서버(200')는 인식된 컨텐츠에 대응되는 부가 정보 등을 컨텐츠 처리장치(100')로 전송할 수 있다.
도 15는 본 개시의 일 실시 예에 따른 서버의 정보제공방법을 설명하기 위한 흐름도이다.
도 15를 참고하면, 서버는 컨텐츠 처리장치로부터 제1 특징정보를 수신한다(S1510). 여기서 제1 특징정보는 비디오 특징정보이거나, 오디오 특징정보이다.
그리고 서버는 수신된 제1 특징정보에 매칭되는 제1 특징정보를 검색한다(S1520). 구체적으로, 서버는 캡쳐 서버(미도시)로부터 제공받은 특징정보들에서 제1 특징정보에 매치되는 특징정보를 검색한다.
그리고 제1 특징정보에 매칭되는 제1 특징정보가 복수 개 검색되었는지 판단하고(S1530), 한 개가 검색되었으면, 그 한 개의 특징 정보에 대응되는 컨텐츠 정보와 및/또는 부가 정보를 포함한 하나의 매칭 정보를 전송한다(S1550).
복수 개가 검색되었으면, 검색된 복수의 제1 특징정보 각각에 대응되는 복수의 매칭 정보 및 검색된 복수의 제1 특징정보에 각각 대응되는 복수의 제2 특징정보를 컨텐츠 처리장치로 전송한다(S1540). 여기서 제2 특징정보는, 제1 특징정보가 비디오 특징정보였으면 오디오 특징정보이고, 제1 특징정보가 오디오 특징정보였으면 비디오 특징정보이다.
이와 같은 본 개시에 따르면 오디오와 비디오의 특징 정보 매칭 방식을 모두 사용하여 인식 가능한 영역이 넓어지며, 이를 통하여, 시청 데이터 수집의 정확도를 향상시킬 수 있고, 컨텐츠와 함께 제공되는 연동 서비스가 가능한 범위 또한 넓어질 수 있다는 효과가 있다.
한편, 상술한 다양한 실시 예들에 따른 방법들은 소프트웨어로 생성되어 전자 장치에 탑재될 수 있다.
일 예로, 출력중인 컨텐츠로부터 제1 특징정보 및 제1 특징정보와 다른 종류의 제2 특징정보를 추출하는 단계, 추출된 제1 특징정보를 서버로 전송하는 단계, 및 서버로부터 상기 전송한 제1 특징정보에 대응되는 복수의 매칭 정보가 수신되면, 복수의 매칭 정보 중 컨텐츠로부터 추출된 제2 특징정보에 대응되는 매칭 정보를 출력하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
또 다른 예로, 컨텐츠 처리장치로부터 제1 특징정보를 수신하는 단계 및 수신된 제1 특징정보에 매칭되는 제1 특징정보가 복수 개 검색되면, 검색된 복수의 제1 특징정보 각각에 대응되는 복수의 매칭 정보 및 상기 검색된 복수의 제1 특징정보 각각에 대응되는 복수의 제2 특징정보를 컨텐츠 처리장치로 전송하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 애플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 본 개시 내용이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 컨텐츠 처리장치 200: 서버

Claims (20)

  1. 컨텐츠를 출력하는 출력부;
    서버와 통신하는 통신부;
    상기 컨텐츠로부터 제1 및 제2 종류의 특징정보를 추출하는 특징정보 추출부; 및
    상기 컨텐츠로부터 추출된 제1 종류의 특징정보를 상기 서버로 전송하도록 상기 통신부를 제어하며, 상기 서버로부터 상기 전송한 제1 종류의 특징정보에 대응되는 복수의 매칭 정보 및 상기 복수의 매칭 정보 각각에 대응되는 복수의 제2 종류의 특징정보가 수신되면, 상기 컨텐츠로부터 추출한 제2 종류의 특징정보와 상기 서버로부터 수신한 복수의 제2 종류의 특징정보를 비교하여 상기 복수의 매칭 정보 중 상기 컨텐츠로부터 추출된 제2 종류의 특징정보에 대응되는 매칭 정보만을 선택하여 출력하도록 상기 출력부를 제어하는 프로세서;를 포함하며,
    상기 제1 종류의 특징정보는,
    비디오 특징정보 또는 오디오 특징정보이고,
    상기 제2 종류의 특징정보는,
    상기 제1 종류의 특징정보가 비디오 특징정보이면 오디오 특징정보이고, 상기 제1 종류의 특징정보가 오디오 특징정보이면 비디오 특징정보인 컨텐츠 처리장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 복수의 매칭 정보는 부가 정보를 포함하고,
    상기 부가 정보는,
    상기 컨텐츠에 연관된 광고 정보, 컨텐츠 추천 정보, 의견 수렴 정보, 및 URL 정보 중 적어도 하나를 포함하는, 컨텐츠 처리장치.
  5. 제1항에 있어서,
    상기 특징정보 추출부는,
    기 설정된 시간 주기가 도래하는 제1 이벤트, 컨텐츠를 제공하는 소스가 변경되는 제2 이벤트 또는 채널이 변경되는 제3 이벤트가 발생하면, 현재 출력중인 컨텐츠로부터 제1 및 제2 종류의 특징정보를 추출하는, 컨텐츠 처리장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 매칭 정보 중 상기 컨텐츠로부터 추출된 제2 종류의 특징정보에 대응되는 매칭 정보를 컨텐츠 인식정보로서 상기 서버로 전송하도록 상기 통신부를 제어하는, 컨텐츠 처리장치.
  7. 서버에 있어서,
    컨텐츠 처리장치로부터 제1 종류의 특징정보를 수신하는 통신부; 및
    상기 수신된 제1 종류의 특징정보에 매칭되는 제1 종류의 특징정보가 복수 개 검색되면, 상기 검색된 복수의 제1 종류의 특징정보 각각에 대응되는 복수의 매칭 정보 및 상기 검색된 복수의 제1 종류의 특징정보 각각에 대응되는 복수의 제2 종류의 특징정보를 상기 컨텐츠 처리장치로 전송하도록 상기 통신부를 제어하는 프로세서;를 포함하며,
    상기 제1 종류의 특징정보는,
    비디오 특징정보 또는 오디오 특징정보이고,
    상기 제2 종류의 특징정보는,
    상기 제1 종류의 특징정보가 비디오 특징정보이면 오디오 특징정보이고, 상기 제1 종류의 특징정보가 오디오 특징정보이면 비디오 특징정보인 서버.
  8. 삭제
  9. 제7항에 있어서,
    상기 복수의 매칭 정보는 부가 정보를 포함하고,
    상기 부가 정보는,
    상기 컨텐츠에 연관된 광고 정보, 컨텐츠 추천 정보, 의견 수렴 정보 및 URL 정보 중 적어도 하나를 포함하는, 서버.
  10. 제7항에 있어서,
    상기 프로세서는,
    상기 컨텐츠 처리장치로부터 컨텐츠 인식정보가 수신되면, 상기 컨텐츠 인식정보 수신 이후에 상기 컨텐츠 처리장치로부터 수신되는 제1 종류의 특징정보에 대해선 상기 수신된 컨텐츠 인식정보에 대응되는 검색범위 내에서 검색을 수행하는, 서버.
  11. 제7항에 있어서,
    상기 프로세서는,
    상기 수신된 제1 종류의 특징정보에 매칭되는 제1 종류의 특징정보가 한 개 검색되면, 상기 검색된 한 개의 제1 종류의 특징정보에 대응되는 매칭 정보를 시청데이터 수집서버로 전송하도록 상기 통신부를 제어하는, 서버.
  12. 정보제공시스템에 있어서,
    컨텐츠로부터 제1 및 제2 종류의 특징정보를 추출하고, 상기 추출된 제1 종류의 특징정보를 서버로 전송하는 디스플레이 장치; 및
    상기 디스플레이 장치로부터 수신된 제1 종류의 특징정보에 대응되는 매칭 정보 및 상기 매칭 정보에 대응되는 제2 종류의 특징정보를 상기 디스플레이 장치로 전송하는 서버;를 포함하고,
    상기 디스플레이 장치는, 상기 서버로부터 복수의 매칭 정보 및 상기 복수의 매칭 정보 각각에 대응되는 복수의 제2 종류의 특징정보가 수신되면, 상기 컨텐츠로부터 추출한 제2 종류의 특징정보와 상기 서버로부터 수신한 복수의 제2 종류의 특징정보를 비교하여 상기 복수의 매칭 정보 중 상기 컨텐츠로부터 추출된 제2 종류의 특징정보에 대응되는 매칭 정보만을 선택하여 표시하며,
    상기 제1 종류의 특징정보는,
    비디오 특징정보 또는 오디오 특징정보이고,
    상기 제2 종류의 특징정보는,
    상기 제1 종류의 특징정보가 비디오 특징정보이면 오디오 특징정보이고, 상기 제1 종류의 특징정보가 오디오 특징정보이면 비디오 특징정보인, 정보제공시스템.
  13. 컨텐츠 처리방법에 있어서,
    컨텐츠를 출력하는 단계;
    상기 컨텐츠로부터 제1 및 제2 종류의 특징정보를 추출하는 단계;
    상기 추출된 제1 종류의 특징정보를 서버로 전송하는 단계;
    상기 서버로부터 상기 전송한 제1 종류의 특징정보에 대응되는 복수의 매칭 정보 및 상기 복수의 매칭 정보 각각에 대응되는 복수의 제2 종류의 특징정보가 수신되면, 상기 컨텐츠로부터 추출한 제2 종류의 특징정보와 상기 서버로부터 수신한 복수의 제2 종류의 특징정보를 비교하여 상기 복수의 매칭 정보 중 상기 컨텐츠로부터 추출된 제2 종류의 특징정보에 대응되는 매칭 정보만을 선택하여 출력하는 단계;를 포함하며,
    상기 제1 종류의 특징정보는,
    비디오 특징정보 또는 오디오 특징정보이고,
    상기 제2 종류의 특징정보는,
    상기 제1 종류의 특징정보가 비디오 특징정보이면 오디오 특징정보이고, 상기 제1 종류의 특징정보가 오디오 특징정보이면 비디오 특징정보인 컨텐츠 처리방법.
  14. 삭제
  15. 삭제
  16. 제13항에 있어서,
    상기 복수의 매칭 정보는 부가 정보를 포함하고,
    상기 부가 정보는,
    상기 컨텐츠에 연관된 광고 정보, 컨텐츠 추천 정보, 의견 수렴 정보, 및 URL 정보 중 적어도 하나를 포함하는, 컨텐츠 처리방법.
  17. 제13항에 있어서,
    상기 추출하는 단계는,
    기 설정된 시간 주기가 도래하는 제1 이벤트, 컨텐츠를 제공하는 소스가 변경되는 제2 이벤트 또는 채널이 변경되는 제3 이벤트가 발생하면, 현재 출력중인 컨텐츠로부터 제1 및 제2 종류의 특징정보를 추출하는, 컨텐츠 처리방법.
  18. 제13항에 있어서,
    상기 복수의 매칭 정보 중 상기 컨텐츠로부터 추출된 제2 종류의 특징정보에 대응되는 매칭 정보를 컨텐츠 인식정보로서 상기 서버로 전송하는 단계;를 더 포함하는, 컨텐츠 처리방법.
  19. 서버의 정보제공방법에 있어서,
    컨텐츠 처리장치로부터 제1 종류의 특징정보를 수신하는 단계;
    상기 수신된 제1 종류의 특징정보에 매칭되는 제1 종류의 특징정보를 검색하는 단계; 및
    상기 수신된 제1 종류의 특징정보에 매칭되는 제1 종류의 특징정보가 복수 개 검색되면, 상기 검색된 복수의 제1 종류의 특징정보 각각에 대응되는 복수의 매칭 정보 및 상기 검색된 복수의 제1 종류의 특징정보에 각각 대응되는 복수의 제2 종류의 특징정보를 상기 컨텐츠 처리장치로 전송하는 단계;를 포함하며,
    상기 제1 종류의 특징정보는,
    비디오 특징정보 또는 오디오 특징정보이고,
    상기 제2 종류의 특징정보는,
    상기 제1 종류의 특징정보가 비디오 특징정보이면 오디오 특징정보이고, 상기 제1 종류의 특징정보가 오디오 특징정보이면 비디오 특징정보인 서버의 정보제공방법.
  20. 제19항에 있어서,
    상기 검색하는 단계는,
    상기 컨텐츠 처리장치로부터 컨텐츠 인식정보가 수신되면, 상기 컨텐츠 인식정보 수신 이후에 상기 컨텐츠 처리장치로부터 수신되는 제1 종류의 특징정보에 대해선 상기 수신된 컨텐츠 인식정보에 대응되는 검색범위 내에서 검색을 수행하는, 서버의 정보제공방법.
KR1020150176288A 2015-12-10 2015-12-10 컨텐츠 처리장치, 그의 컨텐츠 처리방법, 서버, 서버의 정보 제공방법 및 정보제공 시스템 KR101757878B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150176288A KR101757878B1 (ko) 2015-12-10 2015-12-10 컨텐츠 처리장치, 그의 컨텐츠 처리방법, 서버, 서버의 정보 제공방법 및 정보제공 시스템
PCT/KR2016/014199 WO2017099444A1 (en) 2015-12-10 2016-12-06 Content processing apparatus, content processing method thereof, server, information providing method of server and information providing system
CN201680071997.7A CN108370447B (zh) 2015-12-10 2016-12-06 内容处理装置及其内容处理方法、服务器
US15/371,548 US10142679B2 (en) 2015-12-10 2016-12-07 Content processing apparatus, content processing method thereof, server information providing method of server and information providing system
EP16202881.5A EP3179409B1 (en) 2015-12-10 2016-12-08 Content processing apparatus, content processing method thereof, server, information providing method of server and information providing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150176288A KR101757878B1 (ko) 2015-12-10 2015-12-10 컨텐츠 처리장치, 그의 컨텐츠 처리방법, 서버, 서버의 정보 제공방법 및 정보제공 시스템

Publications (2)

Publication Number Publication Date
KR20170069057A KR20170069057A (ko) 2017-06-20
KR101757878B1 true KR101757878B1 (ko) 2017-07-14

Family

ID=57539082

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150176288A KR101757878B1 (ko) 2015-12-10 2015-12-10 컨텐츠 처리장치, 그의 컨텐츠 처리방법, 서버, 서버의 정보 제공방법 및 정보제공 시스템

Country Status (5)

Country Link
US (1) US10142679B2 (ko)
EP (1) EP3179409B1 (ko)
KR (1) KR101757878B1 (ko)
CN (1) CN108370447B (ko)
WO (1) WO2017099444A1 (ko)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2526501A (en) 2013-03-01 2015-11-25 Redowl Analytics Inc Modeling social behavior
KR102560635B1 (ko) * 2015-12-28 2023-07-28 삼성전자주식회사 컨텐트 인식 장치 및 그 동작 방법
US9930406B2 (en) 2016-02-29 2018-03-27 Gracenote, Inc. Media channel identification with video multi-match detection and disambiguation based on audio fingerprint
US10063918B2 (en) 2016-02-29 2018-08-28 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on single-match
US9924222B2 (en) 2016-02-29 2018-03-20 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on location
US20170371963A1 (en) 2016-06-27 2017-12-28 Facebook, Inc. Systems and methods for identifying matching content
KR20180037826A (ko) 2016-10-05 2018-04-13 삼성전자주식회사 디스플레이 장치, 이의 제어 방법 및 정보 제공 시스템
US11888859B2 (en) 2017-05-15 2024-01-30 Forcepoint Llc Associating a security risk persona with a phase of a cyber kill chain
US10999296B2 (en) 2017-05-15 2021-05-04 Forcepoint, LLC Generating adaptive trust profiles using information derived from similarly situated organizations
US10318729B2 (en) 2017-07-26 2019-06-11 Forcepoint, LLC Privacy protection during insider threat monitoring
US11314787B2 (en) 2018-04-18 2022-04-26 Forcepoint, LLC Temporal resolution of an entity
KR102546026B1 (ko) 2018-05-21 2023-06-22 삼성전자주식회사 전자 장치 및 그의 컨텐츠 인식 정보 획득
KR102599951B1 (ko) 2018-06-25 2023-11-09 삼성전자주식회사 전자 장치 및 그의 제어방법
US11436512B2 (en) * 2018-07-12 2022-09-06 Forcepoint, LLC Generating extracted features from an event
US11755584B2 (en) 2018-07-12 2023-09-12 Forcepoint Llc Constructing distributions of interrelated event features
US10949428B2 (en) 2018-07-12 2021-03-16 Forcepoint, LLC Constructing event distributions via a streaming scoring operation
US11810012B2 (en) 2018-07-12 2023-11-07 Forcepoint Llc Identifying event distributions using interrelated events
US11811799B2 (en) 2018-08-31 2023-11-07 Forcepoint Llc Identifying security risks using distributions of characteristic features extracted from a plurality of events
KR102494591B1 (ko) 2018-09-18 2023-02-03 삼성전자주식회사 전자 장치, 그 제어 방법 및 전자 시스템
US11025659B2 (en) 2018-10-23 2021-06-01 Forcepoint, LLC Security system using pseudonyms to anonymously identify entities and corresponding security risk related behaviors
KR20200059060A (ko) * 2018-11-20 2020-05-28 삼성전자주식회사 디스플레이 장치 및 그 동작 방법
KR20200080387A (ko) 2018-12-18 2020-07-07 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US11025354B2 (en) * 2019-07-19 2021-06-01 Ibiquity Digital Corporation Targeted fingerprinting of radio broadcast audio
CN110740358B (zh) * 2019-09-02 2021-11-19 优地网络有限公司 一种观看路径信息的获取方法及装置
KR20210041904A (ko) * 2019-10-08 2021-04-16 삼성전자주식회사 네트워크 연결을 관리하는 전자 장치 및 그의 제어 방법
KR20210051048A (ko) * 2019-10-29 2021-05-10 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20210057354A (ko) * 2019-11-12 2021-05-21 삼성전자주식회사 전자 장치 및 그 제어 방법
US11489862B2 (en) 2020-01-22 2022-11-01 Forcepoint Llc Anticipating future behavior using kill chains
US11630901B2 (en) 2020-02-03 2023-04-18 Forcepoint Llc External trigger induced behavioral analyses
US11836265B2 (en) 2020-03-02 2023-12-05 Forcepoint Llc Type-dependent event deduplication
US11429697B2 (en) 2020-03-02 2022-08-30 Forcepoint, LLC Eventually consistent entity resolution
US11568136B2 (en) 2020-04-15 2023-01-31 Forcepoint Llc Automatically constructing lexicons from unlabeled datasets
US11516206B2 (en) 2020-05-01 2022-11-29 Forcepoint Llc Cybersecurity system having digital certificate reputation system
US11544390B2 (en) 2020-05-05 2023-01-03 Forcepoint Llc Method, system, and apparatus for probabilistic identification of encrypted files
US11895158B2 (en) 2020-05-19 2024-02-06 Forcepoint Llc Cybersecurity system having security policy visualization
US11704387B2 (en) 2020-08-28 2023-07-18 Forcepoint Llc Method and system for fuzzy matching and alias matching for streaming data sets

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6834308B1 (en) 2000-02-17 2004-12-21 Audible Magic Corporation Method and apparatus for identifying media content presented on a media playing device
CA2820574C (en) 2010-11-24 2016-10-25 Lg Electronics Inc. Method of receiving enhanced service and video display device thereof
US9398322B2 (en) * 2011-04-27 2016-07-19 Time Warner Cable Enterprises Llc Multi-lingual audio streaming
US8949872B2 (en) * 2011-12-20 2015-02-03 Yahoo! Inc. Audio fingerprint for content identification
WO2013119082A1 (ko) 2012-02-10 2013-08-15 엘지전자 주식회사 영상 표시 장치 및 그 동작 방법
CN104662925B (zh) 2012-09-12 2018-12-04 Lg电子株式会社 处理交互服务的设备和方法
US9769503B2 (en) 2012-11-14 2017-09-19 Saturn Licensing Llc Information processor, information processing method and program
KR102024168B1 (ko) * 2012-11-27 2019-09-23 삼성전자주식회사 컨텐츠 인식 서버, 단말 장치를 포함하는 컨텐츠 연관 정보 제공 시스템 및 그 제어 방법
US8997164B2 (en) * 2013-01-07 2015-03-31 Gracenote, Inc. Authorizing devices based on identifying content distributor
US9465995B2 (en) * 2013-10-23 2016-10-11 Gracenote, Inc. Identifying video content via color-based fingerprint matching
KR20150104358A (ko) * 2014-03-05 2015-09-15 삼성전자주식회사 서버 장치 및 그의 핑거프린트 전송 방법, 그리고 방송수신장치
KR102166423B1 (ko) * 2014-03-05 2020-10-15 삼성전자주식회사 디스플레이 장치, 서버 장치 및 디스플레이 장치의 이벤트 정보 제공 방법
KR20150107464A (ko) 2014-03-14 2015-09-23 삼성전자주식회사 컨텐츠 처리 장치 및 그 이벤트 제공 방법
KR102155129B1 (ko) * 2014-03-26 2020-09-11 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 제어 방법 및 디스플레이 시스템

Also Published As

Publication number Publication date
US10142679B2 (en) 2018-11-27
CN108370447B (zh) 2021-06-29
US20170171609A1 (en) 2017-06-15
CN108370447A (zh) 2018-08-03
WO2017099444A1 (en) 2017-06-15
EP3179409B1 (en) 2019-02-13
EP3179409A1 (en) 2017-06-14
KR20170069057A (ko) 2017-06-20

Similar Documents

Publication Publication Date Title
KR101757878B1 (ko) 컨텐츠 처리장치, 그의 컨텐츠 처리방법, 서버, 서버의 정보 제공방법 및 정보제공 시스템
US11917242B2 (en) Identification and presentation of content associated with currently playing television programs
KR102053821B1 (ko) 방송 스트림 수신 장치 및 방법
CA2924065C (en) Content based video content segmentation
EP2901372B1 (en) Using digital fingerprints to associate data with a work
US9241195B2 (en) Searching recorded or viewed content
CN110083714B (zh) 用于自动文件检测的对来自基于文件的媒体的特有信息的获取、恢复和匹配
US8559724B2 (en) Apparatus and method for generating additional information about moving picture content
US20170134810A1 (en) Systems and methods for user interaction
US9832413B2 (en) Automated channel detection with one-way control of a channel source
US20170171605A1 (en) Method and Electronic Device for Switching Live Broadcast to On-Demand Unicast
US20130132842A1 (en) Systems and methods for user interaction
KR20200024541A (ko) 동영상 컨텐츠 검색 지원 방법 및 이를 지원하는 서비스 장치
JP2010087658A (ja) 放送コンテンツから時事性のあるキーワードを抽出する放送受信装置及びプログラム
EP3111658B1 (en) Two way control of a set top box using optical character recognition
KR101334127B1 (ko) 클라이언트 단말기를 이용한 동영상 콘텐츠 공유 서비스 제공 시스템 및 방법
US20170347154A1 (en) Video display apparatus and operating method thereof
CN111901629A (zh) 生成、播放视频流的方法和装置
KR20150023492A (ko) 동기화된 영화 요약
JP2017126160A (ja) 情報提供装置、情報提供システム、情報提供方法およびプログラム
Lin Automatic content recognition for the next-generation TV experience
KR20170085237A (ko) 자막 제공 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant