KR20190109577A - 오디오 핑거프린트 기반의 비디오 멀티-매칭 검출 및 명확화를 통한 미디어 채널 식별 - Google Patents

오디오 핑거프린트 기반의 비디오 멀티-매칭 검출 및 명확화를 통한 미디어 채널 식별 Download PDF

Info

Publication number
KR20190109577A
KR20190109577A KR1020197027093A KR20197027093A KR20190109577A KR 20190109577 A KR20190109577 A KR 20190109577A KR 1020197027093 A KR1020197027093 A KR 1020197027093A KR 20197027093 A KR20197027093 A KR 20197027093A KR 20190109577 A KR20190109577 A KR 20190109577A
Authority
KR
South Korea
Prior art keywords
presentation device
media content
media
media presentation
channel
Prior art date
Application number
KR1020197027093A
Other languages
English (en)
Other versions
KR102299754B1 (ko
Inventor
서충원
권영무
이재형
Original Assignee
그레이스노트, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/179,143 external-priority patent/US9924222B2/en
Priority claimed from US15/222,405 external-priority patent/US10063918B2/en
Application filed by 그레이스노트, 인코포레이티드 filed Critical 그레이스노트, 인코포레이티드
Publication of KR20190109577A publication Critical patent/KR20190109577A/ko
Application granted granted Critical
Publication of KR102299754B1 publication Critical patent/KR102299754B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/38—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space
    • H04H60/41—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast space, i.e. broadcast channels, broadcast stations or broadcast areas
    • H04H60/43—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast space, i.e. broadcast channels, broadcast stations or broadcast areas for identifying broadcast channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/58—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of audio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H04N21/4586—Content update operation triggered locally, e.g. by comparing the version of software modules in a DVB carousel to the version stored locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6118—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving cable transmission, e.g. using a cable modem
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

미디어 콘텐츠의 비디오 핑거프린트가 복수의 상이한 채널들과 각각 대응하는 복수의 레퍼런스 비디오 핑거프린트들과 매칭되는 시나리오에서 채널 식별을 명확하게 하는 방법 및 시스템이 개시된다. 이러한 멀티-매칭 상황이 주어지면, 엔티티가 미디어 콘텐츠의 오디오 컴포넌트에 기초하여 모호성을 제거할 수 있으며, 예를 들어 문제의 미디어 콘텐츠의 오디오 핑거프린트가 복수의 채널들 중 단 하나의 것의 오디오 핑거프린트와 매칭되는지를 더 판정함으로써, 그것이 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠가 도달하고 있는 채널임을 확정하는 것에 의하여 모호성을 제거할 수 있다.

Description

오디오 핑거프린트 기반의 비디오 멀티-매칭 검출 및 명확화를 통한 미디어 채널 식별{MEDIA CHANNEL IDENTIFICATION WITH VIDEO MULTI-MATCH DETECTION AND DISAMBIGUATION BASED ON AUDIO FINGERPRINT}
관련 출원들에 대한 참조
본원은 2016년 2월 29일자로 출원된 미국 가출원 제62/301,616호에 우선권을 주장하는, 2016년 6월 10일자로 출원된 미국 특허출원 제15/179,143호 및 2016년 7월 28일자로 출원된 미국 특허출원 제15/222,405호의 일부 계속 출원인, 2016년 8월 31일자로 출원된 미국 특허출원 제15/253,354호에 대한 우선권을 주장한다. 이들 우선권 출원들 각각의 전체 내용은 참조로서 본 명세서에 포함된다. 또한, 미국 특허공개 제2015/0181263호의 전체 내용은 참조로서 본 명세서에 포함된다.
일반적인 미디어 프레젠테이션 디바이스는 비디오 및 오디오 컴포넌트들을 갖는 미디어 콘텐츠를 나타내는 아날로그 또는 디지털 미디어 스트림을 수신하고, 디스플레이 스크린 및 오디오 스피커를 포함하는 사용자 인터페이스를 통해 미디어 콘텐츠를 렌더링 및 출력하도록 동작한다. 이러한 디바이스들의 예들로는 텔레비전, 멀티미디어 프레젠테이션 시스템(예를 들어, 분리된 또는 통합된 비디오 프레젠테이션 및 오디오 프레젠테이션 컴포넌트들을 가짐) 등을 포함하며, 이에 한정되지 않는다.
많은 경우에 있어, 이러한 미디어 프레젠테이션 디바이스는 미디어 콘텐츠의 다수의 개별 채널들에 액세스하여 재생을 위해 주어진 그러한 채널의 미디어 콘텐츠를 미디어 프레젠테이션 디바이스에게 선택적으로 전달할 수 있는 리시버(receiver)(예컨대, 로컬 셋탑 박스 또는 다른 유사한 디바이스 또는 원격 서버)와 통신할 수 있다.
예를 들어, 텔레비전은 케이블 TV 채널 세트에 대한 액세스를 갖는 케이블 TV 셋탑 박스와 통신 가능하게 링크될 수 있고, 이 셋탑 박스는 특정 채널을 선택하는 사용자 입력을 수신하고 나서 응답적으로 선택된 채널로 튜닝하여 그 선택된 채널의 비디오 및 오디오 컴포넌트들을 텔레비전에 출력하도록 구성될 수 있으며, 텔레비전은 사용자에게 프레젠테이션하기 위해 이들 비디오 및 오디오 컴포넌트들을 렌더링하도록 구성될 수 있다. 또한, 다른 예로서, 분리된 또는 통합된 디스플레이 및 라우드스피커 컴포넌트들을 갖는 멀티미디어 프레젠테이션 시스템은 무수히 많은 텔레비전 또는 온라인 스트리밍 미디어 채널들에 액세스하는 컴퓨터, 셋탑 박스 또는 다른 리시버와 통신 가능하게 링크될 수 있으며, 리시버는 특정 채널을 선택하는 사용자 입력을 수신하고 나서, 응답적으로 그 선택된 채널의 수신을 개시하고, 사용자에 대한 프레젠테이션을 위하여 디스플레이에게 채널의 비디오 컴포넌트를 제공하면서 사용자에 대한 프레젠테이션을 위하여 라우드스피커에게 미디어 콘텐츠의 오디오 컴포넌트를 제공하도록 구성될 수 있다.
미디어 프레젠테이션 디바이스가 미디어 콘텐츠를 수신하여 렌더링할 때, 미디어 프레젠테이션 디바이스는 어떤 채널이 미디어 콘텐츠를 전달했는지에 대한 표시를 갖지 않을 수 있다. 그 채널로 선택적으로 튜닝하여 미디어 콘텐츠를 수신하고 이 미디어 콘텐츠를 미디어 프레젠테이션 디바이스에 제공하는 리시버 또는 다른 디바이스는 그러한 정보를 가질 수 있지만, 상기 다른 디바이스로부터 미디어 콘텐츠를 수신하는 미디어 프레젠테이션 디바이스는 그러한 정보를 가지지 못할 수 있다. 예를 들어, 텔레비전이 케이블 TV 셋탑 박스와 커플링되어 있고 사용자가 그 셋탑 박스 상에서 특정 케이블 채널을 선택할 경우, 셋탑 박스는 그에 따라 텔레비전으로 출력되는 미디어 콘텐츠를 수신하는 채널로서, 선택된 채널의 표시를 가질 수 있다. 그러나 텔레비전 자체는 단지 미디어 콘텐츠를 수신하고 렌더링할 수만 있으며 선택된 채널에 대한 표시를 갖지 못할 수 있다.
그러나, 여러 이유들로 인해, 다양한 채널들 중 어느 것이 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 콘텐츠를 전달하는 채널인지를 판정하는 것이 유용할 수 있다. 또한, 채널 선택 디바이스(예를 들어, 리시버 또는 원격 제어 장치)로부터 수신함 없이, 해당 디바이스가 튜닝한 채널의 보고를 행하는 것이 유용할 수 있으며, 가능하게는 채널 선택 디바이스의 개입없이 그렇게 하는 것이 유용할 수 있다. 예를 들어, 미디어 프레젠테이션 디바이스 자체 및/또는 미디어 프레젠테이션 디바이스와 협력하여 작동하는 네트워크 서버가, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는(예를 들어, 이미 렌더링되고 있거나, 현재 렌더링되고 있거나, 또는 렌더링될 대기열에 있는) 미디어 콘텐츠의 평가에 기초하여 채널을 판정하는 것이 유용할 수 있다. 미디어 콘텐츠가 도달하고 있는 채널에 대한 지식이 주어지면, 미디어 프레젠테이션 디바이스, 네트워크 서버 및/또는 다른 엔티티는 그 채널에 키잉되는 하나 이상의 동작들을 수행할 수 있으며, 예를 들어 해당 채널의 미디어 콘텐츠가 재생되고 있는 정도를 판정 및 기록하고, 미디어 콘텐츠의 소정 부분을 다른 콘텐츠(예를 들어, 대체 광고)로 선택적으로 대체하거나, 또는 미디어 콘텐츠와 함께 프레젠테이션하기 위해 미디어 콘텐츠에 채널 특정 콘텐츠를 중첩시키는 것을 수행할 수 있으며, 다른 많은 가능성이 있다.
미디어 콘텐츠가 도달하고 있는 채널을 판정하는 일 방법은 미디어 프레젠테이션 디바이스(또는 가능하게는 보조 디바이스) 및/또는 네트워크 서버가 미디어에 의해 렌더링되고 있는 미디어 콘텐츠의 디지털 핑거프린트를 생성하게 하고, 그 다음, 해당 핑거프린트를 특정 채널들 상에서 제공되는 것으로 알려져 있는 미디어 콘텐츠에 대해 확립된 레퍼런스 핑거프린트 데이터와 비교하게 하는 것이다.
예를 들어, 네트워크 서버 또는 다른 그러한 엔티티는 미디어 프레젠테이션 디바이스에 미디어 콘텐츠를 제공하기 위해 이용 가능한 채널들 각각의 레퍼런스 비디오 핑거프린트를 포함하며(예를 들어, 미디어 프레젠테이션 디바이스에 미디어 콘텐츠를 공급하는 셋탑 박스에 대한 가입 플랜 내의 각 채널들) 각각의 레퍼런스 비디오 핑거프린트를 미디어 콘텐츠가 제공되는 채널에 맵핑하는 레퍼런스 데이터에 대한 액세스를 확립하거나 그렇지 않으면 이것을 가질 수 있다. 미디어 프레젠테이션 디바이스가 소정 미디어 콘텐츠를 수신하여 렌더링할 경우, 미디어 프레젠테이션 디바이스는 해당 미디어 콘텐츠의 비디오 핑거프린트를 생성할 수 있으며, 네트워크 통신 인터페이스를 통하여, 이 생성된 비디오 핑거프린트를 분석을 위해 네트워크 서버에 보고할 수 있다. 네트워크 서버는 보고된 비디오 핑거프린트를 레퍼런스 비디오 핑거프린트 데이터와 비교하여 레퍼런스 비디오 핑거프린트와의 매칭을 찾아내고, 이에 따라 미디어 콘텐츠가 도달하고 있는 채널은, 레퍼런스 데이터가 해당 레퍼런스 비디오 핑거프린트와 맵핑되는 채널인 것으로 판정할 수 있다. 이에 따라 미디어 콘텐츠가 도달하고 있는 채널의 판정 시에, 네트워크 서버는 채널의 표시를 미디어 프레젠테이션 디바이스에게 전달할 수 있으며, 미디어 프레젠테이션 디바이스는 채널 특정 액션을 실행할 수 있다. 대안적으로, 네트워크 서버 자체 또는 다른 엔티티는 판정된 채널에 기초하여 채널 특정 액션을 실행할 수도 있다.
그러나, 불행하게도, 이 프로세스에서 발생할 수 있는 문제는, 동일한 미디어 콘텐츠가 복수의 상이한 채널들 상에서 제공될 수 있으며(동시 또는 상이한 시간에 관계없음), 따라서 미디어 프레젠테이션에 의해 렌더링되고 있는 미디어 콘텐츠의 비디오 핑거프린트는, 그 미디어 콘텐츠가 도달하고 있는 채널과만 상관되는 것이 아닐 수 있다는 것이다. 예를 들어, 스포츠 게임이나 정치적 이벤트가 복수의 상이한 채널들 상에서 동시에 방송되거나, 또는 신디케이트된 텔레비전이나 라디오쇼가 여러 다른 채널들에서 동시에 또는 다른 시간들에서 방송될 수 있다. 이러한 시나리오 또는 다른 시나리오에서, 미디어 프레젠테이션 디바이스가 그러한 미디어 콘텐츠를 프레젠테이션하여 그 미디어 콘텐츠의 비디오 핑거프린트를 생성 및 제공하면, 해당 비디오 핑거프린트는 복수의 레퍼런스 비디오 핑거프린트들에 맵핑될 수가 있으며, 결과적으로 이 채널 식별은 확실하지 않은 것일 수 있다.
이에 대한 구체적인 예로서, 두 상이한 콘텐츠 프로바이더가 각각 별도의 개별 채널을 통해 동일한 스포츠 게임을 방송하고, 광고주가 이 콘텐츠 프로바이더들 중 하나와만 계약함으로써 해당 프로바이더의 게임 방송에 팝업 광고를 프레젠테이션하는 시나리오를 고려해보도록 한다. 이 시나리오에서, 미디어 프레젠테이션 디바이스가 이들 방송 중 하나의 방송을 수신하여 프레젠테이션할 때, 미디어 프레젠테이션 디바이스가 이 방송의 비디오 핑거프린트를 생성하여 네트워크 서버에 제공하면, 네트워크 서버는 이 비디오 핑거프린트가 양쪽 콘텐츠 프로바이더의 게임 방송들과 매칭되기 때문에, 미디어 프레젠테이션 디바이스가 팝업 광고를 프레젠테이션해야 하는지 여부가 불분명한 것으로 판정할 수가 있다.
본 명세서에서는 미디어 콘텐츠의 비디오 핑거프린트 데이터가 복수의 상이한 채널들에 각각 대응하는 복수의 레퍼런스 비디오 핑거프린트들과 매칭되는 시나리오에 있어서, 채널 식별을 명확하게 하는 것을 돕는 방법 및 시스템이 개시된다. 본 개시에 따르면, 네트워크 서버 또는 다른 엔티티가 이러한 멀티-매칭 상황을 검출할 경우, 엔티티는 미디어 콘텐츠의 오디오 컴포넌트에 기초하여 명확화를 수행하게 된다. 특히, 엔티티는 문제의 미디어 콘텐츠의 비디오 핑거프린트가 복수의 상이한 채널들의 레퍼런스 비디오 핑거프린트들과 매칭되는지를 판정함으로써 멀티-매칭 시나리오를 먼저 검출할 수 있다. 검출된 멀티-매칭 시나리오에 직면하여, 엔티티는 문제의 미디어 콘텐츠의 오디오 핑거프린트가 복수의 채널들 중 단 하나의 채널의 오디오 핑거프린트와 매칭되는지에 대한 추가 판정에 기초하여 명확화를 수행하며, 이에 따라 그것이 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어가 도달하고 있는 채널임을 확정함으로써, 채널 특정 액션의 실행을 용이하게 할 수 있다.
실제에 있어서, 이 명확화를 위한 기초를 형성하는 오디오는 미디어 콘텐츠의 언어 트랙일 수 있다. 예를 들어, 복수의 채널이 서로 동일한 비디오 트랙을 가질 수 있지만, 서로 상이한 오디오 트랙들을 가질 수 있으며, 예를 들어 하나의 오디오 트랙이 영어 음성으로 레코딩 또는 더빙되어 있고 다른 오디오 트랙은 스페인어 음성 또는 다른 언어 또는 음성으로 레코딩 또는 더빙되어 있을 수 있다. 이러한 상황은 예를 들어, 동일한 방송이 상이한 채널들에서 제공되지만 그 채널들이 상이한 언어들을 가지고서 다른 언어를 사용하는 사용자들에 의한 수신 및 향유를 가능하게 하는 경우에 발생할 수 있다. 이러한 채널들의 비디오 트랙들에 키잉된 멀티-매칭 상황에 직면할 경우, 이 프로세스를 수행하는 엔티티는, 이 채널들 중의 어느 것이 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 것인지를 판정하기 위한 기초로서, 렌더링되고 있는 미디어 콘텐츠의 오디오 핑거프린트를 사용할 수 있다.
대안적으로 또는 추가적으로, 이러한 명확화를 위한 기초를 형성하는 오디오는, 예를 들어, 배경 음악, 음향 효과 및/또는 다른 오디오 컴포넌트들을 포함하는 다른 형태를 취할 수 있다.
따라서, 오디오 핑거프린트에 기초한 명확화를 통해 판정된 채널에 기초하여 액션을 실행하는 것을 포함하는 방법이 개시된다. 본 방법은, 컴퓨팅 시스템이, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 비디오 핑거프린트가 상이한 각각의 채널에 그 각각이 대응하는 복수의 레퍼런스 비디오 핑거프린트들과 매칭되는지를 판정하는 단계를 포함한다. 또한, 본 방법은, 적어도 비디오 핑거프린트가 상이한 각각의 채널에 그 각각이 대응하는 복수의 레퍼런스 비디오 핑거프린트들과 매칭되는 것으로 판정한 것에 응답하여, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 오디오 핑거프린트가 단 하나의 채널에 대응하는 레퍼런스 오디오 핑거프린트와 매칭된다는 판정에 적어도 부분적으로 기초하여 명확화를 수행하는 단계를 포함하며, 이 명확화는 미디어 프레젠테이션 디바이스가 하나의 채널 상에서 미디어 콘텐츠를 수신하고 있음을 확정하는 것이다. 또한, 본 방법은 미디어 프레젠테이션 디바이스가 하나의 채널 상에서 미디어 콘텐츠를 수신하고 있음을 확정한 것에 기초하여 액션을 실행하는 것을 포함한다.
또한, 네트워크 통신 인터페이스, 프로세싱 유닛, 비일시적 데이터 스토리지, 및 프로세싱 유닛에 의해 다양한 동작들을 수행하도록 실행 가능하고 비일시적 데이터 스토리지에(예컨대, 그 스토리지 상에) 저장된 프로그램 명령어들을 포함하는 시스템이 개시되어있다. 본 동작들은 네트워크 통신 인터페이스를 통해, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 비디오 핑거프린트를 미디어 프레젠테이션 디바이스로부터 수신하는 동작을 포함한다. 또한, 본 동작들은 수신된 비디오 핑거프린트가 복수의 채널들에 대응하는 레퍼런스 비디오 핑거프린트들과 매칭되는지를 판정하는 동작을 포함한다. 또한, 본 동작들은 네트워크 통신 인터페이스를 통해, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 오디오 핑거프린트를 미디어 프레젠테이션 디바이스로부터 수신하는 동작을 포함한다. 그리고 본 동작들은 수신된 오디오 핑거프린트를 사용하여 복수의 채널들 중 어느 것이 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠를 전달하는지를 판정하는 동작을 포함한다. 또한 본 동작들은 판정된 채널에 기초하여 액션을 실행하는 동작을 포함한다.
또한, 본 명세서에서 설명된 바와 같은 다양한 동작들을 수행하기 위해 프로세싱 유닛에 의해 실행 가능한 명령어들이 저장된 비일시적 컴퓨터 판독가능 매체가 개시된다.
이들과 다른 양태들, 이점들, 및 대안들은 첨부된 도면을 적절히 참조하여 다음의 상세한 설명을 읽음으로써 당업자에게 명백해질 것이다. 또한, 본 요약 및 이하에서 제공되는 설명들은 오직 한정이 아닌 예시의 방법에 의해 본 발명을 설명하는 것임을 이해해야한다.
도 1은 다양한 본 발명의 원리들이 적용될 수 있는 예시적인 시스템의 간략 블록도.
도 2는 다양한 본 발명의 원리들의 구현을 용이하게 하기 위해 미디어 프레젠테이션 디바이스가 네트워크 서버와 통신하는 예시적인 네트워크 구성의 간략 블록도.
도 3은 본 발명에 따라 수행될 수 있는 동작들을 나타내는 흐름도.
도 4는 예시적인 네트워크 서버의 간략 블록도.
도 5는 예시적인 미디어 프레젠테이션 디바이스의 간략 블록도.
도면들을 참조하면, 도 1은 다양한 개시된 원리들이 적용될 수 있는 예시적인 시스템의 간략 블록도이다. 그러나, 본 명세서에서 설명되는 이러한 구성과 다른 구성 및 처리들은 다양한 다른 형태를 취할 수 있음을 이해할 것이다. 예를 들어, 요소들 및 동작들은 재정렬, 분산, 복제, 결합, 생략, 추가 또는 수정될 수 있다. 또한, 하나 이상의 엔티티에 의해 수행되는 것으로 여기에서 설명되는 기능들은 하드웨어, 펌웨어, 및/또는 소프트웨어를 통해(예를 들어 프로그램 명령어 등을 실행하는 하나 이상의 처리 유닛들에 의해) 그러한 엔티티들에 의해 및/또는 이들을 대신하여 구현될 수 있음을 이해할 것이다.
도 1에 도시된 바와 같이, 본 예시적인 시스템은 하나 이상의 미디어 콘텐츠 소스(12)(예를 들어, 방송국, 웹 서버 등), 하나 이상의 미디어 콘텐츠 디스트리뷰터(14)(예를 들어, 케이블 프로바이더, 위성 프로바이더, 무선 방송 프로바이더, 웹 애그리게이터 등과 같은 멀티 채널 디스트리뷰터), 하나 이상의 미디어 콘텐츠 리시버(16)(예를 들어, 케이블 리시버, 위성 리시버, 무선 방송 리시버, 컴퓨터 또는 다른 스트리밍 미디어 리시버 등), 및 하나 이상의 클라이언트 또는 미디어 프레젠테이션 디바이스(18)(예를 들어, 텔레비전 또는 다른 디스플레이 디바이스, 라우드스피커 또는 다른 오디오 출력 디바이스 등)를 포함한다.
실제에 있어서, 예를 들어, 미디어 콘텐츠 소스들(12)은 ABC, NBC, CBS, FOX, HBO 및 CNN과 같은 국영 방송국일 수 있고, 미디어 콘텐츠 디스트리뷰터들(14)은 특정 지정된 시장 영역(DMA) 내의 지방 지사들 및/또는 다른 지방 콘텐츠 디스트리뷰터들일 수 있으며, 리시버들(16) 및 미디어 프레젠테이션 디바이스들(18)은 가정이나 사업소와 같은 고객 구내에 위치될 수 있다. 이러한 구성 또는 다른 구성에 따라, 콘텐츠 소스들(12)은 고객 구내의 리시버들(16)에 배포하기 위해 콘텐츠 디스트리뷰터들(14)에 미디어 콘텐츠를 전달할 수 있으며, 이 콘텐츠 디스트리뷰터들은 개별 채널들(예를 들어, 특정 주파들)을 통해 리시버들(16)에게 이 미디어 콘텐츠를 배포할 수 있다. 그 다음, 각각의 리시버는 선택된 채널로 튜닝하고 이 선택된 채널을 통해 도달하는 미디어 콘텐츠를 미디어 프레젠테이션 디바이스(18)로 출력함으로써 사용자 입력 또는 하나 이상의 다른 트리거에 응답할 수 있다. 또한, 미디어 프레젠테이션 디바이스(18)는 미디어 콘텐츠를 수신하고 렌더링할 수 있다(예를 들어, 콘텐츠를 디스플레이하거나 프레젠테이션함).
이러한 구성에서, 미디어 프레젠테이션 디바이스가 이 미디어 콘텐츠를 수신하여 렌더링할 경우, 미디어 프레젠테이션 디바이스는, 미디어 콘텐츠가 도달하는데 이용한 채널, 즉 리시버에 의해 튜닝된 채널의 표시를 갖고 있지 않을 수 있다. 오히려, 미디어 프레젠테이션 디바이스는 단순하게 이 미디어 콘텐츠를 리시버로부터의 미디어 스트림으로써 수신하고 이 수신된 미디어 콘텐츠를 렌더링하도록 구성될 수 있다. 그러나, 본 발명에 따르면, 미디어 프레젠테이션 디바이스는 네트워크 서버와의 통신이 가능하고, 네트워크 서버와 통신하여 채널의 식별을 용이하게 할 수 있기 때문에, 유용한 채널 특정 동작 수행을 용이하게 할 수 있다.
미디어 프레젠테이션 디바이스(18)가 리시버(16)로부터 미디어 콘텐츠의 채널을 수신하고, 사용자에게 프레젠테이션하기 위해 미디어 콘텐츠를 렌더링하도록 구성된다. 이러한 구성에서, 미디어 프레젠테이션 디바이스는, 통합된 또는 분리된 비디오 및 오디오 프레젠테이션 컴포넌트들을 포함하는 텔레비전 또는 다른 시스템과 같은 전술한 타입의 것일 수 있다(예를 들어, 비디오 디스플레이 모듈 및 관련 소프트웨어/하드웨어 그리고 오디오 출력 모듈 및 관련 소프트웨/하드웨어). 또한, 리시버는 미디어 콘텐츠의 다양한 채널 중 임의의 것을 선택적으로 튜닝하여 출력하도록 구성된 케이블 TV 셋탑 박스, 컴퓨터 등과 같은 전술한 타입의 것일 수 있다. 실제에 있어서, 미디어 프레젠테이션 디바이스는 리시버와 하나 이상의 접속(예를 들어, 유선 또는 무선 접속)을 가질 수 있으며, 이에 따라 리시버가 튜닝한 채널의 비디오 및 오디오 컴포넌트들(예를 들어, 비디오 및 오디오 트랙들)을 리시버로부터 용이하게 수신할 수 있다. 또한 그 후에, 미디어 프레젠테이션 디바이스의 비디오 및 오디오 프레젠테이션 컴포넌트들은, 사용자에게 프레젠테이션하기 위해, 리시버로부터 수신되고 있는 비디오 및 오디오를 렌더링하도록 동작할 수 있다.
도 2는 이러한 미디어 프레젠테이션 디바이스(18)가 인터넷과 같은 네트워크(22)를 통해 네트워크 서버(20)와 통신하는 예시적인 네트워크 구성을 도시한 것이다. 실제에 있어서, 미디어 프레젠테이션 디바이스(18)는 고객 구내에 LAN(local area network) 상의 노드로서 배치될 수 있으며, 여기서 미디어 프레젠테이션 디바이스는 LAN에 대하여 할당된 인터넷 프로토콜(IP) 어드레스를 갖고 LAN은 인터넷 상의 IP 어드레스를 가질 수 있다. 또한, 네트워크 서버(20)는 인터넷 상의 IP 어드레스에서 액세스 가능할 수 있다. 이러한 구성으로, 미디어 프레젠테이션 디바이스는 인터넷을 통해 네트워크 서버와 IP 통신을 개시하고 참여하여, 미디어 프레젠테이션 디바이스에 의해 렌더링되는 미디어 콘텐츠의 핑거프린트들을 보고함으로써, 채널 식별 및 관련 동작을 용이하게 할 수 있다.
전술한 바와 같이, 본 발명에 따라 동작하는 네트워크 서버(20) 또는 다른 엔티티는, 적어도 미디어 프레젠테이션 디바이스(18)에 액세스 가능한 각각의 다양한 채널들 상에서 전달되거나 전달되도록 스케줄링되어 있는 미디어 콘텐츠에 대한 레퍼런스 데이터(24)에 대한 액세스를 확립하거나 또는 가질 수 있다. 관계형 데이터베이스 또는 다른 형태로 저장될 수 있는 이 레퍼런스 데이터는, 각 채널에 대한 하나 이상의 레퍼런스 핑거프린트(reference fingerprint)를 포함할 수 있으며, 아마도 채널에 의해 가장 최근에 전달된 미디어 콘텐츠의 레퍼런스 핑거프린트 스트림들을 포함할 수 있다(예를 들어, 가장 최근의 시간 기간을 커버하는 슬라이딩 윈도우 기반). 대안적으로 또는 추가적으로, 레퍼런스 데이터는 특정 채널 상에서 전달되도록 스케줄링되고 및/또는 이용 가능한 각각의 미디어 콘텐츠 프로그램(예를 들어, 텔레비전 방송, 스트리밍 미디어 파일 등)의 하나 이상의 개별 레퍼런스 핑거프린트(예를 들어, 레퍼런스 핑거프린트 스트림)를 포함할 수 있다. 또한, 레퍼런스 데이터는 각각의 레퍼런스 핑거프린트를, 관련 미디어 콘텐츠(즉, 레퍼런스 비디오 및 오디오 핑거프린트들에 의해 고유하게 식별되는 콘텐츠)가 전달되거나 전달될 수 있는 채널에 맵핑할 수 있다.
최적으로는, 예를 들어, 각 채널에 대한 레퍼런스 데이터는 채널의 비디오 컴포넌트의 레퍼런스 비디오 핑거프린트 및 채널의 오디오 컴포넌트의 레퍼런스 오디오 핑거프린트를 포함할 수 있다. 예를 들어, 각 채널에 대해, 레퍼런스 데이터는 데이터 기록과 관련하여 각각의 레퍼런스 비디오 핑거프린트(예를 들어, 레퍼런스 비디오 핑거프린트 스트림) 및 각각의 오디오 핑거프린트(예를 들어, 레퍼런스 오디오 핑거프린트 스트림)를 저장할 수 있다. 그리고, 레퍼런스 데이터는 데이터 기록과 관련하여 관련 채널과의 맵핑을 추가로 포함할 수 있다.
레퍼런스 핑거프린트들을 채널들에 맵핑할 시에, 레퍼런스 데이터는 채널들을 서로 구별하는 것을 돕기 위해, 다양한 속성(attribute)들에 의해 채널들을 특징지을 수 있다. 예를 들어, 리시버 또는 다른 이러한 디바이스가 채널 번호에 의해 선택 가능한 다수의 상이한 채널들을 제공하는 경우, 레퍼런스 데이터는 각각의 채널 번호에 의해 채널들을 특징지을 수 있다. 또한 다른 예로서, 각 채널이 예를 들어 특정 방송국 중의 하나의 콘텐츠와 같은, 특정 콘텐츠 소스의 콘텐츠를 전달하는 경우, 레퍼런스 데이터는 그들 각각의 콘텐츠 소스들의 아이덴티티들에 의해서 채널들을 특징지을 수 있다. 또한, 하나보다 많은 콘텐츠 디스트리뷰터(예를 들어, 다중 채널 디스트리뷰터)가 콘텐츠 소스의 콘텐츠를 배포하는 경우, 레퍼런스 데이터는 그들 각각의 콘텐츠 디스트리뷰터들의 아이덴터티들에 의해서 채널들을 특징지을 수 있다. 실제에 있어서, 레퍼런스 데이터는 각각의 레퍼런스 핑거프린트를 이들 또는 다른 속성들 중 하나 이상의 것과 상관시킬 수 있다.
본 발명에 따라 동작하는 네트워크 서버(20) 또는 다른 엔티티는 다양한 채널들 각각을 통해 도달하는 미디어 콘텐츠(예를 들어, 적어도 미디어 프레젠테이션 디바이스를 서빙하는 리시버에 이용 가능한 다양한 채널들 각각을 통해 도달하는 미디어 콘텐츠)를 분석함으로써 이 레퍼런스 데이터의 일부 또는 전부를 확립할 수 있다. 이것을 용이하게 하기 위해, 도시된 바와 같이, 서버는 리시버가 고객 구내에서 콘텐츠를 수신하도록 구성되는 것과 동일한 방식으로 다양한 채널들을 통해 하나 이상의 미디어 콘텐츠 디스트리뷰터들(14)로부터 미디어 콘텐츠를 수신하도록 구성된 하나 이상의 리시버들(16)을 포함하거나 이들과 상호 연결될 수 있다. 예를 들어, 서버는 하나 이상의 케이블-TV 셋탑 박스, 컴퓨터 또는 기타 미디어 리시버를 포함하거나 이들과 상호 연결될 수 있으며, 또는 하나 이상의 이러한 리시버를 에뮬레이션하도록 구성될 수 있다. 그리고 서버는, (예를 들어, 프레임당 또는 다른 기준으로 해시(hash)를 계산하거나, 그렇지 않으면 미디어 콘텐츠에 고유한 컴포넌트 특징들을 식별, 추출 및 디지털 표현하는) 현재 알려져 있거나 또는 향후에 개발될 임의의 미디어 핑거프린팅 프로세스(들)를 사용하여, 각 채널을 통해 도달하는 각각의 미디어 콘텐츠를 수신 및 분석하여, 각 채널에 대한, 채널의 비디오 컴포넌트의 레퍼런스 비디오 핑거프린트 및 채널의 오디오 컴포넌트의 오디오 핑거프린트 모두를 생성하도록 구성될 수 있다.
실제에 있어서는, 서버가 복수의 그러한 채널들(아마도 모든 채널들)을 통해 동시에 수신하여 병렬적으로 그 채널들에 대한 각각의 핑거프린트들을 분석 및 생성하도록 구성될 수 있거나, 또는 서버가 채널 간에 호핑(hopping)하고, 가능하게는 반복적으로 채널들을 순환하여, 각 채널에 대한 각각의 비디오 및 오디오 핑거프린트들을 분석 및 생성하도록 구성될 수도 있다. 또한, 서버는 실시간으로 이것을 계속 수행하여, 참조용으로 적어도 각 채널에 대한 미디어 콘텐츠의 가장 최근의 시간 윈도우에 대한 각각의 비디오 및 오디오 핑거프린트들을 저장할 수 있다. 그리고 서버는 채널의 특징화(예를 들어, 위에 언급된 바와 같은 속성들)와 관련하여 레퍼런스 데이터에 각 채널의 레퍼런스 핑거프린트들을 기록할 수 있으며, 관련된 미디어 콘텐츠를 수신한 시간을 나타내는 타임스탬프 정보를 기록할 수 있다. 여기서, 서버는, 리시버가 일반적으로 자신이 튜닝한 채널에 대한 지식을 가지는 것과 마찬가지로, 각 채널에 대한 지식(예를 들면, 채널 번호)을 갖는다. 또한, 서버는 이러한 각 채널의 속성들을 명시하는 가이드 정보 또는 다른 그러한 데이터(예를 들어, 콘텐츠 소스 아이덴티티, 콘텐츠 디스트리뷰터 아이덴티티 등)에 액세스할 수 있으며, 이에 따라 서버는 각 레퍼런스 핑거프린트 또는 채널 레코드에 대한 채널 속성들을 각각 판정하고 기록할 수 있다.
대안적으로 또는 추가적으로, 서버는 특정 채널들을 통해 이용 가능하거나 제공되도록 스케줄링되어 있는 미디어 콘텐츠 프로그램들에 대한 비디오 및 오디오 레퍼런스 핑거프린트들을 수신할 수 있으며 또는 확립할 수도 있다. 예를 들어, 다양한 미디어 콘텐츠 프로그램들의 프로바이더들 또는 디스트리뷰터들은 현재 알려져 있거나 또는 향후에 개발될 임의의 미디어 핑거프린팅 프로세스를 사용하여, 미디어 콘텐츠 프로그램들에 대한 레퍼런스 비디오 및 오디오 핑거프린트들을 생성할 수 있으며, 이들 레퍼런스 핑거프린트들을 서버에 제공할 수 있다. 대안적으로, 서버는 미디어 콘텐츠 프로그램들의 복사본들을 미리 수신할 수 있으며, 자체적으로 그러한 레퍼런스 핑거프린트들을 생성할 수 있다. 또한, 서버는 프로그램 가이드 정보로부터, 미디어 콘텐츠 프로그램이 이용 가능하거나 또는 제공되도록 스케줄링되어 있는 채널, 및 가능하게는 미디어 콘텐츠가 제공되는 것으로 스케줄링되어 있는 날짜 및 시간을 수신하거나 판정할 수 있다. 그 다음, 서버는 관련 채널 속성들과 마찬가지로, 미디어 콘텐츠 프로그램이 이용 가능하거나 전달되는 것으로 스케줄링되어 있는 채널과 관련하여, 및 가능하게는 미디어 콘텐츠 프로그램이 제공되는 것으로 스케줄링되어 있는 날짜 및 시간과 관련하여 각각의 미디어 콘텐츠 프로그램의 레퍼런스 핑거프린트들을 레퍼런스 데이터에 기록할 수 있다.
또한, 서버는 일반적으로 채널 식별을 용이하게 하기 위해, 각각의 채널 또는 미디어 콘텐츠 프로그램에 대해, 레퍼런스 오디오 핑거프린트가 아닌, 레퍼런스 비디오 핑거프린트만을 확립할 수 있다. 그리고 나서, 서버는 비디오 멀티-매칭 상황이 이들 채널에 관해 존재한다는 판정에 응답하여 하나 이상의 특정 채널들 각각의 레퍼런스 오디오 핑거프린트를 확립하기 시작하여, 멀티-매칭 상황을 해결하는 것을 도울 수 있다.
이러한 또는 다른 그러한 레퍼런스 데이터가 주어지면, 서버가 미지의 채널을 통해 수신된 미디어 콘텐츠의 핑거프린트를 제공받을 경우, 서버는 현재 알려져 있거나 향후에 개발될 핑거프린트 매칭 프로세스를 사용하여, 이 핑거프린트를 저장된 레퍼런스 핑거프린트들 중 하나와 매칭시킬 수 있으며, 이에 의해 문제의 미디어 콘텐츠는, 매칭 레퍼런스 핑거프린트에 레퍼런스 데이터가 맵핑되는 채널을 통해 도달한 것으로 결론을 내릴 수 있다. 따라서, 서버가 미디어 프레젠테이션 디바이스(18)에 의해 렌더링되고 있는 미디어 콘텐츠의 핑거프린트에 직면할 경우, 서버는 핑거프린트를 레퍼런스 데이터 내의 레퍼런스 핑거프린트들과 비교할 수 있다. 그리고 서버가 매칭 레퍼런스 핑거프린트를 찾아낼 경우, 서버는 이 레퍼런스 데이터가 매칭 레퍼런스 핑거프린트와 맵핑하는 채널을 식별할 수 있으며, 그것이 미디어 프레젠테이션 디바이스가 미디어 콘텐츠를 수신하고 있는 채널인 것으로(즉, 그것은 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠를 전달하는 채널인 것으로) 결론을 내릴 수 있다. 결국, 서버는 식별된 채널을 기반으로 채널 특정 동작을 응답적으로 수행하거나, 또는 하나 이상의 다른 엔티티들로 하여금 식별된 채널을 기반으로 채널 특정 동작을 수행하게 하거나 수행 가능하게 할 수 있다.
실제에 있어서, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 채널의 비디오 핑거프린트는, 종종 기지의(known) 채널들의 레퍼런스 비디오 핑거프린트들과 비교하는 것에 의해, 렌더링되고 있는 채널을 식별하기에 충분한 기준이 될 수 있다. 따라서, 일반적으로, 미디어 프레젠테이션 디바이스(18) 또는 다른 엔티티는 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 채널의 비디오 핑거프린트를 생성하고, 분석을 위해 비디오 핑거프린트를 서버(20)에 전송하도록 구성될 수 있다.
그러나, 본 발명에 의해 다루어지는 바와 같이, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 채널의 비디오 핑거프린트가 다수의 채널과 연관된 다수의 레퍼런스 비디오 핑거프린트와 매칭되는 경우가 있을 수도 있다. 이러한 경우들에 있어서는, 렌더링되고 있는 채널의 오디오 핑거프린트를 기준으로 사용하여 모호성을 제거할 수 있다. 따라서, 일반적으로 또는 이와 같은 비디오 멀티-매칭 상황의 발생에 응답하여, 미디어 프레젠테이션 디바이스 또는 다른 엔티티는 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 채널의 오디오 핑거프린트를 생성하고, 분석을 위해 해당 오디오 핑거프린트를 서버(20)에 전송하도록 구성될 수 있다.
이러한 목적을 위해, 도 2는 미디어 프레젠테이션 디바이스(18)가 예를 들어 하드웨어 및/또는 소프트웨어(프로그래밍된 프로세서) 컴포넌트들로서 제공될 수 있는, 비디오 핑거프린트 생성기(26) 및 오디오 핑거프린트 생성기(28)를 포함할 수 있음을 나타낸다. 비디오 핑거프린트 생성기(26)는 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 디지털 비디오 핑거프린트를 생성하도록 구성될 수 있으며, 오디오 핑거프린트 생성기(28)는 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 디지털 오디오 핑거프린트를 생성하도록 구성될 수 있다. 또한, 이러한 핑거프린트 생성기들은 미디어 프레젠테이션 디바이스가 리시버(16)로부터 미디어 콘텐츠를 수신하고 있을 때 및/또는 미디어 프레젠테이션 디바이스가 프레젠테이션을 위해 미디어 콘텐츠를 처리하고 있을 때 미디어 콘텐츠의 핑거프린트들을 생성하도록 구성될 수 있다. 이와 같이, 핑거프린트 생성기들은 리시버로부터 미디어 프레젠테이션 디바이스에 도달하고 있는 및/또는 미디어 프레젠테이션 디바이스에 의해 프레젠테이션을 위해 처리되고 있는 미디어 콘텐츠의 복사본을 입력으로서 수신할 수 있고, 현재 알려져 있거나 향후에 개발될 임의의 미디어 핑거프린팅 프로세스를 적용하여 미디어 콘텐츠의 핑거프린트들을 생성할 수 있다.
비디오 핑거프린트 생성기(26)는 프레임마다의 기반(예를 들어, 키 프레임마다의 기반) 또는 다른 기준과 같은 지속 기반으로 핑거프린트 스트림으로서 비디오 핑거프린트를 생성하도록 구성될 수 있다. 그리고 미디어 프레젠테이션 디바이스는 분석을 위해 네트워크(22)를 통해 비디오 핑거프린트를 서버(20)로 전송하도록 구성될 수 있다. 예를 들어, 미디어 프레젠테이션 디바이스는 주기적으로 또는 간헐적으로, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 가장 마지막 프레임, 일련의 프레임들 또는 다른 세그먼트 또는 부분을 나타내는 비디오 핑거프린트를 서버에 전송하도록 구성될 수 있다. 특히, 미디어 프레젠테이션 디바이스는 미디어 프레젠테이션 디바이스의 식별자뿐만 아니라 하나 이상의 타임스탬프 및/또는 다른 그러한 데이터와 함께, 가장 마지막 생성된 비디오 핑거프린트를 전달하는 메시지를 생성할 수 있으며, 이 메시지를 서버의 IP 어드레스에 전송할 수 있다. 그리고 이에 따라 서버는 분석을 위해 비디오 핑거프린트를 수신할 수 있다.
대안적으로는, 미디어 프레젠테이션 디바이스가 서버로 전송할 수 있고, 서버가 마찬가지로 지속 기반으로 또는 다른 기준으로 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠에 관한 다양한 데이터를 수신함으로써, 서버 자체가 또는 다른 엔티티가 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 비디오 핑거프린트를 생성할 수 있게 될 수 있다. 예를 들어, 미디어 프레젠테이션 디바이스는 개별 프레임(예를 들어, 스냅샷) 또는 비디오 컴포넌트의 다른 세그먼트들과 같은, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 비디오 컴포넌트의 부분들을 서버로 전송할 수 있다. 그리고 서버는 현재 알려져 있거나 향후에 개발될 임의의 비디오 핑거프린팅 프로세스를 적용하여, 분석을 위해 미디어 콘텐츠의 비디오 핑거프린트를 생성할 수 있다.
전술한 프로세스를 통해, 서버는 현재 알려져 있거나 향후에 개발될 임의의 디지털 비디오 핑거프린트 비교 프로세스를 사용하여, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 비디오 핑거프린트를, 레퍼런스 데이터 내의 레퍼런스 비디오 핑거프린트들과 비교할 수 있다. 그리고 전술한 바와 같이, 서버가 매칭 레퍼런스 비디오 핑거프린트를 찾아낼 경우, 서버는, 레퍼런스 데이터가 매칭 레퍼런스 비디오 핑거프린트와 맵핑하는 채널을 판정할 수 있으며, 이 판정된 채널이, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠를 전달하는 채널인 것으로 결론을 내릴 수 있다.
따라서, 문제의 채널을 판정한 것에 응답하여, 서버는 이 채널의 판정에 기초하여 하나 이상의 채널 특정 동작을 수행하거나 수행되도록 할 수 있다. 특히, 서버 자체가 이 채널 판정에 기초하여 동작을 수행할 수 있거나, 또는 서버가 다른 엔티티(가능하게는 미디어 프레젠테이션 디바이스)에게 신호를 전송함으로써, 이 다른 엔티티가 채널 판정에 기초하여 동작을 수행하게 할 수도 있다.
예를 들어, 서버는 미디어 프레젠테이션 디바이스들에 의해 특정 채널들이 프레젠테이션되고 있는 정도를 측정하기 위해 채널 레이팅 또는 분석 시스템의 일부로서, 미디어 프레젠테이션 디바이스가 해당 특정 채널의 콘텐츠를 프레젠테이션하고 있는 사실을 기록할 수 있다. 예를 들어, 미디어 프레젠테이션 디바이스는 자신이 렌더링하고 있는 미디어 콘텐츠의 비디오 핑거프린트를 서버에 정기적으로(예를 들어, 주기적으로) 보고할 수 있으며, 서버는 본 명세서에서 논의된 바와 같은 프로세스들을 수행하여, 렌더링되고 있는 채널을 판정할 수 있다. 따라서, 채널이 렌더링되고 있는 것으로 서버가 판정할 때마다, 서버는, 채널이 프레젠테이션되고 있는 정도를 나타내는 데이터로서, 렌더링되고 있는 채널의 카운트 또는 다른 통계치에 추가할 수 있다. 또한, 이들 카운트 또는 다른 통계치는, 미디어 프레젠테이션 디바이스마다(디바이스-별 뷰잉 분석), 그 미디어 프레젠테이션 디바이스가 문제의 채널을 프레젠테이션하는 정도를 나타내는 것일 수 있다.
다른 예로서, 서버는 응답적으로 미디어 프레젠테이션 디바이스로 하여금 특히 위에 논의된 바와 같은 팝업 광고, 광고 방송 또는 채널 식별과 같은 부가 콘텐츠를 프레젠테이션하게 할 수 있으며, 가능하게는 미디어 콘텐츠의 하나 이상의 부분들에 대한 대체로서, 및 비디오 및/또는 오디오 콘텐츠로서 프레젠테이션하게 할 수 있다. 예를 들어, 문제의 채널에 대한 지식이 주어질 경우, 서버는 판정된 채널(및 가능하게는 특정 미디어 프레젠테이션 디바이스와 관련된 프로파일 데이터(예를 들어, 디바이스-별 뷰잉 분석)에 더 기초하여)과 특히 관련된 특정 부가 미디어 콘텐츠를 (예를 들어, 서버 데이터 스토리지로부터) 생성 또는 선택할 수 있으며, 미디어 프레젠테이션 디바이스가 리시버로부터 수신하고 있는 미디어 콘텐츠와 함께 프레젠테이션하도록 하기 위해 미디어 프레젠테이션 디바이스에 부가 미디어 콘텐츠를 전송할 수 있다. 따라서, 미디어 프레젠테이션 디바이스는 서버로부터 부가 미디어 콘텐츠를 수신하여, 미디어 프레젠테이션 디바이스가 리시버로부터 수신하고 있는 미디어 콘텐츠와 함께 그것을 프레젠테이션할 수 있다.
실제에 있어서, 이 프로세스는, 서버가 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 비디오 핑거프린트를 미디어 프레젠테이션 디바이스로부터 실시간으로 수신하고, 수신된 비디오 핑거프린트가 기지의 채널을 통해 서버에서 동시에 수신하고 있는(또는 같은 시간에 대해 스케줄링된) 미디어 콘텐츠의 레퍼런스 핑거프린트와 매칭되는 것으로 서버가 판정하는 것을 포함할 수 있다.
몇몇 경우들에 있어서는, 미디어 프레젠테이션 디바이스가 미디어 콘텐츠 및 타임스탬프들을 렌더링하여 서버에 비디오 핑거프린트를 전송하는 경우와, 서버가 기지의 채널을 통해 미디어 콘텐츠를 수신하거나 그렇지 않으면 타임스탬프된 레퍼런스 비디오 핑거프린트를 갖는 경우 사이에는 시간 차이가 존재할 수 있다. 서버는 슬라이딩 윈도우(sliding window)를 통해 수신된 비디오 핑거프린트를 레퍼런스 비디오 핑거프린트와 비교함으로써, 또는 그 반대의 방법에 의해 이러한 시간 차이를 고려할 수 있다. 또한, 서버는 수신된 비디오 핑거프린트와 레퍼런스 비디오 핑거프린트 간의 판정된 매칭에 응답하여 동작을 수행할 경우 이 시간 차이를 고려할 수 있다. 예를 들어, 미디어 프레젠테이션 디바이스가 미디어 콘텐츠에 대한 서버의 타임스탬프보다 충분히 이전에 그 미디어 콘텐츠를 수신하는 경우(예를 들면, 몇 초 이전에), 서버는 비디오 핑거프린트 매칭을 식별하고 분석 데이터를 기록할 수 있다. 그러나, 그 시간 차이를 검출하는 것에 응답하여, 서버는, 사용자의 관점에서 미디어 프레젠테이션 디바이스가 부가 콘텐츠를 너무 늦게 프레젠테이션하는 상황(예를 들면, 아웃 오브 싱크(out of sync))을 방지하는데 도움을 주기 위해, 미디어 프레젠테이션 디바이스가 관련 부가 콘텐츠를 프레젠테이션하는 것을 중지할 수도 있다. 다른 한편으로, 서버가 충분한 시간 기간 동안 비디오 핑거프린트 매칭을 검출하고 및/또는 매칭 콘텐츠가 계속될 것이라고 판정하면, 서버는 그러한 시간 차이에 직면하더라도 미디어 프레젠테이션 디바이스가 부가 콘텐츠를 프레젠테이션하게 할 수 있다.
임의의 이벤트에 있어서, 이들 또는 다른 이러한 프로세스들을 통해, 네트워크 서버 또는 다른 엔티티는, 미디어 프레젠테이션 디바이스가 문제의 미디어 콘텐츠를 수신하고 있는 채널을 판정할 수 있다. 엔티티가 채널을 판정하고 나면, 엔티티는 이 채널 판정에 기초하여 동작을 수행할 수 있다. 대안적으로는, 엔티티가 다른 엔티티에게(가능하게는, 다시 미디어 프레젠테이션 디바이스에게) 신호를 전송하여, 그 다른 엔티티가 채널 판정에 기초하여 동작을 수행하게 할 수 있다. 다른 예들도 가능하다.
이상 논의된 내용에 따라, 전술한 바와 같이 레퍼런스 데이터에 액세스하는 서버(24) 또는 다른 엔티티는, 가능하게는 레퍼런스 데이터 중에서, 서로 매칭되고 또한 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 비디오 핑거프린트와 매칭되는 각종 레퍼런스 비디오 핑거프린트들을 검출함으로써, 비디오 멀티-매칭 시나리오들을 식별하도록 구성될 수 있다.
일 구현예에서, 예를 들어, 서로 매칭되는 레퍼런스 비디오 핑거프린트들을 찾기 위해 노력함에 있어서, 서버는 현재 알려져 있거나 향후에 개발될 임의의 비디오 핑거프린트 매칭 프로세스를 사용하여 레퍼런스 데이터 내의 비디오 레퍼런스 핑거프린트들의 쌍들을 비교함으로써, 비디오 멀티-매칭 시나리오들의 탐색 시에 레퍼런스 데이터를 정기적으로 분석할 수 있다. 적어도 2개의 레퍼런스 비디오 핑거프린트의 이러한 매칭이 각각 발견될 경우, 서버는 이 레퍼런스 비디오 핑거프린트들을 멀티-매칭 그룹인 것으로 플래그 설정할 수 있다. 이러한 플래그는, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 비디오 핑거프린트가, 플래그가 설정된 멀티-매칭 그룹 내의 레퍼런스 비디오 핑거프린트들 중 임의의 것에 매칭될 경우 잠재적 모호성이 있음을 나타낼 수 있다. 서버는 다양한 방법으로 레퍼런스 비디오 핑거프린트들을 멀티-매칭 그룹인 것으로 플래그 설정할 수 있다. 예를 들어, 서버는 레퍼런스 데이터에 있는 멀티-매칭 그룹의 레퍼런스 비디오 핑거프린트들을 크로스 레퍼런스(cross-reference)하여, 그것들이 멀티-매칭 그룹의 멤버들임을 나타낼 수 있다.
이 구현예에서, 서버가 미디어 프레젠테이션 디바이스로부터, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 비디오 핑거프린트를 수신하고 나서, 이 수신된 비디오 핑거프린트가 레퍼런스 비디오 핑거프린트와 매칭되는 것으로 판정할 경우, 서버는, 멀티-매칭 상황이 존재하는지 여부를 레퍼런스 데이터로부터 용이하게 판정할 수가 있다. 매칭 레퍼런스 비디오 핑거프린트가 멀티-매칭 그룹의 멤버인 것으로 플래그 설정되지 않을 경우, 서버는 단일-매칭 상황(멀티-매칭 상황이 아님)이 존재하는 것으로 결론을 내릴 수 있으며, 이 경우, 위에서 논의된 바와 같이, 서버는 매칭 레퍼런스 핑거프린트와 관련된 채널을 레퍼런스 데이터로부터 용이하게 판정할 수가 있으며, 또한 이것이 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠를 전달하는 채널인 것으로 결론을 내릴 수 있다. 반면에, 매칭 레퍼런스 비디오 핑거프린트가 멀티-매칭 그룹의 멤버인 것으로 플래그 설정될 경우, 서버는 멀티-매칭 상황(단일-매칭 상황이 아님)이 존재하는 것으로 결론을 내릴 수 있으며, 이 경우 서버는 멀티-매칭 그룹의 레퍼런스 비디오 핑거프린트들과 관련된 것들 중에서 문제의 채널을 식별하는데 도움이 되는 명확화 프로세스를 수행해야할 필요가 있을 수 있다.
대안적으로, 다른 구현예에서는, 서버가 미디어 프레젠테이션 디바이스로부터 비디오 핑거프린트를 수신할 때에 비디오 멀티-매칭 그룹을 식별할 수 있다. 예를 들어, 서버가 미디어 프레젠테이션 디바이스로부터 비디오 핑거프린트를 수신할 경우, 서버는 수신된 비디오 핑거프린트를 레퍼런스 데이터 내의 모든 레퍼런스 비디오 핑거프린트들과 비교할 수 있다. 이에 따라, 수신된 비디오 핑거프린트가 레퍼런스 비디오 핑거프린트들 중 하나와만 매칭된다는 것을 서버가 검출할 경우, 서버는 단일-매칭 상황(멀티-매칭 상황이 아님)이 존재하는 것으로 결론을 내릴 수 있으며, 이 경우 서버는 매칭 레퍼런스 핑거프린트와 관련된 채널을, 레퍼런스 데이터로부터 용이하게 판정할 수 있고, 이것이 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠를 전달하는 채널인 것으로 결론을 내릴 수 있다. 반면에, 수신된 비디오 핑거프린트가 둘 이상의 레퍼런스 비디오 핑거프린트들과 매칭된다는 것을 서버가 검출할 경우, 서버는 멀티-매칭 상황(단일-매칭 상황이 아님)이 존재하는 것으로 결론을 내릴 수 있으며, 이 경우 서버는 멀티-매칭 그룹의 레퍼런스 비디오 핑거프린트들과 관련된 것들 중에서 문제의 채널을 식별하는데 도움이 되는 명확화 프로세스(disambiguation process)를 수행해야할 필요가 있을 수 있다.
전술한 프로세스와 유사하게, 2 이상의 레퍼런스 비디오 핑거프린트를 포함하는 멀티-매칭 상황을 검출하는 프로세스는, 2개의 레퍼런스 비디오 핑거프린트가 서로에 대한 시간 지연을 가지고 2개의 상이한 채널을 통해 전달된 동일한 미디어 콘텐츠를 나타내는 경우(즉, 채널들 중의 한쪽 채널을 통한 미디어 콘텐츠가 채널들 중의 다른 쪽 채널을 통한 동일한 미디어 콘텐츠의 프레젠테이션과 관련하여 시간 시프트되는 경우)에도 수행될 수 있음에 유의한다. 핑거프린트 매칭 프로세스는 이러한 시간 시프트를 고려할 수 있으며, 예를 들어 슬라이딩 윈도우를 통해 하나의 비디오 핑거프린트를 다른 비디오 핑거프린트와 비교함으로써, 비디오 핑거프린트들이 서로 매칭되는 경우에는 여전히 매칭된다는 것을 찾아낼 수 있다. 예를 들어, 레퍼런스 데이터 내에서 매칭 레퍼런스 비디오 핑거프린트들을 찾아내는 프로세스는, 서로 매칭되며 서로의 임계 시간 인터벌 내에 있는 각각의 시간들에서 프레젠테이션되거나 및/또는 스케줄링되어 있는 레퍼런스 비디오 핑거프린트들을 탐색하는 것을 포함할 수 있다.
전술한 바와 같이, 이 분석을 수행하는 서버 또는 다른 엔티티가, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 비디오 핑거프린트가 복수의 채널들에 각각 대응하는 복수의 레퍼런스 핑거프린트들과 매칭된다는 것을 검출할 경우, 엔티티는 명확화 프로세스를 적용함으로써 멀티-매칭 그룹과 관련된 채널들 중의 어떤 것이 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠를 전달하는 실제의 채널인지를 판정하는 것을 도울 수 있다.
본 발명에 따르면, 명확화 프로세스는 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 오디오 핑거프린트가 단일의 채널과만 매칭된다는 다른 판정에 기초할 수 있다.
전술한 바와 같이, 이러한 형태의 명확화는, 복수의 채널들이 연관된 오디오와 함께 동일한 비디오를 제공하는 상황 및 채널들 상의 비디오가 대체로 동일하지만 이 채널들이 서로 상이한 오디오 트랙들을 갖는 상황에 적용될 수 있다. 이러한 상황에서, 비디오 멀티-매칭에 직면할 경우, 서버 또는 다른 엔티티는, 모호성을 제거하기 위한 기준으로서 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 오디오 컴포넌트의 오디오 핑거프린트를 사용할 수 있다. 특히, 서버는 미디어 프레젠테이션 디바이스로부터 수신된 오디오 핑거프린트를 비디오 멀티-매칭 그룹과 관련된 채널들의 레퍼런스 오디오 핑거프린트와 비교할 수 있으며, 이에 따라 오디오 핑거프린트가 이들 채널들 중의 하나의 채널의 레퍼런스 오디오 핑거프린트와만 매칭되는 것으로 판정할 수 있으며, 이에 따라 해당 하나의 채널이, 미디어 프레젠테이션에 의해 렌더링되고 있는 미디어 콘텐츠를 전달하는 채널이라는 결론을 지원할 수 있다.
실제에 있어서는 이것을 용이하게 하기 위해, 전술한 바와 같이, 서버는 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 오디오 컴포넌트의 오디오 핑거프린트(예를 들어, 오디오 핑거프린트 스트림)를, 미디어 프레젠테이션 디바이스로부터 정기적으로 수신할 수 있다. 그리고 서버는 다양한 가용 채널들의 레퍼런스 오디오 핑거프린트들(예를 들면, 레퍼런스 오디오 핑거프린트 스트림들)을 포함하는 레퍼런스 데이터를 정기적으로 확립하거나 수신할 수 있다. 따라서, 비디오 멀티-매칭 상황에 직면했을 경우, 서버는 모호성을 제거하기 위해, 미디어 프레젠테이션 디바이스로부터의 오디오 핑거프린트를 멀티-매칭 그룹 멤버들의 오디오 핑거프린트들과 용이하게 비교할 수 있다.
대안적으로는, 전술한 바와 같이, 서버는 미디어 프레젠테이션 디바이스로부터, 오디오 핑거프린트가 아닌, 비디오 핑거프린트만을 정기적으로 수신할 수 있으며, 이 경우, 비디오 멀티-매칭 상황의 검출 시에, 서버는, 모호성을 용이하게 제거하기 위해, 렌더링되고 있는 미디어 콘텐츠의 오디오 핑거프린트를 제공하도록 미디어 프레젠테이션 디바이스에게 요청할 수 있다. 또한, 서버는 각각의 가용 채널의 단 하나의 레퍼런스 비디오 핑거프린트를 정기적으로 생성할 수 있으며, 이 경우, 비디오 멀티-매칭 상황의 검출 시에, 서버는, 모호성을 용이하게 제거하기 위해, 비디오 멀티-매칭 그룹과 관련된 채널들의 오디오 핑거프린트들을 생성하기 시작할 수 있다.
몇몇 경우들에 있어서는, 2개의 상이한 채널들의 오디오 트랙들이 서로 부분적으로만 상이할 수도 있음에 유의한다. 예를 들어, 2개의 채널들이 동일한 배경 음악 및 음향 효과를 포함하는, 서로 동일한 영화 콘텐츠를 제공할 수 있지만, 이 채널들은 서로 다른 언어 트랙들을 가질 수도 있다(예를 들면, 하나는 영어로 되어 있고, 다른 하나는 스페인어로 더빙되어 있음). 이와 같은 부분적인 오디오 트랙 차이들을 고려하기 위해, 서버는 일정 시간 동안 오디오 핑거프린트 비교를 수행할 수 있으며, 비디오 멀티-매칭 시나리오들의 모호성을 제거 및 해결하는데 사용하기 위해 오디오 트랙들 간의 구별점들을 식별하고 지속적으로 추적할 수 있다.
예를 들어, 서버는 일정 시간(예를 들어, 약 60-120초) 동안 미디어 프레젠테이션으로부터 오디오 핑거프린트 스트림을 수신할 수 있으며, 또한 서버는, 오디오 핑거프린트 스트림 중의 하나의 시간 세그먼트가 멀티-매칭 그룹의 복수의 레퍼런스 오디오 핑거프린트들과 매칭되지만, 오디오 핑거프린트 스트림 중의 다른 시간 세그먼트가 레퍼런스 오디오 핑거프린트들 중의 하나와만 매칭되는 것으로 판정할 수 있으며, 이에 따라 매칭 레퍼런스 오디오 핑거프린트들과 관련된 채널이 문제의 채널임을 확정할 수 있다. 미국 특허 출원 제15/222,405호는 이러한 명확화를 수행하기 위한 기준으로서 이전 또는 이후의 핑거프린트 시간 세그먼트를 사용하는 것에 대한 추가 논의를 제공하고 있으며, 이 문헌에 논의되어 있는 원리들은 본 문맥에도 적용될 수 있다.
또한, 서버가 미리 레퍼런스 비디오 핑거프린트들을 평가하고 레퍼런스 데이터 내의 비디오 멀티-매칭 그룹들에 플래그를 설정하는 구현예에서, 서버는, 멀티-매칭 그룹과 관련된 채널들의 레퍼런스 오디오 핑거프린트들을 비교함으로써, 레퍼런스 오디오 핑거프린트들이 서로 상이한지 여부를 판정하고, 만일 그러한 경우, 오디오 핑거프린트 분석이 모호성을 용이하게 제거할 수 있음을 나타내도록 비디오 멀티-매칭 그룹에 플래그를 더 설정할 수 있다. 예를 들어, 서버는 비디오 멀티 매칭 그룹과 관련하여 부울 값 또는 오디오 핑거프린트 분석이 모호성을 용이하게 할 수 있는 다른 표시를 기록할 수 있다. 미디어 프레젠테이션 디바이스에 의해 제공되는 비디오 핑거프린트와 관련된 비디오 멀티-매칭 상황을 나중에 검출할 경우, 서버는, 비디오 멀티-매칭 그룹이 추가 플래그 설정되었다는 것을 검출할 수 있으며, 비디오 멀티-매칭 상황의 검출 및 추가 플래그 설정의 검출에 응답하여, 서버는 오디오 핑거프린트 분석에 기초하여 명확화를 추구하는 프로세스를 응답적으로 시작할 수 있다.
또한, 비디오 핑거프린트 분석과 관련하여 위에서 논의된 다양한 양태들은 멀티-매칭 명확화를 용이하게 하기 위해 오디오 핑거프린트 분석에도 적용될 수 있다. 예를 들어, 미디어 프레젠테이션 디바이스가 서버에 미디어 콘텐츠 데이터(예를 들어, 렌더링되고 있는 미디어 콘텐츠의 개별 비디오 프레임들 또는 다른 세그먼트들)를 제공함으로써 서버 자신이 분석을 위해 미디어 콘텐츠의 비디오 핑거프린트를 생성할 수 있게 하는 것처럼, 미디어 프레젠테이션 디바이스는 또한 서버에 미디어 콘텐츠(예를 들어, 렌더링되고 있는 미디어 콘텐츠의 오디오 세그먼트들)를 제공함으로써 서버 자신이 분석을 위해 미디어 콘텐츠의 오디오 핑거프린트를 생성할 수 있게 할 수 있다. 다른 예로서, 서버가 비디오 핑거프린트들을 비교할 때 시간 시프트를 고려하여 충분히 오래된 비디오 핑거프린트 데이터에 대한 응답으로 특정 동작을 수행하지 않도록 조심할 수 있는 것처럼, 서버는 또한 오디오 핑거프린트들을 비교할 때 시간 시프트를 고려하여 충분히 오래된 오디오 핑거프린트 데이터에 대한 응답으로 특정 동작들을 수행하지 않도록 조심할 수 있다. 또 다른 예로서, 서버가 비디오 핑거프린트들을 비교하기 위해 현재 알려져 있거나 향후에 개발될 임의의 비디오 핑거프린트 매칭 프로세스를 사용할 수 있는 것처럼, 서버는 또한 오디오 핑거프린트들을 비교하기 위해 현재 알려져 있거나 향후에 개발될 임의의 오디오 핑거프린트 매칭 프로세스를 사용할 수 있다. 다른 예들도 가능하다.
또한, 본 명세서의 설명이 주로 비디오 멀티-매칭 상황을 식별한 다음 오디오 핑거프린트 분석에 기초하여 모호성을 제거하는 서버(24)에 초점을 맞추고 있지만, 대안적으로, 설명된 동작들의 일부 또는 전부는, 서버 대신에 또는 서버와 협력하여, 하나 이상의 다른 엔티티들에 의해 수행될 수 있다.
예를 들어, 동작들 중의 하나 이상은 미디어 프레젠테이션 디바이스 자체에 의해 수행되거나 또는 미디어 프레젠테이션 디바이스와 로컬 통신하는 보조 시스템에 의해 수행될 수 있다. 예를 들어, 미디어 프레젠테이션 디바이스 자체가 위에서 설명된 바와 같은 레퍼런스 데이터로 프로비저닝되거나 그에 대한 액세스를 가질 수 있고, 미디어 프레젠테이션 디바이스가 레퍼런스 데이터를 참조하여 비디오 멀티-매칭 상황을 식별함으로써, 오디오 핑거프린트 분석에 기초하여 명확화를 수행할 수 있으며, 이에 의해 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠를 제공하는 채널을 식별할 수 있다. 또한, 비디오 멀티-매칭 상황을 검출한 것에 응답하여, 미디어 프레젠테이션 디바이스는 비디오 멀티-매칭 그룹과 관련된 채널들에 대한 레퍼런스 오디오 핑거프린트들을 서버에 요청하고 수신할 수 있거나, 또는 미디어 프레젠테이션 디바이스가 그러한 레퍼런스 오디오 핑거프린트 데이터로 별도 프로비저닝될 수 있다. 그리고 미디어 프레젠테이션 디바이스는 그러한 오디오 핑거프린트들을, 렌더링되고 있는 오디오 컴포넌트의 오디오 핑거프린트와 비교함으로써 명확화 자체를 수행할 수 있다. 또한, 미디어 프레젠테이션 디바이스는 그 자체가 채널 특정 콘텐츠를 프레젠테이션하거나, 채널 프레젠테이션을 기록하는 등과 같은, 채널 특정 동작을 수행하거나, 또는 하나 이상의 다른 엔티티로 하여금 그러한 동작을 수행하게 하거나 그러한 동작을 수행하도록 협업할 수 있다.
도 3은 이상의 논의에 따라 수행될 수 있는 방법을 나타내는 흐름도이다. 도 3에 도시된 방법에 있는 동작들 중의 하나 이상은 네트워크 서버, 미디어 프레젠테이션 디바이스, 및/또는 이들 또는 다른 엔티티들을 대신하여 또는 이들과 협력하여 동작하는 하나 이상의 엔티티들을 포함하는 하나 이상의 엔티티들에 의해 수행될 수 있으며, 이에 한정되지 않는다. 임의의 이러한 엔티티는 본 방법 동작들 중의 하나 이상을 수행하도록 구성된, 프로그래밍된 프로세싱 유닛 등의 컴퓨팅 시스템을 구현할 수 있다. 또한, 비일시적인 데이터 스토리지(예를 들어, 디스크 스토리지, 플래시 스토리지 또는 다른 컴퓨터 판독가능 매체)는 각종 도시된 동작들을 수행하기 위해 프로세싱 유닛에 의해 실행 가능한 명령어들을 저장할 수 있다.
도 3에 도시된 바와 같이, 블록(30)에서, 본 방법은 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 비디오 핑거프린트가 상이한 각각의 채널에 그 각각이 대응하는 복수의 레퍼런스 비디오 핑거프린트들과 매칭되는지를 판정하는 컴퓨팅 시스템을 포함한다. 블록(32)에서, 본 방법은 비디오 핑거프린트가 상이한 각각의 채널에 그 각각이 대응하는 복수의 레퍼런스 비디오 핑거프린트들과 매칭되는 것으로 판정한 것에 응답하여, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 오디오 핑거프린트가 단 하나의 채널에 대응하는 레퍼런스 오디오 핑거프린트와 매칭된다는 판정에 적어도 부분적으로 기초하여 명확화를 수행하는 단계를 적어도 포함하며, 상기 명확화는 미디어 프레젠테이션 디바이스가 단일의 채널 상에서 미디어 콘텐츠를 수신하고 있음을 확정하는 것이다. 그리고 블록(34)에서, 본 방법은 미디어 프레젠테이션 디바이스가 단일 채널 상에서 미디어 콘텐츠를 수신하고 있음을 확정한 것에 기초하여 동작을 수행하는 단계를 포함한다.
전술한 바와 같이, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠는 비디오 트랙 및 오디오 트랙(예를 들어, 적어도 하나의 언어 트랙)을 가질 수 있고, 비디오 핑거프린트는 비디오 트랙의 핑거프린트일 수 있으며, 오디오 핑거프린트는 오디오 트랙의 핑거프린트일 수 있다.
또한, 전술한 바와 같이, 컴퓨팅 시스템이 미디어 프레젠테이션 디바이스 이외의 서버 또는 다른 엔티티인 경우, 미디어 프레젠테이션 디바이스는 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 비디오 및 오디오 핑거프린트들을 생성할 수 있으며, 컴퓨팅 시스템은 미디어 프레젠테이션 디바이스로부터 핑거프린트들을 수신할 수 있다.
또한, 예시적인 구현예에서, 이 복수의 레퍼런스 핑거프린트들은 레퍼런스 데이터에 있는 복수의 레퍼런스 핑거프린트로부터 선택될 수 있으며, 이 경우 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 비디오 핑거프린트가 복수의 레퍼런스 비디오 핑거프린트들과 매칭된다고 판정하는 것은, (i) 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 비디오 핑거프린트를 레퍼런스 데이터에 있는 복수의 레퍼런스 비디오 핑거프린트들과 비교하고, (ii) 이 비교에 기초하여, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 제 1 세그먼트의 비디오 핑거프린트가 복수의 레퍼런스 비디오 핑거프린트들과 매칭되는 것으로 판정하는 것을 포함한다.
또한, 본 방법은 복수의 레퍼런스 핑거프린트들로 구성된 멀티-매칭 그룹을 검출 및 플래그 설정하는 단계를 포함할 수 있으며, 이 경우 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 비디오 핑거프린트가 복수의 레퍼런스 비디오 핑거프린트들과 매칭되는 것으로 판정하는 동작은, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 비디오 핑거프린트가, 플래그 설정된 멀티-매칭 그룹의 레퍼런스 비디오 핑거프린트들과 매칭되는 것으로 판정하는 것을 포함할 수 있다.
또한, 본 방법은 (i) 플래그 설정된 멀티-매칭 그룹의 비디오 핑거프린트들과 대응하는 오디오 핑거프린트들을 비교하는 단계, (ii) 이 비교에 기초하여, 비교된 오디오 핑거프린트들 간의 차이를 검출하는 단계, 및 (iii) 이 차이를 검출한 것에 응답하여, 오디오 핑거프린트 분석이 모호성 제거를 용히하게 할 수 있음을 나타내도록 멀티-매칭 그룹에 더 플래그 설정하는 단계를 추가로 포함할 수 있다. 그리고 이 경우에, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 오디오 핑거프린트가 단 하나의 채널에 대응하는 레퍼런스 오디오 핑거프린트와 매칭된다는 판정에 기초한 명확화를 수행하는 동작은, 또한 오디오 핑거프린트 분석이 명확화를 용이하게 할 수 있음을 나타내도록 멀티-매칭 그룹이 더 플래그 설정되는 판정에 대한 응답으로 이루어질 수 있다.
또한, 전술한 바와 같이, 본 방법은 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 오디오 핑거프린트가 단 하나의 채널에 대응하는 레퍼런스 오디오 핑거프린트와 매칭된다는 판정을 행하는 단계를 포함할 수 있다. 예를 들어, 본 방법은 (i) 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 오디오 핑거프린트를, 복수의 레퍼런스 비디오 핑거프린트들과 동일한 채널들에 대응하는 레퍼런스 오디오 핑거프린트들과 비교하는 단계, 및 (ii) 이 비교에 기초하여, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 오디오 핑거프린트가 레퍼런스 오디오 핑거프린트들 중 단 하나의 것과만 매칭되는 것으로 판정하는 단계를 포함할 수 있다.
또한, 전술한 바와 같이, 컴퓨팅 시스템은 미디어 프레젠테이션 디바이스 이외의 엔티티일 수 있다. 또한, 본 방법은, 적어도 비디오 핑거프린트가 상이한 각각의 채널에 그 각각이 대응하는 복수의 레퍼런스 비디오 핑거프린트들과 매칭된다는 판정에 응답하여, 컴퓨팅 시스템이, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 오디오 핑거프린트를 미디어 프레젠테이션 디바이스에게 요청하여 그로부터 수신함으로써, 획득된 오디오 핑거프린트에 기초하여 명확화의 수행을 용이하게 하는 단계를 더 포함할 수 있다.
또한, 본 방법은, 적어도 비디오 핑거프린트가 상이한 채널에 그 각각이 대응하는 복수의 레퍼런스 핑거프린트들과 매칭된다는 판정에 응답하여, 복수의 레퍼런스 비디오 핑거프린트들과 동일한 채널들에 대응하는 레퍼런스 오디오 핑거프린트들을 생성함으로써, 비교를 용이하게 하는 단계를 포함할 수 있다.
또한, 전술한 바와 같이, 미디어 프레젠테이션 디바이스가 단일 채널 상에서 미디어 콘텐츠를 수신하고 있다는 확정에 기초하여 동작을 수행하는 동작은 (i) 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠와 함께 부가 채널 특정 콘텐츠가 프레젠테이션되도록 하는 것과 (ii) 채널 레이팅 시스템에서 사용하기 위해 단일 채널의 프레젠테이션을 기록하는 것으로 구성되는 그룹으로부터 선택되는 액션을 실행하는 것을 포함할 수 있다. 그리고, 전술한 바와 같이, 본 방법은 적어도 부분적으로는 미디어 프레젠테이션 디바이스에 의해 수행될 수 있다.
도 4는 본 발명에 따라 동작 가능한 예시적인 시스템의 간략 블록도이다. 이 시스템은 전술한 네트워크 서버 및/또는 하나 이상의 다른 엔티티(가능하게는 미디어 프레젠테이션 디바이스를 포함함)를 나타낼 수 있다. 도 4에 도시된 바와 같이, 본 예시적인 시스템은 네트워크 통신 인터페이스(40), 프로세싱 유닛(42), 비일시적 데이터 스토리지(44)를 포함하며, 이들 중의 일부 또는 전부가 함께 통합될 수 있으며, 또는 도시된 바와 같이 시스템 버스, 네트워크 또는 다른 연결 메커니즘(46)에 의해 함께 통신 가능하게 링크될 수도 있다.
네트워크 통신 인터페이스(40)는 전술한 네트워크(22)와 같은 네트워크 상에서의 통신을 용이하게 하거나 및/또는 하나 이상의 다른 로컬 또는 원격 엔티티들과 직접 결합하거나 또는 네트워크 통신을 하기 위한 하나 이상의 물리적 네트워크 연결 메커니즘을 포함할 수 있다. 이와 같이, 네트워크 통신 인터페이스는 IP 통신 및/또는 다른 타입의 네트워크 통신에 결합하기 위한, 무선 또는 유선 이더넷 인터페이스 또는 다른 타입의 네트워크 인터페이스를 포함할 수 있다.
프로세싱 유닛(42)은 하나 이상의 범용 프로세서(예를 들어, 마이크로프로세서) 및/또는 하나 이상의 특수 프로세서(예를 들어, 주문형 집적 회로)를 포함할 수 있다. 또한 비일시적 데이터 스토리지(44)는 광학, 자기 또는 플래시 스토리지와 같은 하나 이상의 휘발성 및/또는 비휘발성 스토리지 컴포넌트들을 포함할 수 있다.
도시된 바와 같이, 데이터 스토리지(44)는 본 명세서에서 설명한 다양한 동작들을 수행하기 위해 프로세싱 유닛(42)에 의해 실행될 수 있는 프로그램 명령어들(48)을 저장한다. 예를 들어, 이 프로그램 명령어들은 (i) 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 비디오 핑거프린트를, 네트워크 통신 인터페이스를 통해, 미디어 프레젠테이션 디바이스로부터 수신하고, (ii) 수신된 비디오 핑거프린트가 복수의 채널들에 대응하는 레퍼런스 비디오 핑거프린트들과 매칭되는지를 판정하고, (ⅲ) 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 오디오 핑거프린트를, 네트워크 통신 인터페이스를 통해, 미디어 프레젠테이션 디바이스로부터 수신하고, (ⅳ) 수신된 오디오 핑거프린트를 사용하여 복수의 채널들 중의 어느 것이 미디어 프레젠테이션 디바이스에 렌더링되고 있는 미디어 콘텐츠를 전달하는지를 판정하고, (v) 이 판정된 채널에 기초하여 동작을 수행하도록 실행될 수 있다.
이들 동작은 본 명세서에서 설명한 바와 같이 다양한 형태를 취할 수 있다. 예를 들어, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 오디오 핑거프린트를 미디어 프레젠테이션 디바이스로부터 수신하는 동작은, 수신된 비디오 핑거프린트가 복수의 채널들에 대응하는 레퍼런스 비디오 핑거프린트들과 매칭되는 것으로 판정하기 이전에 몇몇 시점에서 발생할 수 있으며, 가능하게는 비디오 핑거프린트와 함께 오디오 핑거프린트를 수신할 수도 있다. 대안적으로, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 오디오 핑거프린트를 미디어 프레젠테이션 디바이스로부터 수신하는 동작의 수행은, 수신된 비디오 핑거프린트가 복수의 채널들에 대응하는 레퍼런스 비디오 핑거프린트들과 매칭된다는 판정에 응답하여 발생할 수 있으며, 예를 들어 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 오디오 핑거프린트에 대한 요청을 미디어 프레젠테이션 디바이스에게 송신함으로써 비디오 멀티-매칭에 응답하고, 그 요청 송신에 대한 응답으로 오디오 핑거프린트를 수신하는 것에 의해 발생할 수 있다. 다른 예들도 또한 가능하다.
마지막으로, 도 5는 본 발명에 따라 동작 가능한 예시적인 미디어 프레젠테이션 디바이스의 간략 블록도이다. 전술한 바와 같이, 이 미디어 프레젠테이션 디바이스는 다양한 형태를 취할 수 있다. 예를 들어, 이것은 비디오 콘텐츠를 수신 및 렌더링하도록 동작하는 텔레비전, 컴퓨터 모니터 또는 다른 장치일 수 있거나 및/또는 오디오 콘텐츠를 수신 및 렌더링하도록 동작하는 라우드스피커, 헤드폰 또는 다른 장치일 수 있다. 다수의 다른 예들도 가능하다.
도 5에 도시된 바와 같이, 예시적인 미디어 프레젠테이션 디바이스는 미디어 입력 인터페이스(50), 미디어 프레젠테이션 인터페이스(52), 네트워크 통신 인터페이스(54), 프로세싱 유닛(56) 및 비일시적 데이터 스토리지(58)를 포함하며, 이들 중의 일부 또는 전부는 함께 통합되거나, 또는 도시된 바와 같이, 시스템 버스, 네트워크 또는 다른 연결 메커니즘(60)에 의해 함께 통신 가능하게 링크될 수도 있다.
미디어 입력 인터페이스(50)는 미디어 프레젠테이션 디바이스에 의해 프레젠테이션될 미디어 콘텐츠를 수신하기 위한 물리적 통신 인터페이스를 포함할 수 있다. 이와 같이, 미디어 입력 인터페이스는 리시버 또는 다른 장치 또는 시스템으로부터 아날로그 또는 디지털 형태로 미디어 콘텐츠를 수신하고 통신을 확립하기 위한 하나 이상의 유선 및/또는 무선 인터페이스를 포함할 수 있다. 예를 들어, 미디어 입력 인터페이스는 다른 것들 중에서도 특히 DVI, HDMI, VGA, USB, 블루투스, WIFI와 같은 프로토콜들에 부합하는 하나 이상의 인터페이스들을 포함할 수 있다.
미디어 프레젠테이션 인터페이스(52)는 수신된 미디어 콘텐츠의 프레젠테이션을 용이하게 하기 위한 하나 이상의 컴포넌트들을 포함할 수 있다. 예를 들어, 미디어 프레젠테이션 인터페이스는 디스플레이 스크린 및/또는 라우드스피커와 같은 사용자 인터페이스, 및 수신된 미디어 콘텐츠를 처리하여 사용자 인터페이스 상에 콘텐츠를 프레젠테이션하는 것을 용이하게 하는 하나 이상의 드라이버 또는 다른 컴포넌트들을 포함할 수 있다.
네트워크 통신 인터페이스(54)는 전술한 네트워크(22)와 같은 네트워크 상에서의 통신을 용이하게 하기 위한 및/또는 하나 이상의 다른 로컬 또는 원격 엔티티와 직접 결합하거나 네트워크 통신하기 위한 물리적 네트워크 연결 메커니즘을 포함할 수 있다. 이와 같이, 네트워크 통신 인터페이스는 IP 통신 및/또는 다른 타입의 네트워크 통신에 결합하기 위한 무선 또는 유선 이더넷 인터페이스 또는 다른 타입의 네트워크 인터페이스를 포함할 수 있다.
프로세싱 유닛(56)은 하나 이상의 범용 프로세서(예를 들어, 마이크로프로세서) 및/또는 하나 이상의 특수 프로세서(예를 들어, 주문형 집적 회로)를 포함할 수 있다. 또한 비일시적 데이터 스토리지(58)는 광학, 자기 또는 플래시 스토리지와 같은 하나 이상의 휘발성 및/또는 비휘발성 스토리지 컴포넌트들을 포함할 수 있다. 또한, 도시된 바와 같이, 데이터 스토리지(58)는 본 명세서에서 설명한 다양한 동작들을 수행하기 위해 프로세싱 유닛(56)에 의해 실행될 수 있는 프로그램 명령어들(62)을 저장한다. 예를 들어, 이 프로그램 명령어들은 본 명세서에서 설명된 바와 같은 채널 식별을 용이하게 하기 위해, 미디어 입력 인터페이스(50)에서 수신 및/또는 처리되고 있는 미디어 콘텐츠의 분석에 기초하여, 지속적으로 또는 요청 시에 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 비디오 핑거프린트 및 오디오 핑거프린트를 생성하고, 지속적으로 또는 요청 시에 상기 생성된 핑거프린트들을 제공하도록 실행될 수 있다.
이상 예시적인 실시들에 대하여 설명하였다. 그러나, 당업자는 본 발명의 진정한 범위 및 사상을 벗어나지 않고서도 이러한 실시예들에 대한 변경 및 수정이 이루어질 수 있음을 이해할 것이다.

Claims (51)

  1. 채널 식별 및 상기 채널 식별에 기초하여 액션을 실행하기 위한 방법으로서,
    컴퓨팅 시스템에 의해서, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 디지털 비디오 핑거프린트가 각각의 상이한 채널에 그 각각이 대응하는 복수의 레퍼런스 비디오 핑거프린트(reference video fingerprint)들과 매칭되는지를 판정하는 단계;
    적어도 상기 디지털 비디오 핑거프린트가 각각의 상이한 채널에 그 각각이 대응하는 상기 복수의 레퍼런스 비디오 핑거프린트들과 매칭되는 것으로 판정한 것에 응답하여, 상기 컴퓨팅 시스템에 의해서, 상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠의 디지털 오디오 핑거프린트가, 상기 복수의 레퍼런스 비디오 핑거프린트들이 대응하는 채널들 중의 단 하나의 채널에 대응하는 레퍼런스 오디오 핑거프린트와 매칭된다는 판정에 적어도 부분적으로 기초하여 명확화를 수행하는 단계로서, 상기 명확화는 상기 미디어 프레젠테이션 디바이스가 상기 하나의 채널 상에서 상기 미디어 콘텐츠를 수신하고 있음을 확정하는 것인, 상기 명확화를 수행하는 단계; 및
    상기 컴퓨팅 시스템에 의해서, 상기 미디어 프레젠테이션 디바이스가 상기 하나의 채널 상에서 상기 미디어 콘텐츠를 수신하고 있음을 확정한 것에 기초하여 액션을 실행하는 단계
    를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠는 비디오 트랙 및 오디오 트랙을 가지며, 상기 디지털 비디오 핑거프린트는 상기 비디오 트랙의 핑거프린트이고, 상기 디지털 오디오 핑거프린트는 상기 오디오 트랙의 핑거프린트인, 방법.
  3. 제 1 항에 있어서,
    상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠의 상기 디지털 오디오 핑거프린트는 적어도 상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠의 언어 트랙을 나타내는, 방법.
  4. 제 1 항에 있어서,
    상기 컴퓨팅 시스템은 상기 미디어 프레젠테이션 디바이스 이외의 엔티티이고, 상기 디지털 비디오 핑거프린트 및 상기 디지털 오디오 핑거프린트는 상기 미디어 프레젠테이션 디바이스에 의해 생성되며, 상기 방법은,
    상기 컴퓨팅 시스템에 의해서, 상기 미디어 프레젠테이션 디바이스로부터 상기 디지털 비디오 핑거프린트 및 상기 디지털 오디오 핑거프린트를 수신하는 단계를 더 포함하는, 방법.
  5. 제 1 항에 있어서,
    상기 복수의 레퍼런스 비디오 핑거프린트들은 레퍼런스 데이터 내의 복수의 레퍼런스 비디오 핑거프린트들로부터 선택되고, 상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠의 상기 디지털 비디오 핑거프린트가 상기 복수의 레퍼런스 비디오 핑거프린트들과 매칭되는지를 판정하는 것은,
    상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠의 상기 디지털 비디오 핑거프린트를 상기 레퍼런스 데이터 내의 상기 복수의 레퍼런스 비디오 핑거프린트들과 비교하고, 또한
    상기 비교에 기초하여, 상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠의 상기 디지털 비디오 핑거프린트가 상기 복수의 레퍼런스 비디오 핑거프린트들과 매칭되는지를 판정하는 것을 포함하는, 방법.
  6. 제 1 항에 있어서,
    상기 복수의 레퍼런스 비디오 핑거프린트들로 구성된 멀티-매칭(multi-match) 그룹을 검출하여 플래그 설정하는 단계를 더 포함하며,
    상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠의 상기 디지털 비디오 핑거프린트가 상기 복수의 레퍼런스 비디오 핑거프린트들과 매칭되는지를 판정하는 것은, 상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠의 상기 디지털 비디오 핑거프린트가 상기 플래그 설정된 멀티-매칭 그룹의 상기 레퍼런스 비디오 핑거프린트들과 매칭되는지를 판정하는 것을 포함하는, 방법.
  7. 제 6 항에 있어서,
    상기 플래그 설정된 멀티-매칭 그룹의 상기 레퍼런스 비디오 핑거프린트들에 대응하는 레퍼런스 오디오 핑거프린트들을 비교하는 단계;
    상기 비교에 기초하여, 상기 비교된 레퍼런스 오디오 핑거프린트들 간의 차이를 검출하는 단계; 및
    상기 차이를 검출한 것에 응답하여, 오디오-핑거프린트 분석이 명확화를 용이하게 할 수 있음을 나타내도록 상기 멀티-매칭 그룹에 추가 플래그 설정하는 단계를 더 포함하며,
    상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠의 상기 디지털 오디오 핑거프린트가 단 하나의 채널에 대응하는 레퍼런스 오디오 핑거프린트와 매칭된다는 상기 판정에 기초하여 명확화를 수행하는 것은, 오디오-핑거프린트 분석이 명확화를 용이하게 할 수 있음을 나타내도록 상기 멀티-매칭 그룹이 추가 플래그 설정되었다는 판정에 대한 추가 응답인, 방법.
  8. 제 1 항에 있어서,
    상기 컴퓨팅 시스템은 상기 미디어 프레젠테이션 디바이스 이외의 엔티티이며, 상기 방법은,
    적어도 상기 디지털 비디오 핑거프린트가 각각의 상이한 채널에 그 각각이 대응하는 복수의 레퍼런스 비디오 핑거프린트들과 매칭되는 것으로 판정한 것에 응답하여, 획득된 디지털 오디오 핑거프린트에 기초한 명확화의 수행을 용이하게 하기 위해, 상기 컴퓨팅 시스템에 의해서, 상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠의 상기 디지털 오디오 핑거프린트를 상기 미디어 프레젠테이션 디바이스로부터 요청하고 수신하는 단계를 더 포함하는, 방법.
  9. 제 1 항에 있어서,
    적어도 상기 디지털 비디오 핑거프린트가 상이한 채널에 그 각각이 대응하는 상기 복수의 레퍼런스 핑거프린트들과 매칭되는 것으로 판정한 것에 응답하여, 상기 명확화를 용이하게 하기 위해, 상기 복수의 레퍼런스 비디오 핑거프린트들이 대응하는 채널들에 대응하는 레퍼런스 오디오 핑거프린트들을 생성하는 단계를 더 포함하는, 방법.
  10. 제 1 항에 있어서,
    상기 미디어 프레젠테이션 디바이스가 상기 하나의 채널 상에서 상기 미디어 콘텐츠를 수신하고 있음을 확정한 것에 기초하여 액션을 실행하는 것은, 부가 채널 특정 콘텐츠가 상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠와 함께 프레젠테이션되도록 하는 것을 포함하는, 방법.
  11. 제 1 항에 있어서,
    상기 미디어 프레젠테이션 디바이스가 상기 하나의 채널 상에서 상기 미디어 콘텐츠를 수신하고 있음을 확정한 것에 기초하여 액션을 실행하는 것은, 상기 미디어 콘텐츠의 미리 결정된 부분을 대체 광고로 선택적으로 대체하는 것을 포함하는, 방법.
  12. 제 1 항에 있어서,
    상기 미디어 프레젠테이션 디바이스가 상기 하나의 채널 상에서 상기 미디어 콘텐츠를 수신하고 있음을 확정한 것에 기초하여 액션을 실행하는 것은, 채널 레이팅 시스템(channel ratings system)에서의 사용을 위해 상기 하나의 채널의 프레젠테이션을 레코딩하는 것을 포함하는, 방법.
  13. 제 1 항에 있어서,
    상기 미디어 프레젠테이션 디바이스에 의해 상기 방법이 적어도 부분적으로 수행되는, 방법.
  14. 채널 식별 및 상기 채널 식별에 기초하여 액션을 실행하기 위한 동작들을 수행하도록 프로세싱 유닛에 의해 실행 가능한 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체로서, 상기 동작들은,
    미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 디지털 비디오 핑거프린트가 각각의 상이한 채널에 그 각각이 대응하는 복수의 레퍼런스 비디오 핑거프린트들과 매칭되는지를 판정하는 동작;
    적어도 상기 디지털 비디오 핑거프린트가 각각의 상이한 채널에 그 각각이 대응하는 상기 복수의 레퍼런스 비디오 핑거프린트들과 매칭되는 것으로 판정한 것에 응답하여, 상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠의 디지털 오디오 핑거프린트가, 상기 복수의 레퍼런스 핑거프린트들이 대응하는 채널들 중의 단 하나의 채널에 대응하는 레퍼런스 오디오 핑거프린트와 매칭된다는 판정에 적어도 부분적으로 기초하여 명확화를 수행하는 동작으로서, 상기 명확화는 상기 미디어 프레젠테이션 디바이스가 상기 하나의 채널 상에서 상기 미디어 콘텐츠를 수신하고 있음을 확정하는 것인, 상기 명확화를 수행하는 동작; 및
    상기 미디어 프레젠테이션 디바이스가 상기 하나의 채널 상에서 상기 미디어 콘텐츠를 수신하고 있음을 확정한 것에 기초하여 액션을 실행하는 동작을 포함하는, 비일시적 컴퓨터 판독가능 매체.
  15. 제 14 항에 있어서,
    상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠의 상기 디지털 오디오 핑거프린트는 적어도 상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠의 언어 트랙을 나타내는, 비일시적 컴퓨터 판독가능 매체.
  16. 제 14 항에 있어서,
    상기 미디어 프레젠테이션 디바이스가 상기 하나의 채널 상에서 상기 미디어 콘텐츠를 수신하고 있음을 확정한 것에 기초하여 액션을 실행하는 것은, 부가 채널 특정 콘텐츠가 상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠와 함께 프레젠테이션되도록 하는 것을 포함하는, 비일시적 컴퓨터 판독가능 매체.
  17. 제 14 항에 있어서,
    상기 미디어 프레젠테이션 디바이스가 상기 하나의 채널 상에서 상기 미디어 콘텐츠를 수신하고 있음을 확정한 것에 기초하여 액션을 실행하는 것은, 채널 레이팅 시스템에서의 사용을 위해 상기 하나의 채널의 프레젠테이션을 레코딩하는 것을 포함하는, 비일시적 컴퓨터 판독가능 매체.
  18. 채널 식별 및 상기 채널 식별에 기초하여 액션을 실행하기 위한 시스템으로서,
    네트워크 통신 인터페이스;
    프로세싱 유닛;
    비일시적 데이터 스토리지; 및
    상기 비일시적 데이터 스토리지에 저장되고 동작들을 수행하도록 상기 프로세싱 유닛에 의해 실행 가능한 프로그램 명령어들을 포함하며,
    상기 동작들은,
    상기 네트워크 통신 인터페이스를 통해, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 디지털 비디오 핑거프린트를 상기 미디어 프레젠테이션 디바이스로부터 수신하는 동작,
    상기 수신된 디지털 비디오 핑거프린트가 복수의 채널들에 대응하는 레퍼런스 비디오 핑거프린트들과 매칭되는지를 판정하는 동작,
    상기 네트워크 통신 인터페이스를 통해, 상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠의 디지털 오디오 핑거프린트를 상기 미디어 프레젠테이션 디바이스로부터 수신하는 동작,
    상기 수신된 디지털 오디오 핑거프린트를 사용하여 상기 복수의 채널들 중 어느 것이 상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠를 전달하는지를 판정하는 동작으로서, 상기 수신된 디지털 오디오 핑거프린트를 사용하여 상기 복수의 채널들 중 어느 것이 상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠를 전달하는지를 판정하는 것은 상기 수신된 디지털 오디오 핑거프린트가 상기 복수의 채널들 중의 단 하나의 채널에 대응하는 레퍼런스 오디오 핑거프린트와 매칭되는지를 판정하는 것을 포함하는, 상기 미디어 콘텐츠를 전달하는지를 판정하는 동작, 및
    상기 판정된 채널에 기초하여 액션을 실행하는 동작을 포함하는, 시스템.
  19. 제 18 항에 있어서,
    상기 동작들은,
    적어도 상기 수신된 것이 상기 복수의 채널들에 대응하는 상기 레퍼런스 비디오 핑거프린트들과 매칭되는 것으로 판정한 것에 응답하여, 상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠의 상기 디지털 오디오 핑거프린트에 대한 요청을 상기 미디어 프레젠테이션 디바이스에게 전송하는 동작을 더 포함하며,
    상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠의 상기 디지털 오디오 핑거프린트를 상기 미디어 프레젠테이션 디바이스로부터 수신하는 것은 상기 요청을 전송한 것에 응답하여 발생하는, 시스템.
  20. 제 18 항에 있어서,
    상기 판정된 채널에 기초하여 액션을 실행하는 것은, 상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠와 함께, 부가 채널 특정 콘텐츠(supplemental channel-specific content)가 프레젠테이션되도록 하는 것을 포함하는, 시스템.
  21. 제 18 항에 있어서,
    상기 판정된 채널에 기초하여 액션을 실행하는 것은, 상기 미디어 콘텐츠의 미리 결정된 부분을 대체 광고로 선택적으로 대체하는 것을 포함하는, 시스템.
  22. 제 17 항에 있어서,
    상기 판정된 채널에 기초하여 액션을 실행하는 것은, 채널 레이팅 시스템에서의 사용을 위해 상기 판정된 채널의 프레젠테이션을 레코딩하는 것을 포함하는, 시스템.
  23. 채널 식별 및 상기 채널 식별에 기초하여 액션을 실행하기 위한 방법으로서,
    컴퓨팅 시스템에 의해서, 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠를 나타내는 디지털 비디오 핑거프린트 데이터가 복수의 채널들에 대응하는 레퍼런스 비디오 핑거프린트 데이터와 매칭되는지를 판정하는 단계;
    적어도 상기 디지털 비디오 핑거프린트 데이터가 복수의 채널들에 대응하는 상기 레퍼런스 비디오 핑거프린트 데이터와 매칭되는 것으로 판정한 것에 응답하여, 상기 컴퓨팅 시스템에 의해서, 상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠를 나타내는 디지털 오디오 핑거프린트 데이터가, 상기 복수의 채널들 중의 단 하나의 채널에 대응하는 레퍼런스 오디오 핑거프린트와 매칭된다는 판정에 적어도 부분적으로 기초하여 명확화를 수행하는 단계로서, 상기 명확화는 상기 미디어 프레젠테이션 디바이스가 상기 하나의 채널 상에서 상기 미디어 콘텐츠를 수신하고 있음을 확정하는 것인, 상기 명확화를 수행하는 단계; 및
    상기 미디어 프레젠테이션 디바이스가 상기 하나의 채널 상에서 상기 미디어 콘텐츠를 수신하고 있음을 확정한 것에 기초하여 액션을 실행하는 단계
    를 포함하는, 방법.
  24. 제 23 항에 있어서,
    상기 미디어 콘텐츠는 비디오 트랙 및 오디오 트랙을 가지며, 상기 디지털 비디오 핑거프린트 데이터는 상기 비디오 트랙을 나타내는 핑거프린트 데이터이고, 상기 디지털 오디오 핑거프린트 데이터는 상기 오디오 트랙을 나타내는 핑거프린트 데이터인, 방법.
  25. 제 23 항에 있어서,
    상기 디지털 오디오 핑거프린트 데이터는 적어도 상기 미디어 콘텐츠의 언어 트랙을 나타내는, 방법.
  26. 제 23 항에 있어서,
    상기 미디어 프레젠테이션 디바이스가 상기 하나의 채널 상에서 상기 미디어 콘텐츠를 수신하고 있음을 확정한 것에 기초하여 액션을 실행하는 것은, 상기 미디어 프레젠테이션 디바이스가, 상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠와 함께 부가 채널 특정 콘텐츠를 프레젠테이션하게 하는 것을 포함하는, 방법.
  27. 제 26 항에 있어서,
    상기 부가 채널 특정 콘텐츠는 팝업 광고(pop-up advertisement), 중간 광고(commercial break) 또는 채널-아이덴티피케이션(channel-identification) 중 적어도 하나를 포함하는, 방법.
  28. 제 26 항에 있어서,
    상기 부가 채널 특정 콘텐츠는 광고를 포함하며, 또한
    상기 미디어 프레젠테이션 디바이스가, 상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠와 함께 상기 부가 채널 특정 콘텐츠를 프레젠테이션하게 하는 것은, 상기 미디어 프레젠테이션 디바이스가 상기 미디어 콘텐츠의 일부에 대한 대체물로서 상기 광고를 프레젠테이션하게 하는 것을 포함하는, 방법.
  29. 제 23 항에 있어서,
    상기 미디어 프레젠테이션 디바이스가 상기 하나의 채널 상에서 상기 미디어 콘텐츠를 수신하고 있음을 확정한 것에 기초하여 액션을 실행하는 것은, 상기 미디어 콘텐츠의 일부 대신에 광고를 삽입하는 것을 포함하는, 방법.
  30. 미디어 프레젠테이션 디바이스로서,
    상기 미디어 프레젠테이션 디바이스에 의해 프레젠테이션될 미디어 콘텐츠를 수신하기 위한 미디어 입력 인터페이스;
    상기 미디어 콘텐츠를 프레젠테이션하기 위한 미디어 프레젠테이션 인터페이스;
    네트워크 통신 인터페이스;
    프로세싱 유닛;
    비일시적 데이터 스토리지; 및
    상기 비일시적 데이터 스토리지에 저장되고 동작들을 수행하도록 상기 프로세싱 유닛에 의해 실행 가능한 프로그램 명령어들을 포함하며,
    상기 동작들은,
    상기 미디어 콘텐츠의 분석에 기초하여, 상기 미디어 콘텐츠를 나타내는 디지털 비디오 핑거프린트 데이터를 생성하고, 상기 생성된 디지털 비디오 핑거프린트 데이터를 상기 네트워크 통신 인터페이스를 통해 서버로 송신하기 위해 출력하는 동작,
    상기 서버로 송신하기 위해 상기 디지털 비디오 핑거프린트 데이터를 출력한 후, 상기 미디어 콘텐츠를 나타내는 오디오 핑거프린트 데이터에 대한 요청을 상기 서버로부터 수신하는 동작으로서, 상기 요청은 상기 디지털 비디오 핑거프린트 데이터가 복수의 채널들에 대응하는 레퍼런스 비디오 핑거프린트 데이터와 매칭되는 것으로 상기 서버가 판정한 것에 대한 응답인, 상기 미디어 콘텐츠를 나타내는 오디오 핑거프린트 데이터에 대한 요청을 상기 서버로부터 수신하는 동작,
    상기 요청에 응답하여, 상기 디지털 오디오 핑거프린트 데이터를 상기 네트워크 통신 인터페이스를 통해 상기 서버로 송신하기 위해, 상기 미디어 콘텐츠를 나타내는 디지털 오디오 핑거프린트 데이터를 출력하는 동작; 및
    상기 미디어 프레젠테이션 디바이스가, 상기 미디어 콘텐츠와 함께, 상기 복수의 채널들 중의 하나의 채널과 연관된 부가 채널 특정 콘텐츠를 프레젠테이션하게 하는 동작으로서, 상기 하나의 채널은 상기 디지털 오디오 핑거프린트 데이터가 상기 복수의 채널들 중의 상기 하나의 채널만을 나타내는 레퍼런스 오디오 핑거프린트 데이터와 매칭된다는 판정에 기초하여 상기 복수의 채널들 중에서 식별되는, 상기 부가 채널 특정 콘텐츠를 프레젠테이션하게 하는 동작을 포함하는, 미디어 프레젠테이션 디바이스.
  31. 제 30 항에 있어서,
    상기 미디어 콘텐츠는 비디오 트랙 및 오디오 트랙을 가지며, 상기 디지털 비디오 핑거프린트 데이터는 상기 비디오 트랙을 나타내는 핑거프린트 데이터이고, 상기 디지털 오디오 핑거프린트 데이터는 상기 오디오 트랙을 나타내는 핑거프린트 데이터인, 미디어 프레젠테이션 디바이스.
  32. 제 30 항에 있어서,
    상기 디지털 오디오 핑거프린트 데이터는 적어도 상기 미디어 콘텐츠의 언어 트랙을 나타내는, 미디어 프레젠테이션 디바이스.
  33. 제 30 항에 있어서,
    상기 동작들은, 상기 요청에 응답하여, 상기 미디어 콘텐츠를 나타내는 상기 디지털 오디오 핑거프린트 데이터를 생성하는 동작을 더 포함하는, 미디어 프레젠테이션 디바이스.
  34. 제 30 항에 있어서,
    상기 부가 채널 특정 콘텐츠는 팝업 광고, 중간 광고 또는 채널-아이덴티피케이션 중 적어도 하나를 포함하는, 미디어 프레젠테이션 디바이스.
  35. 제 30 항에 있어서,
    상기 부가 채널 특정 콘텐츠는 상기 미디어 콘텐츠의 하나 이상의 부분들에 대한 대체물인, 미디어 프레젠테이션 디바이스.
  36. 제 30 항에 있어서,
    상기 부가 채널 특정 콘텐츠는 광고이며, 또한
    상기 미디어 프레젠테이션 디바이스가 상기 미디어 콘텐츠와 함께 상기 부가 콘텐츠를 프레젠테이션하게 하는 것은, 상기 미디어 프레젠테이션 디바이스가 미디어 콘텐츠의 일부 대신에 상기 광고를 프레젠테이션하게 하는 것을 포함하는, 미디어 프레젠테이션 디바이스.
  37. 제 30 항에 있어서,
    상기 미디어 프레젠테이션 디바이스는 텔레비전을 포함하는, 미디어 프레젠테이션 디바이스.
  38. 부가 채널 특정 콘텐츠를 프레젠테이션하기 위한 방법으로서,
    미디어 프레젠테이션 디바이스에 의해서, 상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 분석에 기초하여, 상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠를 나타내는 디지털 비디오 핑거프린트 데이터를 생성하는 단계;
    상기 미디어 프레젠테이션 디바이스에 의해서, 네트워크를 통해 서버로 송신하기 위해, 상기 생성된 비디오 핑거프린트 데이터를 출력하는 단계;
    상기 네트워크를 통해 상기 서버로 송신하기 위해 상기 디지털 비디오 핑거프린트 데이터를 출력한 후, 상기 미디어 프레젠테이션 디바이스에 의해서, 상기 미디어 콘텐츠를 나타내는 오디오 핑거프린트 데이터에 대한 요청을 상기 서버로부터 수신하는 단계로서, 상기 요청은 상기 디지털 비디오 핑거프린트 데이터가 복수의 채널들에 대응하는 레퍼런스 비디오 핑거프린트 데이터와 매칭되는 것으로 상기 서버가 판정한 것에 대한 응답인, 상기 미디어 콘텐츠를 나타내는 오디오 핑거프린트 데이터에 대한 요청을 상기 서버로부터 수신하는 단계;
    상기 요청에 응답하여, 상기 디지털 오디오 핑거프린트 데이터를 상기 네트워크를 통해 상기 서버로 송신하기 위해, 상기 미디어 프레젠테이션 디바이스에 의해서, 상기 미디어 콘텐츠를 나타내는 상기 디지털 오디오 핑거프린트 데이터를 출력하는 단계; 및
    상기 미디어 프레젠테이션 디바이스에 의해서, 상기 미디어 콘텐츠와 함께, 상기 복수의 채널들 중의 하나의 채널과 연관된 부가 채널 특정 콘텐츠를 프레젠테이션하는 단계로서, 상기 하나의 채널은 상기 디지털 오디오 핑거프린트 데이터가 상기 복수의 채널들 중의 상기 하나의 채널만에 대응하는 레퍼런스 오디오 핑거프린트 데이터와 매칭된다는 판정에 기초하여 상기 복수의 채널들 중에서 식별되는, 상기 부가 채널 특정 콘텐츠를 프레젠테이션는 단계를 포함하는, 방법.
  39. 제 38 항에 있어서,
    상기 미디어 콘텐츠는 비디오 트랙 및 오디오 트랙을 가지며, 상기 디지털 비디오 핑거프린트 데이터는 상기 비디오 트랙을 나타내는 핑거프린트 데이터이고, 상기 디지털 오디오 핑거프린트 데이터는 상기 오디오 트랙을 나타내는 핑거프린트 데이터인, 방법.
  40. 제 38 항에 있어서,
    상기 디지털 오디오 핑거프린트 데이터는 적어도 상기 미디어 콘텐츠의 언어 트랙을 나타내는, 방법.
  41. 제 38 항에 있어서,
    상기 요청에 응답하여, 상기 미디어 콘텐츠를 나타내는 상기 디지털 오디오 핑거프린트 데이터를 생성하는 단계를 더 포함하는, 방법.
  42. 제 38 항에 있어서,
    상기 부가 채널 특정 콘텐츠는 팝업 광고, 중간 광고 또는 채널-아이덴티피케이션 중 적어도 하나를 포함하는, 방법.
  43. 제 38 항에 있어서,
    상기 부가 채널 특정 콘텐츠는 상기 미디어 콘텐츠의 하나 이상의 부분들에 대한 대체물인, 방법.
  44. 제 38 항에 있어서,
    상기 부가 채널 특정 콘텐츠는 광고이며, 또한
    상기 미디어 콘텐츠와 함께 상기 부가 콘텐츠를 프레젠테이션하는 것은, 상기 미디어 콘텐츠의 일부 대신에 상기 광고를 프레젠테이션하는 것을 포함하는, 방법.
  45. 동작들을 수행하도록 프로세싱 유닛에 의해 실행 가능한 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체로서, 상기 동작들은,
    상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 미디어 콘텐츠의 분석에 기초하여, 상기 미디어 프레젠테이션 디바이스에 의해 렌더링되고 있는 상기 미디어 콘텐츠를 나타내는 디지털 비디오 핑거프린트 데이터를 생성하고, 상기 미디어 프레젠테이션 디바이스에 의해서, 네트워크를 통해 서버로 송신하기 위해 상기 생성된 비디오 핑거프린트 데이터를 출력하는 동작;
    상기 네트워크를 통해 상기 서버로 송신하기 위해 상기 디지털 비디오 핑거프린트 데이터를 출력한 후, 상기 디지털 비디오 핑거프린트 데이터가 복수의 채널들에 대응하는 레퍼런스 비디오 핑거프린트 데이터와 매칭되는 것으로 상기 서버가 판정했을 경우에 상기 미디어 콘텐츠를 나타내는 오디오 핑거프린트 데이터에 대한 요청을 상기 서버로부터 수신하는 동작;
    상기 요청에 응답하여, 상기 디지털 오디오 핑거프린트 데이터를 상기 네트워크를 통해 상기 서버로 송신하기 위해, 상기 미디어 콘텐츠를 나타내는 상기 디지털 오디오 핑거프린트 데이터를 출력하는 동작; 및
    상기 미디어 프레젠테이션 디바이스가, 상기 미디어 콘텐츠와 함께, 상기 복수의 채널들 중의 하나의 채널과 연관된 부가 채널 특정 콘텐츠를 프레젠테이션하게 하는 동작으로서, 상기 하나의 채널은 상기 디지털 오디오 핑거프린트 데이터가 상기 복수의 채널들 중의 상기 하나의 채널만에 대응하는 레퍼런스 오디오 핑거프린트 데이터와 매칭된다는 판정에 기초하여 상기 복수의 채널들 중에서 식별되는, 상기 부가 채널 특정 콘텐츠를 프레젠테이션하게 하는 동작을 포함하는, 비일시적 컴퓨터 판독가능 매체.
  46. 제 45 항에 있어서,
    상기 미디어 콘텐츠는 비디오 트랙 및 오디오 트랙을 가지며, 상기 디지털 비디오 핑거프린트 데이터는 상기 비디오 트랙을 나타내는 핑거프린트 데이터이고, 상기 디지털 오디오 핑거프린트 데이터는 상기 오디오 트랙을 나타내는 핑거프린트 데이터인, 비일시적 컴퓨터 판독가능 매체.
  47. 제 45 항에 있어서,
    상기 디지털 오디오 핑거프린트 데이터는 적어도 상기 미디어 콘텐츠의 언어 트랙을 나타내는, 비일시적 컴퓨터 판독가능 매체.
  48. 제 45 항에 있어서,
    상기 요청에 응답하여, 상기 미디어 콘텐츠를 나타내는 상기 디지털 오디오 핑거프린트 데이터를 생성하는 동작을 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
  49. 제 45 항에 있어서,
    상기 부가 채널 특정 콘텐츠는 팝업 광고, 중간 광고 또는 채널-아이덴티피케이션 중 적어도 하나를 포함하는, 비일시적 컴퓨터 판독가능 매체.
  50. 제 45 항에 있어서,
    상기 부가 채널 특정 콘텐츠는 상기 미디어 콘텐츠의 하나 이상의 부분들에 대한 대체물인, 비일시적 컴퓨터 판독가능 매체.
  51. 제 45 항에 있어서,
    상기 비일시적 컴퓨터 판독가능 매체는 상기 미디어 프레젠테이션 디바이스에서 구현되는, 비일시적 컴퓨터 판독가능 매체.
KR1020197027093A 2016-02-29 2017-02-28 오디오 핑거프린트 기반의 비디오 멀티-매칭 검출 및 명확화를 통한 미디어 채널 식별 KR102299754B1 (ko)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US201662301616P 2016-02-29 2016-02-29
US62/301,616 2016-02-29
US15/179,143 US9924222B2 (en) 2016-02-29 2016-06-10 Media channel identification with multi-match detection and disambiguation based on location
US15/179,143 2016-06-10
US15/222,405 2016-07-28
US15/222,405 US10063918B2 (en) 2016-02-29 2016-07-28 Media channel identification with multi-match detection and disambiguation based on single-match
US15/253,354 US9930406B2 (en) 2016-02-29 2016-08-31 Media channel identification with video multi-match detection and disambiguation based on audio fingerprint
US15/253,354 2016-08-31
PCT/US2017/019908 WO2017151591A1 (en) 2016-02-29 2017-02-28 Media channel identification with video multi-match detection and disambiguation based on audio fingerprint
KR1020187026928A KR102024105B1 (ko) 2016-02-29 2017-02-28 오디오 핑거프린트 기반의 비디오 멀티-매칭 검출 및 명확화를 통한 미디어 채널 식별

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187026928A Division KR102024105B1 (ko) 2016-02-29 2017-02-28 오디오 핑거프린트 기반의 비디오 멀티-매칭 검출 및 명확화를 통한 미디어 채널 식별

Publications (2)

Publication Number Publication Date
KR20190109577A true KR20190109577A (ko) 2019-09-25
KR102299754B1 KR102299754B1 (ko) 2021-09-09

Family

ID=59679952

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020187026928A KR102024105B1 (ko) 2016-02-29 2017-02-28 오디오 핑거프린트 기반의 비디오 멀티-매칭 검출 및 명확화를 통한 미디어 채널 식별
KR1020197027093A KR102299754B1 (ko) 2016-02-29 2017-02-28 오디오 핑거프린트 기반의 비디오 멀티-매칭 검출 및 명확화를 통한 미디어 채널 식별

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020187026928A KR102024105B1 (ko) 2016-02-29 2017-02-28 오디오 핑거프린트 기반의 비디오 멀티-매칭 검출 및 명확화를 통한 미디어 채널 식별

Country Status (7)

Country Link
US (6) US9930406B2 (ko)
EP (1) EP3424224B1 (ko)
JP (3) JP6556365B2 (ko)
KR (2) KR102024105B1 (ko)
CN (2) CN108702543B (ko)
HK (1) HK1256881B (ko)
WO (1) WO2017151591A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8768003B2 (en) 2012-03-26 2014-07-01 The Nielsen Company (Us), Llc Media monitoring using multiple types of signatures
US9930406B2 (en) * 2016-02-29 2018-03-27 Gracenote, Inc. Media channel identification with video multi-match detection and disambiguation based on audio fingerprint
US20170372142A1 (en) 2016-06-27 2017-12-28 Facebook, Inc. Systems and methods for identifying matching content
US10713495B2 (en) 2018-03-13 2020-07-14 Adobe Inc. Video signatures based on image feature extraction
US10904587B2 (en) 2018-07-19 2021-01-26 Gracenote, Inc. Establishment and use of time mapping based on interpolation using low-rate fingerprinting, to help facilitate frame-accurate content revision
KR20200059060A (ko) * 2018-11-20 2020-05-28 삼성전자주식회사 디스플레이 장치 및 그 동작 방법
US11086931B2 (en) 2018-12-31 2021-08-10 Audiobyte Llc Audio and visual asset matching platform including a master digital asset
US10956490B2 (en) * 2018-12-31 2021-03-23 Audiobyte Llc Audio and visual asset matching platform
WO2020231813A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with responsive transmission of reference fingerprint data feature
TWI802797B (zh) 2019-05-10 2023-05-21 美商六科股份有限公司 用於檢測和回應於在先前檢測到的指紋匹配之後檢測到的指紋不匹配的方法、非暫時性電腦可讀儲存介質及計算系統
WO2020231927A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with responsive transmission of reference fingerprint data feature
US11234050B2 (en) * 2019-06-18 2022-01-25 Roku, Inc. Use of steganographically-encoded data as basis to control dynamic content modification as to at least one modifiable-content segment identified based on fingerprint analysis
US11689753B2 (en) * 2019-06-18 2023-06-27 The Nielsen Company (Us), Llc Use of steganographically-encoded data as basis to disambiguate fingerprint-based channel-multi-match
US11722729B2 (en) * 2019-07-19 2023-08-08 Roku, Inc. Method and system for use of earlier and/or later single-match as basis to disambiguate channel multi-match with non-matching programs
US11297367B2 (en) 2019-07-22 2022-04-05 Roku, Inc. Content-modification system with broadcast schedule utilization feature
CN110827850B (zh) * 2019-11-11 2022-06-21 广州国音智能科技有限公司 音频分离方法、装置、设备及计算机可读存储介质
CA3143588A1 (en) * 2020-05-05 2021-11-11 Rovi Guides, Inc. Systems and methods for recommending content using progress bars
US11417099B1 (en) * 2021-11-08 2022-08-16 9219-1568 Quebec Inc. System and method for digital fingerprinting of media content

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140196077A1 (en) * 2013-01-07 2014-07-10 Gracenote, Inc. Authorizing devices based on identifying content distributor
US9094715B2 (en) * 2009-05-29 2015-07-28 Cognitive Networks, Inc. Systems and methods for multi-broadcast differentiation

Family Cites Families (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7487529B1 (en) 1997-12-01 2009-02-03 Starsight Telecast, Inc. Electronic program guide system with advertising messages in pop-ups
US6834308B1 (en) 2000-02-17 2004-12-21 Audible Magic Corporation Method and apparatus for identifying media content presented on a media playing device
JP2001298433A (ja) 2000-04-12 2001-10-26 Dd Marketing:Kk 視聴率調査装置、視聴率調査方法および記録媒体
US6990453B2 (en) 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US8205237B2 (en) 2000-09-14 2012-06-19 Cox Ingemar J Identifying works, using a sub-linear time search, such as an approximate nearest neighbor search, for initiating a work-based action, such as an action on the internet
US7206853B2 (en) 2000-10-23 2007-04-17 Sony Corporation content abstraction layer for use in home network applications
US8055899B2 (en) 2000-12-18 2011-11-08 Digimarc Corporation Systems and methods using digital watermarking and identifier extraction to provide promotional opportunities
JP4736201B2 (ja) 2001-02-19 2011-07-27 ソニー株式会社 情報検索装置及び方法、並びに記憶媒体
US7363278B2 (en) 2001-04-05 2008-04-22 Audible Magic Corporation Copyright detection and protection system and method
US7725918B2 (en) 2001-08-03 2010-05-25 Ericsson Television Inc. Interactive television with embedded universal time codes
US7020304B2 (en) 2002-01-22 2006-03-28 Digimarc Corporation Digital watermarking and fingerprinting including synchronization, layering, version control, and compressed embedding
KR20040081191A (ko) 2002-02-06 2004-09-20 코닌클리케 필립스 일렉트로닉스 엔.브이. 고속 해시-기반 멀티미디어 객체 메타데이터 검색
US7461392B2 (en) 2002-07-01 2008-12-02 Microsoft Corporation System and method for identifying and segmenting repeating media objects embedded in a stream
CN100426861C (zh) 2002-07-01 2008-10-15 微软公司 对嵌于媒介流中的重复对象提供用户控制的系统和方法
CN1726489A (zh) 2002-10-28 2006-01-25 格雷斯诺特有限公司 个人音频录制系统
US7694318B2 (en) 2003-03-07 2010-04-06 Technology, Patents & Licensing, Inc. Video detection and insertion
US20050149968A1 (en) 2003-03-07 2005-07-07 Richard Konig Ending advertisement insertion
WO2005011270A1 (en) 2003-07-21 2005-02-03 Thomson Licensing S.A. Personal video recorder that records through channel change
WO2005011294A1 (ja) 2003-07-28 2005-02-03 Nec Corporation 視聴調査システム
US7788696B2 (en) 2003-10-15 2010-08-31 Microsoft Corporation Inferring information about media stream objects
EP2408126A1 (en) 2004-02-19 2012-01-18 Landmark Digital Services LLC Method and apparatus for identification of broadcast source
CA2576865C (en) 2004-08-09 2013-06-18 Nielsen Media Research, Inc. Methods and apparatus to monitor audio/visual content from various sources
WO2006018790A1 (en) 2004-08-12 2006-02-23 Koninklijke Philips Electronics N.V. Selection of content from a stream of video or audio data
US7516074B2 (en) 2005-09-01 2009-04-07 Auditude, Inc. Extraction and matching of characteristic fingerprints from audio signals
ES2386977T3 (es) 2005-11-29 2012-09-10 Google Inc. Aplicaciones sociales e interactivas para medios masivos
US20070180463A1 (en) 2006-01-19 2007-08-02 Jarman Matthew T Method and apparatus for logging and reporting television viewing
US20070217648A1 (en) 2006-03-02 2007-09-20 Thomas Muehlbauer Fingerprinting Digital Media Content
ES2433966T3 (es) 2006-10-03 2013-12-13 Shazam Entertainment, Ltd. Método para caudal alto de identificación de contenido de radiodifusión distribuido
KR20080046325A (ko) 2006-11-22 2008-05-27 엘지전자 주식회사 지상파 방송의 비상 사태 경보와 관련된 방송 신호, 이를처리하는 방법 및 이를 위한 방송 수신기
JP5390506B2 (ja) 2007-04-13 2014-01-15 アイファロ メディア ゲーエムベーハー ビデオ検出システムおよびビデオ検出方法
US8499316B2 (en) 2007-05-11 2013-07-30 Sony Corporation Program identification using a portable communication device
MX2011001959A (es) 2008-08-18 2012-02-08 Ipharro Media Gmbh Entrega de informacion complementaria.
CN102132341B (zh) * 2008-08-26 2014-11-26 杜比实验室特许公司 鲁棒的媒体指纹
US8185733B2 (en) 2008-10-02 2012-05-22 Ricoh Co., Ltd. Method and apparatus for automatically publishing content based identifiers
GB2465141B (en) 2008-10-31 2014-01-22 Media Instr Sa Simulcast resolution in content matching systems
US8516533B2 (en) 2008-11-07 2013-08-20 Digimarc Corporation Second screen methods and arrangements
US20100205628A1 (en) 2009-02-12 2010-08-12 Davis Bruce L Media processing methods and arrangements
GB2465747A (en) 2008-11-21 2010-06-02 Media Instr Sa Audience measurement system and method of generating reference signatures
GB0904113D0 (en) 2009-03-10 2009-04-22 Intrasonics Ltd Video and audio bookmarking
US8713068B2 (en) 2009-06-11 2014-04-29 Yahoo! Inc. Media identification system with fingerprint database balanced according to search loads
CN101998100B (zh) 2009-08-25 2012-04-11 杨沁沁 加载电视频道识别信息的方法及电视机和遥控器
US8510769B2 (en) 2009-09-14 2013-08-13 Tivo Inc. Media content finger print system
US9031243B2 (en) 2009-09-28 2015-05-12 iZotope, Inc. Automatic labeling and control of audio algorithms by audio recognition
US8886531B2 (en) 2010-01-13 2014-11-11 Rovi Technologies Corporation Apparatus and method for generating an audio fingerprint and using a two-stage query
JP5506507B2 (ja) 2010-03-31 2014-05-28 Ｎｅｃパーソナルコンピュータ株式会社 Ｃｍ検出システム、サーバ、ｃｍ検出方法、プログラム及び記録媒体
US9264785B2 (en) 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
US9159338B2 (en) 2010-05-04 2015-10-13 Shazam Entertainment Ltd. Systems and methods of rendering a textual animation
US8694533B2 (en) * 2010-05-19 2014-04-08 Google Inc. Presenting mobile content based on programming context
US9047371B2 (en) 2010-07-29 2015-06-02 Soundhound, Inc. System and method for matching a query against a broadcast stream
US8649659B2 (en) 2010-10-06 2014-02-11 Motorola Mobility Llc Method and system for transitioning media output among two or more devices
US8863165B2 (en) 2010-11-01 2014-10-14 Gracenote, Inc. Method and system for presenting additional content at a media system
KR20120072198A (ko) 2010-12-23 2012-07-03 한국전자통신연구원 맞춤형 서비스 제공 시스템 및 방법
JP5649470B2 (ja) 2011-01-24 2015-01-07 株式会社ビデオリサーチ 放送メディア測定システム及び方法
CN102176208B (zh) 2011-02-28 2012-12-26 西安电子科技大学 基于三维空时特征的鲁棒视频指纹方法
US9412330B2 (en) 2011-03-15 2016-08-09 Lattice Semiconductor Corporation Conversion of multimedia data streams for use by connected devices
KR101211098B1 (ko) * 2011-04-25 2012-12-11 (주)엔써즈 클라이언트 단말기측으로 네트워크를 통해 방송에 포함된 광고와 연관된 정보를 제공하는 시스템 및 방법
WO2012173267A1 (ja) 2011-06-13 2012-12-20 日本電気株式会社 映像処理システム、映像処理方法、映像処理用データベースの作成方法とそのデータベース、映像処理装置およびその制御方法と制御プログラム
KR101828342B1 (ko) 2011-08-10 2018-02-12 삼성전자 주식회사 방송수신장치, 방송신호 관련 연관정보 제공방법 및 서버
US8805827B2 (en) 2011-08-23 2014-08-12 Dialogic (Us) Inc. Content identification using fingerprint matching
DE102011052981A1 (de) 2011-08-25 2013-02-28 Tente Gmbh & Co. Kg Montageplatte und Rolle, gegebenenfalls mit einer Montageplatte
US9374183B2 (en) 2011-08-30 2016-06-21 Iheartmedia Management Services, Inc. Broadcast source identification based on matching via bit count
US8639178B2 (en) 2011-08-30 2014-01-28 Clear Channel Management Sevices, Inc. Broadcast source identification based on matching broadcast signal fingerprints
US8717499B2 (en) * 2011-09-02 2014-05-06 Dialogic Corporation Audio video offset detector
JP5948773B2 (ja) 2011-09-22 2016-07-06 ソニー株式会社 受信装置、受信方法、プログラム、及び情報処理システム
KR101310943B1 (ko) 2011-09-26 2013-09-23 (주)엔써즈 방송 콘텐츠와 연관된 콘텐츠 연관 정보를 제공하는 시스템 및 방법
KR101873364B1 (ko) 2011-09-27 2018-08-03 삼성전자 주식회사 방송수신장치, 방송신호 관련 연관정보 제공방법
TW201314594A (zh) 2011-09-30 2013-04-01 Hon Hai Prec Ind Co Ltd 財務支出管理系統及方法
JP6071184B2 (ja) 2011-10-26 2017-02-01 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 受信装置、受信方法、プログラム、及び情報処理システム
US9015785B2 (en) 2011-11-29 2015-04-21 Sony Corporation Terminal apparatus, server apparatus, information processing method, program, and linking application supply system
US8510770B1 (en) 2012-02-03 2013-08-13 Google Inc. Predicting live programs
US8832723B2 (en) 2012-02-07 2014-09-09 Turner Broadcasting System, Inc. Method and system for a synchronous event manager for automatic content recognition
US20150020094A1 (en) 2012-02-10 2015-01-15 Lg Electronics Inc. Image display apparatus and method for operating same
US9516365B2 (en) 2012-03-05 2016-12-06 Lg Electronics Inc. Video display apparatus and operating method thereof
US9292894B2 (en) 2012-03-14 2016-03-22 Digimarc Corporation Content recognition and synchronization using local caching
US8768003B2 (en) 2012-03-26 2014-07-01 The Nielsen Company (Us), Llc Media monitoring using multiple types of signatures
US20140013352A1 (en) 2012-07-09 2014-01-09 Tvtak Ltd. Methods and systems for providing broadcast ad identification
KR101396413B1 (ko) 2012-05-07 2014-05-19 주식회사 마크애니 디지털 핑거프린팅을 이용한 정보 제공 시스템 및 방법
US8719884B2 (en) 2012-06-05 2014-05-06 Microsoft Corporation Video identification and search
US9251406B2 (en) 2012-06-20 2016-02-02 Yahoo! Inc. Method and system for detecting users' emotions when experiencing a media program
CN104584571B (zh) * 2012-06-28 2018-01-09 谷歌公司 在机顶盒处产生音频指纹序列
US8843952B2 (en) * 2012-06-28 2014-09-23 Google Inc. Determining TV program information based on analysis of audio fingerprints
US8898692B2 (en) 2012-07-19 2014-11-25 Cox Communications, Inc. Systems, methods, and apparatus for delivering content
JP6042675B2 (ja) 2012-09-21 2016-12-14 株式会社ビデオリサーチ 視聴状況調査システム及び方法、視聴状況調査処理プログラム、視聴状況計算装置
US9081778B2 (en) 2012-09-25 2015-07-14 Audible Magic Corporation Using digital fingerprints to associate data with a work
CN103581705A (zh) 2012-11-07 2014-02-12 深圳新感易搜网络科技有限公司 视频节目识别方法和系统
US9323840B2 (en) 2013-01-07 2016-04-26 Gracenote, Inc. Video fingerprinting
US9495451B2 (en) 2013-01-07 2016-11-15 Gracenote, Inc. Identifying video content via fingerprint matching
US9146990B2 (en) 2013-01-07 2015-09-29 Gracenote, Inc. Search and identification of video content
KR101369475B1 (ko) 2013-01-23 2014-03-06 (주)엔써즈 방송 시청률 조사 시스템 및 방법
WO2014129803A1 (en) 2013-02-21 2014-08-28 Lg Electronics Inc. Video display apparatus and operating method thereof
US9247309B2 (en) 2013-03-14 2016-01-26 Google Inc. Methods, systems, and media for presenting mobile content corresponding to media content
US8966521B2 (en) 2013-03-14 2015-02-24 The Nielsen Company (Us), Llc Methods and apparatus to present supplemental media on a second screen
US10212490B2 (en) 2013-03-15 2019-02-19 DISH Technologies L.L.C. Pre-distribution identification of broadcast television content using audio fingerprints
CN103226780A (zh) 2013-03-29 2013-07-31 新好耶信息技术（上海）有限公司 确定广告位频道的方法及广告投放服务器
CN105190618B (zh) 2013-04-05 2019-01-25 杜比实验室特许公司 用于自动文件检测的对来自基于文件的媒体的特有信息的获取、恢复和匹配
US9161074B2 (en) * 2013-04-30 2015-10-13 Ensequence, Inc. Methods and systems for distributing interactive content
CN103634613B (zh) 2013-08-15 2016-12-28 北京中视广信科技有限公司 移动终端与广播电视频道自动同步的方法及系统
WO2015033500A1 (ja) 2013-09-04 2015-03-12 パナソニックＩｐマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
US9275427B1 (en) 2013-09-05 2016-03-01 Google Inc. Multi-channel audio video fingerprinting
CN103501449A (zh) 2013-10-08 2014-01-08 十分（北京）信息科技有限公司 与电视节目关联的视频源推荐方法及推荐装置
CN103533459B (zh) 2013-10-09 2017-05-03 北京中科模识科技有限公司 一种新闻视频条目拆分的方法和系统
US9465995B2 (en) 2013-10-23 2016-10-11 Gracenote, Inc. Identifying video content via color-based fingerprint matching
US9325646B2 (en) 2013-10-28 2016-04-26 Verizon Patent And Licensing Inc. Providing contextual messages relating to currently accessed content
US9420349B2 (en) * 2014-02-19 2016-08-16 Ensequence, Inc. Methods and systems for monitoring a media stream and selecting an action
KR102166423B1 (ko) 2014-03-05 2020-10-15 삼성전자주식회사 디스플레이 장치, 서버 장치 및 디스플레이 장치의 이벤트 정보 제공 방법
US20150302086A1 (en) 2014-04-22 2015-10-22 Gracenote, Inc. Audio identification during performance
CN104093079B (zh) 2014-05-29 2015-10-07 腾讯科技（深圳）有限公司 基于多媒体节目的交互方法、终端、服务器和系统
US10200765B2 (en) 2014-08-21 2019-02-05 Panasonic Intellectual Property Management Co., Ltd. Content identification apparatus and content identification method
US9497505B2 (en) 2014-09-30 2016-11-15 The Nielsen Company (Us), Llc Systems and methods to verify and/or correct media lineup information
US9805099B2 (en) 2014-10-30 2017-10-31 The Johns Hopkins University Apparatus and method for efficient identification of code similarity
EP3213232A1 (en) 2014-10-30 2017-09-06 Pearson Education, Inc. Content database generation
US9667321B2 (en) 2014-10-31 2017-05-30 Pearson Education, Inc. Predictive recommendation engine
US9258604B1 (en) 2014-11-24 2016-02-09 Facebook, Inc. Commercial detection based on audio fingerprinting
CN104598541A (zh) 2014-12-29 2015-05-06 乐视网信息技术（北京）股份有限公司 多媒体文件的识别方法、装置
US20160316261A1 (en) 2015-04-23 2016-10-27 Sorenson Media, Inc. Automatic content recognition fingerprint sequence matching
US9516377B1 (en) 2015-06-12 2016-12-06 Sorenson Media, Inc. Detecting channel change in automatic content recognition fingerprint matching
GB2558095B (en) 2015-08-13 2020-04-01 Arris Entpr Llc System and method for detecting advertisements in multimedia assets
US9900636B2 (en) 2015-08-14 2018-02-20 The Nielsen Company (Us), Llc Reducing signature matching uncertainty in media monitoring systems
KR101757878B1 (ko) * 2015-12-10 2017-07-14 삼성전자주식회사 컨텐츠 처리장치, 그의 컨텐츠 처리방법, 서버, 서버의 정보 제공방법 및 정보제공 시스템
KR102560635B1 (ko) * 2015-12-28 2023-07-28 삼성전자주식회사 컨텐트 인식 장치 및 그 동작 방법
US9930406B2 (en) * 2016-02-29 2018-03-27 Gracenote, Inc. Media channel identification with video multi-match detection and disambiguation based on audio fingerprint

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9094715B2 (en) * 2009-05-29 2015-07-28 Cognitive Networks, Inc. Systems and methods for multi-broadcast differentiation
US20140196077A1 (en) * 2013-01-07 2014-07-10 Gracenote, Inc. Authorizing devices based on identifying content distributor

Also Published As

Publication number Publication date
HK1256881B (zh) 2020-07-03
KR102299754B1 (ko) 2021-09-09
US20210329333A1 (en) 2021-10-21
US11412296B2 (en) 2022-08-09
US20170251249A1 (en) 2017-08-31
US20180310057A1 (en) 2018-10-25
US10631049B2 (en) 2020-04-21
EP3424224A4 (en) 2019-07-31
CN110516111A (zh) 2019-11-29
JP2019507515A (ja) 2019-03-14
KR102024105B1 (ko) 2019-09-23
EP3424224B1 (en) 2022-03-30
CN108702543A (zh) 2018-10-23
KR20180105750A (ko) 2018-09-28
WO2017151591A1 (en) 2017-09-08
JP6556365B2 (ja) 2019-08-07
US9930406B2 (en) 2018-03-27
JP7161516B2 (ja) 2022-10-26
US10149007B2 (en) 2018-12-04
CN108702543B (zh) 2019-08-30
JP2021073755A (ja) 2021-05-13
EP3424224A1 (en) 2019-01-09
US20180109841A1 (en) 2018-04-19
JP6818093B2 (ja) 2021-01-20
US20200221173A1 (en) 2020-07-09
US20190182541A1 (en) 2019-06-13
US10440430B2 (en) 2019-10-08
US11089360B2 (en) 2021-08-10
JP2019220958A (ja) 2019-12-26

Similar Documents

Publication Publication Date Title
KR102024105B1 (ko) 오디오 핑거프린트 기반의 비디오 멀티-매칭 검출 및 명확화를 통한 미디어 채널 식별
US11012738B2 (en) Media channel identification with multi-match detection and disambiguation based on location
US11627372B2 (en) Media channel identification with multi-match detection and disambiguation based on single-match

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right