JP7161516B2 - ビデオ複数一致検出とオーディオフィンガープリントに基づく曖昧性排除とを用いたメディアチャネル識別 - Google Patents

ビデオ複数一致検出とオーディオフィンガープリントに基づく曖昧性排除とを用いたメディアチャネル識別 Download PDF

Info

Publication number
JP7161516B2
JP7161516B2 JP2020216275A JP2020216275A JP7161516B2 JP 7161516 B2 JP7161516 B2 JP 7161516B2 JP 2020216275 A JP2020216275 A JP 2020216275A JP 2020216275 A JP2020216275 A JP 2020216275A JP 7161516 B2 JP7161516 B2 JP 7161516B2
Authority
JP
Japan
Prior art keywords
presentation device
media presentation
fingerprint
media content
media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020216275A
Other languages
English (en)
Other versions
JP2021073755A (ja
Inventor
チュン ウォン ソ
ユンモー クォン
ジェヒョン リー
Original Assignee
ロク インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/179,143 external-priority patent/US9924222B2/en
Priority claimed from US15/222,405 external-priority patent/US10063918B2/en
Application filed by ロク インコーポレイテッド filed Critical ロク インコーポレイテッド
Publication of JP2021073755A publication Critical patent/JP2021073755A/ja
Application granted granted Critical
Publication of JP7161516B2 publication Critical patent/JP7161516B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/48Matching video sequences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/38Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space
    • H04H60/41Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast space, i.e. broadcast channels, broadcast stations or broadcast areas
    • H04H60/43Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast space, i.e. broadcast channels, broadcast stations or broadcast areas for identifying broadcast channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/58Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of audio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/59Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H04N21/4586Content update operation triggered locally, e.g. by comparing the version of software modules in a DVB carousel to the version stored locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6118Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving cable transmission, e.g. using a cable modem
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8352Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors

Description

関連出願の参照
本出願は、2016年7月28日に出願された米国特許出願第15/222,405号と、2016年6月10日に出願された米国特許出願第15/179,143号との一部継続出願であり、2016年2月29日に出願された米国仮特許出願第62/301,616号の優先権を主張する、2016年8月31日に出願された米国特許出願第15/253,354号の優先権を主張する。これらの優先権出願の各々の全体は参照により本明細書に組み込まれる。さらに、米国特許出願公開第2015/0181263号の開示は、それの全体が参照により本明細書に組み込まれる。
典型的なメディア提示デバイスは、ビデオおよびオーディオ成分を有するメディアコンテンツを表すアナログまたはデジタルメディアストリームを受信し、ディスプレイスクリーンとオーディオスピーカーとを含むユーザインターフェース上にメディアコンテンツを表示し出力するように動作する。そのようなデバイスの例は、限定はしないが、テレビジョン、(たとえば、別個のまたは統合されたビデオ提示およびオーディオ提示構成要素を有する)マルチメディア提示システムなどを含む。
多くの場合、そのようなメディア提示デバイスは、メディアコンテンツの多数の個別チャネルへのアクセスを有し、所与のそのようなチャネルのメディアコンテンツをプレイアウトのためにメディア提示デバイスに選択的に送出することができる、ローカルセットトップボックスもしくは他の同様のデバイスまたはリモートサーバなどの受信機と通信していることがある。
例として、テレビジョンが、ケーブルTVチャネルのセットへのアクセスを有するケーブルTVセットトップボックスに通信可能にリンクされることがあり、セットトップボックスは、特定のチャネルを選択しているユーザ入力を受信し、選択されたチャネルに応答的に同調して、選択されたチャネルのビデオおよびオーディオ成分をテレビジョンに出力するように構成されることができ、テレビジョンは、それらのビデオおよびオーディオ成分をユーザへの提示のために表示するように構成されることができる。そして、別の例として、別個のまたは統合されたディスプレイおよびラウドスピーカー構成要素を有するマルチメディア提示システムが、無数のテレビジョンまたはオンラインストリーミングメディアチャネルへのアクセスを有するコンピュータ、セットトップボックス、または他の受信機に通信可能にリンクされることがあり、受信機は、特定のチャネルを選択しているユーザ入力を受信し、選択されたチャネルの受信を応答的に開始し、メディアコンテンツのオーディオ成分をユーザへの提示のためにラウドスピーカーに提供しながら、チャネルのビデオ成分をユーザへの提示のためにディスプレイに提供するように構成されることができる。
メディア提示デバイスがメディアコンテンツを受信し表示するとき、メディア提示デバイスは、どのチャネルがメディアコンテンツを搬送したかを示すものを有しないことがある。チャネルに選択的に同調してメディアコンテンツを受信し、メディアコンテンツをメディア提示デバイスに提供する受信機または他のデバイスはそのような情報を有することができるが、上記他のデバイスからメディアコンテンツを受信するメディア提示デバイスはそのような情報を有しないことがある。たとえば、テレビジョンがケーブルTVセットトップボックスに結合され、ユーザがセットトップボックス上で特定のケーブルチャネルを選択した場合、セットトップボックスは、それにより、そのチャネルとして選択されたチャネルを示すものを有することができ、セットトップボックスは、次いで、そのチャネル上のメディアコンテンツを受信し、メディアコンテンツはテレビジョンに出力される。しかし、テレビジョン自体は、メディアコンテンツを受信し表示するだけでよく、選択されたチャネルを示すものを有しないことがある。
しかしながら、様々な理由により、様々なチャネルのうちのどれが、メディア提示デバイスによって表示されているコンテンツを搬送するチャネルであるかを決定することが有用であることができる。さらに、チャネル選択デバイス(たとえば、受信機またはリモートコントロール)が同調されたチャネルの報告をそのデバイスから受信することなしに、および場合によってはチャネル選択デバイスのいかなる関与もなしにそのように行うことが有用であることができる。たとえば、メディア提示デバイス自体、および/またはメディア提示デバイスと協働して動作しているネットワークサーバが、メディア提示デバイスによって表示されている(たとえば、すでに表示されているか、現在表示されているか、または表示されるためにキュー中にある)メディアコンテンツの評価に基づいてチャネルを決定することが有用であることができる。メディアコンテンツがその上に到着しているチャネルの知識が与えられれば、メディア提示デバイス、ネットワークサーバ、および/または別のエンティティは、次いで、多数の可能性の中でも、そのチャネルのメディアコンテンツが再生されている程度を決定し記録すること、メディアコンテンツの所定の部分を(差し替え広告などの)代替コンテンツと選択的に差し替えること、またはメディアコンテンツとともに提示のためにメディアコンテンツ上にチャネル固有コンテンツを重ね合わせることなど、チャネルにキーイングされた1つまたは複数の動作を行うことができる。
メディアコンテンツがその上に到着しているチャネルを決定するための1つの方法は、メディア提示デバイス(もしくは場合によっては補助デバイス)および/またはネットワークサーバに、メディア提示デバイスによって表示されているメディアコンテンツのデジタルフィンガープリントを生成させ、次いで、そのフィンガープリントを、特定のチャネル上に提供されるべきことが知られているメディアコンテンツについて確定された(established)参照フィンガープリントデータと比較することである。
たとえば、ネットワークサーバまたは他のそのようなエンティティは、参照データへのアクセスを確立するかまたはさもなければ有することができ、この参照データは、メディア提示デバイスにメディアコンテンツを提供するために利用可能なチャネルの各々(たとえば、メディア提示デバイスにメディアコンテンツを供給するセットトップボックスのための加入プラン内のチャネルの各々)の参照ビデオフィンガープリントを含み、各参照ビデオフィンガープリントを、メディアコンテンツがその上で提供されるチャネルにマッピングする。メディア提示デバイスが所与のメディアコンテンツを受信し表示すると、メディア提示デバイスは、次いで、そのメディアコンテンツのビデオフィンガープリントを生成し、ネットワーク通信インターフェースを通して、生成されたビデオフィンガープリントを分析のためにネットワークサーバに報告することができる。ネットワークサーバは、次いで、報告されたビデオフィンガープリントを参照ビデオフィンガープリントデータと比較して、参照ビデオフィンガープリントとの一致を発見し、それにより、メディアコンテンツがその上に到着しているチャネルが、参照データがその参照ビデオフィンガープリントとマッピングするチャネルであると決定することができる。それにより、メディアコンテンツがその上に到着しているチャネルを決定すると、ネットワークサーバは、次いで、メディア提示デバイスにチャネルを示すものを通信することができる、メディア提示デバイスはチャネル固有アクションを取ることができる。代替的に、ネットワークサーバ自体または別のエンティティが、決定されたチャネルに基づいてチャネル固有アクションを取ることができる。
しかしながら、残念ながら、このプロセスにおいて起こることができる問題は、同じメディアコンテンツが、同時にかまたは異なる時間にかにかかわらず、複数の異なるチャネル上に提供されることができ、したがって、メディア提示デバイスによって表示されているメディアコンテンツのビデオフィンガープリントが、メディアコンテンツがその上に到着しているチャネルのみと相関しないことがあることである。たとえば、スポーツゲームもしくは政治イベントが、複数の異なるチャネル上で同時にブロードキャストされることができるか、またはシンジケート化されたテレビジョンもしくはラジオショーが、同時にもしくは異なる時間に複数の異なるそのようなチャネル上でブロードキャストされることができる。これらまたは他のシナリオでは、メディア提示デバイスがそのようなメディアコンテンツを提示しており、メディアコンテンツのビデオフィンガープリントを生成し提供する場合、そのビデオフィンガープリントは複数の参照ビデオフィンガープリントにマッピングされることができ、したがってチャネル識別は決定的にならないであろう。
これの特定の例として、2つの異なるコンテンツプロバイダが、別個のそれぞれのチャネル上でそれぞれ、両方とも同じスポーツゲームをブロードキャストし、広告主が、ゲームについてのそのプロバイダのブロードキャスト上でポップアップ広告を提示するために、コンテンツプロバイダのうちただ1つと契約を有するシナリオを検討されたい。このシナリオでは、メディア提示デバイスがこれらのブロードキャストのうちの1つを受信し提示しているとき、メディア提示デバイスがブロードキャストのビデオフィンガープリントを生成しネットワークサーバに提供した場合、ネットワークサーバは、ビデオフィンガープリントが、ゲームについての両方のコンテンツプロバイダのブロードキャストに一致すると決定することがあり、したがって、メディア提示デバイスがポップアップ広告を提示すべきか否かが不明瞭になることができる。
本明細書では、メディアコンテンツのビデオフィンガープリントデータが、複数の異なるチャネルとそれぞれ対応する複数の参照ビデオフィンガープリントに一致するシナリオにおいて、チャネル識別を曖昧性を排除するのを助けるための方法およびシステムが開示される。本開示によれば、ネットワークサーバまたは他のエンティティがそのような複数一致の状況を検出したとき、そのエンティティは、次いで、メディアコンテンツのオーディオ成分に基づいて曖昧性排除を実施する。特に、エンティティは、当該のメディアコンテンツのビデオフィンガープリントが、複数の異なるチャネルの参照ビデオフィンガープリントに一致すると決定することによって、複数一致のシナリオを最初に検出することができる。その検出された複数一致のシナリオに直面すると、エンティティは、次いで、当該のメディアコンテンツのオーディオフィンガープリントが複数のチャネルのうちのただ1つのオーディオフィンガープリントに一致するというさらなる決定に基づいて曖昧性排除を実施し、それにより、チャネル固有アクションを取ることを可能にするために、それは、メディア提示デバイスによって表示されているメディアコンテンツがその上に到着しているチャネルであることを確定する。
実際には、この曖昧性排除のための基礎を形成するオーディオは、メディアコンテンツの言語トラックであることができる。たとえば、複数のチャネルは互いに同じビデオトラックを有することができるが、それらは、1つのオーディオトラックは英語の音声で記録されるかまたは吹き替えられ、別のオーディオトラックはスペインの音声でまたは別の言語もしくは音声で記録されるかまたは吹き替えられるなど、互いに異なるオーディオトラックを有することができる。この状況は、たとえば、同じブロードキャストが異なるチャネル上で提供されるが、異なる言語を話すユーザによる受信および享受を可能にするためにチャネルが異なる言語を有する場合に起こることができる。そのようなチャネルのビデオトラックにキーイングされた複数一致の状況に直面すると、このプロセスを行っているエンティティは、チャネルのうちのどれが、メディア提示デバイスによって表示されているチャネルであるかを決定するための基礎として、表示されているメディアコンテンツのオーディオフィンガープリントを使用することができる。
代替または追加として、この曖昧性排除のための基礎を形成するオーディオは、たとえば、バックグラウンドミュージック、サウンドエフェクト、および/または他のオーディオ成分を含む、他の形態を取ることができる。
したがって、オーディオフィンガープリントに基づいて曖昧性排除を通して決定されたチャネルに基づいてアクションを取ることを含む方法が開示される。本方法は、メディア提示デバイスによって表示されているメディアコンテンツのビデオフィンガープリントが、異なるそれぞれのチャネルとそれぞれ対応する複数の参照ビデオフィンガープリントに一致するとコンピューティングシステムが決定することを含む。さらに、本方法は、ビデオフィンガープリントが、異なるそれぞれのチャネルとそれぞれ対応する複数の参照ビデオフィンガープリントに一致すると少なくとも決定することに応答して、メディア提示デバイスによって表示されているメディアコンテンツのオーディオフィンガープリントが、ただ単一のチャネルと対応する参照オーディオフィンガープリントに一致するという決定に少なくとも部分的に基づいて曖昧性排除を実施することを含み、曖昧性排除は、メディア提示デバイスが単一のチャネル上でメディアコンテンツを受信していることを確定する。そして、本方法は、メディア提示デバイスが単一のチャネル上でメディアコンテンツを受信していることを確定することに基づいてアクションを取ることを含む。
さらに、ネットワーク通信インターフェースと、処理ユニットと、非一時的データストレージと、非一時的データストレージ中に(たとえば、その上に)記憶され、様々な動作を行うように処理ユニットによって実行可能なプログラム命令とを含むシステムが開示される。動作は、メディア提示デバイスによって表示されているメディアコンテンツのビデオフィンガープリントを、ネットワーク通信インターフェースを介してメディア提示デバイスから受信することを含む。さらに、動作は、受信されたビデオフィンガープリントが、複数のチャネルと対応する参照ビデオフィンガープリントに一致すると決定することを含む。またさらに、動作は、メディア提示デバイスによって表示されているメディアコンテンツのオーディオフィンガープリントを、ネットワーク通信インターフェースを介してメディア提示デバイスから受信することを含む。そして、動作は、複数のチャネルのうちのどれが、メディア提示デバイスによって表示されているメディアコンテンツを搬送するかを決定するために、受信されたオーディオフィンガープリントを使用することを含む。動作は、その上、決定されたチャネルに基づいてアクションを取ることを含む。
そして、またさらに、本明細書で説明される動作など、様々な動作を行うように処理ユニットによって実行可能な命令を記憶した非一時的コンピュータ可読媒体が開示される。
これらならびに他の態様、利点、および代替形態は、必要に応じて添付の図面を参照しながら、以下の詳細な説明を読むことによって当業者に明らかになろう。さらに、この概要および以下において提供される説明は、本発明を例として示すものにすぎず、限定として示すものではないことを理解されたい。
様々な開示される原理が適用されることができる例示的なシステムの簡略ブロック図である。 様々な開示される原理を実装することを可能にするためにメディア提示デバイスがネットワークサーバと通信する、例示的なネットワーク構成の簡略ブロック図である。 本開示に従って行われることができる動作を示すフローチャートである。 例示的なネットワークサーバの簡略ブロック図である。 例示的なメディア提示デバイスの簡略ブロック図である。
図面を参照すると、図1は、様々な開示される原理が適用されることができる例示的なシステムの簡略ブロック図である。しかしながら、本明細書で説明されるこのおよび他の構成およびプロセスは様々な他の形態を取ることができることを理解されよう。たとえば、要素および動作は、並べ替え、分散、複製、合成、省略、追加、またはさもなければ修正されることができる。さらに、1つまたは複数のエンティティによって実行されるものとして本明細書で説明される機能は、プログラム命令などを実行する1つまたは複数の処理ユニットによってなど、ハードウェア、ファームウェア、および/またはソフトウェアを通して、それらのエンティティによっておよび/またはそれらのために実装されることができることを理解されよう。
図1に示されているように、例示的なシステムは、1つまたは複数のメディアコンテンツソース12(たとえば、ブロードキャスター、ウェブサーバなど)と、1つまたは複数のメディアコンテンツ配信者14(たとえば、ケーブルプロバイダ、衛星プロバイダ、オーバージエアブロードキャストプロバイダ、ウェブアグリゲータなどのマルチチャネル配信者)と、1つまたは複数のメディアコンテンツ受信機16(たとえば、ケーブル受信機、衛星受信機、オーバージエアブロードキャスト受信機、コンピュータまたは他のストリーミングメディア受信機など)と、1つまたは複数のクライアントまたはメディア提示デバイス18(たとえば、テレビジョンまたは他のディスプレイデバイス、ラウドスピーカーまたは他のオーディオ出力デバイスなど)とを含む。
実際には、たとえば、メディアコンテンツソース12は、ABC、NBC、CBS、FOX、HBO、およびCNNなどの全国的ブロードキャスターであることができ、メディアコンテンツ配信者14は、特定の指定されたマーケットエリア(DMA)内のローカルアフィリエイトおよび/または他のローカルコンテンツ配信者であることができ、受信機16およびメディア提示デバイス18は、さらに、自宅または事業施設など、顧客構内に位置することができる。この構成または他の構成を用いて、コンテンツソース12は、顧客構内における受信機16への配信のためにコンテンツ配信者14にメディアコンテンツを配信することができ、コンテンツ配信者は、個別チャネル(たとえば、特定の周波数)上で受信機16にメディアコンテンツを配信することができる。各受信機は、次いで、ユーザ入力または1つもしくは複数の他のトリガに応答して、選択されたチャネルに同調し、選択されたチャネル上に到着しているメディアコンテンツをメディア提示デバイス18に出力することができる。そして、メディア提示デバイス18は、メディアコンテンツを受信し表示することができる(たとえば、コンテンツを表示するかまたはさもなければ提示することができる)。
この構成では、メディア提示デバイスがこのメディアコンテンツを受信し表示するとき、メディア提示デバイスは、メディアコンテンツがその上に到着しているチャネルについての、すなわち、受信機が同調されるチャネルについて示すものを有しないことがある。そうではなく、メディア提示デバイスは、受信機からメディアストリームとしてメディアコンテンツを受信し、受信されたメディアコンテンツを表示するように構成されるだけであることができる。しかしながら、本開示によれば、メディア提示デバイスは、ネットワークサーバと通信していてよく、チャネルの識別を可能にし、このようにして有用なチャネル固有アクションを取ることを可能にするためにネットワークサーバとともに動作することができる。
メディア提示デバイス18受信機16からメディアコンテンツのチャネルを受信し、メディアコンテンツをユーザへの提示のために表示するように構成されている。この構成では、メディア提示デバイスは、統合されたまたは別個のビデオおよびオーディオ提示構成要素(たとえば、ビデオディスプレイモジュールおよび関連するソフトウェア/ハードウェアならびにオーディオ出力モジュールおよび関連するソフトウェア/ハードウェア)を含むテレビジョンまたは他のシステムなど、上記で説明されたタイプであることができる。そして、受信機は、メディアコンテンツの様々なチャネルのいずれかに選択的に同調しそれを出力するように構成された、ケーブルTVセットトップボックス、コンピュータなど、上記で説明されたタイプであることができる。実際には、メディア提示デバイスは、受信機が同調されたチャネルのビデオおよびオーディオ成分(たとえば、ビデオおよびオーディオトラック)を受信機から受信することを可能にするために、受信機との1つまたは複数の接続(たとえば、ワイヤードまたはワイヤレス接続)を有することができる。そして、メディア提示デバイスのビデオおよびオーディオ提示構成要素は、次いで、受信機から受信されているビデオおよびオーディオをユーザへの提示のために表示するように動作することができる。
は、次に、そのようなメディア提示デバイス18がインターネットなどのネットワーク22を介してネットワークサーバ20と通信している例示的なネットワーク構成を示す。実際には、メディア提示デバイス18は、顧客構内においてローカルエリアネットワーク(LAN)上にノードとして位置することができ、メディア提示デバイスは、LAN上に割り当てられたインターネットプロトコル(IP)アドレスを有し、LANはインターネット上にIPアドレスを有する。さらに、ネットワークサーバ20も、インターネット上のIPアドレスにおいてアクセス可能であることができる。この構成を用いて、メディア提示デバイスは、チャネル識別および関連するアクションを可能にするように、メディア提示デバイスによって表示されているメディアコンテンツのフィンガープリントを報告するために、インターネットを介してネットワークサーバとのIP通信を開始しそれに関与することができる。
上記で説明されたように、本開示に従って動作するネットワークサーバ20または別のエンティティは、少なくともメディア提示デバイス18にとってアクセス可能な様々なチャネルの各々の上で搬送されるかまたは搬送されるようにスケジュールされたメディアコンテンツのための参照データ24へのアクセスを確立するかまたは有することができる。
リレーショナルデータベースまたは他の形態で記憶されることができる参照データは、各チャネルの1つまたは複数の参照フィンガープリントを、場合によっては、チャネルによって最も最近搬送された(たとえば、最も直近の時間期間をカバーしているスライディングウィンドウベース上の)メディアコンテンツの参照フィンガープリントストリームを含むことができる。代替または追加として、参照データは、特定のチャネル上で搬送されるために利用可能および/またはスケジュールされた各メディアコンテンツ番組(たとえば、テレビジョン放送、ストリーミングメディアファイルなど)の1つまたは複数のそれぞれの参照フィンガープリント(たとえば、参照フィンガープリントストリーム)を含むことができる。さらに、参照データは、各参照フィンガープリントを、関連するメディアコンテンツ(すなわち、参照ビデオおよびオーディオフィンガープリントによって一意に識別されるコンテンツ)がその上で搬送されるかまたは搬送されることができるチャネルにマッピングすることができる。
最適には、たとえば、各チャネルの参照データは、チャネルのビデオ成分の参照ビデオフィンガープリントと、チャネルのオーディオ成分の参照オーディオフィンガープリントとを含むことができる。たとえば、各チャネルについて、参照データは、データ記録に関連して、それぞれの参照ビデオフィンガープリント(たとえば、参照ビデオフィンガープリントストリーム)と、それぞれのオーディオフィンガープリント(たとえば、参照オーディオフィンガープリントストリーム)とを記憶することができる。そして、参照データは、データ記録に関連して、関連するチャネルとのマッピングをさらに含み、記憶することができる。
参照フィンガープリントをチャネルにマッピングすることにおいて、参照データは、チャネルを互いに区別するのを助けるためにチャネルを様々な属性によって特徴づけることができる。たとえば、受信機または他のそのようなデバイスが、チャネル番号によって選択可能な複数の異なるチャネルを提供する場合、参照データは、それらのそれぞれのチャネル番号によってチャネルを特徴づけることができる。そして、別の例として、各チャネルが、たとえば特定のブロードキャスターの1つのコンテンツなど、特定のコンテンツソースのコンテンツを搬送する場合、参照データは、それらのそれぞれのコンテンツソースの識別情報によってチャネルを特徴づけることができる。またさらに、2つ以上のコンテンツ配信者(たとえば、マルチチャネル配信者)がコンテンツソースのコンテンツを配信する場合、参照データは、それらのそれぞれのコンテンツ配信者の識別情報によってチャネルを特徴づけることができる。実際には、参照データは、各参照フィンガープリントをこれらまたは他の属性のうちの1つまたは複数と相関させることができる。
本開示に従って動作するネットワークサーバ20または他のエンティティは、様々なチャネルの各々上に到着しているメディアコンテンツ(たとえば、少なくとも、メディア提示デバイスにサーブする受信機にとって利用可能である様々なチャネルの各々上に到着しているメディアコンテンツ)を分析することによってこの参照データの一部または全部を確定することができる。これを可能にするために、図示のように、サーバは、受信機が顧客構内においてコンテンツを受信するように構成されることができるのとほとんど同じ方法で、様々なチャネル上でメディアコンテンツ配信者14のうちの1つまたは複数からメディアコンテンツを受信するように構成された1つまたは複数の受信機16を含むかまたはそれと相互接続されることができる。たとえば、サーバは、1つもしくは複数のケーブルTVセットトップボックス、コンピュータ、もしくは他のメディア受信機を含むかもしくはそれと相互接続されることができるか、または1つもしくは複数のそのような受信機をエミュレートするように構成されることができる。サーバは、その場合、各チャネル上に到着しているそれぞれのメディアコンテンツを受信し分析し、現在知られているかまたは後で開発される何らかのメディアフィンガープリンティングプロセス(たとえば、フレームまたは他の単位ごとにハッシュを計算すること、またはさもなければメディアコンテンツに固有の成分特徴を識別し、抽出し、デジタル的に表現すること)を使用して、各チャネルについてチャネルのビデオ成分の参照ビデオフィンガープリントとチャネルのオーディオ成分のオーディオフィンガープリントの両方を生成するように構成されることができる。
実際には、サーバは、複数のそのようなチャネル(場合によってはチャネルのすべて)の上で同時に受信し、チャネルについてそれぞれのフィンガープリントを並列に分析し生成するように構成されることができるか、またはサーバは、各チャネルについてそれぞれのビデオおよびオーディオフィンガープリントを分析し生成するために、場合によってはチャネルを繰り返し巡回して、チャネルからチャネルにホッピングするように構成されることができる。さらに、サーバは、参照のために、各チャネルについてメディアコンテンツの少なくとも最も直近の時間ウィンドウのそれぞれのビデオおよびオーディオフィンガープリントを保存して、これをリアルタイムで行い続けることができる。そして、サーバは、(たとえば、上述された属性などの属性を用いた)チャネルの特徴づけと、関連するメディアコンテンツの受信の時間を示すタイムスタンプ情報とに関連して、参照データ中に各チャネルの参照フィンガープリントを記録することができる。ここで、サーバは、まさに受信機が同調されたチャネルについての知識を受信機が通常有するはずであるように、各チャネルについての知識(たとえば、チャネル番号)を有するはずである。さらに、サーバは、サーバが各参照フィンガープリントストリームまたはチャネル記録についてそれぞれチャネル属性を決定し記録することができるように、そのようなチャネルの各々の属性を指定するガイド情報または他のそのようなデータ(たとえば、コンテンツソース識別情報、コンテンツ配信者識別情報など)へのアクセスを有することができる。
代替または追加として、サーバは、特定のチャネル上で利用可能であるかまたは提供されるようにスケジュールされたメディアコンテンツ番組のためのそのようなビデオおよびオーディオ参照フィンガープリントを受信するかまたは場合によっては確定することができる。たとえば、様々なメディアコンテンツ番組のプロバイダまたは配信者は、現在知られているかまたは後で開発される何らかのメディアフィンガープリンティングプロセスをこの場合も使用して、メディアコンテンツ番組のための参照ビデオおよびオーディオフィンガープリントを生成することができ、それらの参照フィンガープリントはサーバに提供されることができる。代替的に、サーバは、メディアコンテンツ番組のアドバンスコピーを受信することができ、それ自体でそのような参照フィンガープリントを生成することができる。さらに、サーバは、メディアコンテンツ番組がその上で利用可能であるかまたは提供されるようにスケジュールされたチャネルと、場合によってはメディアコンテンツが提供されるようにスケジュールされた日および時間とを受信するかまたは番組ガイド情報から決定することができる。サーバは、次いで、同様に関連するチャネル属性とともに、メディアコンテンツ番組がその上で利用可能であるかまたは搬送されるようにスケジュールされたチャネルに関連して、そして、場合によってはメディアコンテンツ番組が提供されるようにスケジュールされた日および時間に関連して、参照データ中に各メディアコンテンツ番組の参照フィンガープリントを記録することができる。
またさらに、サーバは、チャネル識別を可能にするために、各チャネルまたはメディアコンテンツ番組についてそれぞれ、参照オーディオフィンガープリントではなく、参照ビデオフィンガープリントだけを概して確定することができる。そして、サーバは、その場合、1つまたは複数の特定のチャネルに関してビデオ複数一致の状況が存在するという決定に応答して、その複数一致の状況を解決するのを次いで助けるために、それらのチャネルの各々の参照オーディオフィンガープリントを確定することを開始することができる。
これまたは他のそのような参照データが与えられれば、サーバが、未知のチャネル上で受信されたメディアコンテンツのフィンガープリントを提示されたとき、サーバは、現在知られているかまたは後で開発される何らかのフィンガープリント一致プロセスを使用して、そのフィンガープリントを、記憶された参照フィンガープリントのうちの1つに一致させることができ、それにより、当該のメディアコンテンツは、参照データが、一致する参照フィンガープリントにマッピングしているチャネル上に到着したと結論することができる。このようにして、サーバが、メディア提示デバイス18によって表示されているメディアコンテンツのフィンガープリントに直面した場合、サーバは、そのフィンガープリントを参照データ中の参照フィンガープリントと比較することができる。そして、サーバが、一致する参照フィンガープリントをそれにより発見した場合、サーバは、参照データが、一致する参照フィンガープリントとマッピングしているチャネルを識別することができ、それが、メディア提示デバイスがその上でメディアコンテンツを受信しているチャネルであると(すなわち、それが、メディア提示デバイスによって表示されているメディアコンテンツを搬送するチャネルであると)結論することができる。今度は、サーバは、識別されたチャネルに基づいてチャネル固有アクションを応答的に取るか、または1つもしくは複数の他のエンティティが、識別されたチャネルに基づいてチャネル固有アクションを取ることを引き起こすかもしくは可能にすることができる。
実際には、メディア提示デバイスによって表示されているチャネルのビデオフィンガープリントは、表示されているチャネルを識別するために、既知のチャネルの参照ビデオフィンガープリントとの比較により、しばしば十分な基礎であることができる。したがって、一般的な実施では、メディア提示デバイス18または別のエンティティは、メディア提示デバイスによって表示されているチャネルのビデオフィンガープリントを生成し、ビデオフィンガープリントを分析のためにサーバ20に送信するように構成されることができる。
しかしながら、本開示によって扱われるように、メディア提示デバイスによって表示されているチャネルのビデオフィンガープリントが、複数のチャネルに関連する複数の参照ビデオフィンガープリントに一致する時間もあることができる。そして、そのような場合、表示されているチャネルのオーディオフィンガープリントは、次いで、曖昧性を排除するための基礎として使用されることができる。したがって、一般的な実施においてまたはそのようなビデオ複数一致の状況の発生に応答して、メディア提示デバイスまたは他のエンティティはまた、メディア提示デバイスによって表示されているチャネルのオーディオフィンガープリントを生成し、そのオーディオフィンガープリントを同様に分析のためにサーバ20に送信するように構成されることができる。
この目的のために、図は、メディア提示デバイス18が、たとえばハードウェアおよび/またはソフトウェア(プログラムされたプロセッサ)構成要素として提供されることができる、ビデオフィンガープリント生成器26とオーディオフィンガープリント生成器28とを含むことができることを示している。ビデオフィンガープリント生成器26は、メディア提示デバイスによって表示されているメディアコンテンツのデジタルビデオフィンガープリントを生成するように構成されることができ、オーディオフィンガープリント生成器28は、メディア提示デバイスによって表示されているメディアコンテンツのデジタルオーディオフィンガープリントを生成するように構成されることができる。さらに、そのようなフィンガープリント生成器は、メディア提示デバイスが受信機16からメディアコンテンツを受信しているとき、および/またはメディア提示デバイスがメディアコンテンツを提示のために処理しているとき、メディアコンテンツのフィンガープリントを生成するように構成されることができる。したがって、フィンガープリント生成器は、受信機からメディア提示デバイスに到着している、および/またはメディア提示デバイスによって提示のために処理されているメディアコンテンツのコピーを入力として受信し、現在知られているかまたは後で開発される何らかのメディアフィンガープリンティングプロセスを適用して、メディアコンテンツのフィンガープリントを生成することができる。
ビデオフィンガープリント生成器26は、フレームごとの単位(たとえば、キーフレームごとの単位)または他の単位などで、フィンガープリントをフィンガープリントストリームとして継続的に生成するように構成されることができる。そして、メディア提示デバイスは、ビデオフィンガープリントを分析のためにネットワーク22を介してサーバ20に送信するように構成されることができる。例として、メディア提示デバイスは、メディア提示デバイスによって表示されているメディアコンテンツの最新のフレーム、一連のフレームまたは他のセグメントもしくは部分を表すビデオフィンガープリントをサーバに周期的にまたは時々送信するように構成されることができる。特に、メディア提示デバイスは、1つまたは複数のタイムスタンプおよび/または他のそのようなデータならびにメディア提示デバイスの識別子とともに、最新の生成されたビデオフィンガープリントを搬送するメッセージを生成することができ、そのメッセージをサーバのIPアドレスに送信することができる。そして、サーバは、それにより、分析のためにビデオフィンガープリントを受信することができる。
代替的に、サーバ自体または別のエンティティが、メディア提示デバイスによって表示されているメディアコンテンツのビデオフィンガープリントを生成することを可能にするために、メディア提示デバイスは、同様に継続的にまたは他の単位で、メディア提示デバイスによって表示されているメディアコンテンツに関する様々なデータをサーバに送信することができ、このようにしてサーバはそれを受信することができる。たとえば、メディア提示デバイスは、ビデオ成分の個々のフレーム(たとえば、スナップショット)または他のセグメントなど、メディア提示デバイスによって表示されているビデオ成分の部分をサーバに送信することができる。そして、サーバは、分析のためにメディアコンテンツのビデオフィンガープリントを生成するために、現在知られているかまたは後で開発される何らかのビデオフィンガープリンティングプロセスを適用することができる。
上記で説明されたプロセスを通して、サーバは、次いで、現在知られているかまたは後で開発される何らかのデジタルビデオフィンガープリント比較プロセスを使用して、メディア提示デバイスによって表示されているメディアコンテンツのビデオフィンガープリントを参照データ中の参照ビデオフィンガープリントと比較することができる。そして、上述されたように、サーバが、一致する参照ビデオフィンガープリントをそれにより発見した場合、サーバは、参照データが、一致する参照ビデオフィンガープリントとマッピングしているチャネルを決定することができ、決定されたチャネルが、メディア提示デバイスによって表示されているメディアコンテンツを搬送するチャネルであると結論することができる。
それにより当該のチャネルを決定することに応答して、サーバは、次いで、チャネルの決定に基づいて1つまたは複数のチャネル固有アクションを取るか、またはそれが取られることを引き起こすことができる。特に、サーバ自体が、チャネル決定に基づいてアクションを取ることができるか、またはサーバは、別のエンティティに、場合によってはメディア提示デバイスに信号を送って、チャネル決定に基づいてその別のエンティティにアクションを取らせることができる。
たとえば、サーバは、特定のチャネルがメディア提示デバイスによって提示されている程度を測定するためのチャネルレーティングまたは分析システムの一部として、メディア提示デバイスがその特定のチャネルのコンテンツを提示しているという事実を記録することができる。たとえば、メディア提示デバイスは、メディア提示デバイスが表示しているメディアコンテンツのビデオフィンガープリントをサーバに定期的に(たとえば、周期的に)報告することができ、サーバは、表示されているチャネルを決定するために本明細書で説明されているプロセスなどのプロセスを行うことができる。サーバがこのようにしてチャネルが表示されていると決定するたびに、サーバは、そのチャネルが提示されている程度を示すデータとして、表示されているチャネルのカウントまたは他の統計値を加算することができる。さらに、これらのカウントまたは他の統計値はメディア提示デバイスが当該のチャネルを提示する程度を示して、(デバイス固有の閲覧分析として)メディア提示デバイスごとにあることができる。
別の例として、サーバは、場合によってはメディアコンテンツの1つまたは複数の部分のための差し替えとして、ならびにビデオおよび/またはオーディオコンテンツとして、可能性の中でも、上記で説明されたポップアップ広告、コマーシャルブレーク、またはチャネル識別など、補助コンテンツをメディア提示デバイスが提示することを応答的に引き起こすことができる。たとえば、当該のチャネルについての知識が与えられれば、サーバは、決定されたチャネルに特に関連付けられた(および場合によっては、特定のメディア提示デバイスに関連付けられたプロファイルデータ(たとえば、デバイス固有の閲覧分析)にさらに基づく)特定の補助メディアコンテンツを生成するかまたは(たとえば、サーバデータストレージから)選択することができ、メディア提示デバイスが受信機から受信しているメディアコンテンツとともにメディア提示デバイスが提示するために、その補助メディアコンテンツをメディア提示デバイスに送信することができる。メディア提示デバイスは、このようにして、サーバから補助メディアコンテンツを受信し、メディア提示デバイスが受信機から受信しているメディアコンテンツとともにその補助メディアコンテンツを提示することができる。
実際には、このプロセスは、メディア提示デバイスによって表示されているメディアコンテンツのビデオフィンガープリントをサーバがメディア提示デバイスからリアルタイムに受信することと、受信されたビデオフィンガープリントが、サーバが既知のチャネル上で同時に受信している(かまたは同じ時間の間にスケジュールされた)メディアコンテンツの参照フィンガープリントに一致するとサーバが決定することとを含むことができる。
場合によっては、メディア提示デバイスがメディアコンテンツを表示し、ビデオフィンガープリントにタイムスタンプを付けてそのビデオフィンガープリントをサーバに送信するときと、サーバが既知のチャネル上でメディアコンテンツを受信し、場合によっては参照ビデオフィンガープリントにタイムスタンプが付けられているときとの間に時間差があることができる。サーバは、参照ビデオフィンガープリントのスライディングウィンドウにわたって受信されたビデオフィンガープリントを比較することによってまたはその逆によって、この時間差を考慮することができる。さらに、サーバは、受信されたビデオフィンガープリントと参照ビデオフィンガープリントとの間の決定された一致に応答してアクションを取るとき、この時間差を考慮することができる。たとえば、メディア提示デバイスが、コンテンツについてのサーバのタイムスタンプよりも十分早く(たとえば、数秒を超えてより早く)メディアコンテンツを受信した場合、サーバは、ビデオフィンガープリントの一致を依然として識別することができ、分析データを記録することができる。しかし、その時間差を検出したことに応答して、サーバは、メディア提示デバイスがユーザの視点からはあまりに遅れて(たとえば、同期から外れて)補助コンテンツを提示するという状況を回避するのを助けるために、関連する補助コンテンツをメディア提示デバイスに提示させるのを控えることができる。一方、サーバが、十分な時間期間の間ビデオフィンガープリント一致を検出し、かつ/または一致するコンテンツが続くと決定した場合、サーバは、そのような時間差に直面したときでも、補助コンテンツをメディア提示デバイスに提示させることができる。
いずれの場合も、これらまたは他のそのようなプロセスを通して、ネットワークサーバまたは他のエンティティは、メディア提示デバイスがその上で当該のメディアコンテンツを受信しているチャネルを決定することができる。そして、エンティティがチャネルを決定すると、エンティティは、次いで、チャネル決定に基づいてアクションを取ることができる。代替的に、エンティティは、別のエンティティに、場合によっては元のメディア提示デバイスに信号を送って、チャネル決定に基づいてその別のエンティティにアクションを取らせることができる。他の例が同様に可能である。
上記の議論に沿って、上述されたように参照データへのアクセスを有するサーバ24または他のエンティティは、場合によっては参照データの間で互いに一致しメディア提示デバイスによって表示されているメディアコンテンツのビデオフィンガープリントに一致する様々な参照ビデオフィンガープリントを検出することによって、ビデオ複数一致のシナリオを識別するように構成されることができる。
一実装形態では、たとえば、サーバは、互いに一致する参照ビデオフィンガープリントを発見しようとして、何らかの現在知られているかまたは後で開発されるビデオフィンガープリント一致プロセスを使用して参照データ中のビデオ参照フィンガープリントのペアを比較して、ビデオ複数一致のシナリオを探し求めて参照データを定期的に分析することができる。参照ビデオフィンガープリントのうちの少なくとも2つのそのような一致の各々を発見すると、サーバは、次いで、参照ビデオフィンガープリントに、複数一致グループであるものとしてフラグ付けすることができる。そのようなフラグは、メディア提示デバイスによって表示されているメディアコンテンツのビデオフィンガープリントが、フラグ付けされた複数一致グループ中の参照ビデオフィンガープリントのいずれかに一致する場合、潜在的なあいまいさがあることを示すことができる。サーバは、様々な方法で参照ビデオフィンガープリントに複数一致グループであるものとしてフラグ付けすることができる。たとえば、サーバは、参照フィンガープリントが複数一致グループのメンバーであることを示すために、参照データ中の複数一致グループの参照ビデオフィンガープリントを相互参照することができる。
この実装形態では、サーバが、メディア提示デバイスによって表示されているメディアコンテンツのビデオフィンガープリントをメディア提示デバイスから受信し、サーバが、受信されたビデオフィンガープリントが参照ビデオフィンガープリントに一致すると決定したとき、サーバは、次いで、複数一致の状況が存在するかどうかを参照データから容易に決定することができる。一致する参照ビデオフィンガープリントが、複数一致グループのメンバーであるものとしてフラグ付けされていない場合、サーバは、(複数一致の状況ではなく)単一一致の状況が存在すると結論することができ、その場合、上記で説明されたように、サーバは、次いで、一致する参照フィンガープリントに関連するチャネルを参照データから容易に決定することができ、それが、メディア提示デバイスによって表示されているメディアコンテンツを搬送するチャネルであると結論することができる。他方では、一致する参照ビデオフィンガープリントが、複数一致グループのメンバーであるものとしてフラグ付けされている場合、サーバは、(単一一致の状況ではなく)複数一致の状況が存在すると結論することができ、その場合、サーバは、複数一致グループの参照ビデオフィンガープリントに関連するものの中から当該のチャネルを識別するのを助けるために曖昧性排除プロセスを実施する必要があることができる。
代替的に、別の実装形態では、サーバは、サーバがメディア提示デバイスからビデオフィンガープリントを受信したときにビデオ複数一致グループを識別することができる。たとえば、サーバがメディア提示デバイスからビデオフィンガープリントを受信したとき(たとえば、受信すると)、サーバは、受信されたビデオフィンガープリントを参照データ中の参照ビデオフィンガープリントのすべてと比較することができる。サーバが、それにより受信されたビデオフィンガープリントが参照ビデオフィンガープリントのうちのただ1つに一致することを検出した場合、サーバは、(複数一致の状況ではなく)単一一致の状況が存在すると結論することができ、その場合、サーバは、次いで、一致する参照フィンガープリントに関連するチャネルを参照データから容易に決定することができ、それが、メディア提示デバイスによって表示されているメディアコンテンツを搬送するチャネルであると結論することができる。他方では、サーバが、受信されたビデオフィンガープリントが参照ビデオフィンガープリントのうちの2つ以上に一致することを検出した場合、サーバは、(単一一致の状況ではなく)複数一致の状況が存在すると結論することができ、その場合、サーバは、複数一致グループの参照ビデオフィンガープリントに関連するものの中から当該のチャネルを識別するのを助けるために曖昧性排除プロセスを実施する必要があることができる。
上記で説明されたプロセスと同様に、2つ以上の参照ビデオフィンガープリントを含む複数一致の状況を検出するプロセスは、2つの参照ビデオフィンガープリントが、互いに対して時間遅延で2つの異なるチャネル上で搬送される同じメディアコンテンツを表す場合でも、すなわち、チャネルのうちの1つの上でのメディアコンテンツの提示が、チャネルのうちの別の1つの上での同じメディアコンテンツの提示に関して時間シフトされる場合でも、実施されることができることに留意されたい。フィンガープリント一致プロセスは、この時間シフトを考慮することができ、一方のビデオフィンガープリントをスライディングウィンドウにわたって他方のビデオフィンガープリントと比較することなどによって、ビデオフィンガープリントが通常ならば互いに一致する場合に依然として一致を発見することができる。たとえば、参照データ内で一致する参照ビデオフィンガープリントを発見するプロセスは、互いに一致し、互いのしきい値時間間隔内にあるそれぞれの時間において提示および/またはスケジュールされる、参照ビデオフィンガープリントについて探索することを含むことができる。
上述されたように、この分析を行うサーバまたは他のエンティティは、メディア提示デバイスによって表示されているメディアコンテンツのビデオフィンガープリントが、複数のチャネルとそれぞれ対応する複数の参照フィンガープリントに一致することを検出したとき、このエンティティは、複数一致グループに関連するチャネルのうちのどれが、メディア提示デバイスによって表示されているメディアコンテンツを搬送する実際のチャネルであるかを決定するのを助けるために、曖昧性排除プロセスを適用することができる。
本開示によれば、曖昧性排除プロセスは、メディア提示デバイスによって表示されているメディアコンテンツのオーディオフィンガープリントがただ単一のチャネルに一致するというさらなる決定に基づくことができる。
上述されたように、曖昧性排除のこの形態は、複数のチャネルが、関連するオーディオを同じビデオに提供し、チャネル上のビデオがほとんど等しいが、チャネルが互いに異なるオーディオトラックを有する状況において適用されることができる。この状況では、ビデオ複数一致に直面したとき、サーバまたは他のエンティティは、曖昧性を排除するための基礎として、メディア提示デバイスによって表示されているオーディオ成分のオーディオフィンガープリントを利用することができる。特に、サーバは、メディア提示デバイスから受信されたオーディオフィンガープリントを、ビデオ複数一致グループに関連するチャネルの参照オーディオフィンガープリントと比較することができ、それにより、オーディオフィンガープリントがそれらのチャネルのうちのただ1つの参照オーディオフィンガープリントに一致すると決定することができ、それにより、その1つのチャネルが、メディア提示によって表示されているメディアコンテンツを搬送するチャネルであるという結論をサポートする。
これを実際に可能にするために、上述されたように、サーバは、メディア提示デバイスによって表示されているオーディオ成分のオーディオフィンガープリント(たとえば、オーディオフィンガープリントストリーム)をメディア提示デバイスから定期的に受信することができる。そして、サーバは、様々な利用可能なチャネルの参照オーディオフィンガープリント(たとえば、参照オーディオフィンガープリントストリーム)を含む参照データを定期的に確定または受信することができる。このようにして、ビデオ複数一致の状況に直面したとき、サーバは、曖昧性を排除するために、メディア提示デバイスからのオーディオフィンガープリントを複数一致グループメンバーのオーディオフィンガープリントと容易に比較することができる。
代替的に、上述されたように、サーバは、メディア提示デバイスから、オーディオフィンガープリントではなく、ビデオフィンガープリントだけを定期的に受信することができ、その場合、ビデオ複数一致の状況を検出すると、サーバは、次いで、曖昧性排除を可能にするために、表示されているメディアコンテンツのオーディオフィンガープリントを提供するようにメディア提示デバイスに要求することができる。さらに、サーバは、各利用可能なチャネルの参照ビデオフィンガープリントだけを定期的に生成することができ、その場合、ビデオ複数一致の状況を検出すると、サーバは、次いで、曖昧性排除を可能にするために、ビデオ複数一致のグループに関連するチャネルのオーディオフィンガープリントを生成することを開始することができる。
また、場合によっては、2つの異なるチャネルのオーディオトラックは、互いに部分的にのみ異なることができることに留意されたい。たとえば、2つのチャネルは、同じバックグラウンドミュージックおよびサウンドエフェクトを含む、互いに同じムービーコンテンツを提供することができるが、それらのチャネルは互いに異なる言語トラックを有することができる(たとえば、一方は英語であり、他方はスペイン語で吹き替えられている)。このような部分的なオーディオトラックの相違を考慮するために、サーバは、ある時間期間にわたってオーディオフィンガープリント比較を実施することができ、ビデオ複数一致のシナリオを曖昧性を排除し解決するのに使用するためにオーディオトラックの間の差異を識別し追跡することができる。
たとえば、サーバは、ある時間期間の間(たとえば、約60~120秒間)メディア提示からオーディオフィンガープリントストリームを受信することができ、サーバは、オーディオフィンガープリントストリームの1つの時間セグメントが複数一致グループの複数の参照オーディオフィンガープリントに一致すると決定することができるが、オーディオフィンガープリントストリームの別の時間セグメントが参照オーディオフィンガープリントのうちのただ1つに一致すると決定することができ、それにより、一致する参照オーディオフィンガープリントに関連するチャネルが当該のチャネルであることを確定する。米国特許出願第15/222,405号は、そのような曖昧性排除を実施するための基礎として以前または以後のフィンガープリント時間セグメントを使用することについてさらなる議論を提供し、そこで説明されている原理はこのコンテキストにおいても適用されることができる。
またさらに、サーバが事前に参照ビデオフィンガープリントを評価し、参照データ中のビデオ複数一致グループにフラグ付けする実装形態では、サーバは、複数一致グループに関連するチャネルの参照オーディオフィンガープリントを比較して、参照オーディオフィンガープリントが互いに異なるかどうかを決定することができ、そうである場合、オーディオフィンガープリント分析により曖昧性排除が可能になることができることを示すためにビデオ複数一致グループにさらにフラグ付けすることができる。たとえば、サーバは、ビデオ複数一致グループに関連して、オーディオフィンガープリント分析により曖昧性排除が可能になることができるというブール値または他の示すものを記録することができる。メディア提示デバイスによって提供されるビデオフィンガープリントに関してビデオ複数一致の状況を後で検出すると、サーバは、次いで、ビデオ複数一致グループがそのようにさらにフラグ付けされたことを検出することができ、ビデオ複数一致の状況を検出しさらなるフラグ付けを検出したことに応答して、サーバは、オーディオフィンガープリント分析に基づいて曖昧性を排除しようとするプロセスを応答的に開始することができる。
関連して上記で説明された様々な態様、ビデオフィンガープリント分析は、複数一致曖昧性排除を可能にするためにオーディオフィンガープリント分析に関しても適用されることができる。たとえば、メディア提示デバイスは、サーバ自体がメディアコンテンツのビデオフィンガープリントを分析のために生成することを可能にするために、メディアコンテンツデータ(たとえば、表示されているメディアコンテンツの個々のビデオフレームまたは他のセグメント)をサーバに提供することができるのとちょうど同じように、メディア提示デバイスは、サーバ自体がメディアコンテンツのオーディオフィンガープリントを分析のために生成することを可能にするために、メディアコンテンツ(たとえば、表示されているメディアコンテンツのオーディオセグメント)をサーバに提供することができる。別の例として、サーバが、ビデオフィンガープリントを比較するときに時間シフトを考慮することができ、十分にステイルなビデオフィンガープリントデータに応答して何らかのアクションを取るのを回避するように注意することができるのとちょうど同じように、サーバは、オーディオフィンガープリントを比較するときに時間シフトを考慮することができ、十分にステイルなオーディオフィンガープリントデータに応答して何らかのアクションを取るのを回避するように注意することができる。そして、また別の例として、サーバが、ビデオフィンガープリントを比較するために現在知られているかまたは後で開発される何らかのビデオフィンガープリント一致プロセスを使用することができるのとちょうど同じように、サーバは、オーディオフィンガープリントを比較するために現在知られているかまたは後で開発される何らかのオーディオフィンガープリント一致プロセスを使用することができる。他の例が同様に可能である。
さらに、本明細書の説明では、サーバ24がビデオ複数一致の状況を識別し、次いでオーディオフィンガープリント分析に基づいて曖昧性を排除することに主に焦点を当てているが、説明される動作の一部または全部は、サーバの代わりにまたはそれと協働して、1つまたは複数の他のエンティティによって代替的に行われることができることに留意されたい。
たとえば、動作のうちの1つまたは複数は、メディア提示デバイス自体によって行われるか、またはメディア提示デバイスとローカル通信している補助システムによって行われることができる。例として、メディア提示デバイス自体は、上記で説明された参照データのような参照データをプロビジョニングされるかまたはそれへのアクセスを有することができる、メディア提示デバイスは、ビデオ複数一致の状況を識別し、オーディオフィンガープリント分析に基づいて曖昧性排除を実施し、それにより、メディア提示デバイスによって表示されているメディアコンテンツを提供するチャネルを識別するために、参照データをそれ自体で参照することができる。さらに、ビデオ複数一致の状況を検出したことに応答して、メディア提示デバイスは、次いで、ビデオ複数一致グループに関連するチャネルについて参照オーディオフィンガープリントをサーバに要求し受信することができるか、またはメディア提示デバイスは、そのような参照オーディオフィンガープリントデータを別々にプロビジョニングされることができる。そして、メディア提示デバイスは、次いで、そのようなオーディオフィンガープリントを、表示されているオーディオ成分のオーディオフィンガープリントと比較することによって、曖昧性排除をそれ自体で実施することができる。またさらに、メディア提示デバイスは、次いで、チャネル固有コンテンツを提示すること、チャネル提示を記録することなど、チャネル固有アクションをそれ自体で取ることができるか、またはそのようなアクションを1つもしくは複数の他のエンティティに取らせるかもしくはそのようなアクションを取るために1つもしくは複数の他のエンティティと協働することができる。
は、今度は、上記の説明に沿って行われることができる方法を示すフローチャートである。図によって示されている方法における動作のうちの1つまたは複数は、限定はしないが、ネットワークサーバ、メディア提示デバイス、および/またはこれらもしくは他のエンティティのためにもしくはそれらと協働して動作する1つもしくは複数のエンティティを含む、1つまたは複数のエンティティによって行われることができる。いかなるそのようなエンティティも、方法動作のうちの1つまたは複数を行うように構成された、プログラムされた処理ユニットなどのコンピューティングシステムを具備することができる。さらに、非一時的データストレージ(たとえば、ディスクストレージ、フラッシュストレージ、または他のコンピュータ可読媒体)は、様々な図示された動作を行うように処理ユニットによって実行可能な命令を記憶していることがある。
に示されているように、ブロック40において、本方法は、メディア提示デバイスによって表示されているメディアコンテンツのビデオフィンガープリントが、異なるそれぞれのチャネルとそれぞれ対応する複数の参照ビデオフィンガープリントに一致するとコンピューティングシステムが決定することを含む。ブロック42において、本方法は、次いで、ビデオフィンガープリントが、異なるそれぞれのチャネルとそれぞれ対応する複数の参照ビデオフィンガープリントに一致すると少なくとも決定することに応答して、メディア提示デバイスによって表示されているメディアコンテンツのオーディオフィンガープリントが、ただ単一のチャネルと対応する参照オーディオフィンガープリントに一致するという決定に少なくとも部分的に基づいて曖昧性排除を実施することを含み、曖昧性排除は、メディア提示デバイスが単一のチャネル上でメディアコンテンツを受信していることを確定する。そして、ブロック44において、本方法は、メディア提示デバイスが単一のチャネル上でメディアコンテンツを受信していることを確定することに基づいてアクションを取ることを含む。
上記で説明されたように、メディア提示デバイスによって表示されているメディアコンテンツは、ビデオトラックとオーディオトラック(たとえば、少なくとも言語トラック)とを有することができ、ビデオフィンガープリントはビデオトラックのフィンガープリントであることができ、オーディオフィンガープリントはオーディオトラックのフィンガープリントであることができる。
さらに、上記で説明されたように、コンピューティングシステムが、メディア提示デバイス以外のサーバまたは他のエンティティである場合、メディア提示デバイスは、メディア提示デバイスによって表示されているメディアコンテンツのビデオおよびオーディオフィンガープリントを生成することができ、コンピューティングシステムは、メディア提示デバイスからそれらのフィンガープリントを受信することができる。
またさらに、例示的な実装形態では、複数の参照フィンガープリントは、参照データ中の複数の参照フィンガープリントから選択されることができ、その場合、メディア提示デバイスによって表示されているメディアコンテンツのビデオフィンガープリントが複数の参照ビデオフィンガープリントに一致すると決定することは、(i)メディア提示デバイスによって表示されているメディアコンテンツのビデオフィンガープリントを参照データ中の複数の参照ビデオフィンガープリントと比較することと、(ii)比較することに基づいて、メディア提示デバイスによって表示されているメディアコンテンツの第1のセグメントのビデオフィンガープリントが複数の参照ビデオフィンガープリントに一致すると決定することとを含むことができる。
および、またさらに、本方法はまた、複数の参照フィンガープリントからなる複数一致グループを検出しフラグ付けすることを含むことができ、その場合、メディア提示デバイスによって表示されているメディアコンテンツのビデオフィンガープリントが複数の参照ビデオフィンガープリントに一致すると決定する行為は、メディア提示デバイスによって表示されているメディアコンテンツのビデオフィンガープリントが、フラグ付けされた複数一致グループの参照ビデオフィンガープリントに一致すると決定することを含むことができる。
そして、本方法は、(i)フラグ付けされた複数一致グループのビデオフィンガープリントと対応するオーディオフィンガープリントを比較することと、(ii)比較することに基づいて、比較されたオーディオフィンガープリントの間の差を検出することと、(iii)差を検出することに応答して、オーディオフィンガープリント分析が曖昧性排除を可能にすることができることを示すために複数一致グループにさらにフラグ付けすることとをさらに含むことができる。そして、その場合、メディア提示デバイスによって表示されているメディアコンテンツのオーディオフィンガープリントが、ただ単一のチャネルと対応する参照オーディオフィンガープリントに一致するという決定に基づいて曖昧性排除を実施する行為は、オーディオフィンガープリント分析が曖昧性排除を可能にすることができることを示すために複数一致グループがさらにフラグ付けされると決定することにさらに応答することができる。
また、上記の説明によれば、本方法は、メディア提示デバイスによって表示されているメディアコンテンツのオーディオフィンガープリントが、ただ単一のチャネルと対応する参照オーディオフィンガープリントに一致するという決定を行うことを含むことができる。たとえば、本方法は、(i)メディア提示デバイスによって表示されているメディアコンテンツのオーディオフィンガープリントを、複数の参照ビデオフィンガープリントと同じチャネルと対応する参照オーディオフィンガープリントと比較することと、(ii)比較することに基づいて、メディア提示デバイスによって表示されているメディアコンテンツのオーディオフィンガープリントが参照オーディオフィンガープリントのうちのただ単一の1つに一致すると決定することとを含むことができる。
さらに、上記で説明されたように、コンピューティングシステムはメディア提示デバイス以外のエンティティであることができる。そして、本方法は、ビデオフィンガープリントが、異なるそれぞれのチャネルとそれぞれ対応する複数の参照ビデオフィンガープリントに一致すると少なくとも決定することに応答して、取得されたオーディオフィンガープリントに基づいて曖昧性排除の実施を可能にするために、メディア提示デバイスによって表示されているメディアコンテンツのオーディオフィンガープリントをコンピューティングシステムがメディア提示デバイスに要求し、受信することをさらに含むことができる。
および、またさらに、本方法は、ビデオフィンガープリントが、異なるチャネルとそれぞれ対応する複数の参照フィンガープリントに一致すると少なくとも決定することに応答して、比較することを可能にするために、複数の参照ビデオフィンガープリントと同じチャネルと対応する参照オーディオフィンガープリントを生成することを含むことができる。
さらに、上記で説明されたように、メディア提示デバイスが単一のチャネル上でメディアコンテンツを受信していることを確定することに基づいてアクションを取る行為は、(i)メディア提示デバイスによって表示されているメディアコンテンツとともに補助チャネル固有コンテンツが提示させられることと、(ii)チャネルレーティングシステムにおける使用のために単一のチャネルの提示を記録することとからなる群から選択されたアクションを取ることを含むことができる。そして、上述されたように、本方法は、少なくとも部分的にメディア提示デバイスによって行われることができる。
は、今度は、本開示に従って動作可能な例示的なシステムの簡略ブロック図である。このシステムは、上記で説明されたネットワークサーバ、および/または(場合によってはメディア提示デバイスを含む)1つまたは複数の他のエンティティを表すことができる。図に示されているように、例示的なシステムは、ネットワーク通信インターフェース60と、処理ユニット62と、非一時的データストレージ64とを含み、それらのいずれかまたはすべては、一緒に統合されるか、または図示のように、システムバス、ネットワーク、もしくは他の接続機構56によって互いに通信可能にリンクされることができる。
ネットワーク通信インターフェース60は、上記で説明されたネットワーク26などのネットワーク上で通信を可能にするために、および/または1つもしくは複数の他のローカルもしくはリモートエンティティとの直接もしくはネットワーク化通信に関与するために、1つまたは複数の物理的ネットワーク接続機構を備えることができる。したがって、ネットワーク通信インターフェースは、IP通信および/または他のタイプのネットワーク通信に関与するために、ワイヤレスもしくはワイヤードイーサネット(登録商標)インターフェースまたは他のタイプのネットワークインターフェースを備えることができる。
処理ユニット62は、その上、1つもしくは複数の汎用プロセッサ(たとえば、マイクロプロセッサ)および/または1つもしくは複数の専用プロセッサ(たとえば、特定用途向け集積回路)を備えることができる。そして、非一時的データストレージ64は、光学、磁気、またはフラッシュストレージなど、1つまたは複数の揮発性および/または不揮発性ストレージ構成要素を備えることができる。
図示のように、データストレージ64は、その上、本明細書で説明される様々な動作を行うように処理ユニット62によって実行可能であることができるプログラム命令58を記憶する。たとえば、プログラム命令は、(i)メディア提示デバイスによって表示されているメディアコンテンツのビデオフィンガープリントを、ネットワーク通信インターフェースを介してメディア提示デバイスから受信し、(ii)受信されたビデオフィンガープリントが、複数のチャネルと対応する参照ビデオフィンガープリントに一致すると決定し、(iii)メディア提示デバイスによって表示されているメディアコンテンツのオーディオフィンガープリントを、ネットワーク通信インターフェースを介してメディア提示デバイスから受信し、(iv)受信されたオーディオフィンガープリントを使用して、複数のチャネルのうちのどれが、メディア提示デバイスによって表示されているメディアコンテンツを搬送するかを決定し、(v)決定されたチャネルに基づいてアクションを取るように実行可能であることができる。
これらの動作は、ここでの説明に沿って、様々な形態を取ることができる。たとえば、メディア提示デバイスによって表示されているメディアコンテンツのオーディオフィンガープリントをメディア提示デバイスから受信する行為は、場合によってはビデオフィンガープリントとともにオーディオフィンガープリントを受信して、受信されたビデオフィンガープリントが、複数のチャネルと対応する参照ビデオフィンガープリントに一致すると決定する前の時点において行われることができる。代替的に、メディア提示デバイスによって表示されているメディアコンテンツのオーディオフィンガープリントをメディア提示デバイスから受信する行為の行為は、ビデオ複数一致に応答して、メディア提示デバイスによって表示されているメディアコンテンツのオーディオフィンガープリントについての要求をメディア提示デバイスに送り、その要求を送ったことに応答してオーディオフィンガープリントを受信することなどによって、受信されたビデオフィンガープリントが、複数のチャネルと対応する参照ビデオフィンガープリントに一致すると決定することに応答して行われることができる。他の例も可能である。
最後に、図は、本開示に従って動作可能な例示的なメディア提示デバイスの簡略ブロック図である。上記の説明に沿って、このメディア提示デバイスは様々な形態を取ることができる。たとえば、それは、テレビジョン、コンピュータモニタ、もしくはビデオコンテンツを受信し表示するように動作する他のデバイスであることができ、および/またはそれは、ラウドスピーカー、ヘッドフォンのペア、もしくはオーディオコンテンツを受信し表示するように動作する他のデバイスであることができる。多数の他の例が同様に可能である。
に示されているように、例示的なメディア提示デバイスは、メディア入力インターフェース70と、メディア提示インターフェース72と、ネットワーク通信インターフェース74と、処理ユニット76と、非一時的データストレージ78とを含み、それらのいずれかまたはすべては、一緒に統合されるか、または図示のように、システムバス、ネットワーク、もしくは他の接続機構80によって互いに通信可能にリンクされることができる。
メディア入力インターフェース70は、メディア提示デバイスによって提示されるメディアコンテンツを受信するための物理的通信インターフェースを備えることができる。したがって、メディア入力インターフェースは、受信機または他のデバイスもしくはシステムとの通信を確立し、それらからアナログまたはデジタル形式でメディアコンテンツを受信するために、1つまたは複数のワイヤードおよび/またはワイヤレスインターフェースを含むことができる。たとえば、メディア入力インターフェースは、数多くの中でも、DVI、HDMI(登録商標)、VGA、USB、BLUETOOTH(登録商標)、WIFIなどのプロトコルに準拠する1つまたは複数のインターフェースを含むことができる。
メディア提示インターフェース72は、さらに、受信されたメディアコンテンツの提示を可能にするための1つまたは複数の構成要素を備えることができる。例として、メディア提示インターフェースは、ディスプレイスクリーンおよび/またはラウドスピーカーなどのユーザインターフェース、ならびに、そのユーザインターフェース上でコンテンツの提示を可能にするために、受信されたメディアコンテンツを処理するための1つまたは複数のドライバまたは他の構成要素を備えることができる。
ネットワーク通信インターフェース74は、上記で説明されたネットワーク26などのネットワーク上で通信を可能にするために、および/または1つもしくは複数の他のローカルもしくはリモートエンティティとの直接もしくはネットワーク化通信に関与するために、物理的ネットワーク接続機構を備えることができる。したがって、ネットワーク通信インターフェースは、IP通信および/または他のタイプのネットワーク通信に関与するために、ワイヤレスもしくはワイヤードイーサネット(登録商標)インターフェースまたは他のタイプのネットワークインターフェースを備えることができる。
処理ユニット76は、その上、1つもしくは複数の汎用プロセッサ(たとえば、マイクロプロセッサ)および/または1つもしくは複数の専用プロセッサ(たとえば、特定用途向け集積回路)を備えることができる。そして、非一時的データストレージ68は、光学、磁気、またはフラッシュストレージなど、1つまたは複数の揮発性および/または不揮発性ストレージ構成要素を備えることができる。さらに、図示のように、データストレージ78は、ここで説明される様々な動作を行うように処理ユニット76によって実行可能であることができるプログラム命令82を記憶する。たとえば、プログラム命令は、メディア入力インターフェース70において受信されているおよび/またはメディア提示インターフェースにおいて処理されているメディアコンテンツの分析に基づいて、メディア提示デバイスによって表示されているメディアコンテンツのビデオフィンガープリントとオーディオフィンガープリントとを継続的にまたは要求時に生成し、本明細書で説明されるようにチャネル識別を可能にするために生成されたフィンガープリントを継続的にまたは要求時に提供するように実行可能であることができる。
例示的な実施形態について上記で説明された。しかしながら、当業者は、本発明の真の範囲および趣旨から逸脱することなくこれらの実施形態に変更および修正が行われることができることを理解されよう。

Claims (19)

  1. メディア提示デバイスがメディアコンテンツを受信しているとき、前記メディア提示デバイスによって受信されている前記メディアコンテンツのデジタルビデオフィンガープリントが、異なるそれぞれのチャネルとそれぞれ対応する複数の参照ビデオフィンガープリントに一致するとコンピューティングシステムによって決定することと、
    前記デジタルビデオフィンガープリントが、異なるそれぞれのチャネルとそれぞれ対応する前記複数の参照ビデオフィンガープリントに一致すると少なくとも決定することに応答して、前記メディア提示デバイスによって受信されている前記メディアコンテンツのデジタルオーディオフィンガープリントが、前記複数の参照ビデオフィンガープリントが対応する前記チャネルのうちのただ単一のチャネルと対応する参照オーディオフィンガープリントに一致するという決定に少なくとも部分的に基づいて前記コンピューティングシステムによって曖昧性排除を実施することであって、前記曖昧性排除は、前記メディア提示デバイスが前記単一のチャネル上で前記メディアコンテンツを受信していることを確定する、ことと、
    前記メディア提示デバイスが前記単一のチャネル上で前記メディアコンテンツを受信していることを前記確定することに基づいて前記コンピューティングシステムによってアクションを取ることと
    を含み、
    前記デジタルビデオフィンガープリントが、異なるチャネルとそれぞれ対応する前記複数の参照ビデオフィンガープリントに一致すると少なくとも決定することに応答して、前記曖昧性排除を可能にするために、前記複数の参照ビデオフィンガープリントが対応する前記チャネルと対応する参照オーディオフィンガープリントを生成することを更に含む、
    方法。
  2. 前記メディア提示デバイスによって受信されている前記メディアコンテンツがビデオトラックとオーディオトラックとを有し、前記デジタルビデオフィンガープリントが前記ビデオトラックのフィンガープリントであり、前記デジタルオーディオフィンガープリントが前記オーディオトラックのフィンガープリントである、請求項1に記載の方法。
  3. 前記メディア提示デバイスによって受信されている前記メディアコンテンツの前記デジタルオーディオフィンガープリントが、前記メディア提示デバイスによって受信されている前記メディアコンテンツの少なくとも言語トラックを表す、請求項1に記載の方法。
  4. 前記メディア提示デバイスにより受信されている前記メディアコンテンツの前記デジタルビデオフィンガープリントと前記デジタルオーディオフィンガープリントは、前記メディア提示デバイスが、前記メディアコンテンツを提示のために処理するときに生成されている、請求項1に記載の方法。
  5. 前記コンピューティングシステムが前記メディア提示デバイス以外のエンティティであり、前記デジタルビデオフィンガープリントと前記デジタルオーディオフィンガープリントとが前記メディア提示デバイスによって生成され、前記方法が、
    前記デジタルビデオフィンガープリントと前記デジタルオーディオフィンガープリントとを、前記メディア提示デバイスから前記コンピューティングシステムによって受信すること
    をさらに含む、請求項1に記載の方法。
  6. 前記異なるそれぞれのチャネルとそれぞれ対応する前記複数の参照ビデオフィンガープリントが、参照データ中の複数の参照ビデオフィンガープリントから選択され、
    前記メディア提示デバイスによって受信されている前記メディアコンテンツの前記デジタルビデオフィンガープリントが、前記異なるそれぞれのチャネルとそれぞれ対応する前記複数の参照ビデオフィンガープリントに一致すると決定することは、
    前記メディア提示デバイスによって受信されている前記メディアコンテンツの前記デジタルビデオフィンガープリントを前記参照データ中の前記複数の参照ビデオフィンガープリントと比較することと、
    前記比較することに基づいて、前記メディア提示デバイスによって受信されている前記メディアコンテンツの前記デジタルビデオフィンガープリントが、前記異なるそれぞれのチャネルとそれぞれ対応する前記複数の参照ビデオフィンガープリントに一致すると決定することと
    を含む、請求項1に記載の方法。
  7. 前記複数の参照ビデオフィンガープリントからなる複数一致グループを検出しフラグ付けすることをさらに含み、
    前記メディア提示デバイスによって受信されている前記メディアコンテンツの前記デジタルビデオフィンガープリントが前記複数の参照ビデオフィンガープリントに一致すると決定することは、前記メディア提示デバイスによって受信されている前記メディアコンテンツの前記デジタルビデオフィンガープリントが、前記フラグ付けされた複数一致グループの前記参照ビデオフィンガープリントに一致すると決定することを含む、
    請求項1に記載の方法。
  8. 前記フラグ付けされた複数一致グループの前記参照ビデオフィンガープリントと対応する参照オーディオフィンガープリントを比較することと、
    前記比較することに基づいて、前記比較された参照オーディオフィンガープリントの間の差を検出することと、
    前記差を検出することに応答して、オーディオフィンガープリント分析が曖昧性排除を可能にすることができることを示すために前記複数一致グループにさらにフラグ付けすることと
    をさらに含み、
    前記メディア提示デバイスによって受信されている前記メディアコンテンツの前記デジタルオーディオフィンガープリントが、ただ単一のチャネルと対応する参照オーディオフィンガープリントに一致するという前記決定に基づいて曖昧性排除を実施することは、オーディオフィンガープリント分析が曖昧性排除を可能にすることができることを示すために前記複数一致グループがさらにフラグ付けされると決定することにさらに応答する、
    請求項7に記載の方法。
  9. 前記コンピューティングシステムが前記メディア提示デバイス以外のエンティティであり、前記方法は、
    前記デジタルビデオフィンガープリントが、異なるそれぞれのチャネルとそれぞれ対応する前記複数の参照ビデオフィンガープリントに一致すると少なくとも決定することに応答して、取得された前記デジタルオーディオフィンガープリントに基づいて曖昧性排除の前記実施を可能にするために、前記メディア提示デバイスによって受信されている前記メディアコンテンツの前記デジタルオーディオフィンガープリントを前記コンピューティングシステムが前記メディア提示デバイスに要求し、受信すること
    をさらに含む、請求項1に記載の方法。
  10. 前記メディア提示デバイスが前記単一のチャネル上で前記メディアコンテンツを受信していることを前記確定することに基づいてアクションを取ることは、前記メディア提示デバイスによって受信されている前記メディアコンテンツとともに補助チャネル固有コンテンツを提示させることを含む、請求項1に記載の方法。
  11. 少なくとも部分的に前記メディア提示デバイスによって行われる、請求項1に記載の方法。
  12. 前記メディア提示デバイスが前記単一のチャネル上で前記メディアコンテンツを受信していることを前記確定することに基づいてアクションを取ることは、チャネルレーティングシステムにおける使用のために前記単一のチャネルの提示を記録することを含む、請求項1に記載の方法。
  13. メディア提示デバイスがメディアコンテンツを受信しているとき、前記メディア提示デバイスによって受信されている前記メディアコンテンツのデジタルビデオフィンガープリントが、異なるそれぞれのチャネルとそれぞれ対応する複数の参照ビデオフィンガープリントに一致すると決定することと、
    前記デジタルビデオフィンガープリントが、異なるそれぞれのチャネルとそれぞれ対応する前記複数の参照ビデオフィンガープリントに一致すると少なくとも決定することに応答して、前記メディア提示デバイスによって受信されている前記メディアコンテンツのデジタルオーディオフィンガープリントが、前記複数の参照ビデオフィンガープリントが対応する前記チャネルのうちのただ単一のチャネルと対応する参照オーディオフィンガープリントに一致するという決定に少なくとも部分的に基づいて曖昧性排除を実施することであって、前記曖昧性排除は、前記メディア提示デバイスが前記単一のチャネル上で前記メディアコンテンツを受信していることを確定する、ことと、
    前記メディア提示デバイスが前記単一のチャネル上で前記メディアコンテンツを受信していることを前記確定することに基づいてアクションを取ることと
    を含み、
    前記デジタルビデオフィンガープリントが、異なるチャネルとそれぞれ対応する前記複数の参照ビデオフィンガープリントに一致すると少なくとも決定することに応答して、前記曖昧性排除を可能にするために、前記複数の参照ビデオフィンガープリントが対応する前記チャネルと対応する参照オーディオフィンガープリントを生成することを更に含む動作を行うように処理ユニットによって実行可能な命令を記憶した非一時的コンピュータ可読媒体。
  14. 前記メディア提示デバイスによって受信されている前記メディアコンテンツの前記デジタルオーディオフィンガープリントが、前記メディア提示デバイスによって受信されている前記メディアコンテンツの少なくとも言語トラックを表す、請求項13に記載の非一時的コンピュータ可読媒体。
  15. 前記メディア提示デバイスが前記単一のチャネル上で前記メディアコンテンツを受信していることを前記確定することに基づいてアクションを取ることは、前記メディア提示デバイスによって受信されている前記メディアコンテンツとともに補助チャネル固有コンテンツを提示させることを含む、請求項13に記載の非一時的コンピュータ可読媒体。
  16. 前記メディア提示デバイスが前記単一のチャネル上で前記メディアコンテンツを受信していることを前記確定することに基づいてアクションを取ることは、チャネルレーティングシステムにおける使用のために前記単一のチャネルの提示を記録することを含む、請求項13に記載の非一時的コンピュータ可読媒体。
  17. ネットワーク通信インターフェースと、
    処理ユニットと、
    非一時的データストレージと、
    前記非一時的データストレージに記憶されたプログラム命令と
    を備えるシステムであって、前記プログラム命令は、
    メディア提示デバイスによって受信されているメディアコンテンツのデジタルビデオフィンガープリントを、前記ネットワーク通信インターフェースを介して前記メディア提示デバイスから受信することと、
    前記受信されたデジタルビデオフィンガープリントが、複数のチャネルと対応する参照ビデオフィンガープリントに一致すると決定することと、
    前記メディア提示デバイスによって受信されている前記メディアコンテンツのデジタルオーディオフィンガープリントを、前記ネットワーク通信インターフェースを介して前記メディア提示デバイスから受信することと、
    前記複数のチャネルのうちのどれが、前記メディア提示デバイスによって受信されている前記メディアコンテンツを搬送するかを決定するために、前記受信されたデジタルオーディオフィンガープリントを使用することと、
    を含む動作を行うように前記処理ユニットによって実行可能であり、
    前記複数のチャネルのうちのどれが、前記メディア提示デバイスによって受信されている前記メディアコンテンツを搬送するかを決定するために、前記受信されたデジタルオーディオフィンガープリントを使用することは、前記受信されたデジタルオーディオフィンガープリントが、前記複数のチャネルのうちのただ単一のチャネルと対応する参照オーディオフィンガープリントに一致すると決定することを含み、
    前記プログラム命令は、
    前記複数のチャネルのうちのどれが、前記メディア提示デバイスによって受信されている前記メディアコンテンツを搬送するかを決定するために、前記参照ビデオフィンガープリントが対応する前記複数のチャネルと対応する参照オーディオフィンガープリントを生成することと、
    前記決定されたチャネルに基づいてアクションを取ることと、
    を更に含む、システム。
  18. 前記動作は、
    前記受信されたデジタルビデオフィンガープリントが、前記複数のチャネルと対応する前記参照ビデオフィンガープリントに一致すると少なくとも決定することに応答して、前記メディア提示デバイスによって受信されている前記メディアコンテンツの前記デジタルオーディオフィンガープリントについての要求を前記メディア提示デバイスに送ることをさらに含み、
    前記メディア提示デバイスによって受信されている前記メディアコンテンツの前記デジタルオーディオフィンガープリントを前記メディア提示デバイスから受信することが、前記要求を送ることに応答して行われる、
    請求項17に記載のシステム。
  19. 前記決定されたチャネルに基づいてアクションを取ることは、前記メディア提示デバイスによって受信されている前記メディアコンテンツとともに補助チャネル固有コンテンツを提示させることを含む、請求項17に記載のシステム。
JP2020216275A 2016-02-29 2020-12-25 ビデオ複数一致検出とオーディオフィンガープリントに基づく曖昧性排除とを用いたメディアチャネル識別 Active JP7161516B2 (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201662301616P 2016-02-29 2016-02-29
US62/301,616 2016-02-29
US15/179,143 US9924222B2 (en) 2016-02-29 2016-06-10 Media channel identification with multi-match detection and disambiguation based on location
US15/179,143 2016-06-10
US15/222,405 2016-07-28
US15/222,405 US10063918B2 (en) 2016-02-29 2016-07-28 Media channel identification with multi-match detection and disambiguation based on single-match
US15/253,354 US9930406B2 (en) 2016-02-29 2016-08-31 Media channel identification with video multi-match detection and disambiguation based on audio fingerprint
US15/253,354 2016-08-31

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019127485A Division JP6818093B2 (ja) 2016-02-29 2019-07-09 ビデオ複数一致検出とオーディオフィンガープリントに基づく曖昧性排除とを用いたメディアチャネル識別

Publications (2)

Publication Number Publication Date
JP2021073755A JP2021073755A (ja) 2021-05-13
JP7161516B2 true JP7161516B2 (ja) 2022-10-26

Family

ID=59679952

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018532651A Active JP6556365B2 (ja) 2016-02-29 2017-02-28 ビデオ複数一致検出とオーディオフィンガープリントに基づく曖昧性排除とを用いたメディアチャネル識別
JP2019127485A Active JP6818093B2 (ja) 2016-02-29 2019-07-09 ビデオ複数一致検出とオーディオフィンガープリントに基づく曖昧性排除とを用いたメディアチャネル識別
JP2020216275A Active JP7161516B2 (ja) 2016-02-29 2020-12-25 ビデオ複数一致検出とオーディオフィンガープリントに基づく曖昧性排除とを用いたメディアチャネル識別

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2018532651A Active JP6556365B2 (ja) 2016-02-29 2017-02-28 ビデオ複数一致検出とオーディオフィンガープリントに基づく曖昧性排除とを用いたメディアチャネル識別
JP2019127485A Active JP6818093B2 (ja) 2016-02-29 2019-07-09 ビデオ複数一致検出とオーディオフィンガープリントに基づく曖昧性排除とを用いたメディアチャネル識別

Country Status (7)

Country Link
US (6) US9930406B2 (ja)
EP (1) EP3424224B1 (ja)
JP (3) JP6556365B2 (ja)
KR (2) KR102024105B1 (ja)
CN (2) CN110516111A (ja)
HK (1) HK1256881B (ja)
WO (1) WO2017151591A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8768003B2 (en) * 2012-03-26 2014-07-01 The Nielsen Company (Us), Llc Media monitoring using multiple types of signatures
US9930406B2 (en) * 2016-02-29 2018-03-27 Gracenote, Inc. Media channel identification with video multi-match detection and disambiguation based on audio fingerprint
US20170371963A1 (en) 2016-06-27 2017-12-28 Facebook, Inc. Systems and methods for identifying matching content
US10713495B2 (en) 2018-03-13 2020-07-14 Adobe Inc. Video signatures based on image feature extraction
US10904587B2 (en) 2018-07-19 2021-01-26 Gracenote, Inc. Establishment and use of time mapping based on interpolation using low-rate fingerprinting, to help facilitate frame-accurate content revision
KR20200059060A (ko) * 2018-11-20 2020-05-28 삼성전자주식회사 디스플레이 장치 및 그 동작 방법
US10956490B2 (en) * 2018-12-31 2021-03-23 Audiobyte Llc Audio and visual asset matching platform
US11086931B2 (en) 2018-12-31 2021-08-10 Audiobyte Llc Audio and visual asset matching platform including a master digital asset
US11373440B2 (en) 2019-05-10 2022-06-28 Roku, Inc. Content-modification system with fingerprint data match and mismatch detection feature
US11632598B2 (en) 2019-05-10 2023-04-18 Roku, Inc. Content-modification system with responsive transmission of reference fingerprint data feature
WO2020231813A1 (en) * 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with responsive transmission of reference fingerprint data feature
US11234050B2 (en) 2019-06-18 2022-01-25 Roku, Inc. Use of steganographically-encoded data as basis to control dynamic content modification as to at least one modifiable-content segment identified based on fingerprint analysis
US11689753B2 (en) * 2019-06-18 2023-06-27 The Nielsen Company (Us), Llc Use of steganographically-encoded data as basis to disambiguate fingerprint-based channel-multi-match
US11722729B2 (en) * 2019-07-19 2023-08-08 Roku, Inc. Method and system for use of earlier and/or later single-match as basis to disambiguate channel multi-match with non-matching programs
US11297367B2 (en) * 2019-07-22 2022-04-05 Roku, Inc. Content-modification system with broadcast schedule utilization feature
CN110827850B (zh) * 2019-11-11 2022-06-21 广州国音智能科技有限公司 音频分离方法、装置、设备及计算机可读存储介质
US11863834B2 (en) 2020-05-05 2024-01-02 Rovi Guides, Inc. Systems and methods for recommending content using progress bars
US11417099B1 (en) * 2021-11-08 2022-08-16 9219-1568 Quebec Inc. System and method for digital fingerprinting of media content

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245066A (ja) 2001-02-19 2002-08-30 Sony Corp 情報検索装置及び方法、並びに記憶媒体
JP2013531937A (ja) 2011-04-25 2013-08-08 エンサーズ カンパニー リミテッド 放送に含まれた広告に関連した情報をクライアント端末機側へネットワークを介して提供するシステム及び方法
JP2014064179A (ja) 2012-09-21 2014-04-10 Video Research:Kk 視聴状況調査システム及び方法、視聴状況調査処理プログラム、視聴状況計算装置
WO2014129803A1 (en) 2013-02-21 2014-08-28 Lg Electronics Inc. Video display apparatus and operating method thereof
JP2015512198A (ja) 2012-02-10 2015-04-23 エルジー エレクトロニクス インコーポレイティド 映像表示装置及びその動作方法

Family Cites Families (118)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3694237B2 (ja) 1997-12-01 2005-09-14 スターサイト テレキャスト インコーポレイテッド ポップアップに広告メッセージを伴う電子番組ガイドシステム
US6834308B1 (en) 2000-02-17 2004-12-21 Audible Magic Corporation Method and apparatus for identifying media content presented on a media playing device
JP2001298433A (ja) 2000-04-12 2001-10-26 Dd Marketing:Kk 視聴率調査装置、視聴率調査方法および記録媒体
US6990453B2 (en) 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US8205237B2 (en) 2000-09-14 2012-06-19 Cox Ingemar J Identifying works, using a sub-linear time search, such as an approximate nearest neighbor search, for initiating a work-based action, such as an action on the internet
US7206853B2 (en) 2000-10-23 2007-04-17 Sony Corporation content abstraction layer for use in home network applications
US8055899B2 (en) 2000-12-18 2011-11-08 Digimarc Corporation Systems and methods using digital watermarking and identifier extraction to provide promotional opportunities
US7363278B2 (en) 2001-04-05 2008-04-22 Audible Magic Corporation Copyright detection and protection system and method
US7725918B2 (en) 2001-08-03 2010-05-25 Ericsson Television Inc. Interactive television with embedded universal time codes
US7020304B2 (en) 2002-01-22 2006-03-28 Digimarc Corporation Digital watermarking and fingerprinting including synchronization, layering, version control, and compressed embedding
ATE312381T1 (de) 2002-02-06 2005-12-15 Koninkl Philips Electronics Nv Schnelles hash-basiertes metadatenretrieval für multimediaobjekte
US7461392B2 (en) 2002-07-01 2008-12-02 Microsoft Corporation System and method for identifying and segmenting repeating media objects embedded in a stream
CN100426861C (zh) 2002-07-01 2008-10-15 微软公司 对嵌于媒介流中的重复对象提供用户控制的系统和方法
EP1573462A2 (en) 2002-10-28 2005-09-14 Gracenote, Inc. Personal audio recording system
US7694318B2 (en) 2003-03-07 2010-04-06 Technology, Patents & Licensing, Inc. Video detection and insertion
US20050149968A1 (en) 2003-03-07 2005-07-07 Richard Konig Ending advertisement insertion
US20060182412A1 (en) 2003-07-21 2006-08-17 Lefevre Chad A Personal video recorder that records through channel change
WO2005011294A1 (ja) 2003-07-28 2005-02-03 Nec Corporation 視聴調査システム
US7788696B2 (en) 2003-10-15 2010-08-31 Microsoft Corporation Inferring information about media stream objects
US7986913B2 (en) 2004-02-19 2011-07-26 Landmark Digital Services, Llc Method and apparatus for identificaton of broadcast source
CN101077014B (zh) 2004-08-09 2013-09-25 尼尔森(美国)有限公司 用于监视来自各种源的音频/视觉内容的方法及装置
US8406607B2 (en) * 2004-08-12 2013-03-26 Gracenote, Inc. Selection of content from a stream of video or audio data
US7516074B2 (en) 2005-09-01 2009-04-07 Auditude, Inc. Extraction and matching of characteristic fingerprints from audio signals
JP2009524273A (ja) 2005-11-29 2009-06-25 グーグル・インコーポレーテッド 放送メディア内の反復コンテンツの検出
US20070180463A1 (en) 2006-01-19 2007-08-02 Jarman Matthew T Method and apparatus for logging and reporting television viewing
US20070217648A1 (en) 2006-03-02 2007-09-20 Thomas Muehlbauer Fingerprinting Digital Media Content
EP2070231B1 (en) 2006-10-03 2013-07-03 Shazam Entertainment, Ltd. Method for high throughput of identification of distributed broadcast content
KR20080046325A (ko) 2006-11-22 2008-05-27 엘지전자 주식회사 지상파 방송의 비상 사태 경보와 관련된 방송 신호, 이를처리하는 방법 및 이를 위한 방송 수신기
JP5390506B2 (ja) 2007-04-13 2014-01-15 アイファロ メディア ゲーエムベーハー ビデオ検出システムおよびビデオ検出方法
US8499316B2 (en) 2007-05-11 2013-07-30 Sony Corporation Program identification using a portable communication device
EP2332328A4 (en) 2008-08-18 2012-07-04 Ipharro Media Gmbh PROVIDING ADDITIONAL INFORMATION
WO2010027847A1 (en) * 2008-08-26 2010-03-11 Dolby Laboratories Licensing Corporation Robust media fingerprints
US8185733B2 (en) 2008-10-02 2012-05-22 Ricoh Co., Ltd. Method and apparatus for automatically publishing content based identifiers
GB2465141B (en) 2008-10-31 2014-01-22 Media Instr Sa Simulcast resolution in content matching systems
US20100205628A1 (en) 2009-02-12 2010-08-12 Davis Bruce L Media processing methods and arrangements
US8516533B2 (en) 2008-11-07 2013-08-20 Digimarc Corporation Second screen methods and arrangements
GB2465747A (en) 2008-11-21 2010-06-02 Media Instr Sa Audience measurement system and method of generating reference signatures
GB0904113D0 (en) 2009-03-10 2009-04-22 Intrasonics Ltd Video and audio bookmarking
US9094714B2 (en) 2009-05-29 2015-07-28 Cognitive Networks, Inc. Systems and methods for on-screen graphics detection
US8713068B2 (en) 2009-06-11 2014-04-29 Yahoo! Inc. Media identification system with fingerprint database balanced according to search loads
CN101998100B (zh) 2009-08-25 2012-04-11 杨沁沁 加载电视频道识别信息的方法及电视机和遥控器
US20110066942A1 (en) 2009-09-14 2011-03-17 Barton James M Multifunction Multimedia Device
US9031243B2 (en) 2009-09-28 2015-05-12 iZotope, Inc. Automatic labeling and control of audio algorithms by audio recognition
US8886531B2 (en) 2010-01-13 2014-11-11 Rovi Technologies Corporation Apparatus and method for generating an audio fingerprint and using a two-stage query
JP5506507B2 (ja) 2010-03-31 2014-05-28 Necパーソナルコンピュータ株式会社 Cm検出システム、サーバ、cm検出方法、プログラム及び記録媒体
US9264785B2 (en) 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
US9159338B2 (en) 2010-05-04 2015-10-13 Shazam Entertainment Ltd. Systems and methods of rendering a textual animation
US8694533B2 (en) * 2010-05-19 2014-04-08 Google Inc. Presenting mobile content based on programming context
US9047371B2 (en) 2010-07-29 2015-06-02 Soundhound, Inc. System and method for matching a query against a broadcast stream
US8649659B2 (en) 2010-10-06 2014-02-11 Motorola Mobility Llc Method and system for transitioning media output among two or more devices
US8863165B2 (en) 2010-11-01 2014-10-14 Gracenote, Inc. Method and system for presenting additional content at a media system
KR20120072198A (ko) 2010-12-23 2012-07-03 한국전자통신연구원 맞춤형 서비스 제공 시스템 및 방법
JP5649470B2 (ja) 2011-01-24 2015-01-07 株式会社ビデオリサーチ 放送メディア測定システム及び方法
CN102176208B (zh) 2011-02-28 2012-12-26 西安电子科技大学 基于三维空时特征的鲁棒视频指纹方法
US9412330B2 (en) 2011-03-15 2016-08-09 Lattice Semiconductor Corporation Conversion of multimedia data streams for use by connected devices
EP2720457A4 (en) 2011-06-13 2015-03-25 Nec Corp VIDEO PROCESSING SYSTEM, VIDEO PROCESSING METHOD, VIDEO PROCESSING DATABASE CREATING METHOD, VIDEO PROCESSING DATA BASE, VIDEO PROCESSING APPARATUS, AND CONTROL METHOD AND CONTROL PROGRAM THEREOF
KR101828342B1 (ko) 2011-08-10 2018-02-12 삼성전자 주식회사 방송수신장치, 방송신호 관련 연관정보 제공방법 및 서버
US8805827B2 (en) 2011-08-23 2014-08-12 Dialogic (Us) Inc. Content identification using fingerprint matching
DE102011052981A1 (de) 2011-08-25 2013-02-28 Tente Gmbh & Co. Kg Montageplatte und Rolle, gegebenenfalls mit einer Montageplatte
US8639178B2 (en) 2011-08-30 2014-01-28 Clear Channel Management Sevices, Inc. Broadcast source identification based on matching broadcast signal fingerprints
US9374183B2 (en) 2011-08-30 2016-06-21 Iheartmedia Management Services, Inc. Broadcast source identification based on matching via bit count
US8717499B2 (en) * 2011-09-02 2014-05-06 Dialogic Corporation Audio video offset detector
JP5948773B2 (ja) 2011-09-22 2016-07-06 ソニー株式会社 受信装置、受信方法、プログラム、及び情報処理システム
KR101310943B1 (ko) 2011-09-26 2013-09-23 (주)엔써즈 방송 콘텐츠와 연관된 콘텐츠 연관 정보를 제공하는 시스템 및 방법
KR101873364B1 (ko) 2011-09-27 2018-08-03 삼성전자 주식회사 방송수신장치, 방송신호 관련 연관정보 제공방법
TW201314594A (zh) 2011-09-30 2013-04-01 Hon Hai Prec Ind Co Ltd 財務支出管理系統及方法
JP6071184B2 (ja) 2011-10-26 2017-02-01 サターン ライセンシング エルエルシーSaturn Licensing LLC 受信装置、受信方法、プログラム、及び情報処理システム
US9015785B2 (en) 2011-11-29 2015-04-21 Sony Corporation Terminal apparatus, server apparatus, information processing method, program, and linking application supply system
US8510770B1 (en) 2012-02-03 2013-08-13 Google Inc. Predicting live programs
US8893168B2 (en) 2012-02-07 2014-11-18 Turner Broadcasting System, Inc. Method and system for synchronization of dial testing and audience response utilizing automatic content recognition
CN104160713B (zh) 2012-03-05 2018-06-05 Lg电子株式会社 视频显示设备及其操作方法
US9292894B2 (en) 2012-03-14 2016-03-22 Digimarc Corporation Content recognition and synchronization using local caching
US8768003B2 (en) 2012-03-26 2014-07-01 The Nielsen Company (Us), Llc Media monitoring using multiple types of signatures
US20140013352A1 (en) 2012-07-09 2014-01-09 Tvtak Ltd. Methods and systems for providing broadcast ad identification
KR101396413B1 (ko) 2012-05-07 2014-05-19 주식회사 마크애니 디지털 핑거프린팅을 이용한 정보 제공 시스템 및 방법
US8719884B2 (en) 2012-06-05 2014-05-06 Microsoft Corporation Video identification and search
US9251406B2 (en) 2012-06-20 2016-02-02 Yahoo! Inc. Method and system for detecting users' emotions when experiencing a media program
EP2868109B1 (en) * 2012-06-28 2016-08-17 Google, Inc. Generating a sequence of audio fingerprints at a set top box
US8843952B2 (en) * 2012-06-28 2014-09-23 Google Inc. Determining TV program information based on analysis of audio fingerprints
US8898692B2 (en) 2012-07-19 2014-11-25 Cox Communications, Inc. Systems, methods, and apparatus for delivering content
US9081778B2 (en) 2012-09-25 2015-07-14 Audible Magic Corporation Using digital fingerprints to associate data with a work
CN103581705A (zh) 2012-11-07 2014-02-12 深圳新感易搜网络科技有限公司 视频节目识别方法和系统
US9323840B2 (en) 2013-01-07 2016-04-26 Gracenote, Inc. Video fingerprinting
US9495451B2 (en) 2013-01-07 2016-11-15 Gracenote, Inc. Identifying video content via fingerprint matching
US9146990B2 (en) 2013-01-07 2015-09-29 Gracenote, Inc. Search and identification of video content
US8997164B2 (en) 2013-01-07 2015-03-31 Gracenote, Inc. Authorizing devices based on identifying content distributor
KR101369475B1 (ko) 2013-01-23 2014-03-06 (주)엔써즈 방송 시청률 조사 시스템 및 방법
US9247309B2 (en) * 2013-03-14 2016-01-26 Google Inc. Methods, systems, and media for presenting mobile content corresponding to media content
US8966521B2 (en) 2013-03-14 2015-02-24 The Nielsen Company (Us), Llc Methods and apparatus to present supplemental media on a second screen
US10212490B2 (en) 2013-03-15 2019-02-19 DISH Technologies L.L.C. Pre-distribution identification of broadcast television content using audio fingerprints
CN103226780A (zh) 2013-03-29 2013-07-31 新好耶信息技术(上海)有限公司 确定广告位频道的方法及广告投放服务器
CN110083714B (zh) 2013-04-05 2024-02-13 杜比实验室特许公司 用于自动文件检测的对来自基于文件的媒体的特有信息的获取、恢复和匹配
US9161074B2 (en) * 2013-04-30 2015-10-13 Ensequence, Inc. Methods and systems for distributing interactive content
CN103634613B (zh) 2013-08-15 2016-12-28 北京中视广信科技有限公司 移动终端与广播电视频道自动同步的方法及系统
WO2015033500A1 (ja) 2013-09-04 2015-03-12 パナソニックIpマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
US9275427B1 (en) 2013-09-05 2016-03-01 Google Inc. Multi-channel audio video fingerprinting
CN103501449A (zh) 2013-10-08 2014-01-08 十分(北京)信息科技有限公司 与电视节目关联的视频源推荐方法及推荐装置
CN103533459B (zh) 2013-10-09 2017-05-03 北京中科模识科技有限公司 一种新闻视频条目拆分的方法和系统
US9465995B2 (en) 2013-10-23 2016-10-11 Gracenote, Inc. Identifying video content via color-based fingerprint matching
US9325646B2 (en) 2013-10-28 2016-04-26 Verizon Patent And Licensing Inc. Providing contextual messages relating to currently accessed content
US9420349B2 (en) * 2014-02-19 2016-08-16 Ensequence, Inc. Methods and systems for monitoring a media stream and selecting an action
KR102166423B1 (ko) 2014-03-05 2020-10-15 삼성전자주식회사 디스플레이 장치, 서버 장치 및 디스플레이 장치의 이벤트 정보 제공 방법
US20150302086A1 (en) 2014-04-22 2015-10-22 Gracenote, Inc. Audio identification during performance
CN104093079B (zh) 2014-05-29 2015-10-07 腾讯科技(深圳)有限公司 基于多媒体节目的交互方法、终端、服务器和系统
JP6432047B2 (ja) 2014-08-21 2018-12-05 パナソニックIpマネジメント株式会社 コンテンツ認識装置およびコンテンツ認識方法
US9497505B2 (en) 2014-09-30 2016-11-15 The Nielsen Company (Us), Llc Systems and methods to verify and/or correct media lineup information
US9667321B2 (en) 2014-10-31 2017-05-30 Pearson Education, Inc. Predictive recommendation engine
US9805099B2 (en) 2014-10-30 2017-10-31 The Johns Hopkins University Apparatus and method for efficient identification of code similarity
WO2016070124A1 (en) 2014-10-30 2016-05-06 Pearson Education, Inc. Content database generation
US9258604B1 (en) 2014-11-24 2016-02-09 Facebook, Inc. Commercial detection based on audio fingerprinting
CN104598541A (zh) 2014-12-29 2015-05-06 乐视网信息技术(北京)股份有限公司 多媒体文件的识别方法、装置
US20160316261A1 (en) 2015-04-23 2016-10-27 Sorenson Media, Inc. Automatic content recognition fingerprint sequence matching
US9516377B1 (en) 2015-06-12 2016-12-06 Sorenson Media, Inc. Detecting channel change in automatic content recognition fingerprint matching
GB2558095B (en) 2015-08-13 2020-04-01 Arris Entpr Llc System and method for detecting advertisements in multimedia assets
US9900636B2 (en) 2015-08-14 2018-02-20 The Nielsen Company (Us), Llc Reducing signature matching uncertainty in media monitoring systems
KR101757878B1 (ko) * 2015-12-10 2017-07-14 삼성전자주식회사 컨텐츠 처리장치, 그의 컨텐츠 처리방법, 서버, 서버의 정보 제공방법 및 정보제공 시스템
KR102560635B1 (ko) * 2015-12-28 2023-07-28 삼성전자주식회사 컨텐트 인식 장치 및 그 동작 방법
US9930406B2 (en) * 2016-02-29 2018-03-27 Gracenote, Inc. Media channel identification with video multi-match detection and disambiguation based on audio fingerprint

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245066A (ja) 2001-02-19 2002-08-30 Sony Corp 情報検索装置及び方法、並びに記憶媒体
JP2013531937A (ja) 2011-04-25 2013-08-08 エンサーズ カンパニー リミテッド 放送に含まれた広告に関連した情報をクライアント端末機側へネットワークを介して提供するシステム及び方法
JP2015512198A (ja) 2012-02-10 2015-04-23 エルジー エレクトロニクス インコーポレイティド 映像表示装置及びその動作方法
JP2014064179A (ja) 2012-09-21 2014-04-10 Video Research:Kk 視聴状況調査システム及び方法、視聴状況調査処理プログラム、視聴状況計算装置
WO2014129803A1 (en) 2013-02-21 2014-08-28 Lg Electronics Inc. Video display apparatus and operating method thereof

Also Published As

Publication number Publication date
EP3424224B1 (en) 2022-03-30
CN108702543B (zh) 2019-08-30
US20210329333A1 (en) 2021-10-21
US9930406B2 (en) 2018-03-27
JP2019507515A (ja) 2019-03-14
EP3424224A1 (en) 2019-01-09
CN110516111A (zh) 2019-11-29
CN108702543A (zh) 2018-10-23
US20180109841A1 (en) 2018-04-19
JP6818093B2 (ja) 2021-01-20
US20170251249A1 (en) 2017-08-31
KR102299754B1 (ko) 2021-09-09
US11412296B2 (en) 2022-08-09
HK1256881B (zh) 2020-07-03
JP2021073755A (ja) 2021-05-13
KR20180105750A (ko) 2018-09-28
JP6556365B2 (ja) 2019-08-07
US11089360B2 (en) 2021-08-10
US20200221173A1 (en) 2020-07-09
US20190182541A1 (en) 2019-06-13
US10440430B2 (en) 2019-10-08
KR102024105B1 (ko) 2019-09-23
US20180310057A1 (en) 2018-10-25
JP2019220958A (ja) 2019-12-26
US10149007B2 (en) 2018-12-04
KR20190109577A (ko) 2019-09-25
US10631049B2 (en) 2020-04-21
EP3424224A4 (en) 2019-07-31
WO2017151591A1 (en) 2017-09-08

Similar Documents

Publication Publication Date Title
JP7161516B2 (ja) ビデオ複数一致検出とオーディオフィンガープリントに基づく曖昧性排除とを用いたメディアチャネル識別
JP7189981B2 (ja) 複数一致検出とブロードキャストの時間に基づく曖昧性排除とを用いたメディアチャネル識別
JP7160970B2 (ja) 複数一致検出と単一一致に基づく曖昧性排除とを用いたメディアチャネル識別

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210125

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220119

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220914

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221014

R150 Certificate of patent or registration of utility model

Ref document number: 7161516

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150