TW202315415A - 使用帶內元資料作為存取參考指紋的基礎，以促進與內容相關的動作 - Google Patents

使用帶內元資料作為存取參考指紋的基礎，以促進與內容相關的動作 Download PDF

Info

Publication number
TW202315415A
TW202315415A TW111145799A TW111145799A TW202315415A TW 202315415 A TW202315415 A TW 202315415A TW 111145799 A TW111145799 A TW 111145799A TW 111145799 A TW111145799 A TW 111145799A TW 202315415 A TW202315415 A TW 202315415A
Authority
TW
Taiwan
Prior art keywords
media
media stream
client
content
stream
Prior art date
Application number
TW111145799A
Other languages
English (en)
Inventor
史蒂文 Ｍ 科米
布萊恩 延茨
Original Assignee
美商六科股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商六科股份有限公司 filed Critical 美商六科股份有限公司
Publication of TW202315415A publication Critical patent/TW202315415A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H04L65/1089—In-session procedures by adding media; by removing media
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/14—Multichannel or multilink protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26241—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the time of distribution, e.g. the best time of the day for inserting an advertisement or airing a children program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols

Abstract

當媒體客戶端接收用於呈現的媒體流時，媒體客戶端可以帶內地隨媒體流一起接收標識媒體流的元資料，諸如被編碼為媒體流中的浮水印或隨媒體流一起被攜帶在基於分組的傳輸流中的媒體流識別符，以及其他可能性。並且當媒體客戶端正在處理用於呈現的媒體流時，媒體客戶端然後可以將所接收的元資料帶外傳送到伺服器，以使得伺服器能夠容易地獲得表示媒體流的參考指紋，並且由此基於參考指紋來促進諸如動態內容修改的與內容相關的動作。

Description

使用帶內元資料作為存取參考指紋的基礎，以促進與內容相關的動作
[相關申請的交叉引用]
本發明要求於2020年1月28日提交的申請號為15/929,210的美國專利申請和於2019年9月13日提交的申請號為62/900,037的美國臨時專利申請的優先權，它們的全部內容通過引用均結合在本申請案中。
本發明涉及一種方法、電腦系統和電腦可讀介質，用於使用帶內元資料作為存取參考指紋的基礎來促進與內容相關的動作。
典型的媒體客戶端進行操作以接收表示諸如視訊和/或音頻內容的媒體內容的類比或數位媒體流，並處理該媒體流以供媒體客戶端或相關聯的實體在諸如顯示幕和/或音頻揚聲器的使用者介面上呈現。這種媒體客戶端的示例可以包括電視、電腦顯示器、投影系統、揚聲器、耳機、機上盒（例如，有線或衛星電視接收器）、數位視訊記錄器、收音機、個人電腦、移動通訊設備、遊戲控制台、流媒體播放機和/或這些其他設備的組合。
舉例來說，電視可以接收廣播流（例如，通過空中、從機上盒、通過網際網路連接、或以另一方式），並且可以向使用者呈現該廣播流的媒體內容。作為另一示例，機上盒可以從多頻道視訊節目分發器（MVPD）接收廣播流，並且可以經由高清晰度多媒體介面（HDMI）纜線或其他介面將該流的媒體內容輸出到電視和/或音頻/視訊接收器以供播放。作為又一示例，數位視訊或音頻記錄器可同樣接收廣播流，但可儲存廣播流以供稍後播出。作為又一示例，揚聲器或耳機可以從無線電、電腦或其他設備接收廣播音頻流，並且可以向使用者呈現該流的音頻內容。許多其它示例也是可能的。
本發明提供了，當媒體客戶端接收用於呈現的媒體流時，媒體客戶端可以隨媒體流一起帶內接收標識媒體流的元資料，例如被編碼為媒體流中的浮水印的媒體流識別符，或在基於分組的傳輸流中隨媒體流一起攜帶的媒體流識別符。並且本發明提供了，當媒體客戶端正在處理用於呈現的媒體流時，媒體客戶端隨後可以將接收到的元資料帶外傳送到伺服器，以使伺服器能夠容易地獲得表示媒體流的參考指紋，從而基於參考指紋促進諸如動態內容修改的與內容相關的動作。
同樣，本發明提供了，當媒體客戶端正在處理用於呈現的媒體流時，伺服器可以從媒體客戶端接收向伺服器提供媒體流識別符的帶外訊號，該媒體流識別符是客戶端從客戶端隨媒體流一起接收的帶內元資料中提取的。並且本發明提供了，伺服器隨後可以使用所接收的媒體流識別符作為基礎來容易地獲得表示正被呈現的媒體流的參考指紋，並且伺服器可以使用所獲得的參考指紋作為基礎來促進諸如動態內容修改的與內容相關的動作。
通過閱讀以下詳細描述，並在適當的情況下參考圖式，這些以及其他方面、優點和替代方案對於本領域的普通技術人員來說將變得顯而易見。應當理解，在本發明內容部分和以下提供的描述僅是為了以示例的方式、而不是以限制的方式來說明本發明。
參照圖式，如上所述，圖1是能夠應用各種公開原理的示例系統的簡化框圖。然而，應當理解，本文中描述的這種和其他佈置和過程能夠採取各種其他形式。例如，元素和操作能夠重新排序、分佈、複製、組合、省略、添加或以其他方式修改。此外，應當理解，本文中描述的由一個或更多個實體執行的功能能夠通過硬體、韌體和/或軟體（例如由執行程式指令的一個或更多個處理單元等）由這些實體和/或代表這些實體實現。
如圖1所示，示例系統包括一個或更多個媒體內容源100（例如，廣播公司、網路服務器等）、一個或更多個媒體內容分發者102（例如，MVPD，例如有線電視提供商、衛星提供商、無線廣播提供商、網路聚合器等）、一個或更多個媒體內容接收器104（例如，有線接收器、衛星接收器、無線廣播接收器、電腦或其他流媒體接收器等），以及一個或更多個客戶端或內容呈現設備106（例如，TV或其他顯示裝置、揚聲器或其他音頻輸出設備等）。
在示例實施方式中，媒體內容源100能夠是國家廣播公司，例如ABC、NBC、CBS、FOX、HBO和CNN，媒體內容分發者102能夠是指定市場區域（DMA）中的本地分支機構和/或其他本地內容分發者，然後接收器104和內容呈現設備106能夠位於客戶場所，例如住宅或商業機構。通過這種或其他佈置，媒體內容源100能夠將媒體內容傳送給媒體內容分發者102以在客戶場所分發給接收器104，並且內容分發者能夠在離散頻道（例如，特定頻率或其他定義的頻道）上將媒體內容分發給接收器104。然後，每個接收器能夠通過調諧到所選頻道並將到達所選頻道的媒體內容輸出到內容呈現設備106來回應使用者輸入或一個或更多個其他觸發。並且內容呈現設備106能夠接收和渲染媒體內容（例如，顯示、或以其他方式呈現內容）。
當諸如接收器104和/或內容呈現設備106之類的媒體客戶端正在處理線性用於呈現的媒體流時（例如，當媒體客戶端正在渲染用於呈現的媒體流、輸出用於呈現的媒體流、和/或以其他方式處理用於呈現的媒體流時），在某些情況下媒體客戶端執行特殊的與內容相關的動作（即，與媒體流的內容相關的動作）可能是有用的。
舉例來說，與內容相關的動作可以涉及發起一個互動式事件，例如開始疊加覆蓋內容（例如，覆蓋音頻和/或視訊內容），該覆蓋內容提示使用者以某種方式作出回應，或與媒體客戶端或呈現媒體流內容的相關聯的使用者介面的使用者交互相關。
作為另一示例，與內容相關的動作可以涉及動態地修改流的媒體內容的一部分。例如，對於媒體客戶端來說，用替換廣告或其他替換內容動態地替換廣告或媒體流的其他可替換片段可能是有用的，使得當向使用者播放內容時，使用者將接收替換廣告、或其他代替最初所包含的廣告的替換內容或者其他可更換片段。作為另一示例，對於媒體客戶端來說，使用覆蓋或分屏內容（例如頻道標識、上下文資訊、廣告內容等）來動態地補充媒體內容的一部分可能是有用的，使得當向使用者播放內容時，使用者將接收補充內容以及最初所包含內容。
此外，可能期望媒體客戶端在媒體流內的特定時間點執行與內容相關的動作。例如，如果媒體客戶端要用替換廣告或其他替換內容動態地替換媒體流的現有廣告或其他可替換片段，則可能期望媒體客戶端在現有廣告或其他可替換片段已經開始的情況下一次在媒體流中放置替換廣告或其他替換內容。同樣，如果媒體客戶端要用與特定部分相關的覆蓋來補充媒體內容的該特定部分，則可能期望媒體客戶端在該部分開始時開始該覆蓋。其他示例也是可能的。
更具體地，所討論的媒體流可以定義幀序列，例如視訊幀和/或音頻幀，並且可能期望媒體客戶端在幀準確的基礎上執行與內容相關的動作。例如，對於動態內容替換，可能期望媒體客戶端從現有廣告或其他可替換片段的第一幀開始插入替換廣告或其他替換內容來代替現有廣告或其他可替換片段。並且為了將覆蓋添加到媒體流的特定部分，可能期望媒體客戶端在媒體流的該部分的第一幀處或特定於該部分的第一幀開始覆蓋。對於其他與內容相關的動作，也可能存在類似的理由。
在沒有限制的情況下，本發明的其餘部分將主要集中於動態廣告插入（Dynamic Ad Insertion；DAI），其中媒體客戶端將用替換廣告的播放來動態地替換媒體流中的可替換廣告的播放，該替換廣告諸如基於使用者人口統計等選擇的廣告。應該理解，所公開的原理也可以應用於其他與內容相關的動作。
在代表性DAI場景中，媒體客戶端可以包括電視和/或機上盒，其處理以呈現定義特定電視訊道的線性廣播饋送的媒體流，例如，其中媒體客戶端當前正在從廣播公司（例如，無線廣播公司、或者有線或衛星MVPD）接收媒體流，或者先前已經接收並儲存了媒體流以供稍後播放，並且可替換廣告可以在該媒體流中的任何時刻出現。例如，尤其是（但不限於）諸如體育賽事的現場廣播，廣告出現在這樣的媒體流中的時間可能是不可預測的。可替代地，廣告可以在特定的調度時間出現。
在這種場景下，當媒體客戶端正在處理用於呈現的媒體流時，媒體客戶端可以與網路服務器進行帶外通訊（例如，通過寬頻網路連接或者以其他方式與客戶端接收到的頻道分離），並且伺服器可以工作以準備使媒體客戶端在媒體客戶端處理媒體流的過程中的適當時間執行DAI，諸如在媒體流將包括可替換廣告時。
為了促進這一點，伺服器可以首先確定媒體客戶端正在處理哪個用於呈現的媒體流，並且伺服器然後可以確定可替換廣告將出現在那個所確定的媒體流中的時間點。然後，伺服器可以指示媒體客戶端從媒體流中的那個確定的點開始插入用於播放的替換廣告來代替可替換廣告。
圖2是能夠實現該DAI過程的示例系統的簡化框圖。
圖2在其頂部示出了經由內容分發系統202從內容源200延伸到媒體客戶端204的示例媒體分發路徑。例如但不限於，內容源200可以是諸如上述之一的國家廣播公司，內容分發系統202可以是諸如國家廣播公司的本地分支機搆的MVPD，並且媒體客戶端204可以是諸如TV等的內容呈現設備和/或諸如機上盒等的接收器。
利用這種佈置，示例媒體流在媒體分發路徑上從內容源200流到內容分發系統202，然後從內容分發系統202流到媒體客戶端204。在沒有限制的情況下，該媒體流可以包括並且因此定義如上所述的媒體內容的數位幀序列，可能表示內容的特定頻道。內容源200可以通過將傳輸流分組的有效載荷中的媒體流的片段傳送到中間節點，來以基於分組的傳輸流的形式將該媒體流傳送到內容分發系統202。並且內容分發系統202然後可以將媒體流（可能也是基於分組的傳輸流或者可能解分組和/或轉碼的媒體流）轉發到媒體客戶端204以供處理，來促進媒體客戶端的處理以供呈現。
如圖2進一步所示，媒體客戶端204可以與通訊網路206互連，該通訊網路可以是諸如網際網路之類的封包交換網路。例如，媒體客戶端可以作為客戶場所的局域網（Local Area Network；LAN）上的節點，其中媒體客戶端在LAN上具有分配的網際網路協定（Internet Protocol；IP）位址，並且LAN在網路206上具有IP位址。媒體客戶端因此可以在媒體客戶端處理媒體流的同時經由網路206參與與各種實體的資料通訊。
示出的可經由網路206存取（例如，在網路上的定義的IP位址處）的是自動內容識別（Automatic Content Recognition；ACR）伺服器208 （例如，包括ACR服務的伺服器的組合），媒體客戶端可以利用該伺服器參與示例帶外通訊，例如通過網路206的IP發信。
ACR伺服器208可以被配置為參與各種ACR操作，例如自動確定由媒體客戶端正在處理的媒體流（例如，頻道）的標識、自動檢測該媒體流中即將發生的廣告替換機會、以及協調媒體客戶端204實施DAI。
為了促進這些或其他這樣的操作，ACR伺服器208可以被提供有參考資料210，其可以包括各種媒體流中的每一個（例如，各種已知頻道中的每一個）的數位參考指紋和可能出現在給定媒體流中的各種可替換廣告中的每一個的數位參考指紋。除了其它可能性之外，該參考資料可以由內容源200和內容管理伺服器214提供。
在示例實施方式中，各種已知媒體流中的每一個（例如，各種已知頻道中的每一個）的參考指紋可以由一個或更多個捕捉伺服器建立，所述捕捉伺服器可以存取由一個或更多個內容源分發的廣播頻道饋送。
例如，當內容源200輸出包括圖中所示的媒體流的各種媒體流中的每一個（例如，各種已知頻道中的每一個）時，作為在內容源200處操作的ACR引擎212或以其他方式與內容源相關聯的捕獲伺服器操作的ACR引擎可以在每幀的基礎上或其他正在進行的基礎上生成分別表示每個這樣的媒體流的數位參考指紋。並且ACR引擎212可以用參考時間戳記對每個參考指紋加時間戳記，該參考時間戳記指示媒體流的參考時間軸中或者根據另一參考時鐘（諸如在內容源處運行的時鐘）的相關聯的幀的相對時間。當ACR引擎212生成這些加時間戳記的參考指紋時，ACR引擎212接著可將參考指紋提供給ACR伺服器208，從而使每一媒體流的參考指紋與該媒體流的唯一標識（例如，頻道識別符（Channel Identifier；CID））相關聯。（可替代地，參考指紋的生成可以在內容分發系統202處完成，以及其他可能性）。
ACR伺服器208因此可以接收這些加時間戳記的數位參考指紋，並將其與相關聯的媒體流標識資訊一起儲存為參考資料210的一部分。例如，ACR伺服器208可將參考指紋與其相關聯的媒體流標識資訊儲存在資料庫關係中。
此外，根據促進DAI的協定，內容管理伺服器214可以接收一個或更多個可替換廣告中的每一個的副本，並且內容管理伺服器214可以生成表示每個這樣的可替換廣告的數位指紋，並且可以將那些數位指紋提供給ACR伺服器208。並且ACR伺服器208也可以儲存可替換廣告的那些數位指紋作為參考資料210的一部分。
在沒有限制的情況下，示例數位指紋識別過程能夠在每個視訊幀的基礎上應用，並且能夠涉及建立亮度和/或其他視訊特徵的表示。例如，對於給定的視訊幀，指紋生成器能夠程式設計地將幀劃分為網格，並且指紋生成器能夠測量每個網格單元的幀的亮度，並且生成位元串（bit string），其中，每個位元或一系列位元表示相應的網格單元的亮度，或者表示某些定義的網格單元對的亮度之間的加權差等。此外，指紋生成器能夠持續應用該過程以隨時間生成數位指紋作為指紋序列（例如，作為指紋流）。例如，指紋生成器能夠週期性地或在另一定義的基礎上將該過程應用於每個幀、每個關鍵幀，其中，每個幀的位元串定義數位指紋和/或在滑動視窗基礎上使用指定的散列（hash）、這種位元串的組合或系列或定義數位指紋的其他代表值。其他的數位指紋識別過程也能夠使用。
當媒體客戶端處理用於呈現表示給定內容頻道的正在進行的媒體流時，媒體客戶端可以類似地生成查詢數位指紋以促進ACR，該查詢數位指紋表示其正在處理的流的媒體內容的幀。媒體客戶端可以應用用於生成媒體流和替換廣告的參考指紋的相同的數位指紋化過程，以便允許出於ACR的目的將查詢指紋與那些參考指紋進行比較並且促進DAI。此外，媒體客戶端可以對每個這樣的查詢指紋加時間戳記，以根據媒體客戶端的時鐘表示由查詢指紋表示的幀的時間。
在示例實施方式中，媒體客戶端可以週期性地（或以其他方式不時地）通過網路206向ACR伺服器傳輸媒體客戶端已經生成的最新一組查詢指紋，以使得ACR伺服器能夠標識媒體客戶端正在處理的媒體流。
當ACR伺服器從媒體客戶端接收這些查詢指紋時，ACR伺服器可將查詢指紋與由ACR伺服器儲存在參考資料210中的媒體流參考指紋進行比較，以試圖找到匹配。並且在充分確定地發現查詢指紋與與特定媒體流（例如，特定頻道）相關聯的參考指紋相匹配時，ACR伺服器可合理地推斷那是由媒體客戶端正在處理的媒體流。
為了將給定查詢指紋與給定參考指紋進行比較，ACR伺服器可將指紋的對應部分彼此進行比較以確定所述部分是否精確匹配或在限定公差內匹配。例如，ACR伺服器可計算指紋之間的最大偏差，並確定最大偏差是否在預定公差內。此外，如果指紋是二進位的，這可能是布林（Boolean）判定，或者可能涉及計算漢明（Hamming）距離（作為指紋中相應的位元位置之間的不匹配的計數），並且如果指紋是更複雜的值，例如十進位值或向量（例如，每個視訊幀區域的灰度值），這可能涉及到確定值或向量之間的距離。許多其他示例也是可能的。
一旦ACR伺服器標識客戶端正在呈現的媒體流，ACR伺服器可以各種方式確定可替換廣告何時將出現在該標識的媒體流中，並且ACR伺服器然後可以向媒體客戶端傳送指示，以使媒體客戶端在媒體客戶端處理媒體流期間在該時間點開始插入替換廣告。
在一個示例中，ACR伺服器可確定可替換廣告將出現在媒體流中的參考時間，並且伺服器可向媒體客戶端提供該參考時間。
作為示例，ACR伺服器可以存取所確定的媒體流中指定可替換廣告的預定廣播時間的資料，諸如媒體流的分發者被調度以在媒體流中包括可替換廣告的時間。該預定時間可以在頻道的參考時間軸中定義，或者根據另一參考時鐘，例如在分發器處運行的時鐘來定義。一旦ACR伺服器標識媒體客戶端正在呈現的媒體流，伺服器就可以參考該資料來確定可替換廣告的預定廣播時間。並且在該時間之前，ACR伺服器可參與到媒體客戶端的帶外發信中，以向媒體客戶端提供可替換廣告的預定廣播時間的標示，以及向媒體客戶端提供在該即將到來的時間開始呈現替換廣告的指示。
可替代地，ACR伺服器可以應用基於指紋的ACR作為基礎來即時檢測媒體流中可替換廣告的存在，即，當媒體流正在路由到媒體客戶端時。ACR伺服器然後可以確定檢測到的可替換廣告的開始的參考時間戳記，並且可以向媒體客戶端傳送指令以使媒體客戶端呈現在媒體流中的該點處開始的替換廣告。
該過程可以利用從內容源輸出用於分發的媒體流的內容的時間點、到媒體客戶端接收和/或以其他方式處理該媒體流的內容的時間點可能存在的時間延遲。根據系統的配置，該延遲可以是大約5-10秒，並且可以在客戶端之間變化。給定該延遲，如果ACR伺服器通過諸如通過網路206的相對高速的網路連接與媒體客戶端進行帶外通訊，則ACR伺服器可以給予媒體客戶端關於媒體流中即將發生的可替換廣告的充分的提前通知，使得媒體客戶端可以準備在可替換廣告將出現在媒體客戶端正在處理的媒體流中時呈現可替換廣告。
在該示例的一個實施方式中，例如，一旦ACR伺服器標識媒體客戶端正在呈現的媒體流，ACR伺服器就可以開始將該媒體流的參考指紋與各種可替換廣告的指紋進行比較。並且在充分確定地發現所確定的媒體流的參考指紋與特定可替換廣告的指紋相匹配時，ACR伺服器可推斷可替換廣告存在於由媒體客戶端正在處理的媒體流中。ACR伺服器然後可以從參考指紋時間戳記確定當可替換廣告的第一幀出現在媒體流中時媒體流中的參考時間，並且ACR伺服器可以向媒體客戶端傳送該時間的標示，該標示具有用於媒體客戶端在該特定時間開始插入替換廣告以代替可替換廣告的指示。
在這些示例中使用參考時間可能存在的一個問題是，媒體客戶端的用於呈現媒體流的時間軸可能與媒體流的參考時間軸不匹配，因此ACR伺服器可能提供給媒體客戶端的參考時間會無法正確地通知媒體客戶端可替換廣告將何時出現在媒體客戶端的媒體流中。
這種時間差異的一個基礎可能是上述時間延遲，即內容源輸出用於分發的媒體流的內容到媒體客戶端接收和/或以其他方式處理該媒體流的內容的時間點之間的時間延遲。如果ACR伺服器提供的參考時間表示從廣播公司的角度來看的可替換廣告的開始時間，則可替換廣告實際在媒體客戶端上出現在媒體流中的時間將以廣播延遲從該參考時間發生偏移。
可替代地或附加地，時間差異的另一基礎可能是媒體客戶端是否正在以時移方式呈現媒體流，例如媒體客戶端先前接收和儲存媒體流的線性饋送並且現在從儲存裝置檢索饋送並呈現它。在這種情況下，媒體客戶端的用於呈現媒體流的時間軸將以至少該時移的持續時間從媒體流的廣播時間發生偏移。
為了幫助克服這個技術問題，ACR伺服器和/或媒體客戶端可以工作以建立參考時間與客戶端時間之間的時間映射或“同步鎖”。特別地，ACR伺服器和/或媒體客戶端可以計算（i）參考時間（例如媒體流的內容的廣播時間或根據沿頻道本身定義的時間軸的時間）與（ii）客戶端時間（例如媒體客戶端呈現媒體流的對應內容的時間）之間的偏移。ACR伺服器和/或媒體客戶端然後可以應用該時間偏移作為在參考時間與客戶端時間之間進行轉換的基礎，諸如將媒體流中的可替換廣告的開始的參考時間轉換為當媒體客戶端處理媒體流時可替換廣告將開始的客戶端時間。
ACR和/或媒體客戶端可以以各種方式建立該同步鎖。
作為示例，ACR伺服器可通過比較媒體流的參考指紋與媒體流的查詢指紋相匹配的一個或更多個實例的參考指紋時間戳記與查詢指紋時間戳記來確定時間偏移。特別地，一旦ACR伺服器已確定媒體客戶端正在呈現的媒體流，或在進行該確定的過程中，ACR伺服器可以執行指紋匹配以充分確定地發現與客戶端提供的查詢指紋相匹配的參考指紋的一個或更多個實例。並且對於每個這樣的匹配點，ACR伺服器可以計算參考指紋時間戳記與查詢指紋時間戳記之間的差。ACR伺服器可以認為時間偏移是針對給定匹配點或者是多個此類匹配點的平均值計算的差值。
給定該計算出的時間偏移，ACR伺服器然後可以將媒體流中可替換廣告開始的參考時間轉換為相應的客戶端時間，並因此可以將該客戶端時間作為可替換廣告何時開始以及由此媒體客戶端應當何時開始呈現替換廣告的標示傳達給媒體客戶端。可替代地，ACR伺服器可以將所計算的時間偏移傳送到媒體客戶端，並且媒體客戶端然後可以應用該時間偏移以將伺服器提供的可替換廣告的開始的參考時間轉換為可替換廣告的開始的相應客戶端時間，使得媒體客戶端然後可以在該時間開始插入替換廣告。
可替代地，一旦ACR伺服器已經標識出由媒體客戶端正在處理的媒體流，ACR伺服器就可以向媒體客戶端提供媒體流的一組加時間戳記的參考指紋，並且媒體客戶端可以執行客戶端側指紋匹配以便確定時間偏移。即，媒體客戶端可以執行指紋匹配以充分確定地發現與客戶端產生的查詢指紋相匹配的參考指紋的一個或更多個實例。並且對於每個這樣的匹配點，媒體客戶端可以計算參考指紋時間戳記與客戶端指紋時間戳記之間的差。媒體客戶端然後可以認為時間偏移是針對給定匹配點或者是多個此類匹配點的平均值計算的差值。
在該示例中，如果媒體客戶端從ACR伺服器接收到媒體流中可替換廣告開始的參考時間，則媒體客戶端可以將該參考時間轉換為相應的客戶端時間，使得媒體客戶端隨後可以在該客戶端時間開始呈現替換廣告。可替代地，媒體客戶端可以將計算出的時間偏移傳送到ACR伺服器，然後ACR伺服器可以將該時間偏移應用於媒體流中的可替換廣告的開始的參考時間以確定相應的客戶端時間，然後可以向媒體客戶端提供所確定的客戶端時間，使得媒體客戶端可以在該客戶端時間開始插入替換廣告。
在替代實施方式中，ACR伺服器可以使用基於指紋的ACR來在媒體流正在路由到媒體客戶端時即時檢測媒體流中可替換廣告的存在，並且ACR伺服器可以接著向媒體客戶端提供一組相關聯的參考指紋以使媒體客戶端能夠執行客戶端側匹配，以便檢測可替換廣告將何時出現在媒體流中，並且因此檢測媒體客戶端應該何時開始插入替換廣告。
即，一旦ACR伺服器已標識出由媒體客戶端正在處理的媒體流，ACR伺服器隨後可以將該所標識的媒體流的參考指紋與各種可替換廣告的預定指紋進行比較，並且由此可以如上文所述檢測媒體流中特定可替換廣告的存在。在已經檢測到媒體流中的可替換廣告之後，ACR伺服器可以接著獲得表示媒體流的幀的參考指紋組，該組參考指紋表示媒體流中的可替換廣告的開始，並且至少包括該可替換廣告的開始。並且ACR伺服器可以將那些參考指紋以及哪個參考指紋表示可替換廣告的開始的指示傳送到媒體客戶端。作為回應，媒體客戶端然後可以執行客戶端指紋匹配，以便檢測可替換廣告何時將出現在媒體客戶端正在處理的媒體流中。並且媒體客戶端可以相應地在該檢測到的時間點開始插入替換廣告。
該過程還可利用上述時間延遲，該時間延遲可能從分發者輸出用於分發的媒體流的內容的時間點到媒體客戶端接收和/或以其他方式處理該媒體流的內容的時間點之間存在。這裡，如果ACR伺服器通過相對高速的網路連接與媒體客戶端進行帶外通訊，則ACR伺服器可以在媒體客戶端的媒體流中將出現可替換廣告之前充分地向媒體客戶端提供參考指紋，使得媒體客戶端可以應用客戶端側匹配，並準備在精確到幀的基礎上開始替換廣告。
在DAI的示例實施方式中，ACR伺服器還可以向媒體客戶端提供其它資訊以促進廣告替換。例如，ACR伺服器可以向媒體客戶端提供位址（例如，統一資源定位符（Universal Resource Locator ；URL））或其他資訊，其使得媒體客戶端能夠從內容替換伺服器216、從媒體客戶端的本地資料儲存裝置或從另一位置獲得媒體客戶端應該插入的替換廣告以代替可替換廣告，並且提供持續時間和其他資訊，以使得媒體客戶端能夠獲得用於該目的合適的替換廣告。媒體客戶端因此可以獲得替換廣告，並且可以相應地在媒體客戶端處理正在進行的用於呈現的媒體流時插入替換廣告來代替替換廣告。
遺憾的是，在上述過程中可能出現的技術問題是，ACR伺服器可能花費比所期望的或實際的更多的時間來通過基於指紋的ACR初始地確定媒體客戶端正在處理哪個媒體流，即，初始地標識媒體客戶端正在處理的媒體流。因此，ACR伺服器可能花費比期望的或實際的更多的時間來確定哪些參考指紋可以用於上述各種目的，例如（i）建立同步鎖以便於確定媒體客戶端應該何時開始插入替換廣告的客戶端時間，或者（ii）進行伺服器側或客戶端側基於指紋的ACR，以檢測媒體客戶端正在處理的媒體流中的可替換廣告的存在，以及其他可能性。
例如，ACR伺服器搜索參考資料210以努力充分確定地發現與客戶端提供的查詢指紋匹配的媒體流參考指紋可能花費比期望的或實際的更多的時間。此外，在一些情況下，ACR伺服器可以充分確定地發現客戶端提供的查詢指紋與分別表示多個不同媒體流中的每一個的參考指紋匹配（作為多匹配場景），在此情況下，ACR伺服器可以接著需要參與額外耗時的處理以確定那些多個媒體流中的哪一個是媒體客戶端正在呈現的媒體流。
遺憾的是，如果ACR伺服器花費太長時間來確定媒體客戶端正在處理哪個媒體流，ACR可能不能夠及時地準備媒體客戶端以針對給定的廣告替換機會進行DAI。此外，對於其它類型的與內容相關的動作，可能存在這個相同的問題。
本發明提供了一種可以幫助克服該技術問題的有用機制。根據本發明，如上所述，當媒體客戶端正在處理以（即時地或利用時移）呈現諸如頻道的媒體流時，媒體客戶端將接收標識媒體流的帶內元資料，並且基於接收帶內元資料，將通過帶外通訊將元資料的表示發送到ACR伺服器等，以使伺服器能夠容易地確定媒體客戶端正在處理的媒體流，並採取如上所述的相關聯的操作。
在代表性實現中，媒體客戶端接收帶內元資料的動作涉及媒體客戶端接收元資料（例如，同時或伴隨著）媒體客戶端對媒體流的接收，而不是媒體客戶端接收元資料與媒體客戶端對媒體流的接收分開。
舉例來說，帶內元資料可以是被編碼到媒體流本身中的元資料。例如，使用現在已知或以後開發的各種浮水印技術中的任何一種，帶內元資料可以被隱寫地編碼為媒體流中的浮水印（例如，音頻或視訊浮水印）。在這種情況下，媒體客戶端可以評估媒體流以檢測浮水印的存在，並且在檢測到浮水印時，媒體客戶端可以解碼浮水印並因此從媒體流讀取元資料。可替代地，元資料可以以其他方式被編碼在媒體流中，例如在視訊幀的垂直輔助資料（Vertical Ancillary Data；VANC）空間內，在這種情況下，媒體客戶端可以從視訊幀的VANC空間讀取元資料，以及其他可能性。
作為另一示例，如果媒體流在傳輸流中（例如，在分組資料流程中）被攜帶，則傳輸流可以在一個或更多個傳輸流分組中的每個的報頭內和/或在傳輸流中的一個或更多個特殊分組內攜帶元資料。在這種情況下，媒體客戶端可以評估傳輸流以檢測元資料的存在，然後可以從傳輸流中讀取元資料。
這些或其它形式的帶內元資料可以使用各種協定來提供，例如但不限於由諸如電纜電信工程師協會（Society of Cable and Telecommunications Engineers；SCTE） （例如，SCTE104或SCTE35）、高級電視系統委員會（Advanced Television Systems Committee；ATSC） （例如，ATSC3.0）或歐洲電信標準協會（例如，混合廣播寬頻（Hybrid Broadcast Broadband ；HBB） TV （TS102796））等標準組織定義的那些協定。
如本領域所知，加浮水印涉及將資訊永久地嵌入或以其他方式編碼到媒體內容中，使得媒體內容的接收者能夠從媒體內容中解碼和提取資訊，但是這對於向其呈現媒體內容的使用者而言可能是無法察覺的。這與在沒有將資訊編碼到底層媒體內容本身的情況下將這樣的資訊插入到分組報頭等中相反。加浮水印會永久地改變媒體內容，並且可能無法刪除。
更具體地說，對媒體內容加浮水印能夠涉及將能夠映射到相關聯的資訊的代碼編碼到媒體內容中，或者更直接地將相關聯的資訊編碼到媒體內容中。在示例實施方式中，浮水印代碼能夠是24位元的量級，並且加浮水印能夠在媒體內容的音頻分量和/或媒體內容的視訊分量中完成，例如取決於媒體內容的形式。
現有的音頻浮水印技術包括但不限於，將音頻能量插入音頻訊號或以其他方式調整音頻訊號的一個或更多個特徵，該方式能夠通過經適當配置的浮水印檢測演算法檢測，但被掩蔽而聽不見（例如，音頻特徵和/或編碼方式足以掩蓋浮水印以免被人類檢測到）–即速記或心理聲學編碼。
在美國專利號第8,359,205號（2013年1月22日公告的題為“Methods and Apparatus to Perform Audio Watermarking and Watermark Detection and Extraction,”）、美國專利號第 8,369,972號（2013年2月5日公告的題為“Methods and Apparatus to Perform Audio Watermarking Detection and Extraction”）、美國專利公開號第2010/0223062 號（2010年9月2日公開的題為“Methods and Apparatus to Perform Audio Watermarking and Watermark Detection and Extraction”）、美國專利號第6,871,180號（ 2005年3月22日公告的題為“Decoding of Information in Audio Signals”）、美國專利號第5,764,763 號（1998年6月9日公告的題為“Apparatus and Methods for Including Codes in Audio Signals and Decoding”）、美國專利號第5,574,962號（1996年11月12日公告的題為“Method and Apparatus for Automatically Identifying a Program Including a Sound Signal”）、美國專利第5,581,800號（1996年12月3日公告的題為“Method and Apparatus for Automatically Identifying a Program Including a Sound Signal”）、美國專利第5,787,334號（1998年7月28日公告的題為“Method and Apparatus for Automatically Identifying a Program Including a Sound Signal”）以及美國專利第5,450,490號（1995年9月12日公告的題為“Apparatus and Methods for Including Codes in Audio Signals and Decoding”）中描述了音頻浮水印示例和對應的浮水印檢測技術，通過引用將它們的全部內容全部合併於此。
另一方面，現有的視訊浮水印技術涉及以能夠通過經適當配置的浮水印檢測演算法檢測到但被人類視覺檢測掩蓋的方式將代碼嵌入媒體內容的視訊分量中。
視訊浮水印技術的示例包括各種空間域技術，例如翻轉圖元、將浮水印嵌入到最低有效位元、向視訊中添加偽隨機雜訊圖，以及各種頻域技術，例如SVD域浮水印、離散傅立葉轉換浮水印、離散餘弦變換浮水印、離散小波變換浮水印、主成分分析浮水印。其他示例也是可能的。
這些或其它浮水印技術中的任何技術都可以用於本目的，或者以能夠促進當前公開的特徵的方式用於浮水印。
在示例實施方式中，內容源、內容分發者或涉及提供最終將由媒體客戶端處理的媒體流的其他實體可以提供媒體流的唯一識別碼作為帶內元資料、通過將媒體流識別符浮水印到媒體流本身中、通過將媒體流識別符作為傳輸流元資料寫入也攜帶媒體流的傳輸流中、和/或以另一方式。此外，在媒體流路由到媒體客戶端時，可以改變帶內提供元資料的方式。例如，在媒體分發路徑中的某一點，媒體流沿著該媒體分發路徑流向媒體客戶端，傳輸流元資料可以被轉換為浮水印，以及其他可能性。
為了使ACR伺服器能夠快速地將該帶內媒體流識別符與表示媒體流的參考指紋相關聯，媒體流識別符可以是參考資料210針對媒體流指定的相同識別符。例如，如果媒體流表示具有特定CID的特定頻道，則作為帶內元資料提供的媒體流識別符可以是該相同CID。可替代地，帶內媒體流識別符可以是例如通過資料庫查找能夠容易地映射到與參考指紋相關聯的相同媒體流識別符的代碼或其它資料。
提供該媒體流識別符作為帶內元資料的實體也可以在整個媒體流中重複這樣做（例如，沿著媒體流的持續時間），以使得媒體客戶端能夠容易地檢測和解碼浮水印並獲得媒體流識別符。例如，隨著媒體流的進行，實體可以週期性地或以其他方式不時地將媒體流的識別符浮水印到媒體流中，或將媒體流的識別符作為傳輸流元資料添加到攜帶媒體流的傳輸流。此外，實體可以利用媒體流中或傳輸流中的預定放置和/或利用預定資料結構或一個或更多個其他預定屬性來完成這一操作，以使得媒體客戶端可以通過尋找這些預定屬性來發現帶內元資料的存在。
當媒體客戶端正在處理用於呈現的媒體流時，媒體客戶端因此可以發現並讀取帶內元資料，以容易地獲得媒體流的識別符。並且作為回應，媒體客戶端然後可以容易地通過帶外發信將所獲得的媒體流識別符傳送到ACR伺服器，以使得ACR伺服器能夠容易地獲得相關聯的參考指紋，以便促進有用的與內容相關的動作。
在示例實施方式中，為了考慮可能的頻道改變等，媒體客戶端可以針對媒體客戶端在媒體流進行時發現的媒體流識別符的每個帶內實例重複地進行這個操作。或者媒體客戶端可以不重複向ACR伺服器的傳輸，除非並且直到帶內媒體流識別符改變或者預定的時間段過去。
由媒體客戶端從帶內元資料獲得的媒體流識別符的到ACR伺服器的該帶外傳輸可以涉及媒體客戶端將根據網路206上的任何約定的協議以基於分組的通訊方式將媒體流識別符傳輸到ACR伺服器的IP位址。這裡或以另一種方式，媒體客戶端因此可以接收作為隨媒體流一起的帶內元資料提供的媒體流識別符，該帶內元資料通過媒體分發路徑從內容分發系統202傳送，然後媒體客戶端可以通過網路206將所獲得的媒體流識別符帶外傳送到ACR伺服器。
在接收到媒體客戶端從帶內元資料獲得並且帶外傳送到ACR伺服器的這種媒體頻道標識時，ACR伺服器然後可以容易地獲得表示該特定的、標識的媒體流的參考指紋。例如，ACR伺服器可以基於該媒體流識別符來查詢參考資料210，以容易地獲得參考資料與該媒體流識別符相關聯並且因此表示所標識的媒體流的參考指紋。此外，基於媒體流識別符，ACR伺服器可獲得表示所標識的媒體流的附加參考指紋。
ACR伺服器然後可以以上述任何方式，以及其它可能性，容易地利用所獲得的參考指紋，以促進與內容相關的動作。例如，ACR伺服器可以使用所獲得的參考指紋作為（i）建立同步鎖以便促進確定媒體客戶端應當何時開始呈現替換廣告的客戶端時間的基礎，和/或（ii）作為伺服器側或客戶端側基於指紋的ACR檢測媒體客戶端正在處理以用於呈現的媒體流中的可替換廣告的存在的基礎，以及其他可能性。
便利地，該過程因此可以使得ACR伺服器能夠獲得表示由媒體客戶端正在處理的媒體流的參考指紋，而不需要ACR伺服器執行查詢/參考指紋匹配以確定哪些參考指紋匹配表示媒體流的客戶端生成的查詢指紋。也就是說，替代實施方案可另外涉及出於一個原因或另一原因的查詢指紋與參考指紋的匹配。
圖3是示出了能夠根據本發明執行的示例方法的流程圖。
如圖3所示，在框300處，該方法包括媒體客戶端接收媒體流（例如，電視訊道）並且媒體客戶端接收媒體流的識別符作為隨媒體流一起的帶內元資料。此外，在可與框300並行發生的框302處，該方法包括媒體客戶端處理用於呈現的媒體流。此外，在框304處，該方法包括，當媒體客戶端正在處理用於呈現的媒體流時，由媒體客戶端通過帶外發信向伺服器傳送由媒體客戶端接收到的作為隨媒體流一起的帶內元資料的媒體流的識別符，以使伺服器能夠獲得表示媒體流的參考指紋，而無需伺服器搜索與表示由媒體客戶端正在處理的媒體流的查詢指紋相匹配的參考指紋。此外，在框306處，該方法包括媒體客戶端從伺服器接收指示，該指示用於媒體客戶端在媒體流中的特定時間執行與內容相關的動作，該特定時間是基於所獲得的參考指紋來建立的。
根據以上討論，該方法中的與內容相關的動作可以涉及動態內容修訂，諸如DAI，以及其他可能性。
此外，如上所述，媒體客戶端接收識別符作為隨媒體流一起的帶內元資料的動作可以涉及媒體客戶端接收被隱寫地編碼為媒體流中的浮水印的識別符和/或媒體客戶端接收攜帶在傳輸流中的識別符，該傳輸流將媒體流攜帶到媒體客戶端。如上所述，帶外發信可以涉及在寬頻網路連接或其它最優高速通訊介面上的發信。
此外，如上所述，媒體客戶端可以包括內容呈現設備，在這種情況下，處理用於呈現的媒體流可以包括媒體客戶端在使用者介面上呈現媒體流的內容和/或以其他方式處理媒體流的內容以用於這種呈現。可替代地或附加地，媒體客戶端可以包括與內容呈現設備或其他相關聯設備交互工作的另一設備，諸如機上盒或其他接收器，在這種情況下，處理用於呈現的媒體流可以包括輸出媒體流以用於由相關聯設備呈現和/或以其他方式處理媒體流的內容以促進內容的呈現。
此外，媒體客戶端處理用於呈現的媒體流的動作還可以包括媒體流接收媒體流的動作，以及其他可能性。
如上文另外討論的，使得伺服器能夠獲得表示媒體流的參考指紋的動作可以使得能夠建立將參考時間映射到客戶端時間的同步鎖。並且同步鎖的建立又可以使得能夠將與內容相關的動作的參考時間轉換成與內容相關的動作的客戶端時間，以便促進在媒體流中的期望時間執行與內容相關的動作。
可替代地或附加地，使得伺服器能夠獲得表示媒體流的參考指紋的動作可以使得伺服器能夠執行可替換內容片段（例如，可替換廣告）與所獲得的參考指紋之間的指紋比較，以檢測可替換內容片段存在於媒體流中，這可以促進動態內容修訂，以及其他可能性。
上述各種其它特徵也能夠應用於這種情況，反之亦然。
圖4是示出根據本發明能夠執行的方法的另一流程圖。
如圖4所示，在框400處，該方法包括，當媒體客戶端正在處理用於呈現的媒體流時，伺服器從媒體客戶端接收帶外訊號，該帶外訊號向伺服器提供媒體流的識別符，該媒體流的識別符是媒體客戶端從媒體客戶端接收的隨媒體流一起的帶內元資料中提取的。在框402處，該方法然後包括伺服器使用所接收的媒體流的識別符作為基礎來獲得表示媒體流的參考指紋，而無需伺服器搜索與表示由媒體客戶端正在處理的媒體流的查詢指紋相匹配的參考指紋。此外，在框404處，該方法包括伺服器使用所獲得的參考指紋作為基礎來確定媒體客戶端在媒體流中何時應該執行與內容相關的動作的點。在框406處，該方法包括伺服器指示媒體客戶端在所確定的點執行與內容相關的動作。
以上討論的各種特徵也能夠應用於該上下文，反之亦然。非限制性地，例如，與內容相關的動作可以包括DAI或其他動態內容修訂。
圖5是能夠根據本發明進行操作的示例計算系統的簡化框圖。該計算系統可以表示伺服器，例如上面討論的ACR伺服器208，以及其他可能。
如圖5所示，計算系統包括網路通訊介面500、處理單元502和非暫時性資料記憶體504，它們中的任何一個或全部能夠集成在一起，或者如圖所示，通過系統匯流排、網路或其他連接機制506通訊性地連接在一起。
網路通訊介面500能夠包括一個或更多個網路連接機制，以促進與諸如網路206的網路上的一個或更多個其他實體進行通訊。每個這樣的網路通訊介面可以包括用於進行IP通訊和/或其它類型的網路通訊的無線或有線乙太網介面或其他類型的網路介面。
處理單元502能夠包括一個或更多個通用處理器（例如，微處理器）和/或一個或更多個專用處理器（例如，專用積體電路）。並且非暫時性資料記憶體504能夠包括一個或更多個易失性和/或非易失性儲存部件，例如，光記憶體、磁記憶體或快閃記憶體記憶體。此外，如圖所示，示例計算系統的資料記憶體504或以其他方式嵌入程式指令508。這些程式指令可以由處理單元502執行以進行（例如，使計算系統執行）本文描述的各種操作。例如，如果計算系統表示ACR伺服器208，則指令可以是可執行的以進行以上討論的各種ACR伺服器操作。
在該上下文中也能夠實現上述各種特徵，反之亦然。
最後，圖6是根據本發明可操作的示例媒體客戶端的簡化框圖。與上面的討論一致，該媒體設備可以採用各種形式，例如內容呈現設備106和/或接收器104，並且它還可以是多個這樣的設備的組合，可能是具有集成的接收器的內容呈現設備，以及其他可能性。
如圖6所示，示例媒體客戶端包括內容通訊介面600、內容呈現介面602、網路通訊介面604、處理單元606和非暫時性資料記憶體608，它們中的任何一個或全部能夠集成在一起，或者如圖所示，通過系統匯流排、網路或其它連接機制610通訊地連接在一起。
內容通訊介面600可以包括用於接收和/或輸出諸如媒體流的媒體內容的物理通訊介面。這樣，內容通訊介面可以包括一個或多個有線和/或無線介面，用於通過媒體分發路徑建立與類比或數位媒體內容的通訊以及接收類比或數位媒體內容，並且在一些實施方式中，用於輸出所接收的模擬或數位形式的媒體內容以便由相關聯的實體接收。因此，內容通訊介面可以包括用於從內容分發者接收媒體內容的介面，例如同軸電纜連接、天線、接收器、調諧器等，以及包括用於將媒體內容輸出到關聯的設備的本地通訊介面，該本地通訊介面符合諸如DVI、HDMI、VGA、USB、藍牙、WIFI等協議。其它示例也是可能的。
可以包括在終端使用者內容呈現設備中的內容呈現介面602可以包括一個或更多個部件，以促進呈現所接收的媒體內容。作為示例，內容呈現介面602可以包括例如顯示幕和/或揚聲器的使用者介面，以及用於處理接收到的媒體內容以便於在使用者介面上呈現內容的一個或更多個驅動器或其他部件。
網路通訊介面604可以包括網路連接機制，以促進在諸如網路206的網路上通訊，和/或用於與一個或更多個其它本地或遠端實體進行直接或聯網通訊。這樣，網路通訊介面可以包括無線或有線乙太網介面或其他類型的網路介面，用於進行IP通訊和/或其他類型的網路通訊。
然後，處理單元606可以包括一個或更多個通用處理器（例如微處理器）和/或一個或更多個專用處理器（例如，專用積體電路）。非暫時性資料記憶體608可以包括一個或更多個易失性和/或非易失性儲存部件，例如光記憶體、磁記憶體或快閃記憶體記憶體。此外，資料記憶體608儲存程式指令612，該程式指令可以由處理單元606運行，以執行（例如，使媒體客戶端執行）本文所述的各種操作。
例如，這些操作可以包括通過內容通訊介面接收媒體流，以及通過內容通訊介面接收媒體流的識別符作為隨媒體流一起的帶內元資料。此外，操作可以包括處理用於呈現的媒體流。以及該操作可以包括當處理用於呈現的媒體流時，通過網路通訊介面以帶外發信向伺服器傳送作為隨媒體流一起的帶內元資料接收的媒體流的識別符，以使得伺服器能夠獲得表示媒體流的參考指紋，而無需伺服器搜索與表示用於呈現的正在被處理的媒體流的查詢指紋相匹配的參考指紋。該操作可以包括通過網路通訊介面從伺服器接收指示，該指示用於媒體客戶端在媒體流中的特定時間執行與內容相關的動作，該特定時間是基於所獲得的參考指紋來建立的。
在該上下文中也能夠實現上述各種特徵，反之亦然。
本發明涉及單獨的設備、伺服器、模組或其它實體的情況下，本發明還考慮了每個這樣的實體是單個實體或多個實體的組合的可能性。例如，給定實體可以包括平台或系統，該平台或系統包括被配置為一起交互工作或獨立地或以另一方式操作的多個設備。
本發明還考慮一個或更多個電腦可讀介質，其編碼有、儲存或以其他方式嵌入可由處理單元（例如，一個或更多個處理器）執行的程式指令，以進行各種描述的操作。
上面已經描述了示例性實施例。然而，本領域技術人員將理解，在不背離本發明的真實範圍和精神的情況下，可以對這些實施例進行改變和修改。
100:媒體內容源 102:媒體內容分發者 104:接收器 106:內容呈現設備 200:內容源 202:內容分發系統 204:媒體客戶端 206:網路 208:ACR伺服器 210:參考資料 212:ACR引擎 214:內容管理伺服器 216:內容替換伺服器 300:框 302:框 304:框 306:框 400:框 402:框 404:框 406:框 500:網路通訊介面 502:處理單元 504:資料記憶體 506:網路或其他連接機制 508:程式指令 600:內容通訊介面 602:內容呈現介面 604:網路通訊介面 606:處理單元 608:資料記憶體 610:網路或其它連接機制 612:程式指令
圖1是其中能夠應用各種公開原理的示例系統的簡化框圖。
圖2是其中能夠應用各種公開原理的示例系統的另一簡化框圖。
圖3是示出能夠根據本發明來執行的方法的流程圖。
圖4是示出能夠根據本發明來執行的方法的另一流程圖。
圖5是能夠根據本發明進行操作的示例計算系統的簡化框圖。
圖6是能夠根據本發明進行操作的示例媒體客戶端的簡化框圖。
300:框
302:框
304:框
306:框

Claims (16)

  1. 一種系統，包括： 處理單元； 非暫時性資料記憶體；以及 程式指令，所述程式指令儲存在所述非暫時性資料記憶體中，並且能夠由所述處理單元運行以執行操作，所述操作包括： 當媒體客戶端正在處理用於呈現的媒體流時，從所述媒體客戶端接收帶外訊號，所述帶外訊號提供媒體流的識別字，所述媒體流的識別字由所述媒體客戶端從由所述媒體客戶端隨媒體流一起接收的帶內中繼資料中提取， 使用所接收的媒體流的識別字作為基礎，以基於針對所述識別字的查找來獲得表示所述媒體流的參考指紋，而無需搜索與表示由所述媒體客戶端正在處理的媒體流的查詢指紋相匹配的參考指紋，其中，使用所接收的識別字作為基礎，以基於針對所述識別字的查找來獲得參考指紋包括：參考將各種識別字與相應參考指紋相關聯的預定參考資料，以基於所述參考資料來確定與所述識別字相關聯的參考指紋， 使用所獲得的參考指紋作為基礎來確定所述媒體客戶端在媒體流中何時應該執行與內容相關的動作的點，以及 使所述媒體客戶端在所確定的點執行所述與內容相關的動作。
  2. 如請求項1所述之系統，其中，所述與內容相關的動作包括動態廣告插入。
  3. 如請求項1所述之系統，其中，所述媒體客戶端從由所述媒體客戶端隨媒體流一起接收的帶內中繼資料中提取的媒體流的識別字包括：所述媒體客戶端從所述媒體流中的浮水印中提取的識別字。
  4. 如請求項1所述之系統，其中，所述媒體客戶端從由所述媒體客戶端隨媒體流一起接收的帶內中繼資料中提取的媒體流的識別字包括：由所述媒體客戶端從傳輸流中提取的識別字，所述傳輸流將媒體流攜帶到所述媒體客戶端。
  5. 如請求項1所述之系統，其中，所述處理用於呈現的媒體流包括以下中的至少之一：在使用者介面上呈現所述媒體流的內容或通過相關聯的設備輸出用於呈現的媒體流。
  6. 如請求項1所述之系統，其中，使所述媒體客戶端在所確定的點執行所述與內容相關的動作包括：輸出用於傳送到所述媒體客戶端的指示，所述指示用於使所述媒體客戶端在媒體流中的所確定的點處執行所述與內容相關的動作。
  7. 如請求項1所述之系統，其中，所述操作還包括： 使用所獲得的參考指紋作為基礎來建立將參考時間映射到客戶端時間的同步鎖，其中，所述同步鎖的建立使得能夠將與內容相關的動作的參考時間轉換成與內容相關的動作的客戶端時間。
  8. 如請求項1所述之系統，其中，所述操作還包括： 執行可替換內容片段與所獲得的參考指紋之間的指紋比較，以檢測可替換內容片段存在於媒體流中。
  9. 一種非暫時性資料記憶體，其包含能夠由一個或更多個處理器運行以使媒體客戶端執行操作的程式指令，所述操作包括： 接收媒體流，並且作為隨媒體流一起的帶內中繼資料而接收媒體流的識別字； 處理用於呈現的媒體流；以及 當處理所述用於呈現的媒體流時，通過帶外訊號向伺服器傳送作為隨媒體流一起的帶內中繼資料所接收的媒體流的識別字，以使得所述伺服器能夠基於針對識別字的查找來獲得表示所述媒體流的參考指紋，而無需所述伺服器搜索與表示正在被處理的用於呈現的媒體流的查詢指紋相匹配的參考指紋，其中，基於針對識別字的查找來獲得參考指紋包括：參考將各種識別字與相應參考指紋相關聯的預定參考資料，以基於所述參考資料來確定與所述識別字相關聯的參考指紋。
  10. 如請求項9所述之非暫時性資料記憶體，其中，所述操作還包括： 從所述伺服器接收指示以在媒體流中的特定時間執行與內容相關的動作，其中，所述特定時間是基於所獲得的參考指紋來建立的。
  11. 如請求項10所述之非暫時性資料記憶體，其中，所述與內容相關的動作包括動態廣告插入。
  12. 如請求項10所述之非暫時性資料記憶體，其中，使伺服器能夠獲得表示所述媒體流的參考指紋，實現建立將參考時間映射到客戶端時間的同步鎖，其中，所述同步鎖的建立使得能夠將與內容相關的動作的參考時間轉換成與內容相關的動作的客戶端時間。
  13. 如請求項9所述之非暫時性資料記憶體，其中，使伺服器能夠獲得表示所述媒體流的參考指紋，使得所述伺服器能夠執行可替換內容片段與所獲得的參考指紋之間的指紋比較，以檢測可替換內容片段存在於媒體流中。
  14. 如請求項9所述之非暫時性資料記憶體，其中，所述作為隨媒體流一起的帶內中繼資料而接收識別字包括：接收被隱寫地編碼為媒體流中的浮水印的識別字或接收攜帶在傳輸流中的識別字，所述傳輸流攜帶所述媒體流。
  15. 如請求項9所述之非暫時性資料記憶體，其中，處理用於呈現的媒體流包括以下中的至少之一：在使用者介面上呈現媒體流的內容或通過相關聯的設備輸出用於呈現的媒體流。
  16. 一種方法，包括： 由媒體客戶端接收媒體流，並且作為隨所述媒體流一起的帶內中繼資料而由所述媒體客戶端接收媒體流的識別字； 由所述媒體客戶端處理用於呈現的媒體流；以及 當由所述媒體客戶端處理用於呈現的媒體流時，所述媒體客戶端通過帶外訊號向伺服器傳送作為隨所述媒體流一起的帶內中繼資料而由所述媒體客戶端接收的媒體流的識別字，以使所述伺服器能夠基於針對識別字的查找來獲得表示媒體流的參考指紋，而無需所述伺服器搜索與表示由所述媒體客戶端正在處理的媒體流的查詢指紋相匹配的參考指紋。
TW111145799A 2019-09-13 2020-09-11 使用帶內元資料作為存取參考指紋的基礎，以促進與內容相關的動作 TW202315415A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962900037P 2019-09-13 2019-09-13
US62/900,037 2019-09-13
US15/929,210 2020-01-28
US15/929,210 US11233840B2 (en) 2019-09-13 2020-01-28 Use of in-band metadata as basis to access reference fingerprints to facilitate content-related action

Publications (1)

Publication Number Publication Date
TW202315415A true TW202315415A (zh) 2023-04-01

Family

ID=74865846

Family Applications (2)

Application Number Title Priority Date Filing Date
TW111145799A TW202315415A (zh) 2019-09-13 2020-09-11 使用帶內元資料作為存取參考指紋的基礎，以促進與內容相關的動作
TW109131270A TWI788701B (zh) 2019-09-13 2020-09-11 用於使用帶內元資料作為存取參考指紋的基礎來促進與內容相關的動作的方法及媒體客戶端

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW109131270A TWI788701B (zh) 2019-09-13 2020-09-11 用於使用帶內元資料作為存取參考指紋的基礎來促進與內容相關的動作的方法及媒體客戶端

Country Status (5)

Country Link
US (2) US11233840B2 (zh)
EP (1) EP4029276A4 (zh)
CN (2) CN115766676A (zh)
TW (2) TW202315415A (zh)
WO (1) WO2021050376A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11233840B2 (en) 2019-09-13 2022-01-25 Roku, Inc. Use of in-band metadata as basis to access reference fingerprints to facilitate content-related action
US20210133814A1 (en) * 2019-10-30 2021-05-06 The Nielsen Company (Us), Llc Method and System for Use of Automatic Content Recognition to Trigger Dynamic Ad Insertion in Response to Repeat Playout of Ad
US11463744B2 (en) * 2020-10-29 2022-10-04 Roku, Inc. Use of primary and backup instances of supplemental content to facilitate dynamic content modification
US20220264171A1 (en) * 2021-02-12 2022-08-18 Roku, Inc. Use of In-Band Data to Facilitate Ad Harvesting for Dynamic Ad Replacement

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001072052A2 (en) 2000-03-24 2001-09-27 Reality Commerce Corporation Method and apparatus for parallel multi-viewpoint video capturing and compression
US10032192B2 (en) * 2003-12-23 2018-07-24 Roku, Inc. Automatic localization of advertisements
CN101266132B (zh) 2008-04-30 2011-08-10 西安工业大学 基于mpfg运动矢量的行车障碍检测方法
US9015741B2 (en) * 2009-04-17 2015-04-21 Gracenote, Inc. Method and system for remotely controlling consumer electronic devices
KR101401183B1 (ko) * 2009-12-11 2014-05-29 노키아 코포레이션 스트리밍 미디어 파일의 표현을 기술하고 타이밍하기 위한 장치 및 방법
US8737679B2 (en) * 2011-07-12 2014-05-27 M/S. Amagi Media Labs Pvt. Ltd. System and method for seamless content insertion on network content using audio-video fingerprinting and watermarking
US9854280B2 (en) * 2012-07-10 2017-12-26 Time Warner Cable Enterprises Llc Apparatus and methods for selective enforcement of secondary content viewing
US9145139B2 (en) 2013-06-24 2015-09-29 Google Inc. Use of environmental information to aid image processing for autonomous vehicles
US10623821B2 (en) * 2013-09-10 2020-04-14 Tivo Solutions Inc. Method and apparatus for creating and sharing customized multimedia segments
US9426336B2 (en) * 2013-10-02 2016-08-23 Fansmit, LLC System and method for tying audio and video watermarks of live and recorded events for simulcasting alternative audio commentary to an audio channel or second screen
US9621963B2 (en) * 2014-01-28 2017-04-11 Dolby Laboratories Licensing Corporation Enabling delivery and synchronization of auxiliary content associated with multimedia data using essence-and-version identifier
US9420349B2 (en) * 2014-02-19 2016-08-16 Ensequence, Inc. Methods and systems for monitoring a media stream and selecting an action
US10091263B2 (en) * 2014-05-21 2018-10-02 Audible Magic Corporation Media stream cue point creation with automated content recognition
KR101579098B1 (ko) 2014-05-23 2015-12-21 엘지전자 주식회사 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
US9565456B2 (en) * 2014-09-29 2017-02-07 Spotify Ab System and method for commercial detection in digital media environments
EP3043572A1 (en) * 2015-01-07 2016-07-13 Dolby Laboratories Licensing Corporation Hybrid automatic content recognition and watermarking
US20160316261A1 (en) * 2015-04-23 2016-10-27 Sorenson Media, Inc. Automatic content recognition fingerprint sequence matching
US10750236B2 (en) 2015-04-23 2020-08-18 The Nielsen Company (Us), Llc Automatic content recognition with local matching
US9854326B1 (en) * 2015-09-09 2017-12-26 Sorenson Media, Inc. Creating and fulfilling dynamic advertisement replacement inventory
US10594689B1 (en) * 2015-12-04 2020-03-17 Digimarc Corporation Robust encoding of machine readable information in host objects and biometrics, and associated decoding and authentication
US10623800B2 (en) * 2018-07-16 2020-04-14 Gracenote, Inc. Dynamic control of fingerprinting rate to facilitate time-accurate revision of media content
US11233840B2 (en) 2019-09-13 2022-01-25 Roku, Inc. Use of in-band metadata as basis to access reference fingerprints to facilitate content-related action

Also Published As

Publication number Publication date
CN114402572A (zh) 2022-04-26
TWI788701B (zh) 2023-01-01
CN115766676A (zh) 2023-03-07
US11792254B2 (en) 2023-10-17
US20220109715A1 (en) 2022-04-07
EP4029276A1 (en) 2022-07-20
WO2021050376A1 (en) 2021-03-18
EP4029276A4 (en) 2023-05-31
CN114402572B (zh) 2022-11-22
US20210084091A1 (en) 2021-03-18
TW202114432A (zh) 2021-04-01
US11233840B2 (en) 2022-01-25

Similar Documents

Publication Publication Date Title
KR102484054B1 (ko) 프레임적으로 정확한 컨텐츠 수정을 용이하게 하기 위해, 낮은 레이트 핑거프린팅을 사용하는 보간을 기반으로 하는 시간 맵핑의 확립 및 사용
TWI788701B (zh) 用於使用帶內元資料作為存取參考指紋的基礎來促進與內容相關的動作的方法及媒體客戶端
TWI779302B (zh) 使用隱寫編碼資料作為基礎來消歧基於指紋的頻道多匹配
US11470364B2 (en) Use of steganographically-encoded time information as basis to establish a time offset, to facilitate taking content-related action
US20220150601A1 (en) Use of Watermarking to Trigger Fingerprint-Related Action
US11863817B2 (en) Use of steganographically-encoded time information as basis to control implementation of dynamic content modification
US20230403416A1 (en) Method and system for re-uniting metadata with media-stream content at a media client, to facilitate action by the media client
TWI744947B (zh) 使用浮水印技術來觸發指紋相關動作的方法、媒體客戶端和電腦可讀介質