TWI744947B - 使用浮水印技術來觸發指紋相關動作的方法、媒體客戶端和電腦可讀介質 - Google Patents

使用浮水印技術來觸發指紋相關動作的方法、媒體客戶端和電腦可讀介質 Download PDF

Info

Publication number
TWI744947B
TWI744947B TW109120280A TW109120280A TWI744947B TW I744947 B TWI744947 B TW I744947B TW 109120280 A TW109120280 A TW 109120280A TW 109120280 A TW109120280 A TW 109120280A TW I744947 B TWI744947 B TW I744947B
Authority
TW
Taiwan
Prior art keywords
media
fingerprint
content
watermark
media stream
Prior art date
Application number
TW109120280A
Other languages
English (en)
Other versions
TW202105366A (zh
Inventor
沙尚克 C 麥錢特
約翰 S 斯塔夫勞波洛斯
本傑明 J 羅普克
史蒂文 M 科米
Original Assignee
美商六科股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/929,219 external-priority patent/US20200275168A1/en
Application filed by 美商六科股份有限公司 filed Critical 美商六科股份有限公司
Publication of TW202105366A publication Critical patent/TW202105366A/zh
Application granted granted Critical
Publication of TWI744947B publication Critical patent/TWI744947B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389Multiplex stream processing, e.g. multiplex stream encrypting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8358Generation of protective data, e.g. certificates involving watermark

Abstract

本發明關於使用在媒體流中加浮水印作為觸發來執行指紋相關動作,例如開始生成媒體流的指紋、提高媒體流的指紋生成速率、開始報告媒體流的指紋、請求指紋或進行指紋比較。在實施方式中,正在處理媒體流的媒體客戶端能夠檢測媒體流中的浮水印,並且能夠回應地執行或使執行指紋相關動作。或者媒體流沿其流向媒體客戶端的媒體分發路徑中的實體能夠檢測媒體流中的浮水印,並且能夠回應地執行或使執行指紋相關動作。此外,浮水印能夠首先基於傳輸流攜帶的元資料插入到媒體流中,以及其他可能性。

Description

使用浮水印技術來觸發指紋相關動作的方法、媒體客戶端 和電腦可讀介質
[相關申請的交叉引用]
本發明要求於2019年6月24日提交的申請號為62/865,613的美國專利申請、於2019年8月2日提交的申請號為62/882,217的美國臨時專利申請和於2020年2月6日提交的申請號為15/929,219的美國專利申請的優先權,它們的全部內容通過引用均結合在本發明中。
本發明涉及一種使用浮水印技術來觸發指紋相關動作的方法、電腦系統和電腦可讀介質。
典型的媒體客戶端進行操作以接收表示例如視頻內容和/或音頻內容的媒體內容的類比媒體流或數位媒體流,並且輸出媒體內容和/或轉發流以在例如顯示幕和/或音頻揚聲器的使用者介面上呈現內容。這種客戶端的示例包括電視、電腦監視器、投影系統、揚聲器、耳機、機上盒(例如有線TV或衛星TV接收器)、數位錄影機、收音機、個人電腦、移動通訊設備、遊戲機、流媒體播放機等。
作為示例,電視能夠接收廣播流(例如,通過空中、從機上盒、通過互聯網連接或以其他方式)並且能夠向使用者呈現該廣播流的媒體內容。作為另一示例,機上盒能夠從多頻道視頻節目分發器(MVPD)接收廣播流,並且能夠通過高清多媒體介面(HDMI)纜線或其他介面將該流的媒體 內容輸出到電視和/或音頻/視頻接收器以供播放。作為又一個例子,數字錄影機、收音機同樣能夠接收廣播流,但是能夠儲存廣播流以供以後播放。並且作為又一示例,揚聲器或耳機能夠從無線電廣播、電腦或其他設備接收廣播音頻流,並且能夠將該流的音頻內容呈現給使用者。許多其他示例也是可能的。
本發明提供了使用媒體流中的浮水印作為觸發來執行指紋相關動作,例如與媒體流的指紋識別相關的動作。作為示例,媒體流中的浮水印能夠使接收方媒體客戶端開始生成媒體流的數字指紋,這可能是為了促進媒體的基於指紋的自動內容識別(ACR),以便允許動態內容修改等。作為另一示例,媒體流中的浮水印能夠使接收方媒體客戶端提高媒體客戶端生成媒體流的數位指紋的速率,這也可能是為了促進動態內容修改。並且作為又一示例,媒體流中的浮水印能夠使接收方媒體客戶端開始向伺服器或其他實體報告媒體客戶端生成的媒體流的數字指紋。
在示例實施方式中,當媒體客戶端接收、輸出或以其他方式處理用於呈現的媒體流時(例如,當媒體客戶端正在對媒體內容的每個幀進行轉碼和/或渲染以促進內容在使用者介面上的呈現時,和/或以其他方式處理正在進行的媒體流時),則媒體客戶端本身能夠在媒體流中檢測到浮水印,然後能夠通過採取指紋相關動作來回應所檢測的浮水印。替代地,媒體流通過其流向媒體客戶端的媒體分發路徑中的實體能夠檢測媒體流中的浮水印,並且能夠回應地向媒體客戶端發訊號(例如,通過帶外消息傳遞),以使媒體客戶端執行指紋相關動作。
此外,包括在媒體流中並觸發指紋相關動作的浮水印能夠由內容源、內容分發者或其他實體添加到媒體流中,以促進當前公開的功能。例如,在示例實施方式中,實體可以回應於在沿著媒體分發路徑攜帶媒體流的傳輸 流中檢測到帶內元資料來插入浮水印。例如,實體可以從傳輸流讀取元資料,然後可以回應地將元資料明確地或通過引用編碼到媒體流中的浮水印中,以便當媒體客戶端接收到媒體流時,媒體客戶端能夠從浮水印中提取元資料。而提取的浮水印元資料會使媒體客戶端執行指紋相關動作。
通過閱讀以下詳細描述並在適當情況下參考圖式,這些以及其他方面、優點和替代方案對於本領域的普通技術人員來說將變得顯而易見。此外,應該理解,在該發明內容及以下部分中提供的描述旨在僅通過示例而非限制的方式說明本發明。
100:內容源
102:內容分發者
104:接收器
106:內容呈現設備
200:內容源
202:內容分發系統
204:媒體客戶端
206:網路
208:ACR伺服器
210:參考資料
212:ACR引擎
214:內容管理伺服器
216:內容替換伺服器
218:代碼映射伺服器
300:內容源
302:元裝置
304:下游實體
306:伺服器
308:內容替換伺服器
310:ACR伺服器
400~402:框
500:通訊介面
502:處理單元
504:資料記憶體
506:網路或其他連接機制
508:程式指令
600:內容輸入介面
602:內容呈現介面
604:網路通訊介面
606:處理單元
608:資料記憶體
610:網路或其它連接機制
612:程式指令
圖1是能夠應用各種公開原理的示例系統的簡化框圖。
圖2是能夠應用各種公開原理的示例系統的另一個簡化框圖。
圖3是能夠應用各種公開原理的示例系統的另一個簡化框圖。
圖4是描繪根據本發明能夠執行的方法的流程圖。
圖5是能夠根據本發明進行操作的示例計算系統的簡化框圖。
圖6是能夠根據本發明進行操作的示例內容呈現設備的簡化框圖。
參照圖式,如上所述,圖1是能夠應用各種公開原理的示例系統的簡化框圖。然而,應當理解,本文中描述的這種和其他佈置和過程能夠採取各種其他形式。例如,元素和操作能夠重新排序、分佈、複製、組合、省略、添加或以其他方式修改。此外,應當理解,本文中描述的由一個或更多個實體執行的功能能夠通過硬體、韌體和/或軟體(例如由執行程式指令的一個或更多個處理單元等)由這些實體和/或代表這些實體實現。
如圖1所示,示例系統包括一個或更多個媒體內容源100(例如,廣播公司、網路伺服器等)、一個或更多個媒體內容分發者102(例如,MVPD, 例如有線電視提供商、衛星提供商、無線廣播提供商、網路聚合器等)、一個或更多個媒體內容接收器104(例如,有線接收器、衛星接收器、無線廣播接收器、電腦或其他流媒體接收器等),以及一個或更多個客戶端或內容呈現設備106(例如,TV或其他顯示裝置、揚聲器或其他音頻輸出設備等)。
在示例實施方式中,媒體內容源100能夠是國家廣播公司,例如ABC、NBC、CBS、FOX、HBO和CNN,媒體內容分發者102能夠是指定市場區域(DMA)的本地分支機構和/或其他本地內容分發者,然後接收器104和內容呈現設備106能夠位於客戶場所,例如住宅或商業機構。通過這種或其他佈置,內容源100能夠將媒體內容傳送給內容分發者102以在客戶場所分發給接收器104,並且內容分發者能夠在離散頻道(例如,特定頻率或其他定義的頻道)上將媒體內容分發給接收器104。然後,每個接收器能夠通過調諧到所選頻道並將到達所選頻道的媒體內容輸出到內容呈現設備106來回應使用者輸入或一個或更多個其他觸發。並且內容呈現設備106能夠接收和渲染媒體內容(例如,顯示或以其他方式呈現內容)。
[1.動態內容修改]
當例如接收器104或內容呈現設備106等媒體客戶端正在輸出線性媒體流的媒體內容以呈現給使用者時,在某些情況下,媒體客戶端修改流的媒體內容的一部分可能是有用的。例如,對於媒體客戶端來說,使用替換廣告或其他替換內容動態地對廣告或媒體內容的其他片段進行替換可能是有用的,使得當向使用者播放內容時,使用者將接收替換廣告來代替最初包括的廣告。作為另一示例,對於媒體客戶端來說,使用覆蓋或分屏內容,例如頻道標識、上下文資訊、廣告內容等來動態地補充媒體內容的一部分可能是有用的,使得當向使用者播放內容時,使用者將接收補充內容以及最初包括的內容。
此外,可以期望媒體客戶端在媒體流內的特定時間點執行這種內 容修改。例如,如果媒體客戶端要用替換廣告動態地替換現有廣告,則可以期望媒體客戶端在現有廣告將開始時,在媒體流中某一時刻定位替換廣告。同樣,如果媒體客戶端要用與該部分相關的覆蓋來補充媒體內容的特定部分,則可能期望媒體客戶端在該部分開始時開始覆蓋。其他示例也是可能的。
更具體地,所討論的媒體流能夠定義幀序列,例如視頻幀和/或音頻幀,並且可以期望媒體客戶端在幀精確的基礎上執行內容修改。例如,對於動態內容替換,可以期望媒體客戶端從現有內容片段的第一幀開始準確地插入替換內容來代替現有廣告。並且為了將覆蓋添加到媒體流的特定部分,可以期望媒體客戶端在媒體流的該部分的第一幀處或特定於媒體流的該部分的第一幀開始覆蓋。
為了促進動態內容修改,能夠使用基於指紋的ACR,以便檢測客戶端正在處理的媒體流中是否存在可修改內容片段(例如,能夠替換或以其他方式修改的片段),或檢測客戶端正在處理的媒體流中是否存在該可修改內容片段之前的內容。然後,媒體客戶端能夠繼續針對該可修改內容片段進行動態內容修改。
圖2是能夠用於該目的基於指紋的ACR的示例系統的簡化框圖。
圖2在其頂部示出了經由內容分發系統202從內容源200延伸到媒體客戶端204的示例媒體分發路徑。例如但不限於,內容源200能夠是例如上述那些中的一個的國家廣播公司,內容分發系統202能夠是例如國家廣播公司的本地分支機構的MVPD,並且媒體客戶端204能夠是例如TV等的內容呈現設備,或者是例如機上盒等的接收器。
通過這種佈置,示例媒體流在媒體分發路徑上從內容源200流向內容分發系統202,然後從內容分發系統202流向媒體客戶端204。在沒有限制的情況下,該媒體流能夠包括並由此定義如上所述的媒體內容的數位幀序列,可能表示內容的特定頻道。內容源200能夠通過將傳輸流資料包的有效載 荷中的媒體流片段傳送到內容分發系統202,從而在基於資料包的傳輸流中將該媒體流傳送到內容分發系統202。並且內容分發系統202隨後能夠將媒體流轉發給媒體客戶端204進行處理,也可能以基於資料包的傳輸流或可能已解包和/或轉碼的形式,以促進媒體內容的呈現。
如進一步所示,該示例系統包括ACR伺服器208,媒體客戶端204能夠利用其進行帶外通訊,例如通過代表性資料包切換式網路206的網際網路協議(IP)信令。ACR伺服器208能夠被配置成進行各種ACR操作,例如自動確定由媒體客戶端204正在處理的媒體流(例如,頻道)的標識,並在該媒體流中自動檢測即將發生的內容修改機會,例如即將發生的廣告替換機會。
為了促進這些或其它這樣的ACR操作,能夠向ACR伺服器208提供參考資料210,該參考資料包括各種媒體流中的每個的數位參考指紋和各種可修改內容片段(例如可替換廣告)中的每個的數字參考指紋。除其他可能性外,該參考資料210能夠由內容源200和內容管理伺服器214提供。
例如,當內容源200輸出包括圖中所示的媒體流的各種媒體流中的每個時,用作內容源200處的捕獲伺服器的ACR引擎212能在每幀的基礎上或在其他進行的基礎上生成分別表示媒體流的帶時間戳記的數字參考指紋。並且ACR引擎212能夠將那些參考指紋提供給ACR伺服器208,將每個媒體流的參考指紋與該媒體流的標識相關聯。ACR伺服器208因此能夠儲存那些帶時間戳記的數位參考指紋以及相關聯的媒體流標識資訊,作為參考資料210的一部分。(可替代地,除其他可能性外,能夠在內容分發系統202處進行參考指紋生成。)
此外,根據用於促進例如動態廣告替換的動態內容修改的協定,內容管理伺服器214能夠接收一個或更多個可修改內容片段中的每個的副本,例如一個或更多個可替換廣告,並且內容管理伺服器214能夠生成表示每個這樣的可修改內容段的數位指紋,並且能夠將這些數位指紋提供給ACR伺 服器208。因此ACR伺服器208也能夠儲存可修改內容片段的那些數位指紋作為參考資料210的一部分。
在沒有限制的情況下,關於視頻的示例數位指紋識別過程能夠在每個視頻幀的基礎上應用,並且能夠涉及建立亮度和/或其他視頻特徵的表示。例如,對於給定的視頻幀,指紋生成器能夠程式設計地將幀劃分為網格,並且指紋生成器能夠測量每個網格單元的幀的亮度,並生成比特串,其中每個比特或一系列比特表示相應的網格單元的亮度,或者表示某些定義的網格單元對的亮度之間的加權差等。此外,指紋生成器能夠持續應用該過程以隨時間生成數位指紋作為指紋序列(例如,作為指紋流)。例如,指紋生成器能夠週期性地或在另一定義的基礎上將該過程應用於每個幀、每個關鍵幀,其中,每個幀的比特串定義數字指紋和/或在滑動視窗基礎上使用指定的雜湊(hash)、這種比特串的組合或系列或定義數位指紋的其他代表值。也能夠使用其他數位指紋識別過程,還包括音頻指紋識別過程。
當媒體客戶端接收和/或以其他方式處理正在進行的媒體流時,媒體客戶端同樣能夠生成表示該流的媒體內容幀的查詢數位指紋,以促進ACR。媒體客戶端能夠應用用於生成媒體流和可修改內容片段的參考指紋的相同的數位指紋識別過程,以便出於ACR的目的允許將查詢指紋與那些參考指紋進行比較,並且例如促進動態內容修改。
在示例實施方式中,媒體客戶端能夠週期性地(或者不時以其他方式)通過網路向ACR伺服器傳送媒體客戶端已生成的最新的查詢指紋組,以使ACR伺服器能夠標識由媒體客戶端正在處理的媒體流。當ACR伺服器從媒體客戶端接收這些查詢指紋時,ACR伺服器能夠將查詢指紋與ACR伺服器儲存的媒體流參考指紋進行比較,並且在充分確定地發現查詢指紋與與特定媒體流(例如,特定頻道)相關聯的參考指紋匹配時,ACR伺服器能夠推斷出這是由媒體客戶端正在處理的頻道。
為了將給定的查詢指紋與給定的參考指紋進行比較,ACR伺服器能夠將指紋的相應部分相互比較,以確定所述部分是否完全匹配或在定義的公差範圍內。例如,ACR伺服器能夠計算指紋之間的最大偏差,並且確定該最大偏差是否在預定公差範圍內。此外,如果指紋是二進位的,這能夠是布林(Boolean)判定,或者可能涉及計算漢明(Hamming)距離(作為指紋中相應的比特位置之間的不匹配的計數),並且如果指紋是更複雜的值,例如十進位值或向量(例如,每個視頻幀區域的灰度值),這可能涉及到確定值或向量之間的距離。許多其他示例也是可能的。
一旦ACR伺服器已經標識出由媒體客戶端正在處理的媒體流,ACR伺服器能夠使用該媒體流標識作為基礎,以促進媒體流中的動態內容修改,例如動態廣告替換。例如,給定媒體流的標識,ACR伺服器能夠開始將特定於該媒體流的參考指紋與可修改內容片段指紋進行比較,以便檢測由媒體客戶端正在處理的媒體流中是否存在特定可修改內容片段。並且在檢測到由媒體客戶端正在處理的媒體流中是否存在可修改內容片段時,ACR伺服器隨後能夠與媒體客戶端進行帶外信令(例如,通過網路206),在可修改內容片段到達媒體客戶端進行處理時,使媒體客戶端準備好進行特定可替換廣告的動態替換。到媒體客戶端的該信令和準備能夠利用在從內容源到媒體客戶端的媒體流的傳輸中可能存在的時延。根據系統的配置,該延遲可能大約在5-10秒。
為了準備媒體客戶端以執行動態內容修改,例如,ACR伺服器能夠向媒體客戶端傳送參考指紋組,該參考指紋組表示在一段時間內接近並可能在媒體流中包括可修改內容片段的媒體流的幀,並且帶有可修改內容片段開始的媒體流幀的指示。然後媒體客戶端自身能夠進行指紋比較,將其生成的查詢指紋與所提供的參考指紋進行比較,以便檢測由媒體客戶端正在處理的媒體流中可修改內容片段的接近和/或開始。然後,媒體客戶端能夠在可修 改內容片段開始的點開始進行動態內容修改。
此外,ACR伺服器還能夠向媒體客戶端提供其他資訊,以促進動態內容修改。例如,ACR伺服器能夠向媒體客戶端提供地址(例如,統一資源定位符(URL))或其他資訊,使媒體客戶端能夠從內容替換伺服器216、從媒體客戶端的本地資料儲存或從另一個位置獲得替換內容片段,例如替換廣告,媒體客戶端應該插入該替換內容片段來代替可修改內容片段,並且ACR伺服器能夠向媒體客戶端提供持續時間和其他資訊,以使媒體客戶端能夠為此目的獲得合適的替換內容片段。媒體客戶端因此能夠獲得替換內容片段,並且能夠相應地在媒體客戶端處理正在進行的媒體流時插入替換內容片段來代替可修改內容片段。
該過程也可能有許多變化和替代方案。
例如,ACR伺服器能夠以另一種方式獲悉由媒體客戶端正在處理的媒體流的標識。例如,媒體客戶端可以具有標識由媒體客戶端正在處理的媒體流的資訊,並且媒體客戶端可以將該資訊傳送到ACR伺服器,以更直接地向ACR伺服器通知媒體流的標識。然後,ACR伺服器能夠使用如上所述的該標識,例如,隨後檢測可修改內容片段在媒體流中是否存在,並且回應地準備媒體客戶端進行關於該片段的動態內容修改。
作為另一個示例,即使可能沒有首先標識出媒體流,媒體客戶端和/或ACR伺服器也能夠進行指紋分析,以標識由媒體客戶端正在處理的媒體流中是否存在可修改內容片段。例如,當媒體客戶端正在處理正在進行的媒體流時,媒體客戶端能夠生成表示如上所述的媒體流的媒體內容的查詢指紋,並且媒體客戶端和/或ACR伺服器能夠將這些查詢指紋與可修改內容片段指紋進行比較,以找到匹配,該匹配將確立由媒體客戶端正在處理的媒體流中是否存在可修改內容片段。
例如,在一個實施方式中,ACR伺服器、內容管理伺服器或其他 實體能夠向媒體客戶端提供表示一個或更多個可替換廣告的可修改內容片段指紋,例如,通過網路206將可修改內容片段指紋傳送到媒體客戶端以供儲存和參考。當媒體客戶端正在處理正在進行的媒體流時,媒體客戶端因此能夠將其生成的查詢指紋與那些可修改內容片段指紋進行比較,以找到匹配。並且在充分確定地發現查詢指紋與給定的可修改內容片段的指紋匹配時,媒體客戶端能夠因此推斷出該可修改內容片段存在於由媒體客戶端正在處理的媒體流中。根據定時,媒體客戶端隨後能夠用替換內容片段動態地替換該可修改內容片段。
在另一個實施方式中,媒體客戶端能夠向ACR伺服器傳送媒體客戶端生成的查詢指紋,並且ACR伺服器能夠將那些查詢指紋與一個或更多個可修改內容片段的指紋進行比較。在這種情況下,在充分確定地發現查詢指紋與給定的可修改內容片段的指紋匹配時,ACR伺服器能夠推斷出該可修改內容片段存在於由媒體客戶端正在處理的媒體流中。並且ACR伺服器隨後能夠通知媒體客戶端可修改內容片段存在於由媒體客戶端正在處理的媒體流中,並且類似地,根據定時,媒體客戶端隨後能夠用替換內容片段動態地替換該可修改內容片段。
其他示例變體也是可能的,包括動態內容修改的其他類型和過程。
[2.在媒體流中使用浮水印技術以觸發指紋相關動作]
如上所述,本發明提供了使用媒體流中的浮水印作為基礎來觸發指紋相關動作。在代表性實施方式中,流到媒體客戶端的媒體流能夠包括浮水印(例如,一個或更多個浮水印),媒體客戶端能夠檢測到該浮水印並將其解釋為媒體客戶端進行與指紋相關動作的觸發。因此,由於媒體流中的浮水印,媒體客戶端能夠進行指紋相關動作。指紋相關動作能夠是指紋ACR相關的操作,可能與動態內容修改相關,也能夠採取其他形式。
在沒有限制的情況下,這方面的各種示例能夠應用於圖2的佈置或其他上下文中。
作為一個示例,指紋相關動作能夠包括開始生成由媒體客戶端正在處理的媒體流的查詢指紋,以便促進查詢指紋與其他指紋的比較,例如標識媒體流和/或檢測特定的媒體內容,例如媒體流中的可修改內容片段。
例如,當媒體客戶端正在處理正在進行的媒體流時,媒體客戶端可能不會定期生成查詢指紋。但是,當媒體客戶端正在處理正在進行的媒體流時,媒體客戶端能夠在媒體流中檢測到指示內容修改機會即將發生的浮水印,並且回應於檢測到該浮水印,媒體客戶端隨後能夠開始生成媒體流的查詢指紋,以促進上述的查詢指紋的任何比較,以及其他可能性。
在該過程的實施方式中,媒體流中的浮水印能夠對媒體客戶端可解釋的資訊進行編碼,以意味著可修改內容片段,例如可替換廣告將稍後出現在媒體流中。該浮水印能夠在可修改內容片段將出現在媒體流中的點之前足夠早地在媒體流中提供,以便允許媒體客戶端有足夠的時間開始生成查詢指紋,並使用所生成的查詢指紋作為基礎來檢測可修改內容片段的接近或存在,從而促進動態內容修改。使用浮水印作為媒體客戶端開始生成查詢指紋的觸發也可以用於其他有用的目的,不僅限於促進動態內容修改。
作為另一個示例,指紋相關動作能夠包括提高媒體客戶端生成由媒體客戶端正在處理的媒體流的查詢指紋的速率,以便促進更細化的指紋分析和可能更精確的幀內容修改或其他功能。
在實踐中,所討論的正在進行的媒體流可能是每秒30幀的視頻流。但是,由於媒體客戶端處的資源限制(例如,處理能力、記憶體等的限制),媒體客戶端可能以相對較低的速率定期生成查詢指紋,該速率例如每秒僅2幀(例如,每秒僅生成2個媒體流幀的查詢指紋)。另一方面,表示已知媒體流或表示已知可修改內容片段,例如可替換廣告的參考指紋可以以相 對較高的速率(可能每秒30幀)生成。在某些時候,提高媒體客戶端的查詢指紋生成速率以說明促進查詢指紋與此類參考指紋的更細化的比較可能是有用的,以及其他可能性。
在該示例的實施方式中,媒體流中的浮水印能夠對媒體客戶端可解釋的資訊進行編碼,以使媒體客戶端提高其查詢指紋生成速率。例如,在這裡,浮水印可以被解釋為以意味著可修改內容片段將稍後出現在媒體流中,例如,媒體客戶端提高其查詢指紋生成速率的情況下可能是有用的,並且該浮水印能夠在可修改內容片段將出現的點之前足夠早地在媒體流中提供。回應於這樣的浮水印,媒體客戶端能夠因此提高其查詢指紋生成速率,以說明促進更時間細化的指紋比較,例如促進檢測媒體流中可修改內容片段的接近或存在,以便促進動態內容修改。例如,媒體客戶端可能會將其查詢指紋生成速率從每秒2幀提高到每秒8幀,以及其他可能性。
作為又一示例,指紋相關動作能夠包括開始向伺服器或其他實體報告指紋,以促進指紋比較或其他動作。例如,媒體客戶端通常可能不會向ACR伺服器報告查詢指紋。但是,當媒體客戶端正在處理正在進行的媒體流時,媒體客戶端能夠在媒體流中檢測到浮水印,該浮水印對媒體客戶端可解釋的資訊進行編碼,以使媒體客戶端開始向ACR伺服器報告查詢指紋。因此,回應於該浮水印,媒體客戶端能夠開始向ACR伺服器報告查詢指紋。此外,如果媒體客戶端尚未生成查詢指紋,則這樣的浮水印可由媒體客戶端解釋,以使媒體客戶端開始生成查詢指紋,並且開始向ACR伺服器報告所生成的查詢指紋。這些查詢指紋隨後能夠促進各種操作,例如上面討論的操作,以及其他可能性。
再如,作為另一個示例,指紋相關動作能夠包括進行信令以獲得參考指紋,以便促進本地指紋比較。作為示例,媒體客戶端可解釋媒體流中的浮水印,以使媒體客戶端請求ACR伺服器向媒體客戶端提供參考指紋,媒 體客戶端能夠以上面討論的任何方式將其生成的查詢指紋進行比較,以及其他可能性。因此,當檢測到正在進行的媒體流中的浮水印時,媒體客戶端能夠回應地查詢ACR伺服器以獲得參考指紋。並且在從ACR伺服器獲得回應的參考指紋之後,媒體客戶端能夠以上面討論的任何方式使用參考指紋,以及其他可能性。
作為該示例的具體實施方式,浮水印能夠對特定廣告的廣告識別符進行編碼。媒體客戶端因此能夠從媒體流中的浮水印獲得該廣告識別符,並且能夠將該廣告識別符發送到ACR伺服器。並且ACR伺服器能夠使用該廣告識別符作為基礎,以回應地向媒體客戶端提供該特定廣告(或其初始部分)和/或媒體內容的指紋,所述指紋將在由媒體客戶端正在處理的媒體流中的該廣告之前。如上所述,媒體客戶端隨後能夠使用這些所提供的指紋作為基礎來驗證,所標識的廣告出現在媒體流中和/或標識(和/或確認)廣告在媒體流中開始的時間。媒體客戶端隨後能夠在如此標識或確認的時間針對該廣告進行動態廣告替換。
再如,作為另一示例,指紋相關動作能夠包括進行指紋比較。例如,媒體客戶端可解釋媒體流中的浮水印,以使媒體客戶端開始將其生成的查詢指紋與各種參考指紋進行比較。這裡,例如,如果媒體客戶端尚未具有適用的參考指紋,則浮水印可能導致媒體客戶端獲取參考指紋以促進比較,並且還可以進行針對那些參考指紋或其他指紋的指紋比較,可能是為了促進上述驗證或標識,以及其他可能性。
並且作為該示例的具體實現,通過檢測媒體流中的浮水印而導致的指紋相關動作能夠是將媒體流的查詢指紋與表示該媒體流的參考指紋進行比較。例如,在廣告替換或其他內容修改期間,媒體客戶端能夠進行該指紋比較以確定和驗證被替換或以其他方式被修改的內容是否繼續是被標識為由媒體客戶端正在處理的媒體流的同一媒體流的內容。
即使媒體客戶端進行內容修改,媒體客戶端也能夠生成底層媒體流的查詢指紋,並且媒體客戶端能夠將那些查詢指紋與ACR伺服器提供的表示媒體客戶端已在處理的媒體流的參考指紋進行比較。或者媒體客戶端可以將那些查詢指紋發送到ACR伺服器,以使ACR伺服器能夠執行這樣的比較。
在任一情況下,如果在內容修改(或其他交互事件)期間,查詢指紋停止匹配表示媒體流的預期即將發生的內容的參考指紋,則媒體客戶端能夠回應地停止內容修改。例如,在媒體客戶端的使用者改變頻道或提供輸入以啟動使用者介面功能(例如功能表、指南等)的情況下可能發生這種情況。因此,一旦查詢指紋停止匹配預期的即將發生的內容的參考指紋(例如,(例如,關於可修改內容片段,在其位置呈現替換內容片段被確定為可接受的),媒體客戶端和/或ACR伺服器能夠使內容修改被終止,從而使媒體客戶端恢復播放正在修改的內容。
如這些示例所示,根據本發明的媒體流中包括的浮水印可以但不必指示即將發生的內容修改機會正在接近。浮水印可以編碼用作指紋相關動作的觸發的其他資料或資訊。此外,指紋相關動作能夠採取與這裡描述的不同的形式。
在代表性實施方式中,包括在媒體流中的浮水印能夠是表示各種資訊中的任何資訊的代碼或其他值。例如但不限於,該資訊能夠包括(i)特定的即將發生的內容修改機會的識別符(例如,即將發生的可替換廣告的廣告ID);(ii)即將發生的可修改內容片段將在媒體流中開始的定時(例如,時間偏移、參考時間戳記,和/或幀偏移);和/或(iii)網路資源的指示,供媒體客戶端聯繫以獲得附加資源(例如,用於啟用和/或使媒體客戶端與伺服器聯繫的指令和/或位址)。
在實踐中,當媒體客戶端處理正在進行的媒體流時,媒體客戶端能夠監視媒體流以檢測這樣的浮水印,可能基於具有表示其為浮水印的預定 形式或位置的浮水印。在檢測到浮水印時,媒體客戶端能夠對浮水印進行解碼,以提取由浮水印所編碼的資訊。媒體客戶端隨後能夠例如如上所述對所提取的資訊作出回應。
由浮水印編碼的資訊能夠由媒體客戶端明確地解釋,以使媒體客戶端執行或使執行指紋相關動作。例如,浮水印能夠編碼媒體客戶端處的程式邏輯能夠映射到相關聯的指紋相關動作的代碼,因此媒體客戶端能夠應用該程式邏輯從浮水印提取的代碼中確定媒體客戶端應該執行的動作,然後媒體客戶端能夠相應地執行該操作。
替代地,由浮水印編碼的資訊能夠使媒體客戶端查詢伺服器或其他實體,以確定媒體客戶端要執行的動作。例如,浮水印能夠編碼代碼映射伺服器218、ACR伺服器或另一實體映射到媒體客戶端應該執行的動作的代碼。因此,在從正在處理的媒體流中的浮水印提取代碼時,媒體客戶端隨後能夠查詢代碼映射伺服器、ACR伺服器或其他實體以確定媒體客戶端應該執行的動作。並且該實體能夠基於提取的浮水印代碼回應地指示媒體客戶端執行特定動作,例如(i)開始生成查詢指紋;(ii)提高媒體客戶端的查詢指紋生成速率,(iii)報告查詢指紋,和/或(iv)進行可能與即將發生的動態內容修改等有關的其他處理。
在替代實施方式中,除了媒體客戶端檢測和解碼媒體流中的浮水印並回應地執行或使執行指紋相關動作之外,另一實體能夠執行這些操作中的一個或兩個,可能與媒體客戶端一起工作。
例如但不限於,媒體流沿其流向媒體客戶端的媒體分發路徑中的另一實體能夠檢測媒體流中的浮水印,並且基於該浮水印,能夠執行或使執行指紋相關動作。例如,捕獲伺服器、頻道監視器、指紋伺服器或在媒體分發路徑內的源或元裝置處(例如在廣播公司的前端或媒體流分發路徑中的其他位置)操作的其他實體,能夠監視媒體流以檢測是否存在可觸發指紋相關 動作的浮水印。當檢測到浮水印時,該實體能夠回應地執行或使執行指紋相關動作。
在該示例的實施方式中,當檢測到浮水印時,實體能夠將浮水印有效載荷(例如,由浮水印編碼的或通過引用浮水印確定的資訊)或相關聯的動作指令直接或間接地(例如,帶外信令)傳輸到當前正在或可能正在處理該媒體流的一個或更多個媒體客戶端中的每一個,以啟用和/或使每個這樣的媒體客戶端執行例如上述動作之一的指紋相關動作。
例如,實體能夠將浮水印有效載荷和/或相關聯的指令作為元資料傳送到ACR伺服器,並且ACR伺服器能夠依次將該資訊以及ACR伺服器正在提供給媒體客戶端的指紋(例如,參考指紋)一起傳送給媒體客戶端,以便於本地指紋分析,使得媒體客戶端在接收到指紋時接收所檢測的浮水印有效負載。可替代地,實體能夠以其他方式通過帶外信令,可能通過網路206,並且可能包括時間戳記資料,將浮水印有效載荷和/或相關聯的指令傳送到媒體客戶端,以促進與媒體客戶端正在接收的媒體流的同步。
在廣播前端或媒體分發路徑中的其他元裝置處檢測和提取浮水印有效載荷能夠幫助減輕在浮水印到達媒體客戶端之前破壞或掩蓋浮水印的任何企圖。此外,在接收到浮水印有效載荷和/或來自浮水印有效載荷的指令,並且因此仍然回應於浮水印,媒體客戶端同樣能夠回應地執行或使執行指紋相關動作。
如本領域所知,加浮水印涉及以使媒體內容的接收者能夠從媒體內容中解碼和提取資訊的方式將資訊永久地嵌入或編碼到媒體內容中,但是對於向其呈現媒體內容的使用者來說,這可能是不可察覺的。這與在沒有將資訊編碼到底層媒體內容本身的情況下將這樣的資訊插入到資料包報頭等中相反。加浮水印會永久性地改變媒體內容,並且可能無法刪除。
更具體地,對媒體內容加浮水印能夠涉及將能夠映射到相關聯的 資訊的代碼編碼到媒體內容中,或者可能更直接地將相關聯的資訊編碼到媒體內容中。在示例實施方式中,浮水印代碼能夠是大約24位,並且加浮水印能夠在媒體內容的音頻分量和/或媒體內容的視頻分量中進行,具體取決於媒體內容的形式。
現有的音頻浮水印技術包括但不限於,將音頻能量插入音頻訊號或以其他方式調整音頻訊號的一個或更多個特徵,該方式能夠通過經適當配置的浮水印檢測演算法檢測,但被掩蔽而聽不見(例如,音頻特徵和/或編碼方式足以掩蓋浮水印以免被人類檢測到)-即速記或心理聲學編碼。
在美國專利號第8,359,205號(2013年1月22日發佈的題為“Methods and Apparatus to Perform Audio Watermarking and Watermark Detection and Extraction,”)、美國專利號第8,369,972號(2013年2月5日發佈的題為“Methods and Apparatus to Perform Audio Watermarking Detection and Extraction”)、美國專利公開第2010/0223062號(2010年9月2日公佈的題為“Methods and Apparatus to Perform Audio Watermarking and Watermark Detection and Extraction”)、美國專利號第6,871,180號(2005年3月22日發佈的題為“Decoding of Information in Audio Signals”)、美國專利號第5,764,763號(1998年6月9日發佈的題為“Apparatus and Methods for Including Codes in Audio Signals and Decoding”)、美國專利號第5,574,962號(1996年11月12日發佈的題為“Method and Apparatus for Automatically Identifying a Program Including a Sound Signal”)、美國專利第5,581,800號(1996年12月3日發佈的題為“Method and Apparatus for Automatically Identifying a Program Including a Sound Signal”)、美國專利第5,787,334號(1998年7月28日發佈的題為“Method and Apparatus for Automatically Identifying a Program Including a Sound Signal”)以及美國專利第5,450,490號(1995年9月12日發佈的題為“Apparatus and Methods for Including Codes in Audio Signals and Decoding”)中描述了音頻浮水印示例和對應的浮水印檢測技術,通過引用將它們的全部內容全部合併於此。
另一方面,現有的視頻浮水印技術涉及以能夠通過經適當配置的浮水印檢測演算法檢測到但被人類視覺檢測掩蓋的方式將代碼嵌入媒體內容的視頻分量中。
視頻浮水印技術的示例包括各種空間域技術,例如翻轉圖元、將浮水印嵌入到最低有效位元、向視頻中添加偽隨機雜訊圖,以及各種頻域技術,例如SVD域浮水印、離散傅立葉轉換浮水印、離散餘弦變換浮水印、離散小波變換浮水印、主成分分析浮水印。其他示例也是可能的。
這些或其他浮水印技術中的任何一種都能夠用於本發明目的,或者以能夠促進當前公開的特徵的方式用於浮水印技術。
[3.基於傳輸流元資料的媒體內容加浮水印]
在上述過程的示例實施方式中,各種各樣的實體中的任何一個都能夠首先將浮水印編碼到媒體流中。例如,內容源200或媒體流的其他發起者能夠在輸出媒體流以傳遞到一個或更多個內容分發系統之前對媒體流加浮水印。可替代地,媒體分發路徑中的元裝置能夠將浮水印添加到媒體流中,因為媒體流最終正在路由到媒體客戶端。
此外,將浮水印編碼到媒體流中的實體能夠以各種方式確定由浮水印表示的資訊,即實體將浮水印到媒體流中的資訊。
在一個示例實施方式中,如果實體要將關於即將發生的內容修改機會(例如,即將發生的廣告替換機會)的資訊浮水印到媒體流中,則實體可以根據對路由到媒體客戶端的媒體流的指紋分析來確定關於即將發生的內容修改機會的資訊。
例如,媒體分發路徑中的實體或相關聯的實體可以定期將媒體流的參考指紋與可修改內容片段,例如可替換廣告的指紋進行比較。並且在找 到具有足夠確定性的匹配時,實體可能由此隱式地將內容修改的定時確定為該可修改內容片段在媒體流中開始的時間。此外,實體可以參照參考資料來確定關於即將發生的內容修改的其他相關資訊。並且實體隨後可能將各種這樣的確定的資料加浮水印到媒體流中,以便接收媒體流的媒體客戶端能夠從浮水印確定資訊,然後能夠相應地計畫和執行動態內容修改。
可替代地,實體確定要在媒體流中加浮水印的一些或全部資訊的另一種方法是基於還攜帶媒體流的傳輸流中攜帶的元資料。特別地,該實體或另一相關聯的實體可以從傳輸流讀取指示一些或全部資訊的某些元資料,並且該實體隨後可以將該資訊和/或從該資訊派生的資訊浮水印(明確地或通過引用)到媒體流中。
在實踐中,當媒體流在代表性媒體分發系統中從一個實體直接或間接地傳送到另一實體時,與媒體流一起傳送各種元資料對於下游實體接收和使用元資料可能是有用的。
例如但不限於,當國家TV廣播公司將廣播流傳遞到MVPD以由MVPD傳輸到各種終端使用者TV接收設備時,對於國家廣播公司而言,在廣播流中傳送某些元資料可能是有用的,該元資料能夠促進MVPD的動作。並且作為另一個示例,當國家TV廣播公司和/或MVPD將媒體流直接或間接地傳送到例如為終端使用者電視提供服務的機上盒等的客戶場所接收器時,對於廣播公司或MVPD而言,在媒體流中包含某些元資料可能是有用的,這些元資料能夠促進客戶場所接收器的動作。
將元資料與從一個實體傳遞到另一實體的媒體流一起傳送能夠促進下游實體的各種類型的動作。
例如但不限於,與媒體流中即將發生的內容修改機會相關的元資料能夠促進下游實體對媒體流的動態修改,無論該下游實體是媒體客戶端還是媒體分發路徑中的另一實體。作為示例,對於任何下游實體而言,用替換 廣告或其他替換內容動態地替換廣告或媒體流的其他分段可能是有用的,這可能有助於針對特定的市場、消費者等來定制媒體內容。此外,可以期望在媒體流內的特定時間點執行這樣的內容修改。例如,如果要用替換廣告替換現有廣告,則可以期望在現有廣告將開始時在媒體流中的特定時間來定位替換廣告。
為了促進這一點,傳遞媒體流的實體能夠與媒體流一起包括與即將發生的內容修改機會相關的某些資訊,例如,指定即將發生的內容修改機會的定時的資訊和/或表徵要執行的內容修改類型的資訊等。當下游實體接收到媒體流以及元資料時,下游實體隨後能夠使用元資料作為基礎來執行或使執行動態內容修改。
將這種元資料與媒體流一起傳送的一種方式是在攜帶媒體流的傳輸流中包括帶內元資料。即,傳輸流能夠分別攜帶(i)媒體流和(ii)元資料。
例如,如果媒體流作為有效載荷在一系列傳輸資料包(例如,網際網路協定資料包等)中被傳送,則元資料能夠在傳輸資料包中的一個或更多個中的每個的報頭中被傳送。在接收到每個這樣的傳輸資料包時,下游實體隨後不僅能夠接收表示媒體流的一部分的有效載荷,而且還能夠從資料包報頭接收元資料。可替代地,傳輸流中的一個或更多個特殊資料包能夠在報頭或有效載荷部分內攜帶元資料。當下游實體接收到提供媒體流的傳輸資料包序列時,下游實體隨後能夠從每個特殊資料包接收元資料。在任何一種情況下,下游實體隨後能夠使用所接收的元資料作為基礎來執行有用的動作,例如針對媒體流的動作。
能夠用於攜帶元資料的示例傳輸流協定包括由標準組織定義的協定,該標準組織例如電纜電信工程師協會(SCTE)和高級電視系統委員會(ATSC)。
例如,SCTE已經創建了定義用於將數位內容的不同片段無縫地拼接到如廣播節目流的基於資料包的傳輸流中的方法的標準。這些標準規定在傳輸流中包括特殊的SCTE觸發器,該觸發器指定將在媒體流中發生拼接的時間點,並且規定媒體分發鏈中的實體檢測到此類SCTE觸發器的存在,並在指定的時間點回應地執行拼接。
更具體地,SCTE的數位節目插入(DPI)標準規定在基於資料包的傳輸流中包括特殊的“拼接資訊”資料包,該資料包指定將在流中發生拼接的時間點。此外,該標準規定,這樣的資料包能夠指定實體從傳輸流拼接到其他內容的“出”時間點,或者指定實體從其他內容拼接回傳輸流的“入”時間點(或者可替代地定義內容替換應該持續多長時間的中斷持續時間)。拼接_資訊資料包能夠以XML(完全解析或二進位表示)的形式攜帶此資訊和其他資訊。
因此,為了能夠時間精確地替換由基於資料包的傳輸流攜帶的媒體流的片段,傳輸流的提供者能夠在媒體片段的開始處插入指定拼接出時間點的SCTE拼接_資訊資料包,並且能夠進一步在媒體片段結束處插入指定拼接入時間點的拼接_資訊資料包。並且媒體分發路徑中的下游實體隨後能夠檢測到這些拼接_資訊資料包的存在,並且能夠回應地從拼接出點開始到拼接入點結束地拼接替換內容。
在該過程的代表性實施方式中,國家廣播公司能夠提供基於資料包的傳輸流,該傳輸流攜帶包括核心節目內容的媒體流,並且附加地包括定義全國性廣告的商業廣告時間。此外,根據與MVPD達成的協議,國家廣播公司能夠允許每個MVPD將包含的全國性廣告替換為MVPD市場區域的本地廣告。為了促進這一點,國家廣播公司能夠在傳輸流中插入一個或更多個拼接_資訊資料包,這些資訊資料包指定本地廣告替換何時開始和結束。
因此,在接收到國家傳輸流饋送時,MVPD能夠檢測並且讀取拼 接_資訊資料包,並能夠由此確定MVPD要插入替換本地廣告時的媒體流中的特定時間。在所確定的時間處,MVPD隨後能夠將替換本地廣告拼接到媒體流中,從而產生修改後的媒體流。並且MVPD能夠將修改後的媒體流傳送到一個或更多個終端使用者TV接收設備上進行播放。
ATSC還開發了一個或更多個標準,使得能夠在將媒體流從一個實體傳送到另一實體的傳輸流內帶內傳送元資料。這種標準的最新示例是ATSC 3.0。
儘管在實踐中能夠很好地在還攜帶媒體流的傳輸流內帶內傳送元資料,但是該過程可能具有一些缺點。
該過程的一個技術問題是,如上文所述,當媒體流路由到下游實體,例如最終到媒體客戶端時,傳輸流中攜帶的元資料可以被丟棄,或者不與媒體流一起傳送到下游實體。這能夠以多種方式發生。
作為示例,媒體分發路徑中的實體可以接收攜帶媒體流和元資料的傳輸流,並且可以在沿著媒體分發路徑轉發傳輸流之前從傳輸流中剝離元資料,因此,接收媒體流的下游實體同樣不會接收由傳輸流攜帶的元資料。
例如,根據SCTE標準的行業慣例建議媒體分發者應該在將傳輸流傳送給終端使用者客戶端之前,從傳輸流中剝離任何拼接_資訊資料包,以防止未經授權的“商業殺手”等。特別地,業界關注的是,未經授權方可能檢測到拼接_資訊資料包的存在,並可能不希望刪除(例如跳過)或替換媒體流中包含的商業廣告。儘管能夠通過加擾和/或加密來保護拼接_資訊資料包,但是這些資料包仍然可以在傳輸流內單獨發送,並且存在未經授權而被檢測和使用的風險。因此,在路由到終端使用者媒體客戶端的傳輸流中維護拼接_資訊資料包可能不可行或不實際,因此,再次,終端使用者媒體客戶端可能無法使用拼接資訊元資料作為基礎來執行動態內容修改。
作為另一個示例,當媒體流沿著媒體分發路徑(例如,從一個實 體到另一實體)進行通訊時,媒體分發路徑中的實體可以接收同時攜帶媒體流和元資料的傳輸流,並且該實體可以從傳輸流中提取媒體流,並將媒體流轉發到下游實體(例如,媒體分發路徑中的下一個或更高版本的實體),而無需將元資料也轉發到下游實體。
例如,機上盒或其他客戶場所接收器可以從MVPD或其他實體接收傳輸流,該傳輸流攜帶表示內容頻道的媒體流,並且還攜帶元資料。當接收器接收到該傳輸流時,接收器可以從傳輸流中提取媒體流(例如,將媒體流進行解包),並通過HDMI或另一個介面將所提取的媒體流輸出到TV以供呈現。但是在這個過程中,接收器可能不會將同樣包括在傳輸流中的元資料轉發給TV。因此,TV可能沒有接收到包括在傳輸流中的元資料,因此可能無法基於該元資料執行有用的動作。
同樣地,MVPD能夠從內容源接收傳輸流,該傳輸流攜帶表示內容頻道的媒體流,並且還攜帶元資料。並且,當MVPD接收到該傳輸流時,MVPD可以類似地從傳輸流中提取媒體流(例如,對媒體流進行解包),並將所提取的媒體流輸出到下游傳輸到機上盒和/或電視以供呈現。同樣在這個過程中,下游實體將不會接收傳輸流中包括的元資料,因此可能無法基於該元資料執行有用的動作。
對於動態內容修改,可能發生在媒體流路由到下游實體時元資料被剝離或以其他方式丟失的技術問題。儘管在將攜帶全國性廣播的傳輸流內帶內傳送拼接資訊到MVPD可以使MVPD在將媒體流分發到各種客戶場所設備之前進行媒體流的時間精確的內容修改,如上所述,允許終端使用者TV進行動態內容修改也是可期望的。允許終端使用者TV進行例如動態廣告插入的動態內容修改可以允許專門針對終端使用者的興趣、人口統計資料等而定制的內容修改。然而,如果在媒體流被路由到TV以進行播放時刪除了媒體流所伴隨的元資料,則TV可能不會接收到該元資料,並且因此可能無法將該元資 料作為基礎以執行動態內容修改。
如上所述,解決該技術問題的一種方式是使媒體分發路徑中的實體將傳輸流中的帶內攜帶的元資料轉換為媒體流中的浮水印。
特別地,媒體分發路徑中的元裝置能夠接收攜帶媒體流的傳輸流,並且能夠從傳輸流讀取元資料,並且元裝置能夠將浮水印(例如,一個或更多個浮水印)編碼到媒體流中,該浮水印明確地或通過引用來傳達該元資料。當例如終端使用者媒體客戶端的下游實體接收到媒體流時,下游實體能夠方便地從媒體流解碼浮水印以獲得元資料,並且下游實體能夠使用元資料作為基礎來執行有用的動作。
圖3進一步示出了能夠在其中完成的示例系統。
圖3在其頂部示出了經由元裝置302從內容源300延伸到下游實體304的示例媒體分發路徑。例如但不限於,內容源300能夠是例如上述的那些中的一個的國家廣播公司,元裝置302能夠是MVPD,例如國家廣播公司的本地分支機構,並且下游實體304能夠是媒體客戶端,可能是例如TV等的內容呈現設備或例如機上盒等的接收器。
通過這種佈置,示例媒體流在媒體分發路徑上從內容源300流向元裝置302,然後從元裝置302流向下游實體304。如上所述,該媒體流能夠包括並由此定義媒體內容的數位幀序列,例如視頻內容和/或音頻內容,可能表示內容的頻道。內容源300能夠通過在傳輸流資料包的有效載荷中將媒體流片段傳送到元裝置302,從而在基於資料包的傳輸流中將該媒體流傳送到元裝置302。然後,元裝置302能夠最終將媒體流轉發(出於當前目的)到下游實體304,該媒體流可能也在基於資料包的傳輸流中或者可能剝離和/或轉碼。
如圖3所示,內容源300將媒體流以及未加浮水印到媒體流中的元資料一起傳送到元裝置302。如上所述,例如,如果內容源300在基於資料包的傳輸流中將媒體流傳送到元裝置302,則內容源能夠通過分別在傳輸流的一 個或更多個資料包中的每個的報頭中傳送元資料,或者可能作為傳輸流的一個或更多個特殊資料包中的有效載荷來一起傳送媒體流以及未浮水印的元資料。
此外,如圖所示,元裝置302然後將利用元資料加浮水印的媒體流傳送到下游實體304。如上所述,例如,元裝置302能夠從元裝置302從內容源300接收的傳輸流中讀取元資料,並且元裝置302隨後能夠將元資料的表示隱寫地編碼為媒體流本身中的一個或更多個浮水印。元裝置302隨後能夠輸出這樣利用元資料加浮水印的媒體流,並且該加浮水印的媒體流隨後能夠直接或間接地流向下游實體304。下游實體304隨後能夠檢測並解碼來自媒體流的浮水印,以獲得元資料,並且能夠將元資料用作基礎來執行一個或更多個有用的動作。
除其他可能性之外,該機制能夠促進向下游實體304傳送與動態內容修改相關的各種資訊,例如與下游實體304針對正在傳送的媒體流應該執行的動態內容修改的定時和/或類型相關的資訊。
作為示例,所公開的機制能夠促進傳送拼接資訊,以使下游實體能夠在媒體流中執行動態廣告插入。
例如,作為元裝置302的MVPD能夠從作為內容源300的國家TV廣播公司接收傳輸流,該傳輸流攜帶表示TV頻道的媒體流,該媒體流包括TV節目內容(例如,各種TV節目)和一個或更多個商業廣告時間(例如,定義商業廣告序列的廣告連播),並且傳輸流能夠包括攜帶拼接資訊的一個或更多個SCTE拼接_資訊資料包,該拼接資訊例如是將拼接點指定為商業廣告時間的開始或指定為商業廣告時間內特定商業廣告的開始。
當MVPD從內容提供者接收傳輸流時,MVPD能夠監視並檢測拼接_資訊資料包的存在,可能基於指示它是拼接_資訊資料包的報頭資訊和/或基於一個或更多個其他標記。並且MVPD隨後能夠讀取拼接_資訊資料包的 XML內容,以確定並由此從資料包中提取或以其他方式獲取拼接資訊,例如關於指定的即將發生的拼接點的資訊以及可能的其他這樣的元資料。
回應於檢測攜帶例如指定拼接點的拼接資訊的拼接資訊資料包,並且在從資料包中獲得拼接資訊時,MVPD隨後能夠將表示所獲得的拼接資訊的浮水印編碼到媒體流中,以便下游實體304能夠從浮水印中提取拼接資訊,並且能夠將拼接資訊用作執行動態廣告插入的基礎。此外,根據行業慣例,如果MVPD將傳輸流轉發給下游實體304,則MVPD還能夠在轉發傳輸流之前從傳輸流中回應地剝離拼接_資訊資料包,從而下游實體304將不會接收到拼接_資訊資料包。
在這個示例過程中,接收傳輸流的MVPD或其它元裝置302能夠從資料包中讀取拼接相關的資訊,並且能夠由此確定相關聯的拼接點的一個或更多個特徵,該傳輸流攜帶有路由到下游實體304的媒體流、並且包括指定拼接點和/或其他與拼接相關的資訊的帶內拼接_資訊資料包。考慮到例如SCTE拼接_資訊資料包,元裝置302能夠讀取該資料包以確定在同樣由傳輸流攜帶的媒體流中要發生拼接的特定時間點,其中,該時間點是即時的(意味著拼接應該在最近的可能時間發生)或被指示為時間偏移值,例如從拼接_資訊資料包的時間開始的90kHz時鐘的時鐘節拍數。此外,元裝置302能夠讀取資料包以確定拼接點的類型,例如拼接點是如上所述的拼接出點還是拼接入點。
在從資料包中讀取該帶內拼接_資訊元資料後,元裝置302隨後能夠將可由下游實體304解釋的浮水印編碼到媒體流的媒體內容中,以使(例如,導致)下游實體能夠根據拼接資訊執行內容修改。
例如,元裝置302能夠明確地將下游實體304應該執行內容修改的時間的二進位表示形式編碼到媒體流的媒體內容中,並且可能進一步指示內容修改的類型,例如拼接出或拼接入,以及其他可能性。可替代地,元裝置 能夠將通過引用指定該拼接資訊的二進位碼編碼到流的媒體內容中。例如,元裝置302可以在網路伺服器(例如,代碼映射伺服器)306處記錄二進位碼與拼接資訊之間的映射,使得當下游實體304從媒體流提取加浮水印的二進位碼時,下游實體304隨後能夠查詢伺服器306以基於所提取的二進位碼來確定拼接資訊。
對於內容修改的時間點,如果傳輸流中的帶內拼接資訊通過指定與拼接資訊在傳輸流中的定位的時間的時間偏移來指定拼接點的時間(例如,與由傳輸流攜帶的媒體流中的時間點相關),則元裝置302能夠明確地或通過引用在浮水印中對該時間偏移進行編碼,假設元裝置302將在媒體流中與由傳輸流中的拼接資訊指定的同一時間點處定位浮水印。
例如,元裝置302能夠在浮水印中編碼實際偏移值,或者元裝置302能夠在浮水印中編碼下游實體304能夠通過查詢如上所述的代碼映射伺服器306、或者通過使用在下游實體304處提供的或在媒體流或傳輸流中提供的映射表或其他映射資料(如果適用的話)來映射到實際偏移值的值。例如,利用二進位浮水印,元裝置302能夠使用二進位值對偏移進行編碼,例如與2秒的偏移相對應的值00、與3秒的偏移相對應的值01、與4秒偏移相對應的值10。因此,在解碼浮水印並且讀取該值時,下游實體304能夠在從浮水印確定的時間偏移處執行內容修改。
可替代地,基於由元裝置302從傳輸資料包讀取的帶內拼接資訊所指示的時間點,元裝置能夠計算媒體流中應該發生內容修改的絕對時間,然後元裝置能夠將計算出的絕對時間編碼到媒體流的浮水印中。
在這裡,絕對時間能夠是媒體流的時間線上的時間點。如果媒體流以將讀取浮水印並採取動作的下游實體304可理解的方式定義了帶有時間戳記或以其他方式編號的幀序列,則時間點能夠是幀編號。
可替代地,如果媒體流以另一種方式定義時間線,則時間點能夠 是該時間線內的時間。作為示例,如果元裝置302在媒體流內的特定時間點對浮水印進行編碼,則元裝置302能夠在浮水印中包括該特定時間點的時間戳記,根據媒體流內的時間線或根據元裝置的時鐘生成時間戳記。這樣,當下游實體304解碼浮水印並且讀取時間戳記時,下游實體304能夠在根據下游實體自身時鐘的當前時間與浮水印指示的時間之間建立時間映射(即,同步鎖),例如時間偏移。此外,元裝置302能夠在浮水印中、或者在將由下游實體304接收的單獨浮水印或其他消息中包括對內容修改應該發生的絕對時間的指示,所指示的絕對時間也根據元裝置的時鐘。並且在接收到該絕對時間值時,下游實體304隨後能夠應用其建立的時間映射來根據下游實體自身的時鐘將所指示的絕對時間轉換為時間值,使得下游實體304隨後能夠基於下游實體的時鐘在正確的時間點執行所指示的內容修改。
在任何一種情況下,元裝置302都能夠在浮水印中編碼絕對時間的實際值,或者元裝置302能夠在浮水印中編碼下游實體304能夠通過查詢伺服器306和/或通過使用在下游實體處提供的、在媒體流中提供的或與媒體流一起提供的映射資料來映射到絕對時間的值。因此,在解碼浮水印並且讀取該值時,下游實體304能夠在所指示的絕對時間處執行內容修改。
對於內容修改的類型,如果傳輸流中的帶內元資料明確地或通過引用指示了針對媒體流來應用的內容修改的類型,則元裝置302能夠在浮水印中明確地或通過引用來編碼相同類型的內容修改。例如,如果帶內元資料指示內容修改將是拼接出(從媒體流切換到其他內容),則元裝置302能夠在浮水印中編碼內容修改將是拼接出的指示。然而,如果帶內元資料指示內容修改將是拼接入(從其他內容切換回媒體流),則元裝置302能夠在浮水印中編碼內容修改將是拼接入的指示。對於二進位浮水印,例如,元裝置能夠用單個位來指定它,例如值“1”指示拼接出事件,並且值“0”指示拼接入事件。因此,在解碼浮水印並且讀取該值時,下游實體304能夠執行所指示的類型的內 容修改。
還要注意,元裝置302能夠在浮水印中編碼關於下游實體304要執行的內容修改的附加或其他資訊,可能類似地,使用下游實體304能夠使用伺服器查詢和/或在下游實體304處提供的或在媒體流中提供的映射資料來映射到特定動作或內容修改特性的代碼。
作為示例,元裝置302能夠在浮水印中編碼下游實體304將在所指示的時間點拼接到媒體流中的其他內容的指示或與之相關的指示。
例如,元裝置302能夠在浮水印中編碼代碼,該代碼指示下游實體304從內容替換伺服器308請求替換內容,例如來自廣告伺服器的替換廣告。此外,代碼能夠映射到特定內容替換伺服器308,例如通過映射到特定內容伺服器的URL,並且可能進一步映射到下游實體304將從內容替換伺服器308請求的特定替換內容。在解碼浮水印並且讀取該代碼時,下游實體304能夠因此向內容替換伺服器308發送對於替換內容的請求,並且能夠回應地接收替換內容,然後在所指示的時間點將該替換內容拼接到媒體流中。
可替代地,元裝置302能夠在浮水印中編碼代碼,該代碼指示下游實體304從下游實體的本機存放區器中選擇替換內容,例如各種預緩存的替換廣告中的一個,並且該代碼能夠進一步映射到下游實體304將從本機存放區器中檢索的特定替換內容。因此,在解碼浮水印並且讀取該代碼時,下游實體304能夠從其本機存放區器檢索替換內容,並且能夠在所指示的時間點將該替換內容拼接到媒體流中。
此外,如果帶內元資料指示拼接出點並指定要在所指示的時間點開始的內容修改的持續時間,例如將發生動態廣告替換的商業廣告時間的持續時間,則元裝置302能夠在浮水印中編碼該持續時間。例如,對於二進位浮水印,元裝置302能夠使用幾個位來指定以秒為單位的持續時間。或者元裝置302能夠將持續時間編碼為二進位值,使得下游實體304能夠使用映射資料將 該二進位值映射到持續時間。例如,值00能夠對應15秒,值01能夠對應30秒,值10能夠對應60秒,依此類推。因此,在解碼浮水印並且讀取該值時,下游實體304能夠在所指示的持續時間內執行內容修改。
此外,元裝置302編碼到媒體內容中的浮水印能夠包括代碼,下游實體304將該代碼解釋為用於進行內容修改的觸發,並且元裝置302能夠使用到下游實體304的另一種消息傳遞形式,來向下游實體304提供所指示的內容修改的時間點、持續時間和/或其他特徵。例如,元裝置302能夠在浮水印中編碼下游實體304將解釋為應該發生內容修改的值,並且元裝置302能夠在浮水印中編碼將映射到內容修改特徵資料的參考代碼。並且元裝置302能夠分別向下游實體(例如,通過帶外IP消息傳遞)傳送將該參考代碼與一個或更多個內容修改特徵相關聯的消息。因此,在解碼浮水印並且讀取該參考代碼時,下游實體304能夠將參考代碼映射到所指示的內容修改特徵,並且能夠相應地執行內容修改。
此外,作為另一個實施方式,元裝置302編碼到媒體內容中的浮水印能夠包括代碼,下游實體304將該代碼解釋為在媒體流中下一個適當的地方,例如,在下一個適當的內容修改機用於進行內容修改的觸發。
例如,對於視頻內容(例如,僅視頻流、或還包括音頻分量的媒體流的視頻分量),該代碼能夠指示下游實體304在媒體流轉換為一個或更多個黑幀的下一個實例中進行內容修改(可能指示節目內容可能轉換到商業廣告時間或一個商業廣告可能轉換到另一個商業廣告的點)。在解碼浮水印並且讀取該代碼時,下游實體304隨後能夠回應地監視視頻流以檢測何時出現黑幀,並且在檢測到黑幀之後,能夠回應地執行內容修改。
對於下游實體304檢測黑幀存在的一種方式是進行指紋分析和ACR。例如,回應於檢測到浮水印,下游實體304能夠開始生成視頻流的各個幀的每個的數位查詢指紋並將所生成的數字查詢指紋傳送到ACR伺服器310 進行分析、或者通過自分析指紋的過程。通過指紋分析,能夠將視頻流中的單個幀視為黑幀。可替代地,下游實體304能夠以另一種方式檢測黑幀的存在。在任何情況下,在由此檢測到黑幀的存在時,下游實體304隨後能夠回應地執行內容修改。
同樣,對於音頻內容(例如,僅音頻流、或還包括視頻分量的媒體流的音頻分量),該代碼能夠指示下游實體304在媒體流轉換到閾值長的靜音持續時間的下一個實例中進行內容修改(可能指示節目內容可能轉換到商業廣告時間或一個商業廣告可能轉換到另一個商業廣告的點)。在解碼浮水印並且讀取該代碼時,下游實體304隨後能夠回應地監視音頻流以檢測何時發生閾值長的靜音持續時間,並且在檢測到該靜音持續時間時,能夠回應地執行內容修改。
在非限制性的示例實施方式中,如上文所述,下游實體304能夠是機上盒,該機上盒操作用於接收傳輸流並且將流的媒體內容傳送(例如,經由HDMI或另一個連接機制)到TV或其他這樣的內容呈現設備,並且可能儲存媒體內容以供以後輸出。這樣的機上盒能夠預先提供有如上所述的映射資料,並且具有替換廣告內容或者從網路伺服器等獲得替換廣告內容的能力。因此,當機上盒接收到傳輸流並解碼由元裝置302插入的浮水印時,機上盒能夠適當地解釋浮水印並且能夠通過執行動態廣告插入來回應。
可替代地,下游實體304能夠是TV或其他內容呈現設備,其可以通過接收傳輸流或通過從機上盒或其他實體接收媒體內容來接收媒體流的媒體內容,並且可以將媒體內容呈現給使用者。這樣的內容呈現設備同樣能夠預先提供有如上所述的映射資料,並且具有替換廣告內容或者從網路伺服器等獲取替換廣告內容的能力。因此,當內容呈現設備接收到媒體內容並解碼浮水印時,內容呈現設備能夠適當地解釋浮水印並通過執行期望的動態廣告插入來回應。
此外,該過程能夠分別針對各個下游實體中的每個執行,使得在不將SCTE拼接_資訊資料包傳遞給每個下游實體的情況下提供更有針對性的動態廣告插入在技術上是可行的。例如,一個家庭的下游TV接收器可以從MVPD接收傳輸流,該傳輸流攜帶具有由MVPD添加的浮水印的媒體流,並且接收器可以回應地將基於該家庭的人口統計資料或偏好而選擇的廣告拼接到媒體流中,而另一個家庭的下游TV接收器則可以從MVPD接收相同的傳輸流,該傳輸流攜帶具有相同添加的浮水印的相同媒體流,並且可以回應地將基於該另一個家庭的人口統計資料或偏好而選擇的不同廣告拼接到底層媒體流中。
接下來,圖4是描繪根據本發明能夠執行的方法的流程圖。
如圖4所示,在方框400處,該方法包括檢測由媒體客戶端正在處理的媒體流中的浮水印。在方框402處,該方法包括回應於該檢測,使用檢測到的浮水印作為基礎來觸發指紋相關動作。
根據上述討論,該方法能夠至少部分由媒體客戶端執行。替代地或附加地,該方法能夠由媒體分發路徑中的實體執行,媒體流沿著該路徑流向媒體客戶端。並且在後一種情況下,使用檢測到的浮水印作為基礎來觸發指紋相關動作的操作能夠涉及從實體向基於媒體流中的浮水印確定的媒體客戶端資訊進行帶外傳送,使媒體客戶端能夠執行或使執行指紋相關動作。
進一步如上所述,指紋相關動作能夠採取各種形式,可能與指紋ACR相關。作為示例,指紋相關動作能夠包括:(i)媒體客戶端開始生成由媒體客戶端正在處理的媒體流的查詢指紋,(ii)媒體客戶端提高由媒體客戶端正在處理的媒體流的查詢指紋的生成速率,(iii)開始向另一實體報告指紋,(iv)進行訊號發送以獲得用於執行指紋比較的指紋,和/或(v)進行指紋比較。此外,如上所述,指紋相關動作能夠促進動態內容修改,例如動態廣告替換。
如上所述,浮水印能夠基於傳輸流元資料添加到媒體流中。例如,媒體分發路徑中的實體能夠將浮水印添加到媒體流,該媒體流沿媒體分發路徑流向媒體客戶端,將浮水印添加到媒體流包括(i)從攜帶媒體流的傳輸流獲得未被加浮水印到媒體流中的元資料,以及(ii)將所獲得的元資料編碼為媒體流中的浮水印中的資訊。
圖5是能夠根據本發明操作的計算系統的簡化框圖。該計算系統能夠表示如上所述的內容分發系統202或其他元裝置302,或者為此表示如上文所討論的媒體客戶端204或其他下游實體304,以及其他可能性。
如圖5所示,計算系統包括通訊介面500、處理單元502和非暫時性資料記憶體504,其中任何一個或全部能夠集成在一起,或者如圖所示,通過系統匯流排、網路或其他連接機制506通訊地連接在一起。
通訊介面500能夠包括一個或更多個網路連接機制,以促進與一個或更多個其他實體的通訊。每個這樣的網路通訊介面能夠包括用於進行IP通訊和/或其他類型的網路通訊的無線或有線乙太網介面或其他類型的網路介面。
處理單元502能夠包括一個或更多個通用處理器(例如微處理器)和/或一個或多個專用處理器(例如,專用積體電路)。並且非暫時性資料記憶體504能夠包括一個或更多個易失性和/或非易失性儲存部件,例如光記憶體、磁記憶體或快閃記憶體記憶體。此外,如圖所示,示例計算系統的資料記憶體504儲存程式指令508。這些程式指令能夠由處理單元502執行,以執行(例如,使計算系統執行)本文所述的各種操作。
上面討論的各種特徵也能夠在這種情況下實現,反之亦然。
最後,圖6是示例內容呈現設備的簡化框圖,該示例內容呈現設備能夠根據本發明作為媒體客戶端的非限制性示例來操作。這種內容呈現設備能夠採用各種形式。例如,它能夠是用於接收和渲染視頻內容的電視、電 腦監視器或其他設備,和/或它能夠是用於接收和渲染音頻內容的揚聲器、耳機或其他設備。許多其他示例也是可能的。
如圖6所示,示例內容呈現設備包括內容輸入介面600、內容呈現介面602、網路通訊介面604、處理單元606和非暫時性資料記憶體608,它們中的任何一個或全部能夠集成在一起,或者如圖所示,通過系統匯流排、網路或其它連接機制610通訊地連接在一起。
內容輸入介面600能夠包括用於接收要由內容呈現設備呈現的媒體內容(例如,媒體流)的物理通訊介面。這樣,媒體輸入介面能夠包括一個或更多個有線和/或無線介面,用於與接收器或其他設備或系統建立通訊並且從接收器或其他設備或系統接收呈類比或數位形式的媒體內容。例如,媒體輸入介面能夠包括一個或更多個符合例如DVI、HDMI、VGA、USB、藍牙、WIFI等協定的介面,和/或用於更直接地從內容分發者等接收內容的調諧器和/或接收器。
然後內容呈現介面602能夠包括一個或更多個部件,以促進對所接收的媒體內容的呈現。作為示例,內容呈現介面602能夠包括例如顯示幕和/或揚聲器的使用者介面,以及用於處理接收到的媒體內容以促進在使用者介面上呈現內容的一個或更多個驅動器或其他部件。
網路通訊介面604能夠包括網路連接機制,以促進在網路上的通訊,和/或用於與一個或更多個其他本地實體或遠端實體進行直接通訊或網路通訊。這樣,網路通訊介面能夠包括無線或有線乙太網介面或其他類型的網路介面,用於進行IP通訊和/或其他類型的網路通訊。
然後,處理單元606能夠包括一個或更多個通用處理器(例如微處理器)和/或一個或更多個專用處理器(例如,專用積體電路)。非暫時性資料記憶體608能夠包括一個或更多個易失性和/或非易失性儲存部件,例如光記憶體、磁記憶體或快閃記憶體記憶體。此外,資料記憶體608儲存程式指 令612,該程式指令能夠由處理單元606執行,以執行(例如,使內容呈現設備執行)本文所述的各種操作。
例如,這些操作能夠包括處理用於呈現的媒體流,並且在處理用於呈現的媒體流時,(i)在媒體流中檢測浮水印並且(ii)回應於檢測到該浮水印,執行指紋相關動作。此外,如上所述,指紋相關動作能夠包括與指紋ACR相關的動作。並且指紋相關動作的示例包括但不限於,(i)媒體客戶端開始生成由媒體客戶端正在處理的媒體流的查詢指紋,(ii)媒體客戶端提高由媒體客戶端正在處理的媒體流的查詢指紋的生成速率,(iii)媒體客戶端開始向另一實體報告媒體流的查詢指紋,(iv)媒體客戶端進行信令以獲取用於執行指紋比較的參考指紋,和/或(v)媒體客戶端進行指紋比較。
上述各種特徵也能夠在這種情況下應用,反之亦然。
此外,本發明還設想了至少一種非暫時性電腦可讀介質,該非暫時性電腦可讀介質編碼有或以其他方式包含有至少一個處理單元可執行的程式指令,以執行本文所述的各種操作。
以上已經描述了示例性實施例。然而,本領域技術人員將理解,在不脫離本發明的真正範圍和精神的情況下,可以對這些實施例進行改變和修改。
400:框
402:框

Claims (20)

  1. 一種使用浮水印技術來觸發指紋相關動作的方法,包括以下步驟:檢測由媒體客戶端正在處理的媒體流中的浮水印;以及回應於所述檢測,使用所檢測的浮水印作為基礎來觸發指紋相關動作。
  2. 如請求項1所述之方法,其中,所述方法由所述媒體客戶端執行。
  3. 如請求項1所述之方法,其中,所述方法由媒體分發路徑中的實體執行,媒體流沿所述媒體分發路徑流向所述媒體客戶端。
  4. 如請求項3所述之方法,其中,所述使用所檢測的浮水印作為基礎來觸發指紋相關動作包括:由實體向基於所述浮水印確定的媒體客戶端資訊進行帶外傳送,以使所述媒體客戶端能夠執行或使執行指紋相關動作。
  5. 如請求項1所述之方法,其中,所述指紋相關動作包括指紋自動內容識別(ACR)相關動作。
  6. 如請求項1所述之方法,其中,所述指紋相關動作包括所述媒體客戶端開始生成由所述媒體客戶端正在處理的媒體流的查詢指紋。
  7. 如請求項1所述之方法,其中,所述指紋相關動作包括所述媒體客戶端提高由所述媒體客戶端正在處理的媒體流的查詢指紋的生成速率。
  8. 如請求項1所述之方法,其中,所述指紋相關動作包括開始向另一實體報告指紋。
  9. 如請求項1所述之方法,其中,所述指紋相關動作包括進行信令以獲得用於執行指紋比較的指紋。
  10. 如請求項1所述之方法,其中,所述指紋相關動作包括進行指紋比較。
  11. 如請求項1所述之方法,其中,所述指紋相關動作促進動態 內容修改。
  12. 如請求項11所述之方法,其中,所述動態內容修改包括動態廣告替換。
  13. 如請求項1所述之方法,其中,所述浮水印基於傳輸流元資料被添加到媒體流中。
  14. 如請求項1所述之方法,其中,所述方法還包括在所述媒體分發路徑中的實體處將所述浮水印添加到媒體流,所述媒體流沿所述媒體分發路徑流向所述媒體客戶端,其中,將浮水印添加到所述媒體流包括:從攜帶媒體流的傳輸流中獲得未被加浮水印到媒體流中的元資料;以及將所獲得的元資料編碼為所述媒體流中的浮水印中的資訊。
  15. 一種媒體客戶端,包括:內容輸入介面;內容呈現介面;網路通訊介面;處理單元;非暫時性資料記憶體;以及程式指令,其儲存在所述非暫時性資料記憶體中並且能夠由所述處理單元執行以實施操作,包括:處理用於呈現的媒體流;以及在所述處理用於呈現的媒體流時,(i)在所述媒體流中檢測浮水印並且(ii)回應於檢測到所述浮水印,執行指紋相關動作。
  16. 如請求項15所述之媒體客戶端,其中,所述指紋相關動作包括指紋自動內容識別(ACR)相關動作。
  17. 如請求項15所述之媒體客戶端,其中,所述指紋相關動作包括從以下組中選擇的至少一個動作:(i)媒體客戶端開始生成由所述媒體客戶 端正在處理的媒體流的查詢指紋,(ii)媒體客戶端提高由所述媒體客戶端正在處理的媒體流的查詢指紋的生成速率,(iii)媒體客戶端開始向另一實體報告媒體流的查詢指紋,(iv)媒體客戶端進行信令以獲得用於執行指紋比較的參考指紋,以及(v)媒體客戶端進行指紋比較。
  18. 如請求項15所述之媒體客戶端,其中,所述指紋相關動作促進動態內容修改。
  19. 如請求項18所述之媒體客戶端,其中,所述動態內容修改包括動態廣告替換。
  20. 一種非暫時性電腦可讀介質,其包含程式指令,所述程式指令能夠由處理單元執行以實施操作,包括:檢測由媒體客戶端正在處理的媒體流中的浮水印;以及回應於所述檢測,使用所檢測的浮水印為基礎觸發指紋相關動作。
TW109120280A 2019-06-24 2020-06-16 使用浮水印技術來觸發指紋相關動作的方法、媒體客戶端和電腦可讀介質 TWI744947B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201962865613P 2019-06-24 2019-06-24
US62/865,613 2019-06-24
US201962882217P 2019-08-02 2019-08-02
US201962882202P 2019-08-02 2019-08-02
US62/882,202 2019-08-02
US62/882,217 2019-08-02
US15/929,219 2020-02-06
US15/929,219 US20200275168A1 (en) 2019-02-22 2020-02-06 Use of Watermarking to Trigger Fingerprint-Related Action

Publications (2)

Publication Number Publication Date
TW202105366A TW202105366A (zh) 2021-02-01
TWI744947B true TWI744947B (zh) 2021-11-01

Family

ID=74060665

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109120280A TWI744947B (zh) 2019-06-24 2020-06-16 使用浮水印技術來觸發指紋相關動作的方法、媒體客戶端和電腦可讀介質

Country Status (2)

Country Link
TW (1) TWI744947B (zh)
WO (1) WO2020263621A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201342889A (zh) * 2012-01-13 2013-10-16 Tqtvd Software Ltda 傳送至具有含或不含網路存取之多重可攜式裝置之數位電視接收器的內容同步系統
US20150106505A1 (en) * 2013-10-10 2015-04-16 Arun Ramaswamy Methods and apparatus to measure exposure to streaming media
US20180234728A1 (en) * 2017-02-10 2018-08-16 Samsung Electronics Co., Ltd. Display device and method for replacing advertisement
US20180302670A1 (en) * 2016-02-29 2018-10-18 Gracenote, Inc. Method and System for Detecting and Responding to Changing of Media Channel
US20190082209A1 (en) * 2011-08-21 2019-03-14 Lg Electronics Inc. Video display device, terminal device, and method thereof

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140245018A1 (en) * 2008-10-16 2014-08-28 Adobe Systems Incorporated Systems and Methods for Media Recognition
WO2014007571A1 (en) * 2012-07-05 2014-01-09 Lg Electronics Inc. Method and apparatus for processing digital service signals
US9106964B2 (en) * 2012-09-13 2015-08-11 Verance Corporation Enhanced content distribution using advertisements
US9323857B2 (en) * 2013-10-31 2016-04-26 Electronics And Telecommunications Research Institute System and method for providing content-related information based on digital watermark and fingerprint
US9854326B1 (en) * 2015-09-09 2017-12-26 Sorenson Media, Inc. Creating and fulfilling dynamic advertisement replacement inventory

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190082209A1 (en) * 2011-08-21 2019-03-14 Lg Electronics Inc. Video display device, terminal device, and method thereof
TW201342889A (zh) * 2012-01-13 2013-10-16 Tqtvd Software Ltda 傳送至具有含或不含網路存取之多重可攜式裝置之數位電視接收器的內容同步系統
US20150106505A1 (en) * 2013-10-10 2015-04-16 Arun Ramaswamy Methods and apparatus to measure exposure to streaming media
US20180302670A1 (en) * 2016-02-29 2018-10-18 Gracenote, Inc. Method and System for Detecting and Responding to Changing of Media Channel
US20180234728A1 (en) * 2017-02-10 2018-08-16 Samsung Electronics Co., Ltd. Display device and method for replacing advertisement

Also Published As

Publication number Publication date
WO2020263621A1 (en) 2020-12-30
TW202105366A (zh) 2021-02-01

Similar Documents

Publication Publication Date Title
TWI778330B (zh) 基於傳輸流元資料對媒體內容動態加浮水印的方法、計算系統及非暫時電腦可讀介質
TWI779302B (zh) 使用隱寫編碼資料作為基礎來消歧基於指紋的頻道多匹配
US20220150601A1 (en) Use of Watermarking to Trigger Fingerprint-Related Action
US11470364B2 (en) Use of steganographically-encoded time information as basis to establish a time offset, to facilitate taking content-related action
TWI788701B (zh) 用於使用帶內元資料作為存取參考指紋的基礎來促進與內容相關的動作的方法及媒體客戶端
JP7470777B2 (ja) ウォーターマーキングを用いた動的コンテンツ修正中止の制御
US11863817B2 (en) Use of steganographically-encoded time information as basis to control implementation of dynamic content modification
US20230403416A1 (en) Method and system for re-uniting metadata with media-stream content at a media client, to facilitate action by the media client
TWI744947B (zh) 使用浮水印技術來觸發指紋相關動作的方法、媒體客戶端和電腦可讀介質