TWI762117B - 動態控制指紋辨識速率以促進媒體內容的時間準確性修訂 - Google Patents

動態控制指紋辨識速率以促進媒體內容的時間準確性修訂 Download PDF

Info

Publication number
TWI762117B
TWI762117B TW109146501A TW109146501A TWI762117B TW I762117 B TWI762117 B TW I762117B TW 109146501 A TW109146501 A TW 109146501A TW 109146501 A TW109146501 A TW 109146501A TW I762117 B TWI762117 B TW I762117B
Authority
TW
Taiwan
Prior art keywords
client
media stream
query
frame rate
generated
Prior art date
Application number
TW109146501A
Other languages
English (en)
Other versions
TW202126051A (zh
Inventor
庫特 Ｒ 泰連
沙山克 Ｃ 莫辰
彼得 當克
馬克思 Ｋ 克里莫
史蒂芬 Ｄ 史卻夫
Original Assignee
美商六科股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商六科股份有限公司 filed Critical 美商六科股份有限公司
Publication of TW202126051A publication Critical patent/TW202126051A/zh
Application granted granted Critical
Publication of TWI762117B publication Critical patent/TWI762117B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6543—Transmission by server directed to the client for forcing some client operations, e.g. recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Databases & Information Systems (AREA)

Abstract

一種運算系統基於與由一用戶端以一圖框速率產生的查詢指紋進行之指紋匹配來識別正由該用戶端接收之一媒體串流。該運算系統接著使該用戶端增大該圖框速率，以便促進由該運算系統建立介於該媒體串流內之真實時間與根據該用戶端之一時鐘之用戶端時間之間的同步鎖。該運算系統接著將該建立之同步鎖用作將應在該媒體串流中執行一內容修訂之一真實時間點映射至該用戶端應執行該內容修訂之一用戶端時間點的一基礎。且該運算系統使該用戶端在該判定之用戶端時間點執行該內容修訂。

Description

動態控制指紋辨識速率以促進媒體內容的時間準確性修訂
本申請案係關於動態控制指紋辨識速率以促進媒體內容的時間準確性修訂。
典型媒體用戶端用於接收表示媒體內容(例如，視訊及/或音訊內容)之類比或數位媒體串流，及輸出媒體內容及/或轉發該串流以用於在例如顯示螢幕及/或音訊揚聲器之使用者介面上呈現內容。此類用戶端之實例包括電視、電腦監視器、投影系統、擴音器、頭戴式耳機、機上盒(例如，有線或衛星電視接收器)、數位視訊記錄器、收音機、個人電腦、行動通信裝置、遊戲控制台、串流媒體播放器等。
舉例而言，電視可以接收廣播串流(例如，空中傳輸、自機上盒、藉由網際網路連接或以另一種方式)，並且可呈現該廣播串流之媒體內容給使用者。舉另一實例，機上盒可接收來自多頻道視訊節目分配器的廣播串流，並且可藉由高清晰度多媒體介面(HDMI)纜線或其他介面將該串流之媒體內容輸出至電視及/或音訊/視訊接收器以供播出。舉再一實例，數位視訊或音訊記錄器可同樣地接收廣播串流，但可儲存該廣播串流以供稍後播出。且舉又一實例，擴音器或頭戴式耳機可自收音機、電腦或其他裝置接收廣播音訊串流，並且可呈現該串流之音訊內容給使用者。許多其他實例亦係可能的。
當媒體用戶端正接收媒體串流時，在某些情形下，用戶端修訂串流之媒體內容之一部分可為有用的。例如，可為有用的是，用戶端用替換廣告或用其他替換內容動態地替換廣告或媒體內容之其他片段，使得當播出內容給使用者時，使用者將接收到替換廣告，而不是原先包括之廣告。舉另一實例，可為有用的是，用戶端用覆疊或分割畫面內容(例如，頻道識別、上下文資訊、廣告內容等)動態地補充媒體內容之一部分，使得當正對使用者播出內容時，使用者將接收到該補充內容以及原先包括之內容。
另外，可能需要用戶端在媒體串流內之特定時間點執行此內容修訂。舉例而言，若用戶端要用替換廣告動態地替換現有廣告，則可能需要用戶端將替換廣告定位在媒體串流中現有廣告原本將已開始之時間。同樣地，若用戶端要用與媒體內容之特定部分有關之覆疊補充彼部分，則可能需要用戶端在彼部分開始時開始該覆疊。其他實例亦係可能的。
更確切言之，討論中之媒體串流可定義例如視訊圖框及/或音訊圖框之圖框之序列，且可能需要用戶端以圖框準確為基礎執行內容修訂。舉例而言，對於廣告替換，可能需要用戶端準確性地在現有廣告之第一圖框處開始插入替換廣告，代替現有廣告。且為了新增覆疊至媒體串流之特定部分，可能需要用戶端在媒體串流之彼部分之第一圖框處或以與該第一圖框成特定關係之方式開始覆疊。
為了促進使用戶端執行此內容修訂，用戶端可能需要獲悉修訂即將發生之特定時間點。然而，實務上，可能會在用戶端未知之時刻表上定義修訂時間點。舉例而言，可在媒體串流自身內之參考時刻表上定義修訂時間點，但用戶端可能不具有針對該時刻表之上下文。因此，為用戶端提供該修訂時間點可能無法使用戶端在媒體串流中所要之時間點執行該修訂。
作為此情況之非限制性實例，考慮定義可出現於電視廣播內之廣告莢之媒體串流。廣告莢包含廣告序列，例如，電視商業廣告之序列。藉由此實例，用戶端可以係正接收及呈現特定電視頻道之線性廣播饋送之電視，且廣告莢可出現於該饋送內之任何時刻。舉例而言，尤其在例如體育賽事等直播的情況下，廣告莢在此饋送中出現之時間可能係不可預測的。替代地，廣告莢可出現於特定排程之時間。
在此實例中，所要修訂可以係對廣告莢內之特定廣告之替換(例如，用不同廣告或其他替換內容取代該廣告)。舉例而言，若廣告莢係廣告A1、A2、A3、A4之序列，則所要之修訂可以係廣告A3之替換。
在此情況下，廣告莢可定義內部時刻表，其開始於時間T=0且繼續至廣告莢之末尾，且廣告A3可開始於該時刻表上之時間TA3 。然而，用戶端可能缺乏對該時刻表之上下文。用戶端可具有它自己的內部時鐘，該內部時鐘具有定義「用戶端時間」之時刻表(例如，日時間或其他內部時間參考)。但在未提前知曉廣告莢時刻表存在於用戶端時間內何處的情況下，僅給出值TA3 作為所要之內容修訂時間點將無法使用戶端在需要時執行廣告替換。
解決此問題之一個方式係執行指紋匹配，比較正由用戶端接收之媒體串流之帶時間戳記之查詢指紋與已知媒體串流(例如已知廣告莢序列)之帶時間戳記之參考指紋。
舉例而言，用戶端可產生用戶端正接收之媒體串流之圖框之查詢指紋，且可基於用戶端之內部時鐘對彼等查詢指紋加時間戳記，且運算系統可接收彼等帶時間戳記之查詢指紋以供分析。另外，運算系統可被佈建有已知媒體串流(例如已知廣告莢序列)之圖框之參考指紋，其基於基準時間或沿著已知媒體串流內之時刻表定義之「真實時間」加時間戳記。因此，運算系統可比較帶時間戳記之查詢指紋與帶時戳記之參考指紋，並且在發現指紋匹配時可得出匹配查詢指紋之時間戳記與匹配參考指紋之時間戳記對應的結論。
建立介於匹配之查詢及參考指紋之時間戳記之間的此相關性可構成所建立介於用戶端時間與真實時間之間的「同步鎖」或時間映射。舉例而言，匹配查詢指紋與匹配參考指紋之時間戳記之間的差可定義已知媒體串流內之真實時間與用戶端接收媒體串流時之用戶端時間之間的時間偏移。假設瞭解已知媒體串流內之圖框之真實時間點，運算系統可因此使用建立之同步鎖來判定正由用戶端接收之媒體串流中之同一圖框之相關聯之用戶端時間點。舉例而言，運算系統可應用真實時間與用戶端時間之間的時間偏移，以便判定與給定真實時間點對應之用戶端時間點。
繼續上文之廣告莢實例，運算系統可因此使用建立之同步鎖將真實時間值TA3 映射至標示用戶端應替換正由用戶端接收之媒體串流中之廣告A3之用戶端時間點(例如，用戶端應開始廣告替換之用戶端時間點)的用戶端時間值。並且，用戶端可接著執行在彼判定之用戶端時間點之廣告A3之替換。
然而，此程序可出現之技術問題係，用戶端無法以足以促進查詢指紋與參考指紋之間的高信賴度指紋匹配之速度產生查詢指紋。具體言之，為了幫助節約用戶端處之有限處理能力、記憶體及/或其他資源，用戶端可配置成以相對較低之圖框速率產生指紋，該圖框速率可遠低於用戶端正接收之媒體串流之圖框速率。因此，偵測到之指紋匹配可能係不準確的，建立之同步鎖可能係不準確的，且用戶端可能在媒體串流中之錯誤點有可能過早或過遲地結束執行所要之內容修訂。
例如，在視訊具有每秒30圖框的情況下，用戶端可設定成例如每秒2圖框之低圖框速率產生查詢指紋。但以彼低速率執行指紋匹配可能會導致低信賴度指紋匹配。出現此情況之一個原因係，媒體串流可包括相同或幾乎相同的圖框之各種子序列，其與媒體序列中媒體內容在一段時間內根本不改變之部分對應。因此，以低速率產生的查詢指紋中之一些可匹配多個參考指紋，從而導致低信賴度匹配。
揭示一種幫助解決此技術問題之機制。
根據本發明，用戶端將通常以相對較低之速率(例如，在上述實例中每秒2圖框)建立查詢指紋，且運算系統將使用彼等低速率查詢指紋作為與已知媒體串流之參考指紋比較的基礎，以便初始地判定正由用戶端接收之媒體串流係已知媒體串流，即，識別正由用戶端接收之媒體串流。
在由此判定用戶端正接收已知媒體串流後，運算系統就將接著使用戶端增大其查詢指紋產生速率，即，自以相對較低之速率產生查詢指紋切換至以相對較高之速率(例如，在上述實例中每秒16或30圖框)產生查詢指紋。並且，運算系統將接著使用高速率查詢指紋作為與已知媒體串流之參考指紋比較的基礎，以便建立具有相對較高之信賴度之同步鎖。運算系統將接著使用建立之同步鎖作為使用戶端在正由用戶端接收之媒體串流中之特定點執行內容修訂的基礎。
在代表性實施方案中，運算系統可接收表示正由用戶端接收之媒體串流之查詢指紋，其中查詢指紋由用戶端以第一圖框速率產生(「低速率查詢指紋」)。當運算系統接收由用戶端產生的低速率查詢指紋時，運算系統將比較低速率查詢指紋與表示已知媒體串流之參考指紋。並且，基於該比較，運算系統將偵測一或多個第一匹配，其指示正由用戶端接收之媒體串流係已知媒體串流。
回應於偵測到一或多個匹配，運算系統將接著使用戶端自以第一圖框速率產生查詢指紋轉換至以高於第一圖框速率之第二圖框速率產生查詢指紋(「高速率查詢指紋」)，且運算系統將接收由用戶端產生的高速率查詢指紋，其中每一高速率查詢指紋具有根據用戶端之時鐘之各別查詢指紋時間戳記。
當運算系統接收由用戶端產生的高速率查詢指紋時，運算系統將接著進一步比較高速率查詢指紋與表示已知媒體串流之參考指紋。並且，基於此進一步比較，運算系統將偵測一或多個第二匹配，每一第二匹配具有查詢指紋時間戳記中之相關聯之一個查詢指紋時間戳記。
運算系統將接著基於與每一第二匹配相關聯之查詢指紋時間戳記來判定用戶端應執行正由用戶端接收之媒體串流中之內容修訂之時間，該時間根據用戶端之內部時鐘定義。並且，運算系統將使用戶端在判定之時間執行內容修訂。
一般技術者藉由適當地參考附圖閱讀以下詳細描述將明白此等以及其他態樣、優點及替代方案。另外，應理解，本發明內容及下文中提供之描述意圖僅以實例而非以限制來說明本發明。
相關申請案之交叉參考
本申請案主張2018年10月22日申請之美國專利申請案第16/166,948號及2018年7月16日申請之美國臨時專利申請案第62/698,629號的優先權，該等申請案中之每一者之全部內容在此以引用之方式併入。
本申請案亦與2018年10月22日申請之美國專利申請案第16/166,561號有關，該申請案之全部內容在此以引用之方式併入。
參考圖式，圖1係可應用各種所揭示之原理之實例系統的簡化方塊圖。然而，應理解，本文中所描述之此配置及程序以及其他配置及程序可採取各種其他形式。舉例而言，元件及操作可重新排序、分佈、複製、組合、省略、新增或以其他方式修改。此外，應理解，本文中描述為由一或多個實體執行之操作可由彼等實體及/或代表彼等實體經由硬體、韌體及/或軟體實施，例如藉由一或多個處理單元執行程式指令等來實施。
如圖1所示，實例系統包括經組態以自媒體源14即時接收媒體串流之媒體用戶端12。
實務上，媒體用戶端12可組態成如上文所描述那樣操作，以自媒體源14接收表示媒體內容(例如視訊及/或音訊內容)之類比或數位媒體串流，且輸出媒體內容及/或轉發該串流以用於在例如顯示螢幕及/或音訊揚聲器之使用者介面上呈現該內容。媒體用戶端可採取上文描述之形式中之任一者，且存在其他可能性。
媒體源14亦可採取各種形式，可能取決於媒體用戶端12之形式。舉例而言，若媒體用戶端12係電視，則媒體源14可以係本機機上盒(例如，有線或衛星接收器)或串流媒體伺服器，組態成輸出選定媒體串流以供電視呈現，或者媒體源14可以係廣播電視台等，且存在其他可能性。並且若媒體用戶端係電腦，則媒體源可包含網際網路串流媒體伺服器或其他媒體提供商。替代地，媒體源14可為與媒體用戶端12整合及/或可由媒體用戶端12本機存取之資料儲存體，其中媒體用戶端自資料儲存體接收(例如，擷取)媒體串流以供播出。其他實例亦係可能的。
如圖1中進一步展示，媒體用戶端12可藉由網路(例如，網際網路或私用網路) 16與網路伺服器18通信，該網路伺服器18可以與亦可以不與媒體源14相關聯及/或整合。
在實例實施方案中，媒體用戶端12及網路伺服器18可參與資料通信以促進實行操作，例如上文提到之彼等操作。舉例而言，代表性運算系統之態樣可由伺服器18實施，該伺服器18與用戶端12相互操作以建立同步鎖，以便應用該同步鎖來判定用戶端應執行內容修訂之用戶端時間點，且以便使用戶端在判定之用戶端時間點執行內容修訂。另外或替代地，代表性運算系統之態樣可由用戶端12實施，該用戶端12與伺服器18相互操作以進行類似操作。
如上文所提及，當例如用戶端12之媒體用戶端正接收媒體串流時，用戶端修訂串流之內容之一部分以便替換或補充串流之內容之片段可以係有用的。另外，如上文所提及，可能需要用戶端在媒體串流內之特定時間點這樣做。舉例而言，若串流定義例如視訊圖框及/或音訊圖框等圖框之序列，則可能需要用戶端執行開始於序列之特定圖框之修訂。
為了促進此內容修訂，如上文所指示，運算系統可首先識別正由用戶端接收之媒體串流。舉例而言，運算系統可首先判定正由用戶端接收之媒體串流係含有應修訂之特定內容之媒體串流。在識別出媒體串流後，運算系統就可接著判定媒體串流中用戶端應執行內容修訂之特定點，且可使用戶端在該判定之點執行內容修訂。
識別正由用戶端12接收之媒體串流之一個方式係使用戶端(或附屬裝置)產生表示正由用戶端接收之媒體內容之數位指紋資料，並使伺服器18比較該指紋資料與表示已知媒體串流之媒體內容之參考指紋資料，其中一或多個指紋匹配指示用戶端正接收已知媒體串流。
在實例實施方案中，伺服器18或另一此類實體可建立或另外能夠存取表示已知媒體串流之參考指紋資料。舉例而言，伺服器18可建立或被佈建有表示已知媒體串流之圖框之參考數位指紋序列。伺服器或另一實體可藉由以下方式建立此等參考指紋：以程式化方式分析已知媒體串流之圖框，接收已知媒體串流之複本作為輸入，以及應用現在已知或以後開發之任何媒體指紋辨識程序或演算法來產生參考指紋。
可按相對較高之粒度級別產生此等參考指紋以促進指紋匹配。例如，可針對已知媒體串流之每一圖框分別建立參考指紋。對於包含每秒30圖框下之視訊之媒體串流，序列可因此包括以每秒30圖框之速率或以另一合理之高速率產生的參考視訊指紋作為高速率參考指紋。
另外，即時地，在用戶端12接收媒體串流時，用戶端可產生表示其正接收之串流之媒體內容之查詢指紋資料，並且可將查詢指紋資料傳輸至伺服器18以供分析。用戶端可使用應用於建立參考指紋之相同指紋辨識程序或演算法來建立此等查詢指紋，以促進指紋比較。然而，如上文所提及，歸因於在用戶端處之資源限制(例如，對處理能力、記憶體及網路速度之限制)或出於其他原因，鑒於此查詢指紋產生可以係用於用戶端之進行中之程序，用戶端可經組態成以相對較低之速率產生此等查詢指紋。舉例而言，對於包含視訊之媒體串流，用戶端可經組態成僅以每秒2圖框之速率產生此等查詢指紋，且用戶端可每隔1.5秒左右將產生的查詢指紋傳輸至伺服器。其他實例亦係可能的。
當伺服器自用戶端接收此查詢指紋資料時，伺服器可比較查詢指紋資料與已知媒體串流之參考指紋資料。並且，若伺服器由此有足夠之信賴度判定查詢指紋資料匹配參考指紋資料，則該伺服器可推斷正由用戶端接收之媒體串流係已知媒體串流(即，已知媒體串流之複本)。
伺服器可以每圖框為基礎進行此指紋比較。考慮視訊內容，舉例而言，伺服器可以每視訊圖框為基礎進行分析，將圖框之查詢指紋與圖框之參考指紋進行比較。取決於指紋之結構，比較程序可採取多種形式中之任一者。例如，該比較可涉及運算指紋之間的最大偏差，並判定該最大偏差是否在預定義容差內。另外，若指紋為二進位的，則此可為布林判定，或者可涉及運算漢明距離(作為指紋中之各別位元位置之間的失配之計數)。並且，若指紋係更複雜之值，例如小數值或向量(例如，每視訊圖框區之灰度值)，則此可涉及判定值或向量之間的距離。許多其他實例亦係可能的。
此外，伺服器可以所要容差位準進行此指紋比較程序。舉例而言，該比較可以係粗略的，對於指紋之間的差異具有相對較高之容差，例如具有對於較大數目差異之容差及/或對於較大尺寸差異之容差。舉例而言，當將兩個32位元指紋彼此比較時，粗略比較可認為指紋彼此大體匹配，即使兩個位元或另一指定數目之位元並不匹配。或者比較可以更加精細，對於此類差異具有較低容差，及/或比較聚焦於可能表示基本媒體之特定部分之特定指紋分量。
藉由由用戶端產生的查詢指紋與已知媒體串流之參考指紋的此比較，伺服器可藉此發現一或多個匹配。舉例而言，伺服器可發現一或多個其中正由用戶端接收之媒體串流之圖框之查詢指紋匹配已知媒體串流之圖框之各別參考指紋的情況。此匹配可因此達成或支援以下結論：正由用戶端接收之媒體串流係已知媒體串流。
在識別出正由用戶端接收之媒體串流後，伺服器可接著判定媒體串流中用戶端應執行內容修訂之點。舉例而言，在代表性實施方案中，伺服器能夠存取指示已知媒體串流中內容修訂將發生之點及指示在彼點將發生什麼內容修訂之參考資料。例如，參考資料可識別已知媒體串流中內容修訂將要開始之特定圖框。因此，伺服器可以參考參考資料來判定該所要之內容修訂點。
伺服器可接著傳輸使用戶端在媒體串流中之判定點執行內容修訂之指令給用戶端。舉例而言，伺服器可藉由網路16將指定媒體串流中之判定點及提供替換或覆疊媒體給用戶端或另外關於用戶端在媒體串流中之彼點應執行什麼內容修訂指導用戶端的訊息傳輸至用戶端。並且，用戶端可組態以接收及解譯該指令且回應性地在媒體串流中之指示之點執行內容修訂。
在此程序中，伺服器可瞭解用戶端應在媒體串流中執行內容修訂之特定時間點。舉例而言，可由伺服器存取之參考資料可將此時間點指定為在已知媒體串流內之時刻表中(即，在如上所述之「真實時間」內)量測之特定時間。例如，如上文所提到，此時刻表可開始於在已知媒體串流開始時之原點時間(例如，T = 0)，且已知媒體串流之每一圖框可出現於彼時刻表上之特定時間點。因此，伺服器可根據參考資料判定用戶端應在媒體串流中執行內容修訂之真實時間點。
然而，用戶端之時間參考可不同。如上所指出，用戶端之時間參考可為根據用戶端中之內部時鐘定義之「用戶端時間」。儘管用戶端時間及真實時間可最佳地以彼此相同的速率執行，但它們之原點有可能係不同的。因此，僅僅知曉已知媒體串流中之真實時間點無法自身提供用戶端時間中之上下文。結果，如上所指出之問題係伺服器可如何以用戶端可以理解之方式特性化媒體串流中用戶端將開始執行內容修訂之時間點。
解決如上文所表明之此問題之一個方式係使伺服器將匹配查詢指紋之由用戶端提供之時間戳記用作供伺服器判定用於媒體串流之用戶端之時間參考的方式，然後使伺服器將該用戶端時間參考用作特性化媒體串流中用戶端將開始內容修訂之時間點的基礎。
為了促進此操作，當用戶端產生其查詢指紋時，用戶端可基於用戶端之內部時鐘對每一查詢指紋加時間戳記。因此，用戶端傳輸至伺服器以供分析之查詢指紋可為帶時間戳記之查詢指紋。另外，伺服器可被佈建有或以其他方式能夠存取已知媒體串流圖框之帶時間戳記之參考指紋。舉例而言，伺服器可被佈建有針對已知媒體串流之每一圖框指定以下各者之參考資料：(i)該圖框之參考指紋，及(ii)在該已知媒體串流內之相關聯之真實時間時間戳記。
當伺服器自用戶端接收帶時間戳記之查詢指紋時，伺服器可比較查詢指紋與參考指紋以偵測匹配點，即，查詢指紋匹配參考指紋之時刻。當伺服器偵測到一或多個此類匹配點時，伺服器將針對每一偵測到之匹配點知曉以下兩者：(i)匹配點之真實時間時間戳記，及(ii)匹配點之用戶端時間時間戳記。
因而，伺服器將有效建立真實時間與用戶端時間之間的同步鎖。即，伺服器將有效建立以下兩者之間的映射：(i)媒體串流內之真實時間時間戳記與(ii)根據用戶端之內部時鐘之用戶端時間，因為伺服器現在將知道匹配圖框在媒體串流中何處，以及在該媒體串流中之該時間點，用戶端之時間係什麼。如上所論述，此同步鎖可構成時間偏移，使得伺服器可將時間偏移應用至媒體串流中之給定真實時間點以判定媒體串流中對應之用戶端時間點。
在已發現媒體串流中之此匹配點後且在建立同步鎖後，伺服器可運算用戶端將執行媒體串流中之內容修訂之用戶端時間點，即，用戶端將開始媒體串流中之內容之用戶端時間點。例如，給定內容修訂將發生之真實時間點之參考資料指示，伺服器可應用由同步鎖定義之偏移，以判定內容修訂將發生之相關聯之用戶端時間點。或者，伺服器可運算在已知媒體串流內自匹配點之真實時間點至內容修訂將開始之圖框之時間的持續時間，且伺服器可接著將彼運算出之持續時間新增至匹配點之用戶端時間點上，以便判定內容修訂將開始之相關聯之用戶端時間點。其他實例亦係可能的。
伺服器可接著將此判定之用戶端時間點之說明傳輸至用戶端，伴有用於用戶端執行開始於此用戶端時間點之內容修訂之指令。並且，若用戶端尚未被佈建有關於當時開始執行之內容修訂之資訊，則伺服器亦可將該內容修訂資訊傳輸至用戶端。舉例而言，伺服器可自資料儲存體擷取並傳輸供用戶端取代媒體串流中正由用戶端接收之內容之某些替換內容給用戶端。或者，伺服器可將對此替換內容之指標傳輸至用戶端，例如，用戶端可獲得之替換內容所來自之網路或本機儲存位址。
用戶端可因此接收來自伺服器的在所指示之用戶端時間點開始內容修訂之指令。並且，若用戶端尚未被佈建有定義在彼用戶端時間點執行之修訂之資料，則用戶端可接收該資料，例如，自伺服器或自由伺服器指定之位址接收。藉由參考用戶端之內部時鐘，用戶端可接著致力於在所指示之用戶端時間點準確性地開始內容修訂。舉例而言，在所指示之用戶端時間點，用戶端可開始用替換內容之圖框取代正由用戶端接收之媒體串流之圖框，或在正由用戶端接收之媒體串流之圖框上覆疊補充內容，且存在其他可能性。
然而，如上所指出，若用戶端以相對較低之速率產生其查詢指紋(例如，如上所論述，以每秒2圖框產生視訊指紋)，則在此程序中可出現另一問題。提供以此低速率產生的查詢指紋給伺服器可使伺服器難以確信地識別媒體串流中之匹配點，及/或可導致低信賴度同步鎖。如上所指出，出現此困難之一個原因係，該媒體串流可包括相同或幾乎相同圖框之各種子序列，其與媒體序列中媒體內容在一段時間上根本不改變之部分對應。因此，以低速率產生的查詢指紋中之一些可匹配多個參考指紋，從而最多產生低信賴度匹配及低信賴度同步鎖。
此問題之解決方案可能係使用戶端以高得多之速率，例如以每秒16圖框或有可能甚至每秒30圖框之速率，產生其查詢指紋。在用戶端以更高速率產生其查詢指紋的情況下，伺服器可建立介於查詢指紋與參考指紋之間的一或多個更高信賴度匹配。舉例而言，若伺服器偵測到查詢指紋匹配兩個順序參考指紋，則伺服器可以不明確為由捨棄彼等匹配，並且可等待查詢指紋僅匹配單一參考指紋之匹配。或者，若伺服器偵測到查詢指紋及參考指紋之兩個順序對之間的相同匹配，則伺服器可以不明確為由捨棄匹配，並且可同樣地等待更多唯一匹配。
然而，不利的是，如上文所提及，用戶端處之資源限制可能使用戶端難以在處於進行中時以此高速率產生指紋。
根據本發明，改良之解決方案係使用戶端使用此等指紋產生速率之混合物。用戶端可通常以低速率(例如，每秒2圖框)產生查詢指紋，以幫助節約資源。並且，伺服器可基於彼等低速率查詢指紋進行其指紋分析以判定用戶端正接收已知媒體串流，如上文所論述。一旦伺服器由此判定用戶端正接收已知媒體串流時，且假設伺服器知曉應隨後在媒體串流中之特定點執行內容修訂，伺服器就可接著指導用戶端增大用戶端之指紋產生速率，以使伺服器能夠進行更精細之指紋比較。舉例而言，伺服器可指導用戶端自以每秒2圖框產生查詢指紋切換至以每秒16圖框或甚至每秒30圖框產生查詢指紋，且將彼等高速率查詢指紋提供至伺服器。
在已基於低速率查詢指紋識別出正由用戶端接收之媒體串流後，伺服器可接著使用高速率查詢指紋進行更精細之分析，以便以圖框準確為基礎或至少以高得多之信賴度級別偵測匹配點，並實現具有更高信賴度之同步鎖。
在此程序之實例實施方案中，伺服器發送至用戶端之指紋速率改變指令可使用戶端開始在後續用戶端時間使用增大之指紋速率，該後續用戶端時間係遠早於將開始內容修訂(例如，下一個發生之內容修訂)之時間之臨限值。此可能在以下情況中有幫助：其中在將開始內容修訂之時間之前將自偵測到之匹配點開始經過大量時間量，且其中伺服器將有可能不需要該大量時間來使用高速率查詢指紋確信地偵測匹配點。
舉例而言，基於歷史資料，伺服器或另一實體可判定在代表性用戶端(有可能係所討論之用戶端)開始以增大之速率產生查詢指紋後伺服器確信地偵測已知媒體串流中之匹配點通常所耗費之時間。伺服器接著可將該時間量加上考慮到分析中之低信賴度之預定義安全持續時間視為用戶端增大其查詢指紋產生速率之臨限值提前持續時間。替代地，伺服器可以其他方式判定或被預佈建有此臨限值提前持續時間值。
伺服器可接著組態其速率改變指令，以使用戶端在用戶端時間自低速率指紋辨識切換至高速率指紋辨識，該用戶端時間係將開始內容修訂之前的該臨限值提前持續時間。伺服器可基於上文所描述之低信賴度同步鎖運算此提前用戶端時間。即，藉由基於用戶端之低速率查詢指紋建立同步鎖，伺服器可估計將發生內容修訂之用戶端時間點。並且，伺服器可接著自該估計之用戶端時間點減去臨限值提前持續時間以運算提前用戶端時間點，其係將開始內容修訂之前的臨限值提前持續時間。
伺服器可以不同方式組態其速率改變指令以使用戶端在判定之提前用戶端時間點切換至高速率指紋辨識。例如，伺服器在提前用戶端時間點提供指令給用戶端，以使用戶端緊接著增大其指紋產生速率。替代地，伺服器可在其給用戶端之指令中包括提前用戶端時間點之說明，以使用戶端在提前用戶端時間達到時增大其指紋產生速率。另外，用戶端可對應地組態成藉由切換至如所指示之高速率指紋來對此類指令作出回應。其他實例亦係可能的。
一旦伺服器以圖框準確為基礎或以其他方式以更高信賴度使用用戶端之高速率查詢指紋偵測匹配點後，伺服器就可接著建立具有更高信賴度之同步鎖，如上文所論述。即，基於與偵測到之匹配點相關聯之查詢指紋時間戳記，且基於將開始內容修訂之時間之前的運算出之持續時間，伺服器可以更高信賴度運算將開始內容修訂之用戶端時間點。伺服器可接著傳輸用戶端在運算出之用戶端時間點開始內容修訂之指令給用戶端。並且，用戶端可因此接收指令且在所指示之用戶端時間點達到時回應性地開始內容修訂。
作為此程序之非限制性實例，考慮定義可出現在電視廣播內之廣告莢之媒體串流。如上所指出，廣告莢將包含廣告序列，例如電視商業廣告之序列，且廣告莢可出現在正由用戶端接收之例如線性廣播饋送之線性媒體饋送中之任何給定時間。
實際上，可佈建表示廣告莢之圖框及與廣告莢之圖框對應之帶時間戳記之參考指紋給伺服器，其中時間戳記係沿著廣告莢內定義之時刻表之點(作為真實時間)。另外，伺服器可被佈建有廣告莢中之廣告中之特定一者應被替換的指示、及彼廣告替換應開始之圖框之時間戳記。
以進行中為基礎，或回應於一或多個其他觸發，當用戶端在接收媒體饋送時，用戶端可能正在產生廣播饋送之低速率之帶時間戳記之查詢指紋(例如，以每秒2圖框)，且可能正向伺服器報告彼等帶時間戳記之查詢指紋以供分析。藉由將每一此查詢指紋與表示廣告莢序列之圖框之參考指紋比較，伺服器可由此偵測到用戶端正在接收已知之廣告莢序列。
在判定用戶端正接收廣告莢序列後，伺服器可接著回應性地傳輸用戶端切換至高速率指紋辨識之指令給用戶端，以便自以每秒2圖框產生查詢指紋切換至代替地以每秒16或30圖框產生查詢指紋，此有可能指定用戶端應執行如上文所論述之此速率切換之提前用戶端時間點。並且，用戶端可回應性地執行速率切換且開始傳輸其高速率之帶時間戳記之查詢指紋給伺服器以供分析。
以上文所描述之方式使用高速率查詢指紋，伺服器可由此偵測廣告莢序列中之一或多個匹配點，且具有高信賴度級別。基於如上文所論述之偵測到之匹配點，伺服器可接著建立相對較高之信賴度同步鎖，其定義真實時間至用戶端時間之映射。並且，伺服器可接著將建立之同步鎖用作將廣告替換將開始之圖框之真實時間點轉換成用戶端應開始廣告替換之對應用戶端時間點的基礎。
伺服器可接著將在該判定之用戶端時間點開始廣告替換之指令傳輸至用戶端，且若用戶端已不被佈建有該資訊，則可將替換廣告(或替換廣告之指標)傳輸至用戶端。並且，用戶端可接著在所指示之用戶端時間點相應地執行廣告替換。
在代表性實施方案中，在用戶端執行指示之內容修訂例如廣告替換之後，用戶端可自動恢復至產生低速率查詢指紋。舉例而言，若用戶端已自以每秒2圖框產生查詢指紋切換至以每秒16或30圖框產生查詢指紋，則用戶端可接著恢復以每秒2圖框產生查詢指紋。且可視需要重複程序。
上文描述為由伺服器執行之操作中之某些操作可替代地由如上文所提及之用戶端或就此而言由另一裝置進行。
舉例而言，儘管以上論述所描述之伺服器致力於建立同步鎖且由此判定將發生內容修訂之用戶端時間點，但用戶端可組態成自身進行彼等操作中之一些。
舉例而言，一旦伺服器判定用戶端正接收已知媒體串流，用戶端就可進行該程序以建立介於(i)媒體串流中之真實時間時間戳記與(ii)根據用戶端之內部時鐘之時間之間的同步鎖，並判定將發生內容修訂之用戶端時間點。在實例實施方案中，為了促進此情況，除了指導用戶端切換至高速率指紋辨識之外，伺服器亦可為用戶端提供用於媒體串流之即將到來之部分的一組帶真實時間時間戳記之參考指紋，且可向用戶端通知用於媒體串流內將開始內容修訂之圖框之真實時間時間戳記。
用戶端可因此接收來自伺服器的彼等帶時間戳記之參考指紋且可進一步開始產生高速率查詢指紋。且用戶端可比較其高速率查詢指紋與提供之參考指紋，試圖找出具有相對較高之信賴度之一或多個匹配點。當用戶端已由此偵測到一或多個匹配點時，用戶端將知道(i)匹配點之真實時間時間戳記及(ii)匹配點之用戶端時間點。因此，用戶端自身將已在(i)媒體串流內之真實時間時間戳記與(ii)根據用戶端之內部時鐘之時間之間有效地建立同步鎖，因為用戶端現將知道匹配圖框在媒體串流中何處，以及在該媒體串流中之該時間點，用戶端之時間係什麼。
在發現媒體串流中之此匹配點且建立同步鎖後，用戶端可接著在將發生內容修訂時容易地運算用戶端時間點。舉例而言，給定內容修訂將開始之真實時間點之由伺服器提供之指示，用戶端可應用由同步鎖定義之偏移，以判定內容修訂將發生之相關聯之用戶端時間點。或者，用戶端可運算在媒體串流內自匹配點之真實時間點至所指示之內容修訂將開始之真實時間點的持續時間，且用戶端可將彼運算出之持續時間新增至匹配點之用戶端時間點上，以便判定內容修訂將開始之相關聯之用戶端時間點。用戶端可接著致力於在運算出之用戶端時間點準確性地開始內容修訂。
在此替代實施方案中，伺服器可為用戶端提供媒體串流之即將出現之部分之高速率參考指紋，以促進用戶端進行之其高速率查詢指紋與彼等高速率參考指紋之比較。替代地，有可能取決於資源約束條件，伺服器可為用戶端提供低速率參考指紋，以便用戶端與用戶端之高速率查詢指紋比較。用戶端可接著判定最匹配低速率參考指紋中之一或多者之一或多個高速率查詢指紋，以幫助增強判定之匹配點之圖框準確度且增大同步鎖之信賴度。
亦應注意，以上程序可關於正由用戶端接收之線性廣播饋送等之即時分析來應用(例如，用於目前播出及/或儲存)，並且可亦關於正由用戶端自資料儲存體等擷取之媒體串流之分析來應用(例如，用於目前播出或轉移)。其他實施方案亦係可能的。
圖2係描繪可由運算系統依據以上論述進行之方法的流程圖。儘管方法之操作在此圖中描繪為以特定序列進行，但該等操作中之一些可與其他操作並行地進行，並且其他修改亦係可能的。
如圖2所示，在區塊20處，運算系統接收表示正由用戶端接收之媒體串流之查詢指紋，該等查詢指紋由用戶端以一圖框速率產生。在區塊22處，運算系統判定正由用戶端接收之媒體串流係已知媒體串流，其中該判定係基於運算系統進行的(i)以該圖框速率產生的查詢指紋與(ii)表示已知媒體串流之參考指紋之比較。且在區塊24處，回應於該判定，運算系統使用戶端增大圖框速率，用戶端以該圖框速率產生正由運算系統接收之查詢指紋。
在區塊26處，運算系統接著將以增大之圖框速率產生的查詢指紋用作建立介於(i)沿著已知媒體串流內之時刻表定義之真實時間與(ii)根據用戶端之時鐘定義之用戶端時間之間的同步鎖的基礎。且在區塊28處，運算系統將建立之同步鎖用作判定用戶端應在正由用戶端接收之媒體串流中執行內容修訂之用戶端時間點的基礎。在區塊30處，運算系統接著使用戶端在判定之用戶端時間點執行內容修訂。
如上文所論述，此類運算系統可由與用戶端進行網路通信之伺服器實施。在此情況下，使用戶端增大用戶端產生正由運算系統接收之查詢指紋之圖框速率的動作可能涉及傳輸指令給用戶端，該用戶端組態成藉由增大用戶端產生正由運算系統接收之查詢指紋之圖框速率來對該指令作出回應。另外，使用戶端在判定之用戶端時間點執行內容修訂可能涉及傳輸指示判定之用戶端時間點之內容修訂指令給用戶端。
如上文進一步論述，將以增大之圖框速率產生的查詢指紋用作建立介於真實時間與用戶端時間之間的同步鎖的基礎的動作可涉及(a)比較以增大之圖框速率產生的查詢指紋與已知媒體串流之參考指紋，例如與已知媒體串流之其他參考指紋，(b)基於以增大之圖框速率產生的查詢指紋與已知媒體串流之參考指紋之比較，識別定義查詢指紋與參考指紋之間的匹配之至少一個匹配點，以及(c)基於查詢指紋之用戶端時間時間戳記與參考指紋之真實時間時間戳記之間的映射建立同步鎖。
此外，如上文所論述，將建立之同步鎖用作判定用戶端應在正由用戶端接收之媒體串流中執行內容修訂之用戶端時間點的基礎的動作可涉及將建立之同步鎖用作將應在已知媒體串流中執行內容修訂之預定義真實時間點映射至用戶端應在正由用戶端接收之媒體串流中執行內容修訂之對應用戶端時間點的基礎。
另外，如上文所論述，所討論之內容修訂可包含內容替換。舉例而言，正由用戶端接收之媒體串流可包含定義廣告序列之廣告莢，且內容修訂可涉及用替換媒體內容替換序列中之廣告。此外，如上文所提及，方法亦可包含佈建用戶端將用來取代為正由用戶端接收之媒體串流之替換內容給用戶端。
圖3係描繪可由用戶端或一或多個其他實體根據本發明實行之方法的另一流程圖。此處同樣，儘管方法之操作描繪為以特定序列進行，但該等操作中之一些可與其他操作並行地進行，並且其他修改亦係可能的。
如圖3所示，在區塊32處，方法包括產生表示正由用戶端接收之媒體串流之查詢指紋，該等查詢指紋以一圖框速率產生。在區塊34處，方法包括提供產生的查詢指紋以用於基於與表示已知媒體串流之參考指紋之比較來識別正由用戶端接收之媒體串流。且在區塊36處，方法包括在識別出正由用戶端接收之媒體串流之後，增大產生查詢指紋之圖框速率。
在區塊38處，方法接著包括提供以增大之圖框速率產生的查詢指紋，以用於建立介於(i)沿著已知媒體串流內之時刻表定義之真實時間與(ii)根據用戶端之時鐘定義之用戶端時間之間的同步鎖。且在區塊40處，方法包括在特定用戶端時間點執行正由用戶端接收之媒體串流之內容修訂，其中該特定用戶端時間點係基於建立之同步鎖判定的。
根據上文之論述，提供產生的查詢指紋以用於基於與表示已知媒體串流之參考指紋之比較來識別正由用戶端接收之媒體串流的動作可涉及將產生的查詢指紋傳輸至伺服器，以供伺服器用於基於與表示已知媒體串流之參考指紋之比較來識別正由用戶端接收之媒體串流。反過來，在識別出正由用戶端接收之媒體串流之後增大產生查詢指紋之圖框速率的動作可涉及在伺服器已識別出正由用戶端接收之媒體串流之後，接收來自伺服器的增大產生查詢指紋之圖框速率之指令，並且回應性地(回應於指令)增大產生查詢指紋之圖框速率。
另外，如上文所論述，提供以增大之圖框速率產生的查詢指紋以用於建立介於真實時間與用戶端時間之間的同步鎖的動作可涉及傳輸以增大之圖框速率產生的查詢指紋給伺服器，以供伺服器用於建立同步鎖。且在基於建立之同步鎖而判定之特定用戶端時間點執行正由用戶端接收之媒體串流之內容修訂的動作可涉及(a)由用戶端接收來自伺服器的內容修訂指令，該內容修訂指令指導用戶端在基於建立之同步鎖而判定之特定用戶端時間點修訂媒體串流，且(b)由用戶端在特定用戶端時間點進行媒體串流之修訂。
此外，提供以增大之圖框速率產生的查詢指紋以用於建立介於真實時間與用戶端時間之間的同步鎖的動作可涉及包含提供查詢指紋給用戶端處之程式模組，以供用戶端處之程式模組用於建立同步鎖。舉例而言，用戶端可被佈建有程式邏輯，該程式邏輯包括程式模組，該程式模組將用於基於以增大之圖框速率產生的查詢指紋建立同步鎖，因此彼等查詢指紋可被提供至該模組，以促進同步鎖之建立。
另外，如上文所論述，方法可另外包括將以增大之圖框速率產生的查詢指紋用作建立介於真實時間與用戶端時間之間的同步鎖的基礎。舉例而言，方法可包括(i)比較以增大之圖框速率產生的查詢指紋與已知媒體串流之參考指紋，(ii)基於以增大之圖框速率產生的查詢指紋與已知媒體串流之參考指紋之比較，識別定義查詢指紋與參考指紋之間的匹配之至少一個匹配點，以及(iii)基於查詢指紋之用戶端時間時間戳記與參考指紋之真實時間時間戳記之間的映射建立同步鎖。
在實例實施方案中，如上文另外論述，同步鎖之建立可由用戶端實行。且為了促進這樣做，方法可另外包括由用戶端接收已知媒體串流之參考指紋，使得用戶端可執行以增大之速率產生的查詢指紋與已知媒體串流之參考指紋之比較。
圖4係可用於實行上文所描述之各種操作之實例運算系統的下一方塊圖。如上文所提及，此運算系統之態樣可由媒體用戶端12及/或伺服器18實施，且存在其他可能性。因此，圖4之方塊圖可表示一或多個此類實體之組件。
如圖4所示，實例運算系統包括網路通信介面42、處理單元44及非暫時性資料儲存體46，所有此等者可藉由網路、訊息匯流排及/或一或多個其他連接機構48耦接或以通信方式鏈接在一起。
網路通信介面42使運算系統能夠傳輸及接收。網路通信介面42可包含有線及/或無線乙太網路介面，以及相關聯之電路系統及軟體，且存在其他可能性。處理單元44可接著包含一或多個通用處理器(例如，微處理器)及/或一或多個專用處理器(例如，專用積體電路等)。並且，非暫時性資料儲存體46可包含一或多個揮發性及/或非揮發性儲存組件，例如，磁性、光學或快閃儲存體。
如圖4所示，非暫時性資料儲存體46儲存(例如，容納、被編碼有或以其他方式體現或含有)程式指令50，該等程式指令可由處理單元執行以使運算系統實行操作，例如上文所描述之彼等操作。
舉例而言，此等操作可包括識別正由媒體用戶端接收之媒體串流，其中識別包括：(i)接收媒體串流之查詢指紋，該等查詢指紋由媒體用戶端以一圖框速率產生；以及(ii)匹配接收到之查詢指紋與已知媒體串流之參考指紋。此處，若運算系統由媒體用戶端至少部分地實施，則接收查詢指紋的動作可涉及接收由媒體用戶端之指紋產生器模組(例如，將執行查詢指紋產生的媒體用戶端之程式模組)產生的查詢指紋至媒體用戶端之程式模組中。且若運算系統由伺服器至少部分地實施，則接收查詢指紋的動作可涉及接收自媒體用戶端傳輸至伺服器之查詢指紋。
另外，操作可包括回應於識別媒體串流，指導媒體用戶端增大產生查詢指紋之圖框速率。舉例而言，若運算系統由媒體用戶端至少部分地實施，則此可涉及指導媒體用戶端之指紋產生器模組增大圖框速率。且若運算系統由伺服器至少部分地實施，則此可涉及傳輸使媒體用戶端增大產生查詢指紋之圖框速率之指令給媒體用戶端。
此外，操作可包括基於由媒體用戶端以增大之圖框速率產生的查詢指紋而建立介於沿著已知媒體串流內之時刻表定義之真實時間與根據媒體用戶端之時鐘定義之用戶端時間之間的同步鎖。舉例而言，此可包括(i)接收由媒體用戶端(類似地由媒體用戶端及/或由伺服器實行)以增大之圖框速率產生的查詢指紋，(ii)偵測由媒體用戶端以增大之圖框速率產生的查詢指紋與已知媒體串流之參考指紋之間的至少一個匹配，以及(iii)使至少一個匹配之真實時間時間戳記與至少一個匹配之用戶端時間時間戳記相關。
且操作可包括將建立之同步鎖用作判定媒體用戶端應在正由媒體用戶端接收之媒體串流中執行內容修訂之用戶端時間點的基礎。舉例而言，此可包括將建立之同步鎖用作將應在已知媒體串流中執行內容修訂之預定義真實時間點映射至媒體用戶端應在正由媒體用戶端接收之媒體串流中執行內容修訂之對應用戶端時間點的基礎。
操作可接著包括使媒體用戶端在判定之用戶端時間點執行內容修訂。舉例而言，若運算系統由媒體用戶端至少部分地實施，則此可涉及指導媒體用戶端之內容修訂模組(例如，將執行內容修訂之媒體用戶端之程式模組)在判定之用戶端時間點執行內容修訂。且若運算系統由伺服器至少部分地實施，則此可涉及傳輸使媒體用戶端在判定之用戶端時間點執行內容修訂之指令給媒體用戶端。
替代地或另外，操作可包括產生表示正由用戶端接收之媒體串流之查詢指紋，其中該等查詢指紋以一圖框速率產生。另外，操作可包括提供產生的查詢指紋以用於基於與表示已知媒體串流之參考指紋之比較來識別正由用戶端接收之媒體串流。且操作可包括在識別出正由用戶端接收之媒體串流之後，增大產生查詢指紋之圖框速率。操作可接著包括提供以增大之圖框速率產生的查詢指紋，以用於建立介於(i)沿著已知媒體串流內之時刻表定義之真實時間與(ii)根據用戶端之時鐘定義之用戶端時間之間的同步鎖。且操作可包括在特定用戶端時間點執行正由用戶端接收之媒體串流之內容修訂，其中該特定用戶端時間點係基於建立之同步鎖判定的。
上文所描述之各種特徵可實施於此運算系統之上下文中，且反之亦然。舉例而言，此處同樣，內容修訂可包含內容替換，例如廣告莢中之廣告之替換，且存在其他可能性。另外，提供產生的查詢指紋以用於識別媒體串流的動作可涉及將產生的查詢指紋傳輸至伺服器以供伺服器用於識別媒體串流，且提供以增大之圖框速率產生的查詢指紋以用於建立介於真實時間與用戶端時間之間的同步鎖的動作可涉及傳輸以增大之圖框速率產生的查詢指紋給伺服器，以供伺服器用於建立同步鎖。
另外，上文所描述之各種操作可由儲存在非暫時性電腦可讀媒體上之程式指令定義，該等程式指令可由處理單元執行以實行操作。此類非暫時性電腦可讀媒體可接著在用戶端、伺服器及/或另一實體處提供、整合或以其他方式實施。另外，此類操作可採取其他形式。
舉例而言，操作可包括識別正由用戶端接收之媒體串流，其中識別包括：(i)接收媒體串流之查詢指紋，接收到之查詢指紋由用戶端以一圖框速率產生；以及(ii)匹配查詢指紋與已知媒體串流之參考指紋。另外，操作可包括回應於識別媒體串流，使得用戶端增大產生查詢指紋之圖框速率。且操作可包括基於由用戶端以增大之圖框速率產生的查詢指紋而建立介於沿著已知媒體串流內之時刻表定義之真實時間與根據用戶端之時鐘定義之用戶端時間之間的同步鎖。
操作可接著包括將建立之同步鎖用作判定用戶端應在正由用戶端接收之媒體串流中執行內容修訂之用戶端時間點的基礎。且操作可包括使用戶端在判定之用戶端時間點執行內容修訂。
替代地或另外，可由處理單元執行之操作可包括產生表示正由用戶端接收之媒體串流之查詢指紋，其中該等查詢指紋以一圖框速率產生。另外，操作可包括提供產生的查詢指紋以用於基於與表示已知媒體串流之參考指紋之比較來識別正由用戶端接收之媒體串流。且操作可包括在識別出正由用戶端接收之媒體串流之後，增大產生查詢指紋之圖框速率。操作可接著包括以提供增大之圖框速率產生的查詢指紋，以用於建立介於真實時間與用戶端時間之間的同步鎖。且操作可包括在特定用戶端時間點執行正由用戶端接收之媒體串流之內容修訂，其中該特定用戶端時間點係基於建立之同步鎖判定的。
上文所描述之各種特徵亦可實施於此上下文中，且反之亦然。
例如，在伺服器處之實施方案中，使用戶端增大產生查詢指紋之圖框速率的動作可涉及輸出指令以傳輸至用戶端，用戶端組態成藉由增大用戶端產生查詢指紋之圖框速率來對該指令作出回應，且使用戶端在判定之用戶端時間點執行內容修訂的動作可涉及輸出指示判定之用戶端時間點之內容修訂指令以傳輸至用戶端。
然而，在用戶端處之實施方案中，使用戶端增大產生查詢指紋之圖框速率的動作可涉及指導用戶端之指紋產生器模組增大圖框速率，且使用戶端在判定之用戶端時間點執行內容修訂的動作可涉及指導用戶端之內容修訂模組在判定之用戶端時間點執行內容修訂。
另外，此處同樣，正由用戶端接收之媒體串流可包含定義廣告序列之廣告莢，且內容修訂可包含用替換媒體內容替換序列中之廣告。
上文已經描述例示性實施例。然而，熟習此項技術者將理解，可在不脫離本發明之真實範疇及精神的情況下對此等實施例作出改變及修改。
12:媒體用戶端 14:媒體源 16:網路 18:網路伺服器 20:區塊 22:區塊 24:區塊 26:區塊 28:區塊 30:區塊 32:區塊 34:區塊 36:區塊 38:區塊 40:區塊 42:網路通信介面 44:處理單元 46:非暫時性資料儲存體 48:其他連接機構 50:程式指令
圖1係可實施所揭示之特徵之系統的簡化方塊圖。
圖2係描繪可根據本發明執行之操作的流程圖。
圖3係描繪可根據本發明執行之操作的另一流程圖。
圖4係描繪可根據本發明操作之運算系統之組件的簡化方塊圖。
32:區塊
34:區塊
36:區塊
38:區塊
40:區塊

Claims (20)

  1. 一種用以促進(facilitate)內容修訂之方法，其包含： 產生表示正由一用戶端接收之一媒體串流之查詢指紋，其中該等查詢指紋以一圖框速率產生； 提供該等產生的查詢指紋以用於基於與表示一已知媒體串流之參考指紋之比較來識別正由該用戶端接收之該媒體串流； 在識別出正由該用戶端接收之該媒體串流之後，增大產生該等查詢指紋之該圖框速率； 提供以該增大之圖框速率產生的該等查詢指紋，以用於建立介於(i)沿著該已知媒體串流內之一時刻表定義之真實時間與(ii)根據該用戶端之一時鐘定義之用戶端時間之間的同步鎖；以及 利用該建立之同步鎖作為一基礎，以判定該用戶端將執行正由該用戶端接收之該媒體串流之一內容修訂的一用戶端時間點。
  2. 如請求項1之方法，其由該用戶端實施。
  3. 如請求項1之方法，其中提供該等產生的查詢指紋以用於基於與表示該已知媒體串流之參考指紋之比較來識別正由該用戶端接收之該媒體串流包含：將該等產生的查詢指紋傳輸至一伺服器，以供該伺服器用於基於與表示該已知媒體串流之參考指紋之比較來識別正由該用戶端接收之該媒體串流。
  4. 如請求項3之方法，其中在識別出正由該用戶端接收之該媒體串流之後增大產生該等查詢指紋之該圖框速率包含： 在該伺服器已識別正由該用戶端接收之該媒體串流之後，接收來自該伺服器的增大產生該等查詢指紋之該圖框速率之一指令，並且回應性地增大產生該等查詢指紋之該圖框速率。
  5. 如請求項1之方法，其中提供以該增大之圖框速率產生的該等查詢指紋以用於建立介於真實時間與用戶端時間之間的同步鎖包含：傳輸以該增大之圖框速率產生的該等查詢指紋給一伺服器，以供該伺服器用於建立該同步鎖。
  6. 如請求項5之方法，其中該內容修訂包含動態廣告插入(dynamic ad insertion)。
  7. 如請求項1之方法，其中提供以該增大之圖框速率產生的該等查詢指紋以用於建立介於真實時間與用戶端時間之間的同步鎖包含：提供該等查詢指紋給該用戶端處之一程式模組，以供該用戶端處之該程式模組用於建立該同步鎖。
  8. 如請求項1之方法，其進一步包含：將以該增大之圖框速率產生的該等查詢指紋用作建立介於真實時間與用戶端時間之間的該同步鎖的一基礎。
  9. 如請求項8之方法，其中將以該增大之圖框速率產生的該等查詢指紋用作建立介於真實時間與用戶端時間之間的該同步鎖的一基礎包含： 比較以該增大之圖框速率產生的該等查詢指紋與該已知媒體串流之參考指紋； 基於以該增大之圖框速率產生的該等查詢指紋與該已知媒體串流之該等參考指紋之該比較，識別至少一個匹配點，該匹配點定義一查詢指紋與一參考指紋之間的一匹配；以及 基於該查詢指紋之一用戶端時間時間戳記與該參考指紋之一真實時間時間戳記之間的一映射建立該同步鎖。
  10. 如請求項9之方法，其由該用戶端實施，該方法進一步包含由該用戶端接收該已知媒體串流之該等參考指紋，以促進建立該同步鎖。
  11. 一種運算系統，其包含： 一處理單元； 非暫時性資料儲存體；以及 程式指令，其儲存在該非暫時性資料儲存體中且可由該處理單元執行以使該運算系統進行包括以下各項之操作： 產生表示正由一用戶端接收之一媒體串流之查詢指紋，其中該等查詢指紋以一圖框速率產生， 提供該等產生的查詢指紋以用於基於與表示一已知媒體串流之參考指紋之比較來識別正由該用戶端接收之該媒體串流， 在識別出正由該用戶端接收之該媒體串流之後，增大產生該等查詢指紋之該圖框速率， 提供以該增大之圖框速率產生的該等查詢指紋，以用於建立介於(i)沿著該已知媒體串流內之一時刻表定義之真實時間與(ii)根據該用戶端之一時鐘定義之用戶端時間之間的同步鎖，以及 利用該建立之同步鎖作為一基礎，以判定該用戶端執行正由該用戶端接收之該媒體串流之一內容修訂的一用戶端。
  12. 如請求項11之運算系統，其安置於該用戶端處。
  13. 如請求項11之運算系統，其中提供該等產生的查詢指紋以用於基於與表示一已知媒體串流之參考指紋之比較來識別正由該用戶端接收之該媒體串流包含：將該等產生的查詢指紋傳輸至一伺服器，以供該伺服器用於基於與表示該已知媒體串流之參考指紋之比較來識別正由該用戶端接收之該媒體串流。
  14. 如請求項11之運算系統，其中提供以該增大之圖框速率產生的該等查詢指紋以用於建立介於真實時間與用戶端時間之間的同步鎖包含：傳輸以該增大之圖框速率產生的該等查詢指紋給一伺服器，以供該伺服器用於建立該同步鎖。
  15. 如請求項14之運算系統，其中該內容修訂包含動態廣告插入。
  16. 如請求項11之運算系統，其中該等操作進一步包括：將以該增大之圖框速率產生的該等查詢指紋用作建立介於真實時間與用戶端時間之間的該同步鎖的一基礎。
  17. 如請求項16之運算系統，其中將以該增大之圖框速率產生的該等查詢指紋用作建立介於真實時間與用戶端時間之間的該同步鎖的一基礎包含： 比較以該增大之圖框速率產生的該等查詢指紋與該已知媒體串流之參考指紋； 基於以該增大之圖框速率產生的該等查詢指紋與該已知媒體串流之該等參考指紋之該比較，識別至少一個匹配點，該匹配點定義一查詢指紋與一參考指紋之間的一匹配；以及 基於該查詢指紋之一用戶端時間時間戳記與該參考指紋之一真實時間時間戳記之間的一映射建立該同步鎖。
  18. 如請求項17之運算系統，其安置於該用戶端處，其中該等操作進一步包含接收該已知媒體串流之該等參考指紋，以促進建立該同步鎖。
  19. 一種非暫時性電腦可讀媒體，其儲存指令，該等指令可由一處理單元執行以進行包含以下各項之操作： 產生表示正由一用戶端接收之一媒體串流之查詢指紋，其中該等查詢指紋以一圖框速率產生； 提供該等產生的查詢指紋以用於基於與表示一已知媒體串流之參考指紋之比較來識別正由該用戶端接收之該媒體串流； 在識別出正由該用戶端接收之該媒體串流之後，增大產生該等查詢指紋之該圖框速率； 提供以該增大之圖框速率產生的該等查詢指紋，以用於建立介於(i)沿著該已知媒體串流內之一時刻表定義之真實時間與(ii)根據該用戶端之一時鐘定義之用戶端時間之間的同步鎖；以及 利用該建立之同步鎖作為一基礎，以判定該用戶端執行正由該用戶端接收之該媒體串流之一內容修訂的一用戶端時間點。
  20. 如請求項19之非暫時性電腦可讀媒體，其安置於該用戶端處。
TW109146501A 2018-07-16 2019-06-28 動態控制指紋辨識速率以促進媒體內容的時間準確性修訂 TWI762117B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862698629P 2018-07-16 2018-07-16
US62/698,629 2018-07-16
US16/166,948 US10623800B2 (en) 2018-07-16 2018-10-22 Dynamic control of fingerprinting rate to facilitate time-accurate revision of media content
US16/166,948 2018-10-22

Publications (2)

Publication Number Publication Date
TW202126051A TW202126051A (zh) 2021-07-01
TWI762117B true TWI762117B (zh) 2022-04-21

Family

ID=68766124

Family Applications (5)

Application Number Title Priority Date Filing Date
TW110113406A TWI736511B (zh) 2018-07-16 2019-06-25 動態控制指紋辨識速率以促進媒體內容的時間準確性修訂
TW108122190A TWI701947B (zh) 2018-07-16 2019-06-25 動態控制指紋辨識速率以促進媒體內容的時間準確性修訂
TW109126783A TWI725906B (zh) 2018-07-16 2019-06-25 動態控制指紋辨識速率以促進媒體內容的時間準確性修訂
TW108122899A TWI716022B (zh) 2018-07-16 2019-06-28 動態控制指紋辨識速率以促進媒體內容的時間準確性修訂
TW109146501A TWI762117B (zh) 2018-07-16 2019-06-28 動態控制指紋辨識速率以促進媒體內容的時間準確性修訂

Family Applications Before (4)

Application Number Title Priority Date Filing Date
TW110113406A TWI736511B (zh) 2018-07-16 2019-06-25 動態控制指紋辨識速率以促進媒體內容的時間準確性修訂
TW108122190A TWI701947B (zh) 2018-07-16 2019-06-25 動態控制指紋辨識速率以促進媒體內容的時間準確性修訂
TW109126783A TWI725906B (zh) 2018-07-16 2019-06-25 動態控制指紋辨識速率以促進媒體內容的時間準確性修訂
TW108122899A TWI716022B (zh) 2018-07-16 2019-06-28 動態控制指紋辨識速率以促進媒體內容的時間準確性修訂

Country Status (7)

Country Link
US (6) US10623800B2 (zh)
EP (2) EP3824643B1 (zh)
JP (2) JP7053944B2 (zh)
KR (2) KR102266690B1 (zh)
CN (3) CN113038241B (zh)
TW (5) TWI736511B (zh)
WO (2) WO2020018190A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200275168A1 (en) * 2019-02-22 2020-08-27 The Nielsen Company (Us), Llc Use of Watermarking to Trigger Fingerprint-Related Action
US12028571B2 (en) 2019-05-10 2024-07-02 Roku, Inc. Content-modification system with issue detection and responsive action feature
WO2020231817A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with determination of input-buffer switching delay feature
WO2020231927A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with responsive transmission of reference fingerprint data feature
US10972794B2 (en) 2019-05-10 2021-04-06 The Nielsen Company (Us), Llc Content-modification system with transmission delay-based feature
WO2020231821A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with fingerprint data match and mismatch detection feature
US11354323B2 (en) 2019-05-10 2022-06-07 Roku, Inc. Content-modification system with geographic area-based feature
US11736742B2 (en) 2019-05-10 2023-08-22 Roku, Inc. Content-modification system with responsive transmission of reference fingerprint data feature
WO2020231815A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with fingerprint data mismatch and responsive action feature
US11134305B2 (en) 2019-05-10 2021-09-28 Roku, Inc. Content-modification system with volume level adjustment feature
US10846506B1 (en) 2019-05-10 2020-11-24 The Nielsen Company (Us), Llc Content-modification system with geographic area-based feature
US10796159B1 (en) 2019-05-10 2020-10-06 The Nielsen Company (Us), Llc Content-modification system with use of multiple fingerprint data types feature
US11418826B2 (en) 2019-06-07 2022-08-16 Roku, Inc. Content-modification system with supplemental content stitching feature
US11546647B2 (en) 2019-06-07 2023-01-03 Roku, Inc. Content-modification system with probability-based selection feature
US11336949B2 (en) 2019-06-07 2022-05-17 Roku, Inc. Content-modification system with testing and reporting feature
US11418835B2 (en) 2019-06-07 2022-08-16 Roku, Inc. Content-modification system with technical characteristic-based selection feature
CN113940086B (zh) 2019-06-07 2024-01-05 六科股份有限公司 具有广播调度利用特征的内容修改系统
US11109088B2 (en) 2019-06-07 2021-08-31 Roku, Inc. Content-modification system with unscheduling feature
WO2020247922A1 (en) 2019-06-07 2020-12-10 The Nielsen Company (Us), Llc Content-modification system with system resource request feature
US11134292B2 (en) 2019-06-07 2021-09-28 Roku, Inc. Content-modification system with overlay handling feature
US11245870B2 (en) 2019-06-18 2022-02-08 Roku, Inc. Content-modification system with determination of input-buffer switching delay feature
US11297367B2 (en) 2019-07-22 2022-04-05 Roku, Inc. Content-modification system with broadcast schedule utilization feature
US11381864B2 (en) 2019-07-22 2022-07-05 Roku, Inc. Content-modification system with broadcast schedule utilization feature
US11095944B2 (en) 2019-08-19 2021-08-17 Roku, Inc. Content-modification system with broadcast schedule utilization feature
US11233840B2 (en) 2019-09-13 2022-01-25 Roku, Inc. Use of in-band metadata as basis to access reference fingerprints to facilitate content-related action
US11363321B2 (en) * 2019-10-31 2022-06-14 Roku, Inc. Content-modification system with delay buffer feature
US11343565B2 (en) 2020-04-08 2022-05-24 Roku, Inc. Content-modification system with feature for detecting and responding to a content modification by a tuner device
US11917231B2 (en) 2020-10-29 2024-02-27 Roku, Inc. Real-time altering of supplemental content duration in view of duration of modifiable content segment, to facilitate dynamic content modification
US12028561B2 (en) 2020-10-29 2024-07-02 Roku, Inc. Advanced creation of slightly-different-duration versions of a supplemental content segment, and selection and use of an appropriate-duration version, to facilitate dynamic content modification
US11758220B2 (en) 2020-10-29 2023-09-12 Roku, Inc. Dynamic replacement of objectionable content in linear content streams
US11388473B1 (en) 2021-02-11 2022-07-12 Roku, Inc. Content-modification system with feature for controlling viewer exposure to spoilers in advertisements
US11695989B2 (en) 2021-02-11 2023-07-04 Roku, Inc. Content-modification system with user experience analysis feature
US11494803B2 (en) 2021-02-11 2022-11-08 Roku, Inc. Content modification system with viewer behavior-based content delivery selection feature
US20220264171A1 (en) * 2021-02-12 2022-08-18 Roku, Inc. Use of In-Band Data to Facilitate Ad Harvesting for Dynamic Ad Replacement
US11962870B2 (en) 2021-02-17 2024-04-16 Roku, Inc. Content-modification system with quiet content detection feature
US11979624B1 (en) * 2022-12-06 2024-05-07 Sling TV L.L.C. Correcting ad markers in media content

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101473653A (zh) * 2006-06-13 2009-07-01 皇家飞利浦电子股份有限公司 用于识别并同步视频的指纹、器件、方法
CN107851104A (zh) * 2015-04-23 2018-03-27 索伦森媒体有限公司 自动内容辨识指纹序列匹配

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030093790A1 (en) 2000-03-28 2003-05-15 Logan James D. Audio and video program recording, editing and playback systems using metadata
US20070192863A1 (en) 2005-07-01 2007-08-16 Harsh Kapoor Systems and methods for processing data flows
US20110213869A1 (en) 2000-09-25 2011-09-01 Yevgeny Korsunsky Processing data flows with a data flow processor
JP2004013440A (ja) * 2002-06-05 2004-01-15 Matsushita Electric Ind Co Ltd データ配信システム、データ配信システムにおけるデータ中継装置及びデータ中継方法、および当該データ中継方法をコンピュータに実行させるためのプログラム
US20050177847A1 (en) 2003-03-07 2005-08-11 Richard Konig Determining channel associated with video stream
US20050149968A1 (en) * 2003-03-07 2005-07-07 Richard Konig Ending advertisement insertion
US20040237102A1 (en) 2003-03-07 2004-11-25 Richard Konig Advertisement substitution
US7738704B2 (en) * 2003-03-07 2010-06-15 Technology, Patents And Licensing, Inc. Detecting known video entities utilizing fingerprints
US7627808B2 (en) 2003-06-13 2009-12-01 Microsoft Corporation Computer media synchronization player
WO2006018790A1 (en) 2004-08-12 2006-02-23 Koninklijke Philips Electronics N.V. Selection of content from a stream of video or audio data
US20090254392A1 (en) 2006-03-30 2009-10-08 Zander Van S Method and system for enterprise network access control and management for government and corporate entities
US8059646B2 (en) 2006-07-11 2011-11-15 Napo Enterprises, Llc System and method for identifying music content in a P2P real time recommendation network
US9367744B2 (en) * 2007-02-27 2016-06-14 Vobile, Inc Systems and methods of fingerprinting and identifying media contents
CN101682461A (zh) 2007-03-22 2010-03-24 尼尔森（美国）有限公司 数字版权管理和观众测量系统及方法
US20080274687A1 (en) * 2007-05-02 2008-11-06 Roberts Dale T Dynamic mixed media package
US20100225810A1 (en) 2007-07-06 2010-09-09 Ambx Uk Limited Method for synchronizing a content stream and a script for outputting one or more sensory effects in a multimedia system
US9955122B2 (en) * 2008-04-11 2018-04-24 Mobitv, Inc. Dynamic advertisement stream replacement
WO2009140819A1 (en) * 2008-05-21 2009-11-26 Yuvad Technologies Co., Ltd. A system for facilitating the search of video content
US9299364B1 (en) * 2008-06-18 2016-03-29 Gracenote, Inc. Audio content fingerprinting based on two-dimensional constant Q-factor transform representation and robust audio identification for time-aligned applications
US9313359B1 (en) 2011-04-26 2016-04-12 Gracenote, Inc. Media content identification on mobile devices
US9510044B1 (en) 2008-06-18 2016-11-29 Gracenote, Inc. TV content segmentation, categorization and identification and time-aligned applications
US9519772B2 (en) * 2008-11-26 2016-12-13 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9386356B2 (en) 2008-11-26 2016-07-05 Free Stream Media Corp. Targeting with television audience data across multiple screens
US10631068B2 (en) 2008-11-26 2020-04-21 Free Stream Media Corp. Content exposure attribution based on renderings of related content across multiple devices
US9015741B2 (en) 2009-04-17 2015-04-21 Gracenote, Inc. Method and system for remotely controlling consumer electronic devices
US20110063503A1 (en) * 2009-07-06 2011-03-17 Brand Steven M Synchronizing secondary content to a multimedia presentation
KR101071728B1 (ko) * 2009-10-01 2011-10-11 한국과학기술원 핑거 프린팅 시스템의 정합 과정에서 사용하는 디스턴스 메트릭을 학습을 통해서 결정하는 방법
KR101582436B1 (ko) * 2010-05-04 2016-01-04 샤잠 엔터테인먼트 리미티드 미디어의 동기화 방법 및 시스템
US8694533B2 (en) * 2010-05-19 2014-04-08 Google Inc. Presenting mobile content based on programming context
US8863165B2 (en) * 2010-11-01 2014-10-14 Gracenote, Inc. Method and system for presenting additional content at a media system
KR101181732B1 (ko) 2010-11-22 2012-09-19 (주)엔써즈 동영상 핑거프린트 정보에 기반한 동영상 마크업 데이터 생성 방법 및 이를 이용한 정보 제공 방법 및 시스템
US9602854B2 (en) * 2010-12-29 2017-03-21 Telecom Italia S.P.A. Method and system for syncronizing electronic program guides
KR101211098B1 (ko) 2011-04-25 2012-12-11 (주)엔써즈 클라이언트 단말기측으로 네트워크를 통해 방송에 포함된 광고와 연관된 정보를 제공하는 시스템 및 방법
KR101995425B1 (ko) * 2011-08-21 2019-07-02 엘지전자 주식회사 영상 표시 장치, 단말 장치 및 그 동작 방법
US8805827B2 (en) * 2011-08-23 2014-08-12 Dialogic (Us) Inc. Content identification using fingerprint matching
US9386329B2 (en) 2011-12-16 2016-07-05 Sony Corporation Broadcast program processing device, broadcast program processing method, broadcasting station device, information distribution server, program, and information storage media
US9351037B2 (en) 2012-02-07 2016-05-24 Turner Broadcasting System, Inc. Method and system for contextual advertisement replacement utilizing automatic content recognition
EP2800392A4 (en) * 2012-02-10 2015-09-09 Lg Electronics Inc IMAGE DISPLAY DEVICE AND OPERATING METHOD THEREFOR
US9703932B2 (en) * 2012-04-30 2017-07-11 Excalibur Ip, Llc Continuous content identification of broadcast content
US9553756B2 (en) * 2012-06-01 2017-01-24 Koninklijke Kpn N.V. Fingerprint-based inter-destination media synchronization
US20140106708A1 (en) 2012-10-15 2014-04-17 Juked, Inc. Continuous monitoring of data exposure and providing service related thereto
US9794642B2 (en) * 2013-01-07 2017-10-17 Gracenote, Inc. Inserting advertisements into video content
US9323840B2 (en) 2013-01-07 2016-04-26 Gracenote, Inc. Video fingerprinting
CN110083714B (zh) * 2013-04-05 2024-02-13 杜比实验室特许公司 用于自动文件检测的对来自基于文件的媒体的特有信息的获取、恢复和匹配
US9454789B2 (en) * 2013-05-03 2016-09-27 Digimarc Corporation Watermarking and signal recognition for managing and sharing captured content, metadata discovery and related arrangements
WO2015039891A1 (en) 2013-09-20 2015-03-26 Koninklijke Kpn N.V. Correlating timeline information between media streams
TW201514887A (zh) * 2013-10-15 2015-04-16 Utechzone Co Ltd 影像信息的播放系統及方法
US20160248526A1 (en) * 2014-01-27 2016-08-25 Yangbin Wang Systems and methods of fingerprinting and identifying realtime broadcasting signals
KR20150104358A (ko) 2014-03-05 2015-09-15 삼성전자주식회사 서버 장치 및 그의 핑거프린트 전송 방법, 그리고 방송수신장치
FR3018983B1 (fr) 2014-03-20 2016-05-06 Viaccess Sa Procede et dispositif d'identification d'un contenu en cours de visualisation sur un ecran
US10825056B1 (en) * 2014-04-17 2020-11-03 The Nielsen Company (Us), Llc Client-side video advertisement replacement using automatic content recognition
WO2016027457A1 (ja) * 2014-08-21 2016-02-25 パナソニックＩｐマネジメント株式会社 コンテンツ認識装置およびコンテンツ認識方法
WO2016068760A1 (en) * 2014-10-27 2016-05-06 Telefonaktiebolaget L M Ericsson (Publ) Video stream synchronization
KR102217191B1 (ko) * 2014-11-05 2021-02-18 삼성전자주식회사 단말 장치 및 그 정보 제공 방법
EP3228084A4 (en) * 2014-12-01 2018-04-25 Inscape Data, Inc. System and method for continuous media segment identification
CN105808182B (zh) * 2015-01-15 2019-09-17 财团法人工业技术研究院 显示控制方法及系统、广告破口判断装置、影音处理装置
US9516377B1 (en) 2015-06-12 2016-12-06 Sorenson Media, Inc. Detecting channel change in automatic content recognition fingerprint matching
US9743154B2 (en) * 2015-09-09 2017-08-22 Sorenson Media, Inc Dynamic video advertisement replacement
KR102560635B1 (ko) * 2015-12-28 2023-07-28 삼성전자주식회사 컨텐트 인식 장치 및 그 동작 방법
EP4080794A1 (en) 2016-01-06 2022-10-26 TVision Insights, Inc. Systems and methods for assessing viewer engagement
WO2017151443A1 (en) * 2016-02-29 2017-09-08 Myteamcalls Llc Systems and methods for customized live-streaming commentary
US10063918B2 (en) * 2016-02-29 2018-08-28 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on single-match
CN107529071B (zh) * 2016-06-22 2019-03-01 腾讯科技（深圳）有限公司 一种视频数据处理方法以及装置
US10616631B2 (en) 2016-08-01 2020-04-07 Samsung Electronics Co., Ltd. Electronic apparatus and method of operating the same
KR102410473B1 (ko) * 2016-08-01 2022-06-17 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
GB2553125B (en) 2016-08-24 2022-03-09 Grass Valley Ltd Comparing video sequences using fingerprints
KR20180028588A (ko) 2016-09-08 2018-03-19 주식회사 이타기술 입력 시점이 다른 동영상 데이터의 장면기반 핑거프린트를 이용한 적응적 프레임 동기화 방법 및 장치
US10659509B2 (en) * 2016-12-06 2020-05-19 Google Llc Detecting similar live streams ingested ahead of the reference content

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101473653A (zh) * 2006-06-13 2009-07-01 皇家飞利浦电子股份有限公司 用于识别并同步视频的指纹、器件、方法
CN107851104A (zh) * 2015-04-23 2018-03-27 索伦森媒体有限公司 自动内容辨识指纹序列匹配

Also Published As

Publication number Publication date
US10506275B1 (en) 2019-12-10
EP3824643B1 (en) 2024-01-03
US20200186860A1 (en) 2020-06-11
US10623800B2 (en) 2020-04-14
US20200021877A1 (en) 2020-01-16
KR20210020166A (ko) 2021-02-23
TW202007179A (zh) 2020-02-01
US11290770B2 (en) 2022-03-29
EP3824643A1 (en) 2021-05-26
TWI725906B (zh) 2021-04-21
JP7053944B2 (ja) 2022-04-12
KR20210020167A (ko) 2021-02-23
US20200068248A1 (en) 2020-02-27
EP3824642B1 (en) 2024-01-03
US11503362B2 (en) 2022-11-15
CN111183650B (zh) 2021-10-29
TW202044845A (zh) 2020-12-01
TW202130191A (zh) 2021-08-01
EP3824643A4 (en) 2022-04-20
TWI716022B (zh) 2021-01-11
TW202007180A (zh) 2020-02-01
CN111183650A (zh) 2020-05-19
TWI701947B (zh) 2020-08-11
CN113038241B (zh) 2024-01-26
US20210195276A1 (en) 2021-06-24
TWI736511B (zh) 2021-08-11
JP2021524713A (ja) 2021-09-13
JP2021524714A (ja) 2021-09-13
WO2020018190A1 (en) 2020-01-23
CN113038241A (zh) 2021-06-25
CN110959293A (zh) 2020-04-03
EP3824642A4 (en) 2022-04-20
EP3824642A1 (en) 2021-05-26
US10979758B2 (en) 2021-04-13
WO2020018189A1 (en) 2020-01-23
US10992981B2 (en) 2021-04-27
CN110959293B (zh) 2021-05-18
JP7053943B2 (ja) 2022-04-12
KR102266690B1 (ko) 2021-06-22
KR102266689B1 (ko) 2021-06-22
US20210219011A1 (en) 2021-07-15
TW202126051A (zh) 2021-07-01

Similar Documents

Publication Publication Date Title
TWI762117B (zh) 動態控制指紋辨識速率以促進媒體內容的時間準確性修訂
KR102484054B1 (ko) 프레임적으로 정확한 컨텐츠 수정을 용이하게 하기 위해, 낮은 레이트 핑거프린팅을 사용하는 보간을 기반으로 하는 시간 맵핑의 확립 및 사용
TWI760981B (zh) 在媒體串流播放之間進行轉換的同時動態播放轉換訊框