TW202008794A - 基於使用低速率指紋辨識之內插建立及使用時間映射以幫助促進圖框正確內容修訂 - Google Patents

基於使用低速率指紋辨識之內插建立及使用時間映射以幫助促進圖框正確內容修訂 Download PDF

Info

Publication number
TW202008794A
TW202008794A TW108122189A TW108122189A TW202008794A TW 202008794 A TW202008794 A TW 202008794A TW 108122189 A TW108122189 A TW 108122189A TW 108122189 A TW108122189 A TW 108122189A TW 202008794 A TW202008794 A TW 202008794A
Authority
TW
Taiwan
Prior art keywords
client
media stream
time
media
received
Prior art date
Application number
TW108122189A
Other languages
English (en)
Other versions
TWI730348B (zh
Inventor
彼得 當克
馬克思 Ｋ 克里莫
沙山克 Ｃ 莫辰
庫特 Ｒ 泰連
Original Assignee
美商葛蘭諾公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商葛蘭諾公司 filed Critical 美商葛蘭諾公司
Publication of TW202008794A publication Critical patent/TW202008794A/zh
Application granted granted Critical
Publication of TWI730348B publication Critical patent/TWI730348B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6543—Transmission by server directed to the client for forcing some client operations, e.g. recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Algebra (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Operations Research (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一種運算系統識別(i)表示正由一用戶端接收之一媒體串流的查詢指紋與(ii)參考指紋之間的多個匹配點，每一識別之匹配點定義帶有為根據該用戶端之一時鐘定義之用戶端時間的時間戳記之一查詢指紋與帶有為根據一已知媒體串流內之一時間線定義之真實時間之時間戳記的一參考指紋之間的一各別匹配。另外，該運算系統基於該等匹配點之該等時間戳記執行線性迴歸，以建立真實時間與用戶端時間之間的一映射。該運算系統接著使用該映射來判定該用戶端應執行關於正由該用戶端接收之該媒體串流之一內容修訂或其他動作的一用戶端時間點。且該運算系統使該用戶端在該判定之用戶端時間點執行該內容修訂或其他動作。

Description

基於使用低速率指紋辨識之內插建立及使用時間映射以幫助促進圖框正確內容修訂
本發明係關於基於使用低速率指紋辨識之內插建立及使用時間映射以幫助促進圖框正確內容修訂。
典型媒體用戶端用於接收表示媒體內容(例如，視訊及/或音訊內容)之類比或數位媒體串流，及輸出媒體內容及/或轉發該串流以用於在例如顯示螢幕及/或音訊揚聲器之使用者介面上呈現內容。此類用戶端之實例包括電視、電腦監視器、投影系統、擴音器、頭戴式耳機、機上盒(例如，有線或衛星電視接收器)、數位視訊記錄器、收音機、個人電腦、行動通信裝置、遊戲控制台、串流媒體播放器等。
舉例而言，媒體用戶端可為電視，其可接收媒體串流(例如，空中廣播串流、自機上盒輸出之媒體串流、自數位儲存媒體播放的媒體串流、網際網路串流或另一此串流)且可對使用者呈現彼媒體串流的媒體內容。舉另一實例，媒體用戶端可為機上盒，其可接收來自多頻道視訊節目分配器的廣播串流，且可藉由高清多媒體介面(HDMI)纜線或其他介面將彼廣播串流之媒體內容輸出至電視及/或音訊/視訊接收器供播出。舉再一實例，媒體用戶端可為數位視訊或音訊記錄器，其可同樣地接收廣播串流，但可儲存該串流供以後播出。且舉又一實例，媒體用戶端可以係擴音器或頭戴式耳機，其可接收來自收音機、電腦或其他接收器或音訊儲存裝置的音訊串流，且可向使用者呈現彼音訊串流的音訊內容。許多其他實例亦係可能的。
當媒體用戶端正接收媒體串流時，在某些情形中，用戶端修訂串流之媒體內容之一部分可為有用的。例如，可為有用的是，用戶端用替換廣告或用其他替換內容動態地替換廣告或媒體內容之其他片段，使得當播出內容給使用者時，使用者將接收到替換廣告，而不是原先包括之廣告。舉另一實例，可為有用的是，用戶端用覆疊或分割畫面內容(例如，頻道識別、上下文資訊、廣告內容等)動態地補充媒體內容之一部分，使得當正對使用者播出內容時，使用者將接收到該補充內容以及原先包括之內容。
另外，可能需要用戶端在媒體串流內之特定時間點執行此內容修訂。舉例而言，若用戶端要用替換廣告動態地替換現有廣告，則可能需要用戶端將替換廣告定位在媒體串流中現有廣告原本將已開始之時間。同樣地，若用戶端要用與媒體內容之特定部分有關之覆疊補充彼部分，則可能需要用戶端在彼部分開始時開始該覆疊。許多實例亦係可能的。
更確切言之，討論中之媒體串流可定義例如視訊圖框及/或音訊圖框之圖框之序列，且可能需要用戶端以圖框準確為基礎執行內容修訂。舉例而言，對於廣告替換，可能需要用戶端準確地在現有廣告之第一圖框處開始插入替換廣告，代替現有廣告。且為了新增覆疊至媒體串流之特定部分，可能需要用戶端在媒體串流之彼部分之第一圖框處或以與該第一圖框成特定關係之方式開始覆疊。
為了促進使用戶端執行此內容修訂，用戶端可能需要獲悉修訂即將發生之特定時間點。然而，實務上，可能會在用戶端未知之時刻表上定義修訂時間點。舉例而言，可在媒體串流自身內之參考時刻表上定義修訂時間點，但用戶端可能不具有針對該時刻表之上下文。因此，為用戶端提供該修訂時間點可能無法使用戶端在媒體串流中所要之時間點執行該修訂。
作為此情況之非限制性實例，考慮定義可出現於電視廣播內之廣告莢之媒體串流。廣告莢包含廣告序列，例如，電視商業廣告之序列。藉由此實例，用戶端可以係正接收及呈現特定電視頻道之線性廣播饋送之電視，且廣告莢可出現於該饋送內之任何時刻。舉例而言，尤其在例如體育賽事等直播的情況下，廣告莢在此饋送中出現之時間可能係不可預測的。替代地，廣告莢可出現於特定排程之時間。
在此實例中，所要修訂可以係對廣告莢內之特定廣告之替換(例如，用不同廣告或其他替換內容取代該廣告)。舉例而言，若廣告莢係廣告A1、A2、A3、A4之序列，則所要之修訂可以係廣告A3之替換。
在此情況下，廣告莢可定義內部時刻表，其開始於時間T=0且繼續至廣告莢之末尾，且廣告A3可開始於該時刻表上之時間TA3 。然而，用戶端可能缺乏該時刻表之上下文。用戶端可具有它自己的內部時鐘，該內部時鐘具有定義「用戶端時間」之時刻表(例如，日時間或其他內部時間參考)。但在未提前知曉廣告莢時刻表存在於用戶端時間內何處的情況下，僅給出值TA3 作為所要之內容修訂時間點將無法使用戶端在需要時執行廣告替換。
解決此問題之一個方式係執行指紋匹配，比較正由用戶端接收之媒體串流之帶時間戳記之查詢指紋與已知媒體串流(例如已知廣告莢序列)之帶時間戳記之參考指紋。
舉例而言，用戶端可產生用戶端正接收之媒體串流之圖框之查詢指紋，且可基於用戶端之內部時鐘對彼等查詢指紋加時間戳記，且運算系統可接收彼等帶時間戳記之查詢指紋以供分析。另外，運算系統可被佈建有已知媒體串流(例如已知廣告莢序列)之圖框之參考指紋，其基於基準時間或沿著已知媒體串流內之時刻表定義之「真實時間」加時間戳記。
因此，運算系統可比較帶時間戳記之查詢指紋與帶時間戳記之參考指紋以試圖發現查詢指紋與參考指紋匹配的匹配點，並且在發現該匹配點後，可得出匹配查詢指紋之時間戳記與匹配參考指紋之時間戳記對應的結論。
建立介於匹配之查詢及參考指紋之時間戳記之間的此相關性可構成所建立介於用戶端時間與真實時間之間的「同步鎖」或時間映射。舉例而言，匹配查詢指紋與匹配參考指紋之時間戳記之間的差可定義已知媒體串流內之真實時間與用戶端接收媒體串流時之用戶端時間之間的時間偏移。假設瞭解已知媒體串流內之圖框之真實時間點，運算系統可因此使用建立之同步鎖來判定正由用戶端接收之媒體串流中之同一圖框之相關聯用戶端時間點。舉例而言，運算系統可應用真實時間與用戶端時間之間的時間偏移，以便判定與給定真實時間點對應之用戶端時間點。
繼續上文之廣告莢實例，運算系統可因此使用建立之同步鎖將真實時間值TA3 映射至標示用戶端應替換正由用戶端接收之媒體串流中之廣告A3之用戶端時間點(例如，用戶端應開始廣告替換之用戶端時間點)的用戶端時間值。並且，用戶端可接著執行在彼判定之用戶端時間點之廣告A3之替換。
然而，此程序可出現之技術問題係，用戶端無法以足以促進查詢指紋與參考指紋之間的高信賴度指紋匹配之速度產生查詢指紋。具體言之，為了幫助節約用戶端處之有限處理能力、記憶體及/或其他資源，用戶端可配置成以相對較低之圖框速率產生指紋，該圖框速率可遠低於用戶端正接收之媒體串流之圖框速率。因此，偵測到之指紋匹配可能係不準確的，且建立之同步鎖可能係不準確的。
例如，在視訊具有每秒30圖框的情況下，用戶端可設定成例如每秒2圖框之低圖框速率產生查詢指紋。但以彼種低速率執行指紋匹配可導致低信賴度指紋匹配。
此種困難之一個原因是，該媒體串流可包括相同或幾乎相同圖框之各種子序列，其與媒體內容在一段時間上並不實質上改變的媒體序列之部分對應。此種情況之實例可為在一段時間內呈現靜態圖像之視訊。在彼情境中，查詢指紋可在定義之匹配容差內匹配多個連續參考指紋。
結果，給定匹配點之運算系統之偵測可為相對低信賴度。且因此，真實時間與用戶端時間之間的運算系統之建立之映射將潛在地不正確，此可引起使用者體驗問題。舉例而言，不正確的時間映射可導致用戶端過早或過遲地執行指導之內容修訂。藉由內容替換(例如，廣告替換)，使用者可將此不良之計時內容修訂察覺為呈現之媒體內容中的不連續或不一致。
按照本發明，此問題可至少部分藉由考慮多個偵測之匹配點及在彼等點之間內插以建立真實時間與用戶端時間之間的改良之映射來解決。
在代表性實施方案中，給定由用戶端產生之低速率查詢指紋，運算系統可進行如上所論述之指紋比較，且運算系統隨著時間之流逝可偵測到多個匹配點，其中每一匹配點表示真實時間點與用戶端時間點之間的判定之相關性。當運算系統偵測到此等匹配點時，運算系統可接著以程式化方式建立該等點之散佈圖並執行線性迴歸以建立表示真實時間與用戶端時間之間的改良之映射之最佳擬合線。
運算系統可接著使用此改良之映射作為基礎來預測用戶端時間中之何點將與真實時間中之即將到來之點相關，以便促進使用戶端執行內容修訂或在即將到來之時間點採取其他相關聯之行動(例如，準備內容修訂)。舉例而言，運算系統可使用改良之映射作為基礎來預測用戶端時間中的何點將與用戶端將執行內容修訂之即將到來之圖框的真實時間參考時間戳記相關。且運算系統可接著使該用戶端在彼預測之用戶端時間點執行內容修訂。
一般技術者藉由適當地參考附圖閱讀以下詳細描述將明白此等以及其他態樣、優點及替代方案。另外，應理解，本發明內容及下文中提供之描述意圖僅以實例而非限制來說明本發明。
相關申請案之參考
本申請案主張2018年10月22日提交之美國專利申請案第16/166,971號及2018年7月19日提交之美國臨時專利申請案第62/700,660號的優先權，該等申請案中之每一個之全部內容在此被以引用的方式併入。
本申請案亦與2018年10月22日提交之美國專利申請案第16/166,981號有關，該申請案之全部內容在此被以引用之方式併入。
參考圖式，圖1係可應用各種所揭示之原理之實例系統的簡化方塊圖。然而，應理解，本文中所描述之此配置及程序以及其他配置及程序可採取各種其他形式。舉例而言，元件及操作可重新排序、分佈、複製、組合、省略、新增或以其他方式修改。此外，應理解，本文中描述為由一或多個實體實行之操作可由彼等實體及/或代表彼等實體經由硬體、韌體及/或軟體實施，例如藉由一或多個處理單元執行程式指令等來實施。
如圖1所示，實例系統包括組態成自媒體源14即時接收媒體串流之媒體用戶端12。
實務上，媒體用戶端12可組態成如上文所描述之那樣操作，以自媒體源14接收表示媒體內容(例如視訊及/或音訊內容)之類比或數位媒體串流，且輸出媒體內容及/或轉發該串流以用於在例如顯示螢幕及/或音訊揚聲器之使用者介面上呈現該內容。媒體用戶端可採取上文描述之形式中之任一者，且存在其他可能性。
媒體源14亦可採取各種形式，可能取決於媒體用戶端12之形式。舉例而言，若媒體用戶端12係電視，則媒體源14可以係本機機上盒(例如，有線或衛星接收器)或串流媒體伺服器，組態成輸出選定媒體串流以供由電視呈現，或者媒體源14可以係廣播電視台等，且存在其他可能性。並且若媒體用戶端係電腦，則媒體源可包含網際網路串流媒體伺服器或其他媒體提供商。替代地，媒體源14可為與媒體用戶端12整合及/或可由媒體用戶端12本機存取之資料儲存體，其中媒體用戶端自資料儲存體接收(例如，擷取)媒體串流以供播出。許多實例亦係可能的。
如圖1中進一步展示，媒體用戶端12可藉由網路(例如，網際網路或私用網路) 16與網路伺服器18通信，該網路伺服器18可以與亦可以不與媒體源14相關聯及/或整合。
在實例實施方案中，媒體用戶端12及網路伺服器18可參與資料通信以促進實行操作，例如上文提到之彼等操作。舉例而言，代表性運算系統之態樣可由伺服器18實施，該伺服器18與用戶端12相互操作以建立同步鎖，以便應用該同步鎖來判定用戶端應執行內容修訂之用戶端時間點，且以便使用戶端在判定之用戶端時間點執行內容修訂。另外或替代地，代表性運算系統之態樣可由用戶端12實施，該用戶端12與伺服器18相互操作以進行類似操作。
如上文所提及，當例如用戶端12之媒體用戶端正接收媒體串流時，用戶端修訂串流之內容之一部分以便替換或補充串流之內容之片段可以係有用的。另外，如上文所提及，可能需要用戶端在媒體串流內之特定時間點這樣做。舉例而言，若串流定義例如視訊圖框及/或音訊圖框等圖框之序列，則可能需要用戶端執行開始於序列之特定圖框之修訂。
為了促進此內容修訂，運算系統可首先識別正由用戶端接收之媒體串流。舉例而言，運算系統可首先判定正由用戶端接收之媒體串流係含有應修訂之特定內容之媒體串流。在識別出媒體串流後，運算系統就可接著判定媒體串流中用戶端應執行內容修訂之特定點，且可使用戶端在該判定之點執行內容修訂。
識別正由用戶端接收之媒體串流之一個方式係使用戶端(或可能附屬裝置)產生表示正由用戶端接收之媒體內容之數位指紋資料，並使伺服器18比較該指紋資料與表示已知媒體串流之媒體內容之參考指紋資料，其中指紋匹配指示用戶端正接收已知媒體串流。
在實例實施方案中，伺服器18或另一此類實體可建立或另外能夠存取表示已知媒體串流之參考指紋資料。舉例而言，伺服器可建立或被佈建有表示媒體串流之圖框之參考數位指紋序列。伺服器或另一實體可藉由以下方式建立此等參考指紋：以程式化方式分析已知媒體串流之圖框，接收已知媒體串流之複本作為輸入，以及應用現在已知或以後開發之任何媒體指紋辨識程序或演算法來產生參考指紋。可按相對較高之粒度級別產生此等參考指紋以促進指紋匹配。舉例而言，對於包含處於每秒30圖框之視訊的媒體串流，該序列可包括每一圖框之參考視訊指紋，因此同樣地處於每秒30圖框之速率，或處於另一合理之高速率。
另外，即時地，在用戶端12接收媒體串流時，用戶端可產生表示其正接收之串流之媒體內容之查詢指紋資料，並且可將查詢指紋資料傳輸至伺服器18以供分析。用戶端可使用應用於建立參考指紋之相同指紋辨識程序或演算法來建立此等查詢指紋，以促進指紋比較。然而，如上文所提及，歸因於在用戶端處之資源限制(例如，對處理能力、記憶體及網路速度之限制)或出於其他原因，鑒於此查詢指紋產生可以係用於用戶端之進行中之程序，用戶端可組態成以相對較低之速率產生此等查詢指紋。舉例而言，對於包含視訊之媒體串流，用戶端可組態成僅以每秒2圖框之速率產生此等查詢指紋，且用戶端可每隔1.5秒左右將產生的查詢指紋傳輸至伺服器。許多實例亦係可能的。
當伺服器自用戶端接收查詢指紋資料時，伺服器可比較查詢指紋資料與已知媒體串流之參考指紋資料。並且，若伺服器由此有足夠之信賴度判定查詢指紋資料匹配參考指紋資料，則該伺服器可推斷正由用戶端接收之媒體串流係已知媒體串流(即，已知媒體串流之複本)。
伺服器可以每圖框為基礎進行此指紋比較。考慮視訊內容，舉例而言，伺服器可以每視訊圖框為基礎進行分析，對圖框之查詢指紋與圖框之參考指紋進行比較。取決於指紋之結構，比較程序可採取多種形式中之任一者。例如，該比較可涉及運算指紋之間的最大偏差，並判定該最大偏差是否在預定義容差內。另外，若指紋為二進位的，則此可為布林判定，或者可涉及運算漢明距離(作為指紋中之各別位元位置之間的失配之計數)。並且，若指紋係更複雜之值，例如小數值或向量(例如，每視訊圖框區之灰度值)，則此可涉及判定值或向量之間的距離。許多其他實例亦係可能的。
此外，伺服器可以所要容差位準進行指紋比較程序。舉例而言，該比較可以係粗略的，對於指紋之間的差異具有相對較高之容差，例如具有對於較大數目差異之容差及/或對於較大差異大小之容差。舉例而言，當將兩個32位元指紋彼此比較時，粗略比較可認為指紋彼此大體匹配，即使兩個位元或另一指定數目之位元並不匹配。或者比較可以更加精細，對於此類差異具有較低容差，及/或比較聚焦於可能表示基本媒體之特定部分之特定指紋分量。
另外，伺服器可一次關於一個查詢指紋進行指紋比較。舉例而言，伺服器可比較每一依序提供之查詢指紋與參考指紋，以試圖發現在定義之匹配容差內匹配查詢指紋的參考指紋。
替代地，伺服器可一次關於一個束指紋進行比較。舉例而言，伺服器可比較四個連續查詢指紋(以滑動窗為基礎，或作為離散、依序群組)之每一依序束與參考指紋，以試圖發現在定義之匹配容差內匹配四個查詢指紋之群組的四個參考指紋之束。為了促進此情形，若查詢指紋及參考指紋以相互不同之圖框率產生，則伺服器可組態其對在與查詢指紋束相同之時間相互間隔開的參考指紋的匹配束之搜尋。舉例而言，若查詢指紋以每秒2個圖框產生(亦即，相互隔開500毫秒)且參考指紋以每秒30個圖框產生，則伺服器可搜尋相互隔開500毫秒且在定義之匹配容差內匹配四個連續查詢指紋之群組的四個參考指紋之束。
當伺服器已按足夠信賴度偵測到匹配內容時，伺服器將因此已識別媒體串流中之一或多個匹配點。若伺服器一次使用一個指紋執行指紋比較，則每一匹配點將為匹配之參考指紋表示的圖框。然而，若伺服器一次使用一群指紋執行指紋比較，則每一匹配點可為匹配之群組中之第一或另一指定參考指紋表示的圖框。無論如何，此匹配可建立或建立或支援正由用戶端接收之媒體串流為已知媒體串流的結論。
替代地，伺服器可以其他方式識別討論中的媒體串流。舉例而言，若媒體串流含有與媒體串流之身分對應的水印資料，則用戶端可讀取或以其他方式提取水印資料且向伺服器報告該水印資料。並且伺服器可接著使用所報告之水印資料作為基礎來識別正由用戶端接收及/或播放的媒體串流。
在識別出正由用戶端接收之媒體串流後，伺服器可接著判定媒體串流中用戶端應執行內容修訂之點。舉例而言，在代表性實施方案中，伺服器能夠存取指示已知媒體串流中內容修訂將發生之點及指示在彼點將發生什麼內容修訂之參考資料。例如，參考資料可識別已知媒體串流中內容修訂將要開始之特定圖框。因此，伺服器可以參考參考資料來判定該所要之內容修訂點。
伺服器可接著傳輸使用戶端在媒體串流中之判定點執行內容修訂之指令給用戶端。舉例而言，伺服器可藉由網路16將指定媒體串流中之判定點及提供替換或覆疊媒體給用戶端或另外關於用戶端在媒體串流中之彼點應執行什麼內容修訂指導用戶端的訊息傳輸至用戶端。並且，用戶端可組態成接收及解譯該指令且回應性地在媒體串流中之指示點執行內容修訂。
在此程序中，伺服器可瞭解用戶端應在媒體串流中執行內容修訂之特定時間點。舉例而言，可由伺服器存取之參考資料可將此時間點指定為在已知媒體串流內之時刻表中(即，在如上所述之「真實時間」內)量測之特定時間。例如，如上文所提到，此時刻表可開始於在已知媒體串流開始時之原點時間(例如，T = 0)，且已知媒體串流之每一圖框可出現於彼時刻表上之特定時間點。因此，伺服器可根據參考資料判定用戶端應在媒體串流中執行內容修訂之真實時間點。
然而，用戶端之時間參考可不同。如上所指出，用戶端之時間參考可為根據用戶端中之內部時鐘定義之「用戶端時間」。儘管用戶端時間及真實時間可最佳地以彼此相同的速率執行，但它們之原點有可能係不同的。因此，僅僅知曉已知媒體串流中之真實時間點無法自身提供用戶端時間中之上下文。結果，如上所指出之問題係伺服器可如何以用戶端可以理解之方式特性化媒體串流中用戶端將開始執行內容修訂之時間點。
解決如上文所表明之此問題之一個方式係使伺服器將匹配查詢指紋之由用戶端提供之時間戳記用作供伺服器判定用於媒體串流之用戶端之時間參考的方式，然後使伺服器將該用戶端時間參考用作特性化媒體串流中用戶端將開始內容修訂之時間點的基礎。
為了促進此操作，當用戶端產生其查詢指紋時，用戶端可基於用戶端之內部時鐘對每一查詢指紋加時間戳記。因此，用戶端傳輸至伺服器以供分析之查詢指紋可為帶時間戳記之查詢指紋。另外，伺服器可被佈建有或以其他方式能夠存取已知媒體串流圖框之帶時間戳記之參考指紋。舉例而言，伺服器可被佈建有針對已知媒體串流之每一圖框指定以下各者之參考資料：(i)該圖框之參考指紋，及(ii)在該已知媒體串流內之相關聯之真實時間時間戳記。
當伺服器自用戶端接收帶時間戳記之查詢指紋時，伺服器可比較查詢指紋與參考指紋以偵測匹配點，即，查詢指紋匹配參考指紋之時刻。當伺服器偵測到一或多個此類匹配點時，伺服器將針對每一偵測到之匹配點知曉以下兩者：(i)匹配點之真實時間時間戳記，及(ii)匹配點之用戶端時間時間戳記。
因而，伺服器將有效建立真實時間與用戶端時間之間的同步鎖。即，伺服器將有效建立以下兩者之間的映射：(i)媒體串流內之真實時間時間戳記與(ii)根據用戶端之內部時鐘之用戶端時間，因為伺服器現在將知道匹配圖框在媒體串流中何處，以及在該媒體串流中之該時間點，用戶端之時間係什麼。如上所論述，此同步鎖可構成時間偏移，使得伺服器可將時間偏移應用至媒體串流中之給定真實時間點以判定媒體串流中對應之用戶端時間點。
在已發現媒體串流中之此匹配點後且在建立同步鎖後，伺服器可運算用戶端將執行媒體串流中之內容修訂之用戶端時間點，即，用戶端將開始媒體串流中之內容之用戶端時間點。例如，給定內容修訂將發生之真實時間點之參考資料指示，伺服器可應用由同步鎖定義之偏移，以判定內容修訂將發生之相關聯之用戶端時間點。或者，伺服器可運算在已知媒體串流內自匹配點之真實時間點至內容修訂將開始之圖框之時間的持續時間，且伺服器可接著將彼運算出之持續時間新增至匹配點之用戶端時間點上，以便判定內容修訂將開始之相關聯之用戶端時間點。其他實例亦係可能的。
伺服器可接著將此判定之用戶端時間點之說明傳輸至用戶端，伴有用於用戶端執行開始於此用戶端時間點之內容修訂之指令。並且，若用戶端尚未被佈建有關於當時開始執行之內容修訂之資訊，則伺服器亦可將該內容修訂資訊傳輸至用戶端。舉例而言，伺服器可自資料儲存體擷取並傳輸供用戶端取代媒體串流中正由用戶端接收之內容之某些替換內容給用戶端。或者，伺服器可將對此替換內容之指標傳輸至用戶端，例如，用戶端可獲得之替換內容所來自之網路或本機儲存位址。
用戶端可因此接收來自伺服器的在所指示之用戶端時間點開始內容修訂之指令。並且，若用戶端尚未被佈建有定義在彼用戶端時間點執行之修訂之資料，則用戶端可接收該資料，例如，自伺服器或自由伺服器指定之位址接收。藉由參考用戶端之內部時鐘，用戶端可接著致力於在所指示之用戶端時間點準確地開始內容修訂。舉例而言，在所指示之用戶端時間點，用戶端可開始用替換內容之圖框取代正由用戶端接收之媒體串流之圖框，或在正由用戶端接收之媒體串流之圖框上覆疊補充內容，且存在其他可能性。
然而，如上所指出，若用戶端以相對較低之速率產生其查詢指紋(例如，如上所論述，以每秒2圖框產生視訊指紋)，則在此程序中可出現另一問題。提供以此低速率產生的查詢指紋給伺服器可使伺服器難以確信地識別媒體串流中之匹配點困難，及/或可導致低信賴度同步鎖。
如上所指出，出現此困難之一個原因係，該媒體串流可包括相同或幾乎相同圖框之各種子序列，其與媒體序列中媒體內容在一段時間上根本不改變之部分對應。在彼情境中，查詢指紋可在定義之匹配容差內匹配多個連續參考指紋。另外，在定義之匹配容差內，束查詢指紋可匹配多束參考指紋(例如，其中該等束中之一些查詢指紋匹配或多或少之對應參考指紋，可能歸因於衰退或其他變化)。結果，伺服器對匹配之偵測及對同步鎖之建立可為相對低信賴度。
如上所指出，按照本發明，此問題可至少部分藉由考慮多個偵測之匹配點及在彼等點之間內插以建立真實時間與用戶端時間之間的改良之映射來解決。
在代表性實施方案中，當伺服器自用戶端接收低速率查詢指紋且進行如上所論述之指紋比較時，伺服器將隨著時間之流逝偵測多個匹配點(針對各種查詢指紋中之每一個或針對各種查詢指紋束中之每一個)，其中每一匹配點表示真實時間點與用戶端時間點之間的判定之相關性。當伺服器偵測到此等匹配點時，伺服器可接著以程式化方式在笛卡爾座標中建立該等點之散佈圖，其中真實時間沿著一個軸線且用戶端時間沿著另一軸線，且伺服器可執行線性迴歸以基於該等點建立最佳擬合線。
圖2以實例說明此情況。明確地說，圖2說明其中真實時間沿著x軸且用戶端時間沿著y軸之散佈圖。散佈圖包括多個代表性匹配點，且該圖描繪在該匹配點之間建立的最佳擬合線。此最佳擬合線有效地表示改善之映射、虛擬時序或真實時間與用戶端時間之間的同步鎖。藉由在足夠數量之匹配點上執行線性迴歸，伺服器可因此在面對低速率查詢指紋時建立此改善之映射。
注意，此處描述之散佈圖及最佳擬合分析不需要以幾何方式或視覺進行。伺服器可使用現在已知或以後開發之任何線性迴歸演算法，基於真實時間、偵測之匹配點之用戶端時間座標，以演算法方式進行該程序。
亦請注意，在此程序中建立之最佳擬合線可通常具有斜度1，假定在用戶端之媒體串流傳輸速率(每秒圖框數)與在伺服器處相同。給定此情形，問題可為最佳擬合線豎直或水平地坐落於曲線中何處，及因此真實時間與用戶端時間之間的時間偏移為何內容。此外，可存在在用戶端處之媒體串流傳輸速率與伺服器處之媒體串流傳輸速率稍微不同的情境，在該情況下，線之斜度可不同於1。
伺服器可接著使用此改善之映射作為基礎來預測用戶端時間中之何點將與真實時間中的即將到來之點相關，例如，與內容修訂或相關聯之動作將發生之圖框的參考時間戳記相關。並且，伺服器可將指定判定之用戶端時間且引導用戶端在到達彼用戶端時間時進行所要之動作的指令傳輸至用戶端。
作為此程序之非限制性實例，考慮定義可出現於電視廣播內之廣告莢之媒體串流。如上所指出，廣告莢將包含廣告序列，例如電視商業廣告之序列，且廣告莢可出現在正由用戶端接收之例如線性廣播饋送之線性媒體饋送中之任何給定時間。
實際上，可佈建表示廣告莢之圖框及與廣告莢之圖框對應之帶時間戳記之參考指紋給伺服器，其中時間戳記係沿著廣告莢內定義之時刻表之點(作為真實時間)。另外，伺服器可被佈建有廣告莢中之廣告中之特定一者應被替換的指示、及彼廣告替換應開始之圖框之時間戳記。
以進行中為基礎，或回應於一或多個其他觸發，當用戶端在接收媒體饋送時，用戶端可能正在產生廣播饋送之低速率之帶時間戳記之查詢指紋(例如，以每秒2圖框)，且可能正在向伺服器報告彼等帶時間戳記之查詢指紋以供分析。藉由將每一此查詢指紋與表示廣告莢序列之圖框之參考指紋比較，伺服器可由此偵測到用戶端正在接收已知廣告莢序列。
已判定用戶端正在接收廣告莢序列後，伺服器可接著工作以建立真實時間與用戶端時間之間的改善之映射以便接著判定用戶端將開始廣告替換之用戶端時間。
舉例而言，伺服器可比較報告之查詢指紋束與對應間隔的參考指紋束，且可由此隨著時間之流逝發現多個匹配點(可能開始於伺服器識別為基礎以首先偵測用戶端在接收廣告莢序列之一或多個匹配點)。如上所論述，每一匹配點將使真實時間點(代表性匹配參考指紋之時間戳記)與用戶端時間點(代表性匹配查詢指紋之時間戳記)相關。另外，伺服器可執行此等匹配點之間的線性迴歸以發現最佳擬合線，其按真實時間與用戶端時間之間的偏移之形式有效地表示真實時間與用戶端時間之間的改善之映射。
已建立了真實時間與用戶端時間之間的改善之映射後，伺服器可接著應用映射作為基礎來判定何用戶端時間點將與廣告替換將開始之真實時間點對應。明確地說，假定知道廣告替換將開始之圖框之真實時間點(基準時間)，則伺服器可應用由改善之映射定義之偏移，以將真實時間點轉化至用戶端時間點。
伺服器可接著將在該判定之用戶端時間點開始廣告替換之指令傳輸至用戶端，且若用戶端尚未被佈建有該資訊，則可將替換廣告(或替換廣告之指標)傳輸至用戶端。並且，用戶端可接著在所指示之用戶端時間點相應地執行廣告替換。
注意，可以許多方式變化或增強以上描述之程序。
以實例說明，為了幫助說明媒體串流之片段為靜態(不實質上隨著時間之流逝而改變)的可能性，伺服器可被組態成不考慮相互匹配(亦即，在定義之匹配容差內)之任何查詢指紋束。明確地說，當伺服器自用戶端接收查詢指紋且設法比較連續查詢指紋束時，伺服器可評估每一此查詢指紋束以判定該束之查詢指紋是否相互匹配。若伺服器判定該束的所有查詢指紋相互匹配，則伺服器可回應性地自匹配點分析排除彼查詢指紋束。舉例而言，伺服器可回應性地放棄設法找匹配彼查詢指紋束的參考指紋束。然而，若伺服器判定該束之查詢指紋並不皆相互匹配，則伺服器可繼續進行如上所論述之匹配點分析，以試圖發現伺服器可在其散佈圖及最佳擬合分析中包括之匹配點。
在此實例中，問題可為該束中之所有查詢指紋是否皆相互匹配。低速率查詢指紋之此匹配可關於媒體串流之足夠長靜態片段而引起。自匹配點分析排除彼查詢指紋束以幫助避免在非常低信賴度匹配點中之因子分解可因此為有用的。
另一方面，考慮四個低速率查詢指紋之束跨過自一個靜態片段至另一不同靜態片段之改變的情境。舉例而言，藉由視訊內容，該束之前兩個查詢指紋可表示在場景改變發生前的圖框，且該束之最後兩個查詢指紋可表示在場景改變發生後的圖框。在彼情形中，該束之四個查詢指紋將並不皆相互匹配，且因此，伺服器將在其匹配點分析中包括該束，且可接著偵測匹配點以包括於其散佈圖及最佳擬合分析中。藉由此實例，雖然將不判定匹配點是否將落在最佳擬合線上右側，因為將不清楚在由第二及第三查詢指紋表示之圖框之間發生場景改變的時間點。但再次，藉由足夠數量之匹配點，最佳擬合分析應仍然產生有用的、改善之映射，如上所述。
因此，舉另一實例，伺服器可需要在討論中之媒體串流中存在至少臨限最小數量之匹配點，作為伺服器繼續進行內插的條件。舉例而言，伺服器可保持其已在討論中之媒體串流中(例如，在廣告莢中)發現多少匹配點之計數。一旦伺服器判定媒體串流中之匹配點之數目符合預定義臨限值，則伺服器可回應性地執行以上描述之散佈圖及最佳擬合分析以便基於識別之匹配點建立改善之時間映射並可接著如上所述使用彼時間映射。在實踐中，該臨限最小數量之匹配點可為三個匹配點，或可為被工程設計視為對於此目之足夠的另一數目個匹配點。
舉再一實例，在伺服器開始其散佈圖及最佳擬合分析後，伺服器可繼續發現匹配點且改良其最佳擬合時間映射，直至伺服器到達伺服器將把最佳擬合映射視為可使用之停止點。停止點可採取各種形式。舉例而言，停止點可為當伺服器已在預定義臨限數量(例如，上文所論述之臨限最小數量)之匹配點中因子分解時。替代地或另外，停止點可為當伺服器已偵測到分析中之穩定性時，例如，藉由針對因子分解至分析中之每一額外匹配點，偵測最佳擬合線(或真實時間與用戶端時間之間的相關聯之時間偏移)不改變大於最小臨限量(例如，由工程設計預定義)。一旦伺服器偵測到停止點，則伺服器可接著停止收集匹配點且可繼續進行使用最新最佳擬合分析將動作(例如，內容修訂)將發生之真實時間點映射至相關聯之用戶端時間點。並且，伺服器可因此引導用戶端在判定之用戶端時間點執行動作。
舉又一實例，除了使用以上程序判定內容修訂等將發生之用戶端時間點外，伺服器亦可使用該程序判定將適用於用戶端開始準備內容修訂的前移之用戶端時間點。舉例而言，若用戶端可能需要藉由串流傳輸或自網際網路URL或其他網路位址或來源下載開始獲得替換或覆疊內容，並且若用戶端可能花費一些時間實際獲得或開始接收彼替換或覆疊內容，則伺服器可運算充分超前於內容修訂開始時間的前移之用戶端時間點，以留出足夠時間用於用戶端獲得或開始接收替換或覆疊內容。伺服器可接著將指定前移之用戶端時間點並使用戶端在彼用戶端時間點開始獲得替換或覆疊內容之程序的指令傳輸至用戶端，且用戶端可因此繼續進行。至用戶端將需要執行內容修訂之時候，用戶端可因此獲得或開始接收替換或覆疊內容。
再另外，舉又一實例，雖然以上描述提供進行各種操作之伺服器，但該等操作中之一些或全部可替代地由用戶端或由另一裝置進行。舉例而言，雖然以上論述描述伺服器工作以建立真實時間與用戶端時間之間的改善之映射，且伺服器工作以判定內容修訂或其他動作將發生之用戶端時間點，但用戶端可被組態成進行彼等操作自身中之一些。
舉例而言，在代表性變化中，一旦伺服器已判定用戶端在接收已知媒體串流且已發現使真實時間與用戶端時間相關之多個匹配點，或當伺服器發現彼等匹配點時，伺服器可對用戶端報告該等匹配點，對用戶端通告每一匹配點之真實時間及用戶端時間座標。並且用戶端可接著使用彼提供之資料執行上文所論述之散佈圖及最佳擬合分析，以便建立真實時間與用戶端時間之間的改善之映射。另外，伺服器可給用戶端提供指定用戶端將參加特定動作(例如，內容修訂或準備內容修訂)之真實時間點的指令，且用戶端可應用如上所論述之建立的映射將真實時間點轉化至用戶端時間點。用戶端可接著工作以在判定之用戶端時間點進行指示之動作。
另外，用戶端自身亦可進行指紋匹配程序。舉例而言，一旦伺服器已判定用戶端在接收已知媒體串流，則伺服器可給用戶端提供用於媒體串流之即將到來之部分之一組帶時間戳記的參考指紋，且可對用戶端通知用於媒體串流內之所要的動作將發生之圖框的參考時間戳記。
舉例而言，一旦伺服器判定用戶端正接收已知媒體串流，用戶端就可進行該程序以建立介於(i)媒體串流中之真實時間時間戳記與(ii)根據用戶端之內部時鐘之時間之間的同步鎖，並判定將發生內容修訂之用戶端時間點。在實例實施方案中，為了促進此情況，除了指導用戶端切換至高速率指紋辨識之外，伺服器亦可為用戶端提供用於媒體串流之即將到來之部分的一組帶真實時間時間戳記之參考指紋，且可向用戶端通知用於媒體串流內將開始內容修訂之圖框之真實時間時間戳記。
用戶端可因此接收來自伺服器的彼等帶時間戳記之參考指紋。且用戶端可比較其低速率查詢指紋與提供之參考指紋以試圖發現匹配點。當用戶端找多個匹配點時或在用戶端發現多個匹配點後，用戶端可接著同樣地執行上文所論述之散佈圖及最佳擬合分析，以建立真實時間與用戶端時間之間的改善之映射。另外，用戶端可以上文所論述之方式應用彼建立之映射以判定指示之內容修訂或其他動作將發生之用戶端時間點。且用戶端可接著在判定之用戶端時間點執行指示的動作。
亦應注意，以上程序可關於正由用戶端接收之線性廣播饋送等之即時分析來應用(例如，用於目前播出及/或儲存)，並且亦可關於正由用戶端自資料儲存體等擷取之媒體串流之分析來應用(例如，用於目前播出或傳遞)。其他實施方案亦係可能的。
圖3係描繪可由運算系統依據以上論述實行之方法的流程圖。儘管方法之操作在此圖中描繪為以特定序列進行，但該等操作中之一些可與其他操作並行地進行，並且其他修改亦係可能的。
如圖3中所示，在區塊30處，運算系統接收表示正由用戶端接收之媒體串流的查詢指紋，查詢指紋帶有為根據用戶端之時鐘之用戶端時間的時間戳記。另外，在區塊32處，有可能與區塊30並行地，運算系統比較接收之查詢指紋與表示已知媒體串流之參考指紋，該等參考指紋帶有為根據已知媒體串流內之時間線之真實時間的時間戳記。並且在區塊34處，運算系統基於偵測到之匹配點執行線性迴歸，線性迴歸建立真實時間與用戶端時間之間的映射。
在區塊36處，運算系統接著應用建立之映射作為基礎來判定用戶端應執行關於正由用戶端接收之媒體串流之動作的用戶端時間點。且在區塊38處，該運算系統使該用戶端在該判定之用戶端時間點執行該動作。
依據以上論述，運算系統使用戶端在判定之用戶端時間點執行之動作可包含內容修訂。舉例而言，正由用戶端接收之媒體串流可包含定義廣告序列的廣告莢，且內容修訂可包含用替換媒體內容替換該序列之廣告。替代地，該等動作可包含準備此內容修訂，例如，起始獲取新內容以促進內容修訂之程序。其他動作亦係可能的。
另外，如上所論述，應用建立之映射作為基礎來判定用戶端應執行關於正由用戶端接收之媒體串流之動作的用戶端時間點之動作可包含，使用該建立之映射作為基礎將應關於已知媒體串流執行動作之預定義的真實時間點映射至用戶端應執行關於正由用戶端接收之媒體串流之動作的對應用戶端時間點。舉例而言，給定已知媒體串流中之內容修訂應發生之圖框之真實時間點，應用建立之映射可包括將彼真實時間點轉化至用戶端應執行正由用戶端接收之媒體串流中之內容修訂之對應的用戶端時間點。
此外，如上所論述，此運算系統可由與用戶端進行網路通信之伺服器實施。在該情況下，使用戶端在判定之用戶端時間點執行動作之動作可包括將用戶端將藉由在判定之用戶端時間點執行動作而回應的指令自伺服器傳輸至用戶端。
再另外，如上所論述，在此程序中之每一匹配點可基於(i)查詢指紋之相應束與(ii)參考指紋之間的比較。且在彼情況下，該方法可另外包括自該程序省略內部匹配之束。舉例而言，該方法可包括偵測給定查詢指紋束中之查詢指紋相互匹配，並且，回應於偵測到給定束之查詢指紋相互匹配，排除使用該給定束針對線性迴歸建立匹配點。
又另外，依據以上論述，該方法可包括運算系統使用偵測到之匹配點中之一或多個作為基礎來判定正由用戶端接收之媒體串流為已知媒體串流。舉例而言，該運算系統可一開始進行此判定，並且然後，回應於至少進行此判定，運算系統可執行線性迴歸，應用映射，且使用戶端在判定之用戶端時間點進行動作。換個方式說，在彼情形中，線性迴歸之執行、映射之應用且使用戶端在判定的用戶端時間點執行動作可共同地至少回應於判定正由用戶端接收之媒體串流係已知媒體串流。
圖4係描繪可由用戶端或一或多個其他實體根據本發明實行之方法的另一流程圖。此處同樣，儘管方法之操作描繪為以特定序列進行，但該等操作中之一些可與其他操作並行地進行，並且其他修改亦係可能的。
如圖4中所展示，在區塊40處，該方法包括查明(i)表示正由用戶端接收之媒體串流的查詢指紋與(ii)參考指紋之間的多個匹配點，其中每一識別之匹配點定義(i)帶有為根據用戶端之時鐘定義之用戶端時間的時間戳記之查詢指紋與(ii)帶有為根據已知媒體串流內之時間線之真實時間的時間戳記之參考指紋之間的各別匹配。
另外，在區塊42處，該方法包括基於查明之多個匹配點之時間戳記執行線性迴歸，該線性迴歸建立真實時間與用戶端時間之間的映射。在區塊44處，該方法接著包括使用建立之映射作為基礎來判定用戶端應執行關於正由用戶端接收之媒體串流之動作的用戶端時間點。且在區塊46處，該方法包括在該判定之用戶端時間點執行關於正由用戶端接收之媒體串流的動作。
依據以上論述，查明多個匹配點之動作可採取各種形式。舉例而言，其可包括用戶端接收指示多個匹配點之資料集。在如上所論述之實例實施方案中，伺服器可執行指紋比較以判定匹配點且可將關於匹配點之資訊(包括每一匹配點之用戶端時間時間戳記及真實時間時間戳記)發送至用戶端，以使用戶端能夠執行線性迴歸。
替代地，如上所論述，查明多個匹配點之動作可包括用戶端接收帶真實時間時間戳記的參考指紋，該用戶端產生帶用戶端時間時間戳記之查詢指紋，且該用戶端比較產生之查詢指紋與接收到之參考指紋以便基於該等比較查明匹配點。另外，如上所論述，每一匹配點可基於(i)相應之查詢指紋束與(ii)參考指紋之間的比較。且在彼情況下，該方法可另外包括偵測給定束中之查詢指紋相互匹配，並且，回應於偵測到給定束之查詢指紋相互匹配，排除使用該給定束針對線性迴歸建立匹配點。
此外，如上所論述，關於正由用戶端接收之媒體串流的動作可採取各種形式。舉例而言，該動作可包含內容修訂，例如廣告莢中之廣告替換等。或者，該動作可包含準備此內容修訂，例如，起始內容獲取以促進內容修訂。其他實例亦係可能的。
另外，依據以上論述，使用建立之映射作為基礎來判定用戶端應執行關於正由用戶端接收之媒體串流之動作的用戶端時間點之動作可包括使用該建立之映射作為基礎將應關於已知媒體串流執行動作之預定義的真實時間點映射至用戶端應執行關於正由用戶端接收之媒體串流之動作的對應用戶端時間點。
圖5係可用於實行上文所描述之各種操作之實例運算系統的下一方塊圖。如上文所提及，此運算系統之態樣可由媒體用戶端12及/或伺服器18實施，且存在其他可能性。因此，圖4之方塊圖可表示一或多個此類實體之組件。
如圖5所示，實例運算系統包括網路通信介面52、處理單元54及非暫時性資料儲存體56，所有此等者可藉由網路、訊息匯流排及/或一或多個其他連接機構58耦接或以通信方式鏈接在一起。
網路通信介面52使運算系統能夠傳輸及接收。網路通信介面52可包含有線及/或無線乙太網路介面，以及相關聯之電路系統及軟體，且存在其他可能性。處理單元54可接著包含一或多個通用處理器(例如，微處理器)及/或一或多個專用處理器(例如，專用積體電路等)。並且，非暫時性資料儲存體46可包含一或多個揮發性及/或非揮發性儲存組件，例如，磁性、光學或快閃儲存體。
如圖5進一步所示，非暫時性資料儲存體56儲存(例如，容納、被編碼有或以其他方式體現或含有)程式指令60，該等程式指令可由處理單元執行以使運算系統實行操作，例如上文所描述之彼等操作。
以實例說明，此等操作可包括識別(i)表示正由媒體用戶端接收之媒體串流的查詢指紋與(ii)參考指紋之間的多個匹配點，其中每一識別之匹配點定義(i)帶有為根據媒體用戶端之時鐘定義之用戶端時間的時間戳記之查詢指紋與(ii)帶有為根據已知媒體串流內之時間線定義的真實時間之時間戳記之參考指紋之間的各別匹配。另外，該等操作可包括基於識別之多個匹配點的時間戳記執行線性迴歸，該線性迴歸建立真實時間與用戶端時間之間的映射。該等操作可接著包括將建立之映射用作基礎來判定媒體用戶端應執行正由媒體用戶端接收之媒體串流中的內容修訂之用戶端時間點。並且該等操作可包括使媒體用戶端在判定之用戶端時間點執行內容修訂。
另外，上文所描述之各種特徵可併入於此上下文中，且反之亦然。舉例而言，使用該映射可包括將內容修訂之預定義的真實時間點映射至對應之用戶端時間點。並且內容修訂可包括內容替換，例如，替換廣告莢中的廣告，或可包括覆疊內容，以及其他可能性。
此外，若運算系統安置於伺服器處及/或由伺服器實施，則使媒體用戶端在判定之用戶端時間點執行內容修訂的動作可包括輸出使媒體用戶端如此做之指令以供傳輸至媒體用戶端及/或將該等指令發送至媒體用戶端。另外，該等操作可包括自該分析排除相互匹配之束查詢指紋。並且，該等操作可另外包括使用識別之匹配點中之一或多個作為基礎來判定正由用戶端接收之媒體串流係已知媒體串流，在該情況下，可回應於彼判定共同地進行其他操作。
替代地或另外，該等操作可包括查明(i)表示正由用戶端接收之媒體串流之查詢指紋與(ii)參考指紋之間的多個匹配點，其中每一識別之匹配點定義(i)帶有為根據用戶端之時鐘定義的用戶端時間之時間戳記的查詢指紋與(ii)帶有為根據已知媒體串流內之時間線定義的真實時間之時間戳記之參考指紋之間的各別匹配。另外，該等操作可包括基於查明之多個匹配點之時間戳記執行線性迴歸，該線性迴歸建立真實時間與用戶端時間之間的映射。該等操作可接著包括使用建立之映射作為基礎來判定用戶端應執行關於正由用戶端接收之媒體串流之動作的用戶端時間點。並且該等操作可包括在該判定之用戶端時間點執行關於正由用戶端接收之媒體串流的動作。
此處，上文所描述之各種特徵亦可併入於此上下文中，且反之亦然。舉例而言，若運算系統安置於用戶端處及/或由用戶端實施，則查明匹配點之動作可包括接收指示匹配點中的一些或全部之資料，及/或可包括(i)產生查詢指紋，(ii)接收參考指紋，及(iii)比較查詢指紋與參考指紋以查明匹配點。另外，關於正由用戶端接收之媒體串流的動作可包含例如廣告替換之內容修訂，或可包括準備內容修訂。
此外，上文所描述之各種操作可由儲存在非暫時性電腦可讀媒體上之程式指令定義，該等程式指令可由處理單元執行以實行操作(例如，以使操作被進行)。此類非暫時性電腦可讀媒體可接著在用戶端、伺服器及/或另一實體處提供、整合或以其他方式實施。另外，此類操作可採取其他形式。
上文已經描述例示性實施例。然而，熟習此項技術者將理解，可在不脫離本發明之真實範疇及精神的情況下對此等實施例作出改變及修改。
12‧‧‧媒體用戶端 14‧‧‧媒體源 16‧‧‧網路 18‧‧‧網路伺服器 30‧‧‧區塊 32‧‧‧區塊 34‧‧‧區塊 36‧‧‧區塊 38‧‧‧區塊 40‧‧‧區塊 42‧‧‧區塊 44‧‧‧區塊 46‧‧‧區塊 52‧‧‧網路通信介面 54‧‧‧處理單元 56‧‧‧非暫時性資料儲存體 58‧‧‧訊息匯流排/其他連接機構 60‧‧‧程式指令
圖1係可實施所揭示之特徵之系統的簡化方塊圖。
圖2係各具有各別真實時間值及各別用戶端時間值之匹配點之實例散佈圖。
圖3係描繪可根據本發明進行之操作的流程圖。
圖4係描繪可根據本發明進行之操作的另一流程圖。
圖5係描繪可根據本發明操作之運算系統之組件的簡化方塊圖。
30‧‧‧區塊
32‧‧‧區塊
34‧‧‧區塊
36‧‧‧區塊
38‧‧‧區塊

Claims (20)

  1. 一種方法，其包含： 由一運算系統接收表示正由一用戶端接收之一媒體串流的查詢指紋，該等查詢指紋帶有為根據該用戶端之一時鐘之用戶端時間的時間戳記； 由該運算系統比較該等接收之查詢指紋與表示一已知媒體串流之參考指紋，該等參考指紋帶有為根據該已知媒體串流內之一時間線之真實時間的時間戳記； 由該運算系統基於該比較偵測複數個匹配點，每一匹配點定義具有一相關聯之用戶端時間時間戳記的一查詢指紋與具有一相關聯之真實時間時間戳記之一參考指紋之間的一匹配； 由該運算系統基於該等偵測到之匹配點執行線性迴歸，該線性迴歸建立真實時間與用戶端時間之間的一映射； 由該運算系統應用該建立之映射作為一基礎來判定該用戶端應執行關於正由該用戶端接收之該媒體串流之一動作的一用戶端時間點；以及 使該用戶端在該判定之用戶端時間點執行該動作。
  2. 如請求項1之方法，其中關於正由該用戶端接收之該媒體串流之該動作包含一內容修訂。
  3. 如請求項2之方法，其中正由該用戶端接收之該媒體串流包含定義一廣告序列之一廣告莢，且其中該內容修訂包含用替換媒體內容替換該序列之一廣告。
  4. 如請求項1之方法，其中關於正由該用戶端接收之該媒體串流之該動作包含準備一內容修訂。
  5. 如請求項1之方法，其中應用該建立之映射作為一基礎來判定該用戶端應執行關於正由該用戶端接收之該媒體串流的該動作之一用戶端時間點包含：使用該建立之映射作為一基礎將應關於該已知媒體串流執行該動作的一預定義之真實時間點映射至該用戶端應執行關於正由該用戶端接收之該媒體串流之該動作的一對應用戶端時間點。
  6. 如請求項1之方法，其中該運算系統由與該用戶端進行網路通信之一伺服器實施。
  7. 如請求項1之方法，其中每一匹配點係基於(i)該等查詢指紋之一各別束與(ii)該等參考指紋之間的一比較，該方法進一步包含： 偵測該等查詢指紋之一給定束中之該等查詢指紋相互匹配；以及 回應於該偵測到該給定束之該等查詢指紋相互匹配，排除使用該給定束來建立用於該線性迴歸之一匹配點。
  8. 如請求項1之方法，其進一步包含由該運算系統使用該偵測之匹配點中之一或多個作為基礎來判定正由該用戶端接收之該媒體串流係該已知媒體串流， 其中線性迴歸之該執行、該映射之該應用及該使該用戶端在該判定之用戶端時間點執行該動作共同地至少回應於正由該用戶端接收之該媒體串流係該已知媒體串流之該判定。
  9. 一種運算系統，其包含： 一網路通信介面，藉由該網路通信介面進行傳輸及接收； 一處理單元； 非暫時性資料儲存體；以及 程式指令，其儲存在該非暫時性資料儲存體中且可由該處理單元執行以使該運算系統進行包括以下之操作： 識別(i)表示正由一媒體用戶端接收之一媒體串流的查詢指紋與(ii)參考指紋之間的複數個匹配點，其中每一識別之匹配點定義(i)帶有為根據該媒體用戶端之一時鐘定義之用戶端時間之時間戳記的一查詢指紋與(ii)帶有為根據一已知媒體串流內之一時間線定義的真實時間之時間戳記之一參考指紋之間的一各別匹配， 基於該識別之複數個匹配點之該等時間戳記執行線性迴歸，該線性迴歸建立真實時間與用戶端時間之間的一映射， 使用該建立之映射作為一基礎來判定該媒體用戶端應執行正由該媒體用戶端接收之該媒體串流中之一內容修訂的一用戶端時間點，以及 使該媒體用戶端在該判定之用戶端時間點執行該內容修訂。
  10. 如請求項9之運算系統，其中使用該建立之映射作為一基礎來判定該媒體用戶端應執行正由該媒體用戶端接收的該媒體串流中之該內容修訂的該用戶端時間點包含：使用該建立之映射作為一基礎將應在該已知媒體串流中執行該內容修訂的一預定義之真實時間點映射至該媒體用戶端應執行正由該媒體用戶端接收之該媒體串流中之該內容修訂的一對應用戶端時間點。
  11. 如請求項9之運算系統，其中該內容修訂包含內容替換。
  12. 如請求項11之運算系統，其中正由該媒體用戶端接收之該媒體串流包含定義一廣告序列之一廣告莢，且其中該內容修訂包含用替換媒體內容替換該序列之一廣告。
  13. 如請求項9之運算系統，其中該等操作進一步包括自該媒體用戶端接收該等查詢指紋，且其中使該媒體用戶端在該判定之用戶端時間點執行該內容修訂包含將使該媒體用戶端在該判定之用戶端時間點執行該內容修訂之一指令傳輸至該媒體用戶端。
  14. 如請求項9之運算系統，其中每一匹配點係基於(i)該等查詢指紋之一各別束與(ii)該等參考指紋之間的一比較，該操作進一步包括： 偵測該等查詢指紋之一給定束中之該查詢指紋相互匹配；以及 回應於該偵測到該給定束之該等查詢指紋相互匹配，排除使用該給定束來識別用於該線性迴歸之一匹配點。
  15. 如請求項9之運算系統，其中該等操作進一步包括使用該等識別之匹配點中之一或多個作為一基礎來判定正由該媒體用戶端接收之該媒體串流係該已知媒體串流， 其中線性迴歸之該執行、該映射之該使用及該使該媒體用戶端在該判定之用戶端時間點執行該內容修訂共同地至少回應於正由該媒體用戶端接收之該媒體串流係該已知媒體串流之該判定。
  16. 一種非暫時性電腦可讀媒體，該非暫時性電腦可讀媒體儲存指令，該等指令可由一處理單元執行以進行包含以下之操作： 識別(i)表示正由一用戶端接收之一媒體串流之查詢指紋與(ii)參考指紋之間的複數個匹配點，其中每一識別之匹配點定義(i)帶有為根據該用戶端之一時鐘定義之用戶端時間之時間戳記的一查詢指紋與(ii)帶有為根據一已知媒體串流內之一時間線定義之真實時間之時間戳記的參考指紋之間的一各別匹配； 基於該識別之複數個匹配點之該等時間戳記執行線性迴歸，該線性迴歸建立真實時間與用戶端時間之間的一映射； 使用該建立之映射作為一基礎來判定該用戶端應執行正由該用戶端接收之該媒體串流中之一內容修訂的一用戶端時間點；以及 使該用戶端在該判定之用戶端時間點執行該內容修訂。
  17. 如請求項16之非暫時性電腦可讀媒體，其中使用該建立之映射作為一基礎來判定該用戶端應執行正由該用戶端接收之該媒體串流中的該內容修訂之該用戶端時間點包含：使用該建立之映射作為一基礎將應在該已知媒體串流中執行該內容修訂的一預定義之真實時間點映射至該用戶端應執行正由該用戶端接收之該媒體串流中之該內容修訂的一對應用戶端時間點。
  18. 如請求項16之非暫時性電腦可讀媒體，其中每一匹配點係基於(i)該等查詢指紋之一各別束與(ii)該等參考指紋之間的一比較，該操作進一步包括： 偵測該等查詢指紋之一給定束中之該等查詢指紋相互匹配；以及 回應於該偵測到該給定束之該等查詢指紋相互匹配，排除使用該給定束來識別用於該線性迴歸之一匹配點。
  19. 如請求項16之非暫時性電腦可讀媒體，其中使該用戶端在該判定之用戶端時間點執行該內容修訂包含：輸出指示該判定之用戶端時間點的一內容修訂指令以供傳輸至該用戶端。
  20. 如請求項16之非暫時性電腦可讀媒體，其中正由該用戶端接收之該媒體串流包含定義一廣告序列之一廣告莢，且其中該內容修訂包含用替換媒體內容替換該序列之一廣告。
TW108122189A 2018-07-19 2019-06-25 建立及使用時間映射之方法、運算系統及非暫時性電腦可讀媒體 TWI730348B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862700660P 2018-07-19 2018-07-19
US62/700,660 2018-07-19
US16/166,971 2018-10-22
US16/166,971 US10904587B2 (en) 2018-07-19 2018-10-22 Establishment and use of time mapping based on interpolation using low-rate fingerprinting, to help facilitate frame-accurate content revision

Publications (2)

Publication Number Publication Date
TW202008794A true TW202008794A (zh) 2020-02-16
TWI730348B TWI730348B (zh) 2021-06-11

Family

ID=69162188

Family Applications (3)

Application Number Title Priority Date Filing Date
TW108122189A TWI730348B (zh) 2018-07-19 2019-06-25 建立及使用時間映射之方法、運算系統及非暫時性電腦可讀媒體
TW110118796A TWI786647B (zh) 2018-07-19 2019-06-25 建立及使用時間映射之方法、運算系統及非暫時性電腦可讀媒體
TW108122901A TWI733132B (zh) 2018-07-19 2019-06-28 基於使用低速指紋之內插來建立及使用時間映射以幫助促進訊框準確性內容修正

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW110118796A TWI786647B (zh) 2018-07-19 2019-06-25 建立及使用時間映射之方法、運算系統及非暫時性電腦可讀媒體
TW108122901A TWI733132B (zh) 2018-07-19 2019-06-28 基於使用低速指紋之內插來建立及使用時間映射以幫助促進訊框準確性內容修正

Country Status (7)

Country Link
US (7) US10904587B2 (zh)
EP (2) EP3824640A4 (zh)
JP (2) JP7170834B2 (zh)
KR (2) KR102486777B1 (zh)
CN (2) CN110999311B (zh)
TW (3) TWI730348B (zh)
WO (2) WO2020018193A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10904587B2 (en) * 2018-07-19 2021-01-26 Gracenote, Inc. Establishment and use of time mapping based on interpolation using low-rate fingerprinting, to help facilitate frame-accurate content revision
US10972799B2 (en) 2018-12-16 2021-04-06 The Nielsen Company (Us), Llc Media presentation device with voice command feature
WO2020142426A1 (en) * 2019-01-04 2020-07-09 Gracenote, Inc. Generation of media station previews using a secondary tuner
WO2020231927A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with responsive transmission of reference fingerprint data feature
US10972794B2 (en) 2019-05-10 2021-04-06 The Nielsen Company (Us), Llc Content-modification system with transmission delay-based feature
US10846506B1 (en) 2019-05-10 2020-11-24 The Nielsen Company (Us), Llc Content-modification system with geographic area-based feature
WO2020231821A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with fingerprint data match and mismatch detection feature
WO2020231813A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with responsive transmission of reference fingerprint data feature
US10796159B1 (en) 2019-05-10 2020-10-06 The Nielsen Company (Us), Llc Content-modification system with use of multiple fingerprint data types feature
US11386696B2 (en) 2019-05-10 2022-07-12 Roku, Inc. Content-modification system with fingerprint data mismatch and responsive action feature
US11354323B2 (en) 2019-05-10 2022-06-07 Roku, Inc. Content-modification system with geographic area-based feature
WO2020231817A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with determination of input-buffer switching delay feature
US11134305B2 (en) 2019-05-10 2021-09-28 Roku, Inc. Content-modification system with volume level adjustment feature
US11109088B2 (en) 2019-06-07 2021-08-31 Roku, Inc. Content-modification system with unscheduling feature
US11418835B2 (en) 2019-06-07 2022-08-16 Roku, Inc. Content-modification system with technical characteristic-based selection feature
JP7108798B2 (ja) 2019-06-07 2022-07-28 ロク インコーポレイテッド システムリソース要求機能を備えたコンテンツ修正システム
US11336949B2 (en) 2019-06-07 2022-05-17 Roku, Inc. Content-modification system with testing and reporting feature
US11627347B2 (en) 2019-06-07 2023-04-11 Roku, Inc. Content-modification system with broadcast schedule utilization feature
US11546647B2 (en) 2019-06-07 2023-01-03 Roku, Inc. Content-modification system with probability-based selection feature
US11418826B2 (en) 2019-06-07 2022-08-16 Roku, Inc. Content-modification system with supplemental content stitching feature
US11134292B2 (en) 2019-06-07 2021-09-28 Roku, Inc. Content-modification system with overlay handling feature
WO2020257424A1 (en) 2019-06-18 2020-12-24 The Nielsen Company (Us), Llc Content-modification system with determination of input-buffer switching delay feature
US11051057B2 (en) 2019-06-24 2021-06-29 The Nielsen Company (Us), Llc Use of steganographically-encoded time information as basis to establish a time offset, to facilitate taking content-related action
WO2021016255A1 (en) 2019-07-22 2021-01-28 The Nielsen Company (Us), Llc Content-modification system with broadcast schedule utilization feature
US11297367B2 (en) 2019-07-22 2022-04-05 Roku, Inc. Content-modification system with broadcast schedule utilization feature
US11095944B2 (en) 2019-08-19 2021-08-17 Roku, Inc. Content-modification system with broadcast schedule utilization feature
KR20210051048A (ko) * 2019-10-29 2021-05-10 삼성전자주식회사 전자 장치 및 그 제어 방법
CN114503600A (zh) * 2019-10-31 2022-05-13 六科股份有限公司 具有延迟缓冲器特征的内容修改系统
US11758220B2 (en) 2020-10-29 2023-09-12 Roku, Inc. Dynamic replacement of objectionable content in linear content streams
US11917231B2 (en) 2020-10-29 2024-02-27 Roku, Inc. Real-time altering of supplemental content duration in view of duration of modifiable content segment, to facilitate dynamic content modification
US11494803B2 (en) 2021-02-11 2022-11-08 Roku, Inc. Content modification system with viewer behavior-based content delivery selection feature
US11962870B2 (en) 2021-02-17 2024-04-16 Roku, Inc. Content-modification system with quiet content detection feature

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7269330B1 (en) * 1996-11-01 2007-09-11 Televentions, Llc Method and apparatus for controlling a video recorder/player to selectively alter a video signal
US6990453B2 (en) * 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US6965683B2 (en) * 2000-12-21 2005-11-15 Digimarc Corporation Routing networks for use with watermark systems
US20040194130A1 (en) 2003-03-07 2004-09-30 Richard Konig Method and system for advertisement detection and subsitution
US8611422B1 (en) * 2007-06-19 2013-12-17 Google Inc. Endpoint based video fingerprinting
JP4572928B2 (ja) * 2007-11-08 2010-11-04 ソニー株式会社 遠隔制御端末、情報取得装置、情報提供装置、情報提供システム、情報提供方法、およびプログラム
US8676030B2 (en) * 2008-04-15 2014-03-18 Shlomo Selim Rakib Methods and systems for interacting with viewers of video content
US8959108B2 (en) * 2008-06-18 2015-02-17 Zeitera, Llc Distributed and tiered architecture for content search and content monitoring
US9015741B2 (en) 2009-04-17 2015-04-21 Gracenote, Inc. Method and system for remotely controlling consumer electronic devices
EP2425563A1 (en) * 2009-05-01 2012-03-07 The Nielsen Company (US), LLC Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content
WO2010144671A2 (en) 2009-06-11 2010-12-16 Dolby Laboratories Licensing Corporation Trend analysis in content identification based on fingerprinting
US8594392B2 (en) 2009-11-18 2013-11-26 Yahoo! Inc. Media identification system for efficient matching of media items having common content
CN102959543B (zh) * 2010-05-04 2016-05-25 沙扎姆娱乐有限公司 用于处理媒体流的样本的方法和系统
US9179198B2 (en) 2010-10-01 2015-11-03 Sony Corporation Receiving apparatus, receiving method, and program
US8863165B2 (en) * 2010-11-01 2014-10-14 Gracenote, Inc. Method and system for presenting additional content at a media system
KR101211098B1 (ko) * 2011-04-25 2012-12-11 (주)엔써즈 클라이언트 단말기측으로 네트워크를 통해 방송에 포함된 광고와 연관된 정보를 제공하는 시스템 및 방법
US9113202B1 (en) * 2011-09-21 2015-08-18 Google Inc. Inverted client-side fingerprinting and matching
JP6071184B2 (ja) * 2011-10-26 2017-02-01 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 受信装置、受信方法、プログラム、及び情報処理システム
US9292894B2 (en) * 2012-03-14 2016-03-22 Digimarc Corporation Content recognition and synchronization using local caching
US9703932B2 (en) 2012-04-30 2017-07-11 Excalibur Ip, Llc Continuous content identification of broadcast content
US9146990B2 (en) * 2013-01-07 2015-09-29 Gracenote, Inc. Search and identification of video content
EP3651469A1 (en) 2013-09-20 2020-05-13 Koninklijke KPN N.V. Correlating timeline information between media streams
EP2876890A1 (en) * 2013-11-21 2015-05-27 Thomson Licensing Method and apparatus for frame accurate synchronization of video streams
US9456237B2 (en) 2013-12-31 2016-09-27 Google Inc. Methods, systems, and media for presenting supplemental information corresponding to on-demand media content
US9402111B2 (en) * 2014-09-17 2016-07-26 Ispot.Tv, Inc. Television audience measurement method and apparatus
KR102217191B1 (ko) 2014-11-05 2021-02-18 삼성전자주식회사 단말 장치 및 그 정보 제공 방법
US10750236B2 (en) * 2015-04-23 2020-08-18 The Nielsen Company (Us), Llc Automatic content recognition with local matching
US20160316261A1 (en) * 2015-04-23 2016-10-27 Sorenson Media, Inc. Automatic content recognition fingerprint sequence matching
US9743154B2 (en) * 2015-09-09 2017-08-22 Sorenson Media, Inc Dynamic video advertisement replacement
US9699504B2 (en) * 2015-09-28 2017-07-04 Rovi Guides, Inc. Systems and methods for identifying a source of media content based on a log of content identifiers
JP2017111274A (ja) * 2015-12-16 2017-06-22 ヤマハ株式会社 データ処理装置
US9930406B2 (en) * 2016-02-29 2018-03-27 Gracenote, Inc. Media channel identification with video multi-match detection and disambiguation based on audio fingerprint
US20190020913A9 (en) * 2016-06-27 2019-01-17 Facebook, Inc. Systems and methods for identifying matching content
KR102410473B1 (ko) 2016-08-01 2022-06-17 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
WO2018026162A1 (en) * 2016-08-01 2018-02-08 Samsung Electronics Co., Ltd. Electronic apparatus and method of operating the same
US10659509B2 (en) 2016-12-06 2020-05-19 Google Llc Detecting similar live streams ingested ahead of the reference content
US10853428B2 (en) * 2017-07-14 2020-12-01 Facebook, Inc. Computing a ranked feature list for content distribution in a first categorization stage and second ranking stage via machine learning
US10158907B1 (en) * 2017-10-10 2018-12-18 Shazam Investments Ltd. Systems and methods for performing playout of multiple media recordings based on a matching segment among the recordings
US10904587B2 (en) * 2018-07-19 2021-01-26 Gracenote, Inc. Establishment and use of time mapping based on interpolation using low-rate fingerprinting, to help facilitate frame-accurate content revision

Also Published As

Publication number Publication date
CN111213385B (zh) 2022-12-06
TWI733132B (zh) 2021-07-11
CN111213385A (zh) 2020-05-29
US20210266616A1 (en) 2021-08-26
US20210105515A1 (en) 2021-04-08
CN110999311B (zh) 2022-07-26
CN110999311A (zh) 2020-04-10
EP3824640A4 (en) 2022-05-04
JP2021530928A (ja) 2021-11-11
US11882321B2 (en) 2024-01-23
US11044499B2 (en) 2021-06-22
TW202205870A (zh) 2022-02-01
WO2020018192A1 (en) 2020-01-23
US20220191563A1 (en) 2022-06-16
KR20210022134A (ko) 2021-03-02
JP7170835B2 (ja) 2022-11-14
US20200029108A1 (en) 2020-01-23
TWI730348B (zh) 2021-06-11
JP2021530927A (ja) 2021-11-11
US11665378B2 (en) 2023-05-30
KR102486777B1 (ko) 2023-01-11
US20200296436A1 (en) 2020-09-17
WO2020018192A8 (en) 2021-02-11
US10904587B2 (en) 2021-01-26
US20220167029A1 (en) 2022-05-26
EP3824641A1 (en) 2021-05-26
KR102484054B1 (ko) 2023-01-02
JP7170834B2 (ja) 2022-11-14
TW202008796A (zh) 2020-02-16
WO2020018193A1 (en) 2020-01-23
EP3824641A4 (en) 2022-05-04
TWI786647B (zh) 2022-12-11
US20200029115A1 (en) 2020-01-23
US10715840B2 (en) 2020-07-14
EP3824640A1 (en) 2021-05-26
KR20210021099A (ko) 2021-02-24
US11284131B2 (en) 2022-03-22
US11303939B2 (en) 2022-04-12

Similar Documents

Publication Publication Date Title
TWI730348B (zh) 建立及使用時間映射之方法、運算系統及非暫時性電腦可讀媒體
TWI736511B (zh) 動態控制指紋辨識速率以促進媒體內容的時間準確性修訂
KR101969812B1 (ko) 미디어 채널 변경을 검출하고 이에 응답하기 위한 방법 및 시스템