TW202008796A - 基於使用低速指紋之內插來建立及使用時間映射以幫助促進訊框準確性內容修正 - Google Patents

基於使用低速指紋之內插來建立及使用時間映射以幫助促進訊框準確性內容修正 Download PDF

Info

Publication number
TW202008796A
TW202008796A TW108122901A TW108122901A TW202008796A TW 202008796 A TW202008796 A TW 202008796A TW 108122901 A TW108122901 A TW 108122901A TW 108122901 A TW108122901 A TW 108122901A TW 202008796 A TW202008796 A TW 202008796A
Authority
TW
Taiwan
Prior art keywords
client
time
media stream
media
fingerprints
Prior art date
Application number
TW108122901A
Other languages
English (en)
Other versions
TWI733132B (zh
Inventor
彼得 當克
馬克思 K 克里莫
沙山克 C 莫辰
庫特 R 泰連
Original Assignee
美商葛蘭諾公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商葛蘭諾公司 filed Critical 美商葛蘭諾公司
Publication of TW202008796A publication Critical patent/TW202008796A/zh
Application granted granted Critical
Publication of TWI733132B publication Critical patent/TWI733132B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • H04N21/6543Transmission by server directed to the client for forcing some client operations, e.g. recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6581Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Computer And Data Communications (AREA)

Abstract

本發明係關於一種媒體用戶端,其確定(i)表示由該用戶端接收之一媒體流之查詢指紋與(ii)參考指紋之間的複數個匹配點,各經識別匹配點定義用根據該用戶端之一時脈定義之用戶端時間加時間戳記之一查詢指紋與用根據一已知媒體流內之一時間線定義之真實時間加時間戳記之一參考指紋之間之一各自匹配。此外,該用戶端基於該經確定複數個匹配點之該等時間戳記來執行線性迴歸,以在真實時間與用戶端時間之間建立一映射。接著,該用戶端使用該經建立映射作為確定在其處該用戶端應就該用戶端正在接收媒體流來執行一動作之一用戶端時間點之一基礎。且該用戶端在該經確定用戶端時間點處執行該動作。

Description

基於使用低速指紋之內插來建立及使用時間映射以幫助促進訊框準確性內容修正
本申請案係關於基於使用低速指紋之內插來建立及使用時間映射以幫助促進訊框準確性內容修正。
一典型媒體用戶端操作以接收表示媒體內容(諸如視訊及/或音訊內容)之一類比或數位媒體流及輸出該媒體內容及/或轉送該流以在一使用者介面(諸如一顯示器螢幕及/或一音訊揚聲器)上呈現該內容。此類用戶端之實例包含電視機、電腦監視器、投影系統、揚聲器、耳機、視訊轉換器(例如,有線電視或衛星TV接收器)、數位錄影機、收音機、個人電腦、行動通信裝置、遊戲機、流式媒體播放機及類似者。
藉由實例,媒體用戶端可係一電視機,其可接收一媒體流(例如,一空中廣播流、自一視訊轉換器輸出之一媒體流、自一數位儲存媒體播放之一媒流體、一網際網路流或另一此流)且可向使用者呈現彼流之媒體內容。作為另一實例,媒體用戶端可係一視訊轉換器,其可自一多通道視訊節目分配器接收一廣播流且可經由一高清多媒體介面(HDMI)電纜或其他介面將彼流之媒體內容輸出至一電視機及/或音訊/視訊接收器以進行播放。作為又另一實例,媒體用戶端可係一數位錄影機或答錄機,其同樣可接收一廣播流但可儲存該流供稍後播放。且作為又另一實例,媒體用戶端可係一揚聲器或耳機,其可自一收音機、電腦或其他接收器或音訊儲存裝置接收一音訊流且可向一使用者呈現彼流之音訊內容。諸多其他實例同樣亦係可行的。
當一媒體用戶端接收一媒體流時,在某些情景中可係有用的是,使用戶端修正流之媒體內容之一部分。舉例而言,可係有用的是,使用戶端用一替換ad或用其他替換內容動態地替換一ad或媒體內容之其他片段,使得當向一使用者播出內容時,使用者將接收替換ad而非最初包含之ad。作為另一實例,可係有用的是,使用戶端用疊對或分屏內容(例如通道識別、背景內容資訊、ad內容或類似者)動態地增補媒體內容之一部分,使得當向一使用者播出內容時,使用者可與最初包含之內容一起接收增補內容。
此外,可期望用戶端在一特定時間點處在媒體流內執行此內容修正。例如,若用戶端將要用一替換ad動態地替換一既有ad,則可期望用戶端在既有ad可能已開始時在一時間處將替換ad定位在媒體流中。同樣地,若用戶端將要用與媒體內容之一特定部分相關之一疊對增補彼部分,則可期望用戶端在彼部分開始時開始疊對。其他實例同樣亦係可行的。
更特定言之,討論中之媒體流可定義一訊框序列,諸如視訊訊框及/或音訊訊框,且可期望用戶端以一訊框準確性基礎執行內容修正。例如,對於ad替換,可期望用戶端精確地在既有ad之第一訊框處開始插入替換ad來代替既有ad。且為了將一疊對添加至媒體流之一特定部分,可期望用戶端在媒體流之彼部分之第一訊框處或與媒體流之彼部分之第一訊框成特定關係開始疊對。
為了有利於使用戶端執行此內容修正,用戶端可能需要學習修正將要在其處發生之特定時間點。然而,在實務中,修正時間點可定義在用戶端未知之一時間線上。舉例而言,修正時間點可在媒體流本身內之一參考時間線上定義,但用戶端可能不具有針對彼時間線之背景內容。因此,向用戶端提供彼修正時間點可能無法使用戶端在媒體流中之所要時間點處執行修正。
作為此之一非限制性實例,考慮定義可在一電視廣播內出現之一ad群(pod)之一媒體流。一ad群包括一系列ad,諸如電視廣告。在此實例之情況下,用戶端可係接收及呈現一特定電視頻道之一線性廣播饋送之一電視機,且ad群可在任一時刻出現在彼饋送內。特別係在一現場直播(諸如體育賽事)之情況下,例如,ad群出現在此一饋送中之時間可係不可預測的。替代地,ad群可在一具體排定時間出現。
在此實例中,所要修正可係ad群內之一特定ad之替換(例如,用一不同ad或其他替換內容代替該ad)。例如,若ad群係一ad序列A1、A2、A3、A4,則所要修正可係替換ad A3。
在此情況中,ad群可定義一內部時間線,在時間T=0處開始且繼續至ad群結束,且ad A3可在彼時間線上之時間TA3 處開始。然而,用戶端可能缺乏針對彼時間線之背景內容。用戶端可具有其自身內部時脈,其具有定義「用戶端時間」之一時間線(例如,當日時間或其他內部時間參考)。但在不具有ad群時間線存在於用戶端時間內之位置之高級知識之情況下,僅給定值TA3 作為所要內容修正時間點將無法使用戶端在期望時執行ad替換。
解決此問題之一種方法係執行指紋匹配、比較由用戶端接收之媒體流之加時間戳記之查詢指紋與已知媒體流(諸如已知ad群序列)之加時間戳記之參考指紋。
例如,用戶端可生成用戶端正接收之媒體流之訊框之查詢指紋,且可基於用戶端之內部時脈對彼等查詢指紋加時間戳記,且一計算系統可接收彼等加時間戳記之查詢指紋以進行分析。此外,計算系統可經提供有基於沿已知媒體流內之一時間線定義之參考時間或「真實時間」加時間戳記之已知媒體流(諸如已知ad群序列)之訊框之參考指紋。
計算系統可因此比較加時間戳記之查詢指紋與加時間戳記之參考指紋以試圖找到一查詢指紋匹配一參考指紋之一匹配點,且一旦找到匹配點,可推斷匹配查詢指紋之時間戳記與匹配參考指紋之時間戳記對應。
在匹配之查詢與參考指紋之時間戳記之間建立此相關性可構成在用戶端時間與真實時間之間建立「同步鎖定」或時間映射。例如,匹配查詢指紋與匹配參考指紋之時間戳記之間之一差異可定義當用戶端接收媒體流時已知媒體流內之真實時間與用戶端時間之間之一時間偏移。給定已知媒體流內之一訊框之一真實時間點之知識,計算系統可因此使用經建立同步鎖定判定由用戶端接收之媒體流中之相同訊框之相關聯之用戶端時間點。例如,計算系統可在真實時間與用戶端時間之間應用時間偏移,以便判定與給定真實時間點對應之用戶端時間點。
繼續上文之ad群實例,計算系統可使用經建立同步鎖定將真實時間值TA3 映射為標示用戶端應替換由用戶端接收之媒體流中之ad A3之用戶端時間點(例如,其中用戶端應開始ad替換之用戶端時間點)之一用戶端時間值。且接著,用戶端可在彼經判定用戶端時間點處執行ad A3之替換。
然而,此程序可出現之一技術問題係用戶端無法足夠快地生成查詢指紋以有利於查詢指紋與參考指紋之間之高可信度指紋匹配。特定言之,為了幫助在用戶端處節省有限之處理電力、記憶體及/或其他資源,用戶端可經配置以按一相對較低訊框速率生成指紋,該速率可遠低於用戶端接收之媒體流之訊框速率。因此,經偵測指紋匹配可能係不準確的且經建立同步鎖定可能係不準確的。
舉例而言,在視訊每秒具有30個訊框之情況下,用戶端可經設定以按一較低訊框速率(諸如每秒2訊框)生成查詢指紋。但以彼較低速率執行指紋匹配可導致一低可信度指紋匹配。
此困難之一個原因係媒體流可包含與媒體序列之部分對應之相同或幾乎相同訊框之各種子序列,其中媒體內容在一時間段內實質上不會改變。此之一實例可係在一時間段內呈現一靜止影像之視訊。在彼情景中,一查詢指紋可在一經定義匹配公差內匹配多個連續參考指紋。
因此,計算系統對一給定匹配點之偵測可係相對低可信度。且因此,真實時間與用戶端時間之間之計算系統之經建立映射可潛在地係不準確的,且可產生使用者體驗問題。例如,不準確之時間映射可導致用戶端太早或太晚執行一定向內容修正。在內容替換(例如,ad替換)之情況下,一使用者可將此不合時宜之內容修正感知為所呈現媒體內容中之一不連續或不一致性。
按照本發明,此問題可至少部分藉由將多個經偵測匹配點考慮在內及在彼等點之間內插以在真實時間與用戶端時間之間建立一經改良映射來解決。
在一代表性實施方案中,給定由用戶端生成之低速查詢指紋,計算系統可如上文論述般進行指紋比較,且計算系統可隨著時間推移偵測多個匹配點,其中各匹配點表示一真實時間點與一用戶端時間點之間之一經判定相關性。隨著計算系統偵測此等匹配點,接著,計算系統可以程式設計方式建立該等點之一散佈圖且執行線性迴歸以建立表示真實時間與用戶端時間之間之一經改良映射之一最佳擬合線。
接著,計算系統可使用此經改良映射作為預測用戶端時間中之哪一點將與真實時間中之一即將出現之點相關之一基礎,以便有利於使用戶端在該即將出現之時間點處執行一內容修正或採取其他相關聯之動作(例如,準備進行內容修正)。例如,計算系統可使用經改良映射作為預測用戶端時間中之哪一點將與用戶端將要執行一內容修正之一即將出現之訊框之一真實時間參考時間戳記相關之一基礎。且接著,計算系統可致使用戶端在彼經預測用戶端時間點處執行內容修正。
一般技術者藉由閱讀以下詳細描述,在適當時候參考附圖將變得明白此等以及其他態樣、優點及替代物。此外,應理解,在此發明內容中及在下文提供之描述意欲僅藉由實例而非作為限制來繪示本發明。
相關申請案之參考 本申請案主張2018年10月22日申請之美國專利申請案第16/166,981號及2018年7月19日申請之美國臨時專利申請案第62/700,660號的優先權,該等案之各者的全部內容特此係以引用的方式併入。
本申請案亦係關於2018年10月22日申請之另一美國專利申請案第16/166,971號,該案之全部內容特此係以引用的方式併入。
參考圖式,圖1係所揭示之各種原理可應用於其中之一實例系統之一簡化方塊圖。然而,應理解,本文描述之此及其他配置及程序可採用各種其他形式。例如,元件及操作可重新排序、分佈、複製、組合、省略、添加或依其他方式修改。此外,應理解,由一或多個實體所實施之本文描述之操作可由彼等實體及/或代表彼等實體透過硬體、韌體及/或軟體(諸如)由執行程式指令或類似者之一或多個處理單元實施。
如圖1中展示,實例系統包含經組態以自一媒體源14即時地接收一媒體流之一媒體用戶端12。
在實務中,媒體用戶端12可經組態以如上文描述般操作以自媒體源14接收表示媒體內容(諸如視訊及/或音訊內容)之一類比或數位媒體流及輸出該媒體內容及/或轉送該流以在一使用者介面(諸如一顯示器螢幕及/或一音訊揚聲器)上呈現該內容。媒體用戶端可採取上文描述之形式之任一者以及其他可能性。
媒體源14可能地取決於媒體用戶端12之形式亦可採取各種形式。藉由實例,若媒體用戶端12係一電視機,則媒體源14可係經組態以輸出一所選擇之媒體流以藉由電視機呈現之一本端視訊轉換器(例如,有線電視或衛星接收器)或一流式媒體伺服器,或媒體源14可係一廣播電視站或類似者以及其他可能性。且若媒體用戶端係一電腦,則媒體源可包括一網際網路流式媒體伺服器或其他媒體提供者。替代地,媒體源14可係與媒體用戶端12整合及/或可由媒體用戶端12在本端存取之資料儲存裝置,其中媒體用戶端自資料儲存裝置接收(例如,擷取)媒體流以進行播出。其他實例同樣亦係可行的。
如圖1中進一步展示,媒體用戶端12可經過一網路(例如,網際網路或一私人網路) 16與一網路伺服器18通信,網路伺服器18可與媒體源14相關聯及/或整合或可不與媒體源14相關聯及/或整合。
在一實例實施方案中,媒體用戶端12及網路伺服器18可參與資料通信以有利於實施諸如上文提及之操作之操作。例如,一代表性計算系統之態樣可由伺服器18實施,其與用戶端12交交互操作以建立同步鎖定,應用同步鎖定以判定用戶端應執行一內容修正之一用戶端時間點,及致使用戶端在該經判定用戶端時間點處執行內容修正。此外或替代地,一代表性計算系統之態樣可由用戶端12實施,其與伺服器18交交互操作以實施類似操作。
如上文提及,當一媒體用戶端(諸如用戶端12)接收一媒體流時,可係有用的是,使用戶端修正流之內容之一部分,諸如以替換或增補流之內容之一片段。此外,如上文提及,可期望用戶端在一特定時間點處在媒體流內如此做。例如,若流定義一訊框序列,諸如視訊訊框及/或音訊訊框,則可期望用戶端在序列之一特定訊框處開始執行修正。
為了有利於此內容修正,一計算系統可首先識別由用戶端接收之媒體流。例如,計算系統可首先判定由用戶端接收之媒體流係含有應修正之特定內容的媒體流。一旦識別媒體流,計算系統即可判定媒體流中之一特定點,在該特定點處用戶端應執行內容修正且可致使用戶端在彼經判定點處執行內容修正。
識別由一用戶端接收之媒體流的一種方式係使用戶端(或可能係一附屬裝置)生成表示由用戶端接收之媒體內容的數位指紋資料,及使伺服器18比較彼指紋資料與表示一已知媒體流之媒體內容的參考指紋資料,其中指紋匹配指示用戶端正接收已知媒體流。
在一實例實施方案中,伺服器18或另一此實體可建立對表示已知媒體流之參考指紋資料的存取,或依其他方式存取該參考指紋資料。例如,伺服器可建立或經提供有表示媒體流之訊框之一參考數字指紋序列。伺服器或另一實體可藉由以程式設計方式分析已知媒體流之訊框、接收已知媒體流之一副本作為輸入,及應用現在已知或稍後開發之用於生成參考指紋的任一媒體指紋程序或演算法來建立此等參考指紋。此等參考指紋可依一相對較高之細微性級生成,以有利於指紋匹配。舉例而言,對於包括每秒30個訊框之視訊之一媒體流,序列可包含每個訊框之一參考視訊指紋,因此同樣地處於每秒30個訊框之速率或處於另一合理地較高速率。
此外,當用戶端12接收一媒體流的即時,用戶端可生成表示其接收之流之媒體內容的查詢指紋資料,且可將查詢指紋資料發射至伺服器18以進行分析。用戶端可使用經應用以建立參考指紋之相同指紋程序或演算法來建立此等查詢指紋以有利於指紋比較。然而,如上文提及,由於用戶端處之資源限制(例如,對處理電力、記憶體及網路速度之限制)或出於其他原因,且給定此查詢指紋生成可係用戶端正進行之一程序,用戶端可經組態以按一相對較低速率來生成此等查詢指紋。例如,對於包括視訊之一媒體流,用戶端可經組態以按每秒僅2個訊框之一速率生成此等查詢指紋,且用戶端可每1.5秒左右將所生成之查詢指紋發射至伺服器。其他實例同樣亦係可行的。
隨著伺服器自用戶端接收查詢指紋資料,伺服器可比較查詢指紋資料與已知媒體流之參考指紋資料。且若伺服器藉此在充分可信度下判定查詢指紋資料匹配參考指紋資料,則伺服器可推斷出由用戶端接收之媒體流係已知媒體流(即,已知媒體流之一副本)。
伺服器可針對每一訊框進行此指紋比較。考慮視訊內容,例如,伺服器可針對每一視訊訊框進行分析,從而比較一訊框之一查詢指紋與一訊框之一參考指紋。比較程序可取決於指紋之結構採用多種形式之任一者。舉例而言,比較可涉及計算指紋之間之一最大偏差及判定該最大偏差是否在一經預定義公差內。此外,若指紋係二進位的,則此可係一布林判定或可涉及計算一漢明(Hamming)距離(作為指紋中之各自位元位置之間之一失配計數)。且若指紋係更複雜值(諸如十進位值或向量(例如,每視訊訊框區域之灰度值)),則此可涉及判定該等值或向量之間之一距離。諸多其他實例同樣亦係可行的。
另外,伺服器可在一所要公差位準下進行指紋比較程序。例如,比較可係粗糙的,對於指紋之間之差異具有相對較高公差,例如對於一更大數目個差異具有公差及/或對於一更大大小之差異具有公差。藉由實例,當相互比較兩個32位元指紋時,一粗糙比較可認為指紋大體上彼此匹配,即使兩個或另一標示數目之位元不匹配。或者,比較可係更細細微性,對於此類差異具有下公差,及/或其中比較集中在可能表示底層媒體之特定部分之特定指紋組件。
此外,伺服器可一次關於一個查詢指紋進行指紋比較。例如,伺服器可比較各循序提供之查詢指紋與參考指紋以試圖找到在一經定義的匹配公差內匹配查詢指紋之一參考指紋。
替代地,伺服器可一次關於一批指紋進行比較。例如,伺服器可比較由各循序批之四個連續查詢指紋(以一滑動窗為基於或作為離散循序群組)與參考指紋以試圖找到在一經定義之匹配公差內匹配一群組四個查詢指紋之一批四個參考指紋。為了有利於此,若查詢指紋及參考指紋係以與彼此不同之訊框速率生成,則伺服器可組態其對與該批查詢指紋相同地在時間上彼此間隔開之一批匹配參考指紋之搜尋。例如,若查詢指紋係依每秒2訊框生成(即,與彼此分離開500毫秒)且參考指紋係依每秒30個訊框生成,則伺服器可搜尋彼此間隔開500毫秒且在一經定義匹配公差內匹配一群組四個連續查詢指紋之一批四個參考指紋。
當伺服器已依充分可信度偵測到內容時,伺服器將因此識別到媒體流中之一或多個匹配點。若伺服器一次使用一個指紋執行指紋比較,則各匹配點將係匹配參考指紋表示之一訊框。然而,若伺服器一次使用一群組指紋執行指紋比較,則各匹配點可係匹配群組中之第一或另一標示參考指紋表示之一訊框。在任一情況中,此匹配可建立或建立或支援由用戶端接收之媒體流係已知媒體流之一結論。
替代地,伺服器可依其他方式識別討論中之媒體流。例如,若媒體流含有與媒體流之一身份對應之浮水印資料,則用戶端可讀取或依其他方式提取浮水印資料及向伺服器報告浮水印資料。且接著,伺服器可使用所報告之浮水印資料作為識別由用戶端接收及/或播放之媒體流之一基礎。
在識別出由用戶端接收之媒體流之後,接著,伺服器可判定媒體流中用戶端應在其處執行一內容修正之一點。在一代表性實施方案中,例如,伺服器可存取參考資料,該參考資料指示已知媒體流中將發生一內容修正之點且指示在彼點處將要發生何種內容修正。例如,參考資料可識別已知媒體流中將要開始內容修正之一特定訊框。因此,伺服器可參考參考資料來判定彼所要內容修正點。
接著,伺服器可將指示用戶端在媒體流中之經判定點處執行內容修正之一指示發射至用戶端。例如,伺服器可經過網路16將指定媒體流中之經判定點且向用戶端提供替換或疊對媒體之一訊息發射至用戶端,或依其他方式關於用戶端在媒體流中之彼點處將要執行哪些內容修正對用戶端進行引導。且用戶端可經組態以接收及解譯該指示及回應性地在媒體流中之所指示點處執行內容修正。
在此程序中,伺服器可能知道用戶端應在媒體流中執行內容修正之特定時間點。例如,可由伺服器存取之參考資料可將此時間點指定為在已知媒體流內(即,在上文所描述之「真實時間」內)之一時間線中量測之一特定時間。如上文提及,例如,此時間線可依已知媒體流之一開始處之一原始時間(例如,T=0)開始,且已知媒體流之各訊框可在彼時間線上之一特定時間點處發生。因此,伺服器可自參考資料判定用戶端應在媒體流中執行內容修正之真實時間點。
然而,用戶端之時間參考可能係不同的。如上文提及,用戶端之時間參考可係根據用戶端中之一內部時脈定義之「用戶端時間」。儘管用戶端時間及真實時間可依與彼此相同之速率最佳運行,但其等之原始點可能不同。因此,僅知道已知媒體流中之一真實時間點可能本身不能在用戶端時間中提供背景內容。因此,上文所提及之問題係伺服器可如何依一用戶端可理解之方式特性化用戶端將要開始執行內容修正之媒體流中之時間點。
解決上文所提出之此問題之一種方式係使伺服器使用用戶端提供之匹配查詢指紋之時間戳記作為伺服器判定媒體流之用戶端之時間參考之一方式,且接著使伺服器使用彼用戶端時間參考作為特性化用戶端將要開始內容修正之媒體流中之時間點之一基礎。
為了有利於此,隨著用戶端生成其查詢指紋,用戶端可基於用戶端之內部時脈給各查詢指紋加時間戳記。因此,用戶端發射至伺服器以進行分析之查詢指紋可係加時間戳記之查詢指紋。此外,伺服器可經提供有或依其他方式存取已知媒體流訊框之加時間戳記之參考指紋。例如,伺服器可經提供有指定已知媒體流之各訊框之參考資料(i)訊框之一參考指紋及(ii)已知媒體流內之一相關聯之真實時間時間戳記。
隨著伺服器自用戶端接收加時間戳記之查詢指紋,伺服器可比較查詢指紋與參考指紋以試圖偵測匹配點,即,其中查詢指紋匹配一參考指紋之例項。當伺服器已偵測到一或多個此類匹配點時,伺服器將知道各經偵測匹配點之(i)匹配點之真實時間時間戳記及(ii)匹配點之用戶端時間時間戳記兩者。
因而,伺服器將在真實時間與用戶端時間之間有效地建立一同步鎖定。即,伺服器將在(i)媒體流內之真實時間時間戳記與(ii)根據用戶端之內部時脈之用戶端時間之間有效地建立一映射,此係因為伺服器現在將知道匹配訊框在媒體流中之位置及在媒體流中之彼時間點處用戶端之時間係什麼兩者。如上文論述,此同步鎖定可構成一時間偏移,使得伺服器可將時間偏移應用於媒體流中之一給定真實時間點以判定媒體流中之對應用戶端時間點。
在媒體流中發現此匹配點且建立同步鎖定之後,伺服器可計算用戶端將要在媒體流中執行內容修正之用戶端時間點,即,用戶端將在媒體流中開始內容修正之位置。舉例而言,給定內容修正將要發生之真實時間點之參考資料指示,伺服器可應用由同步鎖定定義之偏移以判定內容修正將要發生之相關聯之用戶端時間點。或者,伺服器可計算自匹配點之真實時間點至內容修正將要開始之訊框之時間之已知媒體流內之一持續時間,且接著,伺服器可將計算得到之持續時間添加至匹配點之用戶端時間點以便判定內容修正將要開始之相關聯之用戶端時間點。其他實例同樣可係可能的。
接著,伺服器可將此經判定用戶端時間點之一說明與使用戶端在此用戶端時間點處開始執行內容修正之一指示一起發射至用戶端。且若用戶端未準備好經提供有關於將在彼時間點開始執行之內容修正之資訊,則伺服器亦可將彼內容修正資訊發射至用戶端。例如,伺服器可自資料儲存裝置擷取供用戶端代替由用戶端接收之媒體流中之內容之特定替換內容且將該特定替換內容發射至用戶端。或者,伺服器可將至此替換內容之一指針發射至用戶端,例如用戶端可自其獲得替換內容之一網路或本機存放區位址。
用戶端可因此自伺服器接收在所指示之用戶端時間點開始內容修正之指示。且若用戶端未準備好經提供有定義在彼用戶端時間點處執行修正之資料,則用戶端可(諸如)自伺服器或自由伺服器指定之一位址接收彼等資料。藉由參考用戶端之內部時脈,接著,用戶端可工作以在所指示之用戶端時間點處準確地開始內容修正。例如,在所指示之用戶端時間點處,用戶端可開始用替換內容訊框代替由用戶端接收之媒體流之訊框或將增補內容疊對在由用戶端接收之媒體流之訊框上以及其他可能性。
然而,如上文提及,若用戶端依一相對較低速率生成其查詢指紋(諸如,如上文論述般以每秒2個訊框之視訊指紋),則可產生此程序中之另一問題。向伺服器提供依此一較低速率生成之查詢指紋使伺服器難以以高可信度識別媒體流中之一匹配點及/或可導致低可信度同步鎖定。
如上文提及,此困難之一個原因係,媒體流可包含與媒體序列之部分對應之相同或幾乎相同訊框之各種子序列,其中媒體內容在一時間段內完全不改變。在彼情景中,一查詢指紋可在經定義之匹配公差內匹配多個連續參考指紋。此外,一批查詢指紋可在經定義之匹配公差內匹配多批參考指紋(例如,其中該批中之一些查詢指紋匹配或多或少地對應參考指紋,此可能係由於淡化或其他變動)。因此,伺服器對一匹配之偵測及同步鎖定之建立可係相對低可信度。
按照本發明,如上文提及,此問題可至少部分藉由將多個經偵測匹配點考慮在內及在彼等點之間內插以在真實時間與用戶端時間之間建立一經改良映射來解決。
在一代表性實施方案中,隨著伺服器自用戶端接收低速查詢指紋及進行一指紋比較,如上文論述,伺服器將隨著時間推移偵測多個匹配點(針對各種查詢指紋之各者者或針對各批查詢指紋之各者),其中各匹配點表示一真實時間點與一用戶端時間點之間之一經判定相關性。隨著伺服器偵測此等匹配點,伺服器可接著以程式設計方式在笛卡爾(Cartesian)座標中建立點之一散佈圖,其中真實時間沿一個軸且用戶端時間沿另一軸,且伺服器可執行線性迴歸以基於該等點建立一最佳擬合線。
圖2藉由實例繪示此。特定言之,圖2繪示一散佈圖,其中真實時間沿x軸且用戶端時間沿y軸。散佈圖包含多個代表性匹配點,且該圖描繪匹配點之間建立之一最佳擬合線。此最佳擬合線有效地表示真實時間與用戶端時間之間之一經改良映射、虛擬時序或同步鎖定。藉由對一足夠數量之匹配點執行線性迴歸,伺服器可因此在面對低速查詢指紋時建立此經改良映射。
注意,此處描述之散佈圖及最佳擬合分析無需在幾何上或在視覺上進行。伺服器可使用現在已知或稍後開發之任一線性迴歸演算法基於經偵測匹配點之真實時間、用戶端時間座標以算術方式實施程序。
亦注意,此程序中建立之最佳擬合線可通常具有斜率1,假定用戶端處之媒體流速率(每秒訊框數)與伺服器相同。鑒於此,待解決之問題可係最佳擬合線在圖中垂直或水平地所處之位置及因此真實時間與用戶端時間之間之時間偏移係什麼。另外,可存在其中用戶端處之媒體流速率稍微不同於伺服器處之媒體流速率之情景,在此案例中,線之斜率可不同於1。
接著,伺服器可使用此經改良映射作為預測用戶端時間中之哪一點將與真實時間中之即將出現之一點(例如與內容修正或相關聯之動作將要在其處發生之一訊框之一參考時間戳記)相關之一基礎。且伺服器可將指定經判定用戶端時間且指示用戶端在到達彼用戶端時間時實施所要動作之一指示發射至用戶端。
作為此程序之一非限制性實例,考慮定義可在一電視廣播內出現之一ad群之一媒體流。如上文提及,ad群可包括一ad序列,例如電視廣告,且ad群可在任一給定時間出現在由用戶端接收之一線性媒體饋送中,諸如線性廣播饋送。
在實務中,伺服器可經提供有表示ad群之訊框且與該等訊框對應之加時間戳記之參考指紋,其中時間戳記係沿ad群內定義之一時間線之點(作為真實時間)。此外,伺服器可經提供有ad群中之ad之特定一者應被替換之一指示,且經提供有彼ad替換應開始之訊框之一時間戳記。
在一持續基礎上,或回應於一或多個其他觸發,隨著用戶端接收一媒體饋送,用戶端可(諸如)依每秒2個訊框生成廣播饋送之低速加時間戳記之查詢指紋且可向伺服器報告彼等加時間戳記之查詢指紋以進行分析。比較各此查詢指紋與表示ad群序列之訊框之參考指紋,伺服器可藉此偵測用戶端正接收已知ad群序列。
在判定用戶端接收ad群序列之後,接著,伺服器可工作以在真實時間與用戶端時間之間建立經改良映射以便接著判定用戶端將要開始ad替換之一用戶端時間。
例如,伺服器可比較一批所報告之查詢指紋與一批對應地間隔之參考指紋且可藉此隨著時間推移找到多個匹配點(可能地以伺服器識別為首先偵測用戶端接收ad群序列之一基礎之一或多個匹配點開始)。如上文論述,各匹配點將使一真實時間點(一代表性匹配參考指紋之時間戳記)與一用戶端時間點(一代表性匹配查詢指紋之時間戳記)相關。此外,伺服器可在此等匹配點之間執行線性迴歸以找到有效地表示真實時間與用戶端時間之間之經改良映射之呈真實時間與用戶端時間之間之一偏移之形式之一最佳擬合線。
在真實時間與用戶端時間之間建立經改良映射之後,伺服器可接著應用映射作為判定哪一用戶端時間點將與ad替換將在其處開始之真實時間點對應之一基礎。特定言之,給定ad替換將要開始之訊框之真實時間點(參考時間)之知識,伺服器可應用由經改良映射定義之偏移以將彼真實時間點轉變為一用戶端時間點。
接著,伺服器可將在彼經判定用戶端時間點處開始ad替換之一指示發射至用戶端,且若用戶端未準備好經提供有替換ad (或至替換ad之一指針)則可將彼等資訊發射至用戶端。且接著,用戶端可據此在所指示之用戶端時間點執行ad替換。
注意,上文描述之程序可依諸多方式改變或增強。
藉由實例,為了説明考慮媒體流之一片段係靜態(隨著時間推移實質上不會改變)之可能性,伺服器可經組態以忽視彼此匹配(即,在一經定義之匹配公差內)之任一批查詢指紋。特定言之,隨著伺服器自用戶端接收查詢指紋且試圖比較連續批之查詢指紋,伺服器可評估各此批之查詢指紋以判定該批之查詢指紋是否彼此匹配。若伺服器判定該批之全部查詢指紋彼此匹配,則伺服器可回應性地自匹配點分析排除彼批查詢指紋。例如,伺服器可回應性地放棄試圖找到匹配彼批查詢指紋之一批參考指紋。然而,若伺服器判定該批之查詢指紋並非皆彼此匹配,則伺服器可如上文論述般繼續進行匹配點分析,以試圖找到伺服器可在其散佈圖及最佳擬合分析中包含之一匹配點。
在此實例中,待解決之問題可係該批中之全部查詢指紋是否彼此匹配。低速查詢指紋之此一匹配可關於媒體流之一足夠長靜態片段而產生。因此,其可用於自匹配點分析排除彼批查詢指紋以幫助避免將一非常低可信度的匹配點計算在內。
另一方面,考慮其中一批四個低速查詢指紋跨越自一個靜態片段至另一不同靜態片段之變化之一情景。例如,在視訊內容的情況下,該批之前兩個查詢指紋可表示一場景變化發生之前的訊框,且該批之後兩個查詢指紋可表示場景變化發生之後的訊框。在彼情景中,該批之四個查詢指紋將皆不彼此匹配,且因此伺服器可將該批包含在其匹配點分析中,且接著可偵測一匹配點以包含在其散佈圖及最佳擬合分析中。然而,在此實例的情況下,匹配點是否將落在最佳擬合線右側係不確定的,此係因為在由第二及第三查詢指紋表示的訊框之間發生場景變化的時間係不清楚的。但同樣地,在一足夠數量之匹配點的情況下,最佳擬合分析仍應如上文描述般產生一有用之經改良映射。
因此,作為另一實例,伺服器可能需要在待解決之媒體流內存在至少臨限值最小數量之匹配點作為使伺服器繼續進行內插之一條件。例如,伺服器可保持其在待解決之媒體流中(例如,在一ad群中)找到了多少匹配點之一計數。一旦伺服器判定媒體流中之匹配點的數目滿足一經預定義的臨限值,伺服器即可回應性地執行上文描述之散佈圖及最佳擬合分析,以便基於所識別之匹配點來建立經改良時間映射,且接著,可如上文描述般使用彼時間映射。在實務中,臨限值最小數量的匹配點可係三個匹配點,或可經工程設計認為對於此目的係足夠的另一數目個匹配點。
作為又另一實例,在伺服器開始其散佈圖及最佳擬合分析之後,伺服器可繼續找到匹配點及細化其最佳擬合時間映射直至伺服器達到一停止點,此時伺服器可認為最佳擬合映射係可用的。停止點可採用各種形式。例如,停止點可係伺服器將一經預定義之臨限值數量之匹配點計算在內之時間,諸如上文論述之臨限值最小數量。替代地或另外,停止點可係伺服器已偵測到分析中之穩定性之時間,(諸如)藉由偵測到最佳擬合線(或真實時間與用戶端時間之間之相關聯之時間偏移)針對被計算在分析內之各額外匹配點不會改變超過之一最小臨限值量(例如,藉由工程設計預定義)。一旦伺服器偵測到停止點,伺服器即可停止收集匹配點且可繼續使用最近之最佳擬合分析將動作(例如,內容修正)將要發生之真實時間點映射成一相關聯之用戶端時間點。且伺服器可據此引導用戶端在經判定用戶端時間點處執行該動作。
作為又另一實例,除了使用上述程序判定一內容修正或類似者將要發生之用戶端時間點外,伺服器亦可使用該程序判定當使用戶端開始準備進行內容修正可係有用之一提前用戶端時間點。例如,若用戶端可能需要開始透過自一網際網路URL或其他網路位址或源資料流或下載獲得替換或疊對內容,且若用戶端可能花費一些時間來實際上獲得或開始接收彼替換或疊對內容,則伺服器可計算充分領先於內容修正開始時間之一提前用戶端時間點以為用戶端留下足夠時間來獲得或開始接收替換或疊對內容。接著,伺服器可將指定提前用戶端時間點且致使用戶端在彼用戶端時間點處開始獲得替換或疊對內容之程序之一指示發射至用戶端,且用戶端可據此繼續進行。用戶端可因此在用戶端將需要執行內容修正之前獲得或開始接收替換或疊對內容。
又另外,作為又另一實例,儘管上文描述規定伺服器實施各種操作,但部分或全部操作可替代地由用戶端或由另一裝置實施。例如,儘管上文論述描述伺服器工作以在真實時間與用戶端時間之間建立經改良映射,且伺服器工作以判定一內容修正或其他動作將要發生之用戶端時間點,但用戶端可經組態以實施彼等操作本身之一些。
在一代表性變動中,例如,一旦伺服器已判定用戶端接收已知媒體流且已找到使真實時間與用戶端時間相關之多個匹配點,或隨著伺服器找到彼等匹配點,伺服器可向用戶端報告匹配點,從而通知用戶端各匹配點之真實時間及用戶端時間座標。且接著,用戶端可使用彼提供之資料執行上文論述之散佈圖及最佳擬合分析,以便建立真實時間與用戶端時間之間之經改良映射。此外,伺服器可向用戶端提供指定用戶端將要參與一特定動作(例如,內容修正或準備進行內容修正)中之真實時間點之一指示,且用戶端可如上文論述般應用經建立映射以將真實時間點轉變成一用戶端時間點。接著,用戶端可工作以在經判定用戶端時間點處實施所指示之動作。
此外,用戶端本身同樣亦可實施指紋匹配程序。例如,一旦伺服器已確定用戶端接收已知媒體流,伺服器即可向用戶端提供用於媒體流之一即將出現部分之一組加時間戳記之參考指紋且可通知用戶端所要作將要發生之媒體流內之訊框之參考時間戳記。
例如,一旦伺服器已判定用戶端接收已知媒體流,用戶端即可實施程序以建立(i)媒體流中之真實時間時間戳記與(ii)根據用戶端之內部時脈之時間之間之同步鎖定,及判定內容修正將要發生之用戶端時間點。為有利於此,在一實例實施方案中,除了引導用戶端切換至高速指紋外,伺服器可向用戶端提供媒體流之一即將發生部分之一組真實時間之加時間戳記之參考指紋且可通知用戶端內容修正將要開始之媒體流內之訊框之真實時間時間戳記。
用戶端可因此自伺服器接收彼等加時間戳記之參考指紋。且用戶端可比較其低速查詢指紋與所提供之參考指紋以試圖找到匹配點。在找到多個匹配點時或之後,接著,用戶端可同樣地執行上文論述之散佈圖及最佳擬合分析以建立真實時間與用戶端時間之間之經改良映射。此外,用戶端可依上文論述之方式應用經建立映射以判定一所指示內容修正或其他動作將要發生之一用戶端時間點。且接著,用戶端可在經判定用戶端時間點處執行所指示之動作。
亦注意,上述程序可關於由一用戶端接收之一線性廣播饋送或類似者(例如,用於目前播出及/或儲存)之即時分析應用且同樣亦可關於由用戶端自資料儲存裝置擷取之一媒體流或類似者(例如,用於目前播出或傳送)之分析應用。其他實施方案同樣亦係可能的。
圖3係描繪可由計算系統實施之與上文論述一致之一方法之一流程圖。儘管方法之操作在此圖中描繪為依一特定順序實施,但部分操作可與其他操作並行實施,且其他修改同樣亦係可能的。
如圖3中展示,在方塊30處,計算系統接收表示由用戶端接收之一媒體流之查詢指紋,用根據用戶端之一時脈之用戶端時間給查詢指紋加時間戳記。進一步,在方塊32處,可能地與方塊30並行地,計算系統比較經接收查詢指紋與表示一已知媒體流之參考指紋,參考指紋用根據已知媒體流內之一時間線之真實時間加時間戳記。且在方塊34處,計算系統基於經偵測匹配點執行線性迴歸,線性迴歸在真實時間與用戶端時間之間建立一映射。
在方塊36處,接著,計算系統應用經建立映射作為判定在其處用戶端應關於由用戶端接收之媒體流執行一動作之一用戶端時間點之一基礎。且在方塊38處,計算系統致使用戶端在經判定用戶端時間點處執行該動作。
與上文論述一致,計算系統致使用戶端在經判定用戶端時間點執行之動作可包括一內容修正。例如,由用戶端接收之媒體流可包括定義一ad序列之一ad群,且內容修正可包括用替換媒體內容替換該序列之一ad。替代地,動作可包括準備進行此一內容修正,諸如起始一程序來獲得新內容以有利於內容修正。其他動作同樣亦係可能的。
此外,如上文論述,應用經建立映射作為判定在其處用戶端應關於由用戶端接收之媒體流執行一動作之一用戶端時間點之一基礎之動作可包括使用經建立映射作為將在其處應關於已知媒體流執行動作之一經預定義之真實時間點映射至在其處用戶端應關於由用戶端接收之媒體流執行動作之一對應用戶端時間點之一基礎。例如,給定一內容修正應發生之已知媒體流中之一訊框之真實時間點,應用經建立映射可涉及將彼真實時間點轉變為在其處用戶端應在由用戶端接收之媒體流中執行內容修正之一對應用戶端時間點。
另外,如上文論述,此一計算系統可由與用戶端網路通信之一伺服器實施。在彼案例中,導致用戶端在經判定用戶端時間點處執行動作之動作可涉及將用戶端將藉由在經判定用戶端時間點處執行動作回應於其之一指示自伺服器發射至用戶端。
又進一步,如上文論述,此程序中之各匹配點可係基於(i)一批各自查詢指紋與(ii)參考指紋之間之一比較。且在彼案例中,該方法可另外包含自程序省略一內部匹配之批。例如,該方法可涉及偵測一給定批之查詢指紋之查詢指紋彼此匹配,且回應於偵測給定批之查詢指紋彼此匹配,排除給定批使其無法用於建立用於線性迴歸之一匹配點。
又進一步,與上文論述一致,方法可包含計算系統使用經偵測匹配點之一或多者作為判定由用戶端接收之媒體流係已知媒體流之一基礎。例如,計算系統可在最初進行此判定,且接著,回應於至少進行此判定,計算系統可執行線性迴歸,應用映射,及致使用戶端在經判定用戶端時間點處實施動作。換言之,在彼情況中,線性迴歸之執行、映射之應用及導致用戶端在經判定用戶端時間點處執行動作可共同地回應於至少判定由用戶端接收之媒體流係已知媒體流。
圖4係描繪根據本發明之可由用戶端或一或多個其他實體實施之一方法之另一流程圖。在此處,同樣,儘管方法之操作經描繪為依一特定順序實施,但部分操作可與其他操作並行實施,且其他修改同樣亦係可能的。
如圖4中展示,在方塊40處,方法包含確定(i)表示由一用戶端接收之一媒體流之查詢指紋與(ii)參考指紋之間之複數個匹配點,其中各經識別匹配點定義(i)用根據用戶端之一時脈定義之用戶端時間加時間戳記之一查詢指紋與(ii)用根據一已知媒體流內之一時間線之真實時間加時間戳記之一參考指紋之間一各自匹配。
此外,在方塊42處,方法包含基於經確定複數個匹配點之時間戳記執行線性迴歸,線性迴歸在真實時間與用戶端時間之間建立一映射。在方塊44處,接著,方法包含使用經建立映射作為判定在其處用戶端應關於由用戶端接收之媒體流執行一動作之一用戶端時間點之一基礎。且在方塊46處,方法包含在經判定用戶端時間點處關於由用戶端接收之媒體流執行動作。
與上文論述一致,確定複數個匹配點之動作可採用各種形式。例如,其可包含用戶端接收指示複數個匹配點之一組資料。在一實例實施方案中,如上文論述,一伺服器可執行指紋比較以判定匹配點且可將關於匹配點之資訊發送至用戶端,該資訊包含各匹配點之用戶端時間時間戳記及真實時間時間戳記,以使用戶端能夠執行線性迴歸。
替代地,如上文論述,確定複數個匹配點之動作可涉及用戶端接收真實時間時間戳記之參考指紋,該用戶端生成用戶端時間時間戳記之查詢指紋,及用戶端比較所生成之查詢指紋與經接收參考指紋以便基於該比較確定匹配點。此外,如上文論述,各匹配點可係基於(i)一批各自查詢指紋與(ii)參考指紋之間之一比較。且在彼案例中,方法可另外涉及偵測一給定批之查詢指紋彼此匹配,且回應於偵測給定批之查詢指紋彼此匹配,排除給定批使其無法用於建立用於線性迴歸之一匹配點。
另外,如上文論述,關於由用戶端接收之媒體流之動作可採用各種形式。例如,動作可包括一內容修正,諸如一ad群或類似者中之ad替換。或者,動作可包括準備進行此一內容修正,諸如起始內容獲取以有利於內容修正。其他實例同樣亦係可行的。
此外,與上文論述一致,使用經建立映射作為判定在其處用戶端應關於由用戶端接收之媒體流執行動作之一用戶端時間點之一基礎之動作涉及使用經建立映射作為將在其處應關於已知媒體流執行動作之一經預定義之真實時間點映射至在其處用戶端應關於由用戶端接收之媒體流執行動作之一對應用戶端時間點之一基礎。
接下來,圖5係可操作以實施上文描述之各種操作之一實例計算系統之一方塊圖。如上文提及,此一計算系統之態樣可由媒體用戶端12及/或伺服器18實施以及其他可能性。因此,圖5之方塊圖可表示一或多個此類實體之組件。
如圖5中展示,實例計算系統包含一網路通信介面52、一處理單元54及非暫時性資料儲存裝置56,其中全部者皆可透過一網路、訊息匯流排及/或一或多個其他連接機構58耦合或通信地連結在一起。
網路通信介面52使計算系統能夠進行發射及接收。網路通信介面52可包括有線及/或無線乙太網介面以及相關聯之電路及軟體以及其他可能性。接著,處理單元54可包括一或多個通用處理器(例如,微處理器)及/或一或多個專用處理器(例如,特定應用積體電路或類似者)。且非暫時性資料儲存裝置46可包括一或多個揮發性及/或非揮發性儲存組件,諸如磁性儲存裝置、光學儲存裝置或快閃儲存裝置。
如圖5中進一步展示,非暫時性資料儲存裝置56儲存程式指令60 (例如,保持程式指令60、經編碼有程式指令60、或依其他方式體現或含有程式指令60),該等程式指令可由處理單元執行以致使計算系統實施諸如上文描述之操作之操作。
藉由實例,此等操作可包含識別(i)表示由一媒體用戶端接收之一媒體流之查詢指紋與(ii)參考指紋之間之複數個匹配點,其中各經識別匹配點定義(i)用根據該媒體用戶端之一時脈定義之用戶端時間加時間戳記之一查詢指紋與(ii)用根據一已知媒體流內之一時間線之真實時間加時間戳記之一參考指紋之間之一各自匹配。此外,該等操作可包含:基於該複數個經識別匹配點之該等時間戳記執行線性迴歸,線性迴歸在真實時間與用戶端時間之間建立一映射。接著,該等操作可包含:使用該經建立映射作為判定該媒體用戶端應在其處在由該用戶端接收之媒體流中執行一內容修正之一用戶端時間點之一基礎。且該等操作可包含:致使該媒體用戶端在該經判定用戶端時間點處執行內容修正。
此外,上文描述之各種特徵可併入於此背景內容中,且反之亦然。例如,使用映射可涉及將內容修正之一經預定義之真實時間點映射至一對應用戶端時間點。且內容修正可涉及內容替換,諸如替換一ad群中之一ad,或可涉及疊對內容以及其他可能性。
另外,若計算系統安置在一伺服器處及/或由一伺服器實施,則導致媒體用戶端在經判定用戶端時間點處執行內容修正之動作可涉及輸出致使媒體用戶端如此做之一指示以發射至媒體用戶端,及/或將該指示發送至媒體用戶端。此外,操作可包含自該分析排除彼此匹配之一批查詢指紋。且操作可另外包含使用經識別匹配點之一或多者作為判定由用戶端接收之媒體流係已知媒體流之一基礎,在此案例中,其他操作可回應於彼判定共同地實施。
替代地或另外,操作可包含確定(i)表示由一用戶端接收之一媒體流之查詢指紋與(ii)參考指紋之間之複數個匹配點,其中各經識別匹配點定義(i)用根據該用戶端之一時脈定義之用戶端時間加時間戳記之一查詢指紋與(ii)用根據一已知媒體流內之一時間線定義之真實時間加時間戳記之一參考指紋之間之一各自匹配。此外,該等操作可包含:基於該經確定複數個匹配點之該等時間戳記執行線性迴歸,該線性迴歸在真實時間與用戶端時間之間建立一映射。接著,該等操作可包含:使用該經建立映射作為判定該用戶端應在其處關於由該用戶端接收之媒體流而執行一動作之一用戶端時間點之一基礎。且該等操作可包含:在該經判定用戶端時間點處關於由該用戶端接收之該媒體流執行該動作。
亦在此處,上文描述之各種特徵可併入於此背景內容中,且反之亦然。例如,若計算系統安置在用戶端處及/或由用戶端實施,則確定匹配點之動作可涉及接收指示部分或全部匹配點之資料及/或可涉及(i)生成查詢指紋,(ii)接收參考指紋及(iii)比較該等查詢指紋與該等參考指紋以確定該等匹配點。此外,關於由用戶端接收之媒體流之動作可包括一內容修正,諸如一ad替換,或可涉及準備進行一內容修正。
另外,上文描述之各種操作可由儲存在一非暫時性電腦可讀媒體上之程式指令定義,該等程式指令可由一處理單元執行以實施操作(例如,致使操作被實施)。接著,此一非暫時性電腦可讀媒體可被提供、整合或依其他方式實施在用戶端、伺服器及/或另一實體處。此外,此類操作可採用其他形式。
上文已描述例示性實施例。然而,熟習此項技術者將理解,可對此類實施例做出改變及修改而不會脫離本發明之真正範疇及精神。
12‧‧‧媒體用戶端 14‧‧‧媒體源 16‧‧‧網路 18‧‧‧網路伺服器 30‧‧‧方塊 32‧‧‧方塊 34‧‧‧方塊 36‧‧‧方塊 38‧‧‧方塊 40‧‧‧方塊 42‧‧‧方塊 44‧‧‧方塊 46‧‧‧方塊 52‧‧‧網路通信介面 54‧‧‧處理單元 56‧‧‧非暫時性資料儲存裝置 58‧‧‧連接機構 60‧‧‧程式指令
圖1係所揭示特徵可實施於其中之系統之一簡化方塊圖。
圖2係各具有各自真實時間值及一各自用戶端時間值之匹配點之一實例散佈圖。
圖3係描繪可根據本發明實施之操作之一流程圖。
圖4係描繪可根據本發明實施之操作之另一流程圖。
圖5係描繪可根據本發明操作之一計算系統之組件之一簡化方塊圖。
40‧‧‧方塊
42‧‧‧方塊
44‧‧‧方塊
46‧‧‧方塊

Claims (20)

  1. 一種方法,其包括: 確定(i)表示由一用戶端接收之一媒體流之查詢指紋與(ii)參考指紋之間的複數個匹配點,其中各經識別匹配點定義(i)用根據該用戶端之一時脈定義之用戶端時間加時間戳記之一查詢指紋與(ii)用根據一已知媒體流內之一時間線之真實時間加時間戳記之一參考指紋之間之一各自匹配; 基於該經確定之複數個匹配點之該等時間戳記來執行線性迴歸,該線性迴歸在真實時間與用戶端時間之間建立一映射; 使用該經建立映射作為判定該用戶端應在其處就該用戶端正在接收之媒體流執行一動作之一用戶端時間點之一基礎;及 在該經判定用戶端時間點處,就該用戶端正在接收該媒體流來執行該動作。
  2. 如請求項1之方法,其係由該用戶端實施。
  3. 如請求項2之方法,其中該確定該複數個匹配點包括由該用戶端接收指示該複數個匹配點的一組資料。
  4. 如請求項2之方法,其中該確定該複數個匹配點包括: 由該用戶端生成該等查詢指紋; 由該用戶端接收該等參考指紋;及 由該用戶端比較該等經生成查詢指紋與該等經接收參考指紋,及基於該比較來確定該複數個匹配點。
  5. 如請求項4之方法,其中各匹配點係基於(i)一批各自該等查詢指紋與(ii)該等參考指紋之間的比較,該方法進一步包括: 偵測一給定批之該等查詢指紋中之該等查詢指紋彼此匹配;及 回應於該偵測該給定批之該等查詢指紋彼此匹配,排除該給定批,使其無法用於建立用於該線性迴歸之一匹配點。
  6. 如請求項1之方法,其中關於該用戶端正在接收該媒體流的該動作包括一內容修正。
  7. 如請求項6之方法,其中由該用戶端接收之該媒體流包括定義一ad序列之一ad群,且其中該內容修正包括用替換媒體內容來替換該序列之一ad。
  8. 如請求項1之方法,其中關於該用戶端正在接收該媒體流的該動作包括準備進行一內容修正。
  9. 如請求項1之方法,其中使用該經建立映射作為判定在其處該用戶端應就由該用戶端接收之該媒體流來執行該動作之一用戶端時間點之一基礎包括使用該經建立映射作為將在其處應就該已知媒體流執行該動作之一經預定義真實時間點映射至在其處該用戶端應就該用戶端正在接收該媒體流來執行該動作之一對應用戶端時間點之一基礎。
  10. 一種媒體用戶端,其包括: 一處理單元; 非暫時性資料儲存裝置;及 程式指令,其等被儲存於該非暫時性資料儲存裝置中且可由該處理單元執行以致使該媒體用戶端實施包含以下之操作: 確定(i)表示由該媒體用戶端接收之一媒體流之查詢指紋與(ii)參考指紋之間的複數個匹配點,其中各經識別匹配點定義(i)用根據該媒體用戶端之一時脈定義之用戶端時間加時間戳記之一查詢指紋與(ii)用根據一已知媒體流內之一時間線之真實時間加時間戳記之一參考指紋之間之一各自匹配, 基於該經確定複數個匹配點之該等時間戳記來執行線性迴歸,該線性迴歸在真實時間與用戶端時間之間建立一映射, 使用該經建立映射作為判定在其處該媒體用戶端應就該媒體用戶端正在接收媒體流來執行一動作之一用戶端時間點之一基礎,及 在該經判定用戶端時間點處,就該媒體用戶端正在接收該媒體流來執行該動作。
  11. 如請求項10之媒體用戶端,其中該確定該複數個匹配點包括接收指示該複數個匹配點的一組資料。
  12. 如請求項10之媒體用戶端,其中該確定該複數個匹配點包括: 生成該等查詢指紋; 接收該等參考指紋;及 比較該等經生成查詢指紋與該等經接收參考指紋,及基於該比較來確定該複數個匹配點。
  13. 如請求項12之媒體用戶端,其中各匹配點係基於(i)一批各自該等查詢指紋與(ii)該等參考指紋之間之一比較,該操作進一步包括: 偵測一給定批之該等查詢指紋中之該等查詢指紋彼此匹配;及 回應於該偵測該給定批之該等查詢指紋彼此匹配,排除該給定批,使其無法用於建立用於該線性迴歸之一匹配點。
  14. 如請求項10之媒體用戶端,其中關於該媒體用戶端正在接收該媒體流的該動作包括一內容修正。
  15. 如請求項14之媒體用戶端,其中由該媒體用戶端接收之該媒體流包括定義一ad序列之一ad群,且其中該內容修正包括用替換媒體內容來替換該序列之一ad。
  16. 如請求項10之媒體用戶端,其中關於該媒體用戶端正在接收該媒體流的該動作包括準備進行一內容修正。
  17. 如請求項10之媒體用戶端,其中使用該經建立映射作為判定在其處該媒體用戶端應就該媒體用戶端正在接收該媒體流來執行該動作之一用戶端時間點之一基礎包括使用該經建立映射作為將在其處應就該已知媒體流來執行該動作之一經預定義真實時間點映射至在其處該媒體用戶端應就該媒體用戶端正在接收該媒體流來執行該動作之一對應用戶端時間點之一基礎。
  18. 一種儲存指令之非暫時性電腦可讀媒體,該等指令可由處理單元執行以實施包括以下之操作: 確定(i)表示由一用戶端接收之媒體流之查詢指紋與(ii)參考指紋之間的複數個匹配點,其中各經識別匹配點定義(i)用根據該用戶端之一時脈定義之用戶端時間加時間戳記之一查詢指紋與(ii)用根據一已知媒體流內之一時間線之真實時間加時間戳記之一參考指紋之間之一各自匹配, 基於該經確定複數個匹配點之該等時間戳記來執行線性迴歸,該線性迴歸在真實時間與用戶端時間之間建立一映射, 使用該經建立映射作為判定在其處該用戶端應就該用戶端正在接收媒體流來執行一動作之一用戶端時間點之一基礎,及 在該經判定用戶端時間點處,就該用戶端正在接收該媒體流來執行該動作。
  19. 如請求項18之非暫時性電腦可讀媒體,其在該用戶端處實施。
  20. 如請求項18之非暫時性電腦可讀媒體,其中關於該用戶端正在接收該媒體流的該動作包括修正該媒體流之內容。
TW108122901A 2018-07-19 2019-06-28 基於使用低速指紋之內插來建立及使用時間映射以幫助促進訊框準確性內容修正 TWI733132B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862700660P 2018-07-19 2018-07-19
US62/700,660 2018-07-19
US16/166,981 2018-10-22
US16/166,981 US10715840B2 (en) 2018-07-19 2018-10-22 Establishment and use of time mapping based on interpolation using low-rate fingerprinting, to help facilitate frame-accurate content revision

Publications (2)

Publication Number Publication Date
TW202008796A true TW202008796A (zh) 2020-02-16
TWI733132B TWI733132B (zh) 2021-07-11

Family

ID=69162188

Family Applications (3)

Application Number Title Priority Date Filing Date
TW108122189A TWI730348B (zh) 2018-07-19 2019-06-25 建立及使用時間映射之方法、運算系統及非暫時性電腦可讀媒體
TW110118796A TWI786647B (zh) 2018-07-19 2019-06-25 建立及使用時間映射之方法、運算系統及非暫時性電腦可讀媒體
TW108122901A TWI733132B (zh) 2018-07-19 2019-06-28 基於使用低速指紋之內插來建立及使用時間映射以幫助促進訊框準確性內容修正

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW108122189A TWI730348B (zh) 2018-07-19 2019-06-25 建立及使用時間映射之方法、運算系統及非暫時性電腦可讀媒體
TW110118796A TWI786647B (zh) 2018-07-19 2019-06-25 建立及使用時間映射之方法、運算系統及非暫時性電腦可讀媒體

Country Status (7)

Country Link
US (7) US10904587B2 (zh)
EP (2) EP3824640A4 (zh)
JP (2) JP7170834B2 (zh)
KR (2) KR102486777B1 (zh)
CN (2) CN110999311B (zh)
TW (3) TWI730348B (zh)
WO (2) WO2020018193A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI730348B (zh) * 2018-07-19 2021-06-11 美商葛蘭諾公司 建立及使用時間映射之方法、運算系統及非暫時性電腦可讀媒體

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10972799B2 (en) 2018-12-16 2021-04-06 The Nielsen Company (Us), Llc Media presentation device with voice command feature
WO2020142426A1 (en) * 2019-01-04 2020-07-09 Gracenote, Inc. Generation of media station previews using a secondary tuner
WO2020231927A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with responsive transmission of reference fingerprint data feature
US10972794B2 (en) 2019-05-10 2021-04-06 The Nielsen Company (Us), Llc Content-modification system with transmission delay-based feature
US10846506B1 (en) 2019-05-10 2020-11-24 The Nielsen Company (Us), Llc Content-modification system with geographic area-based feature
WO2020231821A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with fingerprint data match and mismatch detection feature
WO2020231813A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with responsive transmission of reference fingerprint data feature
US10796159B1 (en) 2019-05-10 2020-10-06 The Nielsen Company (Us), Llc Content-modification system with use of multiple fingerprint data types feature
US11386696B2 (en) 2019-05-10 2022-07-12 Roku, Inc. Content-modification system with fingerprint data mismatch and responsive action feature
US11354323B2 (en) 2019-05-10 2022-06-07 Roku, Inc. Content-modification system with geographic area-based feature
WO2020231817A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with determination of input-buffer switching delay feature
US11134305B2 (en) 2019-05-10 2021-09-28 Roku, Inc. Content-modification system with volume level adjustment feature
US11109088B2 (en) 2019-06-07 2021-08-31 Roku, Inc. Content-modification system with unscheduling feature
US11418835B2 (en) 2019-06-07 2022-08-16 Roku, Inc. Content-modification system with technical characteristic-based selection feature
JP7108798B2 (ja) 2019-06-07 2022-07-28 ロク インコーポレイテッド システムリソース要求機能を備えたコンテンツ修正システム
US11336949B2 (en) 2019-06-07 2022-05-17 Roku, Inc. Content-modification system with testing and reporting feature
US11627347B2 (en) 2019-06-07 2023-04-11 Roku, Inc. Content-modification system with broadcast schedule utilization feature
US11546647B2 (en) 2019-06-07 2023-01-03 Roku, Inc. Content-modification system with probability-based selection feature
US11418826B2 (en) 2019-06-07 2022-08-16 Roku, Inc. Content-modification system with supplemental content stitching feature
US11134292B2 (en) 2019-06-07 2021-09-28 Roku, Inc. Content-modification system with overlay handling feature
WO2020257424A1 (en) 2019-06-18 2020-12-24 The Nielsen Company (Us), Llc Content-modification system with determination of input-buffer switching delay feature
US11051057B2 (en) 2019-06-24 2021-06-29 The Nielsen Company (Us), Llc Use of steganographically-encoded time information as basis to establish a time offset, to facilitate taking content-related action
WO2021016255A1 (en) 2019-07-22 2021-01-28 The Nielsen Company (Us), Llc Content-modification system with broadcast schedule utilization feature
US11297367B2 (en) 2019-07-22 2022-04-05 Roku, Inc. Content-modification system with broadcast schedule utilization feature
US11095944B2 (en) 2019-08-19 2021-08-17 Roku, Inc. Content-modification system with broadcast schedule utilization feature
KR20210051048A (ko) * 2019-10-29 2021-05-10 삼성전자주식회사 전자 장치 및 그 제어 방법
CN114503600A (zh) * 2019-10-31 2022-05-13 六科股份有限公司 具有延迟缓冲器特征的内容修改系统
US11758220B2 (en) 2020-10-29 2023-09-12 Roku, Inc. Dynamic replacement of objectionable content in linear content streams
US11917231B2 (en) 2020-10-29 2024-02-27 Roku, Inc. Real-time altering of supplemental content duration in view of duration of modifiable content segment, to facilitate dynamic content modification
US11494803B2 (en) 2021-02-11 2022-11-08 Roku, Inc. Content modification system with viewer behavior-based content delivery selection feature
US11962870B2 (en) 2021-02-17 2024-04-16 Roku, Inc. Content-modification system with quiet content detection feature

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7269330B1 (en) * 1996-11-01 2007-09-11 Televentions, Llc Method and apparatus for controlling a video recorder/player to selectively alter a video signal
US6990453B2 (en) * 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US6965683B2 (en) * 2000-12-21 2005-11-15 Digimarc Corporation Routing networks for use with watermark systems
US20040194130A1 (en) 2003-03-07 2004-09-30 Richard Konig Method and system for advertisement detection and subsitution
US8611422B1 (en) * 2007-06-19 2013-12-17 Google Inc. Endpoint based video fingerprinting
JP4572928B2 (ja) * 2007-11-08 2010-11-04 ソニー株式会社 遠隔制御端末、情報取得装置、情報提供装置、情報提供システム、情報提供方法、およびプログラム
US8676030B2 (en) * 2008-04-15 2014-03-18 Shlomo Selim Rakib Methods and systems for interacting with viewers of video content
US8959108B2 (en) * 2008-06-18 2015-02-17 Zeitera, Llc Distributed and tiered architecture for content search and content monitoring
US9015741B2 (en) 2009-04-17 2015-04-21 Gracenote, Inc. Method and system for remotely controlling consumer electronic devices
EP2425563A1 (en) * 2009-05-01 2012-03-07 The Nielsen Company (US), LLC Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content
WO2010144671A2 (en) 2009-06-11 2010-12-16 Dolby Laboratories Licensing Corporation Trend analysis in content identification based on fingerprinting
US8594392B2 (en) 2009-11-18 2013-11-26 Yahoo! Inc. Media identification system for efficient matching of media items having common content
CN102959543B (zh) * 2010-05-04 2016-05-25 沙扎姆娱乐有限公司 用于处理媒体流的样本的方法和系统
US9179198B2 (en) 2010-10-01 2015-11-03 Sony Corporation Receiving apparatus, receiving method, and program
US8863165B2 (en) * 2010-11-01 2014-10-14 Gracenote, Inc. Method and system for presenting additional content at a media system
KR101211098B1 (ko) * 2011-04-25 2012-12-11 (주)엔써즈 클라이언트 단말기측으로 네트워크를 통해 방송에 포함된 광고와 연관된 정보를 제공하는 시스템 및 방법
US9113202B1 (en) * 2011-09-21 2015-08-18 Google Inc. Inverted client-side fingerprinting and matching
JP6071184B2 (ja) * 2011-10-26 2017-02-01 サターン ライセンシング エルエルシーSaturn Licensing LLC 受信装置、受信方法、プログラム、及び情報処理システム
US9292894B2 (en) * 2012-03-14 2016-03-22 Digimarc Corporation Content recognition and synchronization using local caching
US9703932B2 (en) 2012-04-30 2017-07-11 Excalibur Ip, Llc Continuous content identification of broadcast content
US9146990B2 (en) * 2013-01-07 2015-09-29 Gracenote, Inc. Search and identification of video content
EP3651469A1 (en) 2013-09-20 2020-05-13 Koninklijke KPN N.V. Correlating timeline information between media streams
EP2876890A1 (en) * 2013-11-21 2015-05-27 Thomson Licensing Method and apparatus for frame accurate synchronization of video streams
US9456237B2 (en) 2013-12-31 2016-09-27 Google Inc. Methods, systems, and media for presenting supplemental information corresponding to on-demand media content
US9402111B2 (en) * 2014-09-17 2016-07-26 Ispot.Tv, Inc. Television audience measurement method and apparatus
KR102217191B1 (ko) 2014-11-05 2021-02-18 삼성전자주식회사 단말 장치 및 그 정보 제공 방법
US10750236B2 (en) * 2015-04-23 2020-08-18 The Nielsen Company (Us), Llc Automatic content recognition with local matching
US20160316261A1 (en) * 2015-04-23 2016-10-27 Sorenson Media, Inc. Automatic content recognition fingerprint sequence matching
US9743154B2 (en) * 2015-09-09 2017-08-22 Sorenson Media, Inc Dynamic video advertisement replacement
US9699504B2 (en) * 2015-09-28 2017-07-04 Rovi Guides, Inc. Systems and methods for identifying a source of media content based on a log of content identifiers
JP2017111274A (ja) * 2015-12-16 2017-06-22 ヤマハ株式会社 データ処理装置
US9930406B2 (en) * 2016-02-29 2018-03-27 Gracenote, Inc. Media channel identification with video multi-match detection and disambiguation based on audio fingerprint
US20190020913A9 (en) * 2016-06-27 2019-01-17 Facebook, Inc. Systems and methods for identifying matching content
KR102410473B1 (ko) 2016-08-01 2022-06-17 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
WO2018026162A1 (en) * 2016-08-01 2018-02-08 Samsung Electronics Co., Ltd. Electronic apparatus and method of operating the same
US10659509B2 (en) 2016-12-06 2020-05-19 Google Llc Detecting similar live streams ingested ahead of the reference content
US10853428B2 (en) * 2017-07-14 2020-12-01 Facebook, Inc. Computing a ranked feature list for content distribution in a first categorization stage and second ranking stage via machine learning
US10158907B1 (en) * 2017-10-10 2018-12-18 Shazam Investments Ltd. Systems and methods for performing playout of multiple media recordings based on a matching segment among the recordings
US10904587B2 (en) * 2018-07-19 2021-01-26 Gracenote, Inc. Establishment and use of time mapping based on interpolation using low-rate fingerprinting, to help facilitate frame-accurate content revision

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI730348B (zh) * 2018-07-19 2021-06-11 美商葛蘭諾公司 建立及使用時間映射之方法、運算系統及非暫時性電腦可讀媒體

Also Published As

Publication number Publication date
CN111213385B (zh) 2022-12-06
TWI733132B (zh) 2021-07-11
CN111213385A (zh) 2020-05-29
US20210266616A1 (en) 2021-08-26
US20210105515A1 (en) 2021-04-08
CN110999311B (zh) 2022-07-26
CN110999311A (zh) 2020-04-10
EP3824640A4 (en) 2022-05-04
JP2021530928A (ja) 2021-11-11
US11882321B2 (en) 2024-01-23
US11044499B2 (en) 2021-06-22
TW202205870A (zh) 2022-02-01
WO2020018192A1 (en) 2020-01-23
US20220191563A1 (en) 2022-06-16
KR20210022134A (ko) 2021-03-02
JP7170835B2 (ja) 2022-11-14
US20200029108A1 (en) 2020-01-23
TWI730348B (zh) 2021-06-11
JP2021530927A (ja) 2021-11-11
US11665378B2 (en) 2023-05-30
KR102486777B1 (ko) 2023-01-11
US20200296436A1 (en) 2020-09-17
WO2020018192A8 (en) 2021-02-11
US10904587B2 (en) 2021-01-26
US20220167029A1 (en) 2022-05-26
EP3824641A1 (en) 2021-05-26
KR102484054B1 (ko) 2023-01-02
JP7170834B2 (ja) 2022-11-14
WO2020018193A1 (en) 2020-01-23
EP3824641A4 (en) 2022-05-04
TWI786647B (zh) 2022-12-11
US20200029115A1 (en) 2020-01-23
TW202008794A (zh) 2020-02-16
US10715840B2 (en) 2020-07-14
EP3824640A1 (en) 2021-05-26
KR20210021099A (ko) 2021-02-24
US11284131B2 (en) 2022-03-22
US11303939B2 (en) 2022-04-12

Similar Documents

Publication Publication Date Title
TWI733132B (zh) 基於使用低速指紋之內插來建立及使用時間映射以幫助促進訊框準確性內容修正
TWI736511B (zh) 動態控制指紋辨識速率以促進媒體內容的時間準確性修訂