TWI739211B - 使用響度水平分布資訊在媒體替換事件期間檢測音量調節 - Google Patents

使用響度水平分布資訊在媒體替換事件期間檢測音量調節 Download PDF

Info

Publication number
TWI739211B
TWI739211B TW108141663A TW108141663A TWI739211B TW I739211 B TWI739211 B TW I739211B TW 108141663 A TW108141663 A TW 108141663A TW 108141663 A TW108141663 A TW 108141663A TW I739211 B TWI739211 B TW I739211B
Authority
TW
Taiwan
Prior art keywords
media content
loudness level
playback device
loudness
distribution information
Prior art date
Application number
TW108141663A
Other languages
English (en)
Other versions
TW202034705A (zh
Inventor
馬庫斯Ｋ 克萊莫
沙尚克 麥錢特
羅伯特 庫弗
托德Ｊ 霍奇斯
約書亞歐內斯特 莫里斯
Original Assignee
美商格雷斯諾特公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商格雷斯諾特公司 filed Critical 美商格雷斯諾特公司
Publication of TW202034705A publication Critical patent/TW202034705A/zh
Application granted granted Critical
Publication of TWI739211B publication Critical patent/TWI739211B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/22—Automatic control in amplifiers having discharge tubes
    • H03G3/24—Control dependent upon ambient noise level or sound level
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/3005—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/3089—Control of digital or coded signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Control Of Amplification And Gain Control (AREA)

Abstract

在一方面，示例方法包括(i)由播放設備確定播放設備正在從第一源接收的第一媒體內容的響度水平；(ii)由播放設備將所確定的第一媒體內容的響度水平與第一媒體內容的響度水平分布資訊指示的參考響度水平進行比較；(iii)由播放設備基於所確定的第一媒體內容的響度水平與參考響度水平的差來確定播放設備的目標音量水平；(iv)在播放設備呈現來自第二源的第二媒體內容以替代第一媒體內容時，由播放設備將播放設備的音量調節到目標音量水平。

Description

使用響度水平分布資訊在媒體替換事件期間檢測音量調節
[相關申請的交叉引用]
本申請要求2018年11月16日提交的美國臨時專利申請第62/768,596號、2019年6月14日提交的美國臨時專利申請第62/861,474號和2019年10月2日提交的美國臨時專利申請第62/906,676號的優先權，其全部內容通過引用併入本文。
本發明關於一種用於在媒體內容替換事件期間調節音頻的方法、電腦系統和電腦可讀介質。
在未來幾年，用目標廣告替換媒體內容中的廣告有望成為越來越重要的廣告方法。舉例來說，在動態廣告插入(DAI)系統中，內容提供者能夠將通用廣告插入到廣告間歇中，該廣告間歇會中斷媒體內容序列(例如，直播內容或預錄製內容)。每個廣告間歇能夠包括按預定順序排列的一組廣告。此外，廣告中的一個特定廣告能夠被指定或被動態地選出，以由諸如目標廣告的替換媒體內容來替換。
通過這種設置，在顯示特定廣告之前，播放設備能夠獲取替換媒體內容，然後提供該替換媒體內容以取代該特定廣告來進行顯示。例如，回應於確定播放設備正在播放或將要播放緊接在待替換的特定廣告之前的內容，播放設備能夠從資料庫檢索目標廣告，然後提供該目標廣告以在合適的時間替代該特定廣告進行顯示。
在一方面，本發明揭露一種示例方法。該方法包括(i)由播放設備確定播放設備正在從第一源接收的第一媒體內容的響度水平；(ii)由播放設備將所確定的第一媒體內容的響度水平與第一媒體內容的響度水平分布資訊指示的參考響度水平進行比較；(iii)由播放設備基於所確定的第一媒體內容的響度水平與參考響度水平的差來確定播放設備的目標音量水平；(iv)在播放設備呈現來自第二源的第二媒體內容以替代第一媒體內容時，由播放設備將播放設備的音量調節到目標音量水平。
在另一方面，公開了一種示例非暫時性電腦可讀介質。該非暫時性電腦可讀介質上儲存有程式指令，該程式指令在被處理器執行時，引起執行一組動作，包括：(i)確定播放設備正在從第一源接收的第一媒體內容的響度水平；(ii)將所確定的第一媒體內容的響度水平與第一媒體內容的響度水平分布資訊指示的參考響度水平進行比較；(iii)基於所確定的第一媒體內容的響度水平與參考響度水平的差來確定播放設備的目標音量水平；(iv)在播放設備呈現來自第二源的第二媒體內容以替代第一媒體內容時，將播放設備的音量調節到目標音量水平。
在另一方面，公開了一種示例計算系統。該計算系統被配置成執行一組動作，包括：(i)確定播放設備正在從第一源接收的第一媒體內容的響度水平；(ii)將所確定的第一媒體內容的響度水平與第一媒體內容的響度水平分布資訊指示的參考響度水平進行比較；(iii)基於所確定的第一媒體內容的響度水平與參考響度水平的差來確定播放設備的目標音量水平；(iv)在播放設備呈現來自第二源的第二媒體內容以替代第一媒體內容時，將播放設備的音量調節到目標音量水平。
[術語的使用]
在本發明中，除非另有說明和/或除非特定上下文另外明確指出，否則術語“一”或“一個”表示至少一個，並且術語“該”表示至少一個。
在本發明中，術語“連接機構”是指促進兩個或更多個組件、設備、系統或其它實體之間的通訊的機構。連接機構能夠是相對簡單的機構，例如，線纜或系統匯流排；也可以是相對複雜的機構，例如，基於分組的通訊網路(例如網際網路)。在某些情況下，連接機構可以包括非有形介質(例如，在連接是無線的情況下)。
在本發明中，術語“計算系統”是指包括至少一個計算設備的系統。在某些情況下，計算系統能夠包括一個或更多個其它的計算系統。
[I、發明概述]
在播放設備上的媒體內容替換事件期間，第二媒體內容(即替換媒體內容)替換第一媒體內容的一部分進行顯示。例如，在媒體內容替換事件期間，從第一源接收的第一媒體內容的片段被替換為從第二源接收的第二媒體內容。為了實現該替換，播放設備能夠從呈現從第一源接收的第一媒體內容切換成呈現從第二源接收的第二媒體內容。在某些情況下，對於使用者來說，源的這種切換可以是不可感知的。
此外，在某些情況下，在播放設備呈現來自第二源的第二媒體內容以替代來自第一源的第一媒體內容的媒體內容替換事件期間，播放設備可能不可訪問第一源的任何音量播放資訊。例如，第一源的音量播放資訊可以由向播放設備提供音頻訊號的設備設置，因此播放設備可能無法訪問該音量播放資訊。因此，在媒體內容替換事件期間，如果用戶嘗試使用能夠控制向播放設備提供音頻的設備的遙控器來調節播放設備的音量，則播放設備可能不會獲得預期的調節。例如，當使用者嘗試提高或降低音量時，播放設備可能無法訪問所請求的改變的資訊，播放設備可能仍然以相同的音量水平繼續呈現替換的第二媒體內容。對於嘗試調節音量的使用者來說，好像遙控器不起作用或播放設備未對嘗試的音量調節做出回應。這能夠導致觀看者的不好的或失望的用戶體驗。
本發明解決該問題以及潛在的其它問題的方法和系統。根據本發明，在媒體內容替換事件期間，播放設備能夠使用從伺服器接收的響度資料來檢測並回應播放設備正在用第二媒體內容替換的第一媒體內容的、使用者觸發的音量調節。在示例方法中，播放設備能夠確定播放設備正在從第一源接收的第一媒體內容的響度水平。播放設備能夠隨後將所確定的播放設備上第一媒體內容的響度水平與參考響度水平進行比較，該參考響度水平指示在播放設備上發生改變之前第一媒體內容的原始響度水平分布資訊。進一步地，播放設備能夠基於所確定的第一媒體內容的響度水平和參考響度水平之間的差來確定用於播放設備的目標音量水平。當播放設備呈現來自第二源的第二媒體內容以替代第一媒體內容時，播放設備能夠將播放設備的音量朝向目標音量水平調節。在一個示例中，目標音量的這種變動能夠用平滑濾波器實現。
第一媒體內容的響度水平分布資訊能夠包括第一媒體內容的各部分的相應響度水平。通過將所確定的第一媒體內容的響度水平與響度水平分布資訊指示的相應參考響度水平進行比較，播放設備能夠檢測對第一媒體內容的使用者觸發的音量調節。有利地，播放設備然後能夠通過以下方式對檢測到的使用者觸發的音量調節作出回應：通過將音量平滑地改變至新的使用者選擇的目標音量來對第二媒體內容進行相應的音量調節。
儘管本發明中的部分指的是涉及廣告的媒體內容替換事件，但是這些示例並不意味著是限制性的。本發明揭露的系統和方法也適用於用來自一個源的內容片段來替換來自另一源的內容流的一部分的任何內容片段。其它類型的可替換內容可以包括天氣片段、新聞片段、體育片段、廣播廣告等。包括可替換內容的內容流還能夠由諸如網際網路上的伺服器或URL提供。因此，以下提供的示例並非限制性的。
[II、示例構架]
[A、計算設備]
圖1是示例計算設備100的簡化框圖。計算設備100能夠執行各種動作和/或功能，例如本發明中描述的那些動作和/或功能。計算設備100能夠包括各種組件，例如，處理器102、資料儲存單元104、通訊介面106和/或使用者介面108。這些組件能夠經由連接機構110彼此連接(或連接到另一設備、系統或其它實體)。
處理器102能夠包括通用處理器(例如微處理器)和/或專用處理器(例如數位訊號處理器(DSP))。
資料儲存單元104能夠包括一個或更多個暫時性、非暫時性、可拆卸和/或不可拆卸儲存組件(例如磁記憶體、光記憶體或快閃記憶體)，和/或能夠整體地或部分地與處理器102集成。此外，資料儲存單元104能夠是非暫時性電腦可讀儲存介質，其上儲存有程式指令(例如，編譯的或未編譯的程式邏輯和/或機器代碼)，這些指令在由處理器102執行時，使計算設備100執行一個或更多個動作和/或功能，例如本發明中描述的那些動作和/或功能。因此，計算設備100能夠被配置成執行一個或更多個動作和/或功能，例如本發明中描述的那些動作和/或功能。這些程式指令能夠定義離散軟體應用和/或作為離散軟體應用的一部分。在某些情況下，計算設備100能夠回應於例如從通訊介面106和/或使用者介面108接收到輸入來執行程式指令。資料儲存單元104還能夠儲存其它類型的資料，例如本發明中描述的那些類型的資料。
通訊介面106能夠允許計算設備100根據一個或更多個協定連接到另一個實體和/或與另一個實體通訊。在一個示例中，通訊介面106能夠是有線介面，例如，乙太網介面或高清串列數位介面(HD-SDI)。在另一示例中，通訊介面106能夠是無線介面，例如，蜂窩介面或WI-FI介面。在本發明中，連接能夠是直接連接或間接連結，間接連接是穿過和/或經過一個或更多個實體(例如，路由器、交換機或其它網路設備)的連接。同樣，在本申請中，傳輸能夠是直接傳輸或間接傳輸。
使用者介面108能夠促進計算設備100和計算設備100的使用者之間的交互(如果適用交互的話)。因此，使用者介面108能夠包括輸入組件，比如鍵盤、小鍵盤、滑鼠、觸敏面板、麥克風和/或攝像頭；和/或輸出組件，比如顯示裝置(例如，能夠與觸敏面板結合的顯示裝置)、揚聲器/或觸覺回饋系統。更一般地，使用者介面108能夠包括促進計算設備100與計算設備100的使用者之間的交互的硬體和/或軟體組件。
計算設備100能夠採用各種形式，例如，工作站終端、台式電腦、筆記型電腦、平板電腦、行動電話或電視。
[B、動態廣告插入(DAI)系統]
圖2是示例DAI系統200的簡化框圖。DAI系統200能夠執行涉及傳輸和/或呈現媒體內容(例如音頻內容和/或視頻內容)的各種動作和/或功能，並且能夠實現為計算系統。
DAI系統200能夠包括各種組件，例如，觀看平台210、內容源220、媒體設備230、播放設備240、視頻識別系統250和替換內容伺服器260，其中的每一種組件都能夠實現為計算系統。
觀看平台210能夠從內容源220(例如，廣播台、網路伺服器或有線電視(TV)台)接收視頻和其它多媒體內容。例如，內容源220可以是諸如TV台或TV網路的廣播台，其通過TV頻道向觀看平台210傳輸或以流的方式傳送媒體，和/或可以是諸如網站的網路服務，其通過網路270向觀看平台210傳輸或以流的方式傳送媒體。觀看平台210包括參考指紋生成器212，該參考指紋生成器生成從內容源220接收到的視頻內容的參考指紋。觀看平台210能夠將生成的指紋發送到視頻識別系統250。
觀看平台210還包括響度水平分布資訊生成器214。或者，響度水平分布資訊生成器214能夠是不同於觀看平台210的另一計算系統。響度水平分布資訊生成器214能夠為媒體內容片段生成響度水平分布資訊。舉例來說，響度水平分布資訊生成器214能夠為在媒體內容替換事件期間被替換為替換廣告的可替換廣告生成響度水平分布資訊。
響度水平分布資訊能夠表徵在媒體內容片段中響度是如何隨時間變化的。例如，響度水平分布資訊能夠包括媒體內容片段的不同部分的各個響度水平(例如，均方根(RMS)響度水平或者響度、K加權、滿刻度(LKFS)音量水平)。作為一個示例，針對三十秒廣告的響度水平能夠包括與廣告各部分對應的音量水平序列。所述各部分能夠彼此重疊或不同。例如，每個響度水平能夠是基於固定長度部分(例如，半秒、一秒等)期間的廣告的音頻訊號的特徵計算的移動平均。
在一些實施方式中，廣告的初始響度水平能夠基於音頻訊號的初始一秒部分的RMS來計算。隨後的響度水平能夠基於音頻訊號的隨後一秒部分來計算。或者，在其它實施方式中，初始響度水平能夠基於音頻訊號的初始三秒部分的RMS來計算。然後，隨後的響度水平能夠基於音頻訊號的隨後三秒部分來計算，其中隨後三秒部分的一部分與初始三秒部分的一部分重疊。例如，隨後三秒部分能夠包括初始部分的最後兩秒以及初始部分後面的另外部分。
響度水平分布資訊生成器214能夠使用響度測量儀計算響度水平分布資訊的響度水平。響度測量儀能夠包括配置為在觀看平台210上執行的軟體模組。軟體模組能夠執行各種濾波演算法(例如國際電信聯盟建議的那些演算法)來確定響度水平。軟體模組能夠測量音頻訊號的多個通道的各個響度水平，並且隨後對各個響度水平求和並求平均以獲得響度水平。
響度水平分布資訊生成器214能夠生成響度水平分布資訊的索引。例如，響度水平分布資訊生成器214能夠與生成響度水平分布資訊的媒體內容片段的相應識別字相關聯地儲存所生成的響度水平分布資訊。觀看平台210能夠向視頻識別系統250、播放設備240、替換內容伺服器260和/或另一計算系統發送生成的響度水平分布資訊。
媒體設備230能夠例如經由廣播通道和/或通過網路270從內容源220接收視頻和其它多媒體內容。媒體設備230能夠在將內容發送到播放設備240之前修改該接收到的內容。媒體設備230能夠包括調諧器，該調諧器被配置成接收視頻內容的輸入流並通過處理該輸入流來生成視頻內容的輸出流。媒體設備230能夠是配備有調諧器、解碼器以及其它硬體和/或軟體的設備，所配備的組件使得媒體設備230能夠通過視頻內容分發網路(例如，多頻道視頻節目分發商使用的地面廣播、線纜和/或衛星廣播網路)來訪問視頻內容。另外或替代地，媒體設備230能夠是配備有網路介面卡、解碼器和其它硬體和/或軟體的設備，所配備的組件使得媒體設備230能夠通過用於訪問網際網路視頻流服務的設備所使用的廣域網路(例如，網際網路)來訪問視頻內容。媒體設備230能夠輸出訊號(例如，數位訊號或類比訊號)，該訊號可以被播放設備240的揚聲器和顯示器用來向使用者呈現視頻內容。
播放設備240是能夠接收和呈現視頻流和/或其它多媒體內容的任何設備，例如，電視、筆記型電腦或其它個人電腦(PC)、平板電腦或其它移動設備或遊戲裝置。播放設備240能夠包括顯示器或其它配置成用於顯示處理後的視頻內容流的使用者介面。顯示器可以是平板螢幕、等離子螢幕、發光二極體(LED)螢幕、陰極射線管(CRT)、液晶顯示器(LCD)或投影儀。播放設備還能夠包括一個或更多個揚聲器。此外，播放設備240能夠包括天線，天線被配置成通過空中廣播通道接收音頻和視頻。
網路270可以是使設備之間能夠進行通訊的任何網路，例如，有線網路和/或無線網路(例如，移動網路)。網路270能夠包括構成私人網路絡(例如，有線TV網路或衛星TV網路)或公用網絡(例如，空中廣播通道或互聯網)的一個或更多個部分。
視頻識別系統250能夠通過網路270與觀看平台210和播放設備240通訊。視頻識別系統250可以接收由播放設備240的查詢指紋生成器242根據視頻內容生成的查詢指紋，並且查詢由觀看平台210的參考指紋生成器212生成的已知指紋的索引，以識別音頻內容。查詢指紋可以是視頻內容內的幀或幀塊的指紋。視頻識別系統250能夠通過將查詢指紋與一個或更多個參考指紋進行匹配來識別視頻內容。在一些示例中，視頻識別系統250能夠是播放設備240或媒體設備230的組件或模組。
在識別出視頻內容時，視頻識別系統250能夠將與視頻內容相關聯的替換媒體內容(例如，替代節目或替代商業廣告)的識別字返回給播放設備240。替換媒體內容能夠儲存在替換內容伺服器260中。使用識別字，播放設備240能夠從替換內容伺服器260訪問替換媒體內容，然後提供該替換媒體內容用以顯示。或者，替換內容伺服器260或該另一計算系統能夠提前(例如，在安排媒體設備230執行替換操作的幾秒、幾分鐘或幾小時之前)向播放設備240或媒體設備230發送替換媒體內容，以將其儲存在播放設備240或媒體設備230的本地緩存中。在本實現方式中，播放設備240能夠從本地緩存訪問替換媒體內容，然後提供該替換媒體內容用以顯示。使用這種本地緩存技術能夠有助於確保播放設備240及時接收替換媒體內容以進行替換操作。例如，在播放設備240的互聯網連接不穩定或不可預測的情況下，這能夠是特別有用的。
此外，在識別出視頻內容時，視頻識別系統250能夠將與視頻內容相關聯的響度水平分布資訊的識別字返回給播放設備240。例如，該識別字能夠是視頻內容的識別字。響度水平分布資訊能夠儲存在觀看平台210、替換內容伺服器260或另一計算系統處。使用識別字，播放設備240能夠從例如觀看平台210或替換內容伺服器260訪問響度水平分布資訊。或者，觀看平台210或該另一計算系統能夠預先向播放設備240或媒體設備230發送響度水平分布資訊以將其儲存在播放設備240或媒體設備230的本地緩存中。在該實現方式中，播放設備240能夠從本地緩存訪問響度水平分布資訊。
模組、系統和/或生成器中的任何一個可以位於圖2中所示的設備中的任何一個處。例如，視頻識別系統250能夠包括查詢指紋生成器242。通過這種佈置，視頻識別系統250能夠從播放設備240接收視頻內容幀，並使用視頻內容幀生成查詢指紋。作為另一示例，媒體設備230和播放設備240能夠一起集成在單個設備中。其它變型也是可以的。其他例子也是可以的。
儘管DAI系統200的描述和本發明的其它部分指的是使用指紋技術識別視頻內容，但是這些示例並不意味著是限制性的。本發明揭露的系統和方法還能夠使用浮水印技術識別視頻內容。例如，觀看平台210能夠在視頻內容內嵌入浮水印(例如，音頻浮水印或視頻浮水印)。通過這種方法，播放設備240能夠檢測視頻內容內的浮水印，並將該浮水印發送給視頻識別系統250。或者，播放設備240能夠向視頻識別系統發送視頻內容的幀，視頻識別系統250能夠檢測視頻內容的幀內的浮水印。在獲取浮水印之後，視頻識別系統250能夠隨後使用浮水印識別視頻內容，並將與該視頻內容相關聯的替換媒體內容的識別字返回給播放設備240。類似地，本文公開的系統和方法能夠使用嵌入視頻流中的資訊來識別視頻內容。例如，播放平台210能夠將識別字嵌入視頻流的附帶資訊或輔助資訊中。該識別字能夠指示媒體內容替換事件，播放設備240能夠檢測該嵌入的資訊。作為另一示例，媒體內容替換事件能夠由特定的隱藏式字幕資訊觸發。觀看平台210能夠修改視頻內容的隱藏式字幕資訊以包括會觸發對媒體內容替換事件的啟動進行倒計時的文本字串或字串序列。播放設備240能夠隨後配置成查找該文本字串或字串序列，使得播放設備240能夠確定何時進行媒體替換事件。
圖3是示出參考指紋生成器212、查詢指紋生成器242和視頻識別系統250的組件的簡化框圖。如圖3所示，查詢指紋生成器242包括碎片選擇模組243和值計算模組244，這些模組被配置成(例如經由匯流排、共用記憶體或交換機)彼此通訊。此外，視頻識別系統250包括索引模組252、指紋匹配模組254和識別模組256，所有這些模組均被配置成彼此通訊。此外，參考指紋生成器212包括碎片選擇模組216和值計算模組218，這些模組被配置成彼此通訊。
圖3所示模組中的一個或更多個能夠使用硬體(例如，機器的處理器、現場可程式設計閘陣列(FPGA)或專用積體電路(ASIC))或硬體和軟體的組合來實現。此外，圖3所示的模組中的任何兩個或更多個能夠組合成單個模組，並且本文所述的針對單個模組的功能能夠細分到多個模組上。
根據以上討論，查詢指紋生成器242和參考指紋生成器212能夠被配置成生成視頻內容的一個或更多個幀的指紋。例如，查詢指紋生成器242和參考指紋生成器212能夠計算視頻內容內的一個或更多個幀的碎片的值。碎片能夠位於幀內的不同位置。查詢指紋生成器242和參考指紋生成器212能夠被配置成將來自多幀的指紋進行組合以生成視頻內容的幀塊的指紋。
舉例說明，查詢指紋生成器242的碎片選擇模組243能夠被配置成選擇視頻內容的多個碎片，例如與視頻內容內的一幀或更多幀的一個或更多個區域相關聯的碎片。類似地，參考指紋生成器212的碎片選擇模組216能夠被配置成選擇視頻內容的多個碎片，例如與視頻內容內的一幀或更多幀的一個或更多個區域相關聯的碎片。
能夠通過將幀劃分成網格(例如，2x2的網格、4x3的網格或4x4的網格)並基於網格選擇碎片來限定碎片。例如，可以選擇二十個碎片，其中四個大碎片對應於幀的各四分之一，四個小碎片對應於每個四分之一的子四分之一(即，總共十六個小碎片)。在某些情況下，碎片可能重疊。此外，碎片的累積跨度可以小於整個幀。
查詢指紋生成器242的值計算模組244能夠被配置成使用例如積分圖像技術來計算針對所選的多個碎片中的每個碎片的值。積分圖像技術可以使用區域求和表或生成一組像素的值之和的其它資料結構來計算值。類似地，參考指紋生成器212的值計算模組218能夠被配置成使用例如積分圖像技術來計算所選的多個碎片中的每個碎片的值。
在一些示例中，值計算模組244和值計算模組218能夠通過將碎片的一組像素的值求和、計算一組像素的平均值或確定該組像素的媒體值來計算碎片的值。另外或替代地，值計算模組244和值計算模組218能夠通過計算一組像素的值之間的差或計算一組像素的值的線性組合來計算碎片的值。
視頻識別系統250的索引模組252能夠被配置成查詢視頻內容的已知參考指紋的資料庫，例如儲存在觀看平台210或視頻識別系統250內的已知指紋的資料庫，以便識別可能與查詢指紋匹配的參考指紋。索引模組252能夠被配置成查詢已知參考指紋的量化碎片值的索引。
視頻識別系統250的指紋匹配模組254能夠被配置成將查詢指紋與一個或更多個已知參考指紋進行比較，並確定該查詢指紋與至少一個已知參考指紋匹配。例如，指紋匹配模組254能夠通過確定查詢指紋與已知參考指紋中的至少一個之間的相似度滿足預定閾值，來確定查詢指紋與至少一個已知參考指紋匹配。該預定閾值能夠與Tanimoto距離測度、Manhattan距離測度或其它距離測度相關聯。另外或替代地，指紋匹配模組254能夠使用其它匹配技術，例如歐幾裡得(Euclidian)、餘弦(Cosine)、KL散度和/或Itakura匹配技術。
識別模組256進而能夠被配置成基於確定查詢指紋與至少一個參考指紋匹配來識別視頻內容。例如，識別模組256能夠識別播放設備240當前正在呈現的視頻內容的名稱或標題、該視頻內容內的位置和/或提供該視頻內容的頻道或廣播台。
圖4是示出播放設備240和替換內容伺服器260的組件的簡化框圖。如圖4所示，除了查詢指紋生成器242之外，播放設備240還包括音頻分析模組245和播放修改模組246，這些模組能夠被配置成彼此通訊。此外，替換內容伺服器260包括視頻提供模組262。
播放設備240能夠受到觸發以進行媒體內容替換事件。媒體內容替換事件能夠涉及從呈現來自第一源的第一媒體內容切換成呈現來自第二源的第二媒體內容。第一源能夠是第一內容管道，第二源能夠是不同於第一內容管道的第二內容管道。例如，第一源能夠是空中天線或媒體設備230，第二源能夠是互聯網或播放設備240的本地緩存。作為特定示例，第一媒體內容能夠是通過空中天線或媒體設備230接收的第一多媒體片段，第二媒體內容能夠是通過網路270從替換內容伺服器260接收的以及儲存在播放設備240的本地緩存中的第二多媒體片段。或者，第一源能夠是空中天線，第二源能夠是媒體設備230。作為另一示例，第一源能夠是網路270(例如，第一媒體內容能夠是多媒體流)，第二源能夠是播放設備240的本地緩存或媒體設備230的本地緩存。
受到觸發能夠涉及確定播放設備240正在呈現緊接在待替換的第二片段之前的第一片段。播放設備240能夠使用上述指紋或浮水印技術中的任何一種來確定正在呈現第一片段。或者，受到觸發能夠涉及播放設備240從另一設備接收替換命令。
替換內容伺服器260的視頻提供模組262能夠向播放設備240提供第二媒體內容。例如，視頻識別系統250能夠識別播放設備240正在提供的用於顯示的視頻內容，並且基於所識別的視頻內容，視頻提供模組262能夠向播放設備240提供對應於該視頻內容的替換媒體內容。播放設備240能夠通過網路通訊介面接收第二媒體內容。例如，第二媒體內容能夠是通過網際網路以流的形式傳送到播放設備240並儲存在播放設備240的本地緩存中的替換媒體內容。
當受到觸發時，播放設備240還能夠獲取播放設備240將替換的第一媒體內容的部分的響度水平分布資訊。例如，基於視頻識別系統250已識別出播放設備240正在提供用於顯示的視頻內容，視頻識別系統250能夠獲取播放設備240將替換的第一媒體內容的部分的響度水平分布資訊，並向播放設備240提供該響度水平分布資訊。或者，視頻識別系統250能夠提供給播放設備240識別字，使得播放設備240能夠使用該識別字從本地緩存或另一計算系統檢索響度水平分布資訊。
回應於受到觸發，播放設備240能夠從呈現第一媒體內容切換到呈現第二媒體內容。例如，當播放設備240受到觸發以將第二媒體內容插入一系列媒體內容中時，播放設備240能夠從本地緩衝中檢索替換媒體內容，並提供該替換媒體內容，以使用配置成顯示媒體檔的媒體播放器進行顯示。提供替換內容以使用媒體播放器進行顯示能夠涉及將替換媒體內容呈現在媒體播放器層，該媒體播放器層位於提供用於顯示的其它媒體內容(例如，從媒體設備或天線接收的媒體內容)的另一層之上。
在一些情況下，提供第二媒體內容進行顯示能夠涉及將提供從媒體設備230或天線接收的媒體內容切換成提供儲存在播放設備240的資料庫中的替換媒體內容。播放設備240能夠包括帶有幀緩衝器的片上系統。為了提供替換媒體內容以進行顯示，播放設備240的媒體播放器能夠將替換媒體內容插入幀緩衝器中。在將替換媒體內容插入幀緩衝器之前，片上系統可能已經將從媒體設備230接收的媒體內容插入幀緩衝器。
第二媒體內容能夠包括替換廣告。例如，第二媒體內容能夠包括將替代通用廣告的目標廣告。作為一個示例，目標廣告能夠是本地廣告，通用廣告能夠是全國廣告。作為另一示例，目標廣告能夠是基於播放設備240的使用者群所選擇的廣告。
在媒體內容替換事件期間，播放設備240能夠使用第一媒體內容的響度水平分布資訊來説明區分第一媒體內容固有的響度水平變化與使用者觸發的音量調節導致的響度水平變化。當播放設備240呈現第二媒體內容時，播放設備240能夠指示音頻分析模組245來確定播放設備240正在接收的第一媒體內容的響度水平，並將該響度水平與響度水平分布資訊指示的內容的參考響度水平進行比較。該參考響度水平是播放設備改變音量水平之前的內容的原始記錄的音量水平。
音頻分析模組245能夠配置成使用與響度水平分布資訊生成器214用來生成第一媒體內容的響度水平分布資訊的時間間隔相同長度的時間間隔來確定第一媒體內容的響度水平。舉例來說，響度水平分布資訊生成器214使用的時間間隔能夠是一秒。通過該實現方式，音頻分析模組245能夠配置成當播放設備240從第一源接收第一媒體內容時，確定第一媒體內容的一秒部分的響度水平。例如，以固定間隔為基礎，音頻分析模組245能夠計算第一媒體內容的最近接收(例如，前一秒)的部分的響度水平(例如，均方根(RMS))。音頻分析模組245能夠使用響度測量儀或其它音量計算來計算這些響度水平。
為了促進由音頻分析模組245確定的響度水平與由響度水平分布資訊指示的響度水平之間的比較，音頻分析模組245能夠將響度水平分布資訊與播放設備240正在從第一源接收的音頻訊號對齊。音頻分析模組245能夠以各種方式執行該對齊。在一個示例中，音頻分析模組245能夠使用指紋將響度水平分布資訊與音頻訊號對齊。為了使用指紋來對齊響度水平，音頻分析模組245能夠接收與響度水平分布資訊對應的參考指紋，並將參考指紋與源自第一媒體內容的查詢指紋進行比較。源自第一媒體內容的每個查詢指紋都能夠具有相關聯的時間戳。一旦確定參考指紋匹配查詢指紋中的一個，音頻分析模組245就能夠使用與查詢指紋相關聯的時間戳將響度水平分布資訊與播放設備240正在接收的音頻訊號對齊。例如，音頻分析模組245能夠佈置成將參考指紋與查詢指紋的匹配解釋為響度水平分布資訊的初始響度水平對應於與查詢指紋相關聯的時間戳。或者，音頻分析模組245能夠佈置成將參考指紋與查詢指紋的匹配解釋為響度水平分布資訊的初始響度水平對應於從與查詢指紋相關聯的時間戳偏移了偏移量的時間(例如，時間戳後一秒、時間戳後兩秒等)。
用於對齊響度水平分布資訊的參考指紋能夠是音頻指紋或視頻指紋。播放設備240能夠從諸如觀看平台210的向播放設備240提供響度水平分布資訊的計算系統獲取參考指紋。
以類似的方式，音頻分析模組245能夠使用浮水印將響度水平分布資訊與播放設備240接收的音頻訊號對齊。為了使用浮水印對齊響度水平分布資訊，音頻分析模組245能夠接收與響度水平分布資訊對應的浮水印。音頻分析模組245能夠檢測浮水印在特定時間出現在第一媒體內容內。此外，音頻分析模組245能夠佈置成將在特定時間檢測到浮水印解釋為響度水平分布資訊的初始響度水平對應於該特定時間。或者，音頻分析模組245能夠佈置成將在特定時間檢測到浮水印解釋為響度水平分布資訊的初始響度水平對應於從該特定時間偏移了偏移量的時間(例如，特定時間後一秒、特定時間後兩秒等)。
在將響度水平分布資訊與播放設備240正在從第一源接收的音頻訊號對齊之後，音頻分析模組245能夠從響度水平分布資訊中選擇與音頻分析模組245確定的音頻訊號的響度水平對應的參考響度水平。例如，音頻分析模組245可能已經確定響度水平分布資訊的初始響度水平與音頻訊號的時間T1對齊。此外，基於使用在時間T1之後五秒出現的第一媒體內容的部分確定了第一媒體內容的響度水平，音頻分析模組245能夠選擇響度分布資訊的參考響度水平，該參考響度水平對應於與初始響度水平對應的時間之後五秒的時間。
在從響度水平分布資訊選擇參考響度水平之後，音頻分析模組245能夠將參考響度水平與播放設備上確定的響度水平進行對比。在一些情況下，該確定的響度水平和參考響度水平能夠以絕對刻度來表示。在其它情況下，該確定的響度水平和第二響度水平能夠以分貝來表示。第一響度水平和第二響度水平能夠包括感知音量權重，諸如相對于滿刻度(LKFS)的K權重。
基於兩個響度水平之間的差的結果，音頻分析模組245能夠確定用於播放設備240的目標音量。例如，音頻分析模組245能夠確定播放設備240音頻訊號的響度水平超過了響度水平分布資訊指示的相應參考響度水平第一量，音頻分析模組245能夠將等於播放設備240的當前音量與該第一量之和(或當前音量與和該第一量成比例的值之和)的音量確定為目標音量。反過來，音頻分析模組245能夠確定響度水平分布資訊指示的參考響度水平超過了播放設備240音頻訊號的響度水平第二量，音頻分析模組245能夠將等於播放設備240的當前音量與該第二量的差(或當前音量與和該第二量成正比的值的差)的音量確定為目標音量。
播放修改模組246能夠在播放設備240呈現第二媒體內容以替代第一媒體內容時將播放設備的音量調節到目標音量。例如，音頻分析模組245能夠將目標音量提供給播放修改模組246，而播放修改模組246能夠使用平滑濾波器將播放設備的音量逐漸地調節到目標音量。使用平滑濾波器允許在一秒內(例如，在一百毫秒的過程中)將播放設備的音量從當前音量調節到目標音量。以這種方式，播放修改模組246能夠調節播放設備240的音量以回應使用者觸發的音量調節，例如在替換媒體已經開始播放之後通過從遙控器向媒體設備230發送指令而觸發的音量調節。以類似的方式，在媒體內容替換事件程序期間，播放設備240隨後能夠將確定的響度水平與參考響度水平進行比較，並對播放設備的音量進行隨後的調節。
在一些示例中，音頻分析模組245能夠檢測第一媒體內容的音頻訊號突然並出乎意料地變得非常低/靜音的時間比正常時間長(例如，比語音內容短暫暫停的時間長)上。基於檢測到這種暫停，播放修改模組246能夠使第二媒體內容的音頻訊號靜音。以這種方式，如果在媒體內容替換事件期間使用者(例如，使用媒體設備230的遙控器)使第一媒體內容靜音，則播放設備240也能夠使替代第一媒體內容來呈現的第二媒體內容靜音。
在一些示例中，在播放第二媒體內容之前，音頻分析模組245能夠使用第一媒體內容的響度水平分布資訊來確定對第二媒體內容的響度的調節。例如，音頻分析模組245能夠確定替換媒體的整體響度水平超過了正在播放第一媒體內容的播放設備240的響度水平與第一媒體的響度水平分布資訊指示的參考響度水平之間的差。然後，通過第一媒體音量分析，使替換媒體的音量降低替換媒體響度水平超過所述差的量，並且將該量用作播放設備240的目標音量。相反地，音頻分析模組245能夠確定第一媒體的響度水平分布資訊指示的參考響度水平與播放設備240上指示的實際音量水平之間的差大於替換媒體的響度水平參考，進而音頻分析模組245能夠通過第一媒體音量分析確定使替換媒體音量提高替換媒體低於該差的量的音量。再一次的，當替換媒體播放開始時，該音量水平將用作播放設備240的目標音量。為了本公開的目的，調節媒體內容的響度水平與調節媒體內容的音頻音量水平同義。因此，對音量的調節不必須涉及頻譜的心理聲學加權。
[III、示例操作]
圖5是示例方法500的流程圖。方法500能夠由諸如播放設備240的播放設備執行，或更一般地由計算系統來執行。在框502處，方法500包括由播放設備確定播放設備正在從第一源接收的第一媒體內容的響度水平。在框504處，方法500包括由播放設備將所確定的第一媒體內容的響度水平與第一媒體內容的響度水平分布資訊指示的參考響度水平進行比較。在框506處，方法500包括由播放設備基於所確定的第一媒體內容的響度水平與參考響度水平的差來確定播放設備的目標音量水平。在框508處，方法500包括在播放設備呈現來自第二源的第二媒體內容以替代第一媒體內容時，由播放設備將播放設備的音量調節到目標音量水平。
[IV、示例變體]
儘管本發明中描述的一些動作和/或功能被描述為由特定實體執行，但是這些動作和/或功能能夠由任何實體執行，例如由本發明中描述的那些實體執行。此外，儘管以特定的順序敘述了動作和/或功能，但是這些動作和/或功能不必需以所敘述的循序執行。然而，在某些情況下，可能期望以所述循序執行這些動作和/或功能。此外，這些動作和/或功能中的每一個都可以回應於一個或更多個其它動作和/或功能來執行。而且，並非必須要執行所有的動作和/或功能來實現本發明提供的益處中的一個或更多個，因此，並不是所有的動作和/或功能都是必須的。
儘管結合本發明的一個或更多個示例討論了某些變體，但是這些變體也能夠應用於本發明的所有其它示例。
儘管描述了本發明的選擇示例，但是這些示例的替代和變換方案對於本領域的普通技術人員來說是顯而易見的。在不脫離如所附申請專利範圍所闡述的本發明的更廣泛方面的情況下，其它改變、替換和/或變更也是可能的。
100:計算設備 102:處理器 104:資料儲存單元 106:通訊介面 108:使用者介面 110:連接機構 200:DAI系統 210:觀看平台 212:參考指紋生成器 214:響度水平分布資訊生成器 216:碎片選擇模組 218:值計算模組 220:內容源 230:媒體設備 240:播放設備 242:查詢指紋生成器 243:碎片選擇模組 244:值計算模組 245:音頻分析模組 246:播放修改模組 250:視頻識別系統 252:索引模組 254:指紋匹配模組 256:識別模組 260:替換內容伺服器 262:視頻提供模組 270:網路 500:方法 502:框 504:框 506:框 508:框
圖1是示例計算設備的簡化框圖。
圖2是示例動態廣告插入(DAI)系統的簡化框圖。
圖3是示出根據示例實施例的參考指紋生成器、查詢指紋生成器和視頻識別系統的組件的簡化框圖。
圖4是示出根據示例實施例的播放設備和替換內容伺服器的組件的簡化框圖。
圖5是示例方法的流程圖。
500:方法
502:框
504:框
506:框
508:框

Claims (20)

  1. 一種使用響度水平分布資訊在媒體替換事件期間檢測音量調節的方法，所述方法包括以下步驟：由播放設備確定所述播放設備正在從第一源接收的第一媒體內容的響度水平；由所述播放設備將所確定的第一媒體內容的響度水平與所述第一媒體內容的部分的響度水平分布資訊指示的參考響度水平進行比較，其中所述響度水平分布資訊表徵所述第一媒體內容中的響度隨時間的變化並且包括所述第一媒體內容的不同部分的相應響度水平；由所述播放設備基於所確定的第一媒體內容的響度水平與所述參考響度水平的差來確定所述播放設備的目標音量水平；在所述播放設備呈現來自第二源的第二媒體內容以替代所述第一媒體內容時，由所述播放設備將所述播放設備的音量調節到所述目標音量水平。
  2. 如請求項1所述之方法，其中調節所述播放設備的音量包括：使用平滑濾波器將所述播放設備的音量從當前音量水平調節到所述目標音量水平。
  3. 如請求項1所述之方法，其中確定所述第一媒體內容的響度水平包括：在所述播放設備正在呈現所述第二媒體內容以替代所述第一媒體內容時，確定所述第一媒體內容的響度水平。
  4. 如請求項1所述之方法，其中所述方法還包括將所述響度水平分布資訊與所述播放設備正在接收的所述第一媒體內容對齊。
  5. 請求項4所述之方法，其中將所述響度水平分布資訊與所述第一媒體內容對齊包括： 使用所述第一媒體內容確定查詢指紋；確定所述查詢指紋對應於與所述響度水平分布資訊相關聯的參考指紋；以及使用與所述查詢指紋相關聯的時間戳，將所述響度水平分布資訊與所述第一媒體內容對齊。
  6. 如請求項4所述之方法，其中將所述響度水平分布資訊與所述第一媒體內容對齊包括：檢測所述第一媒體內容內的浮水印；以及使用與所述浮水印相關聯的時間戳，將所述響度水平分布資訊與所述第一媒體內容對齊。
  7. 如請求項4所述之方法，其中所確定的第一媒體內容的響度水平對應於所述第一媒體內容的所述部分，並且其中確定所述參考響度水平包括：基於所述對齊，確定與所述第一媒體內容的所述部分對應的所述參考響度水平。
  8. 如請求項1所述之方法，其中所述播放設備包括電視，並且其中呈現所述第二媒體內容包括使用媒體播放器呈現替換廣告。
  9. 如請求項1所述之方法，其中所述第二媒體內容儲存在所述播放設備的本地緩存中，並且其中所述方法還包括：在呈現所述第二媒體內容以替代所述第一媒體內容之前，從所述本地緩存中檢索所述第二媒體內容。
  10. 一種非暫時性電腦可讀介質，所述非暫時性電腦可讀介質上儲存有程式指令，所述程式指令在被處理器執行時，引起執行一組動作，所述一組動作包括：確定播放設備正在從第一源接收的第一媒體內容的響度水平； 將所確定的第一媒體內容的響度水平與所述第一媒體內容的部分的響度水平分布資訊指示的參考響度水平進行比較，其中所述響度水平分布資訊表徵所述第一媒體內容中的響度隨時間的變化並且包括所述第一媒體內容的不同部分的相應響度水平；基於所確定的第一媒體內容的響度水平與所述參考響度水平的差來確定所述播放設備的目標音量水平；在所述播放設備呈現來自第二源的第二媒體內容以替代所述第一媒體內容時，將所述播放設備的音量調節到所述目標音量水平。
  11. 如請求項10所述之非暫時性電腦可讀介質，其中調節所述播放設備的音量包括：使用平滑濾波器將所述播放設備的音量從當前音量水平調節到所述目標音量水平。
  12. 如請求項10所述之非暫時性電腦可讀介質，其中所述第二媒體內容儲存在所述播放設備的本地緩存中，並且其中所述一組動作還包括：在呈現所述第二媒體內容以替代所述第一媒體內容之前，從所述本地緩存中檢索所述第二媒體內容。
  13. 如請求項10所述之非暫時性電腦可讀介質，其中所述一組動作還包括將所述響度水平分布資訊與所述播放設備正在接收的所述第一媒體內容對齊。
  14. 如請求項13所述之非暫時性電腦可讀介質，其中將所述響度水平分布資訊與所述第一媒體內容對齊包括：使用所述第一媒體內容確定查詢指紋；確定所述查詢指紋對應於與所述響度水平分布資訊相關聯的參考指紋；以及 使用與所述查詢指紋相關聯的時間戳，將所述響度水平分布資訊與所述第一媒體內容對齊。
  15. 如請求項13所述之非暫時性電腦可讀介質，其中所確定的第一媒體內容的響度水平對應於所述第一媒體內容的所述部分，並且其中確定所述參考響度水平包括：基於所述對齊，確定與所述第一媒體內容的所述部分對應的所述參考響度水平。
  16. 一種計算系統，其配置成執行一組動作，所述一組動作包括：確定播放設備正在從第一源接收的第一媒體內容的響度水平；將所確定的第一媒體內容的響度水平與所述第一媒體內容的部分的響度水平分布資訊指示的參考響度水平進行比較，其中所述響度水平分布資訊表徵所述第一媒體內容中的響度隨時間的變化並且包括所述第一媒體內容的不同部分的相應響度水平；基於所確定的第一媒體內容的響度水平與所述參考響度水平的差來確定所述播放設備的目標音量水平；在所述播放設備呈現來自第二源的第二媒體內容以替代所述第一媒體內容時，將所述播放設備的音量調節到所述目標音量水平。
  17. 如請求項16所述之計算系統，其中調節所述播放設備的音量包括：使用平滑濾波器將所述播放設備的音量從當前音量水平調節到所述目標音量水平。
  18. 如請求項16所述之計算系統，其中所述第二媒體內容儲存在所述播放設備的本地緩存中，並且其中所述一組動作還包括：在呈現所述第二媒體內容以替代所述第一媒體內容之前從所述 本地緩存中檢索所述第二媒體內容。
  19. 如請求項16所述的計算系統，其中所述一組動作還包括將所述響度水平分布資訊與所述播放設備正在接收的所述第一媒體內容對齊。
  20. 如請求項16所述之計算系統，其中將所述響度水平分布資訊與所述第一媒體內容對齊包括：使用所述第一媒體內容確定查詢指紋；確定所述查詢指紋對應於與所述響度水平分布資訊相關聯的參考指紋；以及使用與所述查詢指紋相關聯的時間戳，將所述響度水平分布資訊與所述第一媒體內容對齊。
TW108141663A 2018-11-16 2019-11-15 使用響度水平分布資訊在媒體替換事件期間檢測音量調節 TWI739211B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201862768596P 2018-11-16 2018-11-16
US62/768,596 2018-11-16
US201962861474P 2019-06-14 2019-06-14
US62/861,474 2019-06-14
US201962909676P 2019-10-02 2019-10-02
US62/909,676 2019-10-02
US16/684,510 US11068232B2 (en) 2018-11-16 2019-11-14 Detection of volume adjustments during media replacement events using loudness level profiles
US16/684,510 2019-11-14

Publications (2)

Publication Number Publication Date
TW202034705A TW202034705A (zh) 2020-09-16
TWI739211B true TWI739211B (zh) 2021-09-11

Family

ID=70726334

Family Applications (3)

Application Number Title Priority Date Filing Date
TW110107028A TWI786556B (zh) 2018-11-16 2019-11-15 用於在媒體內容替換事件之前調節響度水平的方法、非暫時性電腦可讀介質及計算系統
TW108141663A TWI739211B (zh) 2018-11-16 2019-11-15 使用響度水平分布資訊在媒體替換事件期間檢測音量調節
TW108141593A TWI723633B (zh) 2018-11-16 2019-11-15 用於檢測媒體播放響度水平並且調節音頻之方法、非暫時性電腦可讀介質及計算系統

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW110107028A TWI786556B (zh) 2018-11-16 2019-11-15 用於在媒體內容替換事件之前調節響度水平的方法、非暫時性電腦可讀介質及計算系統

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW108141593A TWI723633B (zh) 2018-11-16 2019-11-15 用於檢測媒體播放響度水平並且調節音頻之方法、非暫時性電腦可讀介質及計算系統

Country Status (6)

Country Link
US (7) US11347470B2 (zh)
EP (2) EP4250563A3 (zh)
JP (3) JP7157878B2 (zh)
CN (1) CN113330750B (zh)
TW (3) TWI786556B (zh)
WO (3) WO2020101951A2 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11347470B2 (en) 2018-11-16 2022-05-31 Roku, Inc. Detection of media playback loudness level and corresponding adjustment to audio during media replacement event
WO2020185025A1 (ko) 2019-03-14 2020-09-17 가우디오랩 주식회사 라우드니스 레벨을 제어하는 오디오 신호 처리 방법 및 장치
KR102390643B1 (ko) * 2019-10-10 2022-04-27 가우디오랩 주식회사 오디오 라우드니스 메타데이터 생성 방법 및 이를 위한 장치
WO2022086196A1 (ko) * 2020-10-22 2022-04-28 가우디오랩 주식회사 기계 학습 모델을 이용하여 복수의 신호 성분을 포함하는 오디오 신호 처리 장치
US11750881B2 (en) * 2020-11-24 2023-09-05 Roku, Inc. Server-side matching of supplemental content audio to perceived audio by end-user
US11962870B2 (en) * 2021-02-17 2024-04-16 Roku, Inc. Content-modification system with quiet content detection feature
CN113365010B (zh) * 2021-06-07 2022-11-22 北京字节跳动网络技术有限公司 音量调节方法、装置、设备、存储介质
US11848655B1 (en) * 2021-09-15 2023-12-19 Amazon Technologies, Inc. Multi-channel volume level equalization based on user preferences
US11974012B1 (en) * 2023-11-03 2024-04-30 AVTech Select LLC Modifying audio and video content based on user input

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120250895A1 (en) * 2007-12-21 2012-10-04 Srs Labs, Inc. System for adjusting perceived loudness of audio signals
US20180069517A1 (en) * 2006-04-27 2018-03-08 Dolby Laboratories Licensing Corporation Audio Control Using Auditory Event Detection
US20180234728A1 (en) * 2017-02-10 2018-08-16 Samsung Electronics Co., Ltd. Display device and method for replacing advertisement

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822018A (en) 1996-04-02 1998-10-13 Farmer; James O. Method and apparatus for normalizing signal levels in a signal processing system
US6950623B2 (en) 2000-09-19 2005-09-27 Loudeye Corporation Methods and systems for dynamically serving in-stream advertisements
JP2003134419A (ja) * 2001-10-29 2003-05-09 Nippon Telegr & Teleph Corp <Ntt> コンテンツ再生装置、コンテンツ再生方法、コンピュータ・プログラム、情報記憶媒体
AU2003206429A1 (en) 2002-07-02 2004-01-22 John Christiansen System
US6873341B1 (en) 2002-11-04 2005-03-29 Silicon Image, Inc. Detection of video windows and graphics windows
JP2006166187A (ja) 2004-12-09 2006-06-22 Kenwood Corp 音源切り替え方法及び装置
JP4432858B2 (ja) * 2005-07-29 2010-03-17 ソニー株式会社 放送受信方法
US20070214103A1 (en) 2006-03-10 2007-09-13 Sbc Knowledge Ventures L.P. System and method for providing content over a communications network
KR100938686B1 (ko) 2007-12-03 2010-01-25 김용호 방범 및 광고 기능을 가지는 자동차
WO2010138311A1 (en) * 2009-05-26 2010-12-02 Dolby Laboratories Licensing Corporation Equalization profiles for dynamic equalization of audio data
US8731216B1 (en) * 2010-10-15 2014-05-20 AARIS Enterprises, Inc. Audio normalization for digital video broadcasts
US8863165B2 (en) 2010-11-01 2014-10-14 Gracenote, Inc. Method and system for presenting additional content at a media system
US9535653B2 (en) 2012-08-31 2017-01-03 Google Inc. Adjusting audio volume of multimedia when switching between multiple multimedia content
KR101403884B1 (ko) * 2012-09-11 2014-06-09 안성룡 음량 자동 조절 장치
CN102946520B (zh) 2012-10-30 2016-12-21 深圳创维数字技术有限公司 一种自动控制频道音量的方法及数字电视终端
US10027303B2 (en) * 2012-11-13 2018-07-17 Snell Advanced Media Limited Management of broadcast audio loudness
US8813120B1 (en) * 2013-03-15 2014-08-19 Google Inc. Interstitial audio control
US9521501B2 (en) 2013-09-12 2016-12-13 Dolby Laboratories Licensing Corporation Loudness adjustment for downmixed audio content
CN103813184B (zh) 2013-12-13 2017-06-23 北京智谷睿拓技术服务有限公司 播放控制方法、播放控制系统、服务器和用户终端
US20150319506A1 (en) 2014-04-30 2015-11-05 Netflix, Inc. Displaying data associated with a program based on automatic recognition
FI20145493A (fi) * 2014-05-28 2015-11-29 Exaget Oy Sisällön lisääminen mediavirtaan
US10345999B2 (en) 2014-11-03 2019-07-09 Opentv, Inc. Media presentation modification using audio segment marking
US9647624B2 (en) 2014-12-31 2017-05-09 Stmicroelectronics Asia Pacific Pte Ltd. Adaptive loudness levelling method for digital audio signals in frequency domain
US10824385B2 (en) 2015-02-27 2020-11-03 Charter Communications Operating, Llc Automated audio volume stabilizer
US9837086B2 (en) 2015-07-31 2017-12-05 Apple Inc. Encoded audio extended metadata-based dynamic range control
US9936156B2 (en) 2015-09-24 2018-04-03 Samantha WESTERN Volume adjusting apparatus and method
US9858036B2 (en) * 2015-11-10 2018-01-02 Google Llc Automatic audio level adjustment during media item presentation
WO2017106695A2 (en) * 2015-12-16 2017-06-22 Gracenote, Inc. Dynamic video overlays
JP6122987B1 (ja) 2016-03-18 2017-04-26 ヤフー株式会社 決定装置、決定方法、決定プログラム
US10187689B2 (en) 2017-03-16 2019-01-22 The Directv Group, Inc Dynamic advertisement insertion
CN107633850A (zh) 2017-10-10 2018-01-26 维沃移动通信有限公司 一种音量调节方法及电子设备
KR101986905B1 (ko) 2017-10-31 2019-06-07 전자부품연구원 신호 분석 및 딥 러닝 기반의 오디오 음량 제어 방법 및 시스템
US10509558B2 (en) 2017-12-08 2019-12-17 Spotify Ab System and method for enabling advertisement interaction with an electronic device
US10389323B2 (en) * 2017-12-18 2019-08-20 Tls Corp. Context-aware loudness control
KR102510899B1 (ko) * 2018-01-07 2023-03-16 그레이스노트, 인코포레이티드 볼륨 조절을 위한 방법 및 장치
US11347470B2 (en) 2018-11-16 2022-05-31 Roku, Inc. Detection of media playback loudness level and corresponding adjustment to audio during media replacement event

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180069517A1 (en) * 2006-04-27 2018-03-08 Dolby Laboratories Licensing Corporation Audio Control Using Auditory Event Detection
US20120250895A1 (en) * 2007-12-21 2012-10-04 Srs Labs, Inc. System for adjusting perceived loudness of audio signals
US20180234728A1 (en) * 2017-02-10 2018-08-16 Samsung Electronics Co., Ltd. Display device and method for replacing advertisement

Also Published As

Publication number Publication date
JP2022507766A (ja) 2022-01-18
EP3881556A4 (en) 2022-08-17
JP7043683B2 (ja) 2022-03-29
US11740860B2 (en) 2023-08-29
WO2020102633A1 (en) 2020-05-22
US20220276831A1 (en) 2022-09-01
CN113330750A (zh) 2021-08-31
JP7048825B2 (ja) 2022-04-05
US20210271448A1 (en) 2021-09-02
US20210311697A1 (en) 2021-10-07
WO2020101951A2 (en) 2020-05-22
TW202034705A (zh) 2020-09-16
US11042353B2 (en) 2021-06-22
CN113330750B (zh) 2022-11-11
WO2020102632A1 (en) 2020-05-22
JP7157878B2 (ja) 2022-10-20
WO2020101951A3 (en) 2021-01-21
EP4250563A2 (en) 2023-09-27
EP3881556B1 (en) 2023-09-13
EP3881556A1 (en) 2021-09-22
US11068232B2 (en) 2021-07-20
TWI786556B (zh) 2022-12-11
US11372617B2 (en) 2022-06-28
US20200162048A1 (en) 2020-05-21
JP2022507767A (ja) 2022-01-18
JP2022507768A (ja) 2022-01-18
US11556304B2 (en) 2023-01-17
TWI723633B (zh) 2021-04-01
US20200159489A1 (en) 2020-05-21
US11347470B2 (en) 2022-05-31
US20200162049A1 (en) 2020-05-21
US11748055B2 (en) 2023-09-05
EP4250563A3 (en) 2023-11-29
TW202027513A (zh) 2020-07-16
US20220253275A1 (en) 2022-08-11
TW202123719A (zh) 2021-06-16

Similar Documents

Publication Publication Date Title
TWI739211B (zh) 使用響度水平分布資訊在媒體替換事件期間檢測音量調節
US11317144B2 (en) Detection of mute and compensation therefor during media replacement event
US11601715B2 (en) System and method for dynamically adjusting content playback based on viewer emotions
US11303870B2 (en) Modifying playback of replacement content responsive to detection of remote control signals that modify operation of the playback device