JP7043683B2 - ラウドネスレベルプロファイルを使用した、メディア置換イベント中における音量調整の検出 - Google Patents

ラウドネスレベルプロファイルを使用した、メディア置換イベント中における音量調整の検出 Download PDF

Info

Publication number
JP7043683B2
JP7043683B2 JP2021527818A JP2021527818A JP7043683B2 JP 7043683 B2 JP7043683 B2 JP 7043683B2 JP 2021527818 A JP2021527818 A JP 2021527818A JP 2021527818 A JP2021527818 A JP 2021527818A JP 7043683 B2 JP7043683 B2 JP 7043683B2
Authority
JP
Japan
Prior art keywords
media content
loudness level
playback device
loudness
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021527818A
Other languages
English (en)
Other versions
JP2022507768A (ja
Inventor
マルクス ケイ クレーマー
シャシャンク マーチャント
ロバート クーヴァー
トッド ジェイ ホッジス
ジョシュア アーネスト モリス
Original Assignee
ロク インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ロク インコーポレイテッド filed Critical ロク インコーポレイテッド
Publication of JP2022507768A publication Critical patent/JP2022507768A/ja
Application granted granted Critical
Publication of JP7043683B2 publication Critical patent/JP7043683B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/22—Automatic control in amplifiers having discharge tubes
    • H03G3/24—Control dependent upon ambient noise level or sound level
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/3005—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/3089—Control of digital or coded signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Stereophonic System (AREA)
  • Control Of Amplification And Gain Control (AREA)
  • Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

〔関連出願との相互参照〕
本開示は、２０１８年１１月１６日に出願された米国仮特許出願第６２／７６８，５９６号、２０１９年６月１４日に出願された米国仮特許出願第６２／８６１，４７４号、及び２０１９年１０月２日に出願された米国仮特許出願第６２／９０６，６７６号に対する優先権を主張するものであり、これらの各文献はその全体が引用により本明細書に組み入れられる。
本開示では、別途指定していない限り、及び／又は特定の文脈によって明らかに別様に決定付けられない限り、「ａ又はａｎ（英文不定冠詞）」という用語は少なくとも１つを意味し、「ｔｈｅ（英文定冠詞）」という用語も少なくとも１つを意味する。
本開示では、「接続機構」という用語は、２又は３以上のコンポーネント、装置、システム又はその他のエンティティ間の通信を容易にする機構を意味する。接続機構は、ケーブル又はシステムバスなどの比較的単純な機構、又はパケットベースの通信ネットワーク（例えば、インターネット）などの比較的複雑な機構とすることができる。いくつかの例では、（例えば、接続が無線である場合には）接続機構が無形媒体を含むこともできる。
本開示では、「コンピュータシステム」という用語は、少なくとも１つのコンピュータ装置を含むシステムを意味する。いくつかの例では、コンピュータシステムが１又は２以上の他のコンピュータシステムを含むこともできる。
今後数年間のうちに、メディアコンテンツ内の広告をターゲット広告に置き換えることがますます重要な広告手法になると予想される。一例として、動的広告挿入（ＤＡＩ：ｄｙｎａｍｉｃ ａｄｖｅｒｔｉｓｅｍｅｎｔ ｉｎｓｅｒｔｉｏｎ）システムでは、コンテンツプロバイダが、ライブコンテンツ又は録画コンテンツなどの一連のメディアコンテンツに割り込むコマーシャル時間（ａｄｖｅｒｔｉｓｅｍｅｎｔ ｂｒｅａｋｓ）に一般広告（ｇｅｎｅｒｉｃ ａｄｖｅｒｔｉｓｅｍｅｎｔｓ）を挿入することができる。各コマーシャル時間は、所定の順序で配置された広告の組を含むことができる。さらに、これらの広告のうちの特定の１つをターゲット広告などの置換メディアコンテンツに置き換えられるように指定又は動的に選択することもできる。
この構成では、再生装置が、特定の広告を表示する前に置換メディアコンテンツを取得して、この特定の広告の代わりに置換メディアコンテンツを表示のために提供することができる。例えば、再生装置は、置換すべき特定の広告の直前にコンテンツを再生している、或いはまさにコンテンツを再生しようとしていると判定したことに応答して、データベースからターゲット広告を検索し、適切な時点で特定の広告の代わりにターゲット広告を表示のために提供することができる。
１つの態様では、方法例を開示する。この方法は、（ｉ）再生装置が、第１のソースから受け取っている第１のメディアコンテンツのラウドネスレベルを決定することと、（ｉｉ）再生装置が、第１のメディアコンテンツの決定されたラウドネスレベルと、第１のメディアコンテンツのラウドネスレベルプロファイルによって示される基準ラウドネスレベルとを比較することと、（ｉｉｉ）再生装置が、第１のメディアコンテンツの決定されたラウドネスレベルと基準ラウドネスレベルとの間の差分に基づいて、再生装置の目標音量レベルを決定することと、（ｉｖ）再生装置が、第１のメディアコンテンツの代わりに第２のソースからの第２のメディアコンテンツを提示している間に、再生装置の音量を目標音量レベルに向けて調整することと、を含む。
別の態様では、非一時的コンピュータ可読媒体例を開示する。このコンピュータ可読媒体は、プロセッサによる実行時に、（ｉ）再生装置が第１のソースから受け取っている第１のメディアコンテンツのラウドネスレベルを決定することと、（ｉｉ）第１のメディアコンテンツの決定されたラウドネスレベルと、第１のメディアコンテンツのラウドネスレベルプロファイルによって示される基準ラウドネスレベルとを比較することと、（ｉｉｉ）第１のメディアコンテンツの決定されたラウドネスレベルと基準ラウドネスレベルとの間の差分に基づいて、再生装置の目標音量を決定することと、（ｉｖ）再生装置が第１のメディアコンテンツの代わりに第２のソースからの第２のメディアコンテンツを提示している間に、再生装置の音量を目標音量レベルに向けて調整することと、を含む一連の動作を実行させるプログラム命令を記憶している。
別の態様では、コンピュータシステム例を開示する。このコンピュータシステムは、（ｉ）再生装置が第１のソースから受け取っている第１のメディアコンテンツのラウドネスレベルを決定することと、（ｉｉ）第１のメディアコンテンツの決定されたラウドネスレベルと、第１のメディアコンテンツのラウドネスレベルプロファイルによって示される基準ラウドネスレベルとを比較することと、（ｉｉｉ）第１のメディアコンテンツの決定されたラウドネスレベルと基準ラウドネスレベルとの間の差分に基づいて、再生装置の目標音量を決定することと、（ｉｖ）再生装置が第１のメディアコンテンツの代わりに第２のソースからの第２のメディアコンテンツを提示している間に、再生装置の音量を目標音量レベルに向けて調整することと、を含む一連の動作を実行するように構成される。
コンピュータ装置例の簡略ブロック図である。 動的広告挿入（ＤＡＩ）システム例の簡略ブロック図である。 ある実施形態例による、基準フィンガープリント生成器、クエリフィンガープリント生成器及びビデオ識別システムのコンポーネントを示す簡略ブロック図である。 ある実施形態例による、再生装置及び置換コンテンツサーバのコンポーネントを示す簡略ブロック図である。 方法例のフローチャートである。
Ｉ．概要
再生装置におけるメディアコンテンツ置換イベント中には、第１のメディアコンテンツの一部の代わりに第２のメディアコンテンツ（すなわち、置換メディアコンテンツ）が提示される。例えば、メディアコンテンツ置換イベント中には、第１のソースから受け取られた第１のメディアコンテンツのセグメントが、第２のソースから受け取られた第２のメディアコンテンツに置換される。この置換を達成するために、再生装置は、第１のソースから受け取られた第１のメディアコンテンツを提示することから、第２のソースから受け取られた第２のメディアコンテンツを提示することに切り替えることができる。いくつかの場合では、ユーザがこのソースの切り替えを感知できないことがある。
さらに、いくつかの場合では、再生装置が第１のソースからの第１のメディアコンテンツの代わりに第２のソースからの第２のメディアコンテンツを提示するメディアコンテンツ置換イベント中に、再生装置が第１のソースの音量再生情報（ｖｏｌｕｍｅ ｐｌａｙｂａｃｋ ｉｎｆｏｒｍａｔｉｏｎ）に一切アクセスできない場合がある。例えば、第１のソースの音量再生情報は、再生装置にオーディオ信号を提供する装置によって設定することができるが、この音量再生情報に再生装置がアクセスできないことがある。この結果、メディアコンテンツ置換イベント中に、再生装置にオーディオ信号を提供している装置を制御できるリモコン装置を使用してユーザが再生装置の音量を調整しようと試みた場合、意図する調整に再生装置がアクセスできないことがある。例えば、ユーザが音量を増加又は減少させようと試みた場合、再生装置は、要求された変更に関する情報にアクセスできず、置換物である第２のメディアコンテンツを相変わらず同じ音量レベルで提示し続けることがある。音量を調整しようと試みているユーザには、リモコン装置が機能していないか、或いは試行された音量調整に再生装置が応答していないかのように思われることがある。これによって、視聴者のユーザ体験が貧弱又は苛立たしいものになってしまう恐れがある。
本明細書では、この及び潜在的にその他の問題に対処する方法及びシステムを開示する。本開示によれば、メディアコンテンツ置換イベント中に、再生装置が、サーバから受け取られたラウドネスデータを使用して、再生装置が第２のメディアコンテンツに置換している第１のメディアコンテンツに対する、ユーザがトリガした音量調整を検出してこれに応答することができる。ある方法例では、再生装置が、第１のソースから受け取っている第１のメディアコンテンツのラウドネスレベルを決定することができる。次に、再生装置は、再生装置上の第１のメディアコンテンツの決定されたラウドネスレベルと、第１のメディアコンテンツの元のラウドネスレベルプロファイルが再生装置上での変更前にどのようなものであったかを示す基準ラウドネスレベルとを比較することができる。さらに、再生装置は、第１のメディアコンテンツの決定されたラウドネスレベルと基準ラウドネスレベルとの間の差分に基づいて、再生装置の目標音量レベルを決定することができる。再生装置は、第１のメディアコンテンツの代わりに第２のソースからの第２のメディアコンテンツを提示している間に、再生装置の音量を目標音量レベルに向けて調整することができる。１つの例では、この目標音量への移行を円滑化フィルタを使用して実施することができる。
第１のメディアコンテンツのラウドネスレベルプロファイルは、第１のメディアコンテンツの部分のそれぞれのラウドネスレベルを含むことができる。再生装置は、第１のメディアコンテンツの決定されたラウドネスレベルと、ラウドネスレベルプロファイルによって示される対応する基準ラウドネスレベルとを比較することによって、第１のメディアコンテンツに対する、ユーザがトリガした音量調整を検出することができる。有利なことに、その後、再生装置は、音量を、新たな、ユーザにより選択された目標へと徐々に変更することによって第２のメディアコンテンツに対する対応する音量調整を実行することにより、検出されたユーザがトリガした音量調整に応答することができる。
本開示の一部は、広告を伴うメディアコンテンツ置換イベントを参照するが、これらの例は限定を意味するものではない。本明細書に開示するシステム及び方法は、１つのソースからのコンテンツストリームの一部である任意のコンテンツセグメントを別のソースからのコンテンツセグメントに置換することにも適用可能である。他のタイプの置換可能コンテンツとしては、気象セグメント、ニュースセグメント、スポーツセグメント、ラジオ広告などを挙げることができる。置換可能コンテンツを含むコンテンツストリームは、インターネット上のサーバ又はＵＲＬなどの様々なソースから提供することもできる。従って、以下に示す例は限定を意図するものではない。
ＩＩ．アーキテクチャ例
Ａ．コンピュータ装置
図１は、コンピュータ装置例１００の簡略ブロック図である。コンピュータ装置１００は、本開示において説明するような様々な動作及び／又は機能を実行することができる。コンピュータ装置１００は、プロセッサ１０２、データストレージユニット１０４、通信インターフェイス１０６及び／又はユーザインターフェイス１０８などの様々なコンポーネントを含むことができる。これらのコンポーネントは、接続機構１１０を介して互いに（或いは別の装置、システム又はその他のエンティティに）接続することができる。
プロセッサ１０２は、汎用プロセッサ（例えば、マイクロプロセッサ）及び／又は専用プロセッサ（例えば、デジタルシグナルプロセッサ（ＤＳＰ））を含むことができる。
データストレージユニット１０４は、磁気ストレージ、光学ストレージ又はフラッシュストレージなどの１又は２以上の揮発性、不揮発性、取り外し可能及び／又は取り外し不可能な記憶要素を含むことができ、及び／又は全体的又は部分的にプロセッサ１０２と一体化することができる。さらに、データストレージユニット１０４は、プロセッサ１０２によって実行された時に本開示において説明するような１又は２以上の動作及び／又は機能をコンピュータ装置１００に実行させるプログラム命令（例えば、コンパイラ型又は非コンパイラ型プログラムロジック及び／又は機械コード）を記憶した非一時的コンピュータ可読記憶媒体の形態を取ることができる。従って、コンピュータ装置１００は、本開示において説明するような１又は２以上の動作及び／又は機能を実行するように構成することができる。このようなプログラム命令は、離散的ソフトウェアアプリケーション（ｄｉｓｃｒｅｔｅ ｓｏｆｔｗａｒｅ ａｐｐｌｉｃａｔｉｏｎ）を定め、及び／又はこのような離散的ソフトウェアアプリケーションの一部とすることができる。いくつかの例では、コンピュータ装置１００が、通信インターフェイス１０６及び／又はユーザインターフェイス１０８などから入力を受け取ったことに応答してプログラム命令を実行することができる。データストレージユニット１０４は、本開示において説明するタイプなどの他のタイプのデータを記憶することもできる。
通信インターフェイス１０６は、コンピュータ装置１００が１又は２以上のプロトコルに従って別のエンティティと接続及び／又は通信することを可能にすることができる。１つの例では、通信インターフェイス１０６を、イーサネットインターフェイス又は高解像度シリアルデジタルインターフェイス（ＨＤ－ＳＤＩ）などの有線インターフェイスとすることができる。別の例では、通信インターフェイス１０６を、セルラ又はＷＩ－ＦＩインターフェイスなどの無線インターフェイスとすることができる。本開示では、接続を直接的接続とすることも、或いはルータ、スイッチャ又はその他のネットワーク装置などの１又は２以上のエンティティを通過及び／又は横断する接続である間接的接続とすることもできる。同様に、本開示では、送信を直接送信又は間接送信とすることができる。
ユーザインターフェイス１０８は、妥当な場合にコンピュータ装置１００とコンピュータ装置１００のユーザとの間の相互作用を容易にすることができる。従って、ユーザインターフェイス１０８は、キーボード、キーパッド、マウス、タッチセンサ式パネル、マイク及び／又はカメラなどの入力要素、及び／又は（例えば、タッチセンサ式パネルと組み合わせることができる）ディスプレイ装置、サウンドスピーカ及び／又は触覚フィードバックシステムなどの出力要素を含むことができる。より一般的に言えば、ユーザインターフェイス１０８は、コンピュータ装置１００とコンピュータ装置１００のユーザとの間の相互作用を容易にするハードウェア及び／又はソフトウェアコンポーネントを含むことができる。
コンピュータ装置１００は、ワークステーション端末、デスクトップコンピュータ、ラップトップ、タブレット、携帯電話機又はテレビなどの様々な形態を取ることができる。
Ｂ．動的広告挿入（ＤＡＩ）システム
図２は、ＤＡＩシステム例２００の簡略ブロック図である。ＤＡＩシステム２００は、メディアコンテンツ（例えば、オーディオコンテンツ及び／又はビデオコンテンツ）の配信及び／又は提示に関連する様々な動作及び／又は機能を実行することができ、コンピュータシステムとして実装することができる。
ＤＡＩシステム２００は、視聴ステーション（ｗａｔｃｈｉｎｇ ｓｔａｔｉｏｎ）２１０、コンテンツソース２２０、メディア装置２３０、再生装置２４０、ビデオ識別システム２５０及び置換コンテンツサーバ２６０などの様々なコンポーネントを含むことができ、これらはそれぞれコンピュータシステムとして実装することができる。
視聴ステーション２１０は、放送局、ウェブサーバ又はケーブルテレビ（ＴＶ）局などのコンテンツソース２２０からビデオ及びその他のマルチメディアコンテンツを受け取ることができる。例えば、コンテンツソース２２０は、テレビチャンネルを介して視聴ステーション２１０にメディアをストリーミング又は送信するＴＶ局又はＴＶネットワークなどの放送局、及び／又はネットワーク２７０を介して視聴ステーション２１０にメディアをストリーミング又は送信するウェブサイトなどのウェブサービスとすることができる。視聴ステーション２１０は、コンテンツソース２２０から受け取られたビデオコンテンツの基準フィンガープリントを生成する基準フィンガープリント生成器２１２を含む。視聴ステーション２１０は、生成された基準フィンガープリントをビデオ識別システム２５０に送信することができる。
視聴ステーション２１０は、ラウドネスレベルプロファイル生成器２１４も含む。或いは、ラウドネスレベルプロファイル生成器２１４は、視聴ステーション２１０から独立した別のコンピュータシステムの一部とすることもできる。ラウドネスレベルプロファイル生成器２１４は、メディアコンテンツのセグメントのラウドネスレベルプロファイルを生成することができる。一例として、ラウドネスレベルプロファイル生成器２１４は、メディアコンテンツ置換イベント中に置換広告に置き換えられる置換可能広告のラウドネスレベルプロファイルを生成することができる。
ラウドネスレベルプロファイルは、メディアコンテンツのセグメントにおいて時間と共にラウドネスがどのように変化するかを特徴付けることができる。例えば、ラウドネスレベルプロファイルは、メディアコンテンツのセグメントの異なる部分に対するそれぞれのラウドネスレベル（例えば、二乗平均平方根（ＲＭＳ）ラウドネスレベル又はラウドネス、K-weighted, relative to full scale（ＬＫＦＳ）ラウドネスレベル）を含むことができる。１つの例として、３０秒広告のラウドネスレベルプロファイルは、広告の部分に対応する一連のラウドネスレベルを含むことができる。これらの部分は、互いに重なり合う部分又は異なる部分とすることができる。例えば、各ラウドネスレベルは、固定長部分中（例えば、１／２秒、１秒など）の広告のオーディオ信号の特性に基づいて計算される移動平均とすることができる。
いくつかの実装では、オーディオ信号の最初の１秒部分のＲＭＳに基づいて、広告の初期ラウドネスレベルを計算することができる。次に、オーディオ信号の後続の１秒部分に基づいて後続のラウドネスレベルを計算することができる。或いは、他の実装では、オーディオ信号の最初の３秒部分のＲＭＳに基づいて初期ラウドネスレベルを計算することができる。次に、最初の３秒部分の一部に重なり合うオーディオ信号の後続の３秒部分に基づいて後続のラウドネスレベルを計算することができる。例えば、後続の３秒部分は、最初の部分の最後の２秒と、最初の部分に後続する追加部分とを含むことができる。
ラウドネスレベルプロファイル生成器２１４は、ラウドネスメータを使用してラウドネスレベルプロファイルのラウドネスレベルを計算することができる。ラウドネスメータは、視聴ステーション２１０上で実行されるように構成されたソフトウェアモジュールを含むことができる。ソフトウェアモジュールは、国際電気通信連合（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）によって推奨されるものなどの様々なフィルタリングアルゴリズムを実行してラウドネスレベルを決定することができる。ソフトウェアモジュールは、オーディオ信号の複数のチャンネルの個々のラウドネスレベルを測定した後に、個々のラウドネスレベルを平均化し、合計してラウドネスレベルに到達することができる。
ラウドネスレベルプロファイル生成器２１４は、ラウドネスレベルプロファイルのインデックスを生成することができる。例えば、ラウドネスレベルプロファイル生成器２１４は、生成されたラウドネスレベルプロファイルを、ラウドネスレベルプロファイルが生成された元となるメディアコンテンツのセグメントの対応する識別子に関連付けて記憶することができる。視聴ステーション２１０は、生成されたラウドネスレベルプロファイルを、ビデオ識別システム２５０、再生装置２４０、置換コンテンツサーバ２６０、及び／又は別のコンピュータシステムに送信することができる。
メディア装置２３０は、放送チャンネル及び／又はネットワーク２７０などを介してコンテンツソース２２０からビデオ及びその他のマルチメディアコンテンツを受け取ることができる。メディア装置２３０は、コンテンツを再生装置２４０に送る前に受け取ったコンテンツを修正することができる。メディア装置２３０は、ビデオコンテンツの入力ストリームを受け取り、入力ストリームを処理することによってビデオコンテンツの出力ストリームを生成するように構成されたチューナを含むことができる。メディア装置２３０は、多チャンネル映像番組配信事業者が利用する地上波放送、ケーブル及び／又は衛星放送ネットワークなどのビデオコンテンツ配信ネットワークを介してビデオコンテンツにアクセスできるように、チューナ、デコーダ及びその他のハードウェア及び／又はソフトウェアを備えた装置とすることができる。これに加えて又はこれに代えて、メディア装置２３０は、インターネットビデオストリーミングサービスにアクセスする装置が使用するワイドエリアネットワーク（例えば、インターネット）を通じてビデオコンテンツにアクセスできるように、ネットワークアダプタ、デコーダ及びその他のハードウェア及び／又はソフトウェアを備えた装置とすることもできる。メディア装置２３０は、再生装置２４０のスピーカ及びディスプレイがユーザにビデオコンテンツを提示するために使用できる信号（例えば、デジタル又はアナログ信号）を出力することができる。
再生装置２４０は、ビデオ及び／又はその他のマルチメディアコンテンツのストリームを受け取って提示できるいずれかの装置（例えば、ＴＶ、ラップトップ又はその他のパーソナルコンピュータ（ＰＣ）、タブレット又はその他のモバイル装置、或いはゲーム機）である。再生装置２４０は、処理済みのビデオコンテンツストリームを表示するように構成されたディスプレイ又はその他のユーザインターフェイスを含むことができる。ディスプレイは、フラットパネルスクリーン、プラズマスクリーン、発光ダイオード（ＬＥＤ）スクリーン、ブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）又はプロジェクタとすることができる。再生装置は、１又は２以上のスピーカを含むこともできる。また、再生装置２４０は、無線放送チャンネルを介してオーディオ及びビデオを受け取るように構成されたアンテナを含むこともできる。
ネットワーク２７０は、有線ネットワーク及び／又は無線ネットワーク（例えば、モバイルネットワーク）などの、装置間の通信を可能にするいずれかのネットワークとすることができる。ネットワーク２７０は、プライベートネットワーク（例えば、ケーブルテレビネットワーク又は衛星テレビネットワーク）又はパブリックネットワーク（例えば、無線放送チャンネル又はインターネット）を構成する１又は２以上の部分を含むことができる。
ビデオ識別システム２５０は、ネットワーク２７０を介して視聴ステーション２１０及び再生装置２４０と通信することができる。ビデオ識別システム２５０は、ビデオコンテンツを識別するために、再生装置２４０のクエリフィンガープリント生成器２４２がビデオコンテンツから生成したクエリフィンガープリントを受け取り、視聴ステーション２１０の基準フィンガープリント生成器２１２が生成した既知のフィンガープリントのインデックスを問い合わせることができる。クエリフィンガープリントは、ビデオコンテンツ内のフレーム又はフレームブロックのフィンガープリントとすることができる。ビデオ識別システム２５０は、クエリフィンガープリントと１又は２以上の基準フィンガープリントとを照合することによってビデオコンテンツを識別することができる。いくつかの例では、ビデオ識別システム２５０を、再生装置２４０又はメディア装置２３０のコンポーネント又はモジュールとすることができる。
ビデオ識別システム２５０は、ビデオコンテンツを識別すると、ビデオコンテンツに関連する置換メディアコンテンツ（例えば、代替番組又は代替コマーシャル）の識別子を再生装置２４０に戻すことができる。置換メディアコンテンツは、置換コンテンツサーバ２６０に記憶することができる。再生装置２４０は、識別子を使用して置換コンテンツサーバ２６０から置換メディアコンテンツにアクセスし、その後に置換メディアコンテンツを表示のために提供することができる。或いは、置換コンテンツサーバ２６０又は別のコンピュータシステムは、置換メディアコンテンツを再生装置２４０又はメディア装置２３０のローカルキャッシュに記憶されるように前もって（例えば、メディア装置２３０が置換動作を実行するようにスケジュールされている数秒前、数分前又は数時間前に）再生装置２４０又はメディア装置２３０に送信しておくこともできる。この実装では、再生装置２４０が、ローカルキャッシュから置換メディアコンテンツにアクセスした後に、置換メディアコンテンツを表示のために提供することができる。このローカルキャッシュ技術の採用は、再生装置２４０が置換動作の実行までに置換メディアコンテンツを受け取ることを確実にするのに役立つことができる。例えば、再生装置２４０が信頼できない又は予測できないインターネット接続を有している状況では、このことが特に有用となり得る。
また、ビデオ識別システム２５０は、ビデオコンテンツを識別する際に、このビデオコンテンツに関連するラウドネスレベルプロファイルの識別子を再生装置２４０に戻すことができる。この識別子は、例えばビデオコンテンツの識別子とすることができる。ラウドネスレベルプロファイルは、視聴ステーション２１０、置換コンテンツサーバ２６０、又は別のコンピュータシステムに記憶することができる。再生装置２４０は、この識別子を使用して、例えば視聴ステーション２１０又は置換コンテンツサーバ２６０からラウドネスレベルプロファイルにアクセスすることができる。或いは、視聴ステーション２１０又は別のコンピュータシステムは、ラウドネスレベルプロファイルを再生装置２４０又はメディア装置２３０のローカルキャッシュに記憶されるように前もって再生装置２４０又はメディア装置２３０に送信しておくこともできる。この実装では、再生装置２４０が、ローカルキャッシュからラウドネスレベルプロファイルにアクセスすることができる。
図２に示す任意の装置には、任意のモジュール、システム及び／又は生成器を配置することができる。例えば、ビデオ識別システム２５０は、クエリフィンガープリント生成器２４２を含むことができる。この構成では、ビデオ識別システム２５０が再生装置２４０からビデオコンテンツのフレームを受け取り、このビデオコンテンツのフレームを使用してクエリフィンガープリントを生成することができる。別の例として、メディア装置２３０及び再生装置２４０を単一の装置内で統合することもできる。他の変形例も可能である。
本開示のＤＡＩシステム２００及び他の部分の説明は、フィンガープリント法を使用したビデオコンテンツの識別を参照するが、この例は限定を意図するものではない。本明細書に開示するシステム及び方法は、透かし法を使用してビデオコンテンツを識別することもできる。例えば、視聴ステーション２１０は、ビデオコンテンツ内に透かし（例えば、オーディオ透かし又はビデオ透かし）を埋め込むことができる。この方法では、再生装置２４０がビデオコンテンツ内の透かしを検出して、この透かしをビデオ識別システム２５０に送信することができる。或いは、再生装置２４０がビデオコンテンツのフレームをビデオ識別システムに送信し、ビデオ識別システム２５０がビデオコンテンツのフレーム内の透かしを検出することもできる。ビデオ識別システム２５０は、透かしを取得した後に、この透かしを使用してビデオコンテンツを識別し、ビデオコンテンツに関連する置換メディアコンテンツの識別子を再生装置２４０に戻すことができる。同様に、本明細書に開示するシステム及び方法は、ビデオストリームに埋め込まれた情報を使用してビデオコンテンツを識別することもできる。例えば、視聴ステーション２１０は、ビデオストリームのサイド情報又は補助的情報に識別子を埋め込むことができる。この識別子は、メディアコンテンツ置換イベントを伝えることができ、再生装置２４０は、この埋め込み情報を検出することができる。別の例として、特定のクローズドキャプション情報によってメディアコンテンツ置換イベントをトリガすることもできる。視聴ステーション２１０は、ビデオコンテンツのクローズドキャプション情報を、メディアコンテンツ置換イベントの開始までのカウントダウンをトリガするテキスト文字列又は一連の文字列を含むように修正することができる。その後、再生装置２４０を、これらのテキスト文字列又は一連の文字列を探すことによって、メディアコンテンツ置換イベントがいつ発生する予定であるかを判定するように構成することができる。
図３は、基準フィンガープリント生成器２１２、クエリフィンガープリント生成器２４２及びビデオ識別システム２５０のコンポーネントを示す簡略ブロック図である。図３に示すように、クエリフィンガープリント生成器２４２は、（例えば、バス、共有メモリ又はスイッチを介して）互いに通信するように構成されたパッチ選択モジュール２４３及び値計算モジュール２４４を含む。さらに、ビデオ識別システム２５０は、インデックスモジュール２５２、フィンガープリント照合モジュール２５４及び識別モジュール２５６を含み、これらは全て互いに通信するように構成される。さらに、基準フィンガープリント生成器２１２は、互いに通信するように構成されたパッチ選択モジュール２１６及び値計算モジュール２１８を含む。
図３に示すモジュールのうちの１つ又は２つ以上は、ハードウェア（例えば、機械のプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ））、又はハードウェアとソフトウェアとの組み合わせを使用して実装することができる。さらに、図３に示すモジュールのうちのいずれか２つ又は３つ以上を単一モジュールに組み合わせ、本明細書で説明する単一モジュールの機能を複数のモジュール間で細分割することもできる。
上記の説明によれば、クエリフィンガープリント生成器２４２及び基準フィンガープリント生成器２１２は、ビデオコンテンツの１又は２以上のフレームのフィンガープリントを生成するように構成することができる。例えば、クエリフィンガープリント生成器２４２及び基準フィンガープリント生成器２１２は、ビデオコンテンツ内の１又は２以上のフレームのパッチ（ｐａｔｃｈｅｓ）の値を計算することができる。パッチは、フレーム内の異なる位置に存在することができる。クエリフィンガープリント生成器２４２及び基準フィンガープリント生成器２１２は、複数のフレームからのフィンガープリントを組み合わせてビデオコンテンツのフレームブロックのフィンガープリントを生成するように構成することができる。
一例として、クエリフィンガープリント生成器２４２のパッチ選択モジュール２４３は、ビデオコンテンツ内の１又は複数のフレームの１又は２以上の領域に関連するパッチなどのビデオコンテンツの複数のパッチを選択するように構成することができる。同様に、基準フィンガープリント生成器２１２のパッチ選択モジュール２１６も、ビデオコンテンツ内の１又は複数のフレームの１又は２以上の領域に関連するパッチなどのビデオコンテンツの複数のパッチを選択するように構成することができる。
パッチは、フレームを２×２グリッド、４×３グリッド又は４×４グリッドなどのグリッドに分割し、このグリッドに基づいてパッチを選択することによって定めることができる。例えば、フレームの象限（ｑｕａｄｒａｎｔｓ）に対応する４つの大パッチと、各象限のサブ象限（ｓｕｂ－ｑｕａｄｒａｎｔｓ）に対応する４つの小パッチ（すなわち、合計１６個の小パッチ）とを含む２０個のパッチを選択することができる。いくつかの例では、パッチが重なり合うこともできる。さらに、パッチは、フレーム全体よりも小さく累積的に広がることもできる。
クエリフィンガープリント生成器２４２の値計算モジュール２４４は、例えば積分画像法（ｉｎｔｅｇｒａｌ ｉｍａｇｅ ｔｅｃｈｎｉｑｕｅ）を使用して、選択された複数のパッチの各々の値を計算するように構成することができる。積分画像法は、画素グループの値の総和を生成するエリア総和テーブル（ｓｕｍｍｅｄ ａｒｅａ ｔａｂｌｅ）又はその他のデータ構造を使用して値を計算することができる。同様に、基準フィンガープリント生成器２１２の値計算モジュール２１８も、例えば積分画像法を使用して、選択された複数のパッチの各々の値を計算するように構成することができる。
いくつかの例では、値計算モジュール２４４及び値計算モジュール２１８が、パッチを含む画素グループの値を合計し、画素グループの値を平均し、又は画素グループの中央値を求めることによってパッチの値を計算することができる。これに加えて又はこれに代えて、値計算モジュール２４４及び値計算モジュール２１８は、画素グループの値間の差分を計算し、又は画素グループの値の線形結合を計算することによってパッチの値を計算することもできる。
ビデオ識別システム２５０のインデックスモジュール２５２は、クエリフィンガープリントに一致する可能性がある基準フィンガープリントを識別するために、視聴ステーション２１０又はビデオ識別システム２５０に記憶された既知のフィンガープリントのデータベースなどの、ビデオコンテンツの既知の基準フィンガープリントのデータベースに問い合わせを行うように構成することができる。インデックスモジュール２５２は、既知の基準フィンガープリントの量子化されたパッチ値のインデックスを問い合わせるように構成することができる。
ビデオ識別システム２５０のフィンガープリント照合モジュール２５４は、クエリフィンガープリントを１又は２以上の既知の基準フィンガープリントと比較して、クエリフィンガープリントが少なくとも１つの既知の基準フィンガープリントに一致すると判定するように構成することができる。例えば、フィンガープリント照合モジュール２５４は、クエリフィンガープリントと少なくとも１つの既知の基準フィンガープリントとの間の類似性が所定の閾値を満たすと判定することによって、クエリフィンガープリントが少なくとも１つの既知の基準フィンガープリントに一致すると判定することができる。所定の閾値は、谷本距離測定値、マンハッタン距離測定値、又はその他の距離測定値に関連することができる。これに加えて又はこれに代えて、フィンガープリント照合モジュール２５４は、ユークリッド法、コサイン法、ＫＬダイバージェンス法及び／又は板倉照合法などの他の照合法を使用することもできる。
さらに、識別モジュール２５６は、クエリフィンガープリントが少なくとも１つの基準フィンガープリントに一致するとの判定に基づいてビデオコンテンツを識別するように構成することができる。例えば、識別モジュール２５６は、ビデオコンテンツの名称又はタイトル、再生装置２４０が現在提示しているビデオコンテンツ内の位置、及び／又はビデオコンテンツを提供しているチャンネル又は放送局を識別することができる。
図４は、再生装置２４０及び置換メディアサーバ２６０のコンポーネントを示す簡略ブロック図である。図４に示すように、再生装置２４０は、クエリフィンガープリント生成器２４２に加えて、互いに通信するように構成できるオーディオ分析モジュール２４５及び再生修正モジュール２４６を含む。さらに、置換コンテンツサーバ２６０は、ビデオ提供モジュール２６２を含む。
再生装置２４０は、メディアコンテンツ置換イベントを実行するためのトリガに遭遇することができる。メディアコンテンツ置換イベントは、第１のソースからの第１のメディアコンテンツを提示することから、第２のソースからの第２のメディアコンテンツを提示することに切り替えることを伴うことができる。第１のソースは、第１のコンテンツパイプとすることができ、第２のソースは、第１のコンテンツパイプとは異なる第２のコンテンツパイプとすることができる。例えば、第１のソースは、無線アンテナ又はメディア装置２３０のいずれかとすることができ、第２のソースは、インターネット又は再生装置２４０のローカルキャッシュのいずれかとすることができる。特定の例として、第１のメディアコンテンツは、無線アンテナ又はメディア装置２３０を介して受け取られる第１のマルチメディアセグメントとすることができ、第２のメディアコンテンツは、ネットワーク２７０を介して置換コンテンツサーバ２６０から受け取られて再生装置２４０のローカルキャッシュに記憶される第２のマルチメディアセグメントとすることができる。或いは、第１のソースを無線アンテナとし、第２のソースをメディア装置２３０とすることもできる。別の例として、第１のソースをネットワーク２７０とし（例えば、第１のメディアコンテンツをマルチメディアストリームとし）、第２のソースを再生装置２４０のローカルキャッシュ又はメディア装置２３０のいずれかとすることもできる。
トリガに遭遇することは、置換すべき第２のセグメントの直前に生じる第１のセグメントを再生装置２４０が提示していると判定することを伴うことができる。再生装置２４０は、上述したフィンガープリント法又は透かし法のいずれかを使用して、第１のセグメントが提示されていると判定することができる。或いは、トリガに遭遇することは、再生装置２４０が別の装置から置換コマンドを受け取ることを伴うこともできる。
置換コンテンツサーバ２６０のビデオ提供モジュール２６２は、再生装置２４０に第２のメディアコンテンツを提供することができる。例えば、ビデオ識別システム２５０は、再生装置２４０が表示しているビデオコンテンツを識別することができ、ビデオ提供モジュール２６２は、識別されたビデオコンテンツに基づいて、ビデオコンテンツに対応する置換メディアコンテンツを再生装置２４０に提供することができる。再生装置２４０は、ネットワーク通信インターフェイスを介して第２のメディアコンテンツを受け取ることができる。例えば、第２のメディアコンテンツは、インターネットを介して再生装置２４０にストリーミングされた後に再生装置２４０のローカルキャッシュに記憶された置換メディアコンテンツとすることができる。
再生装置２４０は、トリガに遭遇すると、再生装置２４０が置換する予定の第１のメディアコンテンツの部分のラウドネスレベルプロファイルを取得することもできる。例えば、ビデオ識別システム２５０は、再生装置２４０が表示のために提供しているビデオコンテンツを識別したことに基づいて、再生装置２４０が置換する予定の第１のメディアコンテンツの部分のラウドネスレベルプロファイルを取得し、これを再生装置２４０に提供することができる。或いは、ビデオ識別システム２５０は、再生装置２４０に識別子を提供することにより、再生装置２４０がこの識別子を使用してローカルキャッシュ又は別のコンピュータシステムからラウドネスレベルプロファイルを検索できるようにすることもできる。
再生装置２４０は、トリガに遭遇したことに応答して、第１のメディアコンテンツを提示することから第２のメディアコンテンツを提示することに切り替えることができる。例えば、再生装置２４０は、第２のメディアコンテンツを一連のメディアコンテンツに挿入するトリガに遭遇すると、ローカルキャッシュから置換メディアコンテンツを検索し、メディアファイルを表示するように構成されたメディアプレーヤを使用して置換メディアコンテンツを表示することができる。メディアプレーヤを使用して置換メディアコンテンツを表示のために提供することは、メディア装置又はアンテナから受け取られたメディアコンテンツなどの他のメディアコンテンツが表示のために提供される別の層の上位に存在するメディアプレーヤ層に置換メディアコンテンツを提示することを伴うことができる。
いくつかの例では、第２のメディアコンテンツを表示のために提供することが、メディア装置２３０又はアンテナから受け取られたメディアコンテンツを提供することから、再生装置２４０のデータベースに記憶された置換メディアコンテンツを提供することに切り替えることを伴うことができる。再生装置２４０は、フレームバッファを含むシステムオンチップを含むことができる。再生装置２４０のメディアプレーヤは、置換メディアコンテンツを表示のために提供するために、置換メディアコンテンツをフレームバッファに挿入することができる。システムオンチップは、置換メディアコンテンツをフレームバッファに挿入する前に、メディア装置２３０から受け取られたメディアコンテンツをフレームバッファに挿入しておくことができる。
第２のメディアコンテンツは、置換広告を含むことができる。例えば、第２のメディアコンテンツは、一般広告の代わりとすべきターゲット広告を含むことができる。１つの例として、ターゲット広告は地方広告とすることができ、一般広告は全国広告とすることができる。別の例として、ターゲット広告は、再生装置２４０のユーザの人口統計データに基づいて選択された広告とすることもできる。
メディアコンテンツ置換イベント中、再生装置２４０は、第１のメディアコンテンツのラウドネスレベルプロファイルを使用して、第１のメディアコンテンツに固有のラウドネスレベル変化と、ユーザがトリガした音量調整の結果であるラウドネスレベル変化とを区別する支援を行うことができる。再生装置２４０は、第２のメディアコンテンツを提示している間に、オーディオ分析モジュール２４５に、再生装置２４０が受け取っている第１のメディアコンテンツのラウドネスレベルを決定して、このラウドネスレベルと、ラウドネスレベルプロファイルによって示されるコンテンツの基準ラウドネスレベルとを比較するように命令することができる。この基準レベルは、再生装置が音量レベルを変更する前のコンテンツの元の録音された音量レベルである。
オーディオ分析モジュール２４５は、ラウドネスレベルプロファイル生成器２１４が第１のメディアコンテンツのラウドネスレベルプロファイルを生成するために使用した長さと同じ長さを有する時間間隔を使用して第１のメディアコンテンツのラウドネスレベルを決定するように構成することができる。一例として、ラウドネスレベルプロファイル生成器２１４によって使用される時間間隔は、１秒とすることができる。この実装では、オーディオ分析モジュール２４５を、再生装置２４０が第１のソースから第１のメディアコンテンツを受け取った時に第１のメディアコンテンツの１秒部分のラウドネスレベルを決定するように構成することができる。例えば、オーディオ分析モジュール２４５は、第１のメディアコンテンツの最近受け取られた部分（例えば、過去１秒）のラウドネスレベル（例えば、二乗平均平方根（ＲＭＳ））を固定間隔ベースで計算することができる。オーディオ分析モジュール２４５は、ラウドネスメータ又はその他の音量計算を使用してこれらのラウドネスレベルを計算することができる。
オーディオ分析モジュール２４５は、オーディオ分析モジュール２４５によって決定されたラウドネスレベルと、ラウドネスレベルプロファイルによって示されるラウドネスレベルとの間の比較を容易にするために、ラウドネスレベルプロファイルと、再生装置２４０が第１のソースから受け取っているオーディオ信号とを整列させることができる。オーディオ分析モジュール２４５は、この整列を様々な方法で実行することができる。１つの例では、オーディオ分析モジュール２４５が、フィンガープリント法を使用してラウドネスレベルプロファイルをオーディオ信号に整列させることができる。オーディオ分析モジュール２４５は、フィンガープリント法を使用してラウドネスレベルプロファイルを整列させるために、ラウドネスレベルプロファイルに対応する基準フィンガープリントを受け取り、基準フィンガープリントと第１のメディアコンテンツから取得されたクエリフィンガープリントとを比較することができる。第１のメディアコンテンツから取得された各クエリフィンガープリントは、関連するタイムスタンプを有することができる。オーディオ分析モジュール２４５は、基準フィンガープリントがクエリフィンガープリントのうちの１つに一致すると判定すると、クエリフィンガープリントに関連するタイムスタンプを使用して、ラウドネスレベルプロファイルと再生装置２４０が受け取っているオーディオ信号とを整列させることができる。例えば、オーディオ分析モジュール２４５は、基準フィンガープリントとクエリフィンガープリントとの一致を、ラウドネスレベルプロファイルの初期ラウドネスレベルがクエリフィンガープリントに関連するタイムスタンプに対応することを意味するものと解釈するように構成することができる。或いは、オーディオ分析モジュール２４５は、基準フィンガープリントとクエリフィンガープリントとの一致を、ラウドネスレベルプロファイルの初期ラウドネスレベルがクエリフィンガープリントに関連するタイムスタンプからオフセット量（例えば、タイムスタンプの１秒後、タイムスタンプの２秒後など）だけオフセットされた時間に対応することを意味するものと解釈するように構成することができる。
ラウドネスレベルプロファイルを整列させるために使用される基準フィンガープリントは、オーディオフィンガープリント又はビデオフィンガープリントとすることができる。再生装置２４０は、再生装置２４０にラウドネスレベルプロファイルを提供する視聴ステーション２１０などのコンピュータシステムから基準フィンガープリントを取得することができる。
オーディオ分析モジュール２４５は、同様の方法で透かしを使用して、再生装置２４０が受け取っているオーディオ信号にラウドネスレベルプロファイルを整列させることができる。オーディオ分析モジュール２４５は、透かしを使用してラウドネスレベルプロファイルを整列させるために、ラウドネスレベルプロファイルに対応する透かしを受け取ることができる。次に、オーディオ分析モジュール２４５は、第１のメディアコンテンツ内の特定の時点に透かしが存在することを検出することができる。さらに、オーディオ分析モジュール２４５は、特定の時点における透かしの検出を、ラウドネスレベルプロファイルの初期ラウドネスレベルが特定の時点に対応することを意味するものと解釈するように構成することができる。或いは、オーディオ分析モジュール２４５は、特定の時点における透かしの検出を、ラウドネスレベルプロファイルの初期ラウドネスレベルが特定の時点からオフセット量（例えば、特定の時間の１秒後、特定の時間の２秒後など）だけオフセットされた時点に対応することを意味するものと解釈するように構成することができる。
オーディオ分析モジュール２４５は、再生装置２４０が第１のソースから受け取っているオーディオ信号にラウドネスレベルプロファイルを整列させた後に、オーディオ分析モジュール２４５によって決定されたオーディオ信号のラウドネスレベルに対応するラウドネスレベルプロファイルから基準ラウドネスレベルを選択することができる。例えば、オーディオ分析モジュール２４５は、ラウドネスレベルプロファイルの初期ラウドネスレベルがオーディオ信号の時点Ｔ１に整列していると決定しておくことができる。さらに、オーディオ分析モジュール２４５は、時点Ｔ１の５秒後に生じる第１のメディアコンテンツの部分を使用して第１のメディアコンテンツのラウドネスレベルを決定したことに基づいて、初期ラウドネスレベルが対応する時点の５秒後の時点に対応するラウドネスプロファイルの基準ラウドネスレベルを選択することができる。
その後、オーディオ分析モジュール２４５は、ラウドネスレベルプロファイルから基準ラウドネスレベルを選択した後に、基準ラウドネスレベルと再生装置上の決定されたラウドネスレベルとを比較することができる。いくつかの例では、決定されたラウドネスレベル及び基準ラウドネスレベルを絶対尺度で指定することができる。他の例では、決定されたラウドネスレベル及び第２のラウドネスレベルをデシベルで指定することができる。第１のラウドネスレベル及び第２のラウドネスレベルは、K-weighting relative to full scale（ＬＫＦＳ）などの知覚的音量重み付けを含むことができる。
オーディオ分析モジュール２４５は、これらの２つのラウドネスレベル間の差分の結果に基づいて、再生装置２４０の目標音量を決定することができる。例えば、オーディオ分析モジュール２４５は、再生装置２４０のオーディオ信号のラウドネスレベルが、ラウドネスレベルプロファイルによって示される対応する基準ラウドネスレベルを第１の量だけ超えていると判定し、再生装置２４０の現在の音量と第１の量との合計（又は現在の音量と第１の量に比例する値との合計）に等しい音量を目標音量として決定することができる。これとは逆に、オーディオ分析モジュール２４５は、ラウドネスレベルプロファイルによって示される基準ラウドネスレベルが再生装置２４０のオーディオ信号のラウドネスレベルを第２の量だけ超えていると判定し、再生装置２４０の現在の音量と第２の量との差分（又は現在の音量と第２の量に比例する値との差分）に等しい音量を目標音量として決定することができる。
再生修正モジュール２４６は、再生装置２４０が第１のメディアコンテンツの代わりに第２のメディアコンテンツを提示している間に、再生装置の音量を目標音量に向けて調整することができる。例えば、オーディオ分析モジュール２４５は、再生修正モジュール２４６に目標音量を提供することができ、再生修正モジュール２４６は、平滑化フィルタを使用して再生装置の音量を目標音量に向けて徐々に調整することができる。平滑化フィルタを使用すると、再生装置の音量を現在の音量から目標音量に１秒未満で（例えば、１００ミリ秒のうちに）調整することができる。このように、再生修正モジュール２４６は、置換メディアが再生を開始した後にリモコン装置からメディア装置２３０に命令を送信することによってトリガされる音量調整などのユーザがトリガした音量調整を考慮するように再生装置２４０の音量を調整することができる。同様に、再生装置２４０は、メディアコンテンツ置換イベント中に、決定されたラウドネスレベルと基準ラウドネスレベルとの間の比較を引き続き行い、再生装置の音量の調整を引き続き実行することができる。
いくつかの例では、オーディオ分析モジュール２４５が、第１のメディアコンテンツのオーディオ信号が通常の時間よりも長時間にわたって（例えば、会話内容の小休止の長さよりも長く）急激かつ予想外に非常に小さくなり／ミュートされたことを検出ことができる。再生修正モジュール２４６は、このような休止の検出に基づいて、第２のメディアコンテンツのオーディオ信号をミュートすることができる。このように、メディアコンテンツ置換イベント中にユーザが（例えば、メディア装置２３０のリモコン装置を使用して）第１のメディアコンテンツをミュートした場合、再生装置２４０は、第１のメディアコンテンツの代わりに提示されている第２のメディアコンテンツをミュートすることもできる。
いくつかの例では、オーディオ分析モジュール２４５が、第２のメディアコンテンツの再生前に第１のメディアコンテンツのラウドネスレベルプロファイルを使用して、第２のメディアコンテンツのラウドネスに対する調整を決定することができる。例えば、オーディオ分析モジュール２４５は、置換メディアの全体的ラウドネスレベルが、第１のメディアコンテンツを再生している再生装置２４０のラウドネスレベルと、第１のメディアのラウドネスレベルプロファイルによって示される基準ラウドネスレベルとの間の差分を超えていると判定することができる。この結果、置換メディアのラウドネスレベルが、この第１のメディア音量分析での差分を超える量だけ置換メディアの音量が低下され、この量が再生装置２４０の目標音量として使用されるようになる。これとは逆に、オーディオ分析モジュール２４５は、第１のメディアのラウドネスレベルプロファイルによって示される基準ラウドネスレベルと再生装置２４０上で示される実際の音量レベルとの間の差分が置換メディアのラウドネスレベル基準よりも大きいと判定し、置換物がこの第１のメディア音量分析での差分を下回る量だけ置換メディアの音量を高める音量を決定することもできる。この場合も、置換メディアの再生が開始した時に、このレベルが再生装置２４０の目標音量として使用されるようになる。本開示では、メディアコンテンツのラウドネスレベルを調整することが、メディアコンテンツのオーディオ音量レベルを調整することと同義である。従って、音量の調整は、必ずしもスペクトルの心理音響的重み付け（ｐｓｙｃｈｏａｃｏｕｓｔｉｃ ｗｅｉｇｈｔｉｎｇ）を伴う必要はない。
ＩＩＩ．動作例
図５は、方法例５００のフローチャートである。方法５００は、再生装置２４０などの再生装置、又はより一般的にはコンピュータシステムによって実行することができる。方法５００は、ブロック５０２において、再生装置が、第１のソースから受け取っている第１のメディアコンテンツのラウドネスレベルを決定することを含む。方法５００は、ブロック５０４において、再生装置が、第１のメディアコンテンツの決定されたラウドネスレベルと、第１のメディアコンテンツのラウドネスレベルプロファイルによって示される基準ラウドネスレベルとを比較することを含む。方法５００は、ブロック５０６において、再生装置が、第１のメディアコンテンツの決定されたラウドネスレベルと基準ラウドネスレベルとの間の差分に基づいて、再生装置の目標音量レベルを決定することを含む。方法５００は、ブロック５０８において、再生装置が、第１のメディアコンテンツの代わりに第２のソースからの第２のメディアコンテンツを提示している間に、再生装置の音量を目標音量レベルに向けて調整することを含む。
ＩＶ．変形例
本開示において説明した動作及び／又は機能のいくつかは、特定のエンティティが実行するものとして説明したが、本開示において説明したエンティティなどのあらゆるエンティティが実行することができる。さらに、これらの動作及び／又は機能は特定の順序で記載しているが、記載した順序で実行する必要はない。しかしながら、いくつかの例では、これらの動作及び／又は機能を記載した順序で実行することが望ましい場合もある。さらに、各動作及び／又は機能は、他の動作及び／又は機能のうちの１つ又は２つ以上に応答して実行することができる。また、本開示に示す利点のうちの１つ又は２つ以上を達成するためにこれらの動作及び／又は機能を全て実行する必要はなく、従って全ての動作及び／又は機能が必要であるとは限らない。
本開示の１又は２以上の実施例に関連していくつかの変形例を説明したが、これらの変形例は、本開示の他の全ての実施例に適用することもできる。
本開示の選択例について説明したが、当業者にはこれらの例の変更及び置換が明らかであろう。以下の特許請求の範囲に記載する本発明の幅広い態様では、本発明から逸脱することなく他の修正、代用及び／又は変更も可能である。

Claims (20)

  1. 再生装置が、第１のソースから受け取っている第１のメディアコンテンツのラウドネスレベルを決定することと、
    前記再生装置が、前記第１のメディアコンテンツの前記決定されたラウドネスレベルと、前記第１のメディアコンテンツのラウドネスレベルプロファイルであって、前記第１のメディアコンテンツ内のラウドネスの一定期間にわたる変化を特徴付けるとともに、前記第１のメディアコンテンツの異なる部分のそれぞれのラウドネスレベルを含むラウドネスレベルプロファイルによって示される基準ラウドネスレベルとを比較することと、
    前記再生装置が、前記第１のメディアコンテンツの前記決定されたラウドネスレベルと前記基準ラウドネスレベルとの間の差分に基づいて、前記再生装置の目標音量レベルを決定することと、
    前記再生装置が、前記第１のメディアコンテンツの代わりに第２のソースからの第２のメディアコンテンツを提示している間に、前記再生装置の音量を前記目標音量レベルに向けて調整することと、
    を含むことを特徴とする方法。
  2. 前記再生装置の前記音量を調整することは、平滑化フィルタを使用して前記再生装置の前記音量を現在の音量レベルから前記目標音量レベルに調整することを含む、
    請求項１に記載の方法。
  3. 前記第１のメディアコンテンツの前記ラウドネスレベルを決定することは、前記再生装置が前記第１のメディアコンテンツの代わりに前記第２のメディアコンテンツを提示している間に前記第１のメディアコンテンツのラウドネスレベルを決定することを含む、
    請求項１に記載の方法。
  4. 前記ラウドネスレベルプロファイルを、前記再生装置が受け取っている前記第１のメディアコンテンツと整列させることを含む、
    請求項１に記載の方法。
  5. 前記ラウドネスレベルプロファイルを前記第１のメディアコンテンツと整列させることは、
    前記第１のメディアコンテンツを使用してクエリフィンガープリントを決定することと、
    前記クエリフィンガープリントが、前記ラウドネスレベルプロファイルに関連する基準フィンガープリントに対応すると判定することと、
    前記クエリフィンガープリントに関連するタイプスタンプを使用して、前記ラウドネスレベルプロファイルを前記第１のメディアコンテンツと整列させることと、
    を含む、請求項４に記載の方法。
  6. 前記ラウドネスレベルプロファイルを前記第１のメディアコンテンツと整列させることは、
    前記第１のメディアコンテンツ内の透かしを検出することと、
    前記透かしに関連するタイプスタンプを使用して、前記ラウドネスレベルプロファイルを前記第１のメディアコンテンツと整列させることと、
    を含む、請求項４に記載の方法。
  7. 前記第１のメディアコンテンツの前記決定されたラウドネスレベルは、前記第１のメディアコンテンツの一部分に対応し、前記基準ラウドネスレベルを決定することは、前記整列に基づいて、前記第１のメディアコンテンツの前記一部分に対応する基準ラウドネスレベルを決定することを含む、
    請求項４に記載の方法。
  8. 前記再生装置はテレビを含み、前記第２のメディアコンテンツを提示することは、メディアプレーヤを使用して置換広告を提示することを含む、
    請求項１に記載の方法。
  9. 前記第２のメディアコンテンツは、前記再生装置のローカルキャッシュに記憶され、前記方法は、前記第１のメディアコンテンツの代わりに前記第２のメディアコンテンツを提示する前に前記ローカルキャッシュから前記第２のメディアコンテンツを検索することをさらに含む、
    請求項１に記載の方法。
  10. プロセッサによる実行時に一連の動作を実行させるプログラム命令を記憶した非一時的コンピュータ可読媒体であって、前記一連の動作は、
    再生装置が第１のソースから受け取っている第１のメディアコンテンツのラウドネスレベルを決定することと、
    前記第１のメディアコンテンツの前記決定されたラウドネスレベルと、前記第１のメディアコンテンツのラウドネスレベルプロファイルであって、前記第１のメディアコンテンツ内のラウドネスの一定期間にわたる変化を特徴付けるとともに、前記第１のメディアコンテンツの異なる部分のそれぞれのラウドネスレベルを含むラウドネスレベルプロファイルによって示される基準ラウドネスレベルとを比較することと、
    前記第１のメディアコンテンツの前記決定されたラウドネスレベルと前記基準ラウドネスレベルとの間の差分に基づいて、前記再生装置の目標音量レベルを決定することと、
    前記再生装置が前記第１のメディアコンテンツの代わりに第２のソースからの第２のメディアコンテンツを提示している間に、前記再生装置の音量を前記目標音量レベルに向けて調整することと、
    を含む、ことを特徴とする非一時的コンピュータ可読媒体。
  11. 前記再生装置の前記音量を調整することは、平滑化フィルタを使用して前記再生装置の前記音量を現在の音量レベルから前記目標音量レベルに調整することを含む、
    請求項１０に記載の非一時的コンピュータ可読媒体。
  12. 前記第２のメディアコンテンツは、前記再生装置のローカルキャッシュに記憶され、前記一連の動作は、前記第１のメディアコンテンツの代わりに前記第２のメディアコンテンツを提示する前に前記ローカルキャッシュから前記第２のメディアコンテンツを検索することをさらに含む、
    請求項１０に記載の非一時的コンピュータ可読媒体。
  13. 前記一連の動作は、前記ラウドネスレベルプロファイルを、前記再生装置が受け取っている前記第１のメディアコンテンツと整列させることを含む、
    請求項１０に記載の非一時的コンピュータ可読媒体。
  14. 前記ラウドネスレベルプロファイルを前記第１のメディアコンテンツと整列させることは、
    前記第１のメディアコンテンツを使用してクエリフィンガープリントを決定することと、
    前記クエリフィンガープリントが、前記ラウドネスレベルプロファイルに関連する基準フィンガープリントに対応すると判定することと、
    前記クエリフィンガープリントに関連するタイプスタンプを使用して、前記ラウドネスレベルプロファイルを前記第１のメディアコンテンツと整列させることと、
    を含む、請求項１３に記載の非一時的コンピュータ可読媒体。
  15. 前記第１のメディアコンテンツの前記決定されたラウドネスレベルは、前記第１のメディアコンテンツの一部分に対応し、前記基準ラウドネスレベルを決定することは、前記整列に基づいて、前記第１のメディアコンテンツの前記一部分に対応する基準ラウドネスレベルを決定することを含む、
    請求項１３に記載の非一時的コンピュータ可読媒体。
  16. 一連の動作を実行するように構成されたコンピュータシステムであって、前記一連の動作は、
    再生装置が第１のソースから受け取っている第１のメディアコンテンツのラウドネスレベルを決定することと、
    前記第１のメディアコンテンツの前記決定されたラウドネスレベルと、前記第１のメディアコンテンツのラウドネスレベルプロファイルであって、前記第１のメディアコンテンツ内のラウドネスの一定期間にわたる変化を特徴付けるとともに、前記第１のメディアコンテンツの異なる部分のそれぞれのラウドネスレベルを含むラウドネスレベルプロファイルによって示される基準ラウドネスレベルとを比較することと、
    前記第１のメディアコンテンツの前記決定されたラウドネスレベルと前記基準ラウドネスレベルとの間の差分に基づいて、前記再生装置の目標音量レベルを決定することと、
    前記再生装置が前記第１のメディアコンテンツの代わりに第２のソースからの第２のメディアコンテンツを提示している間に、前記再生装置の音量を前記目標音量レベルに向けて調整することと、
    を含む、ことを特徴とするコンピュータシステム。
  17. 前記再生装置の前記音量を調整することは、平滑化フィルタを使用して前記再生装置の前記音量を現在の音量レベルから前記目標音量レベルに調整することを含む、
    請求項１６に記載のコンピュータシステム。
  18. 前記第２のメディアコンテンツは、前記再生装置のローカルキャッシュに記憶され、前記一連の動作は、前記第１のメディアコンテンツの代わりに前記第２のメディアコンテンツを提示する前に前記ローカルキャッシュから前記第２のメディアコンテンツを検索することをさらに含む、
    請求項１６に記載のコンピュータシステム。
  19. 前記一連の動作は、前記ラウドネスレベルプロファイルを、前記再生装置が受け取っている前記第１のメディアコンテンツと整列させることを含む、
    請求項１６に記載のコンピュータシステム。
  20. 前記ラウドネスレベルプロファイルを前記第１のメディアコンテンツと整列させることは、
    前記第１のメディアコンテンツを使用してクエリフィンガープリントを決定することと、
    前記クエリフィンガープリントが、前記ラウドネスレベルプロファイルに関連する基準フィンガープリントに対応すると判定することと、
    前記クエリフィンガープリントに関連するタイプスタンプを使用して、前記ラウドネスレベルプロファイルを前記第１のメディアコンテンツと整列させることと、
    を含む、請求項１６に記載のコンピュータシステム。
JP2021527818A 2018-11-16 2019-11-15 ラウドネスレベルプロファイルを使用した、メディア置換イベント中における音量調整の検出 Active JP7043683B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201862768596P 2018-11-16 2018-11-16
US62/768,596 2018-11-16
US201962861474P 2019-06-14 2019-06-14
US62/861,474 2019-06-14
US201962909676P 2019-10-02 2019-10-02
US62/909,676 2019-10-02
US16/684,510 2019-11-04
US16/684,510 US11068232B2 (en) 2018-11-16 2019-11-14 Detection of volume adjustments during media replacement events using loudness level profiles
PCT/US2019/061633 WO2020102633A1 (en) 2018-11-16 2019-11-15 Detection of volume adjustments during media replacement events using loudness level profiles

Publications (2)

Publication Number Publication Date
JP2022507768A JP2022507768A (ja) 2022-01-18
JP7043683B2 true JP7043683B2 (ja) 2022-03-29

Family

ID=70726334

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021527817A Active JP7157878B2 (ja) 2018-11-16 2019-11-05 メディア置換イベント中におけるメディア再生ラウドネスレベルの検出及び対応するオーディオの調整
JP2021527816A Active JP7048825B2 (ja) 2018-11-16 2019-11-15 より短い時定数を使用した、メディア置換イベント中におけるラウドネスレベルのモニタリング
JP2021527818A Active JP7043683B2 (ja) 2018-11-16 2019-11-15 ラウドネスレベルプロファイルを使用した、メディア置換イベント中における音量調整の検出

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2021527817A Active JP7157878B2 (ja) 2018-11-16 2019-11-05 メディア置換イベント中におけるメディア再生ラウドネスレベルの検出及び対応するオーディオの調整
JP2021527816A Active JP7048825B2 (ja) 2018-11-16 2019-11-15 より短い時定数を使用した、メディア置換イベント中におけるラウドネスレベルのモニタリング

Country Status (6)

Country Link
US (7) US11347470B2 (ja)
EP (2) EP3881556B1 (ja)
JP (3) JP7157878B2 (ja)
CN (1) CN113330750B (ja)
TW (3) TWI786556B (ja)
WO (3) WO2020101951A2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11347470B2 (en) 2018-11-16 2022-05-31 Roku, Inc. Detection of media playback loudness level and corresponding adjustment to audio during media replacement event
WO2020185025A1 (ko) * 2019-03-14 2020-09-17 가우디오랩 주식회사 라우드니스 레벨을 제어하는 오디오 신호 처리 방법 및 장치
KR102390643B1 (ko) * 2019-10-10 2022-04-27 가우디오랩 주식회사 오디오 라우드니스 메타데이터 생성 방법 및 이를 위한 장치
WO2022086196A1 (ko) * 2020-10-22 2022-04-28 가우디오랩 주식회사 기계 학습 모델을 이용하여 복수의 신호 성분을 포함하는 오디오 신호 처리 장치
US11750881B2 (en) * 2020-11-24 2023-09-05 Roku, Inc. Server-side matching of supplemental content audio to perceived audio by end-user
US11962870B2 (en) * 2021-02-17 2024-04-16 Roku, Inc. Content-modification system with quiet content detection feature
CN113365010B (zh) * 2021-06-07 2022-11-22 北京字节跳动网络技术有限公司 音量调节方法、装置、设备、存储介质
US11848655B1 (en) * 2021-09-15 2023-12-19 Amazon Technologies, Inc. Multi-channel volume level equalization based on user preferences
US11974012B1 (en) * 2023-11-03 2024-04-30 AVTech Select LLC Modifying audio and video content based on user input

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017169159A (ja) 2016-03-18 2017-09-21 ヤフー株式会社 決定装置、決定方法、決定プログラム
US20180234728A1 (en) 2017-02-10 2018-08-16 Samsung Electronics Co., Ltd. Display device and method for replacing advertisement

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822018A (en) 1996-04-02 1998-10-13 Farmer; James O. Method and apparatus for normalizing signal levels in a signal processing system
US6950623B2 (en) 2000-09-19 2005-09-27 Loudeye Corporation Methods and systems for dynamically serving in-stream advertisements
JP2003134419A (ja) 2001-10-29 2003-05-09 Nippon Telegr & Teleph Corp <Ntt> コンテンツ再生装置、コンテンツ再生方法、コンピュータ・プログラム、情報記憶媒体
AU2003206429A1 (en) 2002-07-02 2004-01-22 John Christiansen System
US6873341B1 (en) 2002-11-04 2005-03-29 Silicon Image, Inc. Detection of video windows and graphics windows
JP2006166187A (ja) 2004-12-09 2006-06-22 Kenwood Corp 音源切り替え方法及び装置
JP4432858B2 (ja) * 2005-07-29 2010-03-17 ソニー株式会社 放送受信方法
US20070214103A1 (en) 2006-03-10 2007-09-13 Sbc Knowledge Ventures L.P. System and method for providing content over a communications network
RU2417514C2 (ru) 2006-04-27 2011-04-27 Долби Лэборетериз Лайсенсинг Корпорейшн Регулировка усиления звука с использованием основанного на конкретной громкости обнаружения акустических событий
KR100938686B1 (ko) 2007-12-03 2010-01-25 김용호 방범 및 광고 기능을 가지는 자동차
CN102017402B (zh) 2007-12-21 2015-01-07 Dts有限责任公司 用于调节音频信号的感知响度的系统
WO2010138311A1 (en) * 2009-05-26 2010-12-02 Dolby Laboratories Licensing Corporation Equalization profiles for dynamic equalization of audio data
US8731216B1 (en) * 2010-10-15 2014-05-20 AARIS Enterprises, Inc. Audio normalization for digital video broadcasts
US8863165B2 (en) 2010-11-01 2014-10-14 Gracenote, Inc. Method and system for presenting additional content at a media system
US9535653B2 (en) 2012-08-31 2017-01-03 Google Inc. Adjusting audio volume of multimedia when switching between multiple multimedia content
KR101403884B1 (ko) * 2012-09-11 2014-06-09 안성룡 음량 자동 조절 장치
CN102946520B (zh) 2012-10-30 2016-12-21 深圳创维数字技术有限公司 一种自动控制频道音量的方法及数字电视终端
US10027303B2 (en) * 2012-11-13 2018-07-17 Snell Advanced Media Limited Management of broadcast audio loudness
US8813120B1 (en) * 2013-03-15 2014-08-19 Google Inc. Interstitial audio control
US9521501B2 (en) 2013-09-12 2016-12-13 Dolby Laboratories Licensing Corporation Loudness adjustment for downmixed audio content
CN103813184B (zh) 2013-12-13 2017-06-23 北京智谷睿拓技术服务有限公司 播放控制方法、播放控制系统、服务器和用户终端
US20150319506A1 (en) 2014-04-30 2015-11-05 Netflix, Inc. Displaying data associated with a program based on automatic recognition
FI20145493A (fi) * 2014-05-28 2015-11-29 Exaget Oy Sisällön lisääminen mediavirtaan
US10345999B2 (en) 2014-11-03 2019-07-09 Opentv, Inc. Media presentation modification using audio segment marking
US9647624B2 (en) 2014-12-31 2017-05-09 Stmicroelectronics Asia Pacific Pte Ltd. Adaptive loudness levelling method for digital audio signals in frequency domain
US10824385B2 (en) 2015-02-27 2020-11-03 Charter Communications Operating, Llc Automated audio volume stabilizer
US9837086B2 (en) 2015-07-31 2017-12-05 Apple Inc. Encoded audio extended metadata-based dynamic range control
US9936156B2 (en) 2015-09-24 2018-04-03 Samantha WESTERN Volume adjusting apparatus and method
US9858036B2 (en) * 2015-11-10 2018-01-02 Google Llc Automatic audio level adjustment during media item presentation
KR102147230B1 (ko) * 2015-12-16 2020-08-25 그레이스노트, 인코포레이티드 동적 비디오 오버레이
US10187689B2 (en) 2017-03-16 2019-01-22 The Directv Group, Inc Dynamic advertisement insertion
CN107633850A (zh) 2017-10-10 2018-01-26 维沃移动通信有限公司 一种音量调节方法及电子设备
KR101986905B1 (ko) 2017-10-31 2019-06-07 전자부품연구원 신호 분석 및 딥 러닝 기반의 오디오 음량 제어 방법 및 시스템
US10509558B2 (en) 2017-12-08 2019-12-17 Spotify Ab System and method for enabling advertisement interaction with an electronic device
US10389323B2 (en) * 2017-12-18 2019-08-20 Tls Corp. Context-aware loudness control
KR102510899B1 (ko) * 2018-01-07 2023-03-16 그레이스노트, 인코포레이티드 볼륨 조절을 위한 방법 및 장치
US11347470B2 (en) 2018-11-16 2022-05-31 Roku, Inc. Detection of media playback loudness level and corresponding adjustment to audio during media replacement event

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017169159A (ja) 2016-03-18 2017-09-21 ヤフー株式会社 決定装置、決定方法、決定プログラム
US20180234728A1 (en) 2017-02-10 2018-08-16 Samsung Electronics Co., Ltd. Display device and method for replacing advertisement

Also Published As

Publication number Publication date
EP3881556A1 (en) 2021-09-22
TWI786556B (zh) 2022-12-11
JP7157878B2 (ja) 2022-10-20
JP2022507766A (ja) 2022-01-18
US20200162049A1 (en) 2020-05-21
US20220276831A1 (en) 2022-09-01
CN113330750B (zh) 2022-11-11
US20200162048A1 (en) 2020-05-21
EP3881556A4 (en) 2022-08-17
TWI723633B (zh) 2021-04-01
US11347470B2 (en) 2022-05-31
EP4250563A3 (en) 2023-11-29
EP4250563A2 (en) 2023-09-27
US11068232B2 (en) 2021-07-20
US11740860B2 (en) 2023-08-29
WO2020102633A1 (en) 2020-05-22
JP7048825B2 (ja) 2022-04-05
WO2020102632A1 (en) 2020-05-22
US11748055B2 (en) 2023-09-05
US20200159489A1 (en) 2020-05-21
US20210311697A1 (en) 2021-10-07
US20220253275A1 (en) 2022-08-11
JP2022507767A (ja) 2022-01-18
TW202027513A (zh) 2020-07-16
TWI739211B (zh) 2021-09-11
US11556304B2 (en) 2023-01-17
JP2022507768A (ja) 2022-01-18
WO2020101951A3 (en) 2021-01-21
TW202034705A (zh) 2020-09-16
CN113330750A (zh) 2021-08-31
EP3881556B1 (en) 2023-09-13
TW202123719A (zh) 2021-06-16
US20210271448A1 (en) 2021-09-02
WO2020101951A2 (en) 2020-05-22
US11042353B2 (en) 2021-06-22
US11372617B2 (en) 2022-06-28

Similar Documents

Publication Publication Date Title
JP7043683B2 (ja) ラウドネスレベルプロファイルを使用した、メディア置換イベント中における音量調整の検出
US11265617B2 (en) Inserting advertisements into video content
US11317144B2 (en) Detection of mute and compensation therefor during media replacement event
EP3824646A1 (en) Modifying playback of replacement content responsive to detection of remote control signals that modify operation of the playback device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210716

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210716

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220316

R150 Certificate of patent or registration of utility model

Ref document number: 7043683

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150