JP7048825B2 - より短い時定数を使用した、メディア置換イベント中におけるラウドネスレベルのモニタリング - Google Patents

Description

〔関連出願との相互参照〕
本開示は、２０１８年１１月１６日に出願された米国仮特許出願第６２／７６８，５９６号、２０１９年６月１４日に出願された米国仮特許出願第６２／８６１，４７４号、及び２０１９年１０月２日に出願された米国仮特許出願第６２／９０６，６７６号に対する優先権を主張するものであり、これらの各文献はその全体が引用により本明細書に組み入れられる。

本開示では、別途指定していない限り、及び／又は特定の文脈によって明らかに別様に決定付けられない限り、「ａ又はａｎ（英文不定冠詞）」という用語は少なくとも１つを意味し、「ｔｈｅ（英文定冠詞）」という用語も少なくとも１つを意味する。

本開示では、「接続機構」という用語は、２又は３以上のコンポーネント、装置、システム又はその他のエンティティ間の通信を容易にする機構を意味する。接続機構は、ケーブル又はシステムバスなどの比較的単純な機構、又はパケットベースの通信ネットワーク（例えば、インターネット）などの比較的複雑な機構とすることができる。いくつかの例では、（例えば、接続が無線である場合には）接続機構が無形媒体を含むこともできる。

本開示では、「コンピュータシステム」という用語は、少なくとも１つのコンピュータ装置を含むシステムを意味する。いくつかの例では、コンピュータシステムが１又は２以上の他のコンピュータシステムを含むこともできる。

今後数年間のうちに、メディアコンテンツ内の広告をターゲット広告に置き換えることがますます重要な広告手法になると予想される。一例として、動的広告挿入（ＤＡＩ：ｄｙｎａｍｉｃ ａｄｖｅｒｔｉｓｅｍｅｎｔ ｉｎｓｅｒｔｉｏｎ）システムでは、コンテンツプロバイダが、ライブコンテンツ又は録画コンテンツなどの一連のメディアコンテンツに割り込むコマーシャル時間（ａｄｖｅｒｔｉｓｅｍｅｎｔ ｂｒｅａｋｓ）に一般広告（ｇｅｎｅｒｉｃ ａｄｖｅｒｔｉｓｅｍｅｎｔｓ）を挿入することができる。各コマーシャル時間は、所定の順序で配置された広告の組を含むことができる。さらに、これらの広告のうちの特定の１つをターゲット広告などの置換メディアコンテンツに置き換えられるように指定又は動的に選択することもできる。

この構成では、再生装置が、特定の広告を表示する前に置換メディアコンテンツを取得して、この特定の広告の代わりに置換メディアコンテンツを表示のために提供することができる。例えば、再生装置は、置換すべき特定の広告の直前にコンテンツを再生している、或いはまさにコンテンツを再生しようとしていると判定したことに応答して、データベースからターゲット広告を検索し、適切な時点で特定の広告の代わりにターゲット広告を表示のために提供することができる。

１つの態様では、方法例を開示する。この方法は、（ｉ）再生装置が、第１のソースからの第１のメディアコンテンツを提示している間に、第１のメディアコンテンツの第１の長さを有する第１の部分の第１のラウドネスレベルを決定することと、（ｉｉ）再生装置が、第１のソースからの第１のメディアコンテンツを提示することから、第２のソースからの第２のメディアコンテンツを提示することに切り替えることと、（ｉｉｉ）再生装置が、切り替えたことに基づいて、第２のメディアコンテンツを提示している間に、第１のメディアコンテンツの第１の長さよりも短い第２の長さを有する第２の部分の第２のラウドネスレベルを決定することと、（ｉｖ）再生装置が、第２のメディアコンテンツを提示している間に、第２のラウドネスレベルのうちの１つ又は２つ以上に基づいて再生装置の音量を調整することと、を含む。

別の態様では、非一時的コンピュータ可読媒体例を開示する。このコンピュータ可読媒体は、プロセッサによる実行時に、（ｉ）再生装置が第１のソースからの第１のメディアコンテンツを提示している間に、第１のメディアコンテンツの第１の長さを有する第１の部分の第１のラウドネスレベルを決定することと、（ｉｉ）第１のソースからの第１のメディアコンテンツを提示することから、第２のソースからの第２のメディアコンテンツを提示することに切り替えることと、（ｉｉｉ）切り替えたことに基づいて、再生装置が第２のメディアコンテンツを提示している間に、第１のメディアコンテンツの第１の長さよりも短い第２の長さを有する第２の部分の第２のラウドネスレベルを決定することと、（ｉｖ）再生装置が第２のメディアコンテンツを提示している間に、第２のラウドネスレベルのうちの１つ又は２つ以上に基づいて再生装置の音量を調整することと、を含む一連の動作を実行させるプログラム命令を記憶している。

別の態様では、コンピュータシステム例を開示する。このコンピュータシステムは、（ｉ）再生装置が第１のソースからの第１のメディアコンテンツを提示している間に、第１のメディアコンテンツの第１の長さを有する第１の部分の第１のラウドネスレベルを決定することと、（ｉｉ）第１のソースからの第１のメディアコンテンツを提示することから、第２のソースからの第２のメディアコンテンツを提示することに切り替えることと、（ｉｉｉ）切り替えたことに基づいて、再生装置が第２のメディアコンテンツを提示している間に、第１のメディアコンテンツの第１の長さよりも短い第２の長さを有する第２の部分の第２のラウドネスレベルを決定することと、（ｉｖ）再生装置が第２のメディアコンテンツを提示している間に、第２のラウドネスレベルのうちの１つ又は２つ以上に基づいて再生装置の音量を調整することと、を含む一連の動作を実行するように構成される。

コンピュータ装置例の簡略ブロック図である。 動的広告挿入（ＤＡＩ）システム例の簡略ブロック図である。 ある実施形態例による、基準フィンガープリント生成器、クエリフィンガープリント生成器及びビデオ識別システムのコンポーネントを示す簡略ブロック図である。 ある実施形態例による、再生装置及び置換コンテンツサーバのコンポーネントを示す簡略ブロック図である。 方法例のフローチャートである。

Ｉ．概要
再生装置におけるメディアコンテンツ置換イベント中には、第１のメディアコンテンツの一部の代わりに第２のメディアコンテンツ（すなわち、置換メディアコンテンツ）が提示される。例えば、メディアコンテンツ置換イベント中には、第１のソースから受け取られた第１のメディアコンテンツのセグメントが、第２のソースから受け取られた第２のメディアコンテンツに置換される。この置換を達成するために、再生装置は、第１のソースから受け取られた第１のメディアコンテンツを提示することから、第２のソースから受け取られた第２のメディアコンテンツを提示することに切り替えることができる。いくつかの場合では、ユーザがこのソースの切り替えを感知できないことがある。

さらに、いくつかの場合では、再生装置が第１のソースからの第１のメディアコンテンツの代わりに第２のソースからの第２のメディアコンテンツを提示するメディアコンテンツ置換イベント中に、再生装置が第１のソースの音量再生情報（ｖｏｌｕｍｅ ｐｌａｙｂａｃｋ ｉｎｆｏｒｍａｔｉｏｎ）に一切アクセスできない場合がある。例えば、第１のソースの音量再生情報は、再生装置にオーディオ信号を提供する装置によって設定することができるが、この音量再生情報に再生装置がアクセスできないことがある。この結果、メディアコンテンツ置換イベント中に、再生装置にオーディオ信号を提供している装置を制御できるリモコン装置を使用してユーザが再生装置の音量を調整しようと試みた場合、意図する調整に再生装置がアクセスできないことがある。例えば、ユーザが音量を増加又は減少させようと試みた場合、再生装置は、要求された変更に関する情報にアクセスできず、相変わらず第２のメディアコンテンツを同じ音量レベルで提示し続けることがある。音量を調整しようと試みているユーザには、リモコン装置が機能していないか、或いは試行された音量調整に再生装置が応答していないかのように思われることがある。これによって、視聴者のユーザ体験が貧弱又は苛立たしいものになってしまう恐れがある。

本明細書では、この及び潜在的にその他の問題に対処する方法及びシステムを開示する。本開示によれば、メディアコンテンツ置換イベント中に、再生装置に第１のメディアコンテンツを提供する装置が、第２のメディアコンテンツに置換されている第１のメディアコンテンツに対応するオーディオ信号を再生装置に提供することができる。この装置は、たとえ再生装置が第１のメディアコンテンツの代わりに第２のメディアコンテンツを提示している場合であっても、再生装置に第１のメディアコンテンツに対応するオーディオ信号を提供することができる。再生装置は、第２のメディアコンテンツを提示している間、第１のメディアコンテンツのラウドネスレベルを測定することによって、第１のメディアコンテンツに対応するオーディオ信号をモニタすることができる。ユーザによって第１のメディアコンテンツの音量レベルが変更された場合には、再生装置がモニタしているオーディオ信号がこの音量変更を示し、再生装置が変更を検出することができる。有利なことに、その後、再生装置は、第２のメディアコンテンツに対応する音量調整を行うことによって、検出された、ユーザがトリガした音量調整に応答することができる。

さらに、再生装置は、このような第１のメディアコンテンツの音量レベルの変更を素早く検出して応答するのに役立つように、メディアコンテンツ置換イベント中に第１のメディアコンテンツの固定長部分のラウドネスレベルを決定することができる。これらの部分の長さは、メディアコンテンツ置換イベントが発生していない時に再生装置が分析する部分の長さよりも短いものとすることができる。一例として、再生装置は、メディアコンテンツ置換イベントが開始すると、第１のメディアコンテンツの３０秒部分を分析することから、第１のメディアコンテンツの１秒部分、又は第１のメディアコンテンツの１秒未満の部分（例えば、１／２秒部分）を分析することに切り替えることができる。

本開示の一部は、広告を伴うメディアコンテンツ置換イベントを参照するが、これらの例は限定を意味するものではない。本明細書に開示するシステム及び方法は、１つのソースからのコンテンツストリームの一部である任意のコンテンツセグメントを別のソースからのコンテンツセグメントに置換することにも適用可能である。他のタイプの置換可能コンテンツとしては、気象セグメント、ニュースセグメント、スポーツセグメント、ラジオ広告などを挙げることができる。置換可能コンテンツを含むコンテンツストリームは、インターネット上のサーバ又はＵＲＬなどの様々なソースから提供することもできる。従って、以下に示す例は限定を意図するものではない。

ＩＩ．アーキテクチャ例
Ａ．コンピュータ装置
図１は、コンピュータ装置例１００の簡略ブロック図である。コンピュータ装置１００は、本開示において説明するような様々な動作及び／又は機能を実行することができる。コンピュータ装置１００は、プロセッサ１０２、データストレージユニット１０４、通信インターフェイス１０６及び／又はユーザインターフェイス１０８などの様々なコンポーネントを含むことができる。これらのコンポーネントは、接続機構１１０を介して互いに（或いは別の装置、システム又はその他のエンティティに）接続することができる。

プロセッサ１０２は、汎用プロセッサ（例えば、マイクロプロセッサ）及び／又は専用プロセッサ（例えば、デジタルシグナルプロセッサ（ＤＳＰ））を含むことができる。

データストレージユニット１０４は、磁気ストレージ、光学ストレージ又はフラッシュストレージなどの１又は２以上の揮発性、不揮発性、取り外し可能及び／又は取り外し不可能な記憶要素を含むことができ、及び／又は全体的又は部分的にプロセッサ１０２と一体化することができる。さらに、データストレージユニット１０４は、プロセッサ１０２によって実行された時に本開示において説明するような１又は２以上の動作及び／又は機能をコンピュータ装置１００に実行させるプログラム命令（例えば、コンパイラ型又は非コンパイラ型プログラムロジック及び／又は機械コード）を記憶した非一時的コンピュータ可読記憶媒体の形態を取ることができる。従って、コンピュータ装置１００は、本開示において説明するような１又は２以上の動作及び／又は機能を実行するように構成することができる。このようなプログラム命令は、離散的ソフトウェアアプリケーション（ｄｉｓｃｒｅｔｅ ｓｏｆｔｗａｒｅ ａｐｐｌｉｃａｔｉｏｎ）を定め、及び／又はこのような離散的ソフトウェアアプリケーションの一部とすることができる。いくつかの例では、コンピュータ装置１００が、通信インターフェイス１０６及び／又はユーザインターフェイス１０８などから入力を受け取ったことに応答してプログラム命令を実行することができる。データストレージユニット１０４は、本開示において説明するタイプなどの他のタイプのデータを記憶することもできる。

通信インターフェイス１０６は、コンピュータ装置１００が１又は２以上のプロトコルに従って別のエンティティと接続及び／又は通信することを可能にすることができる。１つの例では、通信インターフェイス１０６を、イーサネットインターフェイス又は高解像度シリアルデジタルインターフェイス（ＨＤ－ＳＤＩ）などの有線インターフェイスとすることができる。別の例では、通信インターフェイス１０６を、セルラ又はＷＩ－ＦＩインターフェイスなどの無線インターフェイスとすることができる。本開示では、接続を直接的接続とすることも、或いはルータ、スイッチャ又はその他のネットワーク装置などの１又は２以上のエンティティを通過及び／又は横断する接続である間接的接続とすることもできる。同様に、本開示では、送信を直接送信又は間接送信とすることができる。

ユーザインターフェイス１０８は、妥当な場合にコンピュータ装置１００とコンピュータ装置１００のユーザとの間の相互作用を容易にすることができる。従って、ユーザインターフェイス１０８は、キーボード、キーパッド、マウス、タッチセンサ式パネル、マイク及び／又はカメラなどの入力要素、及び／又は（例えば、タッチセンサ式パネルと組み合わせることができる）ディスプレイ装置、サウンドスピーカ及び／又は触覚フィードバックシステムなどの出力要素を含むことができる。より一般的に言えば、ユーザインターフェイス１０８は、コンピュータ装置１００とコンピュータ装置１００のユーザとの間の相互作用を容易にするハードウェア及び／又はソフトウェアコンポーネントを含むことができる。

コンピュータ装置１００は、ワークステーション端末、デスクトップコンピュータ、ラップトップ、タブレット、携帯電話機又はテレビなどの様々な形態を取ることができる。

Ｂ．動的広告挿入（ＤＡＩ）システム
図２は、ＤＡＩシステム例２００の簡略ブロック図である。ＤＡＩシステム２００は、メディアコンテンツ（例えば、オーディオコンテンツ及び／又はビデオコンテンツ）の配信及び／又は提示に関連する様々な動作及び／又は機能を実行することができ、コンピュータシステムとして実装することができる。

ＤＡＩシステム２００は、視聴ステーション（ｗａｔｃｈｉｎｇ ｓｔａｔｉｏｎ）２１０、コンテンツソース２２０、メディア装置２３０、再生装置２４０、ビデオ識別システム２５０及び置換コンテンツサーバ２６０などの様々なコンポーネントを含むことができ、これらはそれぞれコンピュータシステムとして実装することができる。

視聴ステーション２１０は、放送局、ウェブサーバ又はケーブルテレビ（ＴＶ）局などのコンテンツソース２２０からビデオ及びその他のマルチメディアコンテンツを受け取ることができる。例えば、コンテンツソース２２０は、テレビチャンネルを介して視聴ステーション２１０にメディアをストリーミング又は送信するＴＶ局又はＴＶネットワークなどの放送局、及び／又はネットワーク２７０を介して視聴ステーション２１０にメディアをストリーミング又は送信するウェブサイトなどのウェブサービスとすることができる。視聴ステーション２１０は、コンテンツソース２２０から受け取られたビデオコンテンツの基準フィンガープリントを生成する基準フィンガープリント生成器２１２を含む。視聴ステーション２１０は、生成された基準フィンガープリントをビデオ識別システム２５０に送信することができる。

視聴ステーション２１０は、ラウドネスレベルプロファイル生成器２１４も含む。或いは、ラウドネスレベルプロファイル生成器２１４は、視聴ステーション２１０から独立した別のコンピュータシステムの一部とすることもできる。ラウドネスレベルプロファイル生成器２１４は、メディアコンテンツのセグメントのラウドネスレベルプロファイルを生成することができる。一例として、ラウドネスレベルプロファイル生成器２１４は、メディアコンテンツ置換イベント中に置換広告に置き換えられる置換可能広告のラウドネスレベルプロファイルを生成することができる。

ラウドネスレベルプロファイルは、メディアコンテンツのセグメントにおいて時間と共にラウドネスがどのように変化するかを特徴付けることができる。例えば、ラウドネスレベルプロファイルは、メディアコンテンツのセグメントの異なる部分に対するそれぞれのラウドネスレベル（例えば、二乗平均平方根（ＲＭＳ）ラウドネスレベル又はラウドネス、K-weighted, relative to full scale（ＬＫＦＳ）ラウドネスレベル）を含むことができる。１つの例として、３０秒広告のラウドネスレベルプロファイルは、広告の部分に対応する一連のラウドネスレベルを含むことができる。これらの部分は、互いに重なり合う部分又は異なる部分とすることができる。例えば、各ラウドネスレベルは、固定長部分中（例えば、１／２秒、１秒など）の広告のオーディオ信号の特性に基づいて計算される移動平均とすることができる。

いくつかの実装では、オーディオ信号の最初の１秒部分のＲＭＳに基づいて、広告の初期ラウドネスレベルを計算することができる。次に、オーディオ信号の後続の１秒部分に基づいて後続のラウドネスレベルを計算することができる。或いは、他の実装では、オーディオ信号の最初の３秒部分のＲＭＳに基づいて初期ラウドネスレベルを計算することができる。次に、最初の３秒部分の一部に重なり合うオーディオ信号の後続の３秒部分に基づいて後続のラウドネスレベルを計算することができる。例えば、後続の３秒部分は、最初の部分の最後の２秒と、最初の部分に後続する追加部分とを含むことができる。

ラウドネスレベルプロファイル生成器２１４は、ラウドネスメータを使用してラウドネスレベルプロファイルのラウドネスレベルを計算することができる。ラウドネスメータは、視聴ステーション２１０上で実行されるように構成されたソフトウェアモジュールを含むことができる。ソフトウェアモジュールは、国際電気通信連合（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）によって推奨されるものなどの様々なフィルタリングアルゴリズムを実行してラウドネスレベルを決定することができる。ソフトウェアモジュールは、オーディオ信号の複数のチャンネルの個々のラウドネスレベルを測定した後に、個々のラウドネスレベルを平均化し、合計してラウドネスレベルに到達することができる。

ラウドネスレベルプロファイル生成器２１４は、ラウドネスレベルプロファイルのインデックスを生成することができる。例えば、ラウドネスレベルプロファイル生成器２１４は、生成されたラウドネスレベルプロファイルを、ラウドネスレベルプロファイルが生成された元となるメディアコンテンツのセグメントの対応する識別子に関連付けて記憶することができる。視聴ステーション２１０は、生成されたラウドネスレベルプロファイルを、ビデオ識別システム２５０、再生装置２４０、置換コンテンツサーバ２６０、及び／又は別のコンピュータシステムに送信することができる。

メディア装置２３０は、放送チャンネル及び／又はネットワーク２７０などを介してコンテンツソース２２０からビデオ及びその他のマルチメディアコンテンツを受け取ることができる。メディア装置２３０は、コンテンツを再生装置２４０に送る前に受け取ったコンテンツを修正することができる。メディア装置２３０は、ビデオコンテンツの入力ストリームを受け取り、入力ストリームを処理することによってビデオコンテンツの出力ストリームを生成するように構成されたチューナを含むことができる。メディア装置２３０は、多チャンネル映像番組配信事業者が利用する地上波放送、ケーブル及び／又は衛星放送ネットワークなどのビデオコンテンツ配信ネットワークを介してビデオコンテンツにアクセスできるように、チューナ、デコーダ及びその他のハードウェア及び／又はソフトウェアを備えた装置とすることができる。これに加えて又はこれに代えて、メディア装置２３０は、インターネットビデオストリーミングサービスにアクセスする装置が使用するワイドエリアネットワーク（例えば、インターネット）を通じてビデオコンテンツにアクセスできるように、ネットワークアダプタ、デコーダ及びその他のハードウェア及び／又はソフトウェアを備えた装置とすることもできる。メディア装置２３０は、再生装置２４０のスピーカ及びディスプレイがユーザにビデオコンテンツを提示するために使用できる信号（例えば、デジタル又はアナログ信号）を出力することができる。

再生装置２４０は、ビデオ及び／又はその他のマルチメディアコンテンツのストリームを受け取って提示できるいずれかの装置（例えば、ＴＶ、ラップトップ又はその他のパーソナルコンピュータ（ＰＣ）、タブレット又はその他のモバイル装置、或いはゲーム機）である。再生装置２４０は、処理済みのビデオコンテンツストリームを表示するように構成されたディスプレイ又はその他のユーザインターフェイスを含むことができる。ディスプレイは、フラットパネルスクリーン、プラズマスクリーン、発光ダイオード（ＬＥＤ）スクリーン、ブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）又はプロジェクタとすることができる。再生装置は、１又は２以上のスピーカを含むこともできる。また、再生装置２４０は、無線放送チャンネルを介してオーディオ及びビデオを受け取るように構成されたアンテナを含むこともできる。

ネットワーク２７０は、有線ネットワーク及び／又は無線ネットワーク（例えば、モバイルネットワーク）などの、装置間の通信を可能にするいずれかのネットワークとすることができる。ネットワーク２７０は、プライベートネットワーク（例えば、ケーブルテレビネットワーク又は衛星テレビネットワーク）又はパブリックネットワーク（例えば、無線放送チャンネル又はインターネット）を構成する１又は２以上の部分を含むことができる。

ビデオ識別システム２５０は、ネットワーク２７０を介して視聴ステーション２１０及び再生装置２４０と通信することができる。ビデオ識別システム２５０は、ビデオコンテンツを識別するために、再生装置２４０のクエリフィンガープリント生成器２４２がビデオコンテンツから生成したクエリフィンガープリントを受け取り、視聴ステーション２１０の基準フィンガープリント生成器２１２が生成した既知のフィンガープリントのインデックスを問い合わせることができる。クエリフィンガープリントは、ビデオコンテンツ内のフレーム又はフレームブロックのフィンガープリントとすることができる。ビデオ識別システム２５０は、クエリフィンガープリントと１又は２以上の基準フィンガープリントとを照合することによってビデオコンテンツを識別することができる。いくつかの例では、ビデオ識別システム２５０を、再生装置２４０又はメディア装置２３０のコンポーネント又はモジュールとすることができる。

ビデオ識別システム２５０は、ビデオコンテンツを識別すると、ビデオコンテンツに関連する置換メディアコンテンツ（例えば、代替番組又は代替コマーシャル）の識別子を再生装置２４０に戻すことができる。置換メディアコンテンツは、置換コンテンツサーバ２６０に記憶することができる。再生装置２４０は、識別子を使用して置換コンテンツサーバ２６０から置換メディアコンテンツにアクセスし、その後に置換メディアコンテンツを表示のために提供することができる。或いは、置換コンテンツサーバ２６０又は別のコンピュータシステムは、置換メディアコンテンツを再生装置２４０又はメディア装置２３０のローカルキャッシュに記憶されるように前もって（例えば、メディア装置２３０が置換動作を実行するようにスケジュールされている数秒前、数分前又は数時間前に）再生装置２４０又はメディア装置２３０に送信しておくこともできる。この実装では、再生装置２４０が、ローカルキャッシュから置換メディアコンテンツにアクセスした後に、置換メディアコンテンツを表示のために提供することができる。このローカルキャッシュ技術の採用は、再生装置２４０が置換動作の実行までに置換メディアコンテンツを受け取ることを確実にするのに役立つことができる。例えば、再生装置２４０が信頼できない又は予測できないインターネット接続を有している状況では、このことが特に有用となり得る。

また、ビデオ識別システム２５０は、ビデオコンテンツを識別する際に、このビデオコンテンツに関連するラウドネスレベルプロファイルの識別子を再生装置２４０に戻すことができる。この識別子は、例えばビデオコンテンツの識別子とすることができる。ラウドネスレベルプロファイルは、視聴ステーション２１０、置換コンテンツサーバ２６０、又は別のコンピュータシステムに記憶することができる。再生装置２４０は、この識別子を使用して、例えば視聴ステーション２１０又は置換コンテンツサーバ２６０からラウドネスレベルプロファイルにアクセスすることができる。或いは、視聴ステーション２１０又は別のコンピュータシステムは、ラウドネスレベルプロファイルを再生装置２４０又はメディア装置２３０のローカルキャッシュに記憶されるように前もって再生装置２４０又はメディア装置２３０に送信しておくこともできる。この実装では、再生装置２４０が、ローカルキャッシュからラウドネスレベルプロファイルにアクセスすることができる。

図２に示す任意の装置は、任意のモジュール、システム及び／又は生成器を配置することができる。例えば、ビデオ識別システム２５０は、クエリフィンガープリント生成器２４２を含むことができる。この構成では、ビデオ識別システム２５０が再生装置２４０からビデオコンテンツのフレームを受け取り、このビデオコンテンツのフレームを使用してクエリフィンガープリントを生成することができる。別の例として、メディア装置２３０及び再生装置２４０を単一の装置内で統合することもできる。他の変形例も可能である。

本開示のＤＡＩシステム２００及び他の部分の説明は、フィンガープリント法を使用したビデオコンテンツの識別を参照するが、この例は限定を意図するものではない。本明細書に開示するシステム及び方法は、透かし法を使用してビデオコンテンツを識別することもできる。例えば、視聴ステーション２１０は、ビデオコンテンツ内に透かし（例えば、オーディオ透かし又はビデオ透かし）を埋め込むことができる。この方法では、再生装置２４０がビデオコンテンツ内の透かしを検出して、この透かしをビデオ識別システム２５０に送信することができる。或いは、再生装置２４０がビデオコンテンツのフレームをビデオ識別システムに送信し、ビデオ識別システム２５０がビデオコンテンツのフレーム内の透かしを検出することもできる。ビデオ識別システム２５０は、透かしを取得した後に、この透かしを使用してビデオコンテンツを識別し、ビデオコンテンツに関連する置換メディアコンテンツの識別子を再生装置２４０に戻すことができる。同様に、本明細書に開示するシステム及び方法は、ビデオストリームに埋め込まれた情報を使用してビデオコンテンツを識別することもできる。例えば、視聴ステーション２１０は、ビデオストリームのサイド情報又は補助的情報に識別子を埋め込むことができる。この識別子は、メディアコンテンツ置換イベントを伝えることができ、再生装置２４０は、この埋め込み情報を検出することができる。別の例として、特定のクローズドキャプション情報によってメディアコンテンツ置換イベントをトリガすることもできる。視聴ステーション２１０は、ビデオコンテンツのクローズドキャプション情報を、メディアコンテンツ置換イベントの開始までのカウントダウンをトリガするテキスト文字列又は一連の文字列を含むように修正することができる。その後、再生装置２４０を、これらのテキスト文字列又は一連の文字列を探すことによって、メディアコンテンツ置換イベントがいつ発生する予定であるかを判定するように構成することができる。

図３は、基準フィンガープリント生成器２１２、クエリフィンガープリント生成器２４２及びビデオ識別システム２５０のコンポーネントを示す簡略ブロック図である。図３に示すように、クエリフィンガープリント生成器２４２は、（例えば、バス、共有メモリ又はスイッチを介して）互いに通信するように構成されたパッチ選択モジュール２４３及び値計算モジュール２４４を含む。さらに、ビデオ識別システム２５０は、インデックスモジュール２５２、フィンガープリント照合モジュール２５４及び識別モジュール２５６を含み、これらは全て互いに通信するように構成される。さらに、基準フィンガープリント生成器２１２は、互いに通信するように構成されたパッチ選択モジュール２１６及び値計算モジュール２１８を含む。

図３に示すモジュールのうちの１つ又は２つ以上は、ハードウェア（例えば、機械のプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ））、又はハードウェアとソフトウェアとの組み合わせを使用して実装することができる。さらに、図３に示すモジュールのうちのいずれか２つ又は３つ以上を単一モジュールに組み合わせ、本明細書で説明する単一モジュールの機能を複数のモジュール間で細分割することもできる。

上記の説明によれば、クエリフィンガープリント生成器２４２及び基準フィンガープリント生成器２１２は、ビデオコンテンツの１又は２以上のフレームのフィンガープリントを生成するように構成することができる。例えば、クエリフィンガープリント生成器２４２及び基準フィンガープリント生成器２１２は、ビデオコンテンツ内の１又は２以上のフレームのパッチ（ｐａｔｃｈｅｓ）の値を計算することができる。パッチは、フレーム内の異なる位置に存在することができる。クエリフィンガープリント生成器２４２及び基準フィンガープリント生成器２１２は、複数のフレームからのフィンガープリントを組み合わせてビデオコンテンツのフレームブロックのフィンガープリントを生成するように構成することができる。

一例として、クエリフィンガープリント生成器２４２のパッチ選択モジュール２４３は、ビデオコンテンツ内の１又は複数のフレームの１又は２以上の領域に関連するパッチなどのビデオコンテンツの複数のパッチを選択するように構成することができる。同様に、基準フィンガープリント生成器２１２のパッチ選択モジュール２１６も、ビデオコンテンツ内の１又は複数のフレームの１又は２以上の領域に関連するパッチなどのビデオコンテンツの複数のパッチを選択するように構成することができる。

パッチは、フレームを２×２グリッド、４×３グリッド又は４×４グリッドなどのグリッドに分割し、このグリッドに基づいてパッチを選択することによって定めることができる。例えば、フレームの象限（ｑｕａｄｒａｎｔｓ）に対応する４つの大パッチと、各象限のサブ象限（ｓｕｂ－ｑｕａｄｒａｎｔｓ）に対応する４つの小パッチ（すなわち、合計１６個の小パッチ）とを含む２０個のパッチを選択することができる。いくつかの例では、パッチが重なり合うこともできる。さらに、パッチは、フレーム全体よりも小さく累積的に広がることもできる。

クエリフィンガープリント生成器２４２の値計算モジュール２４４は、例えば積分画像法（ｉｎｔｅｇｒａｌ ｉｍａｇｅ ｔｅｃｈｎｉｑｕｅ）を使用して、選択された複数のパッチの各々の値を計算するように構成することができる。積分画像法は、画素グループの値の総和を生成するエリア総和テーブル（ｓｕｍｍｅｄ ａｒｅａ ｔａｂｌｅ）又はその他のデータ構造を使用して値を計算することができる。同様に、基準フィンガープリント生成器２１２の値計算モジュール２１８も、例えば積分画像法を使用して、選択された複数のパッチの各々の値を計算するように構成することができる。

いくつかの例では、値計算モジュール２４４及び値計算モジュール２１８が、パッチを含む画素グループの値を合計し、画素グループの値を平均し、又は画素グループの中央値を求めることによってパッチの値を計算することができる。これに加えて又はこれに代えて、値計算モジュール２４４及び値計算モジュール２１８は、画素グループの値間の差分を計算し、又は画素グループの値の線形結合を計算することによってパッチの値を計算することもできる。

ビデオ識別システム２５０のインデックスモジュール２５２は、クエリフィンガープリントに一致する可能性がある基準フィンガープリントを識別するために、視聴ステーション２１０又はビデオ識別システム２５０に記憶された既知のフィンガープリントのデータベースなどの、ビデオコンテンツの既知の基準フィンガープリントのデータベースに問い合わせを行うように構成することができる。インデックスモジュール２５２は、既知の基準フィンガープリントの量子化されたパッチ値のインデックスを問い合わせるように構成することができる。

ビデオ識別システム２５０のフィンガープリント照合モジュール２５４は、クエリフィンガープリントを１又は２以上の既知の基準フィンガープリントと比較して、クエリフィンガープリントが少なくとも１つの既知の基準フィンガープリントに一致すると判定するように構成することができる。例えば、フィンガープリント照合モジュール２５４は、クエリフィンガープリントと少なくとも１つの既知の基準フィンガープリントとの間の類似性が所定の閾値を満たすと判定することによって、クエリフィンガープリントが少なくとも１つの既知の基準フィンガープリントに一致すると判定することができる。所定の閾値は、谷本距離測定値、マンハッタン距離測定値、又はその他の距離測定値に関連することができる。これに加えて又はこれに代えて、フィンガープリント照合モジュール２５４は、ユークリッド法、コサイン法、ＫＬダイバージェンス法及び／又は板倉照合法などの他の照合法を使用することもできる。

さらに、識別モジュール２５６は、クエリフィンガープリントが少なくとも１つの基準フィンガープリントに一致するとの判定に基づいてビデオコンテンツを識別するように構成することができる。例えば、識別モジュール２５６は、ビデオコンテンツの名称又はタイトル、再生装置２４０が現在提示しているビデオコンテンツ内の位置、及び／又はビデオコンテンツを提供しているチャンネル又は放送局を識別することができる。

図４は、再生装置２４０及び置換メディアサーバ２６０のコンポーネントを示す簡略ブロック図である。図４に示すように、再生装置２４０は、クエリフィンガープリント生成器２４２に加えて、互いに通信するように構成できるオーディオ分析モジュール２４５及び再生修正モジュール２４６を含む。さらに、置換コンテンツサーバ２６０は、ビデオ提供モジュール２６２を含む。

再生装置２４０は、メディアコンテンツ置換イベントを実行するためのトリガに遭遇することができる。メディアコンテンツ置換イベントは、第１のソースからの第１のメディアコンテンツを提示することから、第２のソースからの第２のメディアコンテンツを提示することに切り替えることを伴うことができる。第１のソースは、第１のコンテンツパイプとすることができ、第２のソースは、第１のコンテンツパイプとは異なる第２のコンテンツパイプとすることができる。例えば、第１のソースは、無線アンテナ又はメディア装置２３０のいずれかとすることができ、第２のソースは、インターネット又は再生装置２４０のローカルキャッシュのいずれかとすることができる。特定の例として、第１のメディアコンテンツは、無線アンテナ又はメディア装置２３０を介して受け取られる第１のマルチメディアセグメントとすることができ、第２のメディアコンテンツは、ネットワーク２７０を介して置換コンテンツサーバ２６０から受け取られて再生装置２４０のローカルキャッシュに記憶される第２のマルチメディアセグメントとすることができる。或いは、第１のソースを無線アンテナとし、第２のソースをメディア装置２３０とすることもできる。別の例として、第１のソースをネットワーク２７０とし（例えば、第１のメディアコンテンツをマルチメディアストリームとし）、第２のソースを再生装置２４０のローカルキャッシュ又はメディア装置２３０のいずれかとすることもできる。

トリガに遭遇することは、置換すべき第２のセグメントの直前に生じる第１のセグメントを再生装置２４０が提示していると判定することを伴うことができる。再生装置２４０は、上述したフィンガープリント法又は透かし法のいずれかを使用して、第１のセグメントが提示されていると判定することができる。或いは、トリガに遭遇することは、再生装置２４０が別の装置から置換コマンドを受け取ることを伴うこともできる。

再生装置２４０は、オーディオ分析モジュール２４５に、第１のメディアコンテンツの第１の部分の第１のラウドネスレベルを決定するように命令することができる。オーディオ分析モジュール２４５は、トリガに遭遇する前に第１のラウドネスレベルを決定することができる。第１のラウドネスレベルは、再生装置２４０が第１のメディアコンテンツを提示している時にオーディオ分析モジュール２４５が継続的又は断続的に決定する移動平均とすることができる。１つの例では、オーディオ分析モジュール２４５が、第１のメディアコンテンツの最近提示された部分（例えば、過去１分、過去３０秒など）のラウドネスレベル（例えば、二乗平均平方根（ＲＭＳ））を固定間隔ベースで計算することができる。第１のラウドネスレベルは、ラウドネスメータを使用して計算することができる。オーディオ分析モジュール２４５は、時間の経過と共に、第１のメディアコンテンツの複数の部分のラウドネスレベルを共に平均化することができる（例えば、５つの１分部分の平均）。第１のメディアコンテンツの複数の部分は、互いに重なり合った部分又は分離した部分とすることができる。さらに、所望数のラウドネスレベルが取得されると、オーディオ分析モジュール２４５は、第１のラウドネスレベルの移動平均に達するように、最も古い（最も古くなった）ラウドネスレベルを新たな（直前の）ラウドネスレベルに置換し始めることができる。他の例も可能である。

ラウドネスメータは、再生装置２４０上、及び／又は再生装置２４０が通信可能に接続されたサーバ装置上で実行されるように構成されたソフトウェアモジュールを含むことができる。ソフトウェアモジュールは、国際電気通信連合によって推奨されるものなどの、第１のラウドネスレベルを決定する様々なフィルタリングアルゴリズムを実行することができる。ソフトウェアモジュールは、オーディオ信号の複数のチャンネルの個々のラウドネスを測定した後に、個々のラウドネス測定値を平均化し、加算してラウドネスレベルを決定することができる。

いくつかの例では、第１のメディアコンテンツのラウドネスレベルプロファイル（すなわち、一定期間にわたるラウドネス）をサーバによってストリームとして又はバルクで再生装置２４０に提供することができる。ラウドネスレベルプロファイルは、第１のメディアコンテンツにおいてラウドネスが時間と共にどのように変化するかを特徴付けることができる。このラウドネスレベルプロファイルは、例えばサーバ側で事前計算して、決定された固定音量値（例えば、平均ラウドネス、又は何らかの目標音量尺度）に関連付けておくことができる。その後、オーディオ分析モジュール２４５は、このラウドネスレベルプロファイルと、第１のメディアコンテンツから測定されるラウドネス値とを整列させた後に、装置によって観測された第１のメディアコンテンツと（サーバにおいて遠隔的に分析された）基準とのレベル差を第１のラウドネスレベルとして決定することができる。

いくつかの例では、再生装置２４０がチャンネル変更イベントを検出することができる。再生装置２４０は、チャンネル変更イベントを検出すると、オーディオ分析モジュール２４５に第１のラウドネスレベルの移動平均をリセットするように命令することができる。１つの例として、再生装置２４０は、第１のメディアコンテンツのオーディオ及び／又はビデオフィンガープリンティングを使用してチャンネル変更イベントを検出することができる。別の例として、再生装置２４０は、第１のメディアコンテンツを提供する装置から、チャンネル変更が発生したことを示す信号（例えば、高精細マルチメディアインターフェイス信号）を受け取ることもできる。従って、再生装置２４０は、この信号の受信に基づいてチャンネル変更イベントが発生したと判定することができる。別の例として、再生装置２４０は、テンプレートマッチングを使用して、第１のメディアコンテンツを提供する装置（例えば、図２のメディア装置２３０）によってチャンネル変更に関連して提示されるチャンネルバーの表示を認識することによってチャンネル変更イベントを検出することもできる。

置換コンテンツサーバ２６０のビデオ提供モジュール２６２は、再生装置２４０に第２のメディアコンテンツを提供することができる。例えば、ビデオ識別システム２５０は、再生装置２４０が表示しているビデオコンテンツを識別することができ、ビデオ提供モジュール２６２は、識別されたビデオコンテンツに基づいて、ビデオコンテンツに対応する置換メディアコンテンツを再生装置２４０に提供することができる。再生装置２４０は、ネットワーク通信インターフェイスを介して第２のメディアコンテンツを受け取ることができる。例えば、第２のメディアコンテンツは、インターネットを介して再生装置２４０にストリーミングされた後に再生装置２４０のローカルキャッシュに記憶された置換メディアコンテンツとすることができる。

再生装置２４０は、トリガに遭遇すると、再生装置２４０が置換する予定の第１のメディアコンテンツの部分のラウドネスレベルプロファイルを取得することもできる。例えば、ビデオ識別システム２５０は、再生装置２４０が表示のために提供しているビデオコンテンツを識別したことに基づいて、再生装置２４０が置換する予定の第１のメディアコンテンツの部分のラウドネスレベルプロファイルを取得し、これを再生装置２４０に提供することができる。或いは、ビデオ識別システム２５０は、再生装置２４０に識別子を提供することにより、再生装置２４０がこの識別子を使用してローカルキャッシュ又は別のコンピュータシステムからラウドネスレベルプロファイルを検索できるようにすることもできる。

再生装置２４０は、トリガに遭遇したことに応答して、第１のメディアコンテンツを提示することから第２のメディアコンテンツを提示することに切り替えることができる。例えば、再生装置２４０は、第２のメディアコンテンツを一連のメディアコンテンツに挿入するトリガに遭遇すると、ローカルキャッシュから置換メディアコンテンツを検索し、メディアファイルを表示するように構成されたメディアプレーヤを使用して置換メディアコンテンツを表示することができる。メディアプレーヤを使用して置換メディアコンテンツを表示のために提供することは、メディア装置又はアンテナから受け取られたメディアコンテンツなどの他のメディアコンテンツが表示のために提供される別の層の上位に存在するメディアプレーヤ層に置換メディアコンテンツを提示することを伴うことができる。

いくつかの例では、第２のメディアコンテンツを表示のために提供することが、メディア装置２３０又はアンテナから受け取られたメディアコンテンツを提供することから、再生装置２４０のデータベースに記憶された置換メディアコンテンツを提供することに切り替えることを伴うことができる。再生装置２４０は、フレームバッファを含むシステムオンチップを含むことができる。再生装置２４０のメディアプレーヤは、置換メディアコンテンツを表示のために提供するために、置換メディアコンテンツをフレームバッファに挿入することができる。システムオンチップは、置換メディアコンテンツをフレームバッファに挿入する前に、メディア装置２３０から受け取られたメディアコンテンツをフレームバッファに挿入しておくことができる。

第２のメディアコンテンツは、置換広告を含むことができる。例えば、第２のメディアコンテンツは、一般広告の代わりとすべきターゲット広告を含むことができる。１つの例として、ターゲット広告は地方広告とすることができ、一般広告は全国広告とすることができる。別の例として、ターゲット広告は、再生装置２４０のユーザの人口統計データに基づいて選択された広告とすることもできる。

いくつかの例では、再生装置２４０が、第２のメディアコンテンツを提示する前に第２のメディアコンテンツのラウドネスレベルを調整することができる。例えば、再生装置２４０のオーディオ分析モジュール２４５は、第２のメディアコンテンツのラウドネスレベルを決定することができ、その後、再生装置２４０は、第２のメディアコンテンツのラウドネスレベルと第１のメディアコンテンツのラウドネスレベルとの差分に基づいて第２のメディアコンテンツのラウドネスレベルを調整することができる。いくつかの例では、再生装置２４０が、２つの広告を順に置換することができる。例えば、再生装置は、第２のメディアコンテンツを提示した後に第３のメディアコンテンツ（例えば、別の置換広告）を提示することができる。この場合、再生装置２４０は、第２のメディアコンテンツのラウドネスレベルを調整する方法と同じ方法で第３のメディアコンテンツのラウドネスレベルを調整するように構成することができる。

再生装置２４０のオーディオ分析モジュール２４５は、第２のメディアコンテンツのラウドネスレベルを様々な方法で決定することができる。１つの例として、オーディオ分析モジュール２４５は、置換コンテンツサーバ２６０から第２のメディアコンテンツと共に受け取られる補助的情報に基づいて第２のメディアコンテンツのラウドネスレベルを決定することができる。例えば、ラウドネスレベルは、第２のメディアコンテンツのヘッダ情報内で指定することができる。別の例として、オーディオ分析モジュール２４５は、第２のメディアコンテンツに関連するオーディオ信号を処理することによってラウドネスレベルを決定することもできる。さらに別の例として、オーディオ分析モジュール２４５は、広告が従うように意図されたデフォルトラウドネスレベルをラウドネスレベルとして使用することもできる。

いくつかの例では、第１のメディアコンテンツのラウドネスレベル及び第２のメディアコンテンツのラウドネスレベルを絶対尺度で指定することができる。他の例では、第１のメディアコンテンツのラウドネスレベル及び第２のメディアコンテンツのラウドネスレベルをデシベルで指定することができる。ラウドネスレベルは、K-weighting relative to full scale（ＬＫＦＳ）などの知覚的音量重み付けを含むことができる。

再生修正モジュール２４６は、修正されたメディアコンテンツを生成するように、第１のメディアコンテンツのラウドネスレベルと第２のメディアコンテンツのラウドネスレベルとの差分に基づいて第２のメディアコンテンツのラウドネスを調整することができる。例えば、再生修正モジュール２４６は、第１のメディアコンテンツのラウドネスレベルの方が第２のメディアコンテンツのラウドネスレベルよりも低いと判定すると、第２のメディアコンテンツのラウドネスを低下させることができる。ラウドネスレベルを低下させることは、第２のメディアコンテンツのラウドネスを、決定されたラウドネスレベルから新たなラウドネスレベルに低下させることを伴うことができる。新たなラウドネスレベルは、第１のメディアコンテンツのラウドネスレベルにほぼ等しいものとすることができる。或いは、新たなラウドネスレベルは、第２のメディアコンテンツのラウドネスレベルと第１のメディアコンテンツのラウドネスレベルとの間のレベルとすることもできる。

一方で、再生修正モジュール２４６は、第１のメディアコンテンツのラウドネスレベルの方が第２のメディアコンテンツのラウドネスレベルよりも高いと判定すると、第２のメディアコンテンツのラウドネスを高めることができる。例えば、再生修正モジュール２４６は、第２のメディアコンテンツのラウドネスを、決定されたラウドネスレベルから新たなラウドネスレベルに高めることができる。新たなラウドネスレベルは、第１のメディアコンテンツのラウドネスレベルにほぼ等しいものとすることができる。或いは、新たなラウドネスレベルは、第２のメディアコンテンツのラウドネスレベルと第１のメディアコンテンツのラウドネスレベルとの間のレベルとすることもできる。

第２のメディアコンテンツのラウドネスレベルを調整することは、オーディオ信号を復号した後に第２のメディアコンテンツのオーディオ信号を調整することを伴うことができる。例えば、再生修正モジュール２４６は、オーディオ信号を減衰させてラウドネスを低下させ、或いは逆にオーディオ信号を増幅させてラウドネスを高めることができる。再生修正モジュール２４６は、オーディオ信号のラウドネスを増幅させる場合、圧縮器を使用してオーディオ信号の最低点と最高点との間の差分を低減し、及び／又はリミッタを使用してすべてのピークが閾値を超えるのを防ぐことができる。本開示では、メディアコンテンツのラウドネスレベルを調整することが、メディアコンテンツのオーディオ音量レベルを調整することと同義である。従って、音量の調整は、必ずしもスペクトルの心理音響的重み付け（ｐｓｙｃｈｏａｃｏｕｓｔｉｃ ｗｅｉｇｈｔｉｎｇ）を伴う必要はない。

いくつかの例では、再生修正モジュール２４６が、第１のメディアコンテンツのラウドネスレベルと第２のメディアコンテンツのラウドネスレベルとの差分が閾値条件を満たすと判定し、閾値条件を満たす差分に基づいて第２のメディアコンテンツのラウドネスを調整することができる。これとは逆に、この差分が閾値条件を満たさない場合、再生修正モジュール２４６は、第２のメディアコンテンツのラウドネスの調整をせず、メディアコンテンツ置換イベント中に第２のメディアコンテンツを提示することができる。この閾値条件は、例えば差分が閾値量よりも大きい状態とすることができる。

再生装置２４０は、第２のメディアコンテンツを提示する前に第２のメディアコンテンツのラウドネスを修正するか否かにかかわらず、メディアコンテンツ置換イベント中に、第２のメディアコンテンツに置換される第１のメディアコンテンツの部分のラウドネスを追跡することができる。再生装置２４０は、第１のメディアコンテンツのラウドネスレベルを追跡することによって、ユーザがトリガした音量調整を検出し、再生装置によって提示されている第２のメディアコンテンツに対する音量補正を実行することができる。このように、再生装置２４０にオーディオ信号を提供する装置を制御できるリモコン装置を使用してユーザが音量レベルを調整する場合、再生装置２４０は、メディアコンテンツ置換イベント中に再生装置２４０の音量の対応する調整を行うことができる。

オーディオ分析モジュール２４５は、再生装置２４０が第１のメディアコンテンツの音量レベルの変化を素早く検出して応答するのに役立つように、メディアコンテンツ置換イベント中に第１のメディアコンテンツの固定長部分のラウドネスレベルを決定することができる。これらの部分の長さは、メディアコンテンツ置換イベントが発生していない時（例えば、メディアコンテンツ置換イベントの前）にオーディオ分析モジュール２４５が分析する部分の長さよりも短くすることができる。一例として、メディアコンテンツ置換イベントが開始すると、オーディオ分析モジュール２４５は、第１のメディアコンテンツの３０秒部分の分析から第１のメディアコンテンツの１秒部分、又は１秒よりも短い長さの部分の分析に切り替えることができる。

特定の例として、オーディオ分析モジュール２４５は、メディアコンテンツ置換イベントの前に第１のメディアコンテンツの３０秒部分のラウドネスレベルを決定することができる。任意に、再生装置２４０は、必要であればこれらのラウドネスレベルを使用して、第２のメディアコンテンツに対して適切な全体的音量調整を実行することができる。その後、オーディオ分析モジュール２４５は、メディアコンテンツ置換イベント中に、第１のメディアコンテンツの第１、第２、第３及び第４の連続する１秒部分の第１、第２、第３及び第４のラウドネスレベルを決定することができる。オーディオ分析モジュール２４５は、例えばラウドネスメータを使用してこれらのラウドネスレベルを計算することができる。その後、オーディオ分析モジュール２４５は、メディアコンテンツ置換イベント中に決定されたラウドネスレベルのうちの１つ又は２つ以上を使用して、ユーザがトリガした音量調整が行われたかどうかを判定することができる。

オーディオ分析モジュール２４５は、ユーザがトリガした音量調整を様々な方法で検出することができる。１つの例として、オーディオ分析モジュール２４５は、第１のメディアコンテンツの所与の部分のラウドネスレベルが後続部分のラウドネスレベルと閾値量よりも大きい量だけ異なると判定することができる。後続部分は、所与の部分の直後の部分とすることができる。例えば、所与の部分は、第１のメディアコンテンツの時点Ｔ２～Ｔ３にわたることができ、後続部分は、第１のメディアコンテンツの時点Ｔ３～Ｔ４にわたることができ、所与の部分と後続部分とは同じ長さである。このようなシナリオでは、オーディオ分析モジュール２４５が再生装置２４０の目標音量を決定し、再生装置２４０が目標音量に向けて再生装置２４０の音量を調整できるようにすることもできる。

別の例として、オーディオ分析モジュール２４５は、ユーザがトリガした音量調整をニューラルネットワークを使用して検出することができる。例えば、ニューラルネットワークは、ユーザがトリガした音量調整を含むことが分かっているオーディオサンプルを使用して訓練することができる。ニューラルネットワークは、２又は３以上のラウドネスレベルを受け取るように構成された入力層と、ノードの複数の隠れ層と、出力層とを含むことができる。オーディオ分析モジュール２４５は、ニューラルネットワークに複数の連続ラウドネスレベルを入力として提供することができ、ニューラルネットワークは、入力ラウドネスレベルをユーザがトリガした音量調整の特徴、又はメディアコンテンツに固有の変動の特徴として分類するデータを出力層において出力することができる。

従って、オーディオ分析モジュール２４５は、ニューラルネットワークの出力を分析して、連続ラウドネスレベルがユーザによってトリガされた音量調整を示すか否かを判定することができる。オーディオ分析モジュール２４５は、ニューラルネットワークの出力がユーザによってトリガされた音量調整を示すと判定すると、適切な音量調整を決定することができる。例えば、オーディオ分析モジュール２４５は、連続ラウドネスレベルの傾向（例えば、時間の経過に伴うラウドネスの増加又は減少）を識別し、再生装置２４０の音量を調整する際に使用できるようにこの傾向を出力することができる。

或いは、オーディオ分析モジュール２４５は、第１のメディアコンテンツのラウドネスレベルと、第１のメディアコンテンツのラウドネスレベルプロファイルによって示される対応する基準ラウドネスレベルとを比較することによって、ユーザがトリガした音量調整を検出することもできる。メディアコンテンツ置換イベント中は、オーディオ分析モジュール２４５を、ラウドネスレベルプロファイル生成器２１４が第１のメディアコンテンツのラウドネスレベルプロファイルを生成するために使用した長さと同じ長さを有する時間間隔を使用して第１のメディアコンテンツのラウドネスレベルを決定するように構成することができる。一例として、ラウドネスレベルプロファイル生成器２１４によって使用される時間間隔は、１秒とすることができる。この実装では、オーディオ分析モジュール２４５を、再生装置２４０が第１のソースから第１のメディアコンテンツを受け取った時に第１のメディアコンテンツの１秒部分のラウドネスレベルを決定するように構成することができる。例えば、オーディオ分析モジュール２４５は、第１のメディアコンテンツの最近受け取られた部分（例えば、過去１秒）のラウドネスレベル（例えば、二乗平均平方根（ＲＭＳ））を固定間隔ベースで計算することができる。

オーディオ分析モジュール２４５は、オーディオ分析モジュール２４５によって決定されたラウドネスレベルと、ラウドネスレベルプロファイルによって示されるラウドネスレベルとの間の比較を容易にするために、ラウドネスレベルプロファイルと、再生装置２４０が第１のソースから受け取っているオーディオ信号とを整列させることができる。オーディオ分析モジュール２４５は、この整列を様々な方法で実行することができる。１つの例では、オーディオ分析モジュール２４５が、フィンガープリント法を使用してラウドネスレベルプロファイルをオーディオ信号に整列させることができる。オーディオ分析モジュール２４５は、フィンガープリント法を使用してラウドネスレベルプロファイルを整列させるために、ラウドネスレベルプロファイルに対応する基準フィンガープリントを受け取り、基準フィンガープリントと第１のメディアコンテンツから取得されたクエリフィンガープリントとを比較することができる。第１のメディアコンテンツから取得された各クエリフィンガープリントは、関連するタイムスタンプを有することができる。オーディオ分析モジュール２４５は、基準フィンガープリントがクエリフィンガープリントのうちの１つに一致すると判定すると、クエリフィンガープリントに関連するタイムスタンプを使用して、ラウドネスレベルプロファイルと再生装置２４０が受け取っているオーディオ信号とを整列させることができる。例えば、オーディオ分析モジュール２４５は、基準フィンガープリントとクエリフィンガープリントとの一致を、ラウドネスレベルプロファイルの初期ラウドネスレベルがクエリフィンガープリントに関連するタイムスタンプに対応することを意味するものと解釈するように構成することができる。或いは、オーディオ分析モジュール２４５は、基準フィンガープリントとクエリフィンガープリントとの一致を、ラウドネスレベルプロファイルの初期ラウドネスレベルがクエリフィンガープリントに関連するタイムスタンプからオフセット量（例えば、タイムスタンプの１秒後、タイムスタンプの２秒後など）だけオフセットされた時間に対応することを意味するものと解釈するように構成することができる。

ラウドネスレベルプロファイルを整列させるために使用される基準フィンガープリントは、オーディオフィンガープリント又はビデオフィンガープリントとすることができる。再生装置２４０は、再生装置２４０にラウドネスレベルプロファイルを提供する視聴ステーション２１０などのコンピュータシステムから基準フィンガープリントを取得することができる。

オーディオ分析モジュール２４５は、同様の方法で透かしを使用して、再生装置２４０が受け取っているオーディオ信号にラウドネスレベルプロファイルを整列させることができる。オーディオ分析モジュール２４５は、透かしを使用してラウドネスレベルプロファイルを整列させるために、ラウドネスレベルプロファイルに対応する透かしを受け取ることができる。次に、オーディオ分析モジュール２４５は、第１のメディアコンテンツ内の特定の時点に透かしが存在することを検出することができる。さらに、オーディオ分析モジュール２４５は、特定の時点における透かしの検出を、ラウドネスレベルプロファイルの初期ラウドネスレベルが特定の時点に対応することを意味するものと解釈するように構成することができる。或いは、オーディオ分析モジュール２４５は、特定の時点における透かしの検出を、ラウドネスレベルプロファイルの初期ラウドネスレベルが特定の時点からオフセット量（例えば、特定の時間の１秒後、特定の時間の２秒後など）だけオフセットされた時点に対応することを意味するものと解釈するように構成することができる。

オーディオ分析モジュール２４５は、再生装置２４０が第１のソースから受け取っているオーディオ信号にラウドネスレベルプロファイルを整列させた後に、オーディオ分析モジュール２４５によって決定されたオーディオ信号のラウドネスレベルに対応するラウドネスレベルプロファイルから基準ラウドネスレベルを選択することができる。例えば、オーディオ分析モジュール２４５は、ラウドネスレベルプロファイルの初期ラウドネスレベルがオーディオ信号の時点Ｔ１に整列していると決定しておくことができる。さらに、オーディオ分析モジュール２４５は、時点Ｔ１の５秒後に発生する第１のメディアコンテンツの部分を使用して第１のメディアコンテンツのラウドネスレベルを決定したことに基づいて、初期ラウドネスレベルが対応する時点の５秒後の時点に対応するラウドネスプロファイルの基準ラウドネスレベルを選択することができる。

その後、オーディオ分析モジュール２４５は、ラウドネスレベルプロファイルから基準ラウドネスレベルを選択した後に、基準ラウドネスレベルと決定されたラウドネスレベルとを比較することができる。いくつかの例では、決定されたラウドネスレベル及び基準ラウドネスレベルを絶対尺度で指定することができる。他の例では、決定されたラウドネスレベル及び第２のラウドネスレベルをデシベルで指定することができる。第１のラウドネスレベル及び第２のラウドネスレベルは、K-weighting relative to full scale（ＬＫＦＳ）などの知覚的音量重み付けを含むことができる。

オーディオ分析モジュール２４５は、これらの２つのラウドネスレベル間の差分の結果に基づいて、再生装置２４０の目標音量を決定することができる。例えば、オーディオ分析モジュール２４５は、再生装置２４０のオーディオ信号のラウドネスレベルが、ラウドネスレベルプロファイルによって示される対応する基準ラウドネスレベルを第１の量だけ超えていると判定し、再生装置２４０の現在の音量と第１の量との合計（又は現在の音量と第１の量に比例する値との合計）に等しい音量を目標音量として決定することができる。これとは逆に、オーディオ分析モジュール２４５は、ラウドネスレベルプロファイルによって示される基準ラウドネスレベルが再生装置２４０のオーディオ信号のラウドネスレベルを第２の量だけ超えていると判定し、再生装置２４０の現在の音量と第２の量との差分（又は現在の音量と第２の量に比例する値との差分）に等しい音量を目標音量として決定することができる。

再生修正モジュール２４６は、再生装置２４０が第１のメディアコンテンツの代わりに第２のメディアコンテンツを提示している間に、再生装置２４０の音量を目標音量に向けて調整することができる。例えば、オーディオ分析モジュール２４５は、再生修正モジュール２４６に目標音量を提供することができ、再生修正モジュール２４６は、平滑化フィルタを使用して再生装置の音量を目標音量に向けて徐々に調整することができる。平滑化フィルタを使用すると、再生装置の音量を現在の音量から目標音量に１秒未満で（例えば、１００ミリ秒のうちに）調整することができる。このように、再生修正モジュール２４６は、リモコン装置からメディア装置２３０に命令を送信することによってトリガされる音量調整などのユーザがトリガした音量調整を考慮するように再生装置２４０の音量を調整することができる。同様に、再生装置２４０は、メディアコンテンツ置換イベント中に、決定されたラウドネスレベルと基準ラウドネスレベルとの間の比較を引き続き行い、再生装置の音量の調整を引き続き実行することができる。

いくつかの例では、オーディオ分析モジュール２４５が、第１のメディアコンテンツのオーディオ信号が通常の時間よりも長時間にわたって（例えば、会話内容の小休止の長さよりも長く）急激かつ予想外に非常に小さくなり／ミュートされたことを検出ことができる。再生修正モジュール２４６は、このような休止の検出に基づいて、第２のメディアコンテンツのオーディオ信号をミュートすることができる。このように、メディアコンテンツ置換イベント中にユーザが（例えば、メディア装置２３０のリモコン装置を使用して）第１のメディアコンテンツをミュートした場合、再生装置２４０は、第１のメディアコンテンツの代わりに提示されている第２のメディアコンテンツをミュートすることもできる。

ＩＩＩ．動作例
図５は、方法例５００のフローチャートである。方法５００は、再生装置２４０などの再生装置、又はより一般的にはコンピュータシステムによって実行することができる。方法５００は、ブロック５０２において、再生装置が、第１のソースからの第１のメディアコンテンツを提示している間に、第１のメディアコンテンツの第１の部分の第１のラウドネスレベルを決定することを含む。第１の部分は、第１の長さを有する。方法５００は、ブロック５０４において、再生装置が、第１のソースからの第１のメディアコンテンツを提示することから、第２のソースからの第２のメディアコンテンツを提示することに切り替えることを含む。方法５００は、ブロック５０６において、再生装置が、切り替えたことに基づいて、第２のメディアコンテンツを提示している間に、第１のメディアコンテンツの第２の部分の第２のラウドネスレベルを決定することを含む。第２の部分は、第１の長さよりも短い第２の長さを有する。方法５００は、ブロック５０８において、再生装置が、第２のメディアコンテンツを提示している間に、第２のラウドネスレベルのうちの１つ又は２つ以上に基づいて再生装置の音量を調整することを含む。

ＩＶ．変形例
本開示において説明した動作及び／又は機能のいくつかは、特定のエンティティが実行するものとして説明したが、本開示において説明したエンティティなどのあらゆるエンティティが実行することができる。さらに、これらの動作及び／又は機能は特定の順序で記載しているが、記載した順序で実行する必要はない。しかしながら、いくつかの例では、これらの動作及び／又は機能を記載した順序で実行することが望ましい場合もある。さらに、各動作及び／又は機能は、他の動作及び／又は機能のうちの１つ又は２つ以上に応答して実行することができる。また、本開示に示す利点のうちの１つ又は２つ以上を達成するためにこれらの動作及び／又は機能を全て実行する必要はなく、従って全ての動作及び／又は機能が必要であるとは限らない。

本開示の１又は２以上の実施例に関連していくつかの変形例を説明したが、これらの変形例は、本開示の他の全ての実施例に適用することもできる。

本開示の選択例について説明したが、当業者にはこれらの例の変更及び置換が明らかであろう。以下の特許請求の範囲に記載する本発明の幅広い態様では、本発明から逸脱することなく他の修正、代用及び／又は変更も可能である。

Claims (20)

1. 再生装置が、第１のソースからの第１のメディアコンテンツを提示している間に、前記第１のメディアコンテンツの第１の長さを有する第１の部分の第１のラウドネスレベルを決定することと、
   前記再生装置が、前記第１のソースからの前記第１のメディアコンテンツを提示することから、第２のソースからの第２のメディアコンテンツを提示することに切り替えることと、
   前記再生装置が、前記第２のソースからの前記第２のメディアコンテンツを提示している間に、前記第１のメディアコンテンツに対応するオーディオ信号を受け取ることと、
   前記再生装置が、前記切り替えたことに基づいて、前記第２のメディアコンテンツを提示している間に、前記第１のメディアコンテンツに対応する前記オーディオ信号を使用して、前記第１のメディアコンテンツの前記第１の長さよりも短い第２の長さを有する第２の部分の第２のラウドネスレベルを決定することと、
   前記再生装置が、前記第２のメディアコンテンツを提示している間に、前記第２のラウドネスレベルのうちの１つ又は２つ以上に基づいて前記再生装置の音量を調整することと、
   を含むことを特徴とする方法。
2. 前記第２のラウドネスレベルは、所与の部分のラウドネスレベル及び後続部分のラウドネスレベルを含み、前記方法は、前記所与の部分の前記ラウドネスレベルが前記後続部分の前記ラウドネスレベルと閾値量よりも大きい量だけ異なると判定することをさらに含み、前記再生装置の音量を調整することは、前記所与の部分の前記ラウドネスレベルと前記後続部分のラウドネスレベルとの間の差分に基づいて前記音量を調整することを含む、
   請求項１に記載の方法。
3. 前記差分に基づいて目標音量を決定することをさらに含み、前記音量を調整することは、前記音量を前記目標音量に向けて調整することを含む、
   請求項２に記載の方法。
4. 前記第２のラウドネスレベルのうちの１つ又は２つ以上に基づいて前記音量を調整することは、
   前記第２のラウドネスレベルの所与のラウドネスレベルと、前記第１のメディアコンテンツのラウドネスレベルプロファイルによって示される基準ラウドネスレベルとを比較することと、
   前記所与のラウドネスレベルと前記基準ラウドネスレベルとの間の差分に基づいて前記再生装置の目標音量レベルを決定することと、
   前記音量を前記目標音量レベルに向けて調整することと、
   を含む、請求項１に記載の方法。
5. 前記ラウドネスレベルプロファイルは、前記第１のメディアコンテンツの部分のそれぞれのラウドネスレベルを含み、前記方法は、前記ラウドネスレベルプロファイルを、前記再生装置が受け取っている前記第１のメディアコンテンツと整列させることをさらに含む、
   請求項４に記載の方法。
6. 前記第２のラウドネスレベルのうちの１つ又は２つ以上に基づいて前記音量を調整することは、
   音量調整を含むオーディオサンプルを使用して訓練されたニューラルネットワークに、前記第２のラウドネスレベルを入力として提供することと、
   前記ニューラルネットワークの出力に基づいて、前記第１のメディアコンテンツの音量調整を検出することと、
   前記音量調整に基づいて前記音量を調整することと、
   を含む、請求項１に記載の方法。
7. 前記第１のラウドネスレベルを決定することは、前記第１のラウドネスレベルの移動平均を決定することを含む、
   請求項１に記載の方法。
8. チャンネル変更イベントを検出することと、
   前記チャンネル変更イベントの検出時に、前記第１のラウドネスレベルの前記移動平均をリセットすることと、
   をさらに含む、請求項７に記載の方法。
9. 前記第２のメディアコンテンツのラウドネスレベルを決定することと、
   前記第１のラウドネスレベルと前記第２のメディアコンテンツの前記ラウドネスレベルとの間の差分に基づいて、前記第２のメディアコンテンツを提示する前に前記第２のメディアコンテンツの前記ラウドネスレベルを調整することと、
   をさらに含む、請求項１に記載の方法。
10. 前記再生装置はテレビを含み、前記第２のメディアコンテンツを提示することは、メディアプレーヤを使用して置換広告を提示することを含む、
    請求項１に記載の方法。
11. 前記第２のメディアコンテンツは、前記再生装置のローカルキャッシュに記憶され、前記方法は、前記第２のメディアコンテンツを提示する前に前記ローカルキャッシュから前記第２のメディアコンテンツを検索することをさらに含む、
    請求項１に記載の方法。
12. プロセッサによる実行時に一連の動作を実行させるプログラム命令を記憶した非一時的コンピュータ可読媒体であって、前記一連の動作は、
    再生装置が第１のソースからの第１のメディアコンテンツを提示している間に、前記第１のメディアコンテンツの第１の長さを有する第１の部分の第１のラウドネスレベルを決定することと、
    前記第１のソースからの前記第１のメディアコンテンツを提示することから、第２のソースからの第２のメディアコンテンツを提示することに切り替えることと、
    前記再生装置が前記第２のソースからの前記第２のメディアコンテンツを提示している間に、前記第１のメディアコンテンツに対応するオーディオ信号を受け取ることと、
    前記切り替えたことに基づいて、前記再生装置が前記第２のメディアコンテンツを提示している間に、前記第１のメディアコンテンツに対応する前記オーディオ信号を使用して、前記第１のメディアコンテンツの前記第１の長さよりも短い第２の長さを有する第２の部分の第２のラウドネスレベルを決定することと、
    前記再生装置が前記第２のメディアコンテンツを提示している間に、前記第２のラウドネスレベルのうちの１つ又は２つ以上に基づいて前記再生装置の音量を調整することと、を含む、ことを特徴とする非一時的コンピュータ可読媒体。
13. 前記第２のラウドネスレベルは、所与の部分のラウドネスレベル及び後続部分のラウドネスレベルを含み、前記一連の動作は、前記所与の部分の前記ラウドネスレベルが前記後続部分の前記ラウドネスレベルと閾値量よりも大きい量だけ異なると判定することをさらに含み、前記再生装置の音量を調整することは、前記所与の部分の前記ラウドネスレベルと前記後続部分のラウドネスレベルとの間の差分に基づいて前記音量を調整することを含む、
    請求項１２に記載の非一時的コンピュータ可読媒体。
14. 前記第２のラウドネスレベルのうちの１つ又は２つ以上に基づいて前記音量を調整することは、
    前記第２のラウドネスレベルの所与のラウドネスレベルと、前記第１のメディアコンテンツのラウドネスレベルプロファイルによって示される基準ラウドネスレベルとを比較することと、
    前記所与のラウドネスレベルと前記基準ラウドネスレベルとの間の差分に基づいて前記再生装置の目標音量レベルを決定することと、
    前記音量を前記目標音量レベルに向けて調整することと、
    を含む、請求項１２に記載の非一時的コンピュータ可読媒体。
15. 前記再生装置はテレビを含み、前記第２のメディアコンテンツを提示することは、メディアプレーヤを使用して置換広告を提示することを含む、
    請求項１２に記載の非一時的コンピュータ可読媒体。
16. 前記第２のメディアコンテンツは、前記再生装置のローカルキャッシュに記憶され、前記一連の動作は、前記第２のメディアコンテンツを提示する前に前記ローカルキャッシュから前記第２のメディアコンテンツを検索することをさらに含む、
    請求項１２に記載の非一時コンピュータ可読媒体。
17. 一連の動作を実行するように構成されたコンピュータシステムであって、前記一連の動作は、
    再生装置が第１のソースからの第１のメディアコンテンツを提示している間に、前記第１のメディアコンテンツの第１の長さを有する第１の部分の第１のラウドネスレベルを決定することと、
    前記第１のソースからの前記第１のメディアコンテンツを提示することから、第２のソースからの第２のメディアコンテンツを提示することに切り替えることと、
    前記再生装置が前記第２のソースからの前記第２のメディアコンテンツを提示している間に、前記第１のメディアコンテンツに対応するオーディオ信号を受け取ることと、
    前記切り替えたことに基づいて、前記再生装置が前記第２のメディアコンテンツを提示している間に、前記第１のメディアコンテンツに対応する前記オーディオ信号を使用して、前記第１のメディアコンテンツの前記第１の長さよりも短い第２の長さを有する第２の部分の第２のラウドネスレベルを決定することと、
    前記再生装置が前記第２のメディアコンテンツを提示している間に、前記第２のラウドネスレベルのうちの１つ又は２つ以上に基づいて前記再生装置の音量を調整することと、
    を含む、ことを特徴とするコンピュータシステム。
18. 前記第２のラウドネスレベルは、所与の部分のラウドネスレベル及び後続部分のラウドネスレベルを含み、前記一連の動作は、前記所与の部分の前記ラウドネスレベルが前記後続部分の前記ラウドネスレベルと閾値量よりも大きい量だけ異なると判定することをさらに含み、前記再生装置の音量を調整することは、前記所与の部分の前記ラウドネスレベルと前記後続部分のラウドネスレベルとの間の差分に基づいて前記音量を調整することを含む、
    請求項１７に記載のコンピュータシステム。
19. 前記第２のラウドネスレベルのうちの１つ又は２つ以上に基づいて前記音量を調整することは、
    前記第２のラウドネスレベルの所与のラウドネスレベルと、前記第１のメディアコンテンツのラウドネスレベルプロファイルによって示される基準ラウドネスレベルとを比較することと、
    前記所与のラウドネスレベルと前記基準ラウドネスレベルとの間の差分に基づいて前記再生装置の目標音量レベルを決定することと、
    前記音量を前記目標音量レベルに向けて調整することと、
    を含む、請求項１７に記載のコンピュータシステム。
20. 前記第２のメディアコンテンツは、前記再生装置のローカルキャッシュに記憶され、前記一連の動作は、前記第２のメディアコンテンツを提示する前に前記ローカルキャッシュから前記第２のメディアコンテンツを検索することをさらに含む、
    請求項１７に記載のコンピュータシステム。

Images