JP5852304B2

JP5852304B2 - シグネチャ曲線発生装置及び方法

Info

Publication number: JP5852304B2
Application number: JP2010226969A
Authority: JP
Inventors: ダニエル・ジー・ベーカー
Original assignee: Tektronix Inc
Current assignee: Tektronix Inc
Priority date: 2009-10-25
Filing date: 2010-10-06
Publication date: 2016-02-03
Anticipated expiration: 2030-10-06
Also published as: EP2315455A2; EP2315455B1; JP2011091798A; CN102244805A; EP2315455A3; CN102244805B; US8436939B2; US20110096173A1

Description

本発明は、一般にビデオ試験測定機器に関し、特に、オーディオ／ビデオ（ＡＶ）遅延の測定及び補正に利用するシグネチャ曲線の発生装置及び方法に関する。

サテライト及び他の地上ディストリビューション（分配）パスでのアナログ、デジタル又は圧縮のデータにおけるプログラムのオーディオ及びビデオのディストリビューション又はストリーミングにおいて、ビデオ信号に対するオーディオ信号のタイミング又は遅延スキューが生じるが、これは「リップ・シンク」問題として知られている。この原因は、種々であるが、一般には、オーディオをビデオと別に処理すると、異なる処理又はディストリビューションの遅延により生じる。例えば、サテライトパスを介してビデオを伝送し、オーディオを低遅延地上パスにより伝送すると、ある共通の宛先ポイントにてオーディオ及びビデオを再同期する必要が生じる。また、オーディオ及びビデオの圧縮マルチ・チャネルでの別々の符号化及び復号化（コーデック：CODIC）の遅延により、ビデオに対するオーディオの再同期が必要となる。

多くの場合、プログラム・ビデオ信号に関連したマルチ・チャネル・プログラム・オーディオは、ある開始ポイント（origination point）にて正しいタイミング関係を有する。また、異なる伝搬遅延又はコーデック遅延を補正するために、宛先ポイント（destination point）にてオーディオ又はビデオを遅延させて、その関係を再構築するのが望ましい。これは、宛先ポイントにおけるプログラム・オーディオに対して、オーディオ・トーン・バースト又はこれと均等なものを挿入することにより、「サービス非提供時（out-of-service）」にて実行できる。なお、このオーディオ・トーン・バーストなどは、ビデオ・フラッシュ、回転ホイール、電子クラップ・ボード（clap-board）又はこれらと均等なものと同期して、宛先ポイントにてＡＶ遅延を測定し補正できる。

しかし、このアプローチには、２つの大きな欠点がある。第１に、試験には、サービス非提供時に通常プログラムのオーディオ及びビデオが必要となる。第２に、測定したサービス非提供時の補正値を最早無効とするコーデック変化及びパス変化により、ＡＶ処理遅延が時間と伴に変化する。

米国特許第６２４６４３９号明細書「ビデオ信号へのデータの透明埋め込み」（特開平１０-３０４３２２号公報に対応）は、異なるアプローチを開示しており、測定及び補正用にオーディオ包絡線「シグネチャ曲線（signature curve）」をデコーダに送るために、不可視のウォータマーク又は何らかの他のメタデータのパスをビデオ信号に追加する。この方法において、オーディオ及びビデオを同期するように連続的に調整できる。このアプローチは、米国オレゴン州ビーバートンのテクトロニクス社が販売するＡＶＤＣ１００型オーディオ対ビデオ遅延補正器（現在は販売終了）に用いられている。しかし、ビデオ信号のウォータマークは、しばしば許容できず、また、ビデオ効果及びスケーリングの後ではウォータマークを検出できない。

上述の米国特許明細書に記載と同じ方法でＡＶ遅延を測定及び補正するために、代わりに、メタデータとして又はある形式のオーディオ・ウォータマークによって、ビデオ・シグネチャ曲線をオーディオ・チャネルに埋め込むことができる。しかし、オーディオ信号ウォータマーク変調が許容されず、メタデータ・パスがしばしばディストリビューション・チェーンにおいて保護（preserve）されない。

特開平１０−３０４３２２号公報

そこで、上述の従来のアプローチの欠点を克服したオーディオ信号及びビデオ信号の間の遅延の測定し、その遅延を補正するために利用可能な改善された手法が望まれている。

上述の課題を解決する本発明の概念は、次の通りである。
（１）ディストリビューション（分配）パスに沿ったポイントにて、オーディオ信号及びビデオ信号を有するオーディオ／ビデオ（ＡＶ）プログラム（番組）を受ける入力装置と；上記オーディオ信号を処理してオーディオ・シグネチャ曲線を発生すると共に、上記ビデオ信号を処理してビデオ・シグネチャ曲線を発生するプロセッサとを具えた装置。
（２）上記ディストリビューション・パス以外にセパレート（別の）データ・パスを経由して上記オーディオ・シグネチャ曲線及び上記ビデオ・シグネチャ曲線を分配する出力部を更に具える概念１の装置。
（３）上記プロセッサは、上記ビデオ信号の隣接フレームの共分散（co-variance）に基づいて上記ビデオ・シグネチャ曲線を発生する手段を具える概念１の装置。
（４）上記プロセッサは、上記ビデオ信号の隣接フレーム差の共分散に基づいて上記ビデオ・シグネチャ曲線を発生する手段を具える概念１の装置。
（５）上記プロセッサは；上記オーディオ信号の左チャネルを濾波して濾波済み左チャネルを生じる第１バンドパス・フィルタと；上記濾波済み左チャネルの包絡線を検出する第１包絡線検出器と；上記オーディオ信号の右チャネルを濾波して濾波済み右チャネルを発生する第２バンドパス・フィルタと；上記濾波済み左チャネルの包絡線及び上記濾波済み右チャネルの包絡線を加算して加算結果を生じる加算器と；上記加算結果を濾波して濾波済み加算結果を生じるロウパス・フィルタと；上記フレーム又はフィールドのレートで上記濾波済み加算結果をサンプリングして上記オーディオ・シグネチャ曲線を生じるサンプラとを具えた概念１の装置。
（６）オーディオ・シグネチャ曲線及びビデオ・シグネチャ曲線を受ける入力手段と；上記オーディオ・シグネチャ曲線及び上記ビデオ・シグネチャ曲線に基づいてオーディオ／ビデオ（ＡＶ）プログラムの測定ＡＶ遅延を計算するプロセッサとを具えた装置。
（７）上記ディストリビューション・パス内のインライン遅延を調整して上記測定ＡＶ遅延を補正する手段を更に具えた概念６の装置。
（８）上記プロセッサが上記測定ＡＶ遅延を計算するために、２つのオーディオ・シグネチャ曲線を整列（アライメント）させてオーディオ・アライメント・オフセットを発生し；２つのビデオ・シグネチャ曲線を整列させてビデオ・アライメント・オフセットを発生し；上記オーディオ・アライメント・オフセット及び上記ビデオ・アライメント・オフセットに基づいて上記測定ＡＶ遅延を測定する概念６の装置。
（９）概念１の１個以上の装置と；概念６の装置とを具えたシステム。
（１０）上記セパレート・データ・パスはディストリビューション・ネットワークを具える概念９のシステム。
（１１）ディストリビューション・パスに沿ったポイントにて、オーディオ信号及びビデオ信号を有するオーディオ／ビデオ（ＡＶ）プログラムを受け；上記オーディオ信号に基づいてオーディオ・シグネチャ曲線を発生すると共に、上記ビデオ信号に基づいてビデオ・シグネチャ曲線を発生する方法。
（１２）上記ディストリビューション・パス以外にセパレート・データ・パスを介して上記オーディオ・シグネチャ曲線及び上記ビデオ・シグネチャ曲線を分配するステップを更に具える概念１１の方法。
（１３）上記ビデオ信号の隣接するフレームの共分散に基づいて上記ビデオ・シグネチャ曲線を発生する概念１１の方法。
（１４）上記ビデオ信号の隣接するフレーム差の共分散に基づいて上記ビデオ・シグネチャ曲線を発生する概念１１の方法。
（１５）上記オーディオ・シグネチャ曲線を発生するために；上記オーディオ信号の左チャネルを濾波して濾波済み左チャネルを生じ；上記濾波済み左チャネルの包絡線を検出し；上記オーディオ信号の右チャネルを濾波して濾波済み右チャネルを発生し；上記濾波済み左チャネルの包絡線及び上記濾波済み右チャネルの包絡線を加算して加算結果を生じ；上記加算結果を濾波して濾波済み加算結果を生じ；上記フレーム又はフィールドのレートで上記濾波済み加算結果をサンプリングして上記オーディオ・シグネチャ曲線を生じる概念１１の方法。
（１６）オーディオ・シグネチャ曲線及びビデオ・シグネチャ曲線を受け；上記オーディオ・シグネチャ曲線及び上記ビデオ・シグネチャ曲線に基づいてオーディオ・／ビデオ（ＡＶ）プログラムの測定ＡＶ遅延を計算する方法。
（１７）上記ディストリビューション・パス内のインライン遅延を調整して上記測定ＡＶ遅延を補正するステップを更に具えた概要１６の方法。
（１８）上記測定ＡＶ遅延を計算するステップは；２つのオーディオ・シグネチャ曲線を整列させてオーディオ・アライメント・オフセットを発生し；２つのビデオ・シグネチャ曲線を整列させてビデオ・アライメント・オフセットを発生し；上記オーディオ・アライメント・オフセット及び上記ビデオ・アライメント・オフセットに基づいて上記測定ＡＶ遅延を計算する概念１６の方法。
（１９）ディストリビューション・パスに沿ったポイントにおけるオーディオ／ビデオ（ＡＶ）プログラムに夫々対応するオーディオ・シグネチャ曲線及びビデオ・シグネチャ曲線の複数対を発生し；上記ディストリビューション・パス以外のセパレート・データ・パスを介して上記シグネチャ曲線の複数対を収集する方法。
（２０）上記シグネチャ曲線の対に基づいて上記ＡＶプログラムの測定ＡＶ遅延を計算するステップを更に具えた概要１９の方法。

よって、本発明によれば、非侵入で「サービス提供中（in-service）」にＡＶ遅延の検出及び補正するためのシグネチャ曲線発生装置及び方法が得られる。これら装置及び方法は、オーディオ信号又はビデオ信号を変更せず、ディストリビューション（分配）パスを介してのオーディオ信号又はビデオ信号と伝送される任意のメタデータにも依存しない。その代わりに、ディストリビューション・パスに沿った種々のポイントに配置されたエージェントは、オーディオ信号及びビデオ信号用に非常に小さなシグネチャ曲線を発生し、これらシグネチャ曲線をディストリビューション・パス以外のセパレート（別の）パスを介してマネージャーに分配する。マネージャーは、ディストリビューション・パスが発生した測定ＡＶ遅延をこれらシグネチャ曲線に基づいて計算し、また、オプションとして、ディストリビューション・パスのインライン遅延を調整することにより測定ＡＶ遅延を補正する。

本発明の目的、利点及び新規な特徴は、添付図を参照した以下の詳細な説明から明らかになろう。

本発明によりＡＶ遅延を測定し補正する装置及び方法を示す第１実施例のブロック図である。本発明によりＡＶ遅延を測定し補正する装置及び方法を示す第２実施例のブロック図である。米国特許第６７５１３６０号明細書に記載された方法を用いて発生したビデオ・シグネチャ曲線を示す図である。本発明の実施例によるフレーム差方法を用いて発生したビデオ・シグネチャ曲線を示す図である。図３Ａのビデオ・シグネチャ曲線及びその受信レプリカの相互相関と、図３Ｂのビデオ・シグネチャ曲線及びその受信レプリカの相互相関とを示す図である。オーディオ・シグネチャ曲線を発生する装置及び方法を示すブロック図である。図５の装置及び方法を用いて発生したオーディオ信号及びオーディオ・シグネチャ曲線を示す図である。測定ＡＶ遅延を計算する方法の流れ図である。

図１は、本発明によりＡＶ遅延を測定及び補正する装置及び方法の第１実施例を示すブロック図である。ＡＶプログラムは、オーディオ信号及びビデオ信号から成る。開始（origination）ポイントに配置され「エージェント」として示される第１装置（入力装置）１０５は、その入力端にてＡＶプログラム（オーディオ／ビデオ番組）を受ける。種々の実施例において、このＡＶプログラムは、オーディオ／ビデオ圧縮コーダなどで構成できる。次に、エージェント１０５は、プロセッサ（図示せず）を用いて、オーディオ信号を処理してオーディオ・シグネチャ曲線（ＡＳＣｏ）を発生すると共に、ビデオ信号を処理してビデオ・シグネチャ曲線（ＶＳＣｏ）を発生する。次に、ＡＶプログラムは、開始ポイントからディストリビューション（分配）パス１００を介して宛先（destination）ポイントに分配される。宛先ポイントに配置され「エージェント」として示される第２装置１１０は、ＡＶプログラムを受け、受信したオーディオ信号に基づいてオーディオ・シグネチャ曲線（ＡＳＣｒ）を発生すると共に、受信したビデオ信号に基づいてビデオ・シグネチャ曲線（ＶＳＣｒ）を発生する。オプションとして、第２エージェント１１０は、組み込みで調整可能なインライン・プログラム・オーディオ及び／又はビデオの遅延手段（図示せず）を有する。

「マネージャー」として示す第３装置１２０は、（１）セパレート（別の）データ・パス１１５を介してエージェント１０５及び１１０からのＡＳＣｏ、ＶＳＣｏ、ＡＳＣｒ及びＶＳＣｒを収集し、（２）ディストリビューション・パス１００により生じたＡＶプログラムの測定ＡＶ遅延をＡＳＣｏ、ＶＳＣｏ、ＡＳＣｒ及びＶＳＣｒに基づいて計算し、（３）オプションとしてセパレート・データ・パス１１５を介してエージェント１１０のインライン遅延を調整して測定ＡＶ遅延を補正する。セパレート・データ・パス１１５は、ディストリビューション・パス１００以外の任意のデータ・パスである。なお、ＡＳＣｏ、ＶＳＣｏ、ＡＳＣｒ及びＶＳＣｒをまとめて、単にＳＣ（シグネチャ曲線）として示す。例えば、種々の実施例において、セパレート・データ・パス１１５は、インターネット、プライベート・ネットワーク又は専用データ・パスなどの分散ネットワークでもよい。エージェント１０５及び１１０並びにマネージャー１２０は、セパレート・データ・パス１１５を介して通信を行うのに適する通信端子（例えば、入力及び出力）を有する。例えば、セパレート・データ・パス１１５がインターネットである実施例において、エージェント１０５及び１１０とマネージャー１２０とは、各々がインターネット・プロトコル（ＩＰ）ターミナルを有する。いくつかの実施例において、遠隔パーソナル・コンピュータ上で動作するソフトウェア・アプリケーションとして、マネージャー１２０を実現する。

シグネチャ曲線（ＳＣ）は、基本となる実際のオーディオ又はビデオのデータ・セットよりもはるかに小さい非常に簡単でコンパクトなデータ・セットである。すなわち、ＳＣを非常に迅速に発生し、分配し、処理できるので、実時間でＡＶ遅延の測定及び補正が可能となる。本発明の目的にとってＳＣの重要な特徴は、コンパクトであるが、オーディオ又はビデオの時間的特徴が充分にあって、所望の分解能での時間的アライメント（配列）を容易にすることである。この重要な特徴を有するＳＣの発生及び処理について、詳細に後述する。

いくつかの実施例において、エージェント１０５及び１１０は、米国オレゴン州ビーバートンのテクトロニクス社が販売するＷＦＭ８０００シリーズ波形モニタの如きビデオ試験測定機器内に組み込まれている。他の実施例において、エージェント１０５及び１１０は、プログラムのオーディオ及びビデオをモニタするのに用いる専用のスタンドアロン装置である。

いくつかの実施例において、特に、セパレート・データ・パス１１５がインターネットの如き分配ネットワークであると、マネージャー１２０とエージェント１０５及び１１０とは、シンプル・ネットワーク・マネージメント・プロトコル（ＳＮＭＰ）の如きプロトコルを介して通信できる。これらの実施例において、マネージャー１２０を「ＳＮＭＰマネージャー」として実現できるし、エージェント１０５及び１１０を「ＳＮＭＰエージェント」として実現できる。他の任意の通信プロトコルも利用できることが理解できよう。

図２は、本発明によりＡＶ遅延を測定し補正する装置及び方法の実施例を示すブロック図である。図１と同様に、ＡＶプログラムは、オーディオ信号及びビデオ信号から構成されている。開始ポイントに配置された第１装置（入力装置）２０５は、オーディオ信号に基づいてオーディオ・シグネチャ曲線（ＡＳＣｏ）を発生し、ビデオ信号に基づいてビデオ・シグネチャ曲線（ＶＳＣｏ）を発生する。次に、オーディオ信号及びビデオ信号は、開始ポイントからディストリビューション・パス２００を介して宛先ポイントに分配される。宛先ポイントに配置された第２装置２１０は、受信したオーディオ信号に基づいてオーディオ・シグネチャ曲線（ＡＳＣｒ）を発生し、受信したビデオ信号に基づいてビデオ・シグネチャ曲線（ＶＳＣｒ）を発生する。オプションとして、第２装置２１０は、組み込みの調整可能インライン・プログラム・オーディオ及び／又はビデオの遅延手段（図示せず）を有する。しかし、図１と異なり、マネージャーとして機能する第３装置がない。その代わり、装置２０５及び２１０の一方は、エージェント及びマネージャーの両方として機能する。

第１装置２０５がマネージャー及びエージェントとして機能する実施例において、この第１装置２０５は、（１）第２装置２１０からのＡＳＣｒ及びＶＳＣｒを収集し、（２）ＡＳＣｏ、ＶＳＣｏ、ＡＳＣｒ及びＶＳＣｒに基づいてディストリビューション・パス２００により生じたＡＶプログラムの測定ＡＶ遅延を計算し、（３）オプションとして、第２装置２１０のインライン遅延を調整して、測定ＡＶ遅延を補正する。第２装置２１０がマネージャー及びエージェントの両方として作用する実施例において、（１）第１装置２０５からのＡＳＣｏ及びＶＳＣｏを収集し、（２）ＡＳＣｏ、ＶＳＣｏ、ＡＳＣｒ及びＶＳＣｒに基づいてディストリビューション・パス２００により生じたＡＶプログラムの測定ＡＶ遅延を計算し、（３）オプションとして、第２装置２１０のインライン遅延を調整して測定ＡＶ遅延を補正する。いくつかの実施例において、第１装置２０５及び第２装置２１０は、必要に応じて、役割を変えて、マネージャー又はエージェントのいずれかとして機能する。

［ビデオ・シグネチャ曲線（ＶＳＣ）の発生］
いくつかの実施例において、米国特許第６７５１３６０号明細書「高速ビデオ時間アライメント・エスカレーション」（以下、単に３６０特許という）に記載された方法を用いてビデオ・シグネチャ曲線ＶＳＣを発生する。この方法の概要は次の通りである。

まず、ビデオ・フレームのブロックにわたるイメージ又はビデオの各フレームの平均m_fを計算する。
m_f:=mean(T_f)
ここで、Ｔはイメージ又はビデオのフレームであり、ｆはフレームのブロックをスパンするフレーム・インデックスであり、meanは平均を意味する。次に、隣接するフレームの共分散（co-variance）を計算する。

次に、オプションとして、正規化された差（最大値から最小値）を計算して、オーディオへのアライメントを決定するためにＶＳＣに充分なＡＣエネルギー又は時間的変動があるかを判断する。

他の実施例において、隣接のフレームではなく、隣接するフレームの差で動作する改良方法（「フレーム差」方法）を用いて、ＶＳＣを発生する。この改良方法を次に説明する。

まず、フレーム差のシーケンスを計算する。
Td_f:=T_f-T_f-1
次に、隣接するフレーム差の共分散を計算する。

有利な点として、フレーム差方法では、差分が平均をゼロに設定するので、上述の３６０特許に記載の方法のようにフレームの平均の計算を必要としない。これは、共分散の計算を簡略化する。

図３Ａは、トーキング・ヘッド・ビデオ・シーケンス（ルミナンスのみ）の１３フレームに対して３６０特許に記載の方法を用いて生成したＶＳＣ３００を示す。図３Ｂは、同じ１３フレームに対してフレーム差方法を用いて生成したＶＳＣ３０５を示す。フレーム差方法を用いて生成したＶＳＣ３０５は、オフセットがなく、伝送用に圧縮するのが容易になる点に留意されたい。

後述の如く、ＡＶ遅延を決定する期間中に、ＶＳＣｏをＶＳＣｒと相互相関をとって、適切な時間アライメントのポイントを見つける。図４は、３６０特許の方法を用いて求めたＶＳＣｏ及びＶＳＣｒの相互相関４００と、フレーム差方法を用いて求めたＶＳＣｏ及びＶＳＣｒの相互相関４０５とを示す。フレーム１３での最大値４１０は、これがＶＳＣｏ及びＶＳＣｒの間の最適時間アライメントのポイントであることを示す。図４を作成するのに用いた相互相関の方法は、便宜上、最大を１単位とするために、個別の標準偏差及びシーケンス長によって共分散を正規化することにより計算した共通ピアソン相関係数である点に留意されたい。ＶＳＣｏ及びＶＳＣｒの相互相関を実行する他の方法を用いて、最適な時間アライメントを見つけることができる。フレーム差方法を用いて生成した相互相関４０５は、３６０特許の方法を用いて生成した相互相関４００よりも幅が狭くサイド・ローブが低いので、時間分解能が改善される点に留意されたい。

ＶＳＣを発生するこれら両方の方法の利点は、プログラム・ビデオ信号は、大幅に圧縮可能で、ノイズが多くてもよく、回転でき、スケーリングでき、ストレッチでき、クロップでき、コントラスト／明るさを調整でき、又はグラフィック・オーバーレイでマスクできる。また、ＶＳＣｏ及びＶＳＣｒ相互相関は、宛先ポイントにて１フレーム未満に予め整列（アライメント）できる。

［オーディオ・シグネチャ曲線（ＡＳＣ）の発生］
図５は、上述のＡＶＤＣ１００型に用いるＡＳＣを発生する装置及び方法のブロック図を示す。オーディオ信号の左チャネルは、第１バンドパス・フィルタ（ＢＰＦ）５００により濾波される。次に、第１包絡線検出器５０５を用いて、濾波済み左チャネルの包絡線を検出する。同様に、オーディオ信号の右チャネルを第２バンドパス・フィルタ（ＢＰＦ）５１０で濾波する。第２包絡線検出器５１５を用いて、濾波済み右チャネルの包絡線を検出する。次に、加算器５２０により、左チャネルの包絡線及び右チャネルの包絡線を互いに加算する。この加算結果の和は、１０Ｈｚのロウパス・フィルタ（ＬＰＦ）５２５により濾波され、サンプラ５３０によりフレーム又はフィールドのレートでサンプリングされて、ＡＳＣを発生する。

図６は、図５で説明した装置及び方法を用いて、スピーチ６００及びこれから導出したＡＳＣ６０５の２つの２次ロング・サンプルを示す。ＡＳＣがＶＳＣと同じレート（フィールド又はフレーム）でサンプリングされる点に留意されたい。

［ＡＶ遅延の決定］
エージェントは、対応するＡＳＣ及びＶＳＣを生成するのと同じ順序の対としてこれらＡＳＣ及びＶＳＣを蓄積することにより、ＡＶプログラム用のオーディオ対ビデオ関係を設定する。一緒にサンプリングしたＡＶＳＣは、複素数と考えられる。ここで、実数部分は、一方の成分に対応し、虚数部分は、他方の成分に対応する。例えば、実数部分は、ＶＳＣフレーム・サンプルに対応し、虚数部分は、同時点のＡＳＣフレーム・サンプルに対応するか、又はその逆である。

図７は、測定ＡＶ遅延を計算する方法の流れ図である。マネージャーは、以下のように、ＡＳＣｏ、ＶＳＣｏ、ＡＳＣｒ及びＶＳＣｒを処理して、測定ＡＶ遅延を計算する。まず、ステップ７００において、マネージャーは、ＶＳＣｒとＶＳＣｏの相互相関により、受信したビデオ信号を分配したビデオ信号に整列されて（ビデオ対ビデオ）、その結果の最大値を探す。この最大値の位置が、適切な時間アライメントのポイントを示す。ビデオ・アライメントの結果は、ビデオ・アライメント・オフセット（上述の例では１３フレーム）である。次に、ステップ７０５において、マネージャーは、ＡＳＣｒとＡＳＣｏの相互相関により、受信したオーディオ信号を分配したオーディオ信号に整列させて（オーディオ対オーディオ）、その結果の最大値を見つける。この最大値の位置が、適切な時間アライメントのポイントを示す。オーディオ・アライメントの結果は、オーディオ・アライメント・オフセットである。最後に、ステップ７１０において、ビデオ・アライメント・オフセット及びオーディオ・アライメント・オフセットの間の差（正又は負）として、測定ＡＶ遅延を計算する。ビデオ対ビデオ・アライメントの前にオーディオ対オーディオ・アライメントを実行しても同様な結果が得られることが理解できよう。また、代わりに、オーディオ・アライメント・オフセット及びビデオ・アライメント・オフセットの間の差としてＡＶ遅延を計算して、負であるが同様な結果を得ることが理解できよう。いくつかの実施例において、正規化した相関係数を用いて、結果から受信利得エラーの影響及びオーディオ緩和影響を除去できる。ＡＶ遅延をフレーム数として計算するので、ＡＶ遅延測定の分解能は１フレームである。さらに、いくつかの実施例において、ＶＳＣｏ及びＶＳＣｒを補間して、サブ・フレーム分解能を得る。

［追加の実施例］
たった１つの宛先ポイントを有するものとしてディストリビューション・パス１００及び２００を示したが、ディストリビューション・パスは、多数のディストリビューション・ポイント（即ち、多数の出力）を有してもよい。これらの場合、システム（装置）は、各ディストリビューション・ポイントに配置された１つのエージェントを有し、これらエージェントの全てが単一のマネージャーに管理されてもよい。ディストリビューション・パスは、開始ポイント及び宛先ポイントの間のディストリビューション・パスに沿って１つ以上の中間ポイントを有してもよい。これらの場合、システムは、中間ポイントにてＡＶ遅延を測定し補正できるように、各中間ポイントに配置されたエージェントを有する。

いくつかの実施例において、エージェントは、ＡＶ対のＳＣにタイムスタンプを付し、これらを信号源（ソース）にてプログラムＩＤ名としてラベルを付して蓄積する。ストリーミング・メディアに対して、各表示ポイントにて発生したＳＣを蓄積してタイムスタンプを付すか、又は同様にＩＤラベルを付すことができる。

いくつかの実施例において、オーディオ包絡線及びフレーム差ＡＣエネルギーの両方がプリセットしきい値を超えない限り、ＡＳＣｏ及びＶＳＣｏが捕捉されない。このように、簡単に相互相関をとって時間アライメントを達成できるシグネチャのみを送る。（ＡＣエネルギーが小さいと、ビデオの動き又は破裂音のオーディオがないので、もはやリップ・シンクを調整する必要がない点に留意されたい。）

いくつかの実施例において、長期間（数分又は数時間）にわたってシグネチャ曲線にタイムスタンプを付し蓄積して、ディストリビューション・パスの遅延が非常に長くても相関を行えるようにする。

いくつかの実施例において、低い相関が生じた場合、調整的なＡＶ遅延補正を所定時間だけ休止するように設定し、所定プリセット値に戻すことができる。計算したＡＶ遅延も濾波して（中間値又は平均値）、これら値を用いてＡＶ値を補正する前に、スプリアス値を除去できる。

いくつかの実施例において、ＳＣにタイムスタンプを付す他に、資料ＩＤ用の他のメタデータをマネージャー又はエージェントに送ることができる。

ＳＣの相互相関を任意のオフセットに対して連続的に１に近づけないと、受信したオーディオ又はビデオが誤ったプログラムになるかもしれない。よって、いくつかの実施例において、セパレート・データ・パスを介して、内容識別及びプログラム再生確認を行い、モニタする。

いくつかの実施例において、マネージャーが、ＡＶ遅延測定及び補正値を遠隔でモニタし、遅延補正値を手動で無視できる。

いくつかの実施例において、ＳＮＭＰデータを認証用にコード化し、非公開として、未承認使用又は干渉を防止できる。

ここで説明したエージェント及びマネージャーは、プロセッサを有する。このプロセッサはハードディスク、ソフトウェア又はこれら２つの組合せにより実現でき、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、用途特定集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などで構成及び／又は実行できることが理解できよう。

本発明は、ビデオ試験測定機器の分野にて顕著な利点を有することが上述から理解できよう。説明のために本発明の特定実施例を図示し説明したが、本発明の要旨を逸脱することなく種々の変更を可能なことが理解できよう。

１００、２００ディストリビューション・パス
１０５エージェント（入力装置）
１１０エージェント
１１５、２１５セパレート・データ・パス
１２０マネージャー
２０５エージェント／マネージャー（入力装置）
２１０エージェント／マネージャー
３００、３０５ＶＳＣ
４００従来の方法を用いて求めたＶＳＣｏ及びＶＳＣｒの相互相関
４０５本発明によるフレーム差方法を用いて求めたＶＳＣｏ及びＶＳＣｒの相互相関
４１０最大値
５００、５１０バンドパス・フィルタ
５０５、５１５包絡線検出器
５２０加算器
５２５１０Ｈｚロウパス・フィルタ
６００スピーチ
６０５スピーチから導出したＡＳＣ

Claims

ディストリビューション・パスに沿ったポイントにて、オーディオ信号及びビデオ信号を有するオーディオ／ビデオ（ＡＶ）プログラムを受ける入力装置と、
上記オーディオ信号を処理してオーディオ・シグネチャ曲線を発生すると共に、上記ビデオ信号を処理してビデオ・シグネチャ曲線を発生するプロセッサとを具え、
上記プロセッサが、
上記オーディオ信号の左チャネルを濾波して濾波済み左チャネルを発生させる第１バンドパス・フィルタと、
上記濾波済み左チャネルの包絡線を検出する第１包絡線検出器と、
上記オーディオ信号の右チャネルを濾波して濾波済み右チャネルを発生させる第２バンドパス・フィルタと、
上記濾波済み右チャネルの包絡線を検出する第２包絡線検出器と、
上記濾波済み左チャネルの包絡線及び上記濾波済み右チャネルの包絡線を加算して加算結果を発生させる加算器と、
上記加算結果を濾波して濾波済み加算結果を発生させるロウパス・フィルタと、
上記フレーム又はフィールドのレートで上記濾波済み加算結果をサンプリングして上記オーディオ・シグネチャ曲線を発生させるサンプラと、
上記ビデオ信号の隣接フレーム差の共分散に基づいて上記ビデオ・シグネチャ曲線の各ポイントを発生させる手段と
を具えるシグネチャ曲線発生装置。
ディストリビューション・パスに沿ったポイントにて、オーディオ信号及びビデオ信号を有するオーディオ／ビデオ（ＡＶ）プログラムを受けるステップと、
上記オーディオ信号に基づいてオーディオ・シグネチャ曲線を発生すると共に、上記ビデオ信号に基づいてビデオ・シグネチャ曲線を発生するステップとを具え、
上記オーディオ・シグネチャ曲線を、
上記オーディオ信号の左チャネルを濾波して濾波済み左チャネルを発生させる処理と、
上記濾波済み左チャネルの包絡線を検出する処理と、
上記オーディオ信号の右チャネルを濾波して濾波済み右チャネルを発生させる処理と、
上記濾波済み左チャネルの包絡線及び上記濾波済み右チャネルの包絡線を加算して加算結果を発生させる処理と、
上記加算結果を濾波して濾波済み加算結果を発生させる処理と、
上記フレーム又はフィールドのレートで上記濾波済み加算結果をサンプリングして上記オーディオ・シグネチャ曲線を発生させる処理とによって発生させ、
上記ビデオ・シグネチャ曲線の各ポイントを、上記ビデオ信号の隣接フレーム差の共分散に基づいて発生させることを特徴とするシグネチャ曲線発生方法。