JP4456004B2 - メディア・サービスの再生自動同期化方法および装置 - Google Patents

Description

一般に、本発明は、ユーザに提供されるメディア・サービス（オーディオおよび／またはビデオ）に関し、特に、メディア・サービス内に埋め込まれるタイム・マーカ（ｔｉｍｅ ｍａｒｋｅｒ：時間標識）に関りなく、オーディオ／ビデオをベースとするメディア・サービスを再生（ｐｌａｙｂａｃｋ：プレイバック）する際の同期化に関する。

同一のメディア・コンテンツ（例えば、スポーツ・イベント）を提供する複数の異なるメディア・サービスが利用できるので、マルチメディアの利用者は、１つのオーサリング・ソース（ａｕｔｈｏｒｉｎｇ ｓｏｕｒｃｅ）からのビデオ（ｖｉｄｅｏ：映像）をベースとするメディア・サービスを、第２のオーサリング・ソースからのオーディオ（ａｕｄｉｏ：音声）をベースとするメディア・サービスを聴きながら、見たいと思うこともある。ビデオをベースとするメディア・サービスは、スポーツ・イベントを全国的にテレビジョン放送し、オーディオをベースとするメディア・サービスは、同じスポーツ・イベントをローカルにラジオ放送する。各メディア・サービスの放送のタイムライン（ｔｉｍｅｌｉｎｅ）に相違があるので（メディア・サービスの放送または制作において生じる遅延に相違があるため）、両方のメディア・サービスの再生の間に遅延が感じられることがある。

「リップシンク」（ｌｉｐ‐ｓｙｎｃｈｉｎｇ：音声と口の動きの同期）は、同様な同期化問題から生じる効果であるが、同一のオーサリング・ソース／コンテンツ・ソースからのメディア・サービスの再生に関る効果である。従来の解決法では、メディア・コンテンツ（アナログまたはディジタル）を表すオーディオ／ビデオのメディア・サービスの中に情報を挿入し、タイム・マーカ（ｔｉｍｅ ｍａｒｋｅｒ：時間標識）を供給して、提供するメディア・サービスを整合させる。次に、特殊な受信装置が、供給されるタイム・マーカに基づき、オーディオ／ビデオのメディア・サービスを同期させ、リップシンク効果を最少限度に抑える。しかしながら、多くのメディア・サービスは、リップシンク効果を減じるために利用できるタイム・マーカを具えていない。

従って、同一のまたは異なるオーサリング・ソースからのメディア・サービス（例えば、放送および／またはストリーミング）を同期させる方法および装置を具え、そのような方法と装置が、タイム・マーカ（および供給されるタイム・マーカを処理する特殊な装置）に頼らないようにすれば有利となる。

（発明の概要）
本発明の態様により、対応するメディア・コンテンツは同じであるが、オーサリング・ソースの異なるビデオ・メディア・サービスとオーディオ・メディア・サービスとの間で再生を自動的に同期させる方法が得られる。ビデオ・メディア・サービスとオーディオ・メディア・サービスに対応する音声波形に共通の特性が整合（ｍａｔｃｈ：調整、調和）される。この整合ステップの結果に基づき、ビデオ・メディア・サービスとオーディオ・メディア・サービスのうち少なくとも１つの再生（ｐｌｙａｂａｃｋ：プレイバック）のタイミングが調節され、ビデオ・メディア・サービスとオーディオ・メディア・サービスとの間で再生を自動的に同期させる。

本発明の別の態様により、メディア・コンテンツは同じであるが、オーサリング・ソースの異なるビデオ・メディア・サービスとオーディオ・メディア・サービス間で再生を自動的に同期させる装置が得られる。音声整合装置は、ビデオ・メディア・サービスとオーディオ・メディア・サービスにそれぞれ対応する音声波形に共通の音声特性を整合させる。可変遅延装置は、音声整合装置の出力に基づき、ビデオ・メディア・サービスとオーディオ・メディア・サービスの少なくとも１つの再生タイミングを調節して、ビデオ・メディア・サービスとオーディオ・メディア・サービスとの間で再生を自動的に同期させる。

本発明のこれらのおよびその他の態様、特徴および利点は、図面に関連して読まれる好ましい実施例についての以下の詳細な説明から明白となる。

本発明は、埋め込まれるタイム・マーカに関りなく、異なるオーサリング・ソース（例えば、放送されるメディア、ストリームされるメディア、など）からのメディア・サービスを同期させる方法と装置に関する。また、本発明は、同一のオーサリング・ソースからの２つのメディア・サービスの場合、放送されるコンテンツのみ、またはストリーミング・コンテンツのみ、を同期させるのにも容易に利用できる。更に、当業者により容易に確認されるように、本発明は他のタイプのメディア・サービスを同期させるのにも使用できる。好ましい実施例で、本発明はテレビジョン放送からのビデオ・メディア・サービスと衛星音声放送からのオーディオ・メディア・サービス（両メディア・サービスは同一のメディア・コンテンツから得られる）とを同期させるのにも使用できる。

本明細書中で使用する、「メディア・サービス（ｍｅｄｉａ ｓｅｒｖｉｃｅ）」という用語には、オーディオ、ビデオ、テキスト（文字）、放送番組、マルチメディア・データ・ファイル、およびストリーミング・メディアが含まれる。オーディオをベースとするメディア・サービスは、それに対応するオーディオ信号を有し、ビデオをベースとするメディア・サービスは、それに対応するビデオ信号を有する。放送される番組は、ラジオ、テレビジョン受信機、または放送されるメディアを受信できる他のタイプの装置により提供できるサービスから成る。このようなサービスは典型的に、放送波によりテレビ局またはラジオ局から放送され、ケーブル、衛星、アンテナ、およびラジオ／テレビジョン番組を配信できる他の通信メディアに接続して受信される。番組は、リアルワン（ＲｅａｌＯｎｅ（米国における登録商標））またはマイクロソフト社のメディア・プレーヤ（Ｍｉｃｒｏｓｏｆｔ Ｍｅｄｉａ Ｐｌａｙｅｒ（米国における登録商標））のような、メディア・ブラウザまたはプレーヤとして知られるプログラムによりメディア・サービスを提供するインターネットのような通信ネットワークでも送信される。

マルチメディア・ファイルは、テキスト、イメージ、ビデオ、およびオーディオ・データを組み合わせて構成される。ビデオ・データまたはオーディオ・データのみから成るファイルも、マルチメディア・ファイルと定義される。ストリーミング・メディアは、オーディオ、ビデオ、マルチメディア、テキスト、および双方向のデータ・ファイルから成り、ファイル全体の配信が完了する前に、利用者のコンピュータで再生するインターネットまたは他の通信ネットワーク環境を介して利用者のコンピュータに配信される。ストリーミング・メディアの１つの利点は、ストリーミング・メディアのファイルは、ファイル全体がダウンロードされる前に再生し始めるので、利用者はファイル全体をダウンロードする際のように長時間待たずに済む。ディジタル記録された音楽、映画、プレビュー（予告編）、ニュース、ラジオ放送、およびライブ・イベントは全て、利用できるストリーミング・コンテンツの増大に貢献している。

ストリーミング・メディアは、種々のフォーマットで、例えば、ＲｅａｌＡｕｄｉｏ（登録商標）、ＲｅａｌＶｉｄｅｏ（登録商標）、ＲｅａｌＭｅｄｉａ（米国における登録商標）、Ａｐｐｌｅ ＱｕｉｃｋＴｉｍｅ（登録商標）、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標） Ｍｅｄｉａ Ｆｏｒｍａｔ、ＱｕｉｃｋＴｉｍｅ（登録商標）、ＭＰＥＧ‐２ Ｌａｙｅｒ ＩＩＩ Ａｕｄｉｏ、ＭＰ３（米国における登録商標）などでエンコードされる。典型的に、メディア・ファイルは、特定のフォオーマットとの互換性を表示する拡張子（接尾辞）で指定される。例えば、拡張子ｒａｍ、ｒｍ、ｒｐｍのうち１つで終わるメディア・ファイル（オーディオ／ビデオ・ファイル）は、ＲｅａｌＭｅｄｉａフォーマットと互換性がある。ファイルの拡張子およびそれと互換性のあるフォーマットの幾つかを以下の表に掲載する。メディアのタイプ、拡張子、および互換性のフォーマットを掲載する、もっと包括的なリストは、例えば、 ｈｔｔｐ：／／ｗｗｗ．ｂｏｗｅｒｓ．ｃｃ／ｅｘｔｅｎｓｉｏｎｓ２．ｈｔｍ に掲載されている。

「オーサリング・ソース（ａｕｔｈｏｒｉｎｇ ｓｏｕｒｃｅ）」とは、メディア・サービスを制作（ｃｒｅａｔｅ：クリエート）したソース（ｓｏｕｒｃｅ：源）を指す。放送局（ブロードキャスタ）により制作されるメディア・サービスは、放送をベースとするオーサリング・ソースを有する。これは、メディア・サービスが、放送波、衛星、ケーブルなどで送信するために、放送センター（テレビ局またはラジオ局）により制作されたことを意味する。同様に、ストリームされるメディア・サービスは、ストリーミングをベースとするオーサリング・ソースを有する。ストリーム化（ストリームされた）メディア・サービスも、放送波、衛星、ケーブル、またはインターネットで受信されるが、一般に、ストリーム化ファイルは、ストリーミング・メディア・プレーヤで再生される。本発明の原理により、テレビジョン受信機、コンピュータなどの再生装置は、適正なソフトウェア／ハードウェアを使用し、放送で制作されたメディア・サービスとストリーム化メディア・サービスの両方を受信できる性能を有する。メディア・サービスのソースは、メディア・サービスの再生を制限しない。オーサリング・ソースは、放送局、ロケーション、およびメディア・サービスの送信に使用するフォーマットにより分類される。例えば、放送をベースとするオーサリング・ソースには、放送されるテレビジョン番組であるメディア・サービスのためのＡＢＣ、ＮＢＣ、ＦＯＸ、ＣＢＳ、およびＵＰＮが含まれる。

メディア・コンテンツは、メディア・サービスが得られる内容を指す。メディア・コンテンツの例として、歌、政治演説、ニュース放送、映画の予告編、生放送、ラジオ放送、金融会議の召集、ライブ・コンサート、スポーツ・イベント、映画、テレビジョン、ケーブル番組、ウェブ・カメラ映像、などが含まれる。一般に、同一のメディア・コンテンツのソースから、幾つかの異なるメディア・サービスが得られる。例えば、大学のフットボール試合は、全国放送されるテレビジョン番組を提供するオーディオ／ビデオ・メディア・サービスを有する。この大学フットボール試合は、大学用のパブリック・アクセス・チャンネルに対応するオーディオ／ビデオ・メディア・サービスとしても送信される。メディア・オーサリング・ソースが同じであっても、全国放送とパブリック・アクセス・チャンネルからのメディア・サービスは異なる。本発明の原理と一致する、メディア・コンテンツの他の例も使用できる。

本発明は、種々の形態のハードウェア、ソフトウェア、ファームウェア、特殊目的のプロセッサで、またはそれらを組み合わせて、実施することができる。本発明は、ハードウェアとソフトウェアの組合せとして実施するのが好ましい。ソフトウェアは、プログラム記憶装置で具体化されるアプリケーション・プログラムとして実施されるのが好ましい。アプリケーション・プログラムは、適当なアーキテクチャから成るコンピュータにアップロードされ、コンピュータで実行される。コンピュータは、１つまたは複数の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）、および入力／出力（Ｉ／Ｏ）インタフェースのようなコンピュータ・プラットフォーム上で実施されるのが好ましい。コンピュータ・プラットフォームには、オペレーティング・システム（ＯＳ）とマイクロ命令コードが含まれる。本明細書中で述べる種々のプロセスおよび機能は、マイクロ命令コードの一部であるか、アプリケーション・プログラムの一部（またはその組合せ）であり、オペレーティング・システムにより実行される。付加的データ記憶装置およびプリンタのような、他の種々の周辺装置がコンピュータ・プラットフォームに接続される。

添付の図面に示すシステムの構成要素および方法のステップは、ソフトウェアで実施されるのが好ましく、システムの構成要素間の実際の接続（或いはプロセスのステップ）は、本発明がプログラムされる仕方に依り異なる。本明細書中の開示を与えられて、当技術分野における通常の当業者は、本発明のこれらのおよび同様な実施または構成を考えることができる。

図１は、本発明の実施例による、メディア・サービスの自動同期化を実行するコンピュータ処理システム１００を示すブロック図である。コンピュータ処理システム１００（またはその要素）は、放送オーサリング・ソース２００（図２）およびストリーミング・オーサリング・ソース２５０（図２）内にすでに存在するか、または本発明に従い追加される。本明細書中でコンピュータ処理システム１００は、音声整合（ｓｏｕｎｄ‐ｍａｔｃｈｉｎｇ：サウンド・マッチング、音声同期）装置とも称される。

コンピュータ処理システム１００は、システム・バス１０４を介して他の構成要素に結合される少なくとも１つのプロセッサ（ＣＰＵ）１０２を具える。ランダム・アクセス・メモリ（ＲＡＭ）１０８、読出し専用メモリ（ＲＯＭ）１９９、ディスプレイ・アダプタ１１０、Ｉ／Ｏアダプタ１１２、およびユーザ・インタフェース・アダプタ１１４は、システム・バス１０４に結合される。

表示装置（ディスプレイ）１１６は、ディスプレイ・アダプタ１１０を介してシステム・バス１０４に結合される。記憶装置（磁気的、光学的などの）１１８は、Ｉ／Ｏアダプタ１１２によりシステム・バス１０４に結合される。

入力装置１２０は、ユーザ・インタフェース・アダプタ１１４により、システム・バス１０４に結合される。入力装置１２０は、情報をシステム１００に入力／出力するために使用され、キーボード、キーパッド、マウス、スイッチ、ボタンなどを具える。

デコーダ１３０は、システム・バス１０４に結合される。デコーダ１３０は、処理（同期化）のための入力信号、例えば、放送信号およびストリーミング信号を受信する。デコーダ１３０は、アナログ・ディジタル（ＡＤ）変換およびディジタル・アナログ（ＤＡ）変換などの機能を実行する。当業者により容易に確認されるように、他の機能もデコーダ１３０により実行される。当業者に知られているように、コンピュータ処理システム１００の代りに、ディジタル・サウンド・プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｏｕｎｄ Ｐｒｏｃｅｓｓｏｒ：ディジタル音声処理装置）も使用される。

図２は、本発明の実施例による、放送をベースとするオーサリング・ソース２００、およびストリーミングをベースとするオーサリング・ソース２５０を示すブロック図である。放送オーサリング・ソース２００は、放送局２０５とテレビジョン受信機２１０を具える。ストリーミング・オーサリング・ソース２５０は、オーディオ・システム２５５とモデム２６０を具え、モデム２６０は、インターネット・サービス・プロバイダ（ＩＳＰ）２６５に接続され、ＩＳＰ２６５は、インターネット２７０に接続される。本明細書中で、テレビジョン受信機２１０とオーディオ・システム２５５は、「出力装置（ｏｕｔｐｕｔ ｄｅｖｉｃｅ）」とも称される。

各システムはそれに関連するユーザ制御手段を有する。一般に、リモコンは、オンスクリーン・インタフェースと共に、ビデオ出力装置（テレビジョン受信機２１０）に関連し、キーボードは、ディスプレイおよびリモコンと共に、オーディオ出力装置（オーディオ・システム２５５）に関連する。

本発明は、前述した放送オーサリング・ソース／ストリーミング・オーサリング・ソースの厳密な構成に限定されず、他のシステム構成も本発明に従い使用できる。当業者に明白のように、本発明に使用される放送オーサリング／ストリーミング・オーサリング・ソースは、受信機、デコーダ、および出力装置を具え、受信機は、コンテンツを受信する。デコーダは、コンテンツを復号化し、出力装置は、復号化されたコンテンツを利用者に提供する。複数の異なるタイプのコンテンツ、例えば、放送コンテンツ／ストリーミング（例えば、ＩＰ）コンテンツを受信し、復号化し出力することのできる単一のシステムを具えることもできる。複合化されたシステムの一例は、インターネット・テレビジョン装置である。

本発明の実施例によれば、利用者は、テレビジョンで放送されるスポーツ・イベントを見ながら、生（ライブ）のインターネット・ストリーミング放送でそのイベントの解説を聴いている。放送されるスポーツ・イベントは、メディア・コンテンツを表す。テレビジョン放送されるそのスポーツ・イベントは、ビデオ・メディア・サービスを表し、放送オーサリング・ソースは、それに対応するテレビジョン放送の音声を表す音声波形を有する。インターネットからの音声解説は、ストリーム化（ストリームされた）オーサリング・ソースからのオーディオをベースとするメディア・サービスである。

この両メディア・サービスの送信と処理における遅延により、視聴に混乱を生じないようにするため、この２つのメディア・サービスの同期を調節する必要がある。満足のいく整合（同期）を得るために、利用者はこの２つの番組の相対的タイミングを調節する。調節は、利用者が手動で、自動的に、或いは手動と自動を組み合わせて、実行できる。組合せの場合、本発明を使用して、利用者に自動同期の結果を微調整させながら、メディア・サービスの自動同期化を実行することができる。メディア・サービスが変更されるまで、システム／装置は、決定された遅延を維持する。

図３は、本発明の実施例による、メディア・サービスを同期させる同期化装置３００を示すブロック図である。同期化装置３００は、利用者および／または自動制御に応答する調節可能な遅延ライン３０５を具える。自動制御は、図１に示すコンピュータ処理システム１００で行われる。本発明の実施例において、自動制御を使用しなければ、コンピュータ処理装置は同期化装置３００から省かれる。本明細書中で与えられる開示により、当業者は同期化装置３００のこれらのおよび他の種々の構成を考えることができる。

調節可能な遅延ライン（ｄｅｌａｙ ｌｉｎｅ：ディレイ・ライン）３０５は、放送オーサリング・ソース２００およびストリーミング・オーサリング・ソース２５０の何れか一方に、または両方に挿入される。遅延ライン３０５は、ゼロから数秒（またはそれ以上）の遅延を挿入することができる。バッファがすでに使用されているオーサリング・ソースにおいては、コンテンツの適正な期間にわたりバッファのサイズが増大され、且つ遅延を調節するような機構が追加される。

利用者および／または自動制御は、相対的遅延を増大または減少させることができる。
本発明は、各遅延ラインについて個別的制御、または一方の遅延ラインを増すと同時に、他方の遅延を減じる制御を行うこともできる。

本発明の実施例による、手動でのユーザ制御について更に説明する。本発明の１つの実施例で、利用者（ユーザ）は、各出力装置（例えば、テレビジョン受信機２１０およびオーディオ・システム２５５）の出力の遅延を調節するために、制御装置を与えられる。制御装置を手動で調整することにより、利用者は複数のメディア・サービス間で満足のゆく同期を達成できる。本例では、両出力装置に遅延が存在するとして説明されるが、本発明の他の実施例では、遅延制御はどの装置にも行われる。本発明の別の実施例で、放送源（ソース）からのメディア・サービスとストリーミング源（例えば、インターネット・テレビジョン）からのメディア・サービスを受信できる装置の場合、利用者は、一方のメディア・サービスを進ませると同時に、他方のメディア・サービスを遅らせる。ユーザ制御は、制御範囲（メディア・サービスＡの最大前進、メディア・サービスＢの最大遅延）〜（メディア・サービスＡの最大遅延、メディア・サービスＢの最大前進）を有する。本発明は、手動によるユーザ制御に関し前述した実施例に限定されず、従って、本発明の技術思想と範囲を維持しながら、他の実施例も本発明に従って容易に使用される。

本発明の実施例により、自動的ユーザ制御（自動制御装置）について更に説明する。本発明の１つの実施例である、両タイプのコンテンツ（放送されるコンテンツおよびストリーミング・コンテンツ）を受信するシステムにおいて、利用者は同期化装置を起動させる。この場合、ユーザ制御は「同期させる／デフォルトに戻る」ボタンである。「同期させる／デフォルトに戻る」ボタンが起動されると、自動同期化装置はコンテンツを同期させる。もちろん、当技術の通常の当業者に容易に考えられるように、他の構成も可能である。

自動同期化は、以下に述べるように、ノイズ（雑音）エンベロープ・マッチング（ｎｏｉｓｅ ｅｎｖｅｌｏｐｅ ｍａｔｃｈｉｎｇ：雑音包絡線整合）、音声指紋マッチング、（ａｕｄｉｏ ｆｉｎｇｅｒｐｒｉｎｔ ｍａｔｃｈｉｎｇ）および埋め込まれたメタ・データ・タグ、などをベースとするが、これらに限定されない。

雑音エンベロープのマッチング方法で、オーディオをベースとするメディア・サービスの音声波形の処理された雑音エンベロープ全体が整合される。操作理論の中心は、ディジタル処理技術により、各波形において異なる音声特性を整合することである。例えば、イベントの各音声ストリーム（以下、「音声ストリーム」とは、メディア・サービスの音声、またはメディア・サービスに対応する音声波形、を指す）における群集雑音（ｃｒｏｗｄ ｎｏｉｓｅ）は、同期を得るために使用される。両ストリームにおいて広帯域の背景音声特性が分析される。音声ストリーム間の相対的遅延を決定するために、時間領域で関連付けプロセスが実行される。遅延が決定された後、オーディオ／ビデオのプレゼンテーションが調節される。

音声特性は、音声波形の物理的属性（例えば、周波数、利得、波形の振幅、利得など）を定めるために使用されるオーディオ・パラメータと定義される。当業者はオーディオ・メディア・サービスのマッチングのために分析すべき音声波形の音声特性を定めるために１つまたは複数の基準を選択できる。これらの波形は、ディジタル信号処理技術を使用して音声特性を更に決定するためにフィルタ（濾波）される。

大学のバスケットボールの試合について、以下の実例を考える。図４は、放送されるテレビジョン番組の音声ストリーム４００と、オーディオ・メディア・サービスのストリーミング音声ストリーム４５０（何れも同一番組に対応する）のエネルギ・スペクトルを示すグラフである。放送される音声４００およびストリーミング音声４５０（図４）の同期後のエネルギ・スペクトルを、水平軸が時間を表し垂直軸が振幅を表すグラフ（図５）に示す。

視聴者は、このバスケットボールの試合をラジオの放送で（オーディオ・メディア・サービス４５０として）聴くことを選択するかも知れない。主音声の音声スペクトルの内容は、相違する。各アナウンサは、半ば無作為に種々のイベントについて解説する。これらの放送の間に共通の情報は背景の雑音であり、これは、音声波形（観衆の雑音を表す）の振幅の鋭い変化によりアナウンサと区別される。両方のアナウンサが、同一のイベント（メディア・コンテンツ）に居合わせていると想定して、背景の観衆雑音の相対的出力は、イベントが観衆の反応を引き起こすと、時間の経過につれ変動する。各音声波形における観衆の反応を比較するために、タイム・ウィンドウ（ｔｉｍｅ ｗｉｎｄｏｗ：時間窓）が選択される。このタイム・ウィンドウの選択は、音声ストリームとオーディオ・メディア・サービスから音声波形をサンプリングするために使用される、予測される最悪ケースの遅延差に基づく。時間に関するスペクトルの出力密度曲線（ｐｏｗｅｒ ｄｅｎｓｉｔｙ ｃｕｒｖｅ）が、音声波形のサンプリングから発生される。スペクトルの出力密度曲線は、サンプリング・システムの処理負荷に依存し、できるだけ頻繁に発生されるのが好ましい。しかしながら、このような発生は、最大限度よりも少ない、所定の回数または他の回数でも行われる。

この２つの音声波形のスペクトルのエネルギは、振幅は異なるが形状および相対的エネルギは似通っている（同様な音声エンベロープを有する）。本実施例で、ピーク部は観衆の歓声４９９のような、ピンク・ノイズ（ｐｉｎｋ ｎｏｉｓｅ）イベントであり、放送の音声４００は、ストリーム化オーディオ・メディア・サービスのストリーミング音声４５０より遅れる。この解決策は、２つのスペクトル・チャート間の相関誤差が一定のサンプリング・ウィンドウにわたり最少限度になるまで、ストリーミング音声４５０を遅延させることである。

埋め込まれたメタ・データ・タグ（ｍｅｔａ ｄａｔａ ｔａｇ）を有するストリームの場合、これらのタグ内の情報は、同期を達成するために使用される。例えば、２つのメディア・サービスがその中に埋め込まれたイベント・コード（ｅｖｅｎｔ ｃｏｄｅ：事象コード）を有するなら（ＤＶＤの場合、チャプタ・ブレイクが使用されるが、これは、当業者により容易に確認されるように、多くのイベント・コードのうちの１つのタイプにすぎない）、そのようなメタ・データは、抽出されて、同期を達成するために遅延ラインの調節に使用される。もしメディア・サービスがその中に埋め込まれたタイム・コード（ｔｉｍｅ ｃｏｄｅ：時間コード）を有するならば、そのタイム・コード情報は（メタ・データとして）抽出され、同期を達成するために遅延ラインの調節に使用される。

自動同期化の別の例として、音声波形における既知のサウンド（スタジアムの「チャージ（突撃）」サウンド、得点サウンド、応援歌、など）の音声指紋が、メディア・サービス、ストリームなどの調整に使用される。入来する音声波形が「指紋」のデータベースと絶えず整合される。このような指紋のデータベースは、例えば、記憶装置１１８の中に収められる。入来するストリームと、音声指紋データベース内に記憶された音声指紋との整合が認定されると、タグがバッファ（または他のメモリ装置）の中に挿入され、そのタグが識別される。タグに基づき２つのメディア・サービスの間で関連付け機能が実行され、同期化が得られる。同期化は相関誤差の最小化により生じたものと考えられる。前述の事項が自動的に行われている間、利用者は、自動同期化を手動で微調整することが許される。音声指紋は音声指紋データベースから容易に削除されまたは追加される。これに代り、各メディア・サービスに対応する音声における、指紋採取されたサウンド間の時間の長さが測定され、次にメディア・サービスのうちの１つの再生が、計算された時間長だけ遅延される。

図６の流れ図は、対応する番組は同一であるが、オーサリング・ソースの異なる第１のメディア・サービスと第２のメディア・サービスとの間で再生を同期させる方法を例示する。第１のメディア・サービスと第２のメディア・サービスには、放送のコンテンツ、ストリーミング・コンテンツ、その組合せ、および本発明による同期化を利用できる他のタイプのコンテンツが含まれる。

第１のメディア・サービスと第２のメディア・サービスにおいて共通のオーディオ・イベント（特性）が、整合される（ステップ６１０）。

この整合（マッチング）ステップの結果に基づいて、第１のメディア・サービスおよび／または第２のメディア・サービスの再生タイミングが調節されて、第１のメディア・サービスと第２のメディア・サービスとの間で再生を自動的に同期させる（ステップ６２０）。

第１のメディア・サービスおよび／または第２のメディア・サービスの再生タイミングは、ユーザ入力に基づいて更に調節される（ステップ６３０）。ユーザ入力は、第１のメディア・サービスおよび／または第２のメディア・サービスの再生タイミングの中に挿入された遅延を増大または減少させる。

ステップ６１０には、ステップ６１０ａ、６１０ｂ、および６１０ｃが含まれる。

ステップ６１０ａで、雑音エンベロープ・マッチングに基づき整合が行われる。ステップ６１０ａには、ステップ６１０ａ１〜６１０ａ４が含まれる。ステップ６１０ａ１で、第１のメディア・サービスと第２のメディア・サービスをサンプリングするためにタイム・ウィンドウが選択される。この選択は、第１のメディア・サービスと第２のメディア・サービスとの間で予測される最悪ケースの遅延差に基づく。ステップ６１０ａ２で、第１のメディア・サービスと第２のメディア・サービスについてスペクトルの出力密度曲線が発生される。ステップ６１０ａ３で、スペクトルの出力密度曲線に生じる背景のオーディオ・イベントが、第１のメディア・サービスと第２のメディア・サービスについて関連付けられる。ステップ６１０ａ４で、第１のメディア・サービスと第２のメディア・サービスに対応するスペクトルの出力密度曲線間の相関誤差が最少限度に抑えられる。

ステップ６１０ｂで、第１のメディア・サービスと第２のメディア・サービス内に埋め込まれているメタ・データ・タグ内に埋め込まれたイベント・コードに基づき、マッチング（整合）が実行される。ステップ６１０ｂには、ステップ６１０ｂ１〜６１０ｂ２が含まれる。ステップ６１０ｂ１で、第１のメディア・サービスと第２のメディア・サービス内でメタ・データ・タグが識別され、イベント・コードがメタ・データ・タグ内で識別される。ステップ６１０ｂ２で、イベント・コードが関連付けられる。

ステップ６１０ｃで、既知のサウンドの音声指紋に基づきマッチングが実行される。ステップ６１０ｃにステップ６１０ｃ１〜６１０ｃ２が含まれる。ステップ６１０ｃ１で、既知のサウンドの音声指紋（音声指紋のデータベース内に記憶される）が、第１のメディア・サービスと第２のメディア・サービス内のサウンド（音声）と比較される。ステップ６１０ｃ２で、音声指紋に一致し、且つ第１のメディア・サービスと第２のメディア・サービスに生じるサウンドが関連付けられる。

本発明の別の実施例として、メディア・サービスに対応する音声波形を使用し、ビデオをベースとするメディア・サービスに対応する音声波形に対しオーディオ・メディア・サービス（２つのメディア・サービスはコンテンツ・ソースが同じである）を整合させる。上述したプロセスにより、ビデオをベースとするメディア・サービスはオーディオをべースとするメディア・サービスと同期される。

本発明の種々の実施例による、種々の実施シナリオについて説明する。

ＡＴＳＣ／ＤＢＳ受信機で、ＭＰＥＧバッファを可変サイズにすることにより、遅延ラインが実施される。ユーザ制御は、リモコン上で、一対のボタンとして、或いはロッカ・ボタン（ｒｏｃｋｅｒ ｂｕｔｔｏｎ）として、実施される。遅延の相対的設定の視覚表示は、画面上（オンスクリーン）のグラフィック表示または英数字表示として現れる。ユーザは、一方のボタンを押すことにより遅延を増し、他方のボタンを押すことにより遅延を減じる。画面上のグラフィック表示は、挿入された遅延量により増加または減少する棒グラフである。

インターネットのストリーミング音声受信機では、オーディオ・バッファを可変サイズにすることにより、遅延ラインが実施される。ユーザ制御（制御装置）は、ユニット制御パネルまたはリモコン上で付加的コントロールとして実施される。遅延の相対的設定は、ディスプレイ上でグラッフィクまたは英数字として視覚表示される。

ＡＴＳＣ／ＤＢＳ／ブラウザ（Ｂｒｏｗｓｅｒ）が、可能なテレビジョン受信機（ストリーミング・コンテンツをブラウザで受信できる性能を有する）で、ＭＰＥＧバッファを可変サイズにするか、またはストリーミング音声バッファを可変サイズにするか、または両バッファを可変サイズにすることにより、調節可能な遅延ラインが実施される。システム内に遅延ラインが１つだけある場合、ユーザ制御はその遅延の長さを制御するが、遅延ラインが２つある場合、一方の遅延を増大させ、他方の遅延を減少させる。何れのシナリオにおいても、ユーザ制御は、リモコン上の２つのボタンまたは１つのロッカ・ボタンで実施され、画面上のグラッフィクまたは英数字がその２つのプログラム（番組）間の相対的遅延を表示する。

添付されている図面に関して実施例を説明したが、本発明はこれらの実施例に限定されず、且つ本発明の範囲または技術思想から離れることなく、種々の変更および変形が当該技術分野の通常の技術者（当業者）により行われることが理解されるべきである。そのような変更と修正は、請求項で規定する本発明の範囲内に含められる意図のものである

本発明の実施例による、メディア・サービスの自動同期化を実行するためのコンピュータ処理システム１００を示すブロック図である。 本発明の実施例による、放送をベースとするオーサリング・ソース２００およびストリーミングをベースとするコンテンツ・オーサリング・ソース２５０を示すブロック図である。 本発明の実施例による、同一メディア・コンテンツの複数のメディア・サービスを同期させる同期化装置３００を示すブロック図である。 本発明の実施例による、放送音声ストリーム４００とストリーミング音声ストリーム４５０（何れも同じメディア・コンテンツに対応する）のエネルギ・スペクトルを示すグラフである。 本発明の実施例による、同期後の放送音声ストリーム５００とストリーミング音声ストリーム５５０のエネルギ・スペクトルを示すグラフである。 本発明の実施例による、対応するメディア・コンテンツは同じであるがオーサリング・ソースの異なるビデオ・メディア・サービスとオーディオ・メディア・サービスとの間で再生を同期させる方法を示す流れ図である。

Claims (24)

1. 同一のメディア・コンテンツに対応する、第１のメディア・サービスと第２のメディア・サービスとの間で再生を自動的に同期させる方法であって、
   前記第１のメディア・サービスの音声波形における音声特性を、前記第２のメディア・サービスに対応する音声波形において対応する音声特性に、整合させるステップであって、第１および第２のメディア・サービスは異なるソースからオーサー（authored）され、前記音声波形の両方に共通する特性を識別するために、前記整合させるステップは、雑音包絡線整合、スペクトルの出力密度曲線整合、メタ・データ・タグに埋め込まれた整合イベント・コード、および既知のサウンドの音声指紋を含むグループから選択される、ステップと、
   前記第１のメディア・サービスと、前記第２のメディア・サービスの再生を、自動的に同期させるために、前記整合させるステップの結果に基づき、前記第１のメディア・サービスと前記第２のメディア・サービスのうち少なくとも１つの再生タイミングを調節して、他方のメディア・サービスからの音声の代わりに用いるメディア・サービスからの音声を同期化することを可能にしたステップと、
   から成る、前記再生を自動的に同期させる方法。
2. 前記整合させるステップで、雑音エンベロープのマッチングを使用し、前記第１のメディア・サービスの音声波形と前記第２のメディア・サービスの音声波形に共通の音声特性を整合させる、請求項１記載の再生を自動的に同期させる方法。
3. 前記整合させるステップで、既知のサウンドの音声指紋を使用し、前記第１のメディア・サービスの音声波形と前記第２のメディア・サービスの音声波形に共通の音声特性を整合させる、請求項１記載の再生を自動的に同期させる方法。
4. 前記既知のサウンドが、スタジアムでのチャージ・サウンド、得点サウンドおよび歌のうち少なくとも１つから成る、請求項３記載の再生を自動的に同期させる方法。
5. 前記整合させるステップが、前記第１のメディア・サービスと前記第２のメディア・サービスとの間で予側される最悪の場合の遅延差に基づき、前記第１のメディア・サービスの音声波形および前記第２のメディア・サービスに対応する音声波形をサンプリングするためにタイム・ウィンドウを選択するステップから成る、請求項１記載の再生を自動的に同期させる方法。
6. 前記整合させるステップが、前記第１のメディア・サービスの音声波形と前記第２のメディア・サービスの音声波形についてスペクトルの出力密度曲線を発生するステップを含む、請求項１記載の再生を自動的に同期させる方法。
7. 前記共通の音声特性が、背景のオーディオ・イベントであり、前記整合させるステップが、前記第１のメディア・サービスの音声波形と前記第２のメディア・サービスの音声波形に生じる背景のオーディオ・イベントとを関連付けるステップから成る、請求項１記載の再生を自動的に同期させる方法。
8. 前記整合させるステップが、前記第１のメディア・サービスの音声波形と前記第２のメディア・サービスの音声波形に対応するスペクトルの出力密度曲線間の相関誤差を最少限度に抑えるステップから成る、請求項１記載の再生を自動的に同期させる方法。
9. 前記整合させるステップが、
   前記第１のメディア・サービスの音声波形および前記第２のメディア・サービスに対応する音声波形をサンプリングするためのタイム・ウィンドウを選択するステップと、
   前記音声波形についてのスペクトルの出力密度曲線を発生するステップと、
   前記音声波形のスペクトルの出力密度曲線に生じる、背景のオーディオ・イベントを関連付けるステップと、
   前記音声波形に対応する前記スペクトルの出力密度曲線間の相関誤差を最少限度に抑えるステップと、
   から成る、請求項１記載の再生を自動的に同期させる方法。
10. 前記調節するステップが、ユーザの入力に基づき、再生のタイミングを調節し、前記ユーザ入力が、前記第１のメディア・サービスと前記第２のメディア・サービスのうち少なくとも１つの再生タイミング中に挿入された遅延を変更させる、請求項１記載の再生を自動的に同期させる方法。
11. 前記ユーザ入力が、前記第１のメディア・サービスと前記第２のメディア・サービスのうち少なくとも１つの再生タイミング中に挿入された遅延を増大させると共に、前記第１のメディア・サービスと前記第２のメディア・サービスのうち少なくとも別の１つの再生タイミング中に挿入された遅延を減少させる、請求項１０記載の再生を自動的に同期させる方法。
12. 前記整合させるステップが、前記第１のメディア・サービスと前記第２のメディア・サービスのうち少なくとも１つに埋め込まれるメタ・データ・タグに埋め込まれたイベント・コードを使用し、前記第１のメディア・サービスの音声信号と音声波形に共通のオーディオ・イベントを整合させる、請求項１記載の再生を自動的に同期させる方法。
13. 前記整合させるステップが、
    既知のサウンドの音声指紋を、前記第１のメディア・サービスの音声信号のサウンドおよび前記第２のメディア・サービスに対応する音声波形と比較するステップと、
    音声指紋と一致し、且つ音声信号と音声波形に生じる複数のサウンドを関連付けるステップと、
    から成る、請求項１記載の再生を自動的に同期させる方法。
14. 同一のメディア・コンテンツに対応する、第１のメディア・サービスと第２のメディア・サービスとの間で再生を自動的に同期させる装置であって、
    前記第１のメディア・サービスの音声波形を表す音声信号と前記第２のメディア・サービスに対応する音声波形とにおける話し言葉以外の音声特性を整合させて、前記音声波形の両方に共通する特性を識別する音声整合装置であって、前記第２のメディア・サービスは、第１のメディア・サービスとは異なり、前記第１および第２のメディア・サービスは異なるソースからオーサー（authored）される、音声整合装置と、
    前記第１のメディア・サービスと前記第２のメディア・サービスとの間で再生を自動的に同期させるために、前記音声整合装置の出力に基づき、前記第１のメディア・サービスと前記第２のメディア・サービスの少なくとも１つの再生タイミングを調節して、他方のメディア・サービスからの音声の代わりに用いるメディア・サービスからの音声を同期化することが可能である可変遅延装置と、
    から成る、前記再生を自動的に同期させる装置。
15. 前記音声整合装置が、雑音エンベロープ整合を使用し、前記第１のメディア・サービスの音声信号と音声波形に共通のオーディオ・イベントを整合させる、請求項１４記載の再生を自動的に同期させる装置。
16. 前記音声整合装置が、既知のサウンドの音声指紋を使用して、前記第１のメディア・サービスの音声信号と音声波形に共通のオーディオ・イベントを整合させる、請求項１４記載の再生を自動的に同期させる装置。
17. 前記音声整合装置が、音声信号と音声波形間で予期される最悪の場合の遅延に基づき、前記第１のメディア・サービスの音声信号と音声波形をサンプリングするためタイム・ウィンドウを選択する、請求項１４記載の再生を自動的に同期させる装置。
18. 前記音声整合装置が、前記第１のメディア・サービスの音声信号と音声波形についてスペクトルの出力密度曲線を発生する、請求項１４記載の再生を自動的に同期させる装置。
19. 前記音声整合装置が、前記第１のメディア・サービスの音声信号と音声波形に対応するスペクトルの出力密度曲線間の相関誤差を最少限度に抑える、請求項１４記載の再生を自動的に同期させる装置。
20. 前記音声整合装置が、前記第１のメディア・サービスの音声信号および前記第２のメディア・サービスに対応する音声波形をサンプリングし、前記音声信号と音声波形についてスペクトルの出力密度曲線を発生し、前記音声信号と音声波形のスペクトルの出力密度曲線に生じる背景のオーディオ・イベントを関連付け、前記音声信号と音声波形に対応するスペクトルの出力密度曲線間の相関誤差を最少限度に抑える、請求項１４記載の再生を自動的に同期させる装置。
21. 前記可変遅延装置が、ユーザ入力に基づき再生のタイミングを調節し、前記ユーザ入力が、前記第１のメディア・サービスと前記第２のメディア・サービスのうち少なくとも１つの再生に挿入される遅延を変更させる、請求項１４記載の再生を自動的に同期させる装置。
22. 前記音声整合装置が、前記第１のメディア・サービスと前記第２のメディア・サービスの少なくとも１つに埋め込まれるメタ・データ・タグに埋め込まれたイベント・コードを使用し、前記第１のメディア・サービスと前記第２のメディア・サービスに共通の音声特性を整合させる、請求項１４記載の再生を自動的に同期させる装置。
23. 前記音声整合装置が、既知のサウンドの音声指紋を、前記第１のメディア・サービスの音声信号および音声波形における音声特性と比較し、音声指紋と一致し、且つ音声信号と音声波形に生じるサウンドを関連付ける、請求項１４記載の再生を自動的に同期させる装置。
24. 前記第１のメディア・コンテンツが、第１のオーサリング・ソースのものであり、前記第２のメディア・コンテンツが、第２のオーサリング・ソースのものである、請求項１４記載の再生を自動的に同期させる装置。

Images