JP4990762B2

JP4990762B2 - インターネットプロトコルに用いるストリーミングオーディオとストリーミングビデオとの同期保持

Info

Publication number: JP4990762B2
Application number: JP2007516469A
Authority: JP
Inventors: デービズ、トレバー; クーリング、ジョン・デイビッド; ラクシュミナラヤナン、ゴピ; リチャーズ、マーチン・ジョン
Original assignee: ドルビーラボラトリーズライセンシングコーポレイション
Priority date: 2004-06-18
Filing date: 2005-04-08
Publication date: 2012-08-01
Anticipated expiration: 2025-04-08
Also published as: EP1759535A2; WO2006006980A3; US7400653B2; JP2008506282A; CA2567074A1; CN100525459C; EP1759535B1; US20050281255A1; CN1969561A; WO2006006980A2; CA2567074C

Description

本発明は、一般的にはディジタルシネマ再生システムに関し、さらに詳細には、ディジタルシネマの上演におけるオーディオコンテンツとビデオコンテンツの同期化をおこなう方法及び装置に関する。

「ディジタルシネマ」の概念には、観客席又は劇場でのディジタル技術を用いた聴覚／視覚素材を、製作、配給、上演することが含まれる。ディジタルシネマプログラムは一般に、ＤＶＤ−ＲＯＭ、テープ、あるいはコンピュータハードディスクドライブのような物理媒体上に、圧縮され暗号化された形態で配信され、原則的に、衛星又は他のブロードバンド通信経路を用いて電子的伝送手段によって配信される。

ディジタルシネマ再生システムは、ディジタルシネマの上演を行うのに必要なプロセスを制御する。これらのプロセスには、ディジタルシネマプログラムの受信と保存を行うステップ、それを伸張し解読して、ディジタルコンテンツデコーダで処理できるディジタルビデオデータストリームとディジタルオーディオデータストリームにするステップ、このデータストリームのコンテンツをデコーディングしてビデオディスプレイ及びオーディオ増幅器を作動させるために用いる信号を得るステップ、及び劇場の観客席におけるカーテンや劇場照明のような他の装置を制御するステップが含まれる。

ビジネス上のさまざまな理由により、ビデオコンテンツとオーディオコンテンツとを別のデータストリームで伝送し処理することが必要となっている。例えば、１つの上演のためのビデオデータが、異なった言語またはその上演の成熟度の評価に影響を及ぼす俗悪な言葉と共に配信されることがある。再生時、ビデオデータと共に適切なオーディオデータを上演のために選択することができる。このビデオデータと選択されたオーディオデータとは、独立したストリームで、コンテンツデコーディングのような処理のための装置に伝達される。

標準的なディジタルシネマ再生システムには、コンピュータ同士を相互に接続するのに用いられる多くのネットワークに類似する電子的ネットワークを経由して相互に通信するいくつかの装備が含まれる。これらのネットワークはしばしば、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）として知られる通信プロトコルを用いて、ＩＥＥＥ８０２．３標準に記載された、イーサネットとして一般に知られる標準に準拠する。ネットワークとプロトコルをこのように選択することで、電気的論理的インターフェースとそれを用いるのに必要な手続を容易に利用することができ、かつ比較的低価格となるので、ディジタルシネマ再生システムの実施が容易になる。残念ながら、この形式のネットワークとプロトコルを用いることでは、ビデオデータストリームとオーディオデータストリームとの処理及び上演での同期化が難しくなる。

ビデオデータストリームとオーディオデータストリームとの同期が外れると、同時に生じるはずのビデオコンテンツとオーディオコンテンツにおける事象のタイミングに不均衡が生じる可能性がある。タイミングの不均衡が大きくなると、視聴者は気持ちが集中できなくなる。同期化エラーは再生システムにおけるタイミングエラーによることもあり、また、再生システムの動作を制御するビデオデータストリームとオーディオデータストリームと一緒に伝達される制御情報のエラーによることもある。制御情報のエラーは、ビデオ／オーディオコンテンツの製作時またはマスタリング時のミス、１つのデータ様式またはデータ規格から他のデータ様式またはデータ規格へのデータストリームの変換、及び、ビデオコンテンツとオーディオコンテンツの長さの差を含むさまざまな原因により生じ、それにより、表示を１つのプログラムから他のプログラムに切替えたとき位置合わせエラーが生じる。

ＩＰネットワークのようなネットワークを介してパケットを伝送するストリームの同期化を含むさまざまな状況で、オーディオデータストリームとビデオデータストリームとを同期化する方法が知られている。これらの方法の多くは、ネットワークの遅れが予想できず、オーディオコンテンツ又はビデオコンテンツのパケットが失われるか、又はエラーを含んだ状態で受け取られ、そして、競合するネットワーク通信が変化するところでの使用を予定している。独立のビデオデータストリームとオーディオデータストリームとの同期を保持するために共通に用いられる方法には、どちらかの後にあるデータストリームから情報のパケットを省略又は廃棄すること、データストリームを処理する装置の処理クロックの速度を調整すること、及び受信したパケットのデータをデコード又は復元するプロセスを切り詰めることが含まれる。

他のディジタルビデオコンテンツ及びディジタルオーディオコンテンツとは違ってディジタルシネマ再生システムでは、ビデオコンテンツ及びオーディオコンテンツのパケットを省略又は廃棄するべきではなく、復元したビデオコンテンツ及びオーディオコンテンツに最高のレベルを保持させなければならない。処理クロックの速度を調整することは、上演中に顕著な歪みをもたらすため、実施形態によっては不可能であり、見栄えのしないものである。

本発明の目的は、ビデオデータとオーディオデータとを完成させるために別々のビデオデータストリームとオーディオデータストリームとの同期化を行うことである。

本発明の１形態によれば、ビデオコンテンツとオーディオコンテンツを伝達する一連のビデオパケット（ビデオパケットのシーケンス）と一連のオーディオパケット（オーディオパケットのシーケンス）のタイミング情報を抽出することにより、そして、同期させるために選択的にパケットを遅らせることにより、オーディオ／ビデオプログラムのオーディオコンテンツ及びビデオコンテンツを同期化する。一連のビデオパケットと一連のオーディオパケットとの間で知覚される不均衡を測定するために、このタイミング情報に対して知覚モデルが適用される。不均衡を測定した結果、オーディオパケットが早すぎることを示したならば、知覚モデルにより一連のオーディオパケットと一連のビデオパケットとの間で知覚された不均衡が減少するような量だけ、オーディオパケットを遅らせる。不均衡を測定した結果、オーディオパケットが遅すぎることを示したならば、知覚モデルにより一連のオーディオパケットと一連のビデオパケットとの間で知覚された不均衡が減少するような量だけ、ビデオパケットとオーディオパケットのそれぞれを遅らせる。

本発明のさまざまな特徴とその好ましい実施の形態は、以下の説明と、図中類似の参照番号で類似の要素を示した添付図を参照することによりよく理解できるであろう。以下の説明と図面の内容は例示のためのものであり、本発明の技術範囲を限定するためのものと解釈すべきでない。

Ａ．序論
図１は、複数の再生システムを有するディジタルシネマネットワークを示す。一般的なシステムでは、ディジタルシネマ複合館の各観客席に再生システムを持っている。しかし、例えば、１以上のスクリーンを持つ１つの観客席に複数の再生システムを具備させることを含む多種多様な方法でネットワークと装置とを組み立て設置することができる。後者の構成では、１つの観客席に対して同時に複数のディジタルシネマプログラムを上演することが可能である。

図１を参照すると、劇場管理サーバー１０、ゲートウェイ３０、及び再生システム４０ａ，４０ｂが劇場ネットワークスイッチ２０を用いネットワークによりお互いに接続されている。ここでは、ギガビットイーサネット又は１０００ＢＡＳＥ−Ｔネットワークを用いることが好ましい。劇場管理サーバー１０は、ディジタルシネマネットワークにおける再生システム４０ａ，４０ｂの管理及び全体的な制御を含むさまざまな業務を行う。ゲートウェイ３０は任意的なものであり、ディジタルシネマネットワークと、衛星通信リンク３３又は地上の広帯域ネットワーク３７のような１以上の通信経路との間の通信リンクを提供する。あるいは、ゲートウェイをスイッチ２０に組み込み、単一のスイッチ／ゲートウェイ又はルータ装置としてもよい。通信経路は、シネマ販売促進素材及びディジタルシネマプログラム復号化キーのような情報を配信するために用いることができる。仮想プライベートネットワーキング又は同様の機能を、復号化キーのような細心の注意が必要な情報を保護するために用いることができる。

ディジタルシネマネットワークの好ましい実施の形態において、各再生システム４０は、ネットワーク内の他のすべての再生システムと機能的に独立している。他のいかなる再生システムの装置の動作を必要とせずにディジタルシネマの上演のために、それぞれの再生システム４０を動作させることができる。この再生システムはさまざまな方法で実施することができる。１つの方法を以下に記載する。

Ｂ．再生システム
図２に示した概略ブロック図は、ショーストア（ｓｈｏｗｓｔｏｒｅ）４１、ショープレイヤー（ｓｈｏｗｐｌａｙｅｒ）４２、ディスプレイ４３、オーディオプロセッサ４４、オートメーションインターフェース４５、及びスイッチ４９を有する再生システム４０の１つの実施の形態を示している。スイッチ４９は、ショープレイヤー４２を除くこれらのすべての装置間のネットワーク接続を行う。通信経路５１，５３，５４は、ショープレイヤー４２を、ショーストア４１、ディスプレイ４３、及びオーディオプロセッサ４４に直接接続させる。

ショーストア４１は、通信経路５２を介してネットワークスイッチ２０と接続され、１以上のディジタルシネマプログラムを受信し保存するためのファイルサーバーとしての役割を果たす。ショーストア４１は、ショーの構成、ショーのスケジュール、及び、認可とディジタル著作権管理と暗号化とについての情報を保存する。好ましい実施の形態では、ショーストア４１はまた、ダイナミックホストコンフィグレーションプロトコル（ＤＨＣＰ）サーバーとしての役割を果たし、ネットワークＩＰアドレスを、再生システム４０における装置へ割付ける制御を行い、再生システムにおける業務遂行を円滑にするために、サービスローケーションプロトコル（ＳＬＰ）ユーザーとサービスエージェントを実行することができる。ＤＨＣＰとＳＬＰとは、それぞれ、インターネットリクエストフォアコメンツ（ＲＦＣ）１５４１及びＲＦＣ２１６５に記載されている。ショーストア４１は、保存されたプログラムからビデオ情報とオーディオ情報とを抽出し、抽出した情報を、それに続く処理を容易にするエンコードされたデータストリームに再フォーマットし、ショープレイヤー４２にこのエンコードされたデータストリームを提供する。このエンコードされたデータストリームは、ショーストア４１からショープレイヤー４２に、これら２つの装置を直接接続する専用の１００ＢＡＳＥ−Ｔイーサネット経路のような広帯域通信経路５１により伝達されることが好ましい。代表的な実施の形態において、エンコードされた表現により、国際標準化機構（ＩＳＯ）のモーションピクチャーエキスパーツグループ（ＭＰＥＧ）文書ＩＳＯ／ＩＥＣ１３８１８−１から１３８１８−９に記載されたＭＰＥＧ−２標準、又は、ＩＳＯ／ＩＥＣ１５４４４：２０００に記載されたＪＰＥＧ−２０００標準のような標準に従いエンコードされたビデオ情報が伝達され、パルスコードモジュレーション（ＰＣＭ）データ、メタオーディオエンハンスドＰＣＭデータ、又はメタオーディオＤｏｌｂｙＦのようなエンコーディングプロセスにより生成されたデータにエンコードすることのできるオーディオ情報が伝達される。適切なショーストア４１の一例としてサンフランシスコ州、カリフォルニアのドルビーラボラトリーズから入手可能なドルビーショーストアＤＳＳ１００があげられる。

ショープレイヤー４２は、それぞれディスプレイ４３とオーディオプロセッサ４４に提供されるディジタルビデオ情報とディジタルオーディオ情報を得るために、このエンコードされたデータストリームをデコードするディジタルコンテンツデコーダである。このエンコードされた表現は暗号化されていてもよい。これが暗号化されている場合は、ショープレイヤー４２は、ビデオコンテンツを解読するために適切なビデオ-コンテンツ復号化キーを用いる。ＲＳＡ暗号化標準ＰＫＣＳ#１ｖ２．１又はＩＥＥＥ１３６３−２０００標準に記載されているような技術により提供されるキー生成及び交換を伴う連邦情報処理標準（ＦＩＰＳ）公開１９７に記載されたような技術を用いることが好ましい。ショーストア４１は劇場管理サーバー１０から適切なビデオ-コンテンツ復号化キーを受け取り、劇場管理サーバーはこのキーを保存し、その後必要に応じてショープレイヤー４２に送信するか、あるいは、保存せずにこのキーをショープレイヤー４２に送信する。

一実施の形態によれば、ショーストア４１は、ショープレイヤー４２と一意的に関連付けられたパブリックキーを用いて暗号化されたビデオ-コンテンツ復号化キーの暗号化バージョンを受け取る。ショープレイヤー４２は、プライベートキーを用いて暗号化されたビデオ-コンテンツ復号化キーを解読し、このビデオ-コンテンツ復号化キーを用いて必要に応じてビデオ情報を解読してデコードし、必要ならば、続いてディスプレイ４３に送信するために、このデコードされたビデオ情報を暗号化する。暗号化は、映画テレビ技術者協会（ＳＭＰＴＥ）ＤＣ２８．４標準案のような標準に準拠することができ、あるいは、ディスプレイ４３と互換性のあるメーカー独自の処理に準拠することもできる。適切なショープレイヤー４２の一例として、サンフランシスコ州、カリフォルニアのドルビーラボラトリーズから入手可能なドルビーショーストアＤＳＰ１００があげられる。

ディスプレイ４３は、ショープレイヤー４２からデコードされたビデオ情報を受け取り、必要なら情報を解読し、見るためのビデオ情報を表示する。ディスプレイは、基本的に、液晶ディスプレイ（ＬＣＤ）又はスクリーンに像を投影することのできるプロジェクター又は他のディスプレイ媒体のようなビデオ情報を表示することのできるどんな装置でもよい。このデコードされたビデオ情報は、ＳＭＰＴＥ２９２Ｍ標準に記載されたような高解像度シリアルデータインターフェース（ＨＤ−ＳＤＩ）に準拠した形式で、広帯域通信経路５３によりショープレイヤー４２から直接ディスプレイ４３に送られることが好ましい。適切なディスプレイ４３の一例として、ベルギーのBarco N.V., Pres. Kennedypark 35, 8500 Kortrijkから入手可能なモデルＤＰ１００プロジェクターがあげられる。

オーディオプロセッサ４４は、ショーストア４２からオーディオ情報を受け取り、必要ならこのオーディオ情報をデコードし、ラウドスピーカで出力するために増幅することのできる信号を生成するために要求に応じてフィルタリングとイコライゼーションを行う。適切なオーディオプロセッサ４４の一例として、サンフランシスコ州、カリフォルニアのドルビーラボラトリーズから入手可能なシネマサウンドプロセッサモデルＣＰ６５０があげられる。このオーディオ情報は、ＳＭＰＴＥ２７６Ｍ標準に準拠した形式で、２つの装置を直接接続する広帯域通信経路５４によりショープレイヤー４２から直接オーディオプロセッサ４４に送られることが好ましい。

オートメーションインターフェース４５は、スイッチ４９を介して受信した命令に応答して、劇場照明、カーテン、及び劇場オートメーションシステムにおける他の要素を制御するための信号を生成する。適切なオートメーションインターフェースとして、サンフランシスコ州、カリフォルニアのドルビーラボラトリーズから入手可能なネットワーク
オートメーションインターフェースＮＡ１０があげられる。

スイッチ４９は、再生システム４０のネットワーク内の交信を切替える。好ましい実施の形態において、これは、１０００ＢＡＳＥ−Ｔネットワークのような１０００Ｍｂｓ又はそれ以上のネットワークをサポートする。

Ｃ．ショーストア
以下に記載の本発明の実施の形態は、エンコードされたビデオデータとオーディオデータとを受信し処理するショープレイヤーに組み込まれる。前記ビデオデータは上述のＭＰＥＧ−２標準に準拠している。このビデオデータとオーディオデータとは、コンテンツストリーミングプロトコル（ＣＳＰ）によりパケットに整えられる。ショーストア４１は、マテリアルエクスチェンジフォーマット（ＭＸＦ）に準拠してデータファイルに書いてあるデータに応答して、ＣＳＰに準拠するデータストリームを生成する。ＭＸＦは、放送アプリケーションのためのＳＭＰＴＥＷ２５技術者協会で現在承認処理中の標準である。必要ならば、本発明の特徴を他の再生システム装置又は部品に組み込んでもよい。本発明の原理は、他の標準に準拠したビデオデータストリームとオーディオデータストリームを同期させるために用いることができる。

ＣＳＰは、前述のドルビーショーストアＤＳＳｌＯＯで用いることができる。このプロトコルの使用は本発明にとって本質的なものではないが、その使用により上述のドルビーショープレイヤーＤＳＰｌＯＯにより処理することのできるデータストリームを生じさせる。ＣＳＰを用いて、ショーストア４１は、ビデオデータとオーディオデータとをパケットに整える。各ビデオパケットは、ビデオデータを伝達するデータセクションと、リールＩＤ、ビデオリールフレームカウント、ビデオフレーム端部補正値、ビデオフレーム時間補正、及びビデオフレームレートを含む制御情報を伝達するヘッダセクションを有する。各オーディオパケットオーディオデータ伝達するデータセクションと、リールＩＤ、オーディオリールフレームカウント、オーディオフレーム端部補正値、オーディオサンプルレート、及びオーディオフレームレートを含む制御情報を伝達するヘッダセクションを有する。

ここに記載した実施の形態では、ショーストア４１は、「トラックファイル」として整えられたＭＸＦファイルを保存する。各トラックファイルのデータは、基本的に従来のフィルムのリールとして運搬された視覚又は聴覚素材に相当する、プログラム素材の「リール」に巻いたビデオコンテンツ又はオーディオコンテンツを表す。トラックファイルは、例えば動画のようなプログラムのすべて又は一部に相当するであろう。一般に、普通の長さの動画は、それぞれがビデオデータストリームとオーディオデータストリームとを生みだすシーケンスとして上演される、複数のビデオトラックファイルのセットと複数のオーディオトラックファイルのセットとに整えられる。ショーストア４１がトラックファイルを読み込むと、ＣＳＰに準拠するデータストリーム中の情報のパケットが生じる。ビデオパケットは、各ビデオフレームにビデオデータを伝達する。オーディオパケットは、それぞれのビデオフレームに対応する期間又は本質的に必要とされる他の期間にオーディオデータを伝達する。

リールＩＤとリールフレームカウントは、ショーストア４１により作られる。相互に時間で関係付けられたビデオトラックファイルとオーディオトラックファイルのそれぞれのペアから生じたパケットに対して、一意的なリールＩＤが作られる。リールフレームカウントは、トラックファイルの最初からフレーム単位での、トラックファイル内のそれぞれのフレームの位置に相当する。フレーム端部補正値のような、上述した他の制御情報はトラックファイルから取得され、ＣＳＰに準拠したパケットのヘッダに挿入される。

Ｄ．ショープレイヤー
図３に示した概略ブロック図は、ショープレイヤー４２の１実施の形態を示している。ビデオバッファ６１は、ショーストア４１から通信経路５１を介して受信したＣＳＰビデオデータストリーム内に入れて伝達されたビデオコンテンツのパケットを受信し蓄える。一般的なネットワークプロトコルは、ショーストア４１からビデオバッファ６１へのビデオパケットの移動を制御するために用いられる。ビデオバッファ６１に蓄えられたビデオコンテンツのパケットは、引き続いて、上述のように通信経路５３を介してディスプレイ４３に送ることのできる、デコードされたビデオフレームへとデコーディングするために、ビデオデコーダ６３に送られる。エンコードされたパケットは、デコードされたフレームがビデオデコーダ６３により出力される速さに等しい一定の速さで動作するクロックと同期してビデオデコーダ６３に送られる。この速さがビデオフレームレートである。各パケット内に入れられて伝達されるエンコードされたデータの量は一定ではない。その結果、ビデオデコーダ６３に送られるエンコードされたデータのビットレート又はデータレートは変化する。

バッファ６２は任意的なものであり、変化が大きいデータレートでビデオデータをビデオデコーダ６３に送ることが必要なシステムにおいて効果的に用いることができる。バッファ６２を使用することにより、ビデオデコーダ６３の要求を満足させるために必要なピークレートでビデオデータを送ることのできない低価格のメモリー回路で、ビデオバッファ６１を実現させることができるので、実施コストを低減することができる。この任意的な構成において、ビデオバッファ６１は、ビデオデコーダ６３が必要とする平均データレートを満足する速度でビデオデータをバッファ６２に送る。バッファ６２は、ありうる最高の画質に要求されるフレームレートを達成するのに必要な最大のデータレートで、ありうる最大量のビデオコンテンツのパケットをビデオデコーダ６３に送ることができるように、十分なビデオデータを蓄える。

オーディオバッファ６４は、ショーストア４１から通信経路５１を介して受信したＣＳＰオーディオデータストリーム内に入れて伝達されたオーディオコンテンツのパケットを受信し蓄える。ショーストア４１からオーディオバッファ６４へのオーディオパケットの移動を制御するために一般的なネットワークプロトコルを用いてもよい。上述のように、オーディオバッファ６４に蓄えられたオーディオコンテンツのパケットは、プロセッサ６５により読み出され通信経路５４を介してオーディオプロセッサ４４に送られる。

その他の構成要素により、再生中にビデオデータとオーディオデータとの同期が達成され保持されるように、ビデオデコーダ６３の動作とプロセッサ６５の動作が制御される。

Ｅ．同期
１．概要
上述の通り、ＭＸＦ標準案によりフォーマットされたトラックファイルに保存されたデータから作られたＣＳＰデータストリーム内にパッケージされたビデオデータとオーディオデータをここに記載した実施の形態で処理する。この特定のコーディング標準を必要とするこの特定の実施の形態に固有の特徴は本発明の特徴にとって本質的ではない。

図３を参照すると、エンコードされたビデオデータのパケットは、ビデオフレーム期間の始まりに印をつけるためのクロックに同期させて一定の速度でビデオバッファ６１から読み出される。デコーダモデル６７は、ビデオパケットで伝送された情報をビデオバッファ６１から読み出されたときに分析し、これらのパケットのビデオタイミング情報を取得する。同期制御装置６６に送られるこのタイミング情報は、それぞれのビデオパケットがデコードされたビデオフレームとしてビデオでコーダ６３により出力される時刻を示す。このモデルがビデオタイミング情報を取得する１つの方法を以下に説明する。

原則として、ビデオタイミング情報は、本質的に、ショーストア４１からディスプレイ４３の入力までの経路のどこかでビデオパケットを分析することにより得ることができるが、ビデオデータストリームとオーディオデータストリームの相対的な位置合わせをより容易に行うことができるので、デコーダ６３の入力の前にパケットを分析する構成が好ましい。バッファ６２に流れるときに、バッファ６２の出力側にあるような高いピークレートを含む、変化の大きなレートで流れるときにデコーダモデル６７がビデオパケット中のデータを分析しなけらばならないのに比べて、デコーダモデル６７がデコーダモデル６７がビデオパケット中のデータを適度なデータレートで分析することができるので、図示した構成の方が魅力的である。

オーディオデータも、上述のビデオフレームレートクロックと同期してオーディオバッファ６４から読み出される。多くの実施の形態において、オーディオパケットはビデオパケットと位置合わせがされているとは思われず、また、オーディオパケットはビデオフレームレートと同じ速さで読み出されるわけではない。プロセッサ６５は、オーディオタイミング情報を取得するためにオーディオバッファ６４からオーディオパケットに入れて送られた情報を読み出すときにこの情報を分析する。同期制御装置６６に送られるこのタイミング情報は、それぞれのオーディオパケットが通信経路５４に出力される時刻を示す。このプロセッサがオーディオパケットのオーディオタイミング情報を取得する１つの方法を以下に説明する。

同期制御装置６６は、デコーダモデル６７とプロセッサ６５からビデオタイミング情報とオーディオタイミング情報とをそれぞれ受信し、ビデオデータストリームとオーディオデータストリームの相対位置調整をビデオフレームの先頭で定める。この情報を、２つのデータストリーム間でのタイミングの不均衡又は同期化エラーの知覚の程度を導き出す知覚モデルに送る。この知覚の程度に応答して、同期制御装置６６は、ビデオパケット及び／又はオーディオパケットの相対的なタイミングを調整し、知覚できるとみなされるタイミングの不均衡を減少させる。この方法について以下に説明する。好ましい実施の形態では任意的な補正値制御装置６９が含まれる。これらの実施の形態では、同期制御装置６６は、補正値制御装置６９により特定されたタイミング位置合わせにおいて、好ましい補正値で対処する。例えば、オーディオプロセッサ４４における遅れの処理を、補正値により対処することが好ましいであろう。

２．知覚モデル
ビデオデータストリームとオーディオデータストリームとの間の同期の誤差は、画像とサウンドが相互に調和していない状態を引き起こす。誤差の大きさによっては、この不均衡により視聴者の気持ちがそがれる。爆発、足音、スピーチのような視覚的及び聴覚的目印となる多くの事象がある。スピーチにおける同期化誤差は、もっとも大きく困惑させるものであり、一般に「口パク」誤差と称される。国際電気通信連合（ＩＴＵ）書面ＩＴＵ−ＲＢＴ．１３５９−１、表題「放送でのサウンドと画像の相対的タイミング」では、同期化誤差を、「検知閾値」により定義される区間の外側にあるとき、検知可能であるとクラス分けし、誤差が「許容閾値」により定義される区間の外側にあるとき、誤差は許容できないとクラス分けする。この書面によれば、検知閾値により定義される区間は、＋４５ｍｓから−１２５ｍｓの間であり、許容閾値により定義される区間は、＋９０ｍｓから−１９０ｍｓの間である。ここで、正の数値はオーディオがビデオに先行していることを示す。

１つの実施の形態において、知覚モデル６８では、３つの値を持つ知覚される不均衡の程度が提供される。１つの値は、０のような値で、タイミングの不均衡は、もしあったとしても、検知閾値で定義される区間内にあることを示す。２番目の値は、正の１のような値で、検知閾値で定義される区間から外れる量だけオーディオがビデオに先行していることを示す。３番目の値は、負の１のような値で、検知閾値で定義される区間から外れる量だけビデオがオーディオに先行していることを示す。範囲の広いモデルを用いることもできる。

３．ビデオタイミング（ビデオデコーダモデル）
上述のビデオフレームクロックと同期して、デコーダモデル６７は、各ビデオフレーム期間に対するそれぞれのビデオパケットのビデオタイミング情報を導き出す。

ビデオパケット内に入れて送られた情報にデコーダモデル６７を適用することによりビデオタイミング情報を取得する。それぞれのビデオパケットについてのこのタイミング情報は、それぞれのビデオパケットからデコードされたビデオデータがビデオデコーダ６３により出力される時刻を示す。上述のＣＳＰによりフォーマットされたビデオパケットからビデオタイミング情報を取得する１つの方法を以下に記載する。

ＣＳＰ準拠のビデオデータストリーム内の各ビデオパケットは、制御情報を有するヘッダセクションと、フレーム内の映像又は視覚プログラムの画像を表現するデータを有するデータセクションとを具備する。それぞれのパケットのヘッダには、それぞれのトラックファイルのデータストリーム内で連続するビデオパケット毎に１づつ増加するデコード順序のビデオリールフレームカウントと、ビデオフレームレートと、そこからビデオタイミング情報を導き出すことのできるビデオフレーム端数補正値が含まれる。デコーディングタイムスタンプ（ＤＴＳ）は、以下に表す式により得ることができる。

ＤＴＳは、それぞれのパケット内に入れて伝達されたデータがビデオデコーダ６３によりデコードされて出力される順序又は相対時間を表す。この順序は、表示順序と称されるデコーダにより出力される、対応するデコードされたデータの順序である必要はない。

表示順序における各パケットの相対的なタイミング又はビデオ表示時刻（ＶＰＴ）は、これらもまたビデオパケットヘッダ内に入れて伝達されるＤＴＳとビデオフレーム時間補正値（ＴＯ）から導き出すことができる。これを行う１つの方法を以下に説明する。

各ビデオパケットは、パケット内のビデオデータがどのようにエンコードされていて、これをどのようにデコードするべきかを示す、一般にＩ，Ｐ，及びＢと称される３つのタイプのうちの１つにクラス分けされる。Ｉパケットは、ビデオプログラム内の他のすべてのフレームとは独立にエンコードされ、したがって、ビデオデータストリーム内の他のすべとのパケットとは独立にデコードすることのできるデータを伝達する。Ｐパケットは、ビデオプログラム内の先行するフレームから予測される値を用いてエンコードされていて、この先行するフレームに対応するパケットをデコードしてからでないとデコードできないデータを伝達する。例えば、Ｐパケットは、先行するＩパケットに直接従属することもあり、あるいは、Ｐパケット従属することもあり。これはそれぞれ直接的又は間接的にＩパケットに従属している。Ｂパケットは、ビデオデータストリーム内の後続するフレームと場合によって先行するフレームとから予測される値を用いてエンコードされていて、これらの先行するフレームと後続するフレームに対応するパケットをデコードしてからでないとデコードできないデータを伝達する。

ビデオデータストリーム内のパケットのシーケンスの一例を表Ｉに示した情報により表す。

このシーケンス内のパケットは、ＤＴＳの値で示されたようなデコード順序を示す。ＤＴＳからＶＰＴを導き出すために必要な調整はＴＯ値で表現される。この計算は以下の式で表される。

例えば、２番目のパケットのＶＰＴは、タイプＰであり、ＤＴＳ＋ＴＯ＝２＋２＝４となる。３番目のパケットのＶＰＴは、タイプＢであり、ＤＴＳ＋ＴＯ＝３＋（−１）＝２となる。

ここに示した例では、説明を簡単にするために、ＤＴＳの値は任意の整数値を選択し、ビデオフレームレートは任意に１を選択している。

これらのパケットのＶＰＴは、パケットからデコードされるフレームの表示順序を示す。このフレームの順序は、Ｉ_１，Ｂ_３，Ｂ_４，Ｐ_２，Ｂ_６，Ｂ_７，Ｐ_５
であり、ここでこのシーケンス中の各要素の添え字は対応するパケットのＤＴＳである。

ＭＰＥＧ−２準拠のビデオデータストリーム内のエンコードされたビデオパケットは、Ｉパケットから始まる画像のグループ（ＧＯＰ）に整えられる。例えば、デコードの順序に並べた表Ｉに示したパケットのシーケンスが１つのＧＯＰとなり得る。デコードの順序に並べた各ＧＯＰがＩパケットから始まるとしても、このＩパケットはかならずしも、ビデオデコーダによって出力されるＧＯＰの最初のフレームに該当する必要はない。これはＧＯＰとなり得るパケットのシーケンスのもう１つの例で見ることができ、それは表ＩＩに示した情報により表される。

このシーケンス内のパケットもデコードの順序で示されている。ＶＰＴも上述したものと同様の方法でＤＴＳとＴＯから導き出される。この例では、最初のＢパケットは先行するＧＯＰ内のパケットに従属するかもしれない。

これらのパケットのＶＰＴは、パケットからデコードされるフレームの表示順序を示し、これらのパケットからデコードされる順序はＢ_２，Ｂ_３，Ｉ_１，Ｂ_５，Ｂ_６，Ｐ_４であり、ここで、このシーケンス中の各要素の添え字は対応するパケットのＤＴＳである。

もし時刻Ｔ_１がＧＯＰ内の最初のパケットがビデオデコーダに入力される時刻であり、時刻Ｔ_２がデコードされたデータの最初のフレームがＧＯＰへ出力される時刻だとすると、これらの２つの時間間隔（Ｔ_２−Ｔ_１）は、デコーダのデコーディング待ち時間と称されることのある定数である。ビデオデコー６３においてフレーム再順序付けが行われるので、ＧＯＰ内での各フレームのデコーディング待ち時間は一定ではない。デコーダモデル６７は、デコーダに入力されるパケットのＤＴＳからビデオデコーダ６３により出力されるフレームのＶＰＴを導き出す。１つの実施の形態において、デコーダモデル６７は、上述のようにＤＴＳからＶＰＴを計算し、バッファ６２におけるバッファ遅れ、デコーディング待ち時間、及びビデオデコーダ６３で生じる再順序付けをつかさどる。このモデルの実施の形態では、このモデルがビデオデコーダ６３の実際の動作の責任を負うので、例えば再生開始部分がＧＯＰの中を通るような異常な状況でも適切なＶＰＴを定めることができる。

他の実施の形態においてデコーダモデル６７は、バッファ６２とビデオデコーダ６３における時間遅れを補償する長さを有するファーストインファーストアウト（ＦＩＦＯ）を用いる。ビデオパケットがバッファ６２に送られたとき、対応するＤＴＳ値がＦＩＦＯに押し込まれる。ビデオフレームがビデオデコーダ６３により出力されると、時間値がそのフレームのＶＰＴとしてＦＩＦＯから読み出される。この実施の形態は、コンピュータの立場から見て上述の実施の形態に比べて複雑ではないが、再生開始部分がＧＯＰを通り越しているような異常な状況では適切なＶＰＴを定めることができない。

いずれの実施の形態においても、ＶＰＴは、ディスプレイ４３で表示するためにそれぞれのビデオパケットからのデコードされたビデオフレームがビデオデコーダ６３から出力される時刻を表す。

４．オーディオタイミング
ＣＳＰ準拠のオーディオデータストリーム中の各オーディオパケットは、制御情報を持つヘッダセクションと、オーディオサンプルのフレームを表現するデータを持つデータセクションとを有する。データセクションはフレーム内の個々のサンプルを表現するＰＣＭデータを伝達することができ、又は、変換コーディング又はブロック圧縮のようなブロックエンコーディングプロセスを用いてエンコードされたオーディオのサンプルのフレームを表すデータのセットを伝達することができる。パケットにより表現されたオーディオフレーム中のサンプル数はパケットヘッダの情報により指定される。一般に、ヘッダは、オーディオサンプルレートとオーディオフレームレートとを指定する。オーディオフレーム内のサンプル数は、オーディオサンプルレートをオーディオフレームレートで割算することにより算出することができる。

ヘッダセクションには、オーディオ表示時刻（ＡＰＴ）を導き出すことのできる制御情報も含まれる。ＣＳＰに準拠するオーディオパケットからオーディオタイミング情報を取得することのできる１つの方法を以下に説明する。

それぞれのパケットのヘッダには、それぞれのトラックファイルに対するデータストリーム内で連続するパケット毎に１つ増加するオーディオリールフレームカウントが含まれる。表示順序に並べた各パケットの先頭の相対的なタイミング、又は、オーディオフレーム時刻（ＡＦＴ）は、以下に示す計算により取得される。

プロセッサ６５は、オーディオパケットがオーディオバッファ６４から読み出されたときオーディオパケットに対応する各オーディオフレームのＡＦＴを決定する。上述のビデオフレームクロックに同期して、現ビデオフレーム期間の開始部に最も近くに並べられたオーディオデータストリーム内のサンプル期間に対するオーディオ表示時刻（ＡＰＴ）を、プロセッサ６５が決定する。一般的な状況では、この配列位置は、オーディオフレームの開始部と同時ではなく、フレーム内のどこかで生じる。このような状況で、配列位置のタイミング情報は、配列位置の生じるフレームの開始部をＡＦＴから推定することにより取得する。この推定はさまざまの方法で行われる。ひとつの方法は以下である。

ここで、Ｋ＝オーディオフレームの開始部と現ビデオフレームの開始部との間のサンプル期間数、である。

５．同期制御
同期制御装置６６は、ビデオデータストリームとオーディオデータストリームとの同期を達成し保持させる責任を担う。以下の説明において、本発明の原理が再生中の同期を保持するためにどのように用いられるかを記載しているが、同じ原理を再生の開始時に同期を達成するために用いることができる。必要なら、再生の開始時における最初の同期は、本質的に公知の同期技術を用いて達成させてもよい。

ビデオパケットとオーディオパケットの処理を遅らせることにより好ましい制限内で同期を保持するために必要なので、ビデオデータストリームとオーディオデータストリームとの相対的な位置が監視され調整される。１つの実施の形態において、ビデオバッファ６１からビデオデータの読み出しを整数のビデオフレーム期間だけ中断することによりビデオパケットの処理を遅延させ、オーディオバッファ６４からオーディオデータの読み出しを整数のオーディオサンプル期間又は整数のオーディオフレーム期間だけ中断することによりオーディオデータの処理を遅延させる。

各ビデオフレームについて、同期制御装置６６は、現ビデオフレームのビデオタイミング情報を取得し、実質的にビデオフレームの開始部と位置合わせしてあるオーディオデータストリームにおける位置のオーディオタイミング情報を取得する。このタイミング情報は、２つのデータストリーム間の不均衡が知覚されるとみなされるかどうかを決定する知覚モデル６８に送られる。１つの実施の形態においては、ビデオ時刻とオーディオ時刻との間の差が上述のＩＴＵ検知閾値で定義される区間の外側にあるかどうかを判断することによりこれを行う。

もし知覚モデル６８が知覚不均衡がないとの判断を示した場合、ビデオバッファ６１からビデオデータを読み出しそれをビデオデコーダ６３に送ること、及び、オーディオバッファ６４からオーディオデータを読み出しそれを通信経路５４を介してオーディオプロセッサ４４に送ることにより、２つのデータストリームの通常の処理を続ける。

もしオーディオ時刻とビデオ時刻とによりオーディオデータストリームがビデオデータストリームより進んでおり、知覚モデル６８によりデータストリーム間の不均衡が知覚できるとの判断が示された場合、ビデオデータストリームの通常の処理を続けるが、同期制御装置６６は、プロセッサ６５に対して、オーディオフレーム期間の整数倍又はオーディオサンプル期間の整数倍のうちのどちらかの指定の期間だけオーディオデータストリームの処理を遅らせるよう指令する。この期間の所要時間ＤＡを定める１つの方法は以下で表される。

この期間にプロセッサ６５は、経路５４を介してオーディオデータストリームにゼロ値のサンプル又はこれまでのサンプル値を挿入する。オーディオパケットがブロックエンコーディングプロセスにより作られたデータを伝達するする場合は、オーディオバッファ６４から読み出される次のオーディオパケットの前にゼロ値のデータを挿入することが好ましい。この実施の形態において、オーディオプロセッサ４４は、出力を無音にするか又は先のサンプルを繰り返すことによって挿入されたデータに応じることができる。無音区間に続くオーディオの強さは、非常に低いレベルから必要とされる通常のレベルまで徐々に増加させることができる。遅延の前のオーディオサンプルを出力する前にショープレイヤー４２又はオーディオプロセッサ４４のどちらか一方が遅延情報を受け取ることができる場合は、無音区間に先立つオーディオの強さは、必要に応じて非常に低いレベルに徐々に減少させていってもよい。

ビデオ時刻及びオーディオ時刻により、ビデオデータストリームがオーディオデータストリームより先行していることが示され、知覚モデル６８により、データストリーム同士に不均衡があることが示された場合、上述したように同期制御装置６６は、ビデオフレーム期間の整数倍の指定期間ＤＶだけビデオデータストリームの処理を遅らせるようビデオデコーダ６３に指令し、かつ、オーディオフレーム期間の整数倍又はオーディオサンプル期間の整数倍の指定期間ＤＡだけオーディオデータストリームの処理を遅らせるようプロセッサ６５に指令する。この２つの期間の所要時間を定める１つの方法は以下で表される。

ここでＰＶ＝ビデオフレーム期間である。

期間ＤＶでは、ビデオデコーダ６３は、経路５３を介して送られるビデオデータストリームに１以上のビデオフレームのデータを挿入する。挿入するフレームは先行するビデオフレームの繰り返しでもよく、又は、一般にブラックフレームと呼ばれる輝度のない映像のような任意の映像を表示させてもよい。期間ＤＡでは、プロセッサ６５は、上述の通り、経路５４を介して送られるオーディオデータストリームにゼロ値のサンプルのようなデータを挿入する。

一般的なの実施の形態において、ビデオフレーム期間は約４０ｍｓでありオーディオサンプル期間は約２０μｓである。オーディオデータストリームの位置調整は、一般に、ビデオデータストリームよりさらに細かい区分で行うことができる。

相対的な位置の調整は、販売促進用予告編からメイン上映作品への移行のようなデータストリーム中の原素材の変化や、ビデオフレームレート又はオーディオフレームレート又はオーディオサンプリングレートの変化や、操作員により指定された補正値の変化をきっかけとして行われる。

１つのトラックファイルから他のトラックファイルの開始部への切換があったときはいつでも、ショーストア４１の１つの実行形態により、異なったリールＩＤを生じさせ新しいトラックファイルから作られるパケットの最初のフレームカウントをゼロにリセットする。場合によっては、ショーストア４１は、ビデオトラックファイルとオーディオトラックファイルとの間の切り替えを違う時刻に行うことができる。この場合、ショープレイヤー４２の好ましい実施の形態では、２つのデータストリームにおけるパケットがリールＩＤと合致するまで位置調整の変更を中断する。

Ｆ．実施
本発明のさまざまな特徴を組み込んだ装置は、コンピュータ又は汎用コンピュータに見られる構成要素と同様な構成要素と結合したディジタル信号プロセッサ（ＤＳＰ）回路のような専用化した構成要素を含む他の装置により実行させるソフトウェアを含むさまざまな方法で実施することができる。図４は、本発明の特徴を実施するために用いることのできる装置の概略ブロック図である。プロセッサ７２は計算手段を提供する。ＲＡＭ７３は処理のためのプロセッサ７２により用いられるランダムアクセスメモリ（ＲＡＭ）のシステムである。ＲＯＭ７４は、装置を動作させるのに必要なプログラムを保存するための、及び、おそらく本発明のさまざまな特徴を実行することのできるリードオンリーメモリ（ＲＯＭ）のような固定記憶の形態を示す。Ｉ／Ｏ制御７５は、通信チャンネル７６，７７を用いて信号を受信し送信するインターフェース回路を示す。図示の実施の形態では、すべての主要なシステム構成要素は、２以上の物理的または論理的バスを表すバス７１に接続されているが、バス構成は本発明を実施するためにからなずしも必要ではない。

汎用コンピュータシステムにより実施される実施の形態では、キーボードやマウスやディスプレイのような装置とのインターフェースのための構成要素、及び、磁気テープ又はディスク或いは光学的記憶媒体のような記憶媒体を有する記憶装置７８を制御するための構成要素を付加的に含めることができる。この記憶媒体はオペレーティングシステムに対する指令プログラム、ユーティリティープログラム、及びアプリケーションプログラムを記憶するために使うことができ、また、本発明のさまざまな特徴を実行するプログラムを含有することができる。このコンピュータシステムはハードウェア的な故障に対して耐性があることが好ましい。このためのひとつの方法は、２重電源と冗長記憶装置のような冗長な構成要素を用いること、及び、異常を検出し対応することのできるオペレーションシステムを用いることで行うことができる。

本発明のさまざまな特徴を実行するために必要な機能は、個別の論理要素、集積回路、one or moreＡＳＩＣｓ及び／又はプログラム制御されるプロセッサを含む広くさまざまな方法に用いられる構成要素により実行される。これらの構成要素を用いる方法は本発明にとって重要ではない。

本発明を実施するソフトウェアは、超音波から赤外周波数を含む範囲のスペクトルでのベースバンド通信経路又は変調通信経路のような機械的に読み出し可能なさまざまな媒体、又は、磁気テープ、磁気カード、磁気ディスク、光学カード又は光学ディスク、及び紙を含む媒体上の検出可能なマーキングを含んで、原則としてあらゆる記憶技術を含む、情報を伝達する記憶媒体により伝達することができる。

ディジタルシネマネットワークの概略ブロック図である。ディジタルシネマ再生システムの概略ブロック図である。ビデオデータとオーディオデータとの同期を保持するための構成要素を含む、ディジタルシネマ再生システムにおけるショープレイヤーの概略ブロック図である。本発明の種々の特徴を実施するために用いることのできる装置の概略ブロック図である。

Claims

オーディオ／ビデオプログラムのオーディオコンテンツ及びビデオコンテンツを処理する処理装置が実行する方法であって、該方法は、
第１の制御情報と前記オーディオコンテンツとを伝達する一連のオーディオパケットを受信し、前記第１の制御情報から前記一連のオーディオパケット中のそれぞれのオーディオパケットのオーディオ時刻情報を取得するステップであって、
各オーディオパケット内に入れて伝達したデータは、オーディオフレーム期間を有するオーディオフレームを表し、第１の量は前記オーディオフレーム期間の整数倍に等しい量であり、第３の量はオーディオフレーム期間の整数倍に等しい量である、あるいは、
各オーディオパケット内に入れて伝達したデータは、各々がオーディオサンプル期間を有する複数のサンプルを表し、前記第１の量は前記オーディオサンプル期間の整数倍に等しい量であり、前記第３の量はオーディオサンプル期間の整数倍に等しい量である、
ステップと、
第２の制御情報と前記ビデオコンテンツとを伝達する一連のビデオパケットを受信し、前記第２の制御情報から前記一連のビデオパケット中のそれぞれのビデオパケットのビデオ時刻情報を取得するステップであって、各ビデオパケット内に入れて伝達したデータは、ビデオフレーム期間を有するビデオフレームを表し、第２の量はビデオフレーム期間の整数倍に等しい量である、
ステップと、
前記オーディオ時刻情報と前記ビデオ時刻情報とからそれぞれのビデオパケットに対するそれぞれのオーディオパケットの相対時刻整合状態を定め、それぞれのビデオパケットとそれぞれのオーディオパケットとの間での知覚できる不均衡の指標を取得するために該相対時刻整合状態に知覚モデルを適用するステップと、
前記知覚できる不均衡の指標により、それぞれのオーディオパケットが第１の閾値を超えた時間だけそれぞれのビデオパケットとの好ましい時刻整合状態より進んでいることが示された場合、前記それぞれのオーディオパケットの全部又は一部を前記第１の量だけ遅らせ、それにより前記知覚モデルに基づいて、遅らせたそれぞれのオーディオパケットとそれぞれのビデオパケットとの間で知覚できる不均衡を減少させるステップと、
前記知覚できる不均衡の指標により、それぞれのオーディオパケットが第２の閾値を超えた時間だけそれぞれのビデオパケットとの好ましい時刻整合状態より遅れていることが示された場合、前記それぞれのビデオパケットを前記第２の量だけ遅らせ前記それぞれのオーディオパケットの全部又は一部を前記第３の量だけ遅らせ、それにより前記知覚モデルに基づいて、遅らせたそれぞれのオーディオパケットと遅らせたそれぞれのビデオパケットとの間で知覚できる不均衡を減少させるステップと、
を具備することを特徴とする方法。
第１の制御情報から推定することにより、前記それぞれのオーディオパケットの開始のタイミングを伝達する前記オーディオ時刻情報を取得するステップを具備することを特徴とする請求項１に記載の方法。
遅らせられた前記それぞれのオーディオパケットの全部又は一部から生成されたオーディオデータストリームに情報を挿入するステップと、
前記挿入した情報に先行するオーディオコンテンツの再生レベルを減少させ、前記挿入した情報に後続するオーディオコンテンツの再生レベルを増加させるステップと、
を具備することを特徴とする請求項１に記載の方法。
一連のオーディオパケットと一連のビデオパケットとを通信ネットワークから受信し、装置内の１以上のバッファに蓄えるステップと、
前記ネットワークにおける通信を制御するために用いるプロトコルを、情報を前記１以上のバッファに蓄えるための制御に使用するステップと、
を具備することを特徴とする請求項１に記載の方法。
前記知覚モデルに基づいて、知覚できない程度にまで前記知覚できる不均衡を減少させるように、前記第１の量と、前記第２の量と、前記第３の量とを定めることを特徴とする請求項１に記載の方法。
コンピュータにオーディオ／ビデオプログラムのオーディオコンテンツ及びビデオコンテンツを処理する方法を実行させるための命令のプログラムを記録したコンピュータ読み取り可能な記憶媒体であって、前記方法は、
第１の制御情報と前記オーディオコンテンツとを伝達する一連のオーディオパケットを受信し、前記第１の制御情報から前記一連のオーディオパケット中のそれぞれのオーディオパケットのオーディオ時刻情報を取得するステップであって、
各オーディオパケット内に入れて伝達したデータは、オーディオフレーム期間を有するオーディオフレームを表し、第１の量は前記オーディオフレーム期間の整数倍に等しい量であり、第３の量はオーディオフレーム期間の整数倍に等しい量である、あるいは、
各オーディオパケット内に入れて伝達したデータは、各々がオーディオサンプル期間を有する複数のサンプルを表し、前記第１の量は前記オーディオサンプル期間の整数倍に等しい量であり、前記第３の量はオーディオサンプル期間の整数倍に等しい量である、
ステップと、
第２の制御情報と前記ビデオコンテンツとを伝達する一連のビデオパケットを受信し、
前記第２の制御情報から前記一連のビデオパケット中のそれぞれのビデオパケットのビデオ時刻情報を取得するステップであって、各ビデオパケット内に入れて伝達したデータは、ビデオフレーム期間を有するビデオフレームを表し、第２の量はビデオフレーム期間の整数倍に等しい量である、
ステップと、
前記オーディオ時刻情報と前記ビデオ時刻情報とからそれぞれのビデオパケットに対するそれぞれのオーディオパケットの相対時刻整合状態を定め、それぞれのビデオパケットとそれぞれのオーディオパケットとの間での知覚できる不均衡の指標を取得するために該相対時刻整合状態に知覚モデルを適用するステップと、
前記知覚できる不均衡の指標により、それぞれのオーディオパケットが第１の閾値を超えた時間だけそれぞれのビデオパケットとの好ましい時刻整合状態より進んでいることが示された場合、前記それぞれのオーディオパケットの全部又は一部を前記第１の量だけ遅らせ、それにより、前記知覚モデルに基づいて、遅らせたそれぞれのオーディオパケットとそれぞれのビデオパケットとの間で知覚できる不均衡を減少させるステップと、
前記知覚できる不均衡の指標により、それぞれのオーディオパケットが第２の閾値を超えた時間だけそれぞれのビデオパケットとの好ましい時刻整合状態より遅れていることが示された場合、前記それぞれのビデオパケットを前記第２の量だけ遅らせ前記それぞれのオーディオパケットの全部又は一部を前記第３の量だけ遅らせ、それにより、前記知覚モデルに基づいて、遅らせたそれぞれのオーディオパケットと遅らせたそれぞれのビデオパケットとの間で知覚できる不均衡を減少させるステップと、
を具備することを特徴とする媒体。
前記方法は、第１の制御情報から推定することにより、前記それぞれのオーディオパケットの開始のタイミングを伝達する前記オーディオ時刻情報を取得するステップを具備することを特徴とする請求項６に記載の媒体。
前記方法は、遅らせられた前記それぞれのオーディオパケットの全部又は一部から生成されたオーディオデータストリームに情報を挿入するステップと、
前記挿入した情報に先行するオーディオコンテンツの再生レベルを減少させ、前記挿入した情報に後続するオーディオコンテンツの再生レベルを増加させるステップと、
を具備することを特徴とする請求項６に記載の媒体。
前記一連のオーディオパケットと前記一連のビデオパケットとを、通信ネットワークから受信し、該パケットを装置内の１以上のバッファに蓄え、
前記ネットワークにおける通信を制御するために用いるプロトコルを、情報を前記１以上のバッファに蓄えるための制御に使用する、
ことを特徴とする請求項６に記載の媒体。
前記方法は、前記知覚モデルに基づいて、知覚できない程度にまで前記知覚できる不均衡を減少させるように、前記第１の量と、前記第２の量と、前記第３の量とを定めることを特徴とする請求項６に記載の媒体。