JP4602089B2

JP4602089B2 - 音声／映像同期の自動検査方法

Info

Publication number: JP4602089B2
Application number: JP2004556656A
Authority: JP
Inventors: ラマナサン、メーナクシスンダラム; ムラリ、マニ
Original assignee: NXP BV
Current assignee: NXP BV
Priority date: 2002-12-04
Filing date: 2003-11-26
Publication date: 2010-12-22
Anticipated expiration: 2023-11-26
Also published as: WO2004052021A1; KR20050085289A; EP1570681A1; CN1720749A; AU2003282289A1; CN1720749B; KR100943811B1; JP2006509409A; US7924929B2; US20060098742A1

Description

本発明は、デジタル信号処理の分野に関し、より具体的には、レシーバハードウェア、ソフトウェア、ハードウェア／ソフトウェアの組み合わせにおいて音声／映像の同期（ＡＶ同期）を検査するための方法に関し、デジタル信号自体の検査に、容易に拡張可能である。

ＭＰＥＧ（Moving Pictures Expert Group）規格は、デジタル音声／映像（Ａ／Ｖ）圧縮規格であり、例えばデジタル衛星システム（ＤＳＳ：Digital Satellite System）放送、デジタルケーブル放送およびデジタル地上波放送を含む、様々なＡ／Ｖ配給システムにおいて採用されている。受信端において、圧縮されたＡ／Ｖデジタルストリームを、解凍および復号する必要がある。ＭＰＥＧ規格は、（ＭＰＥＧエンコーダの）プログラムクロック基準（ＰＣＲ：Program Clock Reference）、プレゼンテーションタイムスタンプ（ＰＴＳ：Presentation Time Stamp）、復号タイムスタンプ（ＤＴＳ：Decode Time Stamp）およびシステムタイムクロック（ＳＴＣ：System Time Clock）などのフィールドを提供する。ＰＣＲは、放送ストリームを生成するＭＰＥＧエンコーダ内で、ＳＴＣに対して厳密な関係を有し、したがって、エンコーダのタイムクロックをデコーダの端で複製するために用いることができる。ＤＴＳは、音声単位または映像フレームをいつ復号するかを決めるために、デコーダにより使用され、ＰＴＳは、復号された音声単位または映像フレームを、いつ提供するかを決めるために使用される。音声および映像データの両方を、適切なＡＶ同期で復号および提供することが重要である。

レシーバシステム（ハードウェア、ソフトウェア、または両方）を設計する際、システムのＡＶ同期性能が、ＭＰＥＧ規格に準拠しているかを検査しなければならない。現在の検査では、人間によってビデオクリップを観察し、伴われる音声を聴き、受け入れ可能なＡＶ同期の主観的な決定を行う必要がある。これは、非常に手間がかかり、不正確かつ低精度である。

より高精度の検査では、映像にフラッシュを、音声にビープ音を加え、オシロスコープを用いてＡＶ同期を測定する。これでもまだ、人間の観察者と、特殊な検査信号が必要であり、正確さおよび精度は、オシロスコープ作業者の技術およびオシロスコープの調整に依存している。さらに、長期の検査は、オシロスコープを調整するための人間による周期的な仲介を必要とする。これら２つの検査方法は、手間がかかり、よって高価であり、ＡＶ同期の問題の迅速なデバッグに必要な正確さまたは反復性を提供しない。よって、多くの場合、繰り返し検査を行う必要がある。

したがって、非主観的であり、精度および反復性が高く、安価で長い検査時間にわたって安定したＡＶ同期検査の方法が必要とされている。

本発明の第１の態様は、システムタイムクロックフィールドと、プログラムクロック基準フィールドと、音声デコーディングタイムスタンプフィールドと、音声プレゼンテーションタイムスタンプフィールドと、映像デコーディングタイムスタンプフィールドと、映像プレゼンテーションタイムスタンプフィールドとを含むデジタルストリームを受信するためのデコーダ装置の音声／映像同期を検査する方法であって、プログラムクロック基準フィールドから、少なくとも２つの連続プログラムクロック基準を再生する工程と、デジタルストリームの符号化に用いられた装置の周波数を、連続プログラムクロック基準と、連続プログラムクロック基準が再生された際のデコーダタイムスタンプとに基づいて計算する工程と、音声基本ストリームと、映像基本ストリームとを、デジタルストリームから生成する工程と、音声基本ストリームから、音声デコーディングタイムスタンプフィールドからの少なくとも１つの音声デコーディングタイムスタンプを再生し、音声デコーディングタイムスタンプと、音声デコーディングタイムスタンプに対応する音声単位が復号された際の第１デコーダタイムスタンプとの間の第１時間差を計算する工程と、音声基本ストリームから、音声プレゼンテーションタイムスタンプフィールドからの少なくとも１つの音声プレゼンテーションタイムスタンプを再生し、音声プレゼンテーションタイムスタンプと、音声プレゼンテーションタイムスタンプに対応する音声単位が提供された際の第２デコーダタイムスタンプとの間の第２時間差を計算する工程と、映像基本ストリームから、映像デコーディングタイムスタンプフィールドからの少なくとも１つの映像デコーディングタイムスタンプを再生し、映像デコーディングタイムスタンプと、映像デコーディングタイムスタンプに対応する映像フレームが復号された際の第３デコーダタイムスタンプとの間の第３時間差を計算する工程と、映像基本ストリームから、映像プレゼンテーションタイムスタンプフィールドからの少なくとも１つの映像プレゼンテーションタイムスタンプを再生し、映像プレゼンテーションタイムスタンプと、映像プレゼンテーションタイムスタンプに対応する映像フレームが提供された際の第４デコーダタイムスタンプとの間の第４時間差を計算する工程と、を備える。

本発明の第２の態様は、システムタイムクロックフィールドと、プログラムクロック基準フィールドと、音声デコーディングタイムスタンプフィールドと、音声プレゼンテーションタイムスタンプフィールドと、映像デコーディングタイムスタンプフィールドと、映像プレゼンテーションタイムスタンプフィールドとを含むデジタルストリームを受信する、検査対象のデコーダ装置の音声／映像同期を検査する方法であって、デコーダ装置の多重分離器に、プログラムクロック基準フィールドから少なくとも２つの連続プログラムクロック基準を再生し得るようにした周波数抽出モジュールを設ける工程と、デジタルストリームの符号化に用いられた装置の周波数を、連続プログラムクロック基準と、連続プログラムクロック基準が再生された際のデコーダタイムスタンプとに基づいて計算する工程と、音声基本ストリームと、映像基本ストリームとを、デジタルストリームから生成する工程と、音声基本ストリームから、音声デコーディングタイムスタンプフィールドからの少なくとも１つの音声デコーディングタイムスタンプを再生し、音声デコーディングタイムスタンプと、音声デコーディングタイムスタンプに対応する音声単位が復号された際の第１デコーダタイムスタンプとの間の第１時間差を計算し、音声基本ストリームから、音声プレゼンテーションタイムスタンプフィールドからの少なくとも１つの音声プレゼンテーションタイムスタンプを再生し、音声プレゼンテーションタイムスタンプと、音声プレゼンテーションタイムスタンプに対応する音声単位が提供された際の第２デコーダタイムスタンプとの間の第２時間差を計算し得るようにした音声デルタ計算モジュールを、音声デコーダ内に設ける工程と、映像基本ストリームから、映像デコーディングタイムスタンプフィールドからの少なくとも１つの映像デコーディングタイムスタンプを再生し、映像デコーディングタイムスタンプと、映像デコーディングタイムスタンプに対応する映像フレームが復号された際の第３デコーダタイムスタンプとの間の第３時間差を計算し、映像基本ストリームから、映像プレゼンテーションタイムスタンプフィールドからの少なくとも１つの映像プレゼンテーションタイムスタンプを再生し、映像プレゼンテーションタイムスタンプと、映像プレゼンテーションタイムスタンプに対応する映像フレームが提供された際の第４デコーダタイムスタンプとの間の第４時間差を計算し得るようにした映像デルタ計算モジュールを設ける工程と、を備える。

本発明の第３の態様は、システムタイムクロックフィールドと、プログラムクロック基準フィールドと、音声デコーディングタイムスタンプフィールドと、音声プレゼンテーションタイムスタンプフィールドと、映像デコーディングタイムスタンプフィールドと、映像プレゼンテーションタイムスタンプフィールドとを含むデジタルストリームにおける音声／映像同期を検査する方法であって、既知の度合いの音声／映像同期を有するデコーダ装置内のデジタルストリームを受信する工程と、プログラムクロック基準フィールドから、少なくとも２つの連続プログラムクロック基準を再生する工程と、デジタルストリームの符号化に用いられた装置の周波数を、連続プログラムクロック基準と、連続プログラムクロック基準が再生された際のデコーダタイムスタンプとに基づいて計算する工程と、音声基本ストリームと、映像基本ストリームとを、デジタルストリームから生成する工程と、音声基本ストリームから、音声デコーディングタイムスタンプフィールドからの少なくとも１つの音声デコーディングタイムスタンプを再生し、音声デコーディングタイムスタンプと、音声デコーディングタイムスタンプに対応する音声単位が復号された際の第１デコーダタイムスタンプとの間の第１時間差を計算する工程と、音声基本ストリームから、音声プレゼンテーションタイムスタンプフィールドからの少なくとも１つの音声プレゼンテーションタイムスタンプを再生し、音声プレゼンテーションタイムスタンプと、音声プレゼンテーションタイムスタンプに対応する音声単位が提供された際の第２デコーダタイムスタンプとの間の第２時間差を計算する工程と、映像基本ストリームから、映像デコーディングタイムスタンプフィールドからの少なくとも１つの映像デコーディングタイムスタンプを再生し、映像デコーディングタイムスタンプと、映像デコーディングタイムスタンプに対応する映像フレームが復号された際の第３デコーダタイムスタンプとの間の第３時間差を計算する工程と、映像基本ストリームから、映像プレゼンテーションタイムスタンプフィールドからの少なくとも１つの映像プレゼンテーションタイムスタンプを再生し、映像プレゼンテーションタイムスタンプと、映像プレゼンテーションタイムスタンプに対応する映像フレームが提供された際の第４デコーダタイムスタンプとの間の第４時間差を計算する工程と、を備える。

本発明の特性は、添付された特許請求の範囲において定められる。しかしながら、本発明自体は、以下の例示的な実施形態の詳細な説明を参考にして、添付の図面と併せて読まれた場合に、最も良く理解されるであろう。

ＭＰＥＧの用語およびデータ構造を、本発明の説明に使用する。ＭＰＥＧという用語は、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−７、デジタル衛星システム（ＤＳＳ：Digital Satellite System）データ構造、あるいは、ＭＰＥＧ規格と共通デジタルストリーム構造を共有する他の規格またはＭＰＥＧ規格に基づいて構築された他の規格と、置き換え可能であることを理解されたい。また、ＭＰＥＧという用語は、前述の規格のすべてを含むことを目的としている。

本発明は、上述のデータ構造または規格のいずれかを利用する製品に適用可能であり、この製品は、デジタルおよびハイブリッドテレビジョン、デジタルビデオディスクプレイヤー、ＭＰＥＧプレイヤー、およびセットトップボックスを含み、かつこれらに限定されない。

しかしながら、本発明は、ＭＰＥＧ符号化信号を受信するＭＰＥＧレシーバ向けに説明される。

図１〜図３は、本発明を理解するための補助として提供され、単にＭＰＥＧ規格のデジタルストリーム構造を示している。

図１は、ＭＰＥＧトランスポートストリームのデータ構造の概略図である。トランスポートストリームは、複数のプログラムを搬送する。トランスポートストリームは、複数の１８８バイト単位により構成され、各単位は、ヘッダおよびペイロードを含んでいる。ヘッダは、同期バイト（sync byte）フィールド、トランスポートエラー標識（transport error indicator）フィールド、ペイロード単位開始標識（payload unit start indicator）フィールド、トランスポート優先度（transport priority）フィールド、パケットＩＤ（ＰＩＤ）フィールド、トランスポートスクランブリング制御（transport scrambling control）フィールド、適応フィールド制御（adaptation field control）フィールド、連続性カウンタ（continuity counter）フィールドおよび適応（adaptation）フィールド、の各フィールドに分割される。ＰＩＤフィールドが、本発明において特に関心が持たれるフィールドである。

適応フィールドは、適応フィールド長（adaptation field length）フィールド、非連続性カウンタ（discontinuity counter）フィールド、ランダムアクセス標識（random access indicator）フィールド、基本ストリーム優先度標識（elementary stream priority indicator）フィールド、任意フィールドのフィールドをポイントする５フラグ（5 flags pointing to an optional fields field）のフィールドおよびスタッフィングバイト（stuffing bytes）フィールド、の各フィールドにさらに分割される。

任意フィールドのフィールドは、プログラムクロック基準（ＰＣＲ：Program Clock Reference）フィールド、旧プログラムクロック基準（ＯＰＣＲ：Old Program Clock Reference）フィールド、スプライスカウンタ（splice counter）フィールド、トランスポートプライベートデータ長（transport private data length）フィールド、トランスポートプライベートデータ（transport private data）フィールド、適応フィールド拡張長（adaptation field extension length）フィールドおよび任意フィールドのフィールドをポイントする３つのフラグ（three flags pointing to an optional fields field）のフィールド、にさらに分割される。ＰＣＲフィールドが、本発明において特に関心が持たれるフィールドである。

任意フィールドのフィールドは、図１に示されるように、さらなるフィールドに分割される。

各ペイロードは、一般的に、パケット化基本ストリーム（ＰＥＳ：Packetized Elementary Stream）の断片の形式のデータを含んでいる。しかしながら、他のデータフォーマットのデータを、ペイロードに組み込むこともできる。映像、音声、エンタイトルメント管理メッセージおよびエンタイトルメント制御メッセージデータが、常にＰＥＳフォーマットに組み込まれる。ＭＰＥＧのＰＥＳストリームのデータ構造を、図３に示し、以下に説明する。

図２は、ＭＰＥＧプログラムストリームのデータ構造の概略図である。プログラムストリームは、複数のパックで構成される可変長構造であり、各パックはパックヘッダおよび１つまたは複数のＰＥＳパケットに分割される。プログラムストリームは、１つのプログラムのみを搬送する。ＭＰＥＧのＰＥＳストリームのデータ構造を、図３に示し、以下に説明する。パックヘッダは、パック開始コード（pack start code）フィールド、“０１’”フィールド、システムクロック基準（ＳＣＲ：System Clock Reference）フィールド、プログラムＭＵＸレートフィールド（program MUX rate field）、パックスタッフィング長（pack stuffing length）フィールド、パックスタッフィングバイト（pack stuffing byte）フィールドおよびシステムヘッダ（system header）フィールド、の各フィールドに分割される。

システムヘッダフィールドは、システムヘッダ開始コード（system header start code）フィールド、ヘッダ長（header length）フィールド、レートバウンド（rate bound）フィールド、音声バウンド（audio bound）フィールド、固定フラグ（fixed flag）フィールド、ＣＳＰＳフラグ、映像バウンド（video bound）フィールドおよびＮループ（N loop）フィールド、にさらに分割される。

Ｎループフィールドは、ストリームＩＤフィールド、“１１”フィールド、Ｐ−ｓｔｄバッファバウンドスケール（buffer bound scale）フィールド、Ｐ−ｓｔｄバッファサイズバウンド（buffer size bound）フィールド、および他のフィールドにさらに分割される。

図３は、ＭＰＥＧパケット化基本ストリーム（ＰＥＳ）のデータ構造の概略図である。ＰＥＳストリームは、パケット開始コードプレフィクス（packet start code prefix）フィールド、ストリームＩＤ（stream ID）フィールド、ＰＥＳパケット長（PES packet length）フィールド、任意ＰＥＳヘッダ（optional PES header）フィールドおよび実際のＰＥＳパケットデータ（actual PES packet data）のためのフィールドにより構成される可変長構造である。任意ＰＥＳヘッダフィールドは、図３に示すように分割およびサブ分割される。任意ＰＥＳヘッダフィールドの任意フィールドのＰＴＳ／ＤＴＳフィールドが、本発明において特に関心が持たれるフィールドである。

図４は、本発明に係る好適なシステムの概略ブロック図である。図４において、レシーバ１００は、条件アクセスサブシステム１１０を含むレシーバコントローラ１０５と、変調ＭＰＥＧストリーム１２０（デジタルストリーム）を受信し、暗号化ＭＰＥＧストリーム１２５をＭＰＥＧストリーム多重分離および解読器１３０に渡すための同調および復調器１１５と、を含む。条件アクセスサブシステム１１０は、解読サポートを、ＭＰＥＧストリーム多重分離および解読器１３０に提供する機能を含む。条件アクセスサブシステム１１０は、オプションであり、変調ＭＰＥＧストリーム１２０が暗号化される際にのみ必要とされる。同様に、ＭＰＥＧ多重分離および解読器１３０は、変調ＭＰＥＧストリーム１２０が暗号化されている場合にのみ解読能力を有する必要がある。ＭＰＥＧ多重分離および解読器１３０は、トランスポートストリーム１２５を、音声基本ストリーム（ＥＳ：Elementary Stream）１４０および映像ＥＳストリーム１４５に変換する。

音声デコーダ１５０は、音声基本ストリーム１４０を受信し、音声ＥＳを再生可能な音声出力１５５に変換する。映像デコーダ１６０は、映像ＥＳストリーム１４５を受信し、映像ＥＳを再生可能な映像出力１６５に変換する。音声出力１５５および映像出力１６５の両方は、通常のテレビジョン、オーディオおよび／またはコンピュータ機器での使用に適している。様々な制御信号１７０が、レシーバコントローラ１０５（または条件アクセスサブシステム１１０）により、ＭＰＥＧ多重分離および解読器１３０、音声デコーダ１５５および映像デコーダ１６０に送られ、ＭＰＥＧ多重分離および解読器ならびに音声および映像デコーダの動作を制御および調整する。

レシーバ１００は、ローカルシステムタイムクロック（ＳＴＣ：System Time Clock）１７５および記憶サブシステム１８０をさらに含む。記憶サブシステム１８０は、ハードディスク、書き換え可能ＣＤドライブ、書き換え可能ＤＶＤドライブ、半導体記憶装置またはテープなどの記憶メディアを備えてもよい。ローカルＳＴＣ１７５は、ＭＰＥＧストリーム多重分離および解読器１３０より、再生されたＰＣＲ信号１８５を受信し、ローカルタイム信号（ＬＴＳ）１９０を生成する。ＬＴＳ１９０は、音声デコーダ１５５および映像デコーダ１６０に供給される。ＰＣＲ信号１８５は、図１で示されるように、ＭＰＥＧトランスポートストリーム内のＰＣＲフィールドから再生されたＰＣＲのストリームである。

ＡＶ同期には５つの尺度がある。第１の尺度は、デコーダＳＴＣ１７５の周波数である。エンコーダＳＴＣ（変調ＭＰＥＧストリーム１２０を生成したユニット内のＳＴＣ）の周波数は、通常、一例として、標準ＦＲＥＱＥＮＣＯＤＥＲ＝２７ＭＨｚ＋／−８１０サイクルで流れる。デコーダＳＴＣ１７５の周波数は、ＦＲＥＱＤＥＣＯＤＥＲ＝（（ＰＣＲＴ−１）−（ＰＣＲＴ））／（ＴＴ−１−ＴＴ）の式で計算され、ただし、ＰＣＲＴはローカルタイムＴＴにおいて再生されたＰＣＲであり、ＰＣＲＴ−１は、ローカルタイムＴＴ−１において再生されたＰＣＲである。ＦＲＥＱＤＥＣＯＤＥＲが、所定の２７ＭＨｚ＋／−８１０サイクルとは異なる場合、レシーバ１００は、本質的にＡＶ同期状態の外にあり、その理由は、音声単位および映像フレームの復号および提供のすべてのクロック動作が、音声および映像が符号化された際に用いられた時間関係とは異なる時間関係で行われるためである。この目的のために、ＭＰＥＧストリーム多重分離および解読器１３０に、周波数抽出モジュール１９５が設けられ、これは、タイムスタンプが付された周波数データ２００を、記憶サブシステム１８０に送る。

ＡＶ同期の第２の尺度は、再生された音声ＤＴＳと実際の音声デコーディングタイム（ＬＴＳＡＤ）の間の差（＿ｄｔａ）であり、これは＿ｄｔａ＝ＤＴＳ−ＬＴＳＡＤとして表現することができる。ＡＶ同期の第３の尺度は、再生された音声ＰＴＳと実際の音声プレゼンテーションタイム（ＬＴＳＡＰ）の間の差（＿ｐｔａ）であり、これは＿ｄｐａ＝ＰＴＳ−ＬＴＳＡＰとして表すことができる。ＤＴＳおよびＰＴＳは、図３に示されるＭＰＥＧのＰＥＳのＰＴＳ／ＤＴＳフィールドから再生される。完璧なＡＶ同期のためには、＿ｄｔａおよび＿ｐｔａは、ゼロに等しい。＿ｄｔａがゼロに等しくない場合、音声単位の復号は、これらの音声単位の符号化がエンコーダで行われたタイミングと同じタイミング関係では行われない。＿ｐｔａがゼロに等しくない場合、レシーバ１００における音声単位の提供は、音声単位がエンコーダで符号化のために提供された際と同じタイミング関係では行われない。この目的のために、音声デコーダ１５０に、音声デルタ計算モジュール２０５を設ける。音声デルタ計算モジュール２０５は、タイムスタンプが付された＿ｄｔａおよびｐｔａ（信号２１０）を、記憶サブシステム１８０に送る。

ＡＶ同期の第４の尺度は、再生される映像ＤＴＳと実際の映像デコーディングタイム（ＬＴＳＶＤ）の間の差（＿ｄｔｖ）であり、これは＿ｄｔｖ＝ＤＴＳ−ＬＴＳｖＤとして表わすことができる。ＡＶ同期の第５の尺度は、再生される映像ＰＴＳと実際の映像プレゼンテーションタイム（ＬＴＳＶＰ）の間の差（＿ｐｔｖ）であり、これは＿ｄｐｖａ＝ＰＴＳ−ＬＴＳＶＰとして表わすことができる。ＤＴＳとＰＴＳは、図３に示されるＭＰＥＧのＰＥＳのＰＴＳ／ＤＴＳフィールドから再生される。完璧なＡＶ同期のためには、＿ｄｔｖおよび＿ｐｔｖは、ゼロに等しい。＿ｄｔｖがゼロに等しくない場合、映像単位（一般的にはフレーム）の復号は、これらの映像単位の符号化がエンコーダで行われたタイミングと同じタイミング関係では行われない。＿ｐｔｖがゼロに等しくない場合、レシーバ１００における映像単位のプレゼンテーションは、映像単位がエンコーダで符号化のために提供された際と同じタイミング関係では行われない。この目的のために、映像デコーダ１６０に、映像デルタ計算モジュール２１５を設ける。映像デルタ計算モジュール２１５は、タイムスタンプが付された＿ｄｔｖおよびｐｔｖ（信号２２０）を、記憶サブシステム１８０に送る。

ＬＴＳタイムスタンプに沿う、ＦＲＥＱＤＥＣＯＤＥＲ、＿ｄｔａ、＿ｐｔａ、＿ｄｔｖおよび＿ｐｔｖは、記憶サブシステム１８０の表２２５に集められる。作業においては、レシーバ１００の検査の間に、既知の良好なＭＰＥＧストリームがレシーバに供給され、ＦＲＥＱＤＥＣＯＤＥＲ、＿ｄｔａ、＿ｐｔａ、＿ｄｔｖおよび＿ｐｔｖは、周期的にサンプリングされ、テーブル２２５に加えられる。これは、どのような作業者の仲介もなく行われ、所望の短い時間間隔または長い時間間隔にわたって行うことができ、所望の数の異なるＭＰＥＧストリームを用いて行うことができる。検査の終わりに、表２２５がコンピュータ２３０にダウンロードされ、ＬＴＳ、ＦＲＥＱＤＥＣＯＤＥＲ、＿ｄｔａ、＿ｐｔａ、＿ｄｔｖおよび＿ｐｔｖの分析が行われる。

代わりの実施形態において、記憶サブシステム１８０は、レシーバシステム１００の代わりに、コンピュータ２３０内に存在する。

検査では、レシーバ１００のハードウェアとソフトウェアの両方が検査される。ハードウェアまたはソフトウェアにて検出されたエラーを、次いで固定して、所望の検査結果が得られるまで追加の検査を行うことができる。周波数抽出モジュール１９５、音声デルタ計算モジュール２０５および映像デルタ計算モジュール２１５は、通常、ソフトウェアで実施され、レシーバ１００にロードされるソフトウェアのテストバージョンのみで実施される。周波数抽出器１９５、音声デルタ計算モジュール２０５および映像デルタ計算モジュール２１５は、通常、製品ハードウェアと共に出荷されるソフトウェア内では提供されない。人間の仲介がないため、検査は、従来の検査手段により得られていた検査よりも徹底的であり、正確かつ高精度である。

図５は、本発明の第１実施形態のフローチャートである。ステップ２５０において、既知の良好なＭＰＥＧストリームが受信される。既知の良好なＭＰＥＧストリームは、１レベルであり、これはＭＰＥＧに準拠するストリームであり、他のレベルは、図４に示される上述の検査システムにおいて、ＦＲＥＱＤＥＣＯＤＥＲ＝２７ＫＨｚ＋／−８１０サイクル、＿ｄｔａ＝０、＿ｐｔａ＝０、＿ｄｔｖ＝０および＿ｐｔｖ＝０を供給することが知られているストリームである。ＦＲＥＱＤＥＣＯＤＥＲは、正確に２７ＭＨｚ＋／−８１０サイクルに等しい必要はないが、供給される音声および映像信号が、同期を外れずに視聴者によって知覚されるように十分に近い必要がある。同様に、＿ｄｔａ、＿ｐｔａ、＿ｄｔｖおよび＿ｐｔｖは、正確にゼロである必要はないが、供給される音声および映像信号が、同期を外れずに視聴者によって知覚されるように十分にゼロに近い必要がある。

ステップ２５５において、ＭＰＥＧストリームは、多重分離および任意に解読される。ステップ２６０において、ＭＰＥＧトランスポートストリームからのＰＣＲが再生され、エンコーダ周波数ＦＲＥＱＤＥＣＯＤＥＲが、上述したように計算される。計算された周波数は、ステップ２６５においてローカルタイム（レシーバタイム）と共に記憶される。ステップ２５５、２６０および２６５は、新たなＰＣＲが検出されるたびに継続的に反復される。

ステップ２７０において、音声単位の場合では、＿ｄｔａおよび＿ｐｔａの値が、図４を参考に上述したように計算され、＿ｄｔａおよび＿ｐｔａの値は、ステップ２６５においてローカルタイム（レシーバタイム）と共に記憶される。音声単位の場合、＿ｄｔｖおよび＿ｐｔｖの値が、図４を参考に上述したように計算され、＿ｄｔｖおよび＿ｐｔｖの値は、ステップ２６５においてローカルタイム（レシーバタイム）と共に記憶される。ステップ２７５は、次の音声または映像単位が検出されるまでの遅延を生成し、次いで方法は、ステップ２７０にループバックされる。音声／映像単位の検出は、図３に示されるＭＰＥＧのＰＥＳにおけるＰＴＳ／ＤＴＳフィールドを検出することにより達成される。音声単位またはビデオ単位の決定は、図１に示されるトランスポートストリームのＰＩＤフィールドに基づく。

ステップ２８０において、記憶されタイムスタンプが付されたＦＲＥＱＤＥＣＯＤＥＲ、＿ｄｔａ、＿ｐｔａ、＿ｄｔｖおよび＿ｐｔｖの値を、検査の間または終了後の任意の時刻にリアルタイムで再検査することができる。タイムスタンプは、ＦＲＥＱＤＥＣＯＤＥＲ、＿ｄｔａ、＿ｐｔａ、＿ｄｔｖの特定の値または時間範囲を、特定の一時音声および映像単位に関連付けることを可能にし、とりわけ内容に関係し得る問題のハードウェアおよびソフトウェアデバッグにおいて大きな補助となる。

図６は、本発明の第２実施形態のフローチャートである。図４に示される、上述したレシーバを用いて、ＭＰＥＧストリームを、ＡＶ同期に関するＭＰＥＧ規格への準拠について検査することができる。必要なものは、高度のＡＶ同期が可能であることが知られているハードウェア／ソフトウェアの組合せだけである。したがって、図６のステップ３０５、３１０、３１５、３２０、３２５および３３０は、上述した図５の各ステップ２５０、２５５、２６０、２６５、２７０、２７５および２８０と同一である。大きな違いは、ステップ３００において、未知のＡＶ同期の質のＭＰＥＧストリームが受信されることである。ステップ３３０において、記憶されタイムスタンプが付されたＦＲＥＱＤＥＣＯＤＥＲ、＿ｄｔａ、＿ｐｔａ、＿ｄｔｖおよび＿ｐｔｖの値を、検査の間または終了後の任意の時刻にリアルタイムで再検査することができる。タイムスタンプは、ＦＲＥＱＤＥＣＯＤＥＲ、＿ｄｔａ、＿ｐｔａ、＿ｄｔｖの特定の値または時間範囲を、特定の一時音声および映像単位に関連付けることを可能にし、ＡＶ同期の問題の原因であるＭＰＥＧストリームあるいは音声または映像単位の特定の部分の決定において大きな補助となる。

以上、本発明の理解のために、本発明の実施形態を説明した。本発明は、本明細書に記載される特定の実施形態に限定されず、しかし、本発明の範囲を逸脱することなく、ここで当業者に明らかになるような様々な修正、再構成および代替が可能であるものと理解される。したがって、添付の特許請求の範囲は、すべてのこのような修正および変更を、本発明の真の要旨および範囲に入るものとして包含することを意図するものである。

図１は、ＭＰＥＧトランスポートストリームのデータ構造の概略図である。図２は、ＭＰＥＧプログラムストリームのデータ構造の概略図である。図３は、ＭＰＥＧパケット化基本ストリームのデータ構造の概略図である。図４は、本発明に係る好適なシステムの概略ブロック図である。図５は、本発明の第１実施形態のフローチャートである。図６は、本発明の第２実施形態のフローチャートである。

Claims

システムタイムクロックフィールドと、プログラムクロック基準フィールドと、音声デコーディングタイムスタンプフィールドと、音声プレゼンテーションタイムスタンプフィールドと、映像デコーディングタイムスタンプフィールドと、映像プレゼンテーションタイムスタンプフィールドとを含むデジタルストリームを受信するためのデコーダ装置の音声／映像同期を検査する方法であって、
前記プログラムクロック基準フィールドから、少なくとも２つの連続プログラムクロック基準を再生する工程と、
前記デジタルストリームの符号化に用いられた装置の周波数を、前記連続プログラムクロック基準と、前記連続プログラムクロック基準が再生された際のデコーダタイムスタンプとに基づいて計算する工程と、
音声基本ストリームと、映像基本ストリームとを、前記デジタルストリームから生成する工程と、
前記音声基本ストリームから、前記音声デコーディングタイムスタンプフィールドからの少なくとも１つの音声デコーディングタイムスタンプを再生し、前記音声デコーディングタイムスタンプと、前記音声デコーディングタイムスタンプに対応する音声単位が復号された際の第１デコーダタイムスタンプとの間の第１時間差を計算する工程と、
前記音声基本ストリームから、前記音声プレゼンテーションタイムスタンプフィールドからの少なくとも１つの音声プレゼンテーションタイムスタンプを再生し、前記音声プレゼンテーションタイムスタンプと、前記音声プレゼンテーションタイムスタンプに対応する音声単位が提供された際の第２デコーダタイムスタンプとの間の第２時間差を計算する工程と、
前記映像基本ストリームから、前記映像デコーディングタイムスタンプフィールドからの少なくとも１つの映像デコーディングタイムスタンプを再生し、前記映像デコーディングタイムスタンプと、前記映像デコーディングタイムスタンプに対応する映像フレームが復号された際の第３デコーダタイムスタンプとの間の第３時間差を計算する工程と、
前記映像基本ストリームから、前記映像プレゼンテーションタイムスタンプフィールドからの少なくとも１つの映像プレゼンテーションタイムスタンプを再生し、前記映像プレゼンテーションタイムスタンプと、前記映像プレゼンテーションタイムスタンプに対応する映像フレームが提供された際の第４デコーダタイムスタンプとの間の第４時間差を計算する工程と、
を備えることを特徴とする方法。
前記計算された周波数と、前記第１時間差と、前記第２時間差と、前記第３時間差と、前記第４時間差とを記憶する工程をさらに含む、ことを特徴とする請求項１に記載の方法。
前記計算された周波数が計算された際のデコーダタイムスタンプと、前記第１デコーダタイムスタンプと、前記第２デコーダタイムスタンプと、前記第３デコーダタイムスタンプと、前記第４デコーダタイムスタンプとを記憶する工程をさらに含む、ことを特徴とする請求項２に記載の方法。
前記計算された周波数と、前記第１時間差と、前記第２時間差と、前記第３時間差と、前記第４時間差とを記憶する前記工程と、前記計算された周波数が計算された際のデコーダタイムスタンプと、前記第１デコーダタイムスタンプと、前記第２デコーダタイムスタンプと、前記第３デコーダタイムスタンプと、前記第４デコーダタイムスタンプとを記憶する前記工程では、前記デコーダ装置の内部にある記憶メディアに記憶される、ことを特徴とする請求項３に記載の方法。
前記計算された周波数と、前記第１時間差と、前記第２時間差と、前記第３時間差と、前記第４時間差とを記憶する前記工程と、前記計算された周波数が計算された際のデコーダタイムスタンプと、前記第１デコーダタイムスタンプと、前記第２デコーダタイムスタンプと、前記第３デコーダタイムスタンプと、前記第４デコーダタイムスタンプとを記憶する前記工程では、前記デコーダ装置の外部にある記憶メディアに記憶される、ことを特徴とする請求項３に記載の方法。
前記第１、第２、第３および第４デコーダタイムスタンプを、前記デジタルストリームの前記プログラムクロック基準フィールドから再生されるプログラムクロック基準に基づいて生成する工程をさらに含む、ことを特徴とする請求項１に記載の方法。
前記第１、第２、第３および第４デコーダタイムスタンプを、前記デジタルストリームの符号化に用いられた前記装置の前記周波数に基づいて生成する工程をさらに含む、ことを特徴とする請求項１に記載の方法。
前記計算された周波数を、エンコーダ周波数の既知の値と比較する工程と、
前記第１時間差をゼロと、前記第２時間差をゼロと、前記第３時間差をゼロと、前記第４時間差をゼロと比較する工程と、
をさらに含むことを特徴とする請求項１に記載の方法。
システムタイムクロックフィールドと、プログラムクロック基準フィールドと、音声デコーディングタイムスタンプフィールドと、音声プレゼンテーションタイムスタンプフィールドと、映像デコーディングタイムスタンプフィールドと、映像プレゼンテーションタイムスタンプフィールドとを含むデジタルストリームを受信する、検査対象のデコーダ装置の音声／映像同期を検査する方法であって、
前記デコーダ装置の多重分離器に、前記プログラムクロック基準フィールドから少なくとも２つの連続プログラムクロック基準を再生し得るようにした周波数抽出モジュールを設ける工程と、
前記デジタルストリームの符号化に用いられた装置の周波数を、前記連続プログラムクロック基準と、前記連続プログラムクロック基準が再生された際のデコーダタイムスタンプとに基づいて計算する工程と、
音声基本ストリームと、映像基本ストリームとを、前記デジタルストリームから生成する工程と、
前記音声基本ストリームから、前記音声デコーディングタイムスタンプフィールドからの少なくとも１つの音声デコーディングタイムスタンプを再生し、前記音声デコーディングタイムスタンプと、前記音声デコーディングタイムスタンプに対応する音声単位が復号された際の第１デコーダタイムスタンプとの間の第１時間差を計算し、前記音声基本ストリームから、前記音声プレゼンテーションタイムスタンプフィールドからの少なくとも１つの音声プレゼンテーションタイムスタンプを再生し、前記音声プレゼンテーションタイムスタンプと、前記音声プレゼンテーションタイムスタンプに対応する音声単位が提供された際の第２デコーダタイムスタンプとの間の第２時間差を計算し得るようにした音声デルタ計算モジュールを、音声デコーダ内に設ける工程と、
前記映像基本ストリームから、前記映像デコーディングタイムスタンプフィールドからの少なくとも１つの映像デコーディングタイムスタンプを再生し、前記映像デコーディングタイムスタンプと、前記映像デコーディングタイムスタンプに対応する映像フレームが復号された際の第３デコーダタイムスタンプとの間の第３時間差を計算し、前記映像基本ストリームから、前記映像プレゼンテーションタイムスタンプフィールドからの少なくとも１つの映像プレゼンテーションタイムスタンプを再生し、前記映像プレゼンテーションタイムスタンプと、前記映像プレゼンテーションタイムスタンプに対応する映像フレームが提供された際の第４デコーダタイムスタンプとの間の第４時間差を計算し得るようにした映像デルタ計算モジュールを設ける工程と、
を備えることを特徴とする方法。
前記計算された周波数と、前記第１時間差と、前記第２時間差と、前記第３時間差と、前記第４時間差とを記憶する工程と、
前記計算された周波数が計算された際のデコーダタイムスタンプと、前記第１デコーダタイムスタンプと、前記第２デコーダタイムスタンプと、前記第３デコーダタイムスタンプと、前記第４デコーダタイムスタンプとを記憶する工程と、
をさらに含むことを特徴とする請求項９に記載の方法。
前記計算された周波数を、エンコーダ周波数の既知の値と比較する工程と
前記第１時間差を第１所定値と、前記第２時間差を第２所定値と、前記第３時間差を第３所定値と、前記第４時間差を第４所定値と比較する工程と、
をさらに含むことを特徴とする請求項９に記載の方法。
前記計算された周波数が、前記エンコーダ周波数の既知の値から所定量異なることに応じて、前記デコーダ装置を修正する工程と、
前記デコーダ装置を、前記第１、第２、第３および第４所定値とそれぞれ異なる前記第１時間差、前記第２時間差、前記第３時間差または前記第４時間差に応じて、第１、第２、第３および第４の所定量によりそれぞれ修正する工程と、
をさらに含むことを特徴とする請求項１１に記載の方法。
検査が終了した後に、前記周波数抽出モジュールと、前記音声デルタ計算モジュールと、前記映像デルタ計算モジュールと、を前記デコーダ装置から取り除く工程をさらに含む、ことを特徴とする請求項９に記載の方法。
前記第１、第２、第３および第４デコーダタイムスタンプを、前記デジタルストリームの前記プログラムクロック基準フィールドから再生されるプログラムクロック基準に基づいて生成する工程をさらに含む、ことを特徴とする請求項９に記載の方法。
前記第１、第２、第３および第４デコーダタイムスタンプを、前記デジタルストリームの符号化に用いられた前記装置の前記周波数に基づいて生成する工程をさらに含む、ことを特徴とする請求項９に記載の方法。
システムタイムクロックフィールドと、プログラムクロック基準フィールドと、音声デコーディングタイムスタンプフィールドと、音声プレゼンテーションタイムスタンプフィールドと、映像デコーディングタイムスタンプフィールドと、映像プレゼンテーションタイムスタンプフィールドとを含むデジタルストリームにおける音声／映像同期を検査する方法であって、
既知の度合いの音声／映像同期を有するデコーダ装置内の前記デジタルストリームを受信する工程と、
前記プログラムクロック基準フィールドから、少なくとも２つの連続プログラムクロック基準を再生する工程と、
前記デジタルストリームの符号化に用いられた装置の周波数を、前記連続プログラムクロック基準と、前記連続プログラムクロック基準が再生された際のデコーダタイムスタンプとに基づいて計算する工程と、
音声基本ストリームと、映像基本ストリームとを、前記デジタルストリームから生成する工程と、
前記音声基本ストリームから、前記音声デコーディングタイムスタンプフィールドからの少なくとも１つの音声デコーディングタイムスタンプを再生し、前記音声デコーディングタイムスタンプと、前記音声デコーディングタイムスタンプに対応する音声単位が復号された際の第１デコーダタイムスタンプとの間の第１時間差を計算する工程と、
前記音声基本ストリームから、前記音声プレゼンテーションタイムスタンプフィールドからの少なくとも１つの音声プレゼンテーションタイムスタンプを再生し、前記音声プレゼンテーションタイムスタンプと、前記音声プレゼンテーションタイムスタンプに対応する音声単位が提供された際の第２デコーダタイムスタンプとの間の第２時間差を計算する工程と、
前記映像基本ストリームから、前記映像デコーディングタイムスタンプフィールドからの少なくとも１つの映像デコーディングタイムスタンプを再生し、前記映像デコーディングタイムスタンプと、前記映像デコーディングタイムスタンプに対応する映像フレームが復号された際の第３デコーダタイムスタンプとの間の第３時間差を計算する工程と、
前記映像基本ストリームから、前記映像プレゼンテーションタイムスタンプフィールドからの少なくとも１つの映像プレゼンテーションタイムスタンプを再生し、前記映像プレゼンテーションタイムスタンプと、前記映像プレゼンテーションタイムスタンプに対応する映像フレームが提供された際の第４デコーダタイムスタンプとの間の第４時間差を計算する工程と、
を備えることを特徴とする方法。
前記デコーダ装置は、前記デジタルストリームの符号化に用いられた前記装置の前記周波数を生成し得るようにした周波数抽出モジュールと、前記第１および第２時間差を生成し得るようにした音声デルタ計算モジュールと、前記第３および第４時間差を生成し得るようにした映像デルタ計算モジュールとを含む、ことを特徴とする請求項１６に記載の方法。
前記計算された周波数と、前記第１時間差と、前記第２時間差と、前記第３時間差と、前記第４時間差とを記憶する工程と、
前記計算された周波数が計算された際のデコーダタイムスタンプと、前記第１デコーダタイムスタンプと、前記第２デコーダタイムスタンプと、前記第３デコーダタイムスタンプと、前記第４デコーダタイムスタンプとを記憶する工程と、
をさらに含むことを特徴とする請求項１６に記載の方法。
前記第１、第２、第３および第４デコーダタイムスタンプを、前記デジタルストリームの前記プログラムクロック基準フィールドから再生されるプログラムクロック基準に基づいて生成する工程、または、前記第１、第２、第３および第４デコーダタイムスタンプを、前記デジタルストリームの符号化に用いられた前記装置の前記周波数に基づいて生成する工程、をさらに含むことを特徴とする請求項１６に記載の方法。
前記計算された周波数を、所定の周波数と比較する工程と、
前記第１時間差を第１所定値と、前記第２時間差を第２所定値と、前記第３時間差を第３所定値と、前記第４時間差を第４所定値と比較する工程と、
をさらに含むことを特徴とする請求項１６に記載の方法。