JP4903930B2

JP4903930B2 - 信号処理装置

Info

Publication number: JP4903930B2
Application number: JP2000217749A
Authority: JP
Inventors: ミシエルドウランフランク
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 1999-07-21
Filing date: 2000-07-18
Publication date: 2012-03-28
Anticipated expiration: 2020-07-18
Also published as: KR20070105947A; JP2001078185A; EP1071290A3; TR200002156A2; RU2262211C2; KR20010015380A; CA2313979C; MXPA00007132A; MY120627A; BR0003012A; CN1160696C; CN1282068A; HK1034348A1; EP1071290A2; KR100805757B1; CA2313979A1

Description

【０００１】
【産業上の利用分野】
本発明は、圧縮されたオーディオ（ａｕｄｉｏ）／ビデオ（ｖｉｄｅｏ）信号の受信機においてオーディオ成分および／またはビデオ成分のミューティング（ｍｕｔｉｎｇ）を制御する信号処理装置に関する。
【０００２】
【発明の背景】
ＭＰＥＧは、国際標準化機構の動画専門家グループ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）により設定された圧縮ビデオ信号のプロトコルである。このプロトコルは、フレーム内符号化と動き補償型予測符号化の両方を含んでいる融通性のある信号形式を定める。フレーム間における符号化形式の変化に因り、また画像内容の変動に因り、個々のフレームがかなり異なった量の圧縮データを有する。圧縮される個々のフレームが異なるデータ量を有するため、フレームのデータは非同期に伝送される傾向にある。
【０００３】
オーディオ信号もＭＰＥＧのプロトコルに従って圧縮される。圧縮されたオーディオ信号は、ビデオ信号と関連づけられるが、別個に伝送される。伝送する場合、圧縮されたオーディオ信号はパケット（ｐａｃｋｅｔ）にセグメント（ｓｅｇｍｅｎｔ）化される。それから、このパケットは、非同期状態で圧縮ビデオ信号と時分割多重化される。
【０００４】
関連する圧縮されたオーディオ成分とビデオ成分とは関係なく非同期であるばかりでなく、それら相互の時間関係すなわち同期は伝送中存在しない。
【０００５】
ＭＰＥＧ規準により圧縮されたオーディオとビデオの成分信号は、個々の圧縮信号セグメントとシステムの基準クロック信号との間の基準を設定するために、プレゼンテーション・タイム・スタンプ（ｐｒｅｓｅｎｔａｔｉｏｎｔｉｍｅｓｔａｍｐ：ＰＴＳ）を含んでいる。このオーディオとビデオのＰＴＳは、それぞれの復元された成分を再同期化すると共にそれらの時間的相互関係を回復するために受像機装置によって利用される。
【０００６】
ＭＰＥＧまたはＭＰＥＧと類似のオーディオ／ビデオ（Ａ／Ｖ）受信機は、関連する復元された成分信号の再生と同時に、Ａ／Ｖ成分のタイミング・リファレンス信号（ＴｉｍｉｎｇＲｅｆｅｒｅｎｃｅＳｉｇｎａｌ：ＰＴＳ）を供給する。受信機内の同期装置は、オーディオ成分とビデオ成分中に生じるＰＴＳを使用して、オーディオ成分とビデオ成分を同期状態に保つ。システムが同期状態になっており、且つオーディオ（音声）がビデオ（映像）とリップ同期（ｌｉｐ−ｓｙｎｃ）していないとき、典型的には、音声はミュート（消音）される。何故なら、視聴者は、少なくとも短時間は、映像と同期していない音声を聞くよりはむしろ音声を聞かないほうを好むことが認められるからである。所定の標準について、送信されたオーディオ成分とビデオ成分のタイミングに関して比較的厳しい要件があるので、一般に、ミューティングは比較的短時間だけ生じる。従って、同期は短時間に生じるよう保証される。
【０００７】
標準化されたＡ／Ｖ成分を復号化するよう設計された受信機では、複数のバーチャル送信チャンネルにおいて、デマルチプレクスされ且つリマルチプレクス（再多重）された非標準信号もしくは標準信号を受信機が受信すると問題がある。何れの場合にも、オーディオ成分とビデオ成分の相対的タイミング関係は変動しやすくなる。長時間、リップ同期は起こらないかもしれないし、ミューティングは長時間起こるかもしれない。このような状況は維持できない（ｕｎｔｅｎａｂｌｅ）。
【０００８】
同期方法に関して、それが非同期信号に用いられたとき、第２の問題がある。典型的に、同期プロセスには粗モードと細密モードがある。オーディオ・データは、通常、ビデオ・データより先に復号化され、メモリに貯えられる。貯えられたオーディオ・データは、関連するビデオ・データが復号化されるときにメモリから再生される。しかしながら、もし非標準信号における音声の到着が遅すぎると、再生される準備のできている音声はなく、同期は起こり得ない。もし音声の発生が早すぎると、（バッファのサイズと比較して）音声を貯えるメモリが不充分でありデータは失われる。
【０００９】
【発明が解決しようとする課題】
このような場合、視聴者は音声のミューティングを長時間被るよりもむしろ、映像と音声が両方とも再生されるほうを好むであろう。従って、受信された標準信号および非標準信号を受け入れるために、ディジタルＡ／Ｖ受信機内に適応型同期システムが必要とされる。
【００１０】
【課題を解決するための手段】
本発明によるＡ／Ｖ受信機は、関連する復元された成分信号の再生と同時に、Ａ／Ｖ成分のタイミング・リファレンス信号（ＰＴＳ）を供給する。同期回路は、生じているオーディオ成分とビデオ成分のＰＴＳの差の関数を発生する。この関数はオーディオとビデオの相対的同期を示す。この関数の値が或る範囲内にあれば、同期プロセスは続けられる。関数の値が所定のレベルを超えると同期プロセスは終結され、非同期のオーディオ成分とビデオ成分が再生される。更に別の実施例では、一定の範囲の関数値について、同期プロセスは継続するが、オーディオ成分はミュートされる。
【００１１】
【実施例】
図１は本発明が実施される典型的なシステムを示し、このシステムは圧縮されたディジタルビデオ信号の伝送回路である。このシステムで、信号源１０からのビデオ信号はビデオ信号圧縮装置１１に供給される。装置１１は、離散的余弦変換を利用する、動き補正された予測エンコーダを含むこともある。装置１１からの圧縮されたビデオ信号はフォーマット装置１２に結合される。このフォーマット装置１２は、国際標準化機構（ＩＯＳ）が開発した規格であるＭＰＥＧのような信号プロトコルに従って、圧縮されたビデオ信号およびその他の補助データを配列する。標準化された信号はトランスポート処理装置１３に供給され、処理装置１３はこの信号をデータのパケットに分割し、或るオーバーヘッド（ｏｖｅｒｈｅａｄ）を追加して、伝送の目的のために、雑音排除機能を与える。トランスポート・パケットは、通常は一定しない割合で起こり、レート・バッファ１４に供給され、バッファ１４は、比較的狭い帯域幅の伝送チャンネルを効率よく使用するのに役立つ比較的一定の割合で出力データを供給する。バッファされたデータは、信号の伝送を行うモデム１５に結合される。
【００１２】
システム・クロック２２は、少なくともトランスポート処理装置１３を含む、多くの装置を動作させるためにクロック信号を発生する。このクロックは、例えば、２７ＭＨｚのような一定の周波数で動作する。しかしながら、ここに示すように、このシステム・クロックはタイミング情報を発生するのに使用される。システム・クロックはカウンタ２３のクロック入力に結合され、カウンタ２３は、例えば、２³⁰を法として計数するように構成される。カウンタ２３から出力される計数値は２個のラッチ２４および２５に供給される。ラッチ２４は、それぞれのフレーム期間の出現と同時に計数値をラッチするようビデオ信号源によって調節される。これらの計数値はプレゼンテーション・タイム・スタンプ（ＰＴＳ）と称され、フォーマット装置１２によって、圧縮されたビデオ信号ストリームの中に含められ、関連するオーディオとビデオ情報のリップ同期（ｌｉｐ−ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ）を行うために受信機で使用される。ラッチ２５は、予定のスケジュールに従って計数値をラッチするようトランスポート処理装置１３（またはシステム制御装置２１）によって調節される。これらの計数値はシステム・クロック・リファレンス（ＳＣＲ）と称され、補助データとして、それぞれの補助トランスポート・パケット内に埋まれる。
【００１３】
オーディオ／ビデオ信号源１０からのビデオ信号に関連するオーディオ信号はオーディオ信号圧縮装置１８に供給される。オーディオ信号圧縮装置１８は、ラッチ１９を制御するためにフレーム・サンプリング・パルス（ビデオフレームに関係なく）を供給する。サンプリング・パルスに応答して、ラッチ１９はカウンタ２３から供給される計数値を捕捉する。ラッチされたこれらの値は、オーディオ・プレゼンテーション・タイム・スタンプＰＴＳ_audに対応する。ＰＴＳ_audは圧縮装置１８から供給される圧縮されたオーディオ信号の中に組み込まれる。圧縮されたオーディオ信号はトランスポート処理装置１７に結合される。処理装置１７は、これらの信号をデータのパケットに分割し、或るオーバヘッドを付加し、伝送の目的のために雑音排除機能を与える。処理装置１７から供給されるオーディオトランスポート・パケットはマルチプレクサ１６に結合される。マルチプレクサ１６は、オーディオおよびビデオトランスポートパケットを時分割多重する。図１で、オーディオ信号とビデオ信号の処理チャンネルに、別個のトランスポート処理装置が示されている。データ・レートが中位の程度であるシステムの場合、２個のトランスポート処理装置およびマルチプレクサ１６の機能は、１個のトランスポート処理装置の中に含められる。
【００１４】
システム制御装置２１は、種々の処理要素を調整するようプログラムされた、可変状態マシンである。制御装置２１、圧縮装置１１と１８、トランスポート処理装置１３と１７およびレート・バッファ１４は、処理装置間で適正なハンドシェーキング（ｈａｎｄｓｈａｋｉｎｇ）が行われているかぎり、共通のクロック回路を介して、同期的に動作することもある。しかしながら、２個の圧縮装置はいずれも同じリファレンス・カウンタ２３からＰＴＳ値を得るので、２つの圧縮された信号の間の正確なタイミング関係は、圧縮された出力信号において得られる。
【００１５】
図２は本発明を具体化する例示的受信装置を示す。モデム２００はモデム１５の逆の機能を実行し、レート・バッファ２０６は、事実上、レート・バッファ１４の逆の機能を実行する。逆トランスポート処理装置２０２は、それぞれのトランスポート・パケットをサービス（ｓｅｒｖｉｃｅ）により分割し、それぞれのパケット・ペイロード（ｐａｃｋｅｔｐａｙｌｏａｄ）をレート・バッファ２０６中の異なるメモリ・ブロックに割り当てる。その際、それぞれのトランスポート・パケット信号ペイロードは補助データから分離され、補助データはシステム制御装置２１０に供給される。これに代わる構成では、別個のトランスポート処理装置が各処理チャンネル内に含められ、それぞれのチャンネルに関連するデータのみを識別し、処理するように構成される。
【００１６】
レート・バッファ２０６からの圧縮されたビデオデータはビデオ復元装置２１４に送られる。レート・バッファ２０６は、突発的すなわち変動的な割合で圧縮ビデオデータを受け取り、要求あり次第、データをビデオ復元装置２１４に供給する。ビデオ復元装置２１４は、圧縮されたビデオ信号に応答して、圧縮されていないビデオ信号を発生し、適当な表示装置あるいは記憶装置（図示せず）に、表示されあるいは貯えられるようにする。
【００１７】
逆トランスポート処理装置２０２からの圧縮されたオーディオデータはレート・バッファ２０６に供給される。バッファ２０６は、圧縮されたオーディオ信号を、システム・プロトコルに従って、オーディオ復元装置２１２に供給する。復元装置２１２は、圧縮されたオーディオ信号に応答して、圧縮されていないオーディオ信号を発生し、適当なスピーカあるいは記憶装置（図示せず）で、再生しあるいは記憶する。
【００１８】
また逆トランスポート処理装置２０２は、補助トランスポート・データからのＳＣＲ、および制御信号をシステム・クロック発生装置２０８に供給する。クロック発生装置２０８は、これらの信号に応答し、少なくともトランスポート処理装置の動作と同期するシステム・クロック信号を発生する。このシステム・クロック信号は受信機システム制御装置２１０に供給されて、特定の処理要素のタイミングを制御する。
【００１９】
図３は例示的クロック発生装置２０８の詳細を示す。受信機モデム２００からのデータは、補助パケット検出装置３１を含む、逆トランスポート処理装置２０２′に結合される。逆トランスポート処理装置２０２′はそれぞれのトランスポート・パケット・ペイロードからトランスポート・ヘッダを分離する。処理装置２０２′は、トランスポート・ヘッダ・データに応答して、所望の関連するオーディオとビデオのプログラム成分のペイロードと補助データのペイロードをデマルチプレクシングする。オーディオ／ビデオのペイロードと補助ペイロードは、レート・バッファ２０８の別個のメモリ・ブロックに書き込まれる。各メモリ・ブロックは、それぞれ先入れ先出しメモリすなわちＦＩＦＯ（ｆｉｒｓｔ−ｉｎ−ｆｉｒｓｔ−ｏｕｔ）として動作し、モデムから得られるときデータを書き込み、対応する成分信号をプロセッサ（図示せず）から要求が出されるときデータを読み出す。個々の補助パケットの中に在るＳＣＲはルートを通って、メモリ要素３４に貯えられる。
【００２０】
補助パケット検出器３１は、ＳＣＲを含んでいる補助トランスポート・パケットを指定する符号ワードを識別するよう構成された整合フィルタであり、ＳＣＲのようなデータを含んでいるトランスポート・パケットの発生と同時に制御パルスを発生する。この制御パルスは、検出時と正確に関連する時に、局部カウンタ３６が現在示す計数値を捕捉しラッチ３５の中に貯えるために利用される。局部カウンタ３６は、電圧制御発振器３７から供給されるパルスを計数する。カウンタ３６はＭを法として計数する。Ｍは、エンコーダ内のそれに対応するカウンタ（カウンタ２３）と同じ数であるが必ずしも同じ数ではない。もしＭがＮと異なれば、その差は誤り均等化で適応される。
【００２１】
電圧制御発振器（ＶＣＸＯ）３７は、クロック制御装置３９より発生された、低域フィルタ３８を通る誤差信号によって制御される。誤差信号は以下のようにして発生される。時刻ｎに到着するＳＣＲをＳＣＲ_nで表わし、ラッチ３５に現在捕捉されている局部計数値をＬＣＲ_nで表わす。クロック制御装置はＳＣＲおよびＬＣＲの連続する値を読み取り、その差に比例する誤差信号Ｅを形成する。
Ｅ→｜ＳＣＲ_n−ＳＣＲ_n-1｜−｜ＬＣＲ_n−ＬＣＲ_n-1｜
誤差信号Ｅは、これらの差を等しくする傾向のある周波数に電圧制御発振器３７を調整するのに利用される。前に説明したように、モジュロ・カウンタのラップアラウンドによって生じる負の差は無視される。クロック制御装置３９から発生される誤差信号はパルス幅変調された信号の形式をとるが、低域フィルタ３８をアナログ構成要素で実施することにより、アナログ形式の誤差信号に変えられる。
【００２２】
このシステムに関する制約は、システムの２つの端部におけるカウンタは同じ周波数またはその倍数を計数するということである。このため、電圧制御発振器の公称周波数はエンコーダにおけるシステム・クロックの周波数にかなり接近していることが要求される。
【００２３】
前述の方法ではかなり速い同期が得られるが、長期の誤差（ｌｏｎｇｔｅｒｍｅｒｒｏｒ）を生じる。長期の誤差ＬＴＥは以下のように、差に比例する。
ＬＴＥ→｜ＬＣＲ_n−ＬＣＲ₀｜−｜ＳＣＲ_n−ＳＣＲ₀｜
ここでＳＣＲ₀およびＬＣＲ₀は、例えば、最初に発生するＳＣＲ、およびそれに対応する、受信機カウンタのラッチされた値である。通常、誤差信号ＥおよびＬＴＥは個々のステップで変動する。従って、ひとたびシステムが“同期”すると、誤差信号はゼロ点に関して１単位ディザする。好ましい同期法は、誤差信号Ｅに１単位のディザが起こるまで誤差信号Ｅを使用して、電圧制御発振器の制御を開始し、それから長期誤差信号ＬＴＥの使用に切り換えて、電圧制御発振器を制御する。
【００２４】
ＶＣＸＯ３７から発生されるシステム・クロック信号は、少なくともトランスポート処理装置とレート・バッファを動作させるのに利用される。この信号はエンコーダのシステム・クロックと少なくとも周波数が同期しているので、レート・バッファのオーバフローまたはアンダフローの可能性はほとんど存在しない。
【００２５】
再び図２に関して、オーディオおよびビデオの同期を説明する。プレゼンテーション・タイム・スタンプＰＴＳ_ｖｉｄは、予め定められたビデオデータに関連する圧縮されたビデオ信号の中に含まれていることを思い起こされたい。ＰＴＳ_ｖｉｄは、関連するビデオが表示される相対的時間を示す。同様に、圧縮されたオーディオ信号は、それぞれのＰＴＳ_ａｕｄに関連する時に再生されるオーディオに関連するプレゼンテーション・タイム・スタンプＰＴＳ_ａｕｄを含んでいる。受信機においてＰＴＳ_ａｕｄとＰＴＳ_ｖｉｄは、オーディオとビデオの同期を得る目的で直接比較されない。何故ならば、それぞれのサンプルは異なる瞬間に決定されるからである。それぞれのＰＴＳ値は、ＶＣＸＯ３７から発生される受信機クロックである、連続的時間軸と比較される。これを行うには、局部タイム・スタンプを捕捉するために、システム・クロックにより発生される局部計数値ＬＣＲをサンプリングする。
【００２６】
対応するＰＴＳに関連するデータが示されると、ＬＣＲがサンプリングされる。例えばそれぞれのオーディオフレームが再生のために出力されると、オーディオ復元装置２１２はＰＴＳ_audを発生する。この時に、ＬＣＲをサンプリングするために制御信号はラッチ２２０を調整する。ＬＣＲの値はＬＡＳ（ｌｏｃａｌａｕｄｉｏｓｔａｍｐ：局部オーディオスタンプ）で表わされる。同様に、ビデオ復元装置２１４が表示用にビデオフレームを発生する時、ビデオ復元装置２１４はＰＴＳ_vidと制御パルスを発生して、ＬＣＲの現在の値を貯えるようラッチ２２２を調節する。ＬＣＲのこれらの値はＬＶＳ（ｌｏｃａｌｖｉｄｅｏ
ｓｔａｍｐ：局部ビデオスタンプ）と称される。
【００２７】
ＬＡＳおよびそれに対応するＰＴＳ_audは減算器２１８のそれぞれの入力端子に結合される。減算器２１８は次の関係式に従って信号Δ_A-PTSを発生する。
Δ_A-PTS＝ＰＴＳ_aud−ＬＡＳ
ＬＶＳおよびそれに対応するＰＴＳ_vidは減算器２１７のそれぞれの入力端子に結合される。減算器２１７は次の関係式に従って信号Δ_V-PTSを発生する。
Δ_V-PTS＝ＰＴＳ_vid−ＬＶＳ
信号Δ_V-PTSとΔ_A-PTSはさらに次の減算器２１９のそれぞれの入力端子に結合される。減算器２１９は次の関係式に従ってオーディオ／ビデオ同期誤差信号ＥＲＲ_PTSを発生する。
ＥＲＲ_PTS＝Δ_V-PTS−Δ_A-PTS
【００２８】
オーディオとビデオを同期させるには、オーディオ／ビデオ同期誤差をゼロにする必要がある。従って、対応するオーディオとビデオのＰＴＳの値の差がその対応するＰＴＳの発生の時間間隔（局部リファレンスの単位で）に等しい時に、そのオーディオ信号とビデオ信号は同期する。
【００２９】
しかしながら、もし同期誤差が、利用できるオーディオ・デコーダのメモリに依存する或る特定の値を超えると、オーディオ成分とビデオ成分を同期させることはできず、同期させようとすると、オーディオ・データが失われるか、あるいは再生されたオーディオ・データに望ましくないアーティファクトを生じる。従って、誤差の値が或る特定の閾値を超える場合、オーディオとビデオの同期を一時中止すべきである。
【００３０】
誤差信号ＥＲＲ_PTSに基づいてオーディオ／ビデオ同期を調整するために２つの手法が用いられる。すなわち、データ部分のスキップ（ｓｋｉｐ）を繰り返しおよび変換クロックの偏移である。一定の期間すなわち“フレーム”のオーディオ信号をスキップすると、オーディオデータ・ストリームはビデオ信号に対して一定の期間だけ進められる。繰り返す（データを消費せずに消音する）と、オーディオデータ・ストリームはビデオ信号に対して一定の期間だけ遅延される。オーディオフレームをスキップしたり繰り返したりすることは、多くの条件下で聞き取れるので、同期の粗い調整にのみ利用される。それでも、短時間のスキップまたは繰り返しは、識別できるオーディオ／ビデオ同期誤差に対して好ましい。もしオーディオフレームが４０ｍｓｅｃ以内であれば、スキップ／繰り返しによる粗い調整で、同期誤差は±２０ｍｓｅｃとなり、これはオーディオ／ビデオ同期に関する基準の範囲内にある。しかしながら、オーディオ変換時間軸がオーディオ信号源の時間軸と一致しなければ、この同期は劣化する。いったん同期が粗く調整されると、オーディオ変換クロック周波数を変えて、オーディオ／ビデオ同期はさらに細かく調整される。
【００３１】
誤差信号ＥＲＲ_PTSはフィルタ／処理装置２１６に供給される。フィルタの機能は、誤差信号ＥＲＲ_PTSを平滑にし、信号雑音により発生されるかも知れない異常な作用を最小限度にする。装置２１６の処理部は、平滑された誤差信号を検査して、オーディオ信号とビデオ信号の粗い同期を達成するために、オーディオ信号の飛ばし／繰返しを行うべきか、あるいは細かい同期を達成するためにオーディオ処理周波数を調節すべきか、あるいはこの何れも行うべきでないかを決定する。粗い同期調整が必要であると決定されれば、処理装置２１６はオーディオ復元装置２１２に制御信号（Ｓ／Ｒ）を供給して、復元された現在のオーディオフレームをスキップするかまたは繰り返すようにオーディオ復元装置２１２を調節する。あるいは、粗い調整に加えて、細かい調整が必要であることが決定されれば、処理装置２１６はオーディオ時間軸回路２１５に制御信号を供給して、オーディオ処理クロック信号の周波数を調整する。
【００３２】
処理アルゴリズムを図４のフローチャートに詳しく示す。開始で示されるシステムの初期設定（ステップ４００）の後、システムはオーディオ復元装置を監視してＰＴＳ_audの発生を調べる（ステップ４０１）。もしＰＴＳ_audが検出されればそれが読み取られ、局部クロック・リファレンスＬＡＳが捕捉され貯えられる（ステップ４０３）。もしＰＴＳ_audが発生していなければ、システムはビデオ圧縮装置を監視してＰＴＳ_vidを調べる（ステップ４０２）。ＰＴＳ_vidが発生していればＰＴＳ_vidは読み取られ、局部クロック・リファレンスＬＶＳは捕捉され貯えられる（ステップ４０４）。ＰＴＳ_audとＰＴＳ_vidの両方が読み取られると次の式に従ってＥＲＲ_PTSが計算される（ステップ４０５）。
ＥＲＲ_PTS＝Δ_V-PTS−Δ_A-PTS
【００３３】
誤差信号の大きさを検査して、誤差信号がオーディオ・デコーダ内の遅延蓄積メモリのサイズに依存する所定の最大値よりも大きいかどうかを確かめる（ステップ４２０）。もし誤差が所定の最大値よりも大きければ、この状態がどのくらい長く存在していたかを確かめるために、ステップ４２１でチェックされる。それが所定の、選択可能な、時間（Ｎ秒）より長ければ、同期プロセスは一時中止される（ステップ４２２）。もしこの状態の存在していた時間がＮ秒以下であれば、ステップ４０６で同期は継続する。飛ばしと繰返しの機能は、オーディオ・メモリに対して異なる反応をするので、Ｎ秒の閾値は誤差信号の正と負の値について異なる。
【００３４】
誤差信号の大きさは、例えば、オーディオのフレーム期間の２分の１よりも大きいかどうか確かめるために、ステップ４０６で検査される。もし誤差信号の大きさがオーディオのフレーム期間の２分の１よりも大きければ、ステップ４０７で、誤差信号の極性がチェックされる。極性が正であれば、現在のオーディオ・フレームが繰り返される（ステップ４０９）。極性が負であれば、ステップ４０８で、現在のオーディオ・フレームは飛ばされる。１フレームを飛ばしたり繰り返したりする動作を繰り返して、このシステムはスタート位置に戻り、次のＰＴＳの発生を待つ。
【００３５】
ステップ４０６で、誤差信号の大きさがオーディオ・フレーム期間の２分の１以下であれば、ステップ４１０で、誤差信号の大きさがゼロよりも大きいかどうかを確かめるために検査される。誤差がゼロよりも大きければ、ステップ４１２で、誤差が前の誤差信号よりも小さいかどうかチェックされる。誤差が前の誤差信号よりも小さければ、それはこのシステムが同期に向かって収束していることを示しており、同期制御パラメータは変更されない。システムはスタート位置に戻り、次のＰＴＳを待つ。逆に、誤差が前の誤差信号よりも増加していれば、ステップ４１４で、このオーディオ・システムの処理クロックは、その周波数を低下させるよう調節される。
【００３６】
ステップ４１０で、もし誤差がゼロより小さい（負である）なら、前の誤差信号より大きいか確かめる（ステップ４１１）。前の誤差信号より大きければ、これもやはりシステムが同期の方へ近づいていることを示しており、同期制御パラメータは変更されない。もし現在の誤差信号が前の誤差信号より小さければ、システムは更に同期がはずれているので、オーディオ処理クロック周波数は増加される（ステップ４１３）。処理ステップ４１４と４１３の後、システムは開始位置に戻り次のＰＴＳの発生を待つ。この例では、オーディオ／ビデオ同期誤差がオーディオフレーム期間の１／２以下に減らされるまで、オーディオフレームをスキップしたり繰り返したりして、システムは粗い調整だけを行うことが注目される。
【００３７】
別の実施例では、それぞれのオーディオフレームの大きさに関連する予め定められた閾値と濾波済み誤差信号が比較される。もし誤差信号が閾値より小さければ、オーディオとビデオのタイミング誤差がオーディオフレームよりも小さいことを示しており、誤差信号はオーディオ時間軸回路２１５に結合され、ここで、オーディオ信号処理（復元）クロックの周波数を調整するのに利用される。もし誤差信号が閾値より大きければ、誤差信号をオーディオフレーム期間で割って、オーディオ信号とビデオ信号が整合していないオーディオフレームの数を確かめる。得られた商の整数部分がオーディオ復元装置に供給され、オーディオフレームをその数だけスキップするか繰り返すようにオーディオ復元装置を調整する。誤差信号の極性により、オーディオフレームを飛ばすべきかまたは繰り返すべきかが決定される。通常、圧縮されたデータは復号化される前にバッファメモリの中に配置されるので、オーディオフレームを飛ばすことまたは繰り返すことは、メモリの読取り／書込みコマンドを制御可能にイネーブルするという簡単な事柄である。
【００３８】
商の小数部分はオーディオ時間軸回路２１５に結合され、ここで、オーディオ／ビデオ同期を微調整するために、小数部分はオーディオ処理クロックを調整するのに利用される。
【００３９】
オーディオＰＴＳの発生率はオーディオ復元装置の処理速度に比例する。オーディオ復元装置の処理速度は、オーディオ復元装置を動作させるのに使用されるクロック信号の周波数に正比例する。もしオーディオ復元装置のクロック周波数がビデオ復元装置を動作させるのに使用されるクロックと無関係であり、且つ細かく調整できるならば、オーディオとビデオのＰＴＳの相対的な発生率は調整することができ、そしてオーディオとビデオは細かく同期させることができる。
【００４０】
復元されたオーディオ信号はＤＡ変換器２２７に結合される。ＤＡ変換器２２７からのアナログ出力信号は、抵抗２２８を介して別のアナログ処理回路（図示せず）に結合される。ミューティング・トランジスタ２２９の導通路は、抵抗２２８と大地電位の間に結合される。トランジスタ２２９の制御電極は、閾値検出器２２５の出力結線に結合される。１Ｖ_beより大きい正の制御電圧により、トランジスタ２２９はＤＡ変換器２２７からのオーディオ出力信号を大地電位にクランプし、それによってオーディオ信号をミューティングする。
【００４１】
通常、圧縮されたオーディオ信号は、左信号、右信号などのような複数の成分を含んでいる。簡単にするために、図２は唯１つのオーディオ出力を示すものであるが、各オーディオ・チャンネルは共通のミューティング制御信号により制御されるミューティング回路を含んでいる。
【００４２】
オーディオ信号をミューティングすることは種々の理由で実行され、リップ同期が失われたからではない。この装置は、リップ同期エラーに基づいてオーディオをミューティングするという点で独特である。
【００４３】
人間である視聴者は、−２０ｍｓまたは＋４０ｍｓのリップ同期エラーに気づく。例示的システムの場合、リップ同期エラーが約１３ｍｓを超えると、オーディオがミューティングされる。１３ｍｓという閾値は、２０ｍｓより小さいが、ＭＰＥＧ１、層（ｌａｙｅｒ）IIオーディオ・フレーム（これは２４ｍｓ）の１／２より大きく選定された。この閾値は、ＭＰＥＧ１、層IIのオーディオ・フレームの１／２より僅かに大きく選定された。その理由は、オーディオ／ビデオ同期フレームのスキップと繰り返しの場合、半分のフレーム（１２ｍｓ）における初期同期状態が可能であり、また約１２ｍｓの閾値で同期しているがミューティングされたオーディオが生じるからである。また、１／２フレームに等しい閾値は、クロックおよびＰＴＳストローブ・サンプリングの不安定性に因る計算されたリップ同期エラーにおける小さな変動による断続的なミューティングを発生する。
【００４４】
ミューティング制御信号は閾値検出器２２５により発生される。この閾値検出器２２５は減算器２１９から得られるオーディオ／ビデオ同期エラー信号を監視する。エラー信号が１３ｍｓに対応する値を超えると、ミューティング制御値が発生される。間違ったミューティング信号を発生させるノイズあるいは他の一時的な状態を排除するために、減算器２１９からのエラー信号は、閾値検出器２２５に供給される前に低域濾波されることがある。
【００４５】
検出器２２５から出てＤＡ変換器２２７とオーディオ復元装置２１２に入る点線の矢印は、代りのミューティング実行例を示すものである。例えば、ミューティング制御信号は、ＤＡ変換器２２７の出力あるいは復元装置２１２の出力を発生させないように設計される。いずれの例においても、この不能化機能は、出力信号のダイナミックレンジの間の中ほどに信号の振幅値を出力するように、それぞれの処理要素を条件づけるように構成される。また、図２の構成は、ビデオ・ミューティング（すなわちブランキング）がビデオＤＡ変換器２２４の制御により実行されること示す。
【００４６】
同期が収束からかけ離れているとき、ミューティング制御は一時中止される。検出器２２５は、誤差信号と最大閾値を比較して、誤差信号が最大閾値を超えると、あるいは誤差信号が所定の時間にわたり最大閾値を超えると、あるいは所定の期間よりも長くミューティングが起こると、ミューティングを一時中止する。ステップ４２２で、ミューティング一時中止の制御も処理装置２１６により行われる。
【００４７】
図５は、別のミューティング装置を示す。この実施例で、フィルタ２１６から発生される飛ばし／繰返しＳ（Ｓｋｉｐ）／Ｒ（Ｒｅｐｅａｔ）信号は１次ミューティング制御として使用される。この信号は、オアゲート２３０とアンドゲート２３３を経由してミューティング回路に結合される。アンドゲート２３３は、処理装置２１６からのＳＵＳＰＥＮＤＭＵＴＥ（ミュート一時中止）信号に応答するミュート・オーバライド（ｏｖｅｒｒｉｄｅ、無視、無効、取消し）として使用される。ミューティングの一時中止はミュート制御信号発生器の内部で行われるので、アンドゲート２３３は、実際には、記号を表す性質のものである。
【００４８】
個別のシステムにおいて、オーディオの時間軸を調整するために使われる精密な制御が、少なくとも１／２のオーディオ・フレームを含む範囲にわたるならば、閾値検出器２３１は、オーディオの時間軸の細かい制御信号を監視し、第２のミューティング制御信号を発生するために含まれる。この第２の制御信号も、オアゲート２３０を介してミューティング回路に結合される。
【００４９】
図５の装置は、別の取り得るミューティング回路を示し、このミューティング回路はアンドゲート２２６を含んでおり、復元装置２１２からの圧縮解除されたオーディオ信号をＤＡ変換器２２７に選択的に結合する。通常、オーディオ信号はバイポーラ（ＡＣ）であり、零の値を中心にスイングする。非結合状態にあるとき、アンドゲート２２６は、信号のダイナミックレンジの真ん中で零の値を好ましく出力する。
【００５０】
現在、圧縮されたオーディオ／ビデオ直接放送衛星（ｄｉｒｅｃｔｂｒｏａｄｃａｓｔｓａｔｅｌｌｉｔｅ）システムが、複数のパケット化された番組が時分割多重化され、単一のトランスポンダによって送られる場合に開発されている。個々の番組はオーディオ信号だけを含んでおり、リップ同期の問題を排除去する。しかしながら、システム・クロックが同期していなければ、望ましくないオーディオが再生されることがある。従って、図３に示すクロック制御装置３９により発生されるエラー信号を監視するように、別の閾値検出器２３２が設けられる。この閾値検出器２３２は、クロック制御装置３９により発生されるエラー信号が固定された状態からの周波数偏移、例えば０．２を表わすとき、ミューティング制御信号を発生する。このミューティング制御信号はオアゲート２３０に結合され、システム・クロックが対応する符号化システム・クロックと実質的に同期するまでオーディオ・ミューティングを生じさせる。同様に、検出装置がオーディオ・時間軸回路２１５の周波数偏移を測定するように結合され、ゲート２３０にオア接続される別のミューティング信号を発生する。
【図面の簡単な説明】
【図１】オーディオ／ビデオ圧縮装置のブロック図である。
【図２】本発明を具体化するオーディオ／ビデオ復元装置のブロック図である。
【図３】圧縮装置のシステム・クロックとほぼ同じレートを有する受信機システム・クロック信号を供給する装置のブロック図である。
【図４】図２の装置の動作のフローチャートである。
【図５】図２において実施される、代わりのミューティング回路のブロック図である。
【符号の説明】
１０オーディオ／ビデオ信号源
１１ビデオ信号圧縮装置
１２フォーマット装置
１３トランスポート処理装置
１４レート・バッファ
１７トランスポート処理装置
１８オーディオ信号圧縮装置
２１システム制御装置
２２システム・クロック
３１補助パケット検出器
３３ＴＰ制御装置
３４メモリ
３７電圧制御発振器（ＶＣＸＯ）
３８低域フィルタ
３９クロック制御装置
２０２逆トランスポート処理装置
２０６レート・バッファ
２０８システム・クロック
２１０システム制御装置
２１２オーディオ復元装置
２１４ビデオ復元装置
２１５オーディオ時間軸回路
２１６フィルタ／処理装置

Claims

圧縮されたオーディオ／ビデオ信号を処理する受像機内で用いられる信号処理装置であって、
前記圧縮されたオーディオ／ビデオ信号を供給する検出器と、
前記圧縮されたオーディオ／ビデオ信号に応答し、復元されたオーディオ信号を供給するオーディオ復元装置と、
前記圧縮されたオーディオ／ビデオ信号に応答し、復元されたビデオ信号を供給するビデオ復元装置と、
復元されたオーディオ信号成分と復元されたビデオ信号成分とに関連付けられたオーディオ／ビデオ成分タイミングリファレンス信号を処理し、復元されたオーディオ信号成分と復元されたビデオ信号成分とに関連付けられて、且つ相対的なオーディオおよびビデオの同期を示す、オーディオ／ビデオ成分タイミングリファレンス信号の差分の関数であって、前記差分の絶対値が増加した場合に出力の絶対値が増加する関数である値を持つオーディオ／ビデオ同期誤差信号を発生する誤差検出器と、
前記オーディオ／ビデオ同期誤差信号の前記絶対値が所定の第１の閾値を超えないときに前記復元されたオーディオ信号のセグメントを飛ばしあるいは繰り返して、関連する復元されたオーディオ信号成分とビデオ信号成分を同期させるように前記オーディオ復元装置を制御し、かつ、前記オーディオ／ビデオ同期誤差信号の前記絶対値が前記所定の第１の閾値を超えたときに前記制御を行わない処理装置と、
から成る信号処理装置。
前記オーディオ／ビデオ同期誤差信号の前記絶対値が前記所定の第１の閾値を超えたときの持続時間を判定するタイミング回路を含み、
前記処理装置は、前記持続時間が所定の長さを超えたときに、前記制御を行わない
ことを特徴とする請求項１記載の信号処理装置。
前記オーディオ／ビデオ同期誤差信号の前記絶対値に応答し、前記オーディオ／ビデオ同期誤差信号の前記絶対値が所定の第２の閾値を超えたときに、前記復元されたオーディオ信号をミュートするミューティング回路を更に含む、請求項１記載の信号処理装置。
前記ミューティング回路が、
前記オーディオ／ビデオ同期誤差信号に応答し、前記オーディオ／ビデオ同期誤差信号の前記絶対値が前記所定の第２の閾値よりも大きいときおよび前記所定の第２の閾値よりも小さいときそれぞれ第１および第２の状態を呈する制御信号を発生する第１の閾値検出器と、
前記制御信号に応答し、前記制御信号が前記第２の状態を呈すると前記復元されたオーディオ信号を通過させ、前記制御信号が前記第１の状態を呈すると前記復元されたオーディオ信号の代替値を供給する信号クランプ手段と、から成る請求項３記載の信号処理装置。
前記圧縮されたオーディオ／ビデオ信号に応答し、前記圧縮されたオーディオ／ビデオ信号の発生に使用されるエンコーダ・システム・クロック信号と所定の関係を有するシステム・クロック信号を発生し、且つ、前記システム・クロック信号および前記エンコーダ・システム・クロック信号の非同期の尺度であるクロック同期誤差信号を発生するクロックコントローラを含む同期回路と、
前記クロック同期誤差信号に応答し、前記クロック同期誤差信号が所定のクロック同期閾値よりも大きいときおよびそれよりも小さいときそれぞれ第１および第２の状態を呈する制御信号を発生する第２の閾値検出器と、
前記第１および第２の閾値検出器からの前記制御信号を合成するオア回路と、を更に含む請求項４記載の信号処理装置。
前記オーディオ／ビデオ成分タイミングリファレンス信号が、復元されたオーディオ成分およびビデオ成分それぞれと関連付けられたタイム・スタンプＰＴＳ_ａｕｄとＰＴＳ_ｖｉｄとを含み、前記タイム・スタンプＰＴＳ_ａｕｄおよびＰＴＳ_ｖｉｄが、所定の時間に定められ且つエンコーダ・システム・クロックと関連づけられ、且つ前記オーディオ復元装置とビデオ復元装置が、前記タイム・スタンプＰＴＳ_ａｕｄとＰＴＳ_ｖｉｄを関連する復元されたオーディオ信号とビデオ信号に与え、且つ前記誤差検出器が、
局部クロック信号源と、
対応するタイム・スタンプＰＴＳ_ａｕｄとＰＴＳ_ｖｉｄの発生する時間的間隔Ｔを、前記局部クロック信号の周期で、測定する手段と、
対応するタイム・スタンプＰＴＳ_ａｕｄとＰＴＳ_ｖｉｄの値の差を計算し、この差と前記時間的間隔Ｔを比較し、前記オーディオ／ビデオ同期誤差信号を発生する手段とを含んでいる、請求項１記載の信号処理装置。
前記オーディオ／ビデオ成分タイミングリファレンス信号が、復元されたオーディオおよびビデオ成分それぞれと関連付けられたタイム・スタンプＰＴＳ_ａｕｄとＰＴＳ_ｖｉｄとを含み、前記タイム・スタンプＰＴＳ_ａｕｄおよびＰＴＳ_ｖｉｄが、所定の時間に定められ且つエンコーダ・システム・クロックと関連づけられる、請求項１記載の信号処理装置。
前記処理装置は、前記オーディオ／ビデオ同期誤差信号の前記絶対値が前記所定の第１の閾値を超えたときに、前記復元されたオーディオ信号成分のミュートを中断することを含むことを特徴とする請求項１に記載の信号処理装置。
オーディオ／ビデオ信号の受信機によりオーディオ成分とビデオ成分を同期させる方法であって、
復元されたオーディオ信号成分と復元されたビデオ信号成分とに関連付けられて、且つ相対的なオーディオおよびビデオの同期を示す、オーディオ／ビデオ成分タイミングリファレンス信号の差分の関数であって、前記差分の絶対値が増加した場合に出力の絶対値が増加する関数である値を持つオーディオ／ビデオ同期誤差信号を発生するステップと、
前記オーディオ／ビデオ同期誤差信号の前記絶対値が所定の第１の値を超えていない場合に前記復元されたオーディオ信号成分とビデオ信号成分を同期させ、且つ、同期しまたは一部同期した復元されたオーディオおよびビデオ出力信号を供給するステップと、
前記オーディオ／ビデオ同期誤差信号の前記絶対値が前記所定の第１の値を超えている場合に前記復元されたオーディオ信号成分およびビデオ信号成分を同期させず、且つ、非同期の復元されたオーディオおよびビデオ出力信号を供給するステップと、から成る前記方法。
前記オーディオ／ビデオ同期誤差信号の前記絶対値が前記所定の第１の閾値を超えたときの持続時間を判定するステップをさらに含み、
前記持続時間が所定の長さを超えたときに前記同期を行わないように制御する
ことを特徴とする請求項９記載の方法。
前記オーディオ／ビデオ同期誤差信号の前記絶対値が所定の第２の閾値を超えた場合に、前記オーディオ信号をミュートするステップと、を更に含む、請求項９記載の方法。
前記同期をさせないことは、前記復元されたオーディオ信号成分のミュートを中断することを含むことを特徴とする請求項９に記載の方法。