JP3932059B2 - 信号処理装置 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、圧縮されたオーディオ（ａｕｄｉｏ）／ビデオ（ｖｉｄｅｏ）信号の受信機においてオーディオ成分および／またはビデオ成分のミューティング
（ｍｕｔｉｎｇ）を制御する信号処理装置に関する。
【０００２】
【発明の背景】
ＭＰＥＧは、国際標準化機構の動画専門家グループ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）により設定された圧縮ビデオ信号のプロトコルである。このプロトコルは、フレーム内符号化と動き補償型予測符号化の両方を含んでいる融通性のある信号形式を定める。フレーム間における符号化形式の変化に因り、また画像内容の変動に因り、個々のフレームがかなり異なった量の圧縮データを有する。圧縮される個々のフレームが異なるデータ量を有するため、フレームのデータは非同期に伝送される傾向にある。
【０００３】
オーディオ信号もＭＰＥＧのプロトコルに従って圧縮される。圧縮されたオーディオ信号は、ビデオ信号と関連づけられるが、別個に伝送される。伝送する場合、圧縮されたオーディオ信号はパケット（ｐａｃｋｅｔ）にセグメント（ｓｅｇｍｅｎｔ）化される。それから、このパケットは、非同期状態で圧縮ビデオ信号と時分割多重化される。
【０００４】
関連する圧縮されたオーディオ成分とビデオ成分とは関係なく非同期であるばかりでなく、それら相互の時間関係すなわち同期は伝送中存在しない。
【０００５】
ＭＰＥＧ規準により圧縮されたオーディオとビデオの成分信号は、個々の圧縮信号セグメントとシステムの基準クロック信号との間の基準を設定するために、プレゼンテーション・タイム・スタンプ（ｐｒｅｓｅｎｔａｔｉｏｎ ｔｉｍｅｓｔａｍｐ：ＰＴＳ）を含んでいる。このオーディオとビデオのＰＴＳは、それぞれの復元された成分を再同期化すると共にそれらの時間的相互関係を回復するために受像機装置によって利用される。
【０００６】
再生されたオーディオ／ビデオ素材の特に問題となる点は、くちびる、すなわち口の動きと関連する話し言葉すなわちオーディオとの間の同期の損失であるリップ同期（ｌｉｐ−ｓｙｎｃ）の損失である。本発明の目的の１つは、リップ同期の損失の問題を除去することである。
【０００７】
【発明の概要】
本発明によるオーディオ／ビデオ受信機は、関連する復元された成分信号の再生と同時にオーディオ／ビデオ成分のタイミング・リファレンス信号（ＰＴＳ）を供給する。同期装置は、発生する成分オーディオとビデオのＰＴＳの差の関数を発生する。オーディオとビデオの相対的同期を示す差の関数は、所定の閾値と比較され、閾値を超えたとき、ミューティング制御信号が発生される。この制御信号に応答するミューティング回路は、再生されたオーディオとビデオの成分信号のタイミングが相互の同期からはずれたとき、オーディオの再生が行われないようにする。
【０００８】
【実施例】
図１は本発明が実施される典型的なシステムを示し、このシステムは圧縮されたディジタルビデオ信号の伝送回路である。このシステムで、信号源１０からのビデオ信号はビデオ信号圧縮装置１１に供給される。装置１１は、離散的余弦変換を利用する、動き補正された予測エンコーダを含むこともある。装置１１からの圧縮されたビデオ信号はフォーマット装置１２に結合される。このフォーマット装置１２は、国際標準化機構（ＩＯＳ）が開発した規格であるＭＰＥＧのような信号プロトコルに従って、圧縮されたビデオ信号およびその他の補助データを配列する。標準化された信号はトランスポート処理装置１３に供給され、処理装置１３はこの信号をデータのパケットに分割し、或るオーバーヘッド（ｏｖｅｒｈｅａｄ）を追加して、伝送の目的のために、雑音排除機能を与える。トランスポート・パケットは、通常は一定しない割合で起こり、レート・バッファ１４に供給され、バッファ１４は、比較的狭い帯域幅の伝送チャンネルを効率よく使用するのに役立つ比較的一定の割合で出力データを供給する。バッファされたデータは、信号の伝送を行うモデム１５に結合される。
【０００９】
システム・クロック２２は、少なくともトランスポート処理装置１３を含む、多くの装置を動作させるためにクロック信号を発生する。このクロックは、例えば、２７ＭＨｚのような一定の周波数で動作する。しかしながら、ここに示すように、このシステム・クロックはタイミング情報を発生するのに使用される。システム・クロックはカウンタ２３のクロック入力に結合され、カウンタ２３は、例えば、２^３０を法として計数するように構成される。カウンタ２３から出力される計数値は２個のラッチ２４および２５に供給される。ラッチ２４は、それぞれのフレーム期間の出現と同時に計数値をラッチするようビデオ信号源によって調節される。これらの計数値はプレゼンテーション・タイム・スタンプ（ＰＴＳ）と称され、フォーマット装置１２によって、圧縮されたビデオ信号ストリームの中に含められ、関連するオーディオとビデオ情報のリップ同期（ｌｉｐ−ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ）を行うために受信機で使用される。ラッチ２５は、予定のスケジュールに従って計数値をラッチするようトランスポート処理装置１３（またはシステム制御装置２１）によって調節される。これらの計数値はシステム・クロック・リファレンス（ＳＣＲ）と称され、補助データとして、それぞれの補助トランスポート・パケット内に埋まれる。
【００１０】
オーディオ／ビデオ信号源１０からのビデオ信号に関連するオーディオ信号はオーディオ信号圧縮装置１８に供給される。オーディオ信号圧縮装置１８は、ラッチ１９を制御するためにフレーム・サンプリング・パルス（ビデオフレームに関係なく）を供給する。サンプリング・パルスに応答して、ラッチ１９はカウンタ２３から供給される計数値を捕捉する。ラッチされたこれらの値は、オーディオ・プレゼンテーション・タイム・スタンプＰＴＳ_ａｕｄに対応する。ＰＴＳ_ａｕｄは圧縮装置１８から供給される圧縮されたオーディオ信号の中に組み込まれる。圧縮されたオーディオ信号はトランスポート処理装置１７に結合される。処理装置１７は、これらの信号をデータのパケットに分割し、或るオーバヘッドを付加し、伝送の目的のために雑音排除機能を与える。処理装置１７から供給されるオーディオトランスポート・パケットはマルチプレクサ１６に結合される。マルチプレクサ１６は、オーディオおよびビデオトランスポートパケットを時分割多重する。図１で、オーディオ信号とビデオ信号の処理チャンネルに、別個のトランスポート処理装置が示されている。データ・レートが中位の程度であるシステムの場合、２個のトランスポート処理装置およびマルチプレクサ１６の機能は、１個のトランスポート処理装置の中に含められる。
【００１１】
システム制御装置２１は、種々の処理要素を調整するようプログラムされた、可変状態マシンである。制御装置２１、圧縮装置１１と１８、トランスポート処理装置１３と１７およびレート・バッファ１４は、処理装置間で適正なハンドシェーキング（ｈａｎｄｓｈａｋｉｎｇ）が行われているかぎり、共通のクロック回路を介して、同期的に動作することもある。しかしながら、２個の圧縮装置はいずれも同じリファレンス・カウンタ２３からＰＴＳ値を得るので、２つの圧縮された信号の間の正確なタイミング関係は、圧縮された出力信号において得られる。
【００１２】
図２は本発明を具体化する例示的受信装置を示す。モデム２００はモデム１５の逆の機能を実行し、レート・バッファ２０６は、事実上、レート・バッファ１４の逆の機能を実行する。逆トランスポート処理装置２０２は、それぞれのトランスポート・パケットをサービス（ｓｅｒｖｉｃｅ）により分割し、それぞれのパケット・ペイロード（ｐａｃｋｅｔ ｐａｙｌｏａｄ）をレート・バッファ２０６中の異なるメモリ・ブロックに割り当てる。その際、それぞれのトランスポート・パケット信号ペイロードは補助データから分離され、補助データはシステム制御装置２１０に供給される。これに代わる構成では、別個のトランスポート処理装置が各処理チャンネル内に含められ、それぞれのチャンネルに関連するデータのみを識別し、処理するように構成される。
【００１３】
レート・バッファ２０６からの圧縮されたビデオデータはビデオ復元装置２１４に送られる。レート・バッファ２０６は、突発的すなわち変動的な割合で圧縮ビデオデータを受け取り、要求あり次第、データを復元装置２１４に供給する。複元装置２１４は、圧縮されたビデオ信号に応答して、圧縮されないビデオ信号を発生し、適当な表示装置あるいは記憶装置（図示せず）に、表示されあるいは貯えられるようにする。
【００１４】
逆トランスポート処理装置２０２からの圧縮されたオーディオデータはレート・バッファ２０６に供給される。バッファ２０６は、圧縮されたオーディオ信号を、システム・プロトコルに従って、オーディオ復元装置２１２に供給する。復元装置２１２は、圧縮されたオーディオ信号に応答して、圧縮されないオーディオ信号を発生し、適当なスピーカあるいは記憶装置（図示せず）で、再生しあるいは記憶する。
【００１５】
また逆トランスポート処理装置２０２は、補助トランスポート・データからのＳＣＲ、および制御信号をシステム・クロック発生装置２０８に供給する。クロック発生装置２０８は、これらの信号に応答し、少なくともトランスポート処理装置の動作と同期するシステム・クロック信号を発生する。このシステム・クロック信号は受信機システム制御装置２１０に供給されて、特定の処理要素のタイミングを制御する。
【００１６】
図３は例示的クロック発生装置２０８の詳細を示す。受信機モデム２００からのデータは、補助パケット検出装置３１を含む、逆トランスポート処理装置２０２′に結合される。逆トランスポート処理装置２０２′はそれぞれのトランスポート・パケット・ペイロードからトランスポート・ヘッダを分離する。処理装置２０２′は、トランスポート・ヘッダ・データに応答して、所望の関連するオーディオとビデオのプログラム成分のペイロードと補助データのペイロードをデマルチプレクシングする。オーディオ／ビデオのペイロードと補助ペイロードは、レート・バッファ２０８の別個のメモリ・ブロックに書き込まれる。各メモリ・ブロックは、それぞれ先入れ先出しメモリすなわちＦＩＦＯ（ｆｉｒｓｔ−ｉｎ−ｆｉｒｓｔ ｏｕｔ）として動作し、モデムから得られるときデータを書き込み、対応する成分信号をプロセッサ（図示せず）から要求が出されるときデータを読み出す。個々の補助パケットの中に在るＳＣＲはルートを通って、メモリ要素３４に貯えられる。
【００１７】
補助パケット検出器３１は、ＳＣＲを含んでいる補助トランスポート・パケットを指定する符号ワードを識別するよう構成された整合フィルタであり、ＳＣＲのようなデータを含んでいるトランスポート・パケットの発生と同時に制御パルスを発生する。この制御パルスは、検出時と正確に関連する時に、局部カウンタ３６が現在示す計数値を捕捉しラッチ３５の中に貯えるために利用される。局部カウンタ３６は、電圧制御発振器３７から供給されるパルスを計数する。カウンタ３６はＭを法として計数する。Ｍは、エンコーダ内のそれに対応するカウンタ（カウンタ２３）と同じ数であるが必ずしも同じ数ではない。もしＭがＮと異なれば、その差は誤り均等化で適応される。
【００１８】
電圧制御発振器（ＶＣＸＯ）３７は、クロック制御装置３９より発生された、低域フィルタ３８を通る誤差信号によって制御される。誤差信号は以下のようにして発生される。時刻ｎに到着するＳＣＲをＳＣＲ_ｎで表わし、ラッチ３５に現在捕捉されている局部計数値をＬＣＲ_ｎで表わす。クロック制御装置はＳＣＲおよびＬＣＲの連続する値を読み取り、その差に比例する誤差信号Ｅを形成する。
Ｅ→｜ＳＣＲ_ｎ−ＳＣＲ_ｎ−１｜−｜ＬＣＲ_ｎ−ＬＣＲ_ｎ−１｜
誤差信号Ｅは、これらの差を等しくする傾向のある周波数に電圧制御発振器３７を調整するのに利用される。前に説明したように、モジュロ・カウンタのラップアラウンドによって生じる負の差は無視される。クロック制御装置３９から発生される誤差信号はパルス幅変調された信号の形式をとるが、低域フィルタ３８をアナログ構成要素で実施することにより、アナログ形式の誤差信号に変えられる。
【００１９】
このシステムに関する制約は、システムの２つの端部におけるカウンタは同じ周波数またはその倍数を計数するということである。このため、電圧制御発振器の公称周波数はエンコーダにおけるシステム・クロックの周波数にかなり接近していることが要求される。
【００２０】
前述の方法ではかなり速い同期が得られるが、長期の誤差（ｌｏｎｇ ｔｅｒｍ ｅｒｒｏｒ）を生じる。長期の誤差ＬＴＥは以下のように、差に比例する。
ＬＴＥ→｜ＬＣＲ_ｎ−ＬＣＲ_ｏ｜−｜ＳＣＲ_ｎ−ＳＣＲ_ｏ｜
ここでＳＣＲ_ｏおよびＬＣＲ_ｏは、例えば、最初に発生するＳＣＲ、およびそれに対応する、受信機カウンタのラッチされた値である。通常、誤差信号ＥおよびＬＴＥは個々のステップで変動する。従って、ひとたびシステムが“同期”すると、誤差信号はゼロ点に関して１単位ディザする。好ましい同期法は、誤差信号Ｅに１単位のディザが起こるまで誤差信号Ｅを使用して、電圧制御発振器の制御を開始し、それから長期誤差信号ＬＴＥの使用に切り換えて、電圧制御発振器を制御する。
【００２１】
ＶＣＸ０３７から発生されるシステム・クロック信号は、少なくともトランスポート処理装置とレート・バッファを動作させるのに利用される。この信号はエンコーダのシステム・クロックと少なくとも周波数が同期しているので、レート・バッファのオーバフローまたはアンダフローの可能性はほとんど存在しない。
【００２２】
再び図２に関して、オーディオおよびビデオの同期を説明する。プレゼンテーション・タイム・スタンプＰＴＳ_ｖｉｄは、予め定められたビデオデータに関連する圧縮されたビデオ信号の中に含まれていることを思い起こされたい。ＰＴＳ_ｖｉｄは、関連するビデオが表示される相対的時間を示す。同様に、圧縮されたオーディオ信号は、それぞれのＰＴＳ_ａｕｄに関連する時に再生されるオーディオに関連するプレゼンテーション・タイム・スタンプＰＴＳ_ａｕｄを含んでいる。受信機においてＰＴＳ_ａｕｄとＰＴＳ_ｖｉｄは、オーディオとビデオの同期を得る目的で直接比較されない。何故ならば、それぞれのサンプルは異なる瞬間に決定されるからである。それぞれのＰＴＳ値は、ＶＣＸ０３７から発生される受信機クロックである、連続的時間軸と比較される。これを行うには、局部タイム・スタンプを捕捉するために、システム・クロックにより発生される局部計数値ＬＣＲをサンプリングする。
【００２３】
ＰＴＳに関連するデータが示されると、ＬＣＲがサンプリングされる。例えばそれぞれのオーディオフレームが再生のために出力されると、オーディオ復元装置２１２はＰＴＳ_ａｕｄを発生する。この時に、ＬＣＲをサンプリングするために制御信号はラッチ２２０を調整する。ＬＣＲの値はＬＡＳ（ｌｏｃａｌ ａｕｄｉｏ ｓｔａｍｐ：局部オーディオスタンプ）で表わされる。同様に、ビデオ復元装置２１４が表示用にビデオフレームを発生する時、ビデオ復元装置２１４はＰＴＳ_ｖｉｄと制御パルスを発生して、ＬＣＲの現在の値を貯えるようラッチ２２２を調節する。ＬＣＲのこれらの値はＬＶＳ（ｌｏｃａｌ ｖｉｄｅｏ ｓｔａｍｐ：局部ビデオスタンプ）と称される。
【００２４】
ＬＡＳおよびそれに対応するＰＴＳ_ａｕｄは減算器２１８のそれぞれの入力端子に結合される。減算器２１８は次の関係式に従って信号Δ_{Ａ−ＰＴＳ}を発生する。
Δ_{Ａ−ＰＴＳ}＝ＰＴＳ_ａｕｄ−ＬＡＳ
ＬＶＳおよびそれに対応するＰＴＳ_ｖｉｄは減算器２１７のそれぞれの入力端子に結合される。減算器２１７は次の関係式に従って信号Δ_{Ｖ−ＰＴＳ}を発生する。
Δ_{Ｖ−ＰＴＳ}＝ＰＴＳ_ｖｉｄ−ＬＶＳ
信号Δ_{Ｖ−ＰＴＳ}とΔ_{Ａ−ＰＴＳ}はさらに次の減算器２１９のそれぞれの入力端子に結合される。減算器２１９は次の関係式に従ってオーディオ／ビデオ同期誤差信号ＥＲＲ_ＰＴＳを発生する。
ＥＲＲ_ＰＴＳ＝Δ_{Ｖ−ＰＴＳ}−Δ_{Ａ−ＰＴＳ}
【００２５】
オーディオとビデオを同期させるには、オーディオ／ビデオ同期誤差をゼロにする必要がある。従って、対応するオーディオとビデオのＰＴＳの値の差がその対応するＰＴＳの発生の時間間隔（局部リファレンスの単位で）に等しい時に、そのオーディオ信号とビデオ信号は同期する。
【００２６】
誤差信号ＥＲＲ_ＰＴＳに基づいてオーディオ／ビデオ同期を調整するために２つの手法が用いられる。すなわち、データ部分のスキップ（ｓｋｉｐ）を繰り返しおよび変換クロックの偏移である。一定の期間すなわち“フレーム”のオーディオ信号をスキップすると、オーディオデータ・ストリームはビデオ信号に対して一定の期間だけ進められる。繰り返す（データを消費せずに消音する）と、オーディオデータ・ストリームはビデオ信号に対して一定の期間だけ遅延される。オーディオフレームをスキップしたり繰り返したりすることは、多くの条件下で聞き取れるので、同期の粗い調整にのみ利用される。それでも、短時間のスキップまたは繰り返しは、識別できるオーディオ／ビデオ同期誤差に対して好ましい。もしオーディオフレームが４０ｍｓｅｃ以内であれば、スキップ／繰り返しによる粗い調整で、同期誤差は±２０ｍｓｅｃとなり、これはオーディオ／ビデオ同期に関する基準の範囲内にある。しかしながら、オーディオ変換時間軸がオーディオ信号源の時間軸と一致しなければ、この同期は劣化する。いったん同期が粗く調整されると、オーディオ変換クロック周波数を変えて、オーディオ／ビデオ同期はさらに細かく調整される。
【００２７】
誤差信号ＥＲＲ_ＰＴＳはフィルタ／処理装置２１６に供給される。フィルタの機能は、誤差信号ＥＲＲ_ＰＴＳを平滑にし、信号雑音により発生されるかも知れない異常な作用を最小限度にする。次に、装置２１６の処理機能が、平滑にされた誤差信号を検査し、オーディオ信号とビデオ信号の粗い同期を達成するためにオーディオのスキップ／繰り返しを使用すべきか、それとも細かい同期を達成するためにオーディオ処理周波数の調整を利用すべきかを決定する。粗い同期調整が必要であると決定されれば、処理装置２１６はオーディオ復元装置２１２に制御信号（Ｓ／Ｒ）を供給して、復元された現在のオーディオフレームをスキップするかまたは繰り返すようにオーディオ復元装置２１２を調節する。あるいは、粗い調整に加えて、細かい調整が必要であることが決定されれば、処理装置２１６はオーディオ時間軸回路２１５に制御信号を供給して、オーディオ処理クロック信号の周波数を調整する。
【００２８】
処理アルゴリズムを図４のフローチャートに詳しく示す。開始で示されるシステムの初期設定（４００）の後、システムはオーディオ復元装置を監視してＰＴＳ_ａｕｄの発生を調べる（４０１）。もしＰＴＳ_ａｕｄが検出されればそれが読み取られ、局部クロック・リファレンスＬＡＳが捕捉され貯えられる（４０３）。もしＰＴＳ_ａｕｄが発生していなければ、システムはビデオ圧縮装置を監視してＰＴＳ_ｖｉｄを調べる（４０２）。ＰＴＳ_ｖｉｄが発生していればＰＴＳ_ｖｉｄは読み取られ、局部クロック・リファレンスＬＶＳは捕捉され貯えられる（４０４）。ＰＴＳ_ａｕｄとＰＴＳ_ｖｉｄの両方が読み取られると次の式に従ってＥＲＲ_ＰＴＳが計算される（４０５）。
ＥＲＲ_ＰＴＳ＝Δ_{Ｖ−ＰＴＳ}−Δ_{Ａ−ＰＴＳ}
誤差信号の大きさを検査してそれがオーディオフレーム期間の１／２以上であるかどうか判定する（４０６）。もしそれがオーディオフレーム期間の１／２より大きければ、誤差信号の極性を検査する（４０７）。極性が正であれば、現在のオーディオフレームが繰り返される（４０９）。極性が負であれば現在のオーディオフレームはスキップされる（４０８）。１フレームをスキップまたは繰り返した後、システムは開始位置に戻り、次のＰＴＳの発生を待つ。
【００２９】
ステップ４０６で、もし誤差信号の大きさがオーディオフレーム期間の１／２以下であれば、その誤差を検査してゼロより大きいか確かめる（４１０）。誤差がゼロより大きければ、その誤差が以前の誤差信号より小さいか確かめる（４１２）。前の誤差信号より小さければ、それはこのシステムが同期に向かって近づいていることを示しており、同期制御パラメータは変更されない。システムは開始位置に戻って次のＰＴＳを待つ。逆に、もし誤差が前の誤差信号より増加していれば、オーディオシステム処理クロックはその周波数を少なくするよう調整される（４１４）。
【００３０】
ステップ４１０で、もし誤差がゼロより小さい（負である）なら、前の誤差信号より大きいか確かめる（４１１）。前の誤差信号より大きければ、これもやはりシステムが同期の方へ近づいていることを示しており、同期制御パラメータは変更されない。もし現在の誤差信号が前の誤差信号より小さければ、システムは更に同期がはずれているので、オーディオ処理クロック周波数は増加される（４１３）。処理ステップ４１４と４１３の後、システムは開始位置に戻り次のＰＴＳの発生を待つ。この例では、オーディオ／ビデオ同期誤差がオーディオフレーム期間の１／２以下に減らされるまで、オーディオフレームをスキップしたり繰り返したりして、システムは粗い調整だけを行うことが注目される。
【００３１】
別の実施例では、それぞれのオーディオフレームの大きさに関連する予め定められた閾値と濾波済み誤差信号が比較される。もし誤差信号が閾値より小さければ、オーディオとビデオのタイミング誤差がオーディオフレームよりも小さいことを示しており、誤差信号はオーディオ時間軸回路２１５に結合され、ここで、オーディオ信号処理（復元）クロックの周波数を調整するのに利用される。もし誤差信号が閾値より大きければ、誤差信号をオーディオフレーム期間で割って、オーディオ信号とビデオ信号が整合していないオーディオフレームの数を確かめる。得られた商の整数部分がオーディオ復元装置に供給され、オーディオフレームをその数だけスキップするか繰り返すようにオーディオ復元装置を調整する。誤差信号の極性により、オーディオフレームを飛ばすべきかまたは繰り返すべきかが決定される。通常、圧縮されたデータは復号化される前にバッファメモリの中に配置されるので、オーディオフレームを飛ばすことまたは繰り返すことは、メモリの読取り／書込みコマンドを制御可能にイネーブルするという簡単な事柄である。
【００３２】
商の小数部分はオーディオ時間軸回路２１５に結合され、ここで、オーディオ／ビデオ同期を微調整するために、小数部分はオーディオ処理クロックを調整するのに利用される。
【００３３】
オーディオＰＴＳの発生率はオーディオ復元装置の処理速度に比例する。オーディオ復元装置の処理速度は、オーディオ復元装置を動作させるのに使用されるクロック信号の周波数に正比例する。もしオーディオ復元装置のクロック周波数がビデオ復元装置を動作させるのに使用されるクロックと無関係であり、かつ細かく調整できるならば、オーディオとビデオのＰＴＳの相対的な発生率は調整することができ、そしてオーディオとビデオは細かく同期させることができる。
【００３４】
復元されたオーディオ信号はＤＡ変換器２２７に結合される。ＤＡ変換器２２７からのアナログ出力信号は、抵抗２２８を介して別のアナログ処理回路（図示せず）に結合される。ミューティング・トランジスタ２２９の導通路は、抵抗２２８と大地電位の間に結合される。トランジスタ２２９の制御電極は、閾値検出器２２５の出力結線に結合される。１Ｖｂｅより大きい正の制御電圧により、トランジスタ２２９はＤＡ変換器２２７からのオーディオ出力信号を大地電位にクランプし、それによってオーディオ信号をミューティングする。
【００３５】
通常、圧縮されたオーディオ信号は、左信号、右信号などのような複数の成分を含んでいる。簡単にするために、図２は唯１つのオーディオ出力を示すものであるが、各オーディオ・チャンネルは共通のミューティング制御信号により制御されるミューティング回路を含んでいる。
【００３６】
オーディオ信号をミューティングすることは種々の理由で実行され、リップ同期が失われたからではない。この装置は、リップ同期エラーに基づいてオーディオをミューティングするという点で独特である。
【００３７】
人間である視聴者は、−２０ｍｓまたは＋４０ｍｓのリップ同期エラーに気づく。例示的システムの場合、リップ同期エラーが約１３ｍｓを超えると、オーディオがミューティングされる。１３ｍｓという閾値は、２０ｍｓより小さいが、ＭＰＥＧ１、層（ｌａｙｅｒ）ＩＩオーディオ・フレーム（これは２４ｍｓ）の１／２より大きく選定された。この閾値は、ＭＰＥＧ１、層ＩＩのオーディオ・フレームの１／２より僅かに大きく選定された。その理由は、オーディオ／ビデオ同期フレームのスキップと繰り返しの場合、半分のフレーム（１２ｍｓ）における初期同期状態が可能であり、また約１２ｍｓの閾値で同期しているがミューティングされたオーディオが生じるからである。また、１／２フレームに等しい閾値は、クロックおよびＰＴＳストローブ・サンプリングの不安定性に因る計算されたリップ同期エラーにおける小さな変動による断続的なミューティングを発生する。
【００３８】
ミューティング制御信号は閾値検出器２２５により発生される。この閾値検出器２２５は減算器２１９から得られるオーディオ／ビデオ同期エラー信号を監視する。エラー信号が１３ｍｓに対応する値を超えると、ミューティング制御値が発生される。間違ったミューティング信号を発生させるノイズあるいは他の一時的な状態を排除するために、減算器２１９からのエラー信号は、閾値検出器２２５に供給される前に低域濾波されることがある。
【００３９】
検出器２２５から出てＤＡ変換器２２７とオーディオ復元装置２１２に入る点線の矢印は、代りのミューティング実行例を示すものである。例えば、ミューティング制御信号は、ＤＡ変換器２２７の出力あるいは復元装置２１２の出力を発生させないように設計される。いずれの例においても、この不能化機能は、出力信号のダイナミックレンジの間の中ほどに信号の振幅値を出力するように、それぞれの処理要素を条件づけるように構成される。また、図２の構成は、ビデオ・ミューティング（すなわちブランキング）がビデオＤＡ変換器２２４の制御により実行されること示す。
【００４０】
図５は、別のミューティング構成例を示す。この実施例において、フィルタ２１６により発生されるスキップ／リピート（Ｓ／Ｒ）信号は、主のミューティング制御信号として使用される。この信号は、オアゲート２３０を介してミューティング回路に結合される。個別のシステムにおいて、オーディオの時間軸を調整するために使われる精密な制御が、少なくとも１／２のオーディオ・フレームを含む範囲にわたるならば、閾値検出器２３１は、オーディオの時間軸の細かい制御信号を監視し、第２のミューティング制御信号を発生するために含まれる。この第２の制御信号も、オアゲート２３０を介してミューティング回路に結合される。
【００４１】
図５の装置は、別の取り得るミューティング回路を示し、このミューティング回路はアンドゲート２２６を含んでおり、復元装置２１２からの圧縮解除されたオーディオ信号をＤＡ変換器２２７に選択的に結合する。通常、オーディオ信号はバイポーラ（ＡＣ）であり、零の値を中心にスイングする。非結合状態にあるとき、アンドゲート２２６は、信号のダイナミックレンジの真ん中で零の値を好ましく出力する。
【００４２】
現在、圧縮されたオーディオ／ビデオ直接放送衛星（ｄｉｒｅｃｔ ｂｒｏａｄｃａｓｔ ｓａｔｅｌｌｉｔｅ）システムが、複数のパケット化された番組が時分割多重化され、単一のトランスポンダによって送られる場合に開発されている。個々の番組はオーディオ信号だけを含んでおり、リップ同期の問題を排除去する。しかしながら、システム・クロックが同期していなければ、望ましくないオーディオが再生されることがある。従って、図３に示すクロック制御装置３９により発生されるエラー信号を監視するように、別の閾値検出器２３２が設けられる。この閾値検出器２３２は、クロック制御装置３９により発生されるエラー信号が固定された状態からの周波数偏移、例えば０．２を表わすとき、ミューティング制御信号を発生する。このミューティング制御信号はオアゲート２３０に結合され、システム・クロックが対応する符号化システム・クロックと実質的に同期するまでオーディオ・ミューティングを生じさせる。同様に、検出装置がオーディオ・時間軸回路２１５の周波数偏移を測定するように結合され、ゲート２３０にオア接続される別のミューティング信号を発生する。
【図面の簡単な説明】
【図１】オーディオ／ビデオ圧縮装置のブロック図である。
【図２】本発明を具体化するオーディオ／ビデオ復元装置のブロック図である。
【図３】圧縮装置のシステム・クロックとほぼ同じレートを有する受信機システム・クロック信号を供給する装置のブロック図である。
【図４】図２の装置の動作のフローチャートである。
【図５】図２において実施される、代わりのミューティング回路のプロック図である。
【符号の説明】
１０ オーディオ／ビデオ信号源
１１ ビデオ信号圧縮装置
１２ フォーマット装置
１３ トランスポート処理装置
１４ レート・バッファ
１７ トランスポート処理装置
１８ オーディオ信号圧縮装置
２１ システム制御装置
２２ システム・クロック
３１ 補助パケット検出器
３３ ＴＰ制御装置
３４ メモリ
３７ 電圧制御発振器（ＶＣＸＯ）
３８ 低域フィルタ
３９ クロック制御装置
２０２ 逆トランスポート処理装置
２０６ レート・バッファ
２０８ システム・クロック
２１０ システム制御装置
２１２ オーディオ復元装置
２１４ ビデオ復元装置
２１５ オーディオ時間軸回路
２１６ フィルタ／処理装置

Claims (10)

1. 圧縮されたオーディオ／ビデオ信号を処理する受信機に使用される装置であり、
   前記圧縮されたオーディオ／ビデオ信号を供給する検出器と、
   前記圧縮されたオーディオ／ビデオ信号に応答し、復元されたオーディオ信号を供給するオーディオ復元装置と、
   前記圧縮されたオーディオ／ビデオ信号に応答し、復元されたビデオ信号を供給するビデオ復元装置と、を含む前記装置であって、
   互いに関連する復元されたオーディオ信号と復元されたビデオ信号との非同期の量を示すエラー信号を発生する検出手段と、
   前記エラー信号が所定の閾値を超えるとき、前記復元されたオーディオ信号をミューティングするミューティング手段と、を更に含む前記装置 。
2. 請求項１記載の装置であって、
   前記ミューティング手段が、
   前記エラー信号に応答し、該エラー信号が前記所定の閾値より大きいとき第１の状態をとり、該エラー信号が前記所定の閾値より小さいとき第２の状態をとる制御信号を発生する閾値検出器と、
   前記制御信号に応答し、前記制御信号が前記第２の状態を示すとき前記復元されたオーディオ信号を送り、前記制御信号が前記第１の状態を示すとき前記復元されたオーディオ信号の代りに置換値を供給する信号クランプ手段とから成る、前記装置。
3. 請求項２記載の装置であって、
   前記クランプ手段には、
   前記復元されたオーディオ信号を受け取るように結合され、前記制御信号に応答して、前記復元されたオーディオ信号を変換する、或いは、変換しないＤＡ変換器が含まれている、前記装置。
4. 請求項２記載の装置であって、
   前記クランプ手段には、
   前記復元されたオーディオ信号を受け取るように結合され、前記閾値検出器に結合されるイネーブル入力を有するアンドゲートが含まれている、前記装置。
5. 請求項２記載の装置であって、
   前記圧縮されたオーディオ／ビデオ信号に応答し、前記圧縮されたオーディオ／ビデオ信号の発生に使われるエンコーダ用のシステム・クロック（図１の２２）信号と所定の関係を有するシステム・クロック（図３の３７）信号を発生する同期回路であり、前記システム・クロック信号の非同期の量を示す別のエラー信号（図５の２３１からの信号）を発生する検出器を含んでいる前記同期回路と、
   前記別のエラー信号に応答し、該別のエラー信号が別の所定閾値より大きいときまたは小さいとき、それぞれ第１の状態または第２の状態をとる制御信号を発生する別の閾値検出器と、
   前記閾値検出器からの前記制御信号と前記別の閾値検出器からの前記制御信号とを合成するオア回路と、を含む前記装置。
6. 請求項１記載の装置であって、前記エラー信号を発生する前記検出手段がリップ同期検出器である、前記装置。
7. 請求項１記載の装置であって、
   前記オーディオ／ビデオ信号のオーディオ成分とビデオ成分には、所定の時間に決められ、エンコーダのシステム・クロックに関連するタイム・スタンプＰＴＳ_ａｕｄとＰＴＳ_ｖｉｄ がそれぞれ含まれており、
   前記オーディオ復元装置と前記ビデオ復元装置が、互いに関連する復元されたオーディオ信号とビデオ信号と共に前記タイム・スタンプＰＴＳ_ａｕｄとＰＴＳ_ｖｉｄ を供給し、
   前記エラー信号を発生する前記検出手段が、
   ローカル・クロック信号源と、
   前記ローカル・クロック信号の各サイクルにおいて、互いに対応するタイム・スタンプＰＴＳ_ａｕｄとＰＴＳ_ｖｉｄの各発生時点相互間の時間Ｔを特定する手段と、
   互いに対応するタイム・スタンプＰＴＳ_ａｕｄとＰＴＳ_ｖｉｄの各値の差を計算し、この差と前記時間Ｔとを比較して、オーディオ／ビデオ同期制御信号を発生する手段と、
   前記オーディオ／ビデオ同期制御信号が所定の値を超えるとき、前記エラー信号を発生する閾値検出器とを含んでいる、前記装置。
8. 請求項７記載の装置であり、前記オーディオ復元装置がオーディオ信号を所定の期間で復元する前記装置であって、
   前記オーディオ／ビデオ同期制御信号に応答し、復元されたオーディオ信号とビデオ信号を同期化する手段であり、前記オーディオ信号の所定期間分をスキップまたは繰り返すように前記オーディオ復元装置を制御するための別の制御信号を発生する装置を含んでいる前記手段と、
   前記別の制御信号と前記エラー信号との論理和をとり、前記ミューティング手段を制御する複合のエラー信号を発生する回路と、を含んでいる前記装置。
9. 請求項７記載の装置であって、
   前記圧縮されたオーディオ／ビデオ信号に応答し、前記圧縮されたオーディオ／ビデオ信号の発生に使われるエンコーダ用システム・クロック信号に前記ローカル・クロック信号を同期化させる同期回路であり、前記システム・クロック信号の非同期の量を示す別の制御信号を発生する検出器を含んでいる前記同期回路と、
   前記別の制御信号に応答し、前記別の制御信号が別の所定の閾値より大きいかもしくは小さいとき、それぞれ第１の状態もしくは第２の状態をとる別のエラー信号を発生する別の閾値検出器と、
   前記閾値検出器からの前記制御信号と前記別の閾値検出器からの前記制御信号とを合成するオア回路と、を含む前記装置。
10. 請求項１記載の装置であって、
    前記オーディオ／ビデオ信号のオーディオ成分とビデオ成分には、所定の時間に決められ、エンコーダのシステム・クロックに関連するタイム・スタンプＰＴＳ_ａｕｄとＰＴＳ_ｖｉｄがそれぞれ含まれており、
    前記オーディオ復元装置と前記ビデオ復元装置が、互いに関連する復元されたオーディオ信号とビデオ信号と共に前記タイム・スタンプＰＴＳ_ａｕｄとＰＴＳ_ｖｉｄ を供給し、
    前記検出手段が、互いに関連する復元されたオーディオ信号とビデオ信号について、前記ＰＴＳ_ａｕｄとＰＴＳ_ｖｉｄの各値の差の関数として前記エラー信号を発生する、前記装置。

Images