JP3976759B2

JP3976759B2 - 音声信号と映像信号を同期させる装置

Info

Publication number: JP3976759B2
Application number: JP2004330007A
Authority: JP
Inventors: エドワードランクフオードダグラス; スコツトデイースマイケル
Original assignee: Thomson Consumer Electronics Inc
Current assignee: Technicolor USA Inc
Priority date: 1993-09-30
Filing date: 2004-11-15
Publication date: 2007-09-19
Anticipated expiration: 2022-09-19
Also published as: EP0648056A3; DE69417139D1; AU684520B2; AU7027894A; FI944529A; RU94034121A; RU2142210C1; KR950010508A; JP4382736B2; US5430485A; JP3633972B2; TR28210A; ES2131139T3; DE69417139T2; CN1053308C; PL305189A1; JPH07177479A; CA2132186C; EP0648056A2; KR100337212B1

Description

本発明は、音声（ａｕｄｉｏ）／映像（ｖｉｄｅｏ）信号復元装置において音声および映像成分信号を同期させる方法と装置に関する。

音声および映像（Ａ／Ｖ）の伝送および受信において、音声成分と映像成分が適正に同期することが要求される。ＥＩＡ基準ＲＳ−２５０−Ｂでは、関連する音声信号と映像信号の時間差を、進み２５ｍｓまたは遅れ４０ｍｓに制限している。フィルム基準では、関連する音声と映像の時間差を±１／２フレームに制限しており、これは２０．８ｍｓに相当する。従って、信号源から視聴者までのＡ／Ｖ同期の許容される目標は、±２０ｍｓの時間差である。

従来の非同期伝送用ＣＯＤＥＣ装置に関し、特に双方向化された非同期伝送路を用いる場合の音声信号や画像信号のＣＯＤＥＣ装置について記載しているものがある（特許文献１）。
特開平３−２６７８４６号公報

ディジタル通信システムは、典型的には、関連する信号成分を１つのチャンネルに時間多重する。このような多重は、ケーブル、ファイバ、地上および衛星用に提案され実施されたＡ／Ｖ伝送システムの間で普通行われている。信号成分を時間多重すると、情報の伝送と表示の間の自然な時間関係が破壊されることがある。従って、伝送された成分信号のうち時間的に際どい成分は多重される前に、基準時間と関連付けられる。これは情報を“スタンプ（ｓｔａｍｐ）する”と称され、タイミング・サンプル（ｔｉｍｉｎｇｓａｍｐｌｅ）はタイム・スタンプ（ｔｉｍｅｓｔａｍｐ）と称される。次に受信機はそれぞれの成分をそれぞれのタイム・スタンプに対して出力する。しかしながら、これを行うために、受信機は、エンコーダのタイム・リファレンス（ｔｉｍｅｒｅｆｅｒｅｎｃｅ）に同期する非常に正確な局部タイム・リファレンスを維持しなければならない。

受信機が送信機の時間軸に確りと結合されなければならない一つの理由は、リアルタイム・データの出力が受信機への入力とつり合うようにするためである。受信機がデータをあまり速く供給（表示）すると、受信機内のバッファはアンダーフローして出力信号の中断を生じる。もし受信機がデータをあまり遅く出力すると、バッファはオーバーフロー（有限レート・バッファを仮定する）して、データの損失を生じる。

本発明のシステムでは、伝送された情報の所定のパケット（ｐａｃｋｅｔ）に関連する捕捉的タイム・スタンプ（システム・クロック・リファレンス（ｓｙｓｔｅｍｃｌｏｃｋｒｅｆｅｒｅｎｃｅ）：ＳＣＲ）によって、受信機は送信機に同期させられる。このタイム・スタンプ（ＳＣＲ）の捕捉のタイミングは、同一のカウンタから得られることによるほかは、映像データに関連するプレゼンテーション・タイム・スタンプ（ｐｒｅｓｅｎｔａｔｉｏｎｔｉｍｅｓｔａｍｐ：ＰＴＳ）とは関係がない。ＳＣＲ符号は、送信機においてほぼ一定周波数のクリスタルクロックを計数するモジュロ２^Ｎカウンタ（Ｎ≧３２）をサンプリングすることにより発生される。受信機のクロック（局部クロック）も２^Ｎを法として計数され、ＳＣＲが受信機に到着するたびに、局部カウンタはサンプリングされ、局部クロック・リファレンス（ｌｏｃａｌｃｌｏｃｋｒｅｆｅｒｅｎｃｅ：ＬＣＲ）を発生する。ＬＣＲをＳＣＲに等しくさせようとする試みはなされない。むしろ、局部クロックは、タイム・スタンプＬＣＲとＳＣＲの差の変化を処理することに基づいて調節される。以下の関係式に従って誤差信号が発生される。
ＥＲＲ＝｜ＳＣＲ_ｎ−ＳＣＲ_ｎ−１｜−｜ＬＣＲ_ｎ−ＬＣＲ_ｎ−１｜
誤差信号ＥＲＲは局部クロック周波数を制御するために使用される。この処理により、ＬＣＲは送信機のクロック周波数に任意に近づけることができる。システム・クロックと局部クロックはいずれもＮを法として計数しているので、周期的にラップアラウンドする。これが起こると、それぞれの項ＳＣＲ_ｎ−ＳＣＲ_ｎ−１とＬＣＲ_ｎ−ＬＣＲ_ｎ−１は負になり誤りになる。システムはそれぞれの差の極性を監視し、差のうちの１つが負である時、この差は無視される。

ＭＰＥＧ標準に従って符号化された映像信号は、入力映像フレームと同期するプレゼンテーション・タイム・スタンプＰＴＳ_ｖｉｄを含んでいる。それぞれのＰＴＳ_ｖｉｄは、それぞれのフレームが受信機に表示される（ＮＴＳＣ素材の場合、公称３０Ｈｚ）相対的時間を表示する。関連する音声も、システムの時間と同じ時間軸に基づき、プレゼンテーション・タイム・スタンプＰＴＳ_ａｕｄで符号化され、このタイム・スタンプは、符号化された音声データを含んでいるＭＰＥＧ方式パケット層の中に置かれる。音声系のパケット層は音声データのいくつかの“フレーム”を含んでおり、それぞれのフレームは元の音声データのフレーム（本例では２４ｍｓ）に等しい。音声フレームは、（１２７バイト）トランスポート・パケット（ｔｒａｎｓｐｏｒｔｐａｃｋｅｔ）の持続期間の約６倍である。音声、映像、データなど、伝送される情報は、所定の大きさのそれぞれのトランスポート・パケットに分割され、種々の制御ワードが付加され、誤り訂正／検出および同期の付加的層が供給される。更に、ＭＰＥＧプロトコルによれば、ＭＰＥＧ方式の層１つあたりの音声フレームの数は変動する。従って、関連する音声および映像素材に対して、映像と音声のプレゼンテーション・タイム・スタンプ（ＰＴＳ_ｖｉｄとＰＴＳ_ａｕｄ）の間にはほとんど相関関係がない。従って、ＰＴＳ_ｖｉｄとＰＴＳ_ａｕｄを比較して音声成分と映像成分を同期させようとしてもむずかしい。本発明の目的は、関連する音声成分と映像成分を同期させる方法を簡単化することである。

それぞれのタイム・スタンプＰＴＳ_ｖｉｄおよびＰＴＳ_ａｕｄを有する互いに排他的なデータの“フレーム”で伝送される、関連する映像情報と音声情報の成分を復号化する受信機が制御装置を含んでおり、制御装置は受け取られたそれぞれのタイム・スタンプに応答し、映像成分または音声成分のそれぞれのフレームを遅延させまたはスキップ（ｓｋｉｐ）させることにより粗い同期を行い、２つの成分を時間的にほぼ一致させる。映像処理装置とは別に、音声信号処理装置のクロック周波数を調節することにより、細かい同期が行われる。周波数調節のための制御は、音声タイム・スタンプと映像タイム・スタンプの差に関連する。
発明の構成
特許請求の範囲と実施例との対応関係を実施例で使われている参照符号を用いて示すと次の通りである。
（請求項１）圧縮された音声信号と映像信号を再生して、同期した音声信号と映像信号を発生する装置であって、該音声信号と映像信号がそれぞれ、所定間隔を置いて定められ且つエンコーダ・システム・クロックに関連付けられたタイム・スタンプＰＴＳ_ａｕｄとＰＴＳ_ｖｉｄを含んでおり、
前記圧縮され再生された音声信号および映像信号の信号源（２００）、および局部クロック信号源（２０８）と、
前記圧縮され再生された映像信号に応答し、復元された映像信号および前記タイム・スタンプＰＴＳ_ｖｉｄを発生する映像復元装置（２１４）と、
前記圧縮され再生された音声信号に応答し、復元された音声信号および前記タイム・スタンプＰＴＳ_ａｕｄを発生する音声復元装置（２１２）と、
対応するタイム・スタンプＰＴＳ_ａｕｄとＰＴＳ_ｖｉｄの発生する時間間隔Ｔを前記局部クロック信号のサイクルで決定する手段（２１７、２１８、２２０、２２２）であって、当該手段は、カウンタを含み、前記局部クロック信号のサイクルを数え、前記対応するタイム・スタンプＰＴＳ _ａｕｄとＰＴＳ _ｖｉｄの発生の間に生じる前記クロック信号のサイクル数に等しい前記時間間隔Ｔを表わす値を発生する、前記手段と、
対応するタイム・スタンプＰＴＳ_ａｕｄとＰＴＳ_ｖｉｄの値の差を計算し、この差と前記時間間隔Ｔを比較し、音声／映像同期誤差信号を発生する手段（２１９）と、
前記音声／映像同期誤差信号に応答し、復元された音声信号と映像信号を同期させる手段（２１５、２１６）とを含んでいる、前記装置。
（請求項２）カウンタを含む前記手段が、
前記局部クロック信号に応答しＮ（Ｎは整数）を法として一連の計数値を発生するカウンタと、
前記タイム・スタンプＰＴＳ _ａｕｄの発生に応答して第１の計数値を捕捉し、対応するタイム・スタンプＰＴＳ _ｖｉｄの発生に応答して第２の計数値を捕捉する手段と、
前記第１と第２の計数値の差を決定する減算器とから成る、請求項１に記載の装置。
（請求項３）前記圧縮され再生された音声／映像信号がシステム・クロック・リファレンス（ＳＣＲ）を含んでいる、請求項１に記載の装置であって、更に、該システム・クロック・リファレンスに応答して前記エンコーダ・システム・クロックに同期する前記局部クロック信号を発生する手段を含んでいる請求項１に記載の装置。
（請求項４）前記それぞれの復元装置が復元された映像信号を所定期間に発生し、且つ復元された音声信号を更に別の所定期間に発生し、前記同期手段が、前記音声／映像同期誤差信号に応答して前記所定期間の前記復元された音声信号をスキップする或いは繰り返す装置を含んでいる、請求項１に記載の装置。
（請求項５）復元された音声信号を発生する前記復元装置が、該復元装置を動作させる処理用クロック信号源を含み、前記同期手段が、前記音声／映像同期誤差信号に応答して前記処理用クロック信号の周波数を変化させる更に別の装置を含んでいる、請求項４に記載の装置。
（請求項６）前記処理用クロック信号の周波数を変化させる前記装置が２進レート乗算器を含んでいる、請求項５に記載の装置。
（請求項７）前記それぞれの復元装置が復元された映像信号を所定期間に発生し、且つ復元された音声信号を更に別の所定期間に発生し、前記同期手段が、前記音声／映像同期誤差信号に応答して前記所定期間の前記復元された音声信号をスキップする或いは繰り返す装置を含んでいる、請求項２に記載の装置。
（請求項８）復元された音声信号を発生する前記音声復元装置が、該音声復元装置を動作させる処理用クロック信号源を含み、前記同期手段が、前記音声／映像同期誤差信号に応答して前記処理用クロック信号の周波数を変化させる更に別の装置を含んでいる、請求項７に記載の装置。

図１は本発明が実施される典型的なシステムを示し、このシステムは圧縮されたディジタル映像信号の伝送回路である。このシステムで、信号源１０からの映像信号は映像信号圧縮装置１１に供給される。装置１１は、離散的余弦変換を利用する、動き補正された予測エンコーダを含むこともある。装置１１からの圧縮された映像信号はフォーマット装置１２に結合される。このフォーマット装置１２は、国際標準化機構（ＩＯＳ）が開発した規格であるＭＰＥＧのような信号プロトコルに従って、圧縮された映像信号およびその他の補助データを配列する。標準化された信号はトランスポート処理装置１３に供給され、処理装置１３はこの信号をデータのパケットに分割し、或るオーバーヘッド（ｏｖｅｒｈｅａｄ）を追加して、伝送の目的のために、雑音排除機能を与える。トランスポート・パケットは、通常は一定しない割合で起こり、レート・バッファ１４に供給され、バッファ１４は、比較的狭い帯域幅の伝送チャンネルを効率よく使用するのに役立つ比較的一定の割合で出力データを供給する。バッファされたデータは、信号の伝送を行うモデム１５に結合される。

システム・クロック２２は、少なくともトランスポート処理装置１３を含む、多くの装置を動作させるためにクロック信号を発生する。このクロックは、例えば、２７ＭＨｚのような一定の周波数で動作する。しかしながら、ここに示すように、このシステム・クロックはタイミング情報を発生するのに使用される。システム・クロックはカウンタ２３のクロック入力に結合され、カウンタ２３は、例えば、２^３０を法として計数するように構成される。カウンタ２３から出力される計数値は２個のラッチ２４および２５に供給される。ラッチ２４は、それぞれのフレーム期間の出現と同時に計数値をラッチするよう映像信号源によって調整される。これらの計数値はプレゼンテーション・タイム・スタンプ（ＰＴＳ）と称され、フォーマット装置１２によって、圧縮された映像信号ストリームの中に含められ、関連する音声と映像情報のリップ同期（ｌｉｐ−ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ）を行うために受信機で使用される。ラッチ２５は、予定のスケジュールに従って計数値をラッチするようトランスポート処理装置１３（またはシステム制御装置２１）によって調整される。これらの計数値はシステム・クロック・リファレンス（ＳＣＲ）と称され、補助データとして、それぞれの補助トランスポート・パケット内に埋め込まれる。

音声／映像信号源１０からの映像信号に関連する音声信号は音声信号圧縮装置１８に供給される。音声信号圧縮装置１８は、ラッチ１９を制御するためにフレーム・サンプリング・パルス（映像フレームに関係なく）を供給する。サンプリング・パルスに応答して、ラッチ１９はカウンタ２３から供給される計数値を捕捉する。ラッチされたこれらの値は、音声プレゼンテーション・タイム・スタンプＰＴＳ_ａｕｄに対応する。ＰＴＳ_ａｕｄは圧縮装置１８から供給される圧縮された音声信号の中に組み込まれる。圧縮された音声信号はトランスポート処理装置１７に結合される。処理装置１７は、これらの信号をデータのパケットに分割し、或るオーバーヘッドを付加し、伝送の目的のために雑音排除機能を与える。処理装置１７から供給される音声トランスポート・パケットはマルチプレクサ１６に結合される。マルチプレクサ１６は、音声および映像トランスポート・パケットを時分割多重する。図１で、音声信号と映像信号の処理チャンネルに、別個のトランスポート処理装置が示されている。データ・レートが中位の程度であるシステムの場合、２個のトランスポート処理装置およびマルチプレクサ１６の機能は、１個のトランスポート処理装置の中に含められる。

システム制御装置２１は、種々の処理要素を調整するようプログラムされた、可変状態マシンである。制御装置２１、圧縮装置１１と１８、トランスポート処理装置１３と１７およびレート・バッファ１４は、処理装置間で適正なハンドシェーキング（ｈａｎｄｓｈａｋｉｎｇ）が行われているかぎり、共通のクロック回路を介して、同期的に動作することもある。しかしながら、２個の圧縮装置はいずれも同じリファレンス・カウンタ２３からＰＴＳ値を得るので、２つの圧縮された信号の間の正確なタイミング関係は、圧縮された出力信号において得られる。

図２は本発明を具体化する例示的受信装置を示す。モデム２００はモデム１５の逆の機能を実行し、レート・バッファ２０４と２０６は、事実上、レート・バッファ１４の逆の機能を実行する。図２で、１個の逆トランスポート処理装置２０２が示されており、この処理装置はそれぞれのトランスポート・パケットをサービス（ｓｅｒｖｉｃｅ）により分割し、それぞれのデータを適当な処理チャンネルに割り当てる。その際、それぞれのトランスポート・パケット信号ペイロード（ｐａｙｌｏａｄ）は補助データから分離され、それぞれのペイロードは適当な処理チャンネルに供給され、補助データはシステム制御装置２１０に供給される。これに代わる構成では、別個のトランスポート処理装置が各処理チャンネル内に含められ、それぞれのチャンネルに関連するデータのみを識別し処理するように構成される。

逆トランスポート処理装置２０２からの圧縮された映像データはレート・バッファ２０４に供給される。バッファ２０４は圧縮された映像信号を、システム・プロトコルに従って、復元装置２１４に供給する。レート・バッファ２０４は、突発的すなわち変動的な割合でデータを受け取り、要求あり次第、データを復元装置２１４に供給する。復元装置は、圧縮された映像信号に応答して、圧縮されない映像信号を発生し、適当な表示装置あるいは蓄積装置（図示せず）に、表示されあるいは貯えられるようにする。

逆トランスポート処理装置２０２からの圧縮された音声データはレート・バッファ２０６に供給される。バッファ２０６は圧縮された音声信号を、システム・プロトコルに従って、音声復元装置２１２に供給する。復元装置２１２は、圧縮された音声信号に応答して、圧縮されない音声信号を発生し、適当なスピーカあるいは記憶装置（図示せず）で、再生しあるいは蓄積する。

また逆トランスポート処理装置２０２は、補助トランスポート・データからのＳＣＲ、および制御信号をシステム・クロック発生装置２０８に供給する。クロック発生装置２０８はこれらの信号に応答し、少なくともトランスポート処理装置の動作と同期するシステム・クロック信号を発生する。このシステム・クロック信号は受信機システム制御装置２１０に供給されて、特定の処理要素のタイミングを制御する。

図３は例示的クロック発生装置２０８の詳細を示す。受信機モデム２００からのデータは、補助パケット検出装置３１を含む、逆トランスポート処理装置２０２′に結合される。逆トランスポート処理装置２０２′はそれぞれのトランスポート・パケット・ペイロードからトランスポート・ヘッダを分離する。処理装置２０２′は、トランスポート・ヘッダ・データに応答して、音声および映像信号ペイロードを、例えば、それぞれの復元装置（図示せず）に供給し、かつ補助データ（ＡＵＸで表わす）を特定の補助データ処理要素（図示せず）に供給する。補助データの中に在るＳＣＲはルートを通って、メモリ要素３４に貯えられる。

補助パケット検出器３１は、ＳＣＲを含んでいる補助トランスポート・パケットを指定する符号ワードを識別するよう構成された整合フィルタであり、ＳＣＲのようなデータを含んでいるトランスポート・パケットの発生と同時に制御パルスを発生する。この制御パルスは、検出時と正確に関連する時に、局部カウンタ３６が現在示す計数値を捕捉しラッチ３５の中に貯えるために利用される。局部カウンタ３６は、電圧制御発振器３７から供給されるパルスを計数する。カウンタ３６はＭを法として計数する。Ｍは、それと同等の、エンコーダ内のカウンタ（カウンタ２３）と同じ数であるが必ずしも同じ数ではない。もしＭがＮと異なれば、その差は誤り均等化で調節される。

電圧制御発振器（ＶＣＸＯ）３７は、クロック制御装置３９より発生された、低域フィルタ３８を通る誤差信号によって制御される。誤差信号は以下のようにして発生される。時刻ｎに到着するＳＣＲをＳＣＲ_ｎで表わし、ラッチ３５に現在捕捉されている局部計数値をＬＣＲ_ｎで表わす。クロック制御装置はＳＣＲおよびＬＣＲの連続する値を読み取り、その差に比例する誤差信号Ｅを形成する。
Ｅ→｜ＳＣＲ_ｎ−ＳＣＲ_ｎ−１｜−｜ＬＣＲ_ｎ−ＬＣＲ_ｎ−１｜
誤差信号Ｅは、これらの差を等しくする傾向のある周波数に電圧制御発振器３７を調整するのに利用される。前に述べたように、モジュロ・カウンタのラップアラウンドによって生じる負の差は無視される。クロック制御装置３９から発生される誤差信号はパルス幅変調された信号の形式をとるが、低域フィルタ３８をアナログ構成要素で実施することにより、アナログ形式の誤差信号に変えられる。

このシステムに関する制約は、システムの２つの端部におけるカウンタは同じ周波数またはその倍数を計数するということである。このため、電圧制御発振器の公称周波数はエンコーダにおけるシステム・クロックの周波数にかなり接近していることが要求される。

前述の方法ではかなり早い同期が得られるが、長期の誤差（ｌｏｎｇｔｅｒｍｅｒｒｏｒ）を生じる。長期の誤差ＬＴＥは以下のように、差に比例する。
ＬＴＥ→｜ＬＣＲ_ｎ−ＬＣＲ_０｜−｜ＳＣＲ_ｎ−ＳＣＲ_０｜
ここでＳＣＲ_０およびＬＣＲ_０は、例えば、最初に発生するＳＣＲ、およびそれに対応する、受信機カウンタのラッチされた値である。通常、誤差信号ＥおよびＬＴＥは個々のステップで変動する。従って、ひとたびシステムが“同期”すると、誤差信号はゼロ点に関して１単位デイザする。好ましい同期法は、誤差信号Ｅに１単位のデイザが起こるまで誤差信号Ｅを使用して、電圧制御発振器の制御を開始し、それから長期誤差信号ＬＴＥの使用に切り換えて、電圧制御発振器を制御する。

ＶＣＸＯ３７から発生されるシステム・クロック信号は、少なくともトランスポート処理装置とレート・バッファを動作させるのに利用される。この信号はエンコーダのシステム・クロックと少なくとも周波数が同期しているので、レート・バッファのオーバーフローまたはアンダーフローの可能性はほとんど存在しない。

再び図２に関して、音声および映像の同期を説明する。プレゼンテーション・タイム・スタンプＰＴＳ_ｖｉｄは、予め定められた映像データに関連する圧縮された映像信号の中に含まれていることを思い起こされたい。ＰＴＳ_ｖｉｄは、関連する映像が表示される相対的時間を示す。同様に、圧縮された音声信号は、それぞれのＰＴＳ_ａｕｄに関連する時に再生される音声に関連するプレゼンテーション・タイム・スタンプＰＴＳ_ａｕｄを含んでいる。受信機においてＰＴＳ_ａｕｄとＰＴＳ_ｖｉｄは、音声と映像の同期を得る目的で直接比較されない。何故ならば、それぞれのサンプルは異なる瞬間に決定されるからである。それぞれのＰＴＳ値は、ＶＣＸＯ３７から発生される受信機クロックである、連続的時間軸と比較される。これを行うには、計数値の局部タイム・スタンプＬＣＲをサンプリングする。

ＰＴＳに関連するデータが示されると、ＬＣＲがサンプリングされる。例えばそれぞれの音声フレームが再生のために出力されると、音声復元装置２１２はＰＴＳ_ａｕｄを発生する。この時に、ＬＣＲをサンプリングするために制御信号はラッチ２２０を調整する。ＬＣＲの値はＬＡＳ（ｌｏｃａｌａｕｄｉｏｓｔａｍｐ：局部音声スタンプ）で表わされる。同様に、映像復元装置２１４が表示用に映像フレームを発生する時、映像復元装置２１４はＰＴＳ_ｖｉｄと制御パルスを発生して、ＬＣＲの現在の値を貯えるようラッチ２２２を調整する。ＬＣＲのこれらの値はＬＶＳ（ｌｏｃａｌｖｉｄｅｏｓｔａｍｐ：局部映像スタンプ）と称される。

ＬＡＳおよびそれに対応するＰＴＳ_ａｕｄは減算器２１８のそれぞれの入力端子に結合される。減算器２１８は次の関係式に従って信号、Δ_{Ａ−ＰＴＳ}を発生する。
Δ_{Ａ−ＰＴＳ}＝ＰＴＳ_ａｕｄ−ＬＡＳ
ＬＶＳおよびそれに対応するＰＴＳ_ｖｉｄは減算器２１７のそれぞれの入力端子に結合される。減算器２１７は次の関係式に従って信号、Δ_{Ｖ−ＰＴＳ}を発生する。
Δ_{Ｖ−ＰＴＳ}＝ＰＴＳ_ｖｉｄ−ＬＶＳ
信号Δ_{Ｖ−ＰＴＳ}とΔ_{Ａ−ＰＴＳ}はさらに次の減算器２１９のそれぞれの入力端子に結合される。減算器２１９は次の関係式に従ってＡ／Ｖ（音声／映像）同期誤差信号ＥＲＲ_ＰＴＳを発生する。
ＥＲＲ_ＰＴＳ＝Δ_{Ｖ−ＰＴＳ}−Δ_{Ａ−ＰＴＳ}

音声と映像を同期させるには、Ａ／Ｖ同期誤差をゼロにする必要がある。これは、対応する音声と映像のＰＴＳの値の差がその対応するＰＴＳの発生の時間間隔Ｔ（局部リファレンスの単位で）に等しい時に、その音声信号と映像信号は同期することを示している。

誤差信号ＥＲＲ_ＰＴＳに基づいてＡ／Ｖ同期を調節するために２つの手法が用いられる。すなわち、データ部分のスキップ（ｓｋｉｐ）と繰り返しおよび変換クロックの偏移である。一定の期間すなわち“フレーム”の音声信号をスキップすると、音声データ・ストリームは映像信号に対して一定の期間だけ進められる。繰り返す（データを消費せずに消音する）と、音声データ・ストリームは映像信号に対して一定の期間だけ遅延される。音声フレームをスキップしたり繰り返したりすることは、多くの条件下で聞き取れるので、同期の粗い調節にのみ利用される。それでも、短時間のスキップまたは繰り返しは、識別できる音声／映像同期誤差に対して好ましい。もし音声フレームが４０ｍｓｅｃ以内であれば、スキップ／繰り返しによる粗い調節で、同期誤差は±２０ｍｓｅｃとなり、これはＡ／Ｖ同期に関する基準の範囲内にある。しかしながら、音声変換時間軸が音声信号源の時間軸と一致しなければ、この同期は劣化する。いったん同期が粗く調節されると、音声変換クロック周波数を変えて、Ａ／Ｖ同期はさらに細かく調節される。

誤差信号ＥＲＲ_ＰＴＳはフィルタ／処理装置２１６に供給される。フィルタの機能は、誤差信号ＥＲＲ_ＰＴＳを平滑にし、信号雑音により発生されるかも知れない異常な作用を最小限度にする。次に、装置２１６の処理機能が、平滑にされた誤差信号を検査し、音声信号と映像信号の粗い同期を達成するために音声のスキップ／繰り返しを使用すべきか、それとも細かい同期を達成するために音声処理周波数の調節を利用すべきかを決定する。粗い同期調節が必要であると決定されれば、処理装置２１６は音声復元装置２１２に制御信号を供給して、復元された現在の音声フレームをスキップするかまたは繰り返すように音声復元装置２１２を調整する。あるいは、粗い調節に加えて、細かい調節が必要であることが決定されれば、処理装置２１６は音声時間軸２１５に制御信号を供給して、音声処理クロック信号の周波数を調節する。

処理アルゴリズムを図４のフローチャートに詳しく示す。開始で示されるシステムの初期設定（４００）の後、システムは音声復元装置を監視してＰＴＳ_ａｕｄの発生を調べる（４０１）。もしＰＴＳ_ａｕｄが検出されればそれが読み取られ、局部クロック・リファレンスＬＡＳが捕捉され貯えられる（４０３）。もしＰＴＳ_ａｕｄが発生していなければシステムは映像圧縮装置を監視してＰＴＳ_ｖｉｄを調べる（４０２）。ＰＴＳ_ｖｉｄが発生していればＰＴＳ_ｖｉｄは読み取られ、局部クロック・リファレンスＬＶＳは捕捉され貯えられる（４０４）。ＰＴＳ_ａｕｄとＰＴＳ_ｖｉｄの両方が読み取られると次の式に従ってＥＲＲ_ＰＴＳが計算される（４０５）。
ＥＲＲ_ＰＴＳ＝Δ_{Ｖ−ＰＴＳ}−Δ_{Ａ−ＰＴＳ}
誤差信号の大きさを検査してそれが音声フレーム期間の１／２以上であるかどうか判定する（４０６）。もしそれが音声フレーム期間の１／２より大きければ、誤差信号の極性を検査する（４０７）。極性が正であれば、現在の音声フレームが繰り返される（４０９）。極性が負であれば現在の音声フレームはスキップされる（４０８）。１フレームをスキップまたは繰り返した後、システムは開始位置に戻り、次のＰＴＳの発生を待つ。

ステップ４０６で、もし誤差信号の大きさが音声フレーム期間の１／２以下であれば、その誤差を検査してゼロより大きいか確かめる（４１０）。誤差がゼロより大きければ、その誤差が以前の誤差信号より小さいか確かめる。前の誤差信号より小さければ、それはこのシステムが同期に向かって近寄っていることを示しており、同期制御パラメータは変更されない。システムは開始位置に戻って次のＰＴＳを待つ。逆に、もし誤差が前の誤差信号より増加していれば、音声システム処理クロックはその周波数を少なくするよう調節される（４１４）。

ステップ４１０で、もし誤差がゼロより小さい（負である）なら、前の誤差信号より大きいか確かめる。前の誤差信号より大きければ、これもやはりシステムが同期の方へ近づいていることを示しており、同期制御パラメータは変更されない。もし現在の誤差信号が前の誤差信号より小さければ、システムは更に同期がはずれているので、音声処理クロック周波数は増加される（４１３）。処理ステップ４１２と４１３の後、システムは開始位置に戻り次のＰＴＳの発生を待つ。本例では、音声／映像同期誤差が音声フレーム期間の１／２以下に減らされるまで、音声フレームをスキップしたり繰り返したりして、システムは粗い調節だけを行うことが注目される。

別の実施例では、それぞれの音声フレームの大きさに関連する予め定められた閾値と、濾波済み誤差信号が比較される。もし誤差信号が閾値より小さければ、音声と映像のタイミング誤差が音声フレームよりも小さいことを示しており、誤差信号は音声時間軸回路２１５に結合され、ここで、音声信号処理（復元）クロックの周波数を調節するのに利用される。もし誤差信号が閾値より大きければ、誤差信号を音声フレーム期間で割って、音声信号と映像信号が整合していない音声フレームの数を確かめる。得られた商の整数部分が音声復元装置に供給され、音声フレームをその数だけスキップするか繰り返すように音声復元装置を調整する。誤差信号の極性により、音声フレームを飛ばすべきかまたは繰り返すべきかが決定される。通常、復元されたデータは出力される前にバッファ・メモリの中に配置されるので、音声フレームを飛ばすことまたは繰り返すことは、メモリの読取り／書込みコマンドを制御可能にイネーブルするという簡単な事柄である。

商の小数部分は音声時間軸回路２１５に結合され、ここで、音声／映像同期を微調整するために、小数部分は音声処理クロックを調節するのに利用される。

音声ＰＴＳの発生率は音声復元装置の処理速度に比例する。音声復元装置の処理速度は、音声復元装置を動作させるのに使用されるクロック信号の周波数に正比例する。もし音声復元装置のクロック周波数が映像復元装置を動作させるのに使用されるクロックと無関係であり、かつ細かく調節できるならば、音声と映像のＰＴＳの相対的な発生率は調節することができ、そして音声と映像は細かく同期させることができる。

図５は、調節可能な音声処理クロック信号を発生する回路の第１の実施例である。図５で、電圧制御発振器５０３は、要素５００と５０１を含む位相ロックループ内に接続されている。発振器５０３の出力は位相検出器５００の１つの入力に結合される。システム・クロックは、２進レート乗算器５０５を介して、位相検出器５００の第２の入力に結合される。位相検出器から発生される位相誤差信号は低域フィルタ５０１で濾波される。この平滑された位相誤差信号は発振器の制御端子に結合され、２進レート乗算器の出力と同じ周波数と位相で発振するように発振器を調整する。本例では、システム・クロック周波数は約２７ＭＨｚであり、望ましい音声処理クロック周波数は２７ＭＨｚ信号の約１／３８０である。処理要素２１６からの制御信号は２進レート乗算器５０５の制御入力ポートに結合され、その出力周波数を制御する。この制御信号は公称分割比１／３８０を表わすように選定されるが、この値を中心として変調され、２進レート乗算器の出力を調整して、望ましい瞬時音声処理レートに等しい出力周波数を発生するようにする。

図６は調節可能な音声処理クロック発生回路の第２の実施例を示す。この例では、システム・クロック発生器２０８または他の安定な発振器からの、一定のクロック周波数が２進レート乗算器６００の１つの入力に供給される。２進レート乗算器は処理要素２１６からの制御信号で制御され、所望の音声処理クロック周波数を発生する。処理要素２１６は、音声／映像誤差信号に応答し、この制御信号を変更し、２進レート乗算器を調整して、音声処理クロック周波数を増加または減少させる。

更に別の音声信号処理レート変更装置（図示せず）には公称最大音声処理周波数を発生するための発振器およびゲート回路を含めることもある。この発振器はゲート回路を介して音声処理回路に結合される。ゲート回路は処理要素２１６で制御され、発振器の出力パルスを加えて、所望の音声処理周波数を得る。

同期装置の別の実施例（図２で点線の矢印で示す）では、同期を達成するために映像フレームをスキップしたり繰り返したりする。あるいは、映像フレームよりも進んでいる（遅れている）音声フレームに対しては、映像フレームはスキップされ、映像フレームよりも遅れている（進んでいる）音声フレームはスキップされる。しかしながら、好ましい実施例では、映像フレームよりも遅れている音声フレームはスキップされ、映像フレームよりも進んでいる音声フレームは繰り返される。

音声／映像圧縮装置のブロック図である。本発明を具体化する音声／映像復元装置のブロック図である。圧縮装置のシステム・クロックとほぼ同じレートを有する受信機システム・クロック信号を供給する装置のブロック図である。図２の装置の動作のフローチャートである。図２の要素２１５のために実施される、代わりの音声処理クロック信号発生装置のブロック図である。図２の要素２１５のために実施される、代わりの音声処理クロック信号発生装置のブロック図である。

符号の説明

１０音声／映像信号源
１１映像信号圧縮装置
１２フォーマット装置
１３トランスポート処理装置
１４レート・バッファ
１５モデム
１６マルチプレクサ
１７トランスポート処理装置
１８音声信号圧縮装置
１９ラッチ
２１システム制御装置
２２システム・クロック
２３カウンタ
２４，２５ラッチ
３１補助パケット検出器
３３ＴＰ制御装置
３４メモリ
３５ラッチ
３６カウンタ
３７電圧制御発振器（ＶＣＸＯ）
３８低域フィルタ
３９クロック制御装置
２００モデム
２０２逆トランスポート処理装置
２０４，２０６レート・バッファ
２０８システム・クロック
２１０システム制御装置
２１２音声復元装置
２１４映像復元装置
２１５音声時間軸回路
２１６フィルタ／処理装置
２１７，２１８，２１９減算器
２２０，２２２ラッチ

Claims

圧縮された音声信号と映像信号を再生して、同期した音声信号と映像信号を発生する装置であって、該音声信号と映像信号がそれぞれ、所定間隔を置いて定められ且つエンコーダ・システム・クロックに関連付けられたタイム・スタンプＰＴＳ_ａｕｄとＰＴＳ_ｖｉｄを含んでおり、
前記圧縮され再生された音声信号および映像信号の信号源、および局部クロック信号源と、
前記圧縮され再生された映像信号に応答し、復元された映像信号および前記タイム・スタンプＰＴＳ_ｖｉｄを発生する映像復元装置と、
前記圧縮され再生された音声信号に応答し、復元された音声信号および前記タイム・スタンプＰＴＳ_ａｕｄを発生する音声復元装置と、
対応するタイム・スタンプＰＴＳ_ａｕｄとＰＴＳ_ｖｉｄの発生する時間間隔Ｔを前記局部クロック信号のサイクルで決定する手段であって、当該手段は、カウンタを含み、前記局部クロック信号のサイクルを数え、前記対応するタイム・スタンプＰＴＳ _ａｕｄとＰＴＳ _ｖｉｄの発生の間に生じる前記クロック信号のサイクル数に等しい前記時間間隔Ｔを表わす値を発生する、前記手段と、
対応するタイム・スタンプＰＴＳ_ａｕｄとＰＴＳ_ｖｉｄの値の差を計算し、この差と前記時間間隔Ｔを比較し、音声／映像同期誤差信号を発生する手段と、
前記音声／映像同期誤差信号に応答し、復元された音声信号と映像信号を同期させる手段とを含んでいる、前記装置。
カウンタを含む前記手段が、
前記局部クロック信号に応答しＮ（Ｎは整数）を法として一連の計数値を発生するカウンタと、
前記タイム・スタンプＰＴＳ _ａｕｄの発生に応答して第１の計数値を捕捉し、対応するタイム・スタンプＰＴＳ _ｖｉｄの発生に応答して第２の計数値を捕捉する手段と、
前記第１と第２の計数値の差を決定する減算器とから成る、請求項１に記載の装置。
前記圧縮され再生された音声／映像信号がシステム・クロック・リファレンス（ＳＣＲ）を含んでいる、請求項１に記載の装置であって、更に、該システム・クロック・リファレンスに応答して前記エンコーダ・システム・クロックに同期する前記局部クロック信号を発生する手段を含んでいる請求項１に記載の装置。
前記それぞれの復元装置が復元された映像信号を所定期間に発生し、且つ復元された音声信号を更に別の所定期間に発生し、前記同期手段が、前記音声／映像同期誤差信号に応答して前記所定期間の前記復元された音声信号をスキップする或いは繰り返す装置を含んでいる、請求項１に記載の装置。
復元された音声信号を発生する前記復元装置が、該復元装置を動作させる処理用クロック信号源を含み、前記同期手段が、前記音声／映像同期誤差信号に応答して前記処理用クロック信号の周波数を変化させる更に別の装置を含んでいる、請求項４に記載の装置。
前記処理用クロック信号の周波数を変化させる前記装置が２進レート乗算器を含んでいる、請求項５に記載の装置。
前記それぞれの復元装置が復元された映像信号を所定期間に発生し、且つ復元された音声信号を更に別の所定期間に発生し、前記同期手段が、前記音声／映像同期誤差信号に応答して前記所定期間の前記復元された音声信号をスキップする或いは繰り返す装置を含んでいる、請求項２に記載の装置。
復元された音声信号を発生する前記音声復元装置が、該音声復元装置を動作させる処理用クロック信号源を含み、前記同期手段が、前記音声／映像同期誤差信号に応答して前記処理用クロック信号の周波数を変化させる更に別の装置を含んでいる、請求項７に記載の装置。