JP3809220B2

JP3809220B2 - 伝送システム及び伝送方法

Info

Publication number: JP3809220B2
Application number: JP12735196A
Authority: JP
Inventors: タフトラルフ
Original assignee: ソニーエレクトロニクスインク
Priority date: 1995-05-22
Filing date: 1996-05-22
Publication date: 2006-08-16
Anticipated expiration: 2016-05-22
Also published as: DE19620186A1; DE19620186B4; JPH09135227A; US5751694A; GB2301265A; GB9610626D0; GB2301265B; HK1014817A1

Description

【０００１】
【産業上の利用分野】
本発明は、時間的に関連がある複数のデータストリームを同期させる伝送システム及び伝送方法に関し、特に、伝送路を介して同時に伝送される時間的に関連がある複数の圧縮データストリームを同期させる伝送システム及び伝送方法に関する。
【０００２】
【従来の技術】
テレビ電話／会議システムでは、一般的に、時間的に関連がある複数の圧縮されたデータストリーム（以下、単に圧縮データストリームという。）を伝送路を介して伝送するようになっている。音声信号と映像信号は、互いに異なる圧縮（符号化）アルゴリズムによって処理される。したがって、所定の周期でサンプリングされたサンプル値に対応する音声ビットストリームを圧縮／伸長するための処理時間は、同じ時間の映像信号に対応する映像ビットストリームを圧縮／伸長するための処理時間とは異なる。
【０００３】
図３に、ＣＣＩＴＴ勧告Ｈ．３２０に準拠した従来のテレビ電話／会議システムの構成を示す。例えば、会議室内のビデオカメラからの映像信号は、映像入力端子３１を介して圧縮器３４に入力される。圧縮器３４は、例えばＣＣＩＴＴ勧告Ｈ．２６１規格におけるアルゴリズム等の多くのアルゴリズムのいずれかを用いて、映像信号を圧縮する。Ｈ．２６１規格では、映像信号の各フレームは、復号化された前フレームを参照フレームとする動き補償予測符号化によって符号化された後、デッドゾーン付き量子化、ランレングス符号化等によって符号化される。
【０００４】
ここで、このような圧縮器３４の構成を、図４を参照して説明する。
【０００５】
入力端子５１を介して入力された映像データは、符号化モード決定回路５２、加算器５３、セレクタ５４及び動き予測回路６６に供給される。符号化モード決定回路５２は、入力される映像データに基づいて、例えば、通常は所謂インタ（フレーム間）モードとし、シーンチェンジや所謂リフレッシュのときはイントラ（フレーム内）モードとして、セレクタ５４、６４を制御する。
【０００６】
したがって、セレクタ５４は、イントラモードでは、入力端子５１を介して入力される現フレームの映像データを選択し、インタモードでは、加算器５３から供給される後述の復号化された前フレームの映像データと現フレームの映像データとの差分データ（所謂予測誤差）を選択して、離散余弦変換器（以下、ＤＣＴという。）５５に供給する。
【０００７】
ＤＣＴ５５は、セレクタ５４からの映像データ又は差分データを離散余弦変換し、得られる変換係数を量子化器５６に供給する。
【０００８】
量子化器５６は、例えば、イントラモードにおけるＤＣ成分の変換係数を直線量子化するとともに、他の変換係数を所謂デッドゾーン付き直線量子化し、得られる量子化インデックスを逆量子化器６１に供給する。さらに、量子化器５６は、例えば、量子化インデックスを、所謂ジグザクにスキャンするとともに、ランレングス符号化及びハフマン符号化により２次元可変長符号化して、符号化器５７に供給する。
【０００９】
符号化器５７は、例えば、可変長符号化された量子化インデックス、符号化モードを示すマクロブロックタイプ情報、後述する動き予測回路６６からの動きベクトル等を統計的性質を利用した可変長符号化方式によって符号化し、圧縮されたデータをバッファ５８に供給する。バッファ５８は、圧縮データを一定のビットレートでデータストリームとして出力端子５９を介し、図３に示すマルチプレクサ３６に供給する。また、このとき、バッファ５８は、格納しているデータ量に基づいて、アンダフローやオーバフローが生じないように、量子化器５６等を制御する。
【００１０】
逆量子化器６１は、所謂局部復号化器の一部を構成するものであり、量子化器５６からの量子化インデックスを逆量子化し、ＤＣＴ５５の出力に相当する変換係数を逆離散余弦変換器（以下、ＩＤＣＴという。）６２に供給する。
【００１１】
ＩＤＣＴ６２は、変換係数を逆離散余弦変換し、イントラモードでは、出力端子５９を介して出力された圧縮データストリームに対応する現フレームの映像データを再生してセレクタ６４に供給し、インタモードでは加算器５３の出力に相当する差分データを再生して、加算器６３に供給する。
【００１２】
加算器６３は、ループフィルタ６７を介して供給される前フレームの動き補償された映像データと差分データを加算し、現フレームの映像データを再生してセレクタ６４に供給する。
【００１３】
セレクタ６４は、イントラモードではＩＤＣＴ６２からの映像データを選択し、インタモードでは加算器６３からの映像データを選択して、フレームメモリ６５に供給する。
【００１４】
すなわち、フレームメモリ６５には、出力端子５９を介して出力された圧縮映像データストリームに対応したフレームの映像データが記憶される。そして、この映像データは、次フレームの映像データを符号化するための前フレームの映像データとして用いられる。すなわち、次フレームの映像データを符号化する際に、動き予測回路６６は、インタモードではフレームメモリ６５から映像データを動き補償して読み出し、ループフィルタ６７に供給する。また、動き予測回路６６は、所定の範囲の画素を検索して動きベクトルを検出し、上述したように、この動きベクトルを符号化器５７に供給する。
【００１５】
ループフィルタ６７は、動き補償された映像データを必要に応じて濾波し、加算器５３に供給する。加算器５３は、上述したように、入力端子５１を介して供給される映像データからループフィルタ６７を介して供給される映像データを減算し、得られる差分データをセレクタ５４に供給する。
【００１６】
かくして、入力端子５１を介して供給される映像データは、インタモードすなわち通常は、フレーム間予測符号化され、イントラモードすなわちシーンチェンジやリフレッシュのときはフレーム内符号化され、圧縮映像データストリームとして出力される。すなわち、この圧縮器３４では、１フレーム分の映像データを符号化した後のデータ量は、フレーム毎に異なるとともに、１フレーム分の映像データを圧縮するのに必要な時間もフレーム毎に異なる。
【００１７】
つぎに、圧縮器３４に対応する伸長器４３の構成を、図５を参照して説明する。
【００１８】
この伸長器４３は、上述した圧縮器３４の局部復号化器と同様の構成を有する。すなわち、復号化器７３は、入力端子７１及びバッファ７２を介して供給される圧縮データを、圧縮器３４での符号化に対応して復号化し、量子化インデックスを逆量子化器７４に、マクロブロックタイプ情報をセレクタ７６に、動きベクトルをフレームメモリ７７にそれぞれ供給する。
【００１９】
逆量子化器７４は、復号化器７３からの量子化インデックスを逆量子化し、再生された変換係数をＩＤＣＴ７５に供給する。
【００２０】
ＩＤＣＴ７５は、変換係数を逆離散余弦変換し、イントラモードでは現フレームの映像データを再生してセレクタ７６に供給し、インタモードでは差分データを再生して加算器７９に供給する。
【００２１】
加算器７９は、ループフィルタ７８を介して供給される前フレームの動き補償された映像データと差分データを加算して、現フレームの映像データを再生し、この映像データをセレクタ７６に供給する。
【００２２】
セレクタ７６は、イントラモードではＩＤＣＴ７５からの映像データを選択し、インタモードでは加算器７９からの映像データを選択し、選択された映像データを出力端子８０を介して出力するとともに、フレームメモリ７７に供給する。
【００２３】
すなわち、フレームメモリ７７には、現在復号化されたフレームの映像データが記憶される。そして、この映像データは、次フレームの映像データを復号化するための前フレームの映像データとして用いられる。すなわち、次フレームの映像データを復号化する際に、フレームメモリ７７からは、復号化器７３からの動きベクトルに基づいて動き補償された映像データが読み出され、ループフィルタ７８は、この読み出された映像データを必要に応じて濾波して、加算器７９に供給する。かくして、この伸長器４３で映像データが再生される。
【００２４】
一方、図３に示すように、例えば同じ会議室内のマイクロフォンによって生成された映像信号に対応する音声信号は、音声入力端子３２を介して圧縮器３５に供給される。圧縮器３５は、例えば１６ｋｂｉｔ／ｓの低遅延符号励振線形予測（low delay code excited linear prediction）の音声コーダを用いたものであり、ＣＣＩＴＴ勧告Ｇ．７２８規格に基づいて動作する。音声信号に割り当てられた帯域幅は、映像信号の帯域幅よりも大幅に狭く、この帯域幅となるように符号化するには、処理時間が短く、簡単な圧縮アルゴリズムが必要とされる。
【００２５】
制御情報入力端子３３を介して入力される制御情報は、マルチプレクサ３６に供給される。制御情報は、代表的には、マルチプレクサ３６が所定のパターン又はプロトコルに従って複数のデータストリームを多重化（マルチプレクス）又は組み立てるように指示するデータで構成されている。圧縮器３４からの圧縮映像信号と圧縮器３５からの圧縮音声信号は、マルチプレクサ３６に供給される。
【００２６】
マルチプレクサ３６は、ＣＣＩＴＴ勧告Ｈ．２２１規格に従って、圧縮映像信号、圧縮音声信号及び制御情報を時分割多重化し、多重化された信号（以下、多重化信号という。）を伝送路１を介して送信する。ＣＣＩＴＴ勧告Ｈ．２２１規格では、６４ｋｂｉｔ／ｓチャンネルは、８ＫＨｚ周期で伝送されるオクテット（８ビット）から構成されている。各オクテットの第８ビットは、８ｋｂｉｔ／ｓのサブチャンネルとして用いられる。このサブチャンネルは、典型的には、サービスチャンネル（ＳＣ：Service Channel）と呼ばれ、端末間のシグナリングに用いられ、３つに部分からなっている。
【００２７】
すなわち、サービスチャンネルは、図６に示すように、所謂フレーム同期信号（ＦＡＳ：Frame Alignment Signal）と、ビットレート割当信号（ＢＡＳ：Bit-rate Allocation Signal）と、アプリケーションチャンネル（ＡＣ：Application Channel）とから構成されている。
【００２８】
６４ｋｂｉｔ／ｓチャンネルのフレーム構成は、１フレームが８０オクテットから構成され、１サブマルチフレームが２フレームから構成され、１マルチフレームが８サブマルチフレーム（１６フレーム）から構成されるようになっている。そして、フレーム同期信号は、フレーム及びマルチフレームの同期をとるために用いられる。また、フレーム同期信号には、フレーム情報及びマルチフレーム情報に加えて、制御情報及びアラーム情報、並びに端末間の誤り特性を制御し、フレーム同期の有効性をチェックするための誤り検出情報が挿入されている。更に、フレーム同期信号は、伝送網からは供給されないオクテットのタイミングを得るためにも用いられる。
【００２９】
ビットレート割当信号は、残りの６２．４ｋｂｉｔ／ｓのビットを様々な用途で用いる端末能力を記述した符号語の伝送に用いられ、上述のような構成の信号を分離して利用することを受信側に指示する。例えばｎ×６４ｋｂｉｔ／ｓのサービスチャンネルのような他の６４ｋｂｉｔ／ｓのチャンネルが関連しているときに、ビットレート割当信号は、この関連を定義するのにも用いられる。
【００３０】
アプリケーションチャンネルは、例えばテレマティク情報等の６４００ｂｉｔ／ｓまでのメッセージタイプのデータチャンネルの挿入のバイナリィ情報を伝送するために用いられる。必要最小限の指示及び表示チャンネルが用意されており、これらは、アプリケーションチャンネルの一部として定義されている。アプリケーションチャンネルの残りのビットを用いて、音声データ又は映像データを伝送することができる。
【００３１】
図３に示すように、マルチプレクサ３６からは、多重化信号が、パシフィックベル等の地域電話会社やＡＴ＆Ｔ、ＭＣＩ、スプリント等の遠距離電話通信会社によって提供されているサービス総合ディジタル網（以下、ＩＳＤＮ：Integrated Service Digital Networkという。）のような伝送路１に出力される。
【００３２】
デマルチプレクサ４１には、伝送路１を介して多重化信号が供給される。デマルチプレクサ４１は、ＣＣＩＴＴ勧告Ｈ．２２１規格に従って、多重化信号を分離し、得られる圧縮映像信号を伸長器４２に、圧縮音声信号を伸長器４３に供給するとともに、制御情報を出力端子４７を介して出力する。
【００３３】
伸長器４２は、ＣＣＩＴＴ勧告Ｈ．２６１規格に従って、圧縮映像信号を伸長し、再生された（圧縮されて伸長された）映像信号を、映像出力端子４５を介して出力する。そして、映像出力端子４５からの映像信号に基づく画像が適当なビデオモニタ（図示せず）に表示される。
【００３４】
伸長器４３は、ＣＣＩＴＴ勧告Ｇ．７２８規格に従って、圧縮音声信号を伸長し、再生された音声信号を遅延回路４４に供給する。遅延回路４４は、伸長された音声信号を、映像信号のフレーム毎の伸長時間とは無関係に、一定の時間又は可変の時間だけ遅延する。このように、遅延回路４４は、音声信号のタイミングが映像信号の一部である画像と同期するように、伸長音声信号を遅延する。遅延された伸長音声信号は、音声出力端子４６を介して出力され、例えばテレビ電話／会議システムにおいては、この音声信号により、スピーカ及び／又はヘッドフォンを含むオーディオシステムが駆動される。
【００３５】
【発明が解決しようとする課題】
より詳細に説明すると、テレビ電話／会議システムでは、参加者の顔の動きをその参加者が話す音声と同期することが極めて望ましい。そうでないと、伝送路１の他端にいる視聴者は、音声がダビングされたような印象を受ける。
【００３６】
従来のＣＣＩＴＴ勧告Ｈ．３２０システムでは、映像信号内の動きの量とは無関係に一定の遅延量又は可変の遅延量を用いている。しかし、これは、画像解像度を許容できるレベルに維持して伝送帯域幅をより狭くするために、圧縮技術を用い、その代わりに、これらの遅延量を導入しているにすぎない。
【００３７】
さらに、例えば外科手術の技術を遠隔地から教示する際に利用されているリアルタイムのウィンドウ画像システム等、複数の映像信号を、関連する音声信号と共に伝送するようなテレビ電話／会議システムでは、各画像に要求される解像度及びリフレッシュ間隔が、各映像信号毎に最適化されなければならない。したがって、各映像信号に対して異なる圧縮アルゴリズムを用いることが望ましい。さらに、このように映像信号を処理する際の圧縮アルゴリズムが各映像信号において異なっていても、各画像内に示される動きが画像間及び関連した音声信号との間において同期していることが極めて望ましい。
【００３８】
したがって、伝送路を介して伝送される互いに時間的に関連がある複数の圧縮データストリームを動的に同期させ、より鮮鋭でリアルな視聴覚表現が得られる方法及び装置や、テレビ電話／会議システムを提供することが望ましい。
【００３９】
本発明は、上述のような実情に鑑みてなされたものであり、本発明の目的は、伝送路を介して伝送される互いに時間的に関連がある複数の圧縮データストリームを動的に同期させる伝送システム及び伝送方法を提供することである。
【００４０】
また、本発明の目的は、時間的に関連がある複数の圧縮データストリームに多重化される制御情報内に同期データを効率良く組み込む伝送システム及び伝送方法を提供することである。
【００４１】
さらに、本発明の目的は、第１のデータストリームの圧縮及び伸長に要する合計時間と、第２のデータストリームの圧縮及び伸長に要する合計時間との差に基づいて、第２のデータストリームを遅延させる際の遅延量を動的に制御する伝送システム及び伝送方法を提供することである。
【００４２】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る伝送システムは、時間的に関連がある複数のデータストリームを動的に同期させる伝送システムにおいて、第１のデータストリームを圧縮して、第１の圧縮データストリームを生成するとともに、第１のデータストリームを圧縮するために必要なフレーム毎の第１の時間ｔ_１を表す圧縮時間データ及び第１の圧縮データストリームの各フレームを識別するフレーム識別データを生成する第１の圧縮手段と、第１のデータストリームと時間的に関連した第２のデータストリームを第２の時間ｔ_２内で圧縮して、第２の圧縮データストリームを生成する第２の圧縮手段と、供給される制御情報に、第１の圧縮手段からの圧縮時間データ及びフレーム識別データを挿入して、符号化制御情報を生成するエンコーダと、第１の圧縮手段からの第１の圧縮データストリーム、第２の圧縮手段からの第２の圧縮データストリーム及びエンコーダからの符号化制御情報を伝送する伝送手段と、伝送されてくる第１の圧縮データストリームをフレーム毎に第３の時間ｔ_３内で伸長して、第１の伸長信号を生成する第１の伸長手段と、伝送されてくる第２の圧縮データストリームを第４の時間ｔ_４内で伸長して、第２の伸長信号を生成する第２の伸長手段と、伝送されてくる符号化制御情報を、制御情報と、圧縮時間データと、フレーム識別データとに分離するデコーダと、フレーム識別データによって特定されるフレームにそれぞれ対応する第２の伸長手段からの第２の伸長信号を（ｔ_１＋ｔ_３）−（ｔ_２＋ｔ_４）に等しい時間だけ遅延する遅延手段とを備える。
【００４３】
また、本発明に係る伝送システムは、時間的に関連がある複数のデータストリームを動的に同期させる伝送システムにおいて、第１のデータストリームを圧縮して、第１の圧縮データストリームを生成するとともに、第１のデータストリームを圧縮するために必要なフレーム毎の時間を表す圧縮時間データ及び第１の圧縮データストリームの各フレームを識別するフレーム識別データを生成する第１の圧縮手段と、第１のデータストリームと時間的に関連した第２のデータストリームを圧縮して、第２の圧縮データストリームを生成する第２の圧縮手段と、供給される制御情報に、第１の圧縮手段からの圧縮時間データ及びフレーム識別データを挿入して、符号化情報制御情報を生成するエンコーダと、第１の圧縮手段からの第１の圧縮データストリーム、第２の圧縮手段からの第２の圧縮データストリーム及びエンコーダからの符号化制御情報を時分割多重化して、多重化信号を送出するマルチプレクサと、マルチプレクサから送出される多重化信号を伝送する伝送路と、伝送路を介して受信される多重化信号を、第１の圧縮データストリームと、第２の圧縮データストリームと、符号化制御情報とに分離するデマルチプレクサと、デマルチプレクサからの第１の圧縮データストリームをフレーム毎に伸長して、第１の伸長信号を生成する第１の伸長手段と、デマルチプレクサからの第２の圧縮データストリームを伸長して、第２の伸長信号を生成する第２の伸長手段と、デマルチプレクサからの符号化制御情報を、制御情報と、圧縮時間データと、フレーム識別データとに分離するデコーダと、デコーダからの圧縮時間データ及びフレーム識別データから、第２の伸長信号を遅延させる遅延時間を決定する決定手段と、決定手段からの遅延時間に従って、フレーム識別データによって特定されるフレームにそれぞれ対応する第２の伸長手段からの第２の伸長信号を遅延する遅延手段とを備える。
【００４４】
本発明に係る伝送方法は、時間的に関連がある複数のデータストリームを動的に同期させる伝送方法において、第１のデータストリームを圧縮して、第１の圧縮データストリームを生成するとともに、第１のデータストリームを圧縮するために必要なフレーム毎の第１の時間ｔ_１を表す圧縮時間データ及び第１の圧縮データストリームの各フレームを識別するフレーム識別データを生成するステップと、第１のデータストリームと時間的に関連した第２のデータストリームを第２の時間ｔ_２内で圧縮して、第２の圧縮データストリームを生成するステップと、供給される制御情報に、圧縮時間データ及びフレーム識別データを挿入して、符号化制御情報を生成するステップと、第１の圧縮データストリーム、第２の圧縮データストリーム及び符号化制御情報を伝送するステップと、伝送されてくる第１の圧縮データストリームをフレーム毎に第３の時間ｔ_３内で伸長して、第１の伸長信号を生成するステップと、伝送されてくる第２の圧縮データストリームを第４の時間ｔ_４内で伸長して、第２の伸長信号を生成するステップと、伝送されてくる符号化制御情報を、制御情報と、圧縮時間データと、フレーム識別データとに分離するステップと、フレーム識別データによって特定されるフレームにそれぞれ対応する第２の伸長信号を（ｔ_１＋ｔ_３）−（ｔ_２＋ｔ_４）に等しい時間だけ遅延するステップとを有する。
【００４５】
また、本発明に係る伝送方法は、時間的に関連がある複数のデータストリームを動的に同期させる伝送方法において、第１のデータストリームを圧縮して、第１の圧縮データストリームを生成するとともに、第１のデータストリームを圧縮するために必要なフレーム毎の時間を表す圧縮時間データを生成するステップと、第１のデータストリームと時間的に関連した第２のデータストリームを圧縮して、第２の圧縮データストリームを生成するステップと、第１の圧縮データストリームの各フレームを識別するフレーム識別データを生成するステップと、供給される制御情報に、圧縮時間データ及びフレーム識別データを挿入して、符号化制御情報を生成するステップと、第１の圧縮データストリーム、第２の圧縮データストリーム及び符号化制御情報を時分割多重化して、多重化信号を伝送路に送出するステップと、多重化信号を伝送路を介して伝送するステップと、伝送路を介して受信される多重化信号を、第１の圧縮データストリームと、第２の圧縮データストリームと、符号化制御情報とに分離するステップと、分離された第１の圧縮データストリームをフレーム毎に伸長して、第１の伸長信号を生成するステップと、分離された第２の圧縮データストリームを伸長して、第２の伸長信号を生成するステップと、符号化制御情報を、制御情報と、圧縮時間データと、フレーム識別データとに分離するステップと、圧縮時間データ及びフレーム識別データから、第２の伸長信号を遅延させる遅延時間を決定するステップと、フレーム識別データによって特定されるフレームにそれぞれ対応する第２の伸長信号を、遅延時間だけ遅延するステップとを有する。
【００４６】
本発明に係る伝送システムは、時間的に関連がある複数のデータストリームを動的に同期させる伝送システムにおいて、第１のデータストリームを圧縮して、第１の圧縮データストリームを生成するとともに、第１のデータストリームを圧縮するために必要なフレーム毎の時間を表す圧縮時間データ及び第１の圧縮データストリームの各フレームを識別するフレーム識別データを生成する第１の圧縮手段と、第１のデータストリームと時間的に関連した第２のデータストリームを圧縮して、第２の圧縮データストリームを生成する第２の圧縮手段と、供給される制御情報に、第１の圧縮手段からの圧縮時間データ及びフレーム識別データ挿入して、符号化制御情報を生成するエンコーダと、第１の圧縮手段からの第１の圧縮データストリーム、第２の圧縮手段からの第２の圧縮データストリーム、エンコーダからの符号化制御情報を伝送する伝送手段と、伝送されてくる第１の圧縮データストリームをフレーム毎に伸長して、第１の伸長信号を生成する第１の伸長手段と、伝送されてくる第２の圧縮データストリームを伸長して、第２の伸長信号を生成する第２の伸長手段と、符号化制御情報を、制御情報と、圧縮時間データと、フレーム識別データとに分離するデコーダと、フレーム識別データによって特定されるフレームにそれぞれ対応する第２の伸長信号を、圧縮時間データから決定される時間だけ遅延する遅延手段とを備える。
【００４７】
本発明に係る伝送方法は、時間的に関連がある複数のデータストリームを動的に同期させる伝送方法において、第１のデータストリームを圧縮して、第１の圧縮データストリームを生成するとともに、第１のデータストリームを圧縮するために必要なフレーム毎の時間を表す圧縮時間データを生成するステップと、第１のデータストリームと時間的に関連した第２のデータストリームを圧縮して、第２の圧縮データストリームを生成するステップと、第１の圧縮データストリームの各フレームを識別するフレーム識別データを生成するステップと、供給される制御情報に、圧縮時間データ及びフレーム識別データを挿入して、符号化制御情報を生成するステップと、第１の圧縮データストリーム、第２の圧縮データストリーム及び符号化制御情報を伝送するステップと、伝送されてくる第１の圧縮データストリームをフレーム毎に伸長して、第１の伸長信号を生成するステップと、第２の圧縮データストリームを伸長して、第２の伸長信号を生成するステップと、伝送されてくる符号化制御情報を、制御情報と、圧縮時間データと、フレーム識別データとに分離するステップと、フレーム識別データによって特定されるフレームにそれぞれ対応する第２の伸長信号を、圧縮時間データから決定される時間だけ遅延するステップとを有する。
【００４８】
本発明に係る伝送システムは、時間的に関連がある音声データ及び映像データの複数のストリームを動的に同期させる伝送システムにおいて、映像データのストリームを圧縮して、映像データの圧縮ストリームを生成するとともに、映像データのストリームを圧縮するために必要なフレーム毎の時間を表す圧縮時間データ及び映像データの圧縮ストリームの各フレームを識別するフレーム識別データを生成する第１の圧縮手段と、映像データのストリームと時間的に関連した音声データのストリームを圧縮して、音声データの圧縮ストリームを生成する第２の圧縮手段と、供給される制御情報に、第１の圧縮手段からの圧縮時間データ及びフレーム識別データを挿入して、符号化制御情報を生成するエンコーダと、第１の圧縮手段からの映像データの圧縮ストリーム、第２の圧縮手段からの音声データの圧縮ストリーム及びエンコーダからの符号化制御情報を伝送する伝送手段と、伝送されてくる映像データの圧縮ストリームを伸長して、映像データの伸長ストリームを生成する第１の伸長手段と、伝送されてくる音声データの圧縮ストリームを伸長して、音声データの伸長ストリームを生成する第２の伸長手段と、伝送されてくる符号化制御情報を、制御情報と、圧縮時間データと、フレーム識別データとに分離するデコーダと、フレーム識別データによって特定されるフレームにそれぞれ対応する第２の伸長手段からの音声データの伸長ストリームを、圧縮時間データから決定される時間だけ遅延する遅延手段とを備える。
【００４９】
本発明に係る伝送方法は、時間的に関連がある音声データ及び映像データの複数のストリームを動的に同期させる伝送方法において、映像データのストリームを圧縮して、映像データの圧縮ストリームを生成するステップと、映像データのストリームを圧縮するために必要なフレーム毎の時間を表す圧縮時間データを生成するステップと、映像データの圧縮ストリーム各フレームを識別するフレーム識別データを生成するステップと、映像データのストリームと時間的に関連した音声データのストリームを圧縮して、音声データの圧縮ストリームを生成するステップと、供給される制御情報に、圧縮時間データ及びフレーム識別データを挿入して符号化制御情報を生成するステップと、映像データの圧縮ストリーム、音声データの圧縮ストリーム及び符号化制御情報を伝送するステップと、伝送されてくる映像データの圧縮ストリームをフレーム毎に伸長して、映像データの伸長ストリームを生成するステップと、伝送されてくる音声データの圧縮ストリームを伸長して、音声データの伸長ストリームを生成するステップと、伝送されてくる符号化制御情報を、制御情報と、圧縮時間データと、フレーム識別データとに分離するステップと、フレーム識別データによって特定されるフレームにそれぞれ対応する音声データの伸長ストリームを、圧縮時間データから決定される時間だけ遅延するステップとを有する。
【００５０】
本発明では、送信側において、例えば映像データ等の第１のデータストリームを圧縮して、第１の圧縮データストリームを生成するとともに、第１のデータストリームを圧縮するために必要な時間を表す圧縮時間データを生成する。また、第１のデータストリームと時間的に関連した例えば音声データ等の第２のデータストリームを圧縮して、第２の圧縮データストリームを生成する。そして、第１の圧縮データストリーム、第２の圧縮データストリーム、圧縮時間データを時分割多重化し、得られる多重化信号を受信側に伝送する。受信側において、多重化信号を分離して、第１の圧縮データストリーム、第２の圧縮データストリーム及び圧縮時間データを再生する。そして、再生された第１の圧縮データストリームを伸長して、第１の伸長信号を生成し、この第１の伸長信号を出力する。また、再生された第２の圧縮データストリームを伸長して、第２の伸長信号を生成する。このとき、再生された圧縮時間データから、第２の伸長信号を遅延させる遅延時間を決定し、この遅延時間だけ第２の伸長信号を遅延して出力する。
【００５１】
【発明の実施の形態】
以下、本発明に係る伝送システム及び伝送方法の好ましい実施の形態について、図面を参照して説明する。上述した本発明の目的、特徴及びその効果を、この説明によってより明らかにする。
【００５２】
図１は、時間的に関連がある複数のデータストリームを動的に同期させる本発明を適用した伝送システムの構成を示すブロック図である。
【００５３】
この伝送システムは、図１に示すように、映像信号を所定の圧縮アルゴリズムを用いて圧縮するとともに、映像信号の１フレーム分を圧縮するのに必要な時間（以下、フレーム符号化時間という。）を生成する圧縮器１４と、音声信号を所定の圧縮アルゴリズムを用いて圧縮する圧縮器１５と、制御情報に圧縮器１４からのフレーム符号化時間を挿入する制御情報エンコーダ１６と、圧縮器１４からの圧縮映像信号、圧縮器１５からの圧縮音声信号、制御情報エンコーダ１６からの制御情報を時分割多重化するマルチプレクサ１７とを備える。
【００５４】
圧縮器１４は、映像入力端子１１を介して供給される映像信号を所定の圧縮アルゴリズムを用いて圧縮する。この実施の形態では、圧縮器１４の圧縮アルゴリズムとしては、例えばＣＣＩＴＴ勧告Ｈ．２６１規格に準拠したものが用いられる。そして、圧縮器１４は、圧縮された映像信号（以下、圧縮映像信号という。）を生成して、マルチプレクサ１７に供給する。この圧縮器１４は、図３に示す従来の圧縮器３４とは異なり、映像信号の１フレーム分を圧縮するのに必要な時間ｔ_１を示す時間データ、すなわちフレーム符号化時間を生成し、このフレーム符号化時間を制御情報エンコーダ１６に供給する。
【００５５】
制御情報エンコーダ１６は、後述するように、圧縮器１４から供給されるフレーム符号化時間を、制御情報入力端子１３を介して供給される制御情報に挿入する。そして、制御情報エンコーダ１６は、フレーム符号化時間が挿入された制御情報（以下、符号化制御情報という。）をマルチプレクサ１７に供給する。
【００５６】
一方、圧縮器１５は、音声入力端子１２を介して供給される音声信号を所定の圧縮アルゴリズムを用いて圧縮する。この実施の形態では、圧縮器１５の圧縮アルゴリズムとしては、例えばＣＣＩＴＴ勧告Ｇ．７２８規格に準拠したものが用いられる。そして、圧縮器１５は、得られる圧縮音声信号をマルチプレクサ１７に供給する。
【００５７】
マルチプレクサ１７は、圧縮器１４から供給される圧縮映像信号と、圧縮器１５から供給される圧縮音声信号と、制御情報エンコーダ１６から供給されるフレーム符号化時間を含む符号化制御情報とを時分割多重化する。この実施の形態では、マルチプレクサ１７は、例えばＣＣＩＴＴ勧告Ｈ．２２１規格に従って、これらの信号を時分割多重化する。そして、マルチプレクサ１７からの多重化信号は、例えばＩＳＤＮ等の伝送路１に送出される。
【００５８】
一方、伝送路１からの多重化信号は、デマルチプレクサ２１に供給される。デマルチプレクサ２１は、この実施の形態では、例えばＣＣＩＴＴ勧告Ｈ．２２１規格に従って多重化信号を分離し、得られる圧縮映像信号を伸長器２２に供給する。伸長器２２は、この実施の形態では、例えばＣＣＩＴＴ勧告Ｈ．２２１規格に従って圧縮映像信号を伸長し、伸長された映像信号（以下、伸長映像信号という。）を、映像出力端子２６を介して出力する。そして、映像出力端子２６からの映像信号に基づく画像が順次、例えばビデオモニタ（図示せず）に表示される。
【００５９】
また、デマルチプレクサ２１は、多重化信号を分離して得られる圧縮音声信号を伸長器２３に供給する。この実施の形態では、伸長器２３は、例えばＣＣＩＴＴ勧告Ｇ．７２８規格に従って、圧縮音声信号を伸長し、得られる伸長音声信号を遅延回路２５に供給する。
【００６０】
そして、遅延回路２５は、伸長音声信号と伸長映像信号を同期させるために必要な時間だけ伸長音声信号を遅延する。
【００６１】
具体的には、デマルチプレクサ２１は、多重化信号を分離して得られる符号化制御情報、すなわちフレーム符号化時間を含む制御情報を制御情報デコーダ２４に供給する。制御情報デコーダ２４は、各映像フレーム毎にフレーム符号化時間を表すデータを抽出し、ルックアップテーブルを用いて伸長音声信号を遅延すべき遅延時間を決定する。すなわち、伸長音声信号のフレーム毎の遅延時間を得るためには、それぞれの数値計算が必要であるが、ここでは、ルックアップテーブルを用いている。
【００６２】
一般的に、フレーム符号化時間ｔ_１は、フレーム復号化時間ｔ_３よりも長い。一方、圧縮器１５における音声信号の圧縮に要する時間ｔ_２は、人間の会話の予測可能性により、比較的に一定であり、また、伸長器２３での圧縮音声信号の伸長に要する時間ｔ_４は、比較的に一定であることから、音声信号を圧縮及び伸長するのに必要な合計時間（ｔ_２＋ｔ_４）は、一定であると合理的にいうことができる。すなわち、各フレーム符号化時間にそれぞれ対応する遅延時間を示すルックアップテーブルを用い、伸長音声信号を遅延して伸長映像信号と同期させることができる。そして、このルックアップテーブルでは、音声信号を圧縮した後、伸長するための合計時間（ｔ_２＋ｔ_４）を一定値とすることができる。
【００６３】
したがって、制御情報デコーダ２４は、ルックアップテーブルを用いて、映像信号のフレーム符号化時間から、伸長音声信号を伸長映像信号の各フレームに同期させるのに必要な総計の遅延時間（（ｔ_１＋ｔ_３）−（ｔ_２＋ｔ_４））を決定する。そして、制御情報デコーダ２４は、この総計遅延時間を示すデータを遅延回路２５に供給する。また、制御情報デコーダ２４は、制御情報を出力端子２８を介して出力する。この制御情報は、ビデオディスプレイ装置（図示せず）を制御するのに用いられる。
【００６４】
遅延回路２５は、このデータに基づいて伸長音声信号を遅延させる。この遅延された伸長音声信号、すなわち伸長映像信号と同期した伸長音声信号は、音声出力端子２７を介して、典型的には、スピーカやヘッドフォン等の電気機械変換器や圧電変換器を駆動するオーディオアンプに供給される。
【００６５】
ここで、図２を参照して、図１に示す制御情報エンコーダ１６の詳細について説明する。
【００６６】
フレーム符号化時間を表すデータは、ＣＣＩＴＴ勧告Ｈ．２２１規格におけるサービスチャンネルを用いて伝送することができる。具体的には、サービスチャンネル（ＳＣ：Service Channel）中のアプリケーションチャンネル（ＡＣ：Application Channel）は、４８００ｂｉｔ／ｓ以上のデータチャンネルを含み、このアプリケーションチャンネル（ＡＣ：Application Channel）を用いて、フレーム符号化時間を表すデータ伝送することができる。
【００６７】
すなわち、サービスチャンネルは、図６を用いて説明したように、端末間のシグナリングのために用いられ、フレーム同期信号（ＦＡＳ：Frame Alignment Signal）と、ビットレート割当信号（ＢＡＳ：Bit-rate Allocation Signal）と、アプリケーションチャンネル（ＡＣ：Application Channel）とから構成されている。そして、まず、ビットレート割当信号のチャンネルを用いて、データチャンネルの帯域幅が、図１に示すマルチプレクサ１７からデマルチプレクサ２１に送られる。ビットレート割当信号のコード（符号）は、偶数フレーム毎に伝送される。ビットレート割当信号のコードは、８ビットからなり、最初の３ビット（ｂ０、ｂ1、ｂ２）が音声符号化モード、映像符号化モード、転送レート、データレートの選択のための能力符号、コマンド符号等の定義に用いられ、残りの５ビット（ｂ３〜ｂ７）が属性値を表現するのに用いられる。そして、例えば４８００ｂｉｔ／ｓのチャンネルを確立するためには、最初の３ビットが、「０１１（データコマンド）」に設定され、残りの５ビットが”０００１１”に設定される。
【００６８】
図１に示す制御情報エンコーダ１６が、遅延回路２５に対して、伸長器２３から出力される伸長音声信号に適用する遅延時間を適正に指示するためには、フレーム符号化時間に加えて、どのフレーム符号化時間がどのフレーム（ピクチャ）に対応するのかを特定するデータが送信されなければならない。したがって、この実施の形態では、フレームを特定するフレーム識別データを、圧縮器１４から制御情報エンコーダ１６に供給する。例えばＣＣＩＴＴ勧告Ｈ．２６１規格では、ピクチャレイヤのフォーマットは、図２に示すように、ピクチャレイヤがピクチャヘッダとグループオブブロックのデータ（ＧＯＢ data）とから構成され、このピクチャヘッダがフレーム開始符号（ＰＳＣ）と、フレーム番号（ＴＲ：Temporal Reference）と、タイプ情報（ＰＴＹＰＥ）と、拡張用データ挿入信号（ＰＥＩ）と、予備情報（ＰＳＰＡＲＥ）とから構成されるようになっている。
【００６９】
フレーム番号（ＴＲ）は、３２個の値をとることができる５ビットからなる。このフレーム番号は、前に伝送されたピクチャヘッダでの値に、最後に伝送されたピクチャ以降の伝送されなかったピクチャ（２９．９７Ｈｚ）の数と１を加算した値となっている。このような演算は、５つのビットだけで行われる。フレーム番号（ＴＲ）は、確立された４８００ｂｉｔ／ｓ以上のデータチャンネルにおいて伝送される符号化時間データと共に制御情報デコーダ２４に伝送され、制御情報デコーダ２４は、伸長音声信号を各フレームに対応して適正に遅延することができ、伸長映像信号と伸長音声信号の同期をとることができる。
【００７０】
この実施の形態では、上述したように、映像信号を圧縮するのに必要とされる時間のデータ（以下圧縮時間データという。）と、伸長音声信号を遅延させる遅延の総計時間とからなるルックアップテーブルが用いられる。この圧縮時間データは、映像信号のフレーム符号化時間によって表され、遅延の総計時間には、対応するフレーム復号時間だけではなく、対応する音声信号を符号化及び復号化するための所定の合計時間も含まれる。したがって、ルックアップテーブルの値としては、映像信号の１フレーム分の符号化時間と復号化時間の合計時間から、所定値を減算したものを用いる。
【００７１】
具体的には、圧縮時間データは、音声信号再生開始時刻に適用される遅延時間を表すルックアップテーブルのインデックス（索引）とされる。そして、この遅延時間としては、映像信号を圧縮するのに要する時間ｔ_１と伸長するのに要する時間ｔ_３の合計時間（ｔ_１＋ｔ_３）から、対応する音声信号を圧縮するのに要する時間ｔ_２と伸長するのに要する時間ｔ_４の合計時間（ｔ_２＋ｔ_４）を減算した時間（（ｔ_１＋ｔ_３）−（ｔ_２＋ｔ_４））を用いる。したがって、この実施の形態では、映像信号の圧縮時間に基づいて、音声信号を遅延する時間を動的に変化させることができる。
【００７２】
本発明は、上述した実施の形態に限定されるものではなく、上述の実施の形態では、単一の映像信号及びその映像信号に関連した単一の音声信号に本発明を適用したものであったが、例えば、複数のビデオカメラが動作しているが、各ビデオカメラからの映像信号のリフレッシュ周期が各映像信号によって異なる、例えば病院の手術室のような単一の場所から伝送される複数の映像信号及び複数の音声信号を伝送するシステムにも、本発明を適用することができる。また、本発明は、特に、多重化されたデータストリームの同期が必要なアプリケーションにおいて有益である。
【００７３】
なお、この教示した内容から逸脱することなく、多くの変更が可能であることが、通常の技術を有する当業者によって明白に理解されるだろう。このような変更は、全て特許請求の範囲内に包含されるものである。
【００７４】
【発明の効果】
以上の説明でも明らかなように、本発明では、送信側において、例えば映像データ等の第１のデータストリームを圧縮して、第１の圧縮データストリームを生成するとともに、第１のデータストリームを圧縮するために必要なフレーム毎の時間を表す圧縮時間データを生成する。また、第１のデータストリームと時間的に関連した例えば音声データ等の第２のデータストリームを圧縮して、第２の圧縮データストリームを生成する。そして、第１の圧縮データストリーム、第２の圧縮データストリーム、圧縮時間データを時分割多重化し、得られる多重化信号を受信側に伝送する。受信側において、多重化信号を分離して、第１の圧縮データストリーム、第２の圧縮データストリーム及び圧縮時間データを再生する。そして、再生された第１の圧縮データストリームを伸長して、第１の伸長信号を生成し、この第１の伸長信号を出力する。また、再生された第２の圧縮データストリームを伸長して、第２の伸長信号を生成する。このとき、再生された圧縮時間データから、第２の伸長信号を遅延させる遅延時間を決定し、この遅延時間だけ第２の伸長信号を遅延して出力することにより、従来の伝送システムや伝送方法に比して、第１の伸長信号と第２の伸長信号を正確に同期させて出力することができる。さらに、本発明では、伝送路の帯域幅を大幅に増大することなく、従来の伝送システムや伝送方法よりも正確に、第１の伸長信号と第２の伸長信号を同期させることができる。
【図面の簡単な説明】
【図１】本発明に適用した伝送システムの構成を示すブロック図である。
【図２】ＣＣＩＴＴ勧告Ｈ．２６１規格に準拠し、本発明を適用したピクチャレイヤのフォーマットを示すである。
【図３】テレビ電話／会議システムで用いられる従来の伝送システムの構成を示すブロック図である。
【図４】ＣＣＩＴＴ勧告Ｈ．２６１規格に基づいた圧縮器の構成を図である。
【図５】ＣＣＩＴＴ勧告Ｈ．２６１規格に基づいた伸長器の構成を示すブロック図である。
【図６】ＣＣＩＴＴ勧告Ｈ．２２１規格に基づいたサービスチャンネルのフレームフォーマットを示す図である。
【符号の説明】
１４、１５圧縮器、１６制御情報エンコーダ、１７マルチプレクサ、２１デマルチプレクサ、２２、２３伸長器、２４制御情報デコーダ、２５遅延回路

Claims

時間的に関連がある複数のデータストリームを動的に同期させる伝送システムにおいて、
第１のデータストリームを圧縮して、第１の圧縮データストリームを生成するとともに、該第１のデータストリームを圧縮するために必要なフレーム毎の第１の時間ｔ _１を表す圧縮時間データ及び該第１の圧縮データストリームの各フレームを識別するフレーム識別データを生成する第１の圧縮手段と、
上記第１のデータストリームと時間的に関連した第２のデータストリームを第２の時間ｔ_２内で圧縮して、第２の圧縮データストリームを生成する第２の圧縮手段と、
供給される制御情報に、上記第１の圧縮手段からの圧縮時間データ及びフレーム識別データを挿入して、符号化制御情報を生成するエンコーダと、
上記第１の圧縮手段からの第１の圧縮データストリーム、上記第２の圧縮手段からの第２の圧縮データストリーム及び上記エンコーダからの符号化制御情報を伝送する伝送手段と、
上記伝送されてくる第１の圧縮データストリームをフレーム毎に第３の時間ｔ _３内で伸長して、第１の伸長信号を生成する第１の伸長手段と、
上記伝送されてくる第２の圧縮データストリームを第４の時間ｔ _４内で伸長して、第２の伸長信号を生成する第２の伸長手段と、
上記伝送されてくる符号化制御情報を、上記制御情報と、上記圧縮時間データと、上記フレーム識別データとに分離するデコーダと、
上記フレーム識別データによって特定されるフレームにそれぞれ対応する上記第２の伸長手段からの第２の伸長信号を（ｔ_１＋ｔ_３）−（ｔ_２＋ｔ_４）に等しい時間だけ遅延する遅延手段とを備える伝送システム。
上記圧縮時間データから、上記第２の伸長信号を遅延させる時間を決定する遅延時間決定手段を更に備える請求項１記載の伝送システム。
上記遅延時間決定手段は、ルックアップテーブルからなることを特徴とする請求項２記載の伝送システム。
上記伝送手段は、上記第１の圧縮データストリーム、第２の圧縮データストリーム及び符号化制御情報の各帯域幅の合計と少なくとも等しい帯域幅を有する伝送路を備えることを特徴とする請求項１記載の伝送システム。
上記第１の圧縮手段からの第１の圧縮データストリーム、上記第２の圧縮手段からの第２の圧縮データストリーム及び上記エンコーダからの符号化制御情報を時分割多重化して多重化信号を生成し、該多重化信号を上記伝送路に送出するマルチプレクサと、
上記伝送路を介して受信される多重化信号を、上記第１の圧縮データストリームと、上記第２の圧縮データストリームと、上記符号化制御情報とに分離するデマルチプレクサとを更に備える請求項４記載の伝送システム。
上記第２の時間ｔ_２と第４の時間ｔ_４の合計時間（ｔ_２＋ｔ_４）として、所定値を用いることを特徴とする請求項１記載の伝送システム。
上記フレーム識別データは、ピクチャヘッダ、グループオブブロックのデータ及びフレーム番号からなることを特徴とする請求項１記載の伝送システム。
上記第１の圧縮手段及び第１の伸長手段は、ＣＣＩＴＴ勧告Ｈ．２６１規格に準拠していることを特徴とする請求項１記載の伝送システム。
上記第２の圧縮手段及び第２の伸長手段は、ＣＣＩＴＴ勧告Ｇ．７２８規格に準拠していることを特徴とする請求項１記載の伝送システム。
時間的に関連がある複数のデータストリームを動的に同期させる伝送システムにおいて、
第１のデータストリームを圧縮して、第１の圧縮データストリームを生成するとともに、該第１のデータストリームを圧縮するために必要なフレーム毎の時間を表す圧縮時間データ及び該第１の圧縮データストリームの各フレームを識別するフレーム識別データを生成する第１の圧縮手段と、
上記第１のデータストリームと時間的に関連した第２のデータストリームを圧縮して、第２の圧縮データストリームを生成する第２の圧縮手段と、
供給される制御情報に、上記第１の圧縮手段からの圧縮時間データ及びフレーム識別データを挿入して、符号化情報制御情報を生成するエンコーダと、
上記第１の圧縮手段からの第１の圧縮データストリーム、上記第２の圧縮手段からの第２の圧縮データストリーム及び上記エンコーダからの符号化制御情報を時分割多重化して、多重化信号を送出するマルチプレクサと、
上記マルチプレクサから送出される多重化信号を伝送する伝送路と、
上記伝送路を介して受信される多重化信号を、上記第１の圧縮データストリームと、上記第２の圧縮データストリームと、上記符号化制御情報とに分離するデマルチプレクサと、
上記デマルチプレクサからの第１の圧縮データストリームをフレーム毎に伸長して、第１の伸長信号を生成する第１の伸長手段と、
上記デマルチプレクサからの第２の圧縮データストリームを伸長して、第２の伸長信号を生成する第２の伸長手段と、
上記デマルチプレクサからの符号化制御情報を、上記制御情報と、上記圧縮時間データと、上記フレーム識別データとに分離するデコーダと、
上記デコーダからの圧縮時間データ及びフレーム識別データから、上記第２の伸長信号を遅延させる遅延時間を決定する決定手段と、
上記決定手段からの遅延時間に従って、上記フレーム識別データによって特定されるフレームにそれぞれ対応する上記第２の伸長手段からの第２の伸長信号を遅延する遅延手段とを備える伝送システム。
上記フレーム識別データは、ピクチャヘッダ、グループオブブロックのデータ及びフレーム番号からなることを特徴とする請求項１０記載の伝送システム。
上記第１の圧縮手段及び第１の伸長手段は、ＣＣＩＴＴ勧告Ｈ．２６１規格に準拠していることを特徴とする請求項１０記載の伝送システム。
上記第２の圧縮手段及び第２の伸長手段は、ＣＣＩＴＴ勧告Ｇ．７２８規格に準拠していることを特徴とする請求項１０記載の伝送システム。
時間的に関連がある複数のデータストリームを動的に同期させる伝送方法において、
第１のデータストリームを圧縮して、第１の圧縮データストリームを生成するとともに、該第１のデータストリームを圧縮するために必要なフレーム毎の第１の時間ｔ _１を表す圧縮時間データ及び該第１の圧縮データストリームの各フレームを識別するフレーム識別データを生成するステップと、
上記第１のデータストリームと時間的に関連した第２のデータストリームを第２の時間ｔ_２内で圧縮して、第２の圧縮データストリームを生成するステップと、
供給される制御情報に、上記圧縮時間データ及びフレーム識別データを挿入して、符号化制御情報を生成するステップと、
上記第１の圧縮データストリーム、第２の圧縮データストリーム及び符号化制御情報を伝送するステップと、
上記伝送されてくる第１の圧縮データストリームをフレーム毎に第３の時間ｔ_３内で伸長して、第１の伸長信号を生成するステップと、
上記伝送されてくる第２の圧縮データストリームを第４の時間ｔ_４内で伸長して、第２の伸長信号を生成するステップと、
上記伝送されてくる符号化制御情報を、上記制御情報と、上記圧縮時間データと、上記フレーム識別データとに分離するステップと、
上記フレーム識別データによって特定されるフレームにそれぞれ対応する上記第２の伸長信号を（ｔ_１＋ｔ_３）−（ｔ_２＋ｔ_４）に等しい時間だけ遅延するステップとを有する伝送方法。
上記第１の時間ｔ_１から、上記第２の伸長信号を遅延させる時間を決定するステップを更に有する請求項１４記載の伝送方法。
上記第２の伸長信号を遅延させる時間を決定するステップは、上記圧縮時間データを、第１の時間ｔ_１と対応する第３の時間ｔ_３の関係を表す記憶されたデータに関係付けるステップを有することを特徴とする請求項１５記載の伝送方法。
上記伝送するステップは、上記第１の圧縮データストリーム、第２の圧縮データストリーム及び符号化制御情報の各帯域幅の合計と少なくとも等しい帯域幅で伝送することを特徴とする請求項１４記載の伝送方法。
上記第１の圧縮データストリーム、第２の圧縮データストリーム及び符号化制御情報を時分割多重化して多重化信号を生成し、該多重化信号を伝送路に送出するステップと、
上記伝送路を介して受信される多重化信号を、上記第１の圧縮データストリームと、上記第２の圧縮データストリームと、上記符号化制御情報とに分離するステップとを更に有する請求項１４記載の伝送方法。
上記第２の時間ｔ_２と第４の時間ｔ_４の合計時間（ｔ_２＋ｔ_４）として、所定値を用いることを特徴とする請求項１４記載の伝送方法。
時間的に関連がある複数のデータストリームを動的に同期させる伝送方法において、
第１のデータストリームを圧縮して、第１の圧縮データストリームを生成するとともに、該第１のデータストリームを圧縮するために必要なフレーム毎の時間を表す圧縮時間データを生成するステップと、
上記第１のデータストリームと時間的に関連した第２のデータストリームを圧縮して、第２の圧縮データストリームを生成するステップと、
上記第１の圧縮データストリームの各フレームを識別するフレーム識別データを生成するステップと、
供給される制御情報に、上記圧縮時間データ及びフレーム識別データを挿入して、符号化制御情報を生成するステップと、
上記第１の圧縮データストリーム、第２の圧縮データストリーム及び符号化制御情報を時分割多重化して、多重化信号を伝送路に送出するステップと、
上記多重化信号を上記伝送路を介して伝送するステップと、
上記伝送路を介して受信される多重化信号を、上記第１の圧縮データストリームと、第２の圧縮データストリームと、符号化制御情報とに分離するステップと、
上記分離された第１の圧縮データストリームをフレーム毎に伸長して、第１の伸長信号を生成するステップと、
上記分離された第２の圧縮データストリームを伸長して、第２の伸長信号を生成するステップと、
上記符号化制御情報を、上記制御情報と、上記圧縮時間データと、上記フレーム識別データとに分離するステップと、
上記圧縮時間データ及びフレーム識別データから、上記第２の伸長信号を遅延させる遅延時間を決定するステップと、
上記フレーム識別データによって特定されるフレームにそれぞれ対応する第２の伸長信号を、上記遅延時間だけ遅延するステップとを有する伝送方法。
時間的に関連がある複数のデータストリームを動的に同期させる伝送システムにおいて、
第１のデータストリームを圧縮して、第１の圧縮データストリームを生成するとともに、該第１のデータストリームを圧縮するために必要なフレーム毎の時間を表す圧縮時間データ及び該第１の圧縮データストリームの各フレームを識別するフレーム識別データを生成する第１の圧縮手段と、
上記第１のデータストリームと時間的に関連した第２のデータストリームを圧縮して、第２の圧縮データストリームを生成する第２の圧縮手段と、
供給される制御情報に、上記第１の圧縮手段からの圧縮時間データ及びフレーム識別データ挿入して、符号化制御情報を生成するエンコーダと、
上記第１の圧縮手段からの第１の圧縮データストリーム、上記第２の圧縮手段からの第２の圧縮データストリーム、上記エンコーダからの符号化制御情報を伝送する伝送手段と、
上記伝送されてくる第１の圧縮データストリームをフレーム毎に伸長して、第１の伸長信号を生成する第１の伸長手段と、
上記伝送されてくる第２の圧縮データストリームを伸長して、第２の伸長信号を生成する第２の伸長手段と、
上記符号化制御情報を、上記制御情報と、上記圧縮時間データと、上記フレーム識別データとに分離するデコーダと、
上記フレーム識別データによって特定されるフレームにそれぞれ対応する上記第２の伸長信号を、上記圧縮時間データから決定される時間だけ遅延する遅延手段とを備える伝送システム。
上記圧縮時間データから、上記第２の伸長信号を遅延させる時間を決定する遅延時間決定手段を更に備える請求項２１記載の伝送システム。
上記遅延時間決定手段は、ルックアップテーブルからなることを特徴とする請求項２２記載の伝送システム。
上記伝送手段は、上記第１の圧縮データストリーム、第２の圧縮データストリーム及び符号化制御情報の各帯域幅の合計と少なくとも等しい帯域幅を有する伝送路を備えることを特徴とする請求項２１記載の伝送システム。
上記第１の圧縮手段からの第１の圧縮データストリーム、上記第２の圧縮手段からの第２の圧縮データストリーム、上記エンコーダからの符号化制御情報を時分割多重化して多重化信号を生成し、該多重化信号を上記伝送路に送出するマルチプレクサと、
上記伝送路を介して受信される多重化信号を、上記第１の圧縮データストリームと、第２の圧縮データストリームと、上記符号化制御情報とに分離するデマルチプレクサとを更に備える請求項２４記載の伝送システム。
上記フレーム識別データは、ピクチャヘッダ、グループオブブロックのデータ及びフレーム番号からなることを特徴とする請求項２１記載の伝送システム。
上記第１の圧縮手段及び第１の伸長手段は、ＣＣＩＴＴ勧告Ｈ．２６１規格に準拠していることを特徴とする請求項２１記載の伝送システム。
上記第２の圧縮手段及び第２の伸長手段は、ＣＣＩＴＴ勧告Ｇ．７２８規格に準拠していることを特徴とする請求項２１記載の伝送システム。
時間的に関連がある複数のデータストリームを動的に同期させる伝送方法において、
第１のデータストリームを圧縮して、第１の圧縮データストリームを生成するとともに、該第１のデータストリームを圧縮するために必要なフレーム毎の時間を表す圧縮時間データを生成するステップと、
上記第１のデータストリームと時間的に関連した第２のデータストリームを圧縮して、第２の圧縮データストリームを生成するステップと、
上記第１の圧縮データストリームの各フレームを識別するフレーム識別データを生成するステップと、
供給される制御情報に、上記圧縮時間データ及びフレーム識別データを挿入して、符号化制御情報を生成するステップと、
上記第１の圧縮データストリーム、第２の圧縮データストリーム及び符号化制御情報を伝送するステップと、
上記伝送されてくる第１の圧縮データストリームをフレーム毎に伸長して、第１の伸長信号を生成するステップと、
上記第２の圧縮データストリームを伸長して、第２の伸長信号を生成するステップと、
上記伝送されてくる符号化制御情報を、上記制御情報と、上記圧縮時間データと、上記フレーム識別データとに分離するステップと、
上記フレーム識別データによって特定されるフレームにそれぞれ対応する上記第２の伸長信号を、上記圧縮時間データから決定される時間だけ遅延するステップとを有する伝送方法。
上記第２の伸長信号を遅延させる時間を決定するステップは、上記圧縮時間データを、上記第１のデータストリームを圧縮するのに必要な時間と上記第１の圧縮データストリームを伸長するのに必要な時間の関係を表す記憶データに関係付けるステップを有することを特徴とする請求項２９記載の伝送方法。
上記伝送するステップは、上記第１の圧縮データストリーム、第２の圧縮データストリーム及び符号化制御情報の各帯域幅の合計と少なくとも等しい帯域幅で伝送することを特徴とする請求項２９記載の伝送方法。
上記第１の圧縮データストリーム、第２の圧縮データストリーム及び符号化制御情報を時分割多重化して多重化信号を生成し、該多重化信号を伝送路に送出するステップと、
上記伝送路を介して受信される多重化信号を、上記第１の圧縮データストリームと、上記第２の圧縮データストリームと、上記符号化制御情報とに分離するステップとを更に有する請求項２９記載の伝送方法。
上記圧縮時間データに関係付けられる記憶データに、上記第２のデータストリームを圧縮する時間と第２の圧縮データストリームを伸長する時間の合計時間を表す所定値を含めることを特徴とする請求項３０記載の伝送方法。
時間的に関連がある音声データ及び映像データの複数のストリームを動的に同期させる伝送システムにおいて、
上記映像データのストリームを圧縮して、映像データの圧縮ストリームを生成するとともに、該映像データのストリームを圧縮するために必要なフレーム毎の時間を表す圧縮時間データ及び該映像データの圧縮ストリームの各フレームを識別するフレーム識別データを生成する第１の圧縮手段と、
上記映像データのストリームと時間的に関連した音声データのストリームを圧縮して、音声データの圧縮ストリームを生成する第２の圧縮手段と、
供給される制御情報に、上記第１の圧縮手段からの圧縮時間データ及びフレーム識別データを挿入して、符号化制御情報を生成するエンコーダと、
上記第１の圧縮手段からの映像データの圧縮ストリーム、上記第２の圧縮手段からの音声データの圧縮ストリーム及び上記エンコーダからの符号化制御情報を伝送する伝送手段と、
上記伝送されてくる映像データの圧縮ストリームを伸長して、映像データの伸長ストリームを生成する第１の伸長手段と、
上記伝送されてくる音声データの圧縮ストリームを伸長して、音声データの伸長ストリームを生成する第２の伸長手段と、
上記伝送されてくる符号化制御情報を、上記制御情報と、上記圧縮時間データと、上記フレーム識別データとに分離するデコーダと、
上記フレーム識別データによって特定されるフレームにそれぞれ対応する上記第２の伸長手段からの音声データの伸長ストリームを、上記圧縮時間データから決定される時間だけ遅延する遅延手段とを備える伝送システム。
上記圧縮時間データから、上記音声データの伸長ストリームを遅延させる時間を決定する遅延時間決定手段を更に備える請求項３４記載の伝送システム。
上記遅延時間決定手段は、ルックアップテーブルからなることを特徴とする請求項３５記載の伝送システム。
上記伝送手段は、上記映像データの圧縮ストリーム、音声データの圧縮ストリーム及び符号化制御情報の各帯域幅の合計と少なくとも等しい帯域幅を有する伝送路を備えることを特徴とする請求項３４記載の伝送システム。
上記第１の圧縮手段からの映像データの圧縮ストリーム、上記第２の圧縮手段からの音声データの圧縮ストリーム及び上記エンコーダからの符号化制御情報を時分割多重化して多重化信号を生成し、該多重化信号を上記伝送路に送出するマルチプレクサと、
上記伝送路を介して受信される多重化信号を、上記映像データの伸長ストリームと、上記音声データの伸長ストリームと、上記符号化制御情報とに分離するデマルチプレクサとを更に備える請求項３７記載の伝送システム。
上記フレーム識別データは、ピクチャヘッダ、グループオブブロックのデータ及びフレーム番号からなることを特徴とする請求項３４記載の伝送システム。
上記第１の圧縮手段及び第１の伸長手段は、ＣＣＩＴＴ勧告Ｈ．２６１規格に準拠していることを特徴とする請求項３４記載の伝送システム。
上記第２の圧縮手段及び第２の伸長手段は、ＣＣＩＴＴ勧告Ｇ．７２８規格に準拠していることを特徴とする請求項３４記載の伝送システム。
時間的に関連がある音声データ及び映像データの複数のストリームを動的に同期させる伝送方法において、
上記映像データのストリームを圧縮して、映像データの圧縮ストリームを生成するステップと、
上記映像データのストリームを圧縮するために必要なフレーム毎の時間を表す圧縮時間データを生成するステップと、
上記映像データの圧縮ストリームの各フレームを識別するフレーム識別データを生成するステップと、
上記映像データのストリームと時間的に関連した音声データのストリームを圧縮して、音声データの圧縮ストリームを生成するステップと、
供給される制御情報に、上記圧縮時間データ及びフレーム識別データを挿入して符号化制御情報を生成するステップと、
上記映像データの圧縮ストリーム、音声データの圧縮ストリーム及び符号化制御情報を伝送するステップと、
上記伝送されてくる映像データの圧縮ストリームをフレーム毎に伸長して、映像データの伸長ストリームを生成するステップと、
上記伝送されてくる音声データの圧縮ストリームを伸長して、音声データの伸長ストリームを生成するステップと、
上記伝送されてくる符号化制御情報を、上記制御情報と、上記圧縮時間データと、上記フレーム識別データとに分離するステップと、
上記フレーム識別データによって特定されるフレームにそれぞれ対応する音声データの伸長ストリームを、上記圧縮時間データから決定される時間だけ遅延するステップとを有する伝送方法。
ルックアップテーブルから上記音声データの伸長ストリームを遅延させる時間を決定するステップを更に有する請求項４２記載の伝送方法。
上記映像データの圧縮ストリーム、音声データの圧縮ストリーム、符号化制御情報を時分割多重化して、該多重化信号を伝送するステップと、
上記伝送されてくる多重化信号を、上記映像データの圧縮ストリーム、上記音声データの圧縮ストリーム、上記符号化制御情報とに分離するステップとを更に有する請求項４２記載の伝送方法。