JP4228505B2

JP4228505B2 - データ伝送方法およびデータ伝送システム

Info

Publication number: JP4228505B2
Application number: JP2000081851A
Authority: JP
Inventors: 昌利高嶋; 秀之成田; 明佳村山; 義之伊東; 大介平中
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-03-17
Filing date: 2000-03-17
Publication date: 2009-02-25
Anticipated expiration: 2020-03-17
Also published as: JP2001268080A; EP1146740A2; EP1146740A3; US20060038878A1; US6987526B2; CN1314762A; US20020015108A1

Description

【０００１】
【発明の属する技術分野】
本発明は、複数端末間で、コミュニケーション、ストリーミング等を行う場合における、複数のストリームをネットワークに流すデータ伝送方法およびデータ伝送システムに関するものである。
【０００２】
【従来の技術】
以下に、複数端末間で、コミュニケーション、ストリーミング等を行う場合における、複数のストリームをネットワークに流す従来の方法を、図面に関連付けて説明する。
【０００３】
図１１は、テレビジョン（ＴＶ）会議システムの例を示す図である。
このＴＶ会議システムでは、カメラＣＭＲを装備した端末１から端末５の５台を用いて、同時に会議を行っている。
各端末１〜５は、スイッチＳＷ１〜ＳＷ４、ルータＲＴ１〜ＲＴ３、ＩＳＤＮ網ＮＴＷ１を介してつながっている。
【０００４】
各端末１〜５からの信号（映像および音）は、多地点制御装置（ＭＣＵ;Multipoint Control Unit）６に集まり、ここで、各端末で再生される信号に合成される。
ＭＣＵ６の機能は、主に２つ存在する。１つは、どこと、どこの端末が会議に参加しているかを、コントロールする多地点コントローラ（ＭＣ;Multipoint Controller）６Ａのブロックで、もう１つは、ＭＣ６Ａの制御に従って、多地点から集まった信号を、各端末毎に、合成を行う、多地点プロセッサ（ＭＰ；Multipoint Processor）６Ｂである。
【０００５】
図１２は、図１１のＴＶ会議システムにおける、ネットワーク内を流れるデータ構造と、伝送量を示す図である。
【０００６】
図１２に示すように、端末１から発信された、信号(A1,V1) は、スイッチＳＷ１、ルータＲＴ１、ＩＳＤＮ網ＮＴＷ１、ルータＲＴ２、スイッチＳＷ４を通過して、ＭＣＵ６に伝送される。
同様に、端末２、３、４、５から発信された信号も、ＭＣＵ６に伝送される。ＭＣＵ６に集まった信号は、各端末毎に次のように合成される。
【０００７】
端末１：(A2-3-4-5, V2-3-4-5)
端末２：(A1-3-4-5, V1-3-4-5)
端末３：(A1-2-4-5, V1-2-4-5)
端末４：(A1-2-3-5, V1-2-3-5)
端末５：(A1-2-3-4, V1-2-3-4)
【０００８】
ここで、Ａは音、Ｖは画像を示す。また、(A1,V1) の (,)は、それぞれの信号が、分離されていることを示し、(A1-2-3-4)の (-)は、信号が、合成されていることを示す。
「合成されている」とは、音の場合には、ベースバンド（たとえばＰＣＭ）の状態で、加算されることを示す。
画像の場合には、ベースバンド（画素）の状態で、画像の大きさを、縮小し、１つの画面内に、複数の画像を張り合わせることで、同じ画像サイズのものに合成することを示す。
【０００９】
図１２（Ａ）に示すネットワークを流れる信号のデータ構造は、図１２（Ｂ）に示すようになっている。
すなわち、合成される前と、後で、同じ情報量をもっていて、音と、画像は、それぞれ、違うパケットにパケット化され、パケット単位に、多重化（マルチプレックス：ＭＵＸ）される。また、音、画像以外に、データも多重化される。
【００１０】
このように整理してみると、ＴＶ会議システムのネットワーク内を流れる信号の情報量としては、全てのレイヤにおいて、データ構造の２０倍の信号が流れていることがわかる。
【００１１】
次に、ＴＶ会議システムを、無線電話に応用した場合について考察する。
図１３は、ＴＶ会議システムを、無線電話に応用した場合のトポロジを示す図である。換言すれば、図１３は、他地点コミュニケーションの構成例を示す図でる。この例でも、５つの端末ＭＴ（Mobile Terminal)１〜ＭＴ５がコミュニケーションしている場合を示す。
【００１２】
それぞれの端末ＭＴ１〜ＭＴ５は、ネットワーク網に配置された無線基地局（ＭＢＳ；Mobile Base Station ）１１Ａ〜１１Ｄ、ＭＣＵ１２Ａ〜１２Ｃが接続された移動交換局（ＭＳＣ；Mobile Switching Center ）１３Ａ〜１３Ｃ、さらにホームロケーションレジスタ（ＨＬＲ；Home Location Register）を有する関門移動交換局（ＧＭＳＣ；Gateway Mobile Switching Center ）１４Ａ〜１４Ｅを介してつながっている。
中心の部分は、ＧＭＳＣ１４Ａ〜１４Ｅがいわゆるメッシュ状に接続された、ネットワーク網（たとえば、回線交換網またはパケット交換網）である。
【００１３】
ＴＶ会議システムと大きく違うところは、ＭＣＵが、ネットワーク内にいくつも存在し、各端末に一番近くにあるＭＣＵが、多地点の信号の多重化を行っているところである。
つまり、ＭＣＵの中には、ＴＶ会議の時と同様に、ＭＣの機能と、ＭＰの機能があるが、１つのコミュニケーションをコントロールするのは、複数あるＭＣＵの中の、どれか１つのＭＣで、複数のＭＰが、この１つのＭＣからコントロールされて、多重化を行っている。
【００１４】
図１４は、図１３の多地点コミュニケーションにネットワーク内を流れるデータ構造と、伝送量を示す図である。
【００１５】
図１４（Ａ）に示すように、ＴＶ会議システムと違い、ＭＣＵが複数存在するため、複数のＭＣＵ１２Ａ〜１２Ｃに、多地点の信号を全て転送しなければならない。したがって、たとえば端末ＭＴ１から発信された信号（A1,V1 ）は、ＭＣＵ１２Ａ，ＭＣＵ１２Ｂ，ＭＣＵ１２Ｃにそれぞれ伝送される。
信号(A1,V1) のデータ構造は、図１４（Ｂ）に示すようになる。回線が細いため、ＴＶ会議のときとは異なり、各端末から送られる画像の大きさは、合成後の大きさに合わせて伝送される。
【００１６】
また、ＭＣＵ１２Ａに着目すると、集められた５つの信号から、端末ＭＴ１，ＭＴ２のために、以下のように２パターンの合成を行う。
【００１７】
ＭＴ１：(A2-3-4-5, V2-3-4-5)
ＭＴ２：(A1-3-4-5, V1-3-4-5)
【００１８】
この信号のデータ構造を、図１４（Ｂ）中に符号１５で示している。これは、ＴＶシステムで、合成されたものと同じとなる。ただし、無線等の、回線の太さの違いにより、画像の大きさ、音質等はＩＳＤＮ網を利用するＴＶ会議とは異なる。
【００１９】
このように、ＧＭＳＣが存在する背景には、合成後の信号が流れないため、このレイヤに流れるデータ構造は、図１４（Ｂ）中に符号１６で示すような形態をとり、伝送量も、このデータ構造の１５倍になる。
【００２０】
このように、ＴＶ会議に比べ、ＭＣＵを複数配置したことで、ネットワーク全体を流れる量が、少なく改善されているのがわかる。
【００２１】
また、端末側に複数ストリームを同時にデコードできる機能を持たせることで、ＭＣＵ側では、ベースバンドでの合成を行わず、パケット単位で多重化することも可能である。この様子を、図１５に示す。
【００２２】
この場合、ＭＣＵ１２Ａに着目すると、端末ＭＴ１，ＭＴ２のために、合成される信号は、以下のようになる。
【００２３】
ＭＴ１：(A2,3,4,5, V2,3,4,5)
ＭＴ２：(A1,3,4,5, V1,3,4,5)
【００２４】
このデータ構造は、図１５（Ｂ）に示すようになる。図１５（Ｂ）の例は、パケット単位で、多重化されている様子を示している。
【００２５】
次に、多地点コミュニケーションにおけるＭＣＵの動作について説明する。
図１６は、多地点コミュニケーションに適用される従来のＭＣＵの構成例を示す図である。
なお、この例では、３つ存在するＭＣＵを集めて、１つのＭＣＵ１２として説明する。
【００２６】
各端末ＭＴ１〜ＭＴ５から集まった信号は、ＭＣＵ１２に到達するまでに、それぞれ時間差が存在する。
これを一定にするために、ＭＣＵ１２において、各信号毎に遅延器ＤＬＹ１〜ＤＬＹ５を挿入し、位相を合わせた後で、複数の信号を、ＭＰに設けられたデマルチプレクサＤＭＸ１〜ＤＭＸ５で分離し、スイッチャ（Buffer) ＢＦを経由して、端末毎にマルチプレクサＭＸ１〜ＭＸ５でそれぞれ合成が行われる。
この遅延量、ＭＰでの分離、多重化は、ＭＣの指示に従って、行われる。
【００２７】
次に、この遅延時間が、どのようにコントロールされるかについて、解説する。
【００２８】
図１７および図１８は、画像および音が、エンコード、デコードされる様子を説明するための図である。
【００２９】
（ビデオエンコード（Video Encode）処理の説明）
まず、図１７（Ａ）に関連付けて、ビデオエンコード処理について説明する。図１７（Ａ）中の１）は垂直同期信号V Syncを示し、太線がフレームを表している。このフレームが、画像のアクセスユニットであり、一般にこの単位で情報量の圧縮が行われる。また、圧縮の方式によって、Ｉピクチャ、Ｐピクチャが存在し、Ｉピクチャとは、フレーム内の相関性を利用した圧縮で、Ｐピクチャは、フレーム間の相関性を利用した圧縮が行われる。ピクチャタイプの後の数字は、入力されたフレーム順を示している。
【００３０】
図１７（Ａ）中の２）のように入力されたピクチャは、４）の時間にエンコード処理が行われる。
図１７（Ａ）中の５）は、エンコーダ内部に存在するバッファ（ Buffer ）のイメージを示している。実際のバッファの動作というより、仮想のデコーダバッファ(VBV Buffer)の逆の形を記述している。これは、エンコーダ内部にある、レートを制御するコントローラの内部にある仮想的なバッファに相当する。
したがって、このバッファは、エンコードが終了すると、一瞬にして発生するものであり、太線がこの様子を示している。
【００３１】
図１７（Ａ）中の３）は、ビデオ（Video ）のアクセスユニット毎が、エンコーダに入力された時のＳＴＣ(System Time Clock) の値を示している。このＳＴＣは、電話回線網の中にある、絶対的な時計をイメージしており、全てのシステム、端末が同じクロック、時間を持って動作しているものとする。
図１７（Ａ）中の６）は、ＳＴＳ(Decoding Time Stamp) を示しており、５）でエンコードが完了したアクセスユニットが、再生側で、デコードがスタートするタイミングを示している。
この値が、画像のアクセスユニットがパケット化、多重化される時に、いっしょに伝送される。したがって、１０ピクチャは、STC ＿V6という値が伝送され、システムが、この時間になった時、デコードが開始されることになる。
【００３２】
（音に関する情報（Audio ）の Encode 処理の説明）
次に、図１７（Ｂ）および図１８（Ａ）に関連付けて、オーディオエンコード処理について説明する。
【００３３】
音は、画像と違い、フレームという離散的なアクセスユニットの概念がないが、あるサンプル数毎に、アクセスユニットという形で取込まれる。
図１７（Ｂ）および図１８（Ａ）中の８）は、ＡＡＵ(Audio Access Unit) が、エンコーダに入力される様子を示している。７）は、ＡＡＵが、入力された時間である。９）は、実際にエンコードが行われる時間で、１０）は、エンコードが完了した瞬間に、データが仮想バッファの中に発生した様子を示している。１１）は、各ＡＡＵが、デコードされるタイミングで、この値がＡＡＵと一緒に多重化され、デコーダ側に伝送される。
【００３４】
（Video Decode処理の説明）
次に、図１７（Ｃ）および図１８（Ｂ）に関連付けて、ビデオエンコード処理について説明する。
【００３５】
図１７（Ａ）の５）でバッファ中に発生したビットストリーム（圧縮された信号）は、デコーダ側のバッファ状態を監視しながら、伝送が開始され、デコーダバッファにデータが蓄積されていく。
この様子を、図１７（Ｃ）および図１８（Ｂ）の１２）に示す。ここでは、思想的なバッファの状態(VBV Buffer)をイメージしている。
図１７（Ｃ）および図１８（Ｂ）の１３）は、１５）のＳＴＣの時間に合わせて、デコードが行われるタイミングを示している。ここでは、デコード処理は、理想的に、一瞬にして完了することを想定し、デコードが完了すると同時に、１４）に示すように、出力される。
【００３６】
ここで信号が、エンコーダ（端末）に入力した瞬間から、デコーダ（端末）から出力されるまでの時間を、end ＿to＿end ＿delay と定義する。すなわち図１７（Ｃ）および図１８（Ｂ）の１５）にその時間を示す。これは、ビデオ、オーディオを問わず、全てのアクセスユニットで同じとなる。
ビデオとオーディオでずれるとき、リップシンクのずれとなり、同じビデオ、またはオーディオ同士のアクセスユニット間でのずれは、ジッタとなる。
【００３７】
（音に関する情報(Audio) の Decode 処理の説明）
次に、図１８（Ｃ）に関連付けて、オーディオエンコード処理について説明する。
図１８（Ｃ）中の１６）に示すように、ビデオの end＿to＿end ＿delay に合わせるため、遅れて伝送が行われ、デコーダバッファ(Decoder Buffer)の中にデータが蓄積されていく。
図１８（Ｃ）中の１９）のＳＴＣの値に合わせて、１７）に示すＡＡＵ毎に、デコードのタイミングが決定される。これに合わせて、一瞬にしてデコードが完了し、その直後にデコーダから、出力される。
【００３８】
以上のように、映像(Video) と、音に関する情報(Audio) は、ＤＴＳのようなタイムスタンプ(Time Stamp)を伝送することで互いの同期を取り、また、システムとして、バッファのアンダーフロー、オーバーフローが起きないように、制御される。
【００３９】
図１７および図１８に示したＤＴＳを利用することで、多地点間の同期をとることが可能である。その様子を、図１９に示す。
【００４０】
図１９の例では、端末ＭＴ１，ＭＴ２の信号は、ＧＭＳＣ１４を経由することなく、ＭＣＵ１２Ａに到達する。
それに対して、端末ＭＴ３，ＭＴ４，ＭＴ５の信号は、ＧＭＳＣ１４を経てＭＣＵ１２Ａに到達する。
したがって、図１９中に符号ＴＭ１で示す各端末から伝送されてくるパケットの時間差の様子に示すように、端末ＭＴ３(T3-AU1, AU2）、端末ＭＴ４(T4-AU1, AU2）、端末ＭＴ５(T5-AU1, AU2）は、端末ＭＴ１(T1-AU1, AU2）、端末ＭＴ２(T2-AU1, AU2）に比べ、遅れているのがわかる。
【００４１】
ＭＣＵ１２Ａ内では、それぞれのパケットから、このＤＴＳを解析し、ＭＣＵ内の遅延器をコントロールすることで、各端末からの信号の位相を合わせて、各信号の多重化、合成が行われる。
このようにして、ＭＴ１，ＭＴ２の各端末では、図１９中に符号ＴＭ２で示す各端末で再生、表示される様子に示すように、各端末からの信号の位相を完全に一致させることが可能となる。
【００４２】
また、近年、インターネットを使った、インターネット電話等のサービスが始まっている。
インターネットでは、帯域の補償がされていない場合が多く、伝送品質（ＱｏＳ；Quality of Service）の低いエリアである。このようなネットワークを利用する場合、輻輳状態をモニタし、輻輳状態に応じて、ネットワークに伝送する信号をコントロールする必要がある。
【００４３】
図２０は、ＱｏＳが低いネットワークのみを利用した、多地点コミュニケーションシステムの構成例を示す図である。
ＱｏＳが低いネットワークとして、ここでは、インターネットを利用した場合を示す。
【００４４】
図２０において、端末は上記と同様にＭＴ１〜ＭＴ４で示している。また、２１Ａ〜２１ＣはＭＢＳ、２２Ａ，２２ＢはＭＳＣ、２３Ａ，２３ＢはＭＣＵ、２４Ａ，２４Ｂはパケット交換網、２５Ａ，２５Ｂはインターネット交換機（ＩＸ；Internet Exchange)、２６はインターネットをそれぞれ示している。
【００４５】
端末から登ってきた信号は、ＭＳＣ２２Ａ，２２Ｂのところで、全てパケット交換網２４Ａ，２４Ｂに伝送される。ここでは、多地点の信号を多重化するＭＣＵ２３Ａ，２３Ｂは、このパケット交換網の中に配置されている。
【００４６】
端末ＭＴ１，ＭＴ２に伝送される信号を作成する、ＭＣＵ２３Ａには、端末ＭＴ１，ＭＴ２，ＭＴ３，ＭＴ４からの信号が集められ、多重化されて、端末ＭＴ１，ＭＴ２に送られる。
ここで、端末ＭＴ３，ＭＴ４のデータは、インターネット２６を通して伝送されるため、ネットワークの輻輳状況に応じて、伝送遅延は、大きく左右される。
この時、輻輳を確認するために、リアルタイムプロトコルである、ＲＴＣＰ(Real-Time Control Protocol)を利用し、ＲＴＴ(Round Trip Time: 往復遅延）を観測する。
ＲＴＴが、end ＿to＿end のジッタを許容できる大きさより、大きく変動した場合、ネットワークに伝送するデータの量をコントロールすることで、輻輳状態を緩和する方向にコントロールし輻輳を避けるようにする。
【００４７】
【発明が解決しようとする課題】
ところで、上述した従来の方法やシステムでは以下に示すような課題がある。
【００４８】
（課題１）
従来は、多地点の信号を合成するＭＣＵ（多地点制御装置）に、多地点の全ての信号を集め、ここで、それぞれの端末に必要な信号を合成していた。そのため、多くの信号を、ネットワーク上に流さなければならなかった。
【００４９】
（課題２）
従来は、多地点の信号を合成する際に、多地点の信号の時間を合わせるために、転送にかかる時間を、遅延を挿入することで、キャンセルし、位相を合わせていた。これを実現するためには、大きな遅延を補償する遅延器が必要であった。
【００５０】
（課題３）
２箇所以上の多地点間で、映像と、音声のように、複数の信号をやり取りする場合、この複数の信号のうち、信号の連続性の観点から、より重要な信号と、重要度の低い信号が混在していることが多い。
たとえば映像と音声で比較すると、音声の方が、より連続性を重視しなければならない。
これらを、同じＱｏＳの帯域に流すため、伝送コストが高くなってしまう。
また、帯域の有効利用という観点からも、利用効率が低い状態であった。
【００５１】
（課題４）
違う帯域を利用する際に、複数の伝送路を通って、複数の信号（たとえば音声と、映像）が、伝送される。この時、各伝送路を流れる信号のディレイ値が違うため、そのまま再合成すると、複数の信号がずれてしまう。音声と映像の場合には、リップシンクのずれとなって、非常に違和感を覚える。場合によっては、リップシンク以上に、大きくずれてしまうことも予想される。
【００５２】
（課題５）
ＱｏＳの低いネットワークのみを利用して、コミュニケーションを行う場合、ネットワークの輻輳状態に応じて、大きなジッタ、または、大きな遅延が生じる可能性がある。
このようなネットワークにおけるジッタの許容値を大きくするためには、系のどこかに、大きな遅延器（バッファ）が必要となる。片方向のストリーミングでは、この方法で、連続した信号の配信が可能としている。
また、大きな遅延を挿入すれば、コミュニケーションとしては、互いのレスポンスにずれが生じ、会話は、成立しなくなってしまう。
さらに、ネットワークの輻輳状態が生じると、音声が途切れることになり、コミュニケーションツールとして成り立たせることは、難しいばかりでなく、一旦、輻輳が生じると、なかなか回復しないといった問題もある。
【００５３】
本発明は、かかる事情に鑑みてなされたものであり、その第１の目的は、ネットワーク全体に流れる信号のトラフィックを軽減できるデータ伝送方法およびデータ伝送システムを提供することにある。
【００５４】
本発明の第２の目的は、多重化、合成を行うＭＣＵ内に、大きな遅延器が必要なくなり、ハードウェア規模を軽減できるデータ伝送方法およびデータ伝送システムを提供することにある。
【００５５】
本発明の第３の目的は、伝送帯域の利用効率の向上を図れ、伝送コストの低減を図れるデータ伝送方法およびデータ伝送システムを提供することにある。
【００５６】
本発明の第４の目的は、違う帯域に流した複数の信号の同期を取ることができるデータ伝送方法およびデータ伝送システムを提供することにある。
【００５７】
本発明の第５の目的は、伝送路内に、膨大な信号が溜まってしまう、また、いつまでも、データが更新されないといったトラブルを回避することができるデータ伝送方法およびデータ伝送システムを提供することにある。
【００５８】
【課題を解決するための手段】
上記目的を達成するため、本発明は、ネットワーク網に配置された複数端末により多地点間で、画像データおよび音データを伝送するデータ伝送方法であって、画像データは、各地点毎にコーディングされたストリームとして多重化して伝送し、音データは、ネットワーク網の中で１つ以上の音声を、ベースバンドで合成して伝送する。
【００５９】
また、本発明は、ネットワーク網に配置された複数端末により多地点間で、データを伝送するデータ伝送方法であって、多地点のデータが各端末に伝送されたときに、それぞれのデータを、伝送遅延に応じてずらす。
【００６０】
本発明では、ネットワークの中で、伝送遅延に応じて、同一パケットに対して、異なるタイムスタンプを付加して伝送する。
【００６１】
また、本発明は、ネットワーク網に配置された複数端末により多地点間で、複数のデータストリームを伝送するデータ伝送方法であって、上記複数のデータストリームのそれぞれを性質の異なるネットワークに伝送し、ネットワークを伝送後、再度合成して端末に伝送する。
【００６２】
好適には、性質の勝るネットワークを主のネットワーク、その他を従のネットワークとすると、主のネットワークを基準に、従のネットワークの遅延値をモニタし、従のネットワークが、主のネットワークに比べ、ある一定以上遅れた場合、従のネットワークにデータを伝送することを制限する。
【００６３】
また、好適には、従のネットワークにデータを伝送することを制限する場合に、従のネットワークに流すデータがアクセスユニット間で、相関を利用した圧縮方式を採用している場合、相関性が切れる単位毎に、ネットワークに伝送するデータを制御する。
【００６４】
また、本発明では、従のネットワークにデータを伝送することを制限する場合に、ネットワークから各端末に、フレームレート、ビットレートを制限するデータを伝送する。
【００６５】
また、本発明は、ネットワーク網に配置された複数端末により多地点間で、重要度の異なる複数のデータストリームを伝送するデータ伝送方法であって、上記重要度の異なる複数のデータストリームを、伝送路の途中で分離し、連続性が重視されるデータをよりネットワーク帯域保証品質の高いネットワークに流し、不連続が許容できるデータをよりネットワーク帯域保証品質の低いネットワークに流し、伝送先の端末に到着する前に、異なるネットワークを伝送した複数のデータを再度合成して端末に伝送する。
【００６６】
また、本発明は、ネットワーク網に配置された複数端末により多地点間で、画像データおよび音声データを伝送するデータ伝送システムであって、画像データは、各地点毎にコーディングされたストリームとして多重化して伝送し、音データは、ネットワーク網の中で１つ以上の音声を、ベースバンドで合成して伝送する装置を有する。
【００６７】
また、本発明は、ネットワーク網に配置された複数端末により多地点間で、データを伝送するデータ伝送システムであって、多地点のデータが各端末に伝送されたときに、それぞれのデータを、伝送遅延に応じてずらす装置を有する。
【００６８】
また、本発明では、上記装置は、ネットワークの中で、伝送遅延に応じて、同一パケットに対して、異なるタイムスタンプを付加して伝送する。
【００６９】
また、本発明は、ネットワーク網に配置された複数端末により多地点間で、複数のデータストリームを伝送するデータ伝送システムであって、性質の異なる複数のネットワークと、上記複数のデータストリームのそれぞれを性質の異なるネットワークに伝送する第１の装置と、ネットワークを伝送後、再度合成して端末に伝送する第２の装置とを有する。
【００７０】
好適には、上記第１の装置は、性質の勝るネットワークを主のネットワーク、その他を従のネットワークとすると、主のネットワークを基準に、従のネットワークの遅延値をモニタし、従のネットワークが、主のネットワークに比べ、ある一定以上遅れた場合、従のネットワークにデータを伝送することを制限する。
【００７１】
また、好適には、上記第１の装置は、従のネットワークにデータを伝送することを制限する場合に、従のネットワークに流すデータがアクセスユニット間で、相関を利用した圧縮方式を採用している場合、相関性が切れる単位毎に、ネットワークに伝送するデータを制御する。
【００７２】
また、本発明では、上記第１の装置は、従のネットワークにデータを伝送することを制限する場合に、ネットワークから各端末に、フレームレート、ビットレートを制限するデータを伝送する。
【００７３】
また、本発明は、ネットワーク網に配置された複数端末により多地点間で、重要度の異なる複数のデータストリームを伝送するデータ伝送システムであって、ネットワーク帯域保証品質の高い第１のネットワークと、第１のネットワークよりネットワーク帯域保証品質の低い第２のネットワークと、上記重要度の異なる複数のデータストリームを、伝送路の途中で分離し、連続性が重視されるデータを上記第１のネットワークに流し、不連続が許容できるデータを上記第２のネットワークに流す第１の装置と、伝送先の端末に到着する前に、異なるネットワークを伝送した複数のデータを再度合成して端末に伝送する第２の装置とを有する。
【００７４】
本発明によれば、複数のデータ（信号）を合成して、伝送する場合、音に関する情報のみ、ベースバンド（PCM ）で加算し、１チャンネルの信号とする。画像は、パケットのまま、複数チャンネルを束ねて、伝送する。
この時、音に関する情報は、１チャンネルにまとめられることで、大きく情報量が削減される。なお、画像は、画像サイズに応じて情報量が決まるため、ベースバンドに戻して、合成しても、情報量は減らない。そればかりか、画像を元に戻して、合成するには、大きなパフォーマンスが要求される。
また、多重化のために要求されるデータを互いにやり取りする時、上記のようなデータ信号を互いに送ることで、MCU 間を流れる信号の情報量を削減する。
そして、各端末に多重化した信号を伝送する際に、音に関する情報のみ、ベースバンド（PCM ）で加算し、画像は、パケットのまま、複数チャンネルを束ねて、多重化した信号を、伝送することで、伝送路に流れる情報量を削減する。
これにより、ネットワーク全体に流れる信号のトラフィックを軽減できる。
【００７５】
また、本発明によれば、多地点から伝送されてきたデータを、同時刻に各端末に入力された信号の位相を、合わせることをせず、伝送遅延に応じて、意図的にずらして再生、表示する。
この場合、たとえば同じアクセスユニットを、複数の多地点制御装置に伝送する時に、伝送遅延に応じて、異なるディレイ値を、タイムスタンプに加えて伝送する。
【００７６】
また、本発明によれば、重要度の違う複数のデータ信号（たとえば、画像と音声）を、伝送路の途中で分離し、連続性が重視される信号（たとえば、音に関する情報）を、よりＱｏＳ（ネットワーク帯域保証品質）の高いネットワークに流し、不連続が許容できる信号（たとえば映像）をよりＱｏＳの低いネットワークに流す。
さらに、伝送先の端末に到着する前に、これを再度合成して端末に送り届ける。
また、ＱｏＳの高いネットワークに流した信号（たとえば音声）を基準にし、この表示時刻に合わせて、ＱｏＳが低いネットワークに流した信号（たとえば映像）を多重化、合成して、目的の端末に伝送する。
【００７７】
また、本発明によれば、ＱｏＳが低いネットワークに流した信号（たとえば映像）が、ＱｏＳの高いネットワークに流した信号（たとえば音声）に比べて、ある一定以上遅れた場合、受信機側で、表示のタイミングをずらす。そのために、タイムスタンプ（たとえばＤＴＳ）の値をその分遅らせる。
また、ＱｏＳが低いネットワークに流した信号（たとえば映像）が、ＱｏＳの高いネットワークに流した信号（たとえば音声）に比べて、ある一定以上遅れた場合、送信機側で、ネットワークへの伝送を制御する。
制御する方法としては、ビットレートを下げる方法、フレームレートを下げる方法がある。
また、ＱｏＳが低いネットワークの輻輳が、回復しない場合、系のend ＿to＿end ＿delay を遅らせる。
【００７８】
【発明の実施の形態】
第１実施形態
図１および図２は、本発明に係るデータ伝送方法を採用したデータ伝送システムの第１の実施形態を説明するための図であり、図１は多地点コミュニケーションを行う場合の信号伝送状態を示しており、図２は多地点コミュニケーションを行う場合の信号が各端末で再生、表示される状態を示している。
【００７９】
本第１の実施形態に係るデータ伝送システム３０は、以下の特徴を踏まえて構成されている。
１）多地点から伝送されてきた信号を、同時刻に各端末に入力されたデータ（信号）の位相を、合わせることをせず、伝送遅延に応じて、意図的にずらして再生、表示するようにする。
２）１）を実現するために、同じアクセスユニットを、複数のＭＣＵ（多地点制御装置）に伝送する時に、伝送遅延に応じて、異なるディレイ値を、ＤＴＳ(Decoding Time Stamp) に加えて、伝送する。
【００８０】
図１および図２において、ＭＴ３１〜ＭＴ３５は移動端末（以下、単に端末という）、３１Ａ〜３１ＣはＭＢＳ（無線基地局）、３２Ａ〜３２ＣはＭＳＣ（移動交換局）、３３Ａ〜３３ＣはＭＣＵ、３４は関門移動交換局をそれぞれ示している。
【００８１】
図１においては、ＭＣＵ３３Ａに、各端末ＭＴ３３１〜ＭＴ３５の信号が伝送される様子が示されている。
具体的には、端末ＭＴ３１による映像信号Ａ１および音声信号Ｖ１、並びに端末ＭＴ３２による映像信号Ａ２および音声信号Ｖ２は、ＭＢＳ３１Ａ，ＭＳＣ３２Ａを経由し、ＧＭＳＣ３４を経由することなく、ＭＣＵ３３Ａに到達する。
それに対して、端末ＭＴ３３による映像信号Ａ３および音声信号Ｖ３はＭＳＢ３１Ｂ，ＭＳＣ３２Ｂ，ＭＣＵ３３Ｂ、端末ＭＴ３４による映像信号Ａ４および音声信号Ｖ４、並びに端末ＭＴ３５による映像信号Ａ５および音声信号Ｖ５はＭＳＢ３１Ｃ，ＭＳＣ３２Ｃ，ＭＣＵ３３Ｃを経由し、さらにＧＭＳＣ１４を経てＭＣＵ３３Ａに到達する。
【００８２】
また、図１の符号ＭＴ３１で示して部分は、各端末ＭＴ３１〜ＭＴ３５から伝送されてくるパケットの時間差の様子を示している。
(T1-AU1, T1-AU2 ・・・T1-AU5) は端末ＭＴ３１によるパケット信号を、(T2-AU1, T2-AU2 ・・・T2-AU5) は端末ＭＴ３２によるパケット信号を、(T3-AU1, T3-AU2 ) は端末ＭＴ３３によるパケット信号を、(T4-AU1, T4-AU2 ・・・T4-AU4) は端末ＭＴ３４によるパケット信号を、(T5-AU1, T5-AU2 ・・・T5-AU4) は端末ＭＴ３５によるパケット信号をそれぞれ示している。
なお、Ｔ３１は、各パケット信号の伝送されてくるタイミングを示している。
【００８３】
また、図１の符号ＭＴ３２で示した部分は、伝送されたパケット信号が各端末ＭＴ３１，ＭＴ３２で再生され、表示される様子を示している。
なお、Ｔ３２は再生、表示されるタイミングを示している。
【００８４】
以上の構成を有するデータ伝送システム３０においては、ＭＣＵ３３Ｂにおいて、ＭＣＵ３３ＢからＭＵＣ３３Ａに伝送される端末ＭＴ３３の信号 (A3,V3)は、delay1だけ遅れて伝送される。
このため、ＭＣＵ３３Ａに送る信号 (A3,V3)の、ＤＴＳの値を次のように設定しておく。
【００８５】
【数１】
ＤＴＳ＝ＤＴＳ＋delay1
【００８６】
なお、ＱｏＳの高い伝送路を想定しているため、遅延（ディレイ；delay ）値は、あらかじめわかっている。
【００８７】
同様に、ＭＣＵ３３Ｃにおいて、ＭＣＵ３３ＣからＭＣＵ３３Ａに伝送される端末ＭＴ３４，ＭＴ４５の信号(A4,V4) , (A5,V5) のそれぞれのＤＴＳの値を、次のように付け替える。
【００８８】
【数２】
ＤＴＳ＝ＳＴＤ＋delay2
【００８９】
これによって、ＭＣＵ３３Ａでは、端末ＭＴ３１，ＭＴ３２から送られてきた信号を、遅延させることなく、端末ＭＴ３３，ＭＴ３４，ＭＴ３５から送られてきた信号を多重化して、ＭＳＣ３２Ａ、ＭＢＳ３１Ａを介して送り出すことが可能となり、指定した時間通りに、端末ＭＴ３１，ＭＴ３２で再生、表示される。
【００９０】
同様に、図２に各端末ＭＴ３１〜ＭＴ３５で再生、表示される様子が示されている。
図２中、符号ＭＴ３２で示す部分が端末ＭＴ３１，ＭＴ３２で再生、表示される様子を、符号ＭＴ３３で示す部分が端末ＭＴ３３で再生、表示される様子を、同図２に、符号ＭＴ３４で示す部分が端末ＭＴ３４，ＭＴ３５で再生、表示される様子を示している。
なお、Ｔ３２〜Ｔ３４は再生、表示されるタイミングをそれぞれ示している。
【００９１】
図２の例では、端末ＭＴ３１のパケット信号である(T1-AU1, T1-AU2 ・・・T1-AU5) の表示されるタイミングは、端末で違う。
【００９２】
これを実現するために、ＭＣＵ３３Ａから、ＭＣＵ３３Ａ（ＭＣＵ１），ＭＣＵ３３Ｂ（ＭＣＵ２），ＭＣＵ３３Ｃ（ＭＣＵ３）に送られる端末ＭＴ３１の信号 (A1,V1)は、伝送路のディレイ値によって、ＤＴＳは、次の３通りに付け替えられて伝送される。
【００９３】
MCU1 --> MCU1 : DTS = DTS + 0
MCU1 --> MCU2 : DTS = DTS + delay1
MCU1 --> MCU3 : DTS = DTS + delay2
【００９４】
なお、図２においては、ＭＣＵ３３Ａ，ＭＣＵ３３Ｂ，ＭＣＵ３３Ｃは、それぞれ、２つに分離されて示されているが、物理的には、同じものである。したがって、自分自身に伝送しているところでは、ＧＭＳＣ３４を通過することはない。
【００９５】
このように、本第１の実施形態によれば、同じ信号でも、どこに伝送されるかに応じて、ＤＴＳをコントロールすることで、各端末での、表示時刻をコントロールすることができ、これにより、各ＭＣＵで、多重化処理をシンプル、かつ、スムーズにすることができる。
さらに、近い所の信号は、最短で出力でき、遠いところの信号も、伝送ディレイのみで、即座に表示することを可能にする。
したがって、トータル的に、最短のディレイ値でのコミュニケーションが可能となる。
【００９６】
第２実施形態
図３、図４、および図５は、本発明に係るデータ伝送方法を採用したデータ伝送システムの第２の実施形態を説明するための図である。
【００９７】
本第２の実施形態に係るデータ伝送システム３０Ａは、以下の特徴を踏まえて構成されている。
１）複数の信号を、合成して伝送する場合、音に関する情報のみ、ベースバンド（PCM ）で加算し、１チャンネルの信号とする。画像は、パケットのまま、複数チャンネルを束ねて、伝送する。
２）ＭＣＵで多重化のために要求されるデータを互いにやり取りする時、１）のような信号を互いに送ることで、ＭＣＵ間を流れる信号の情報量を削減する。
３）ＭＣＵから各端末に、多重化した信号を伝送する際に、１）のように多重化した信号を、伝送することで、伝送路に流れる情報量を削減する。
４）２）、３）を組み合わせて、ネットワーク全体に流れる信号のトラフィックを軽減できる。
【００９８】
図３は、音に関する情報を、ベースバンドで加算する様子を示す図である。
図３（Ａ）は音に関する情報を示し、図３（Ｂ）は画像情報を示し、図３（Ｃ）、（Ｅ）はデータ構造を示し、図４（Ｄ）は信号の流れを示している。
【００９９】
図３（Ａ）に示すように、音は、加算されることで、複数チャンネルのものを、１チャンネルにすることができ、後で、分離再生する必要がない場合には、合成することで、情報量を削減できる。
【０１００】
画像は、空間的な情報を同じ位置で重ね合わせることができない。そこで、画像を張り合わせて見ることは可能である。
しかし、情報量としては、画像サイズに大きく左右されるため、ベースバンドで、張り合わせても、情報量は、あまり変わらない。
そこで、画像においては、図３（Ｂ）に示すように、エンコードされたまま、パケット単位で、多重化する。
【０１０１】
このように、ＭＣＵに取込まれた信号を、ＭＣＵ間で互いに伝送する際には、このような合成をした状態で伝送することで、ネットワークを流れる情報量を削減し、トラフィックを軽減できる。
また、ＭＣＵから、各端末に伝送する際にも、同様の多重化を行うことで、伝送路を流れる情報量を削減できる。
【０１０２】
図４（Ａ）は、以上の、ＭＣＵ間と、ＭＣＵと端末間で、このような多重化した信号を伝送する場合のデータ伝送システム４０の構成例を示す図であり、図４（Ｂ）が、図４（Ａ）のシステムにおけるデータ構造と伝送量を示している。
【０１０３】
図４（Ａ）のデータ伝送システム４０において、端末は図１および図２と同様に、符号ＭＴ３１〜ＭＴ３５で示している。
また、図４（Ａ）において、４１Ａ〜４１ＥはＭＢＳ、４２Ａ〜４２ＣはＭＳＣ、４３Ａ〜４３ＣはＭＣＵ、４４Ａ〜４４ＣはＧＭＳＣをそれぞれ示している。
そして、ＭＳＣ４２Ａに対してＭＢＳ４１Ａ，４１Ｂ、ＭＣＵ４３Ａ、およびＧＭＳＣが接続され、ＭＳＣ４２Ｂに対してＭＢＳ４１Ｃ，ＭＣＵ４３Ｂ、およびＧＭＳＣ４４Ｂが接続され、ＭＳＣ４２Ｃに対してＭＢＳ４１Ｄ，ＭＢＳ４１Ｅ、ＭＣＵ４３Ｃ、およびＧＭＳＣ４４Ｃが接続されている。
【０１０４】
図４（Ａ）のデータ伝送システム４０において、ＭＣＵ４３Ａに着目してみると、端末ＭＴ３１の信号(A1,V1) と端末ＭＴ３２の信号(A2,V2) は、多重化されて、(A1-2,V1,2) 、すなわち、図４（Ｂ）中に符号Ｘ６で示すようなデータ構造に変換されて、ＧＭＳＣ４４Ａ〜４４Ｃ、ＭＳＣ４２Ｂ，ＭＳＣ４２Ｃを通って、ＭＣＵ４３Ｂ、ＭＣＵ４４Ｃに伝送される。
【０１０５】
また、端末ＭＴ３１，ＭＴ３２に対しては、それぞれ、(A2-3-4-5, V2,3,4,5), (A1-3-4-5, V1,3,4,5)、すなわち図４（Ｂ）中に符号４１１で示すようなデータ構造に変換され、伝送される。
【０１０６】
このようにして、データ伝送システム４０においては、ネットワークを流れるデータ伝送量は、図１４（Ａ）に示す従来のデータ伝送システムに比べて削減される。
【０１０７】
また、図５（Ａ）は、以上のＭＣＵ間と，ＭＣＵと端末間で、多重化した信号を伝送する場合であって、ＭＣＵがＭＳＣのレイヤではなくＧＭＳＣのレイヤである場合のデータ伝送システム４０Ａの構成例を示す図であり、図５（Ｂ）が、図５（Ａ）のシステムにおけるデータ構造と伝送量を示している。
【０１０８】
図５（Ａ）のデータ伝送システム４０ＡにおけるＭＣＵ４３Ａ（ＭＣＵ１）とＭＣＵ４３Ｂ（ＭＣＵ２）間のデータのやり取りは、以下のようになる。
【０１０９】
MCU1 --> MCU2 : (A1-2, V1,2) :図５（Ｂ）の符号４２１のデータ構造
MCU2 --> MCU1 : (A3-4-5, V3,4,5) :図５（Ｂ）の符号４２２のデータ構造
【０１１０】
このように、データ伝送システム４０Ａにおいても、ネットワーク全体に流れる信号の情報量を削減でき、トラフィックを軽減できる。
【０１１１】
第３実施形態
図６、図７、および図８は、本発明に係るデータ伝送方法を採用したデータ伝送システムの第３の実施形態を説明するための図である。
【０１１２】
本第３の実施形態に係るデータ伝送システムは、以下の特徴を踏まえて構成されている。
連続性が重視される信号（たとえば、音に関する情報）を、よりＱｏＳ（ネットワーク帯域保証品質）の高いネットワークに流し、不連続が許容できる信号（たとえば映像）をよりＱｏＳの低いネットワークに流す。
ＱｏＳが高いネットワークには、現在、回線交換網があり、ＱｏＳが低いネットワークにはパケット交換網がある。
そこで、本第３の実施形態においては、回線交換網に、音に関する情報を伝送し、パケット交換網に、映像に関する情報を伝送する。
音に関する情報は、情報量は、映像に比べ少ないが、連続性が重視される。逆に、映像は、情報量は多いが、音に比べ、連続性はそんなに重視されない。
【０１１３】
図６は、本第３の実施形態に係るデータ伝送システムの第１の構成例を示す図である。
【０１１４】
このデータ伝送システム５０においても、端末は図１および図２と同様に、符号ＭＴ３１〜ＭＴ３４で示している。
また、図６において、５１Ａ〜５１ＣはＭＢＳ、５２Ａ，５２ＢはＭＳＣ、５３Ａ，５３ＢはＭＣＵ、５４は回線交換網、５５はパケット交換網をそれぞれ示している。
回線交換網５４は、ホームロケーションレジスタ（ＨＬＲ；Home Location Register）を有するＧＭＳＣ５４１，５４２が配置されている。
そして、ＭＳＣ５２Ａに対してＭＢＳ５１Ａ，５１Ｂ、ＭＣＵ５３Ａ、回線交換網５４のＧＭＳＣ５４１、およびパケット交換網５５が接続され、ＭＳＣ５２Ｂに対してＭＢＳ５１Ｃ，ＭＣＵ５３Ｂ、回線交換網５４のＧＭＳＣ５４２、およびパケット交換網５５が接続されている。
【０１１５】
このデータ伝送システム５０において、端末ＭＴ３１，ＭＴ３２側から端末ＭＴ３３，ＭＴ３４側に、たとえば映像および音に関する情報を含む信号を転送する場合には、ＭＣＵ５３Ａのコントロールに基づいて、ＭＳＣ５２Ａにおいて連続性が重視される音に関する情報はよりＱｏＳ（ネットワーク帯域保証品質）の高い回線交換網５４に送信され、不連続が許容できる映像信号は、ＱｏＳの低いパケット交換網５５に送信される。
そして、回線交換網５４およびパケット交換網５５を伝送された音に関する情報および映像信号は、ＭＳＣ５２Ｂにおいて、一体的な信号に合成されて、ＭＢＳ５１Ｃを介して端末ＭＴ３３，ＭＴ３４に送信される。
【０１１６】
このように本第３の実施形態に係るデータ伝送システム５０によれば、ＱｏＳが高い、帯域が少ない交換網に連続性が重視される音に関する情報を割り当て、ＱｏＳが低い、帯域が多い交換網に連続性がさほど重視されない映像に関する情報を割り当てることから、伝送コストを大きく改善でき、またネットワークの有効利用が可能となる利点がある。
なお、パケット交換網５５は、伝送量で比較すると、回線交換網５４に比べて、高いこともあり得る。しかし、ここで想定しているのは、将来ＣｏＳ (Class of Service) が導入されると、ベストエフォート（Best Effort ）の領域は、一気にコストが下がることが予想される。
【０１１７】
図７は、本第３の実施形態に係るデータ伝送システムの第２の構成例を示す図である。
【０１１８】
この第２の構成例に係るデータ伝送システム５０Ａが図６の第１の構成例と異なる点は、ＱｏＳが低いネットワークに、インターネット５６を利用し、インターネット５６をインターネット交換機（ＩＸ）５７Ａ，５７Ｂを介してパケット交換網５５Ａ，５５Ｂに接続したことにある。
【０１１９】
このデータ伝送システム５０Ａにおいても、連続性が重視される情報は回線交換網５４に伝送され、連続性がさほど重視されない情報は、パケット交換網５５Ａ，５５Ｂ、およびインターネット５６で形成される伝送路に伝送される。
【０１２０】
本第２の構成例においても、上述した第１の構成例の効果と同様の効果を得ることができる。
【０１２１】
図８は、本第３の実施形態に係るデータ伝送システムの第３の構成例を示す図である。
この第３の構成例は、国際ローミングを行うような場合を想定している。
具体的には、図６に類似したシステムＡ，Ｂをたとえば２つの国で有しており、システムＡとＢのパケット交換網５５Ａ，５５Ｂをインターネット５６で接続したデータ伝送システム５０Ｂを構成している。
なお、この第３の構成例では、ＱｏＳの低い、コストが安いネットワークとしては、ＧＭＳＣのレイヤから、パケット交換網を通じ，インターネットを介して、他国のパケット交換網、そして、回線交換網に戻るというパスが形成されている。
【０１２２】
本第３の構成例においても、上述した第１の構成例の効果と同様の効果を得ることができる。
【０１２３】
第４実施形態
図９、および図１０は、本発明の第４の実施形態を説明するための図である。
【０１２４】
本第４の実施形態においては、データ伝送システムとしては、図６〜図８に示したＱｏＳが高い、帯域が少ない交換網に連続性が重視される音に関する情報を割り当て、ＱｏＳが低い、帯域が多い交換網に連続性がさほど重視されない映像に関する情報を割り当てる構成のものが適用される。
そして、本第４の実施形態においては、さらに以下に説明するような伝送遅延のモニタと制御を行う。
【０１２５】
１）ＱｏＳの高いネットワークに流した信号（たとえば音声）を基準にし、この表示時刻に合わせて、ＱｏＳが低いネットワークに流した信号（たとえば映像）を多重化、合成して、目的の端末に伝送する。
２）ＱｏＳが低いネットワークに流した信号（たとえば映像）が、ＱｏＳの高いネットワークに流した信号（たとえば音声）に比べて、ある一定以上遅れた場合、受信機側で、表示のタイミングをずらす。そのために、タイムスタンプ（たとえばＤＴＳ）の値をその分遅らせる。
３）ＱｏＳが低いネットワークに流した信号（たとえば映像）が、ＱｏＳの高いネットワークに流した信号（たとえば音声）に比べて、ある一定以上遅れた場合、送信機側で、ネットワークへの伝送を制御する。
制御する方法としては、ビットレートを下げる方法、フレームレートを下げる方法がある。
ＱｏＳが低いネットワークの輻輳が、回復しない場合、系のend ＿to＿end ＿delay を遅らせる。
【０１２６】
図９は、本第４の実施形態に係る伝送遅延のモニタと制御についての説明図であり、図１０は本第４の実施形態に係る伝送遅延のモニタと制御についてのフローチャートである。
【０１２７】
図９（Ａ）において、１）は、端末に、ビデオ（Video ）が入力される様子、２）は入力された信号が、アクセスユニット単位に、エンコードされる様子、３）は、オーディオ（Audio ）が、端末に入力される様子、４）は、入力されたオーディオ信号が、アクセスユニット単位に、エンコードされる様子、５），６）は、end ＿to＿end ＿delay に従って、ビデオとオーディオが同じタイミングで、再生、表示されている様子を示している。
【０１２８】
これは、可能とするために、ＱｏＳの高いネットワークに流した信号（たとえば音声）を基準にし、この表示時刻に合わせて、ＱｏＳが低いネットワークに流した信号（たとえば映像）を多重化、合成して、目的の端末に伝送する。
【０１２９】
また、図９（Ｂ），（Ｃ）に示すように、ＱｏＳが低いネットワークのディレイ値を観測、モニタし、想定している、end ＿to＿end ＿delay 値より、大きくなった場合には、受信機側で、ＱｏＳが低いネットワークに伝送している画像のＤＴＣにこのディレイ値を付加することで、端末では、この分遅れて、表示することが可能となる。
【０１３０】
さらに、ＱｏＳが低いネットワークで、輻輳が起こった場合、これを、速やかに、回復させるために、ディレイ値が、増加傾向であるのか、想定しているend ＿to＿end ＿delay 値に比べて、大きいか小さいかを判断することで、受信機側では、先に述べたように、ＤＴＳの値の付け替え、送信側では、ネットワークに伝送する情報のコントロールを行うことができる。
【０１３１】
以上の一連の動作の流れが図１０のフローチャートに示されている。
すなわち、まず、ＱｏＳの低いネットワークにおけるＭＣＵ間のディレイ値の観測を行う（ＳＴ１）。
次に、ディレイ値が前回より大きいか否かの判断を行う（ＳＴ２）。
ステップＳＴ２において、ディレイ値が前回より大きいと判断した場合には、ディレイ値が想定しているend ＿to＿end ＿delay 値に比べて、大きいか否かの判断を行う（ＳＴ３）。
【０１３２】
ステップＳＴ３において、ディレイ値が想定しているend ＿to＿end ＿delay 値に比べて、大きいと判断した場合には、ディレイ値が増加傾向でかつ許容値を超えているものとして、ＱｏＳの低いネットワークを流れる信号のＤＴＳを付け替え、ＱｏＳの低いネットワークへの信号の伝送を制御する（ＳＴ４）。
【０１３３】
ステップＳＴ３において、ディレイ値が想定しているend ＿to＿end ＿delay 値に比べて、小さいと判断した場合には、ディレイ値が増加傾向でかつ許容値を超えていないものとして、ＱｏＳの低いネットワークへの信号の伝送を制御する（ＳＴ５）。
【０１３４】
また、ステップＳＴ２において、ディレイ値が前回より小さいと判断した場合には、ディレイ値が想定しているend ＿to＿end ＿delay 値に比べて、大きいか否かの判断を行う（ＳＴ５）。
【０１３５】
ステップＳＴ５において、ディレイ値が想定しているend ＿to＿end ＿delay 値に比べて、大きいと判断した場合には、ディレイ値が減少傾向でかつ許容値を超えているものとして、ＱｏＳの低いネットワークを流れる信号のＤＴＳを付け替え、ＱｏＳの低いネットワークへの信号の伝送制御を緩くする方向に推移させる（ＳＴ７）。
【０１３６】
ステップＳＴ５において、ディレイ値が想定しているend ＿to＿end ＿delay 値に比べて、小さいと判断した場合には、ディレイ値が減少傾向でかつ許容値を超えていないものとして、ＱｏＳの低いネットワークを流れる信号のＤＴＳを元に戻し、ＱｏＳの低いネットワークへの信号の伝送を元に戻す（ＳＴ８）。
【０１３７】
本第４の実施形態によれば、違う帯域に流した複数の信号（たとえば、音声と映像）の同期を取ることが可能となる。
【０１３８】
【発明の効果】
以上説明したように、本発明によれば、ネットワーク全体に流れる信号のトラフィックを軽減できる。
【０１３９】
また、本発明によれば、多重化、合成を行う、ＭＣＵ内に、大きな遅延器が必要なくなり、ハードウェア規模を軽減できる。
そして、多地点コミュニケーションを行う際の、多地点間の遅延値を、できる限り最短にすることができる。
【０１４０】
また、本発明によれば、より重要な信号、より連続性が重視される信号（たとえば音声）は、補間処理、間引き処理をすることなく、全ての信号を、連続に伝送できる。また、より重要度の低い、より連続性が重視されない信号（たとえば画像）は、ＱｏＳの低い帯域を利用することで、トータルの伝送コストを安く設定することが可能となる。
また、帯域の有効利用という観点から、利用効率を向上させることができる。
【０１４１】
また、本発明によれば、違う帯域に流した複数の信号（たとえば、音声と映像）の同期を取ることが可能となる。
【０１４２】
また、本発明によれば、伝送路内に、膨大な信号が溜まってしまう、また、いつまでも、データが更新されないといったトラブルを回避することができる。
【図面の簡単な説明】
【図１】本発明に係るデータ伝送方法を採用したデータ伝送システムの第１の実施形態を説明するための図であり、多地点コミュニケーションを行う場合の信号伝送状態を示す図である。
【図２】本発明に係るデータ伝送方法を採用したデータ伝送システムの第１の実施形態を説明するための図であり、多地点コミュニケーションを行う場合の信号が各端末で再生、表示される状態を示す図である。
【図３】本発明に係るデータ伝送方法を採用したデータ伝送システムの第２の実施形態を説明するための図であり、音に関する情報を、ベースバンドで加算する様子を示す図である。
【図４】本発明に係るデータ伝送方法を採用したデータ伝送システムの第２の実施形態を説明するための図であり、（Ａ）がＭＣＵ間と、ＭＣＵと端末間で、このような多重化した信号を伝送する場合のデータ伝送システム４０の構成例を示す図であり、（Ｂ）が、（Ａ）のシステムにおけるデータ構造と伝送量を示す図である。
【図５】本発明に係るデータ伝送方法を採用したデータ伝送システムの第２の実施形態を説明するための図であり、（Ａ）がＭＣＵ間と、ＭＣＵと端末間で、多重化した信号を伝送する場合であって、ＭＣＵがＭＳＣのレイヤではなくＧＭＳＣのレイヤである場合のデータ伝送システム４０Ａの構成例を示す図であり、（Ｂ）が、（Ａ）のシステムにおけるデータ構造と伝送量を示す図である。
【図６】本発明に係るデータ伝送方法を採用したデータ伝送システムの第３の実施形態を説明するための図であり、その第１の構成例を示す図である。
【図７】本発明に係るデータ伝送方法を採用したデータ伝送システムの第３の実施形態を説明するための図であり、その第２の構成例を示す図である。
【図８】本発明に係るデータ伝送方法を採用したデータ伝送システムの第３の実施形態を説明するための図であり、その第３の構成例を示す図である。
【図９】第４の実施形態に係る伝送遅延のモニタと制御についての説明図である。
【図１０】第４の実施形態に係る伝送遅延のモニタと制御についてのフローチャートである。
【図１１】テレビジョン（ＴＶ）会議システムの例を示す図である。
【図１２】図１１のＴＶ会議システムにおける、ネットワーク内を流れるデータ構造と、伝送量を示す図である。
【図１３】ＴＶ会議システムを、無線電話に応用した場合のトポロジ（多地点コミュニケーションの構成例）を示す図である。
【図１４】図１３の多地点コミュニケーションにネットワーク内を流れるデータ構造と、伝送量を示す図である。
【図１５】図１３の多地点コミュニケーションにネットワーク内を流れるデータ構造と、伝送量の他の例を示す図である。
【図１６】多地点コミュニケーションに適用される従来のＭＣＵの構成例を示す図である。
【図１７】画像および音が、エンコード、デコードされる様子を説明するための図である。
【図１８】画像および音が、エンコード、デコードされる様子を説明するための図である。
【図１９】多地点コミュニケーションに図１７および図１８に示したＤＴＳを利用した場合の信号の流れとタイミングを説明するための図である。
【図２０】ＱｏＳが低いネットワークのみを利用した、多地点コミュニケーションの構成例を示す図である。
【符号の説明】
３０，３０Ａ，４０，４０Ａ，５０Ａ，５０Ｂ，５０Ｃ…データ伝送システム、ＭＴ３１〜ＭＴ３５…端末、３１Ａ〜３１Ｃ、４１Ａ〜４１Ｅ、５１Ａ〜５１Ｃ…ＭＢＳ（無線基地局）、３２Ａ〜３２Ｃ，４２Ａ〜４２Ｃ，５２Ａ〜５２Ｂ…ＭＳＣ（移動交換局）、３４，４４Ａ〜４４Ｃ，５４１，５４１Ａ，５４１Ｂ，５４２，５４２Ａ，５４２Ｂ…ＧＭＳＣ（関門移動交換局）、５４，５４Ａ，５４Ｂ…回線交換網、５５，５５Ａ，５５Ｂ…パケット交換網、５６…インターネット。

Claims

ネットワーク網に配置された複数端末により多地点間で、画像データおよび音データを伝送するデータ伝送方法であって、
画像データは、各地点毎にコーディングされたストリームとして多重化して伝送し、
音データは、ネットワーク網の中で１つ以上の音声を、ベースバンドで合成して伝送する
データ伝送方法。
ネットワーク網に配置された複数端末により多地点間で、画像データおよび音データを伝送するデータ伝送システムであって、
画像データは、各地点毎にコーディングされたストリームとして多重化して伝送し、音データ、ネットワーク網の中で１つ以上の音声を、ベースバンドで合成して伝送する装置
を有するデータ伝送システム。